Ερώτηση
“Το ποσοστό ανοίγματος ειδοποιήσεων έπεσε 8% σε σχέση με την προηγούμενη εβδομάδα. Βρείτε την αιτία.”
Αδύναμη απάντηση
Ίσως το κείμενο των ειδοποιήσεων έχει παλιώσει, ή ο κόσμος έχει κορεστεί. Θα δοκίμαζα να αλλάξω το κείμενο για να δω αν ανεβαίνει πάλι το ποσοστό. Θα μπορούσαμε επίσης να τις στέλνουμε σε καλύτερη ώρα.
Δυνατή απάντηση
Πρώτα ακριβής διατύπωση: ποσοστό ανοίγματος, όχι αποστολές, πτώση 8% σχετική σε σχέση με την προηγούμενη εβδομάδα, από πότε ακριβώς και για ποιους. Μετά τμηματοποίηση πριν από υποθέσεις: εσωτερικοί έναντι εξωτερικών, iOS έναντι Android, ανά γλώσσα, ανά τύπο ειδοποίησης, ανά ηλικία κοόρτης. Έστω ότι βγαίνει μόνο σε Android, από την Τρίτη. Τώρα ένα δέντρο MECE με τρεις κλάδους: παραδίδονται λιγότερες ειδοποιήσεις, οι ίδιες ειδοποιήσεις ανοίγονται λιγότερο, ή άλλαξε η μέτρηση. Πέντε γιατί στον κλάδο "παραδίδονται": βγήκε έκδοση της εφαρμογής την Τρίτη, άλλαξε το κανάλι FCM, ήταν αυτό το κανάλι σιωπηλό εξ ορισμού; Αυτή είναι ελέγξιμη υπόθεση. Η δοκιμή είναι να συγκρίνουμε τις αποδείξεις παράδοσης πριν και μετά την έκδοση σε Android, που την επιβεβαιώνει ή την καταρρίπτει μέσα σε μία ώρα.
Γιατί κερδίζει η δυνατή εκδοχή: Η δυνατή απάντηση τμηματοποιεί πριν υποθέσει, κρατά τους κλάδους αμοιβαία αποκλειόμενους ώστε ένας χρήστης να μην μπορεί να βρίσκεται σε δύο ταυτόχρονα, και κλείνει με μία συγκεκριμένη δοκιμή που τρέχει σήμερα. Η αδύναμη μαντεύει αιτία στην πρώτη της πρόταση και προτείνει λύση γι' αυτήν, ακριβώς αυτό που το framework υπάρχει για να αποτρέψει.