خطة تجربة أ وب (اختبار A/B)
اتفقوا على ما تختبرونه وكيف تقيسونه ومتى تتوقفون، قبل أن يرى أي شخص أياً من النسختين.
- الوقت
- 45 دقيقة
- الأشخاص
- 3–5
- نوع العمل
- الاختبار
باختصار
خطة تجربة أ وب وثيقة قصيرة متفق عليها تُكتب قبل مقارنة نسختين من خدمة مع مستخدمين حقيقيين. تحدد فرضية واحدة، والبديلين، والمؤشر الرئيس، وطريقة توزيع الناس بين النسختين، وقاعدة التوقف. وكتابتها أولاً تحمي النتيجة من القراءة المتفائلة لاحقاً.
ما هو
في تجربة أ وب تُعرض النسخة (أ) على مجموعة من الناس والنسخة (ب) على مجموعة أخرى في الوقت نفسه، ثم يُقارن سلوكهم. ولأن التوزيع عشوائي، يمكن ردّ أي فرق في النتيجة إلى الفرق بين النسختين. أما الخطة فهي ما تفعله قبل ذلك كله: القرارات التي تجعل النتيجة جديرة بالثقة.
وأغلب التجارب التي تفشل إنما تفشل عند التخطيط: يغيّر الفريق أمرين معاً، أو يختار المؤشر بعد رؤية البيانات، أو يوقف التجربة في اليوم الذي تبدو فيه النتيجة جيدة. وورقة واحدة بخمسة حقول تمنع معظم ذلك، وتفرض حواراً مفيداً مع المحلل حول ما إذا كانت البيانات ستكفي للتعلم أصلاً.
متى تستخدمه
استخدمه حين
- لديك نسختان مقنعتان من صفحة أو رسالة أو خطوة، وتريد معرفة أيهما أنجح مع المستخدمين الفعليين.
- حجم استخدام الخدمة كافٍ لظهور الفرق خلال أسابيع قليلة.
- القرار محل خلاف، ويريد الفريق دليلاً اتفق عليه مسبقاً.
- تستطيع قياس النتيجة التي تهمك آلياً وبدقة.
تجنّبه حين
- إذا كانت الأعداد قليلة، كخدمة يستخدمها بضع عشرات شهرياً، فلن تصل التجربة إلى إجابة واضحة.
- إذا كنت لا تعرف بعد سبب تعثر الناس، فابدأ باختبار قابلية استخدام ميسّر لتحديد المشكلة.
- إذا كان عرض نسخة أضعف على مجموعة ما قد يسبب ضرراً حقيقياً، كتفويت مواعيد طبية أو نظامية.
ما تحتاج إليه
- الوقت
- نحو 45 دقيقة لكتابة الخطة معاً، إضافة إلى وقت مع المحلل للتحقق من حجم البيانات المطلوب.
- الأشخاص
- من ثلاثة إلى خمسة: مالك الخدمة، ومصمم أو كاتب محتوى، ومن سيبني النسختين، ومحلل بيانات.
- الأدوات
- ورقة العمل بحقول الفرضية والبدائل والمؤشر والتوزيع وقاعدة التوقف، والأرقام الحالية للمؤشر، ووصف أو تصور لكل نسخة.
كيف تديره
الخطوة 1: اكتب فرضية واحدة
صُغ التغيير والأثر المتوقع وسببه، مثلاً: «إذا عرضنا إجمالي الرسوم قبل بدء الاستمارة فسيكمل الدفعَ عددٌ أكبر من المتقدمين، لأن المفاجأة بالرسوم هي السبب الأول للانسحاب». فرضية واحدة لكل تجربة تجعل النتيجة مفهومة.
الخطوة 2: صِف البديلين
اكتب شكل النسخة (أ) الحالية والنسخة (ب) الجديدة متجاورتين، وغيّر أمراً واحداً ذا معنى فقط. فإذا اختلفت (ب) في الصياغة والتخطيط والتوقيت معاً فلن تعرف أي تغيير صنع الفرق.
الخطوة 3: اختر المؤشر الرئيس ومؤشراً حارساً
حدّد المقياس الوحيد الذي يحسم النتيجة، كنسبة الطلبات المبدوءة التي تصل إلى الدفع. وأضف مؤشراً حارساً يجب ألا يسوء، كعدد الاتصالات بمركز المساعدة. ودوّن القيمة الحالية لكل منهما.
الخطوة 4: اتفق على التوزيع مع المحلل
قرّر كيف يُقسم الناس، وغالباً مناصفة وعشوائياً، ومن يدخل في التجربة. واسأل المحلل: كم شخصاً تحتاج كل نسخة لاكتشاف أصغر فرق يستحق التصرف، وكم يستغرق ذلك بالأعداد الحالية؟
الخطوة 5: حدّد قاعدة التوقف
اكتب متى تنتهي التجربة: تاريخ محدد أو عدد محدد من الناس بحسب توصية المحلل. وأضف شروط الإيقاف المبكر، كأن يسوء المؤشر الحارس بقدر معين. ولا توقفها لأن النتيجة بدت جيدة في اليوم الثالث.
الخطوة 6: حدّد معنى كل نتيجة مسبقاً
قبل الإطلاق اكتب ماذا ستفعلون إن فازت (ب)، وإن فازت (أ)، وإن لم يظهر فرق واضح. بهذا تصبح التجربة قراراً، ولا يعيد الفريق تشغيلها حتى تعطيه الإجابة التي يتمناها.
الخطوة 7: اعتمد الخطة ثم أطلق
شارك الورقة مع صاحب القرار والمحلل وثبّتها. وأي تعديل بعد الإطلاق، كمؤشر جديد، يُسجّل بوصفه تعديلاً مع سببه.
مثال تطبيقي
أراد أحد المصارف الخليجية أن يكمل عدد أكبر من العملاء فتح حساب ادخار عبر التطبيق، إذ كان نحو 40 بالمئة منهم ينسحبون عند خطوة إثبات العنوان. واعتقد الفريق الرقمي أن العملاء لا يعرفون أي المستندات مقبولة.
الفرضية: إذا عرضت الخطوة قائمة المستندات المقبولة مع صور صغيرة فسيرفع عدد أكبر مستنداً ويكمل، لأن الحيرة في المستند المقبول هي السبب الأول للانسحاب.
النسخة (أ) هي خطوة الرفع الحالية، والنسخة (ب) أضافت قائمة بأربعة مستندات مقبولة مع صورها، دون أي تغيير آخر. المؤشر الرئيس نسبة من أكملوا الخطوة ممن وصلوا إليها، والمؤشر الحارس نسبة المستندات التي يرفضها الموظفون.
قدّر المحلل أن وصول نحو 3,000 عميل أسبوعياً إلى الخطوة يعني الحاجة إلى ثلاثة أسابيع بتوزيع مناصفة لاكتشاف تحسن بخمس نقاط. فكانت قاعدة التوقف ثلاثة أسابيع كاملة، مع إيقاف مبكر إن زادت المستندات المرفوضة بأكثر من الربع.
بعد ثلاثة أسابيع ارتفعت نسبة الإكمال في (ب) من 60 إلى 66 بالمئة دون تغير في المرفوضات. وكما نصّت الخطة، عمّم الفريق النسخة (ب) على الجميع وانتقل إلى الخطوة التالية في الرحلة.
للتوضيحنصائح وأخطاء شائعة
نصائح
- اكتب الخطة بلغة بسيطة يستطيع مدير من خارج الفريق قراءتها في دقيقتين.
- شغّل النسختين أسابيع كاملة، فسلوك الناس في نهاية الأسبوع يختلف غالباً عن أيام العمل.
- تحقّق من سلامة التوزيع قبل البدء بتمرير نسبة صغيرة من الناس عبر النسختين.
- احتفظ بسجل بسيط للتجارب ونتائجها حتى تتوقف الجهة عن اختبار الأفكار القديمة نفسها.
أخطاء شائعة
- اختيار المؤشر بعد رؤية البيانات، وهذا يجد دائماً تقريباً شيئاً يشبه الفوز.
- الإيقاف المبكر لأن النتيجة تبدو جيدة، قبل أن يرى عدد كافٍ من الناس النسختين.
- تغيير أمور عدة في (ب)، فلا يمكن تفسير الفوز أو تكراره.
- إجراء التجربة بعدد قليل جداً، ثم عدّ غياب الفرق الواضح دليلاً على أن التغيير لا يهم.
ما تخرج به
تخرج بخطة معتمدة في صفحة واحدة: فرضية واحدة، وبديلان موصوفان بوضوح، ومؤشر رئيس وآخر حارس مع قيمتيهما الحاليتين، وتوزيع متفق عليه مع المحلل، وقاعدة توقف مع القرار الذي تستدعيه كل نتيجة. وبعد التشغيل سجّل النتيجة مقابل الخطة. وإن لم تكن متأكداً من المؤشر الذي يحرك النتيجة فعلاً فابنِ شجرة مؤشرات الأداء أولاً، وإن كان التغيير ما زال تخميناً فصُغه اختبارَ فرضية.
أسئلة شائعة
كم يجب أن تستمر تجربة أ وب؟
حتى تبلغ العدد الذي حسبه المحلل، ولمدة أسبوع أو أسبوعين كاملين على الأقل لتغطية أنماط الأسبوع المعتادة. اتفقوا على المدة قبل الإطلاق، فإنهاء التجربة حين تتقدم إحدى النسختين هو أكثر الطرق شيوعاً للوصول إلى نتيجة زائفة.
ما الفرق بين تجربة أ وب واختبار الفرضية؟
اختبار الفرضية أي اختبار صغير لاعتقاد واحد، وقد يكون مقابلة أو نموذجاً أولياً أو عدّاً بسيطاً. أما تجربة أ وب فنوع محدد منه: نسختان تُعرضان على مجموعتين عشوائيتين من المستخدمين وتُقارنان بمؤشر. استخدمها حين تتوافر الأعداد.
هل أحتاج إلى إحصائي لتخطيط التجربة؟
تحتاج إلى من يقدّر عدد الناس اللازم لكل نسخة ويقرأ النتيجة، وقد يكون محلل بيانات لا إحصائياً متخصصاً. أما بقية الخطة، من فرضية وبدائل وقرارات، فهي مسؤولية فريق الخدمة.
بطاقة الأداة
ورقة العمل التي يملؤها فريقك، خانة لكل حقل.
- الفرضية
- البدائل
- المؤشر
- التوزيع
- قاعدة التوقف