اختبار A/B
A/B Testing
مقارنة نسختين لمعرفة أيّهما يحوّل أكثر.
اختبار A/B هو أن تعرض نسختين من الشيء نفسه — صفحة، عنوان، سعر، زرّ — على مجموعتين متكافئتين من الزوّار في الوقت نفسه، وتقيس أيهما تحقّق الهدف أكثر. ليس استطلاع رأي ولا «جرّبنا الأسبوع الماضي شيئًا والأسبوع الحالي شيئًا آخر»؛ الشرط الذي يجعله اختبارًا هو التوزيع العشوائي والتزامن: الزائر يُوجَّه إلى A أو B بالصدفة، فيتساوى كل شيء آخر — اليوم، المصدر، الجهاز — ويبقى الفرق الوحيد هو التغيير الذي تختبره. وقيمته في رقم يصدمه كل من يجرّبه أول مرة: ثلث الأفكار فقط يحسّن الرقم فعلًا، والثلثان الباقيان إما لا يغيّران شيئًا أو يخفضانه (Kohavi). الاختبار هو ما يفصل الثلث عن الثلثين قبل أن تدفع ثمنهما.
شكل المفهوم في رسم واحد
- 1فرضية بسبب«لو كشفنا الشحن مبكرًا سيرتفع الإتمام لأن…»
- 2حجم عيّنة قبل البدءكم زائرًا تحتاج لرصد الفرق الذي يهمّك؟
- 3توزيع عشوائي متزامنA وB في الوقت نفسه، الزائر يُقسم بالصدفة
- 4لا تنظر حتى تكتملالاطّلاع المتكرّر يضاعف النتائج الزائفة
- 5قرار — وسجّل الخاسر أيضًاالاختبار الفاشل معلومة لا هزيمة
ما الذي يعنيه عمليًا؟
فرق يختبرون آلاف الأفكار في السنة: نحو ثلثها فقط ينجح. الفكرة التي «لا تحتاج اختبارًا لأنها واضحة» تقع في الثلثين الآخرين بالنسبة نفسها.
كيف تطبّقه خطوة بخطوة؟
- 1ابدأ بفرضية لها سبب لا برغبة في «تجربة شيء»: «لو أظهرنا تكلفة الشحن في صفحة المنتج سيرتفع إتمام الدفع لأن المفاجأة عند الدفع هي أكبر سبب للمغادرة». الفرضية بسبب تُعلّمك حتى لو خسرت.
- 2اختبر شيئًا واحدًا كبيرًا لا 5 أشياء صغيرة: العرض، السعر، العنوان الرئيسي، ترتيب الصفحة. لون الزرّ يحتاج 100,000 زائر ليظهر فرقه إن وُجد؛ العرض يظهر فرقه في 2,000.
- 3احسب حجم العيّنة قبل البدء بحاسبة مجانية: أدخل نسبة التحويل الحالية وأصغر تحسّن يستحقّ العناء (مثلًا من 2% إلى 2.4%) — ستعرف إن كان اختبارك يحتاج أسبوعين أم سنة. إن كان سنة، اختبر شيئًا أكبر.
- 4قسّم الزوّار عشوائيًا وشغّل النسختين معًا: الأداة تفعل هذا (Google Optimize انتهى؛ VWO وOptimizely وأدوات المتجر تفعله). لا تقارن أسبوعًا بأسبوع — الأسبوعان يختلفان في كل شيء.
- 5لا تفتح النتائج كل يوم ولا توقف الاختبار عند أول «فوز»: الاطّلاع المتكرّر مع الوقف عند الدلالة يرفع نسبة النتائج الزائفة من 5% إلى أكثر من 20%. حدّد مدة الاختبار مسبقًا (أسبوعان كاملان على الأقل) والتزم بها.
- 6سجّل كل اختبار في جدول واحد: الفرضية، النسختان، العيّنة، النتيجة، القرار. الخاسر معلومة عن عميلك بقدر الفائز — وبعد 20 اختبارًا يصبح الجدول أثمن ما تملكه عن جمهورك.
ما العلم وراءه؟
لا نقول شيئًا بلا مرجعه. هذه المصادر التي يقوم عليها المفهوم — بالمؤلف والسنة لتتحقّق بنفسك:
- Ronald Fisher1935The Design of Experiments
الأساس كله: التوزيع العشوائي (Randomization) هو ما يجعل المقارنة عادلة — يوزّع كل ما لا تعرفه بالتساوي بين المجموعتين فلا يبقى إلا ما غيّرته أنت. فيشر وضع أيضًا فكرة الدلالة الإحصائية وعتبة الـ5%: احتمال أن يظهر الفرق الذي رأيته بالصدفة وحدها. كل أداة اختبار تعمل بمنطقه.
- Ron Kohavi · Diane Tang · Ya Xu2020Trustworthy Online Controlled Experiments — Cambridge University Press
خلاصة عشرين سنة من التجارب في Microsoft وAmazon وLinkedIn: نحو ثلث الأفكار فقط يحسّن المقياس المستهدف، والأثر الذي يبدو كبيرًا في اختبار صغير غالبًا وهم. الكتاب يضع القواعد العملية: مقياس نجاح واحد محدّد قبل البدء، أسبوع كامل على الأقل ليشمل كل أيام الأسبوع، وفحص أن النسختين تلقّتا عددًا متساويًا من الزوّار (Sample Ratio Mismatch) قبل تصديق أي نتيجة.
- Dan Siroker2010How Obama Raised $60 Million by Running a Simple Experiment — Optimizely blog
اختبار حملة أوباما 2008 على صفحة التسجيل: 24 تركيبة من 4 أزرار و6 وسائط على 310,382 زائرًا. الفائزة (صورة عائلية + زرّ «Learn More») رفعت التسجيل من 8.26% إلى 11.6% — زيادة 40.6%، بما يعادل نحو 2.88 مليون بريد و60 مليون دولار تبرّعات إضافية. وكان الفريق يتوقّع فوز الفيديو؛ خسر كل فيديو أمام كل صورة. الحدس خسر، والاختبار كسب.
- Ramesh Johari · Pete Koomen · Leonid Pekelis · David Walsh2017Peeking at A/B Tests: Why It Matters, and What to Do About It — KDD 2017
المشكلة التي تُبطل أغلب اختبارات الشركات الصغيرة: «الاطّلاع» (Peeking). إن نظرت إلى النتيجة كل يوم وأوقفت الاختبار عند أول لحظة تظهر فيها دلالة، فنسبة النتائج الزائفة ليست 5% بل قد تتجاوز 20% إلى 30%. الحلّ: مدة محدّدة مسبقًا، أو أدوات تستخدم اختبارات متسلسلة (Sequential Testing) مصمّمة لتُقرأ في أي وقت.
ما يستحقّ الاختبار في متجر صغير — وما لا يستحقّ
| ما تختبره | الفرق المتوقَّع | عيّنة تقريبية للرصد | الحكم لمتجر بـ5,000 زائر/شهر |
|---|---|---|---|
| كشف تكلفة الشحن مبكرًا | كبير (10–30% على الإتمام) | 2,000–4,000 زائر للسلّة | اختبره أولًا |
| العرض / السعر / الضمان | كبير | 3,000–6,000 | ثاني أولوية |
| العنوان الرئيسي للصفحة | متوسط (5–15%) | 8,000–15,000 | ممكن على شهرين |
| لون الزرّ أو نص الزرّ | صغير (1–3%) | 100,000+ | لا تختبره — قرّر واستمرّ |
كيف تنفّذه بالذكاء الاصطناعي في ساعة
- 1الدقائق 0–15: الصق في Claude رابط صفحتك (أو نصّها) ونسبة التحويل الحالية وعدد الزوّار الشهري، واطلب: «اقترح 10 فرضيات اختبار مرتّبة بالأثر المتوقَّع، كل واحدة بصيغة: لو غيّرنا X سيرتفع Y لأن Z». احذف كل فرضية بلا «لأن».
- 2الدقائق 15–30: لأعلى 3 فرضيات اطلب حساب حجم العيّنة: «بنسبة تحويل 2% وأصغر تحسّن يهمّني 20% نسبيًا، كم زائرًا تحتاج كل نسخة عند ثقة 95% وقوة 80%؟» ثم قسّم على زوّارك الشهريين — ما يحتاج أكثر من 8 أسابيع يُستبعد.
- 3الدقائق 30–45: للفرضية الفائزة اطلب نسخة B كاملة (النص والترتيب) مع شرح ما تغيّر ولماذا، ثم اطلب منه قائمة فحص قبل التشغيل: هل النسختان تُقاسان على الهدف نفسه؟ هل الأداة توزّع عشوائيًا؟ ما تاريخ الانتهاء المحدّد مسبقًا؟
- 4الدقائق 45–60: أنشئ جدول الاختبارات: الفرضية، تاريخ البدء والانتهاء، العيّنة المطلوبة، مقياس النجاح، النتيجة، القرار. اكتب الصفّ الأول اليوم — وحين ينتهي الاختبار اطلب من Claude قراءة الأرقام قبل أن تقرّر: «هل هذا الفرق يمكن أن يكون صدفة؟».
كيف يبدو في حالة حقيقية؟
ما الخطأ الذي يُفقده قيمته؟
أهم ما تخرج به
- ثلث الأفكار فقط يحسّن الرقم — الاختبار يفصله عن الثلثين قبل أن تدفع ثمنهما.
- فرضية بسبب، وشيء واحد كبير، لا 5 تغييرات صغيرة.
- احسب حجم العيّنة قبل البدء؛ ما يحتاج أكثر من 8 أسابيع يُستبدل بفرضية أكبر.
- توزيع عشوائي متزامن دائمًا — لا أسبوع مقابل أسبوع.
- مدة محدّدة مسبقًا، لا اطّلاع يومي، وسجّل الخاسر كما تسجّل الفائز.
الحدس يفوز في ثلث الحالات فقط — والاختبار هو الطريقة الوحيدة لمعرفة أي ثلث أنت فيه قبل أن تدفع. ابدأ بفرضية لها سبب، اختبر أكبر شيء يمكن أن يغيّر الرقم، احسب العيّنة قبل أن تبدأ، ولا تفتح النتيجة قبل موعدها. وسجّل كل اختبار — الخاسر والفائز — فبعد سنة يكون عندك ما لا يملكه منافسوك: دليل مكتوب لما يحرّك عميلك فعلًا.
أسئلة شائعة
كم زائرًا أحتاج لاختبار A/B؟
يعتمد على نسبة تحويلك وأصغر فرق يهمّك. قاعدة تقريبية: لرصد تحسّن 20% نسبيًا على تحويل 2% تحتاج نحو 15,000 زائر لكل نسخة؛ على إتمام دفع 50% تحتاج نحو 1,500 لكل نسخة. الحاسبات المجانية تعطيك الرقم في دقيقة — استخدمها قبل كل اختبار.
ماذا لو لم يكن عندي زوّار كافون؟
اختبر أعلى في القمع حيث الأرقام أكبر (صفحة المنتج بدل صفحة الشكر)، واختبر تغييرات كبيرة يظهر فرقها بعيّنة صغيرة (العرض، السعر)، أو تخلَّ عن الاختبار لصالح أبحاث المستخدم: 5 مقابلات تقول لك لماذا لا يشترون أكثر مما يقوله اختبار لا يكتمل.
ما الفرق بين اختبار A/B وتحسين معدّل التحويل (CRO)؟
CRO هو المنهج كله: افهم لماذا لا يشترون، غيّر، قِس. اختبار A/B أداة القياس فيه — وليست الوحيدة. صفحة بمشكلة واضحة (شحن مفاجئ، نموذج من 12 حقلًا) لا تحتاج اختبارًا لتصلحها. راجع صفحة CRO.
هل أدوات المتجر الجاهزة تكفي؟
لأغلب المتاجر الصغيرة نعم — بشرطين: أن توزّع عشوائيًا وتقيس على الهدف الصحيح (الشراء لا النقرة). وتحقّق من أن العدد في النسختين متقارب؛ إن تلقّت A ضعف زوّار B فالأداة معطوبة والنتيجة لا تُصدَّق.
إلى أين بعد هذا المفهوم؟
المحطة 5 على مسار التعلّم: القياسهل نجح ما فعلته — وكيف أعرف ذلك برقم؟افتح المحطة ←الكتب التي أرشّحها لهذا المفهوم
