چرا فقط دیدن برنده‌ها گمراهمان می‌کند؟
داستان موفقیت یک کسب‌وکار، یک فرد یا یک روش می‌تواند واقعی باشد، اما تصویر کاملی از احتمال موفقیت به ما ندهد. وقتی فقط نتیجه کسانی را می‌بینیم که به مقصد رسیده‌اند، جای کسانی که همان مسیر را رفته و متوقف شده‌اند خالی می‌ماند. برای قضاوت دقیق‌تر، باید علاوه بر برنده‌های قابل مشاهده، درباره نمونه‌های غایب هم سؤال کنیم.
فرض کنید وارد خیابانی می‌شویم که چند رستوران پرمشتری دارد. میزها پر هستند، سفارش‌ها پشت سر هم آماده می‌شوند و به نظر می‌رسد راه‌اندازی رستوران در این منطقه تصمیم موفقی باشد. اما آیا همین مشاهده برای نتیجه‌گیری کافی است؟
ما رستوران‌هایی را می‌بینیم که امروز باز هستند. شاید بعضی از واحدهای همین خیابان در سال‌های گذشته چند بار تغییر شغل داده باشند. شاید رستوران‌هایی تعطیل شده باشند که اکنون هیچ نشانی از آن‌ها باقی نمانده است. بدون اطلاع از این بخش، تصویر ما از نتیجه راه‌اندازی رستوران در آن منطقه ناقص خواهد بود.
این مسئله نمونه‌ای از «سوگیری بقا» است؛ خطایی که وقتی رخ می‌دهد که نمونه‌های باقی‌مانده یا قابل مشاهده را نماینده همه نمونه‌های اولیه بدانیم.
آنچه دیده می‌شود، الزاماً همه ماجرا نیست
برای شکل‌گرفتن یک تصویر ناقص، همیشه لازم نیست کسی اطلاعات نادرست منتشر کند. گاهی همه روایت‌هایی که می‌بینیم واقعی‌اند، اما فقط به بخش خاصی از تجربه‌ها تعلق دارند.
کسب‌وکاری که رشد کرده، همچنان وب‌سایت فعال دارد، مصاحبه می‌کند و درباره مسیر خود می‌نویسد. کسب‌وکاری که تعطیل شده، ممکن است دیگر صفحه فعالی نداشته باشد و تجربه صاحبانش هم ثبت نشده باشد. در نتیجه، جست‌وجوی ما بیشتر به نمونه‌های موفق می‌رسد.
اشتباه از جایی آغاز می‌شود که فراوانی این روایت‌های در دسترس را با فراوانی موفقیت در میان همه شروع‌کنندگان یکی بدانیم. زیاد دیده‌شدن یک نتیجه، به‌تنهایی نشان نمی‌دهد رسیدن به آن نتیجه چقدر رایج بوده است.
یک مثال عددی: هشتاد درصد از کدام گروه؟
فرض کنید صد نفر وارد یک برنامه آموزشی شده‌اند. پس از شش ماه، فقط با بیست نفری که همچنان در برنامه حضور دارند تماس گرفته می‌شود. شانزده نفر از این بیست نفر می‌گویند از پیشرفت خود راضی‌اند.
می‌توان گفت ۸۰ درصد افراد پاسخ‌دهنده رضایت داشته‌اند. اما نمی‌توان نتیجه گرفت ۸۰ درصد همه شرکت‌کنندگان اولیه راضی بوده‌اند. وضعیت هشتاد نفر دیگر هنوز مشخص نیست.
از طرف دیگر، غیبت آن‌ها هم ثابت نمی‌کند که همگی ناراضی بوده‌اند. شاید بعضی به هدف خود رسیده و دوره را ترک کرده باشند، بعضی مشکل زمانی داشته‌اند و بعضی نتیجه مطلوب نگرفته باشند. برای فهم نتیجه کل برنامه، باید تا حد امکان اطلاعات این گروه هم بررسی شود.
این مثال فرضی نشان می‌دهد مشکل فقط مثبت یا منفی بودن نتیجه نیست؛ مسئله این است که بدانیم عدد گزارش‌شده دقیقاً درباره چه کسانی صحبت می‌کند.
ویژگی مشترک برنده‌ها، لزوماً علت برنده‌شدن نیست
گاهی چند فرد موفق را بررسی می‌کنیم و به ویژگی مشترکی می‌رسیم: همه زود از خواب بیدار می‌شوند، زیاد مطالعه می‌کنند یا در آغاز کار ریسک بزرگی پذیرفته‌اند. سپس همان ویژگی را به‌عنوان راز موفقیت معرفی می‌کنیم.
اما یک سؤال هنوز بی‌پاسخ مانده است: چند نفر از افراد ناموفق هم همین ویژگی را داشته‌اند؟
اگر تعداد زیادی از کسانی که به نتیجه نرسیده‌اند نیز همان رفتار را انجام داده باشند، وجود آن رفتار در میان برنده‌ها برای توضیح موفقیت کافی نیست. ممکن است عوامل دیگری نقش داشته باشند یا آن ویژگی فقط در کنار شرایط مشخصی مفید باشد.
این به معنی بی‌ارزش‌بودن مطالعه زندگی افراد موفق نیست. تجربه آن‌ها می‌تواند ایده و پرسش ایجاد کند. ولی برای تبدیل یک مشاهده به توصیه عمومی، باید گروه مقایسه و توضیح‌های جایگزین را هم در نظر گرفت.
نتیجه منتخب را با کارنامه کامل اشتباه نگیریم
فرض کنید مجموعه‌ای ده پروژه اجرا کرده و در صفحه معرفی خود، دو پروژه موفق را نمایش می‌دهد. این دو نمونه ممکن است توانایی واقعی مجموعه را نشان دهند، اما به‌تنهایی درباره نتیجه هشت پروژه دیگر چیزی نمی‌گویند.
نمونه‌کار، معمولاً برای نمایش توانایی انتخاب می‌شود؛ کارنامه کامل باید دامنه وسیع‌تری از نتیجه‌ها را پوشش دهد. اگر هدف ما ارزیابی ثبات عملکرد باشد، لازم است بدانیم نمونه‌ها چگونه انتخاب شده‌اند.
همین پرسش در مطالعه آزمایش‌های تحلیلی نیز کاربرد دارد. هنگام بررسی یک آزمایش مقایسه‌ای در سی‌پیپ ، یا هر گزارش مشابه، باید پرسید چه مواردی وارد بررسی شده‌اند، چه مواردی کنار گذاشته شده‌اند و محدوده زمانی چگونه انتخاب شده است.
وجود چند نتیجه خوب ارزش بررسی دارد، اما هنوز معلوم نمی‌کند آن نتیجه‌ها نماینده عملکرد معمول‌اند یا بهترین موارد میان تعداد زیادی تلاش.
انتخاب پس از مشاهده نتیجه، تصویر را تغییر می‌دهد
تصور کنید صد نفر در یک بازی فرضی چند بار سکه می‌اندازند. ممکن است تعدادی از آن‌ها چند بار پشت سر هم نتیجه یکسانی بگیرند. اگر فقط همان افراد را معرفی کنیم، عملکردشان چشمگیر به نظر می‌رسد.
اما آن‌ها را پس از دیدن نتیجه انتخاب کرده‌ایم. اگر پیش از شروع بازی قرار بود نام همین افراد را مشخص کنیم، مسئله متفاوت بود.
این تفاوت در ارزیابی روش‌ها هم اهمیت دارد. وقتی میان تعداد زیادی گزینه، بهترین نتیجه گذشته را پیدا می‌کنیم، باید توجه کنیم که خود فرایند انتخاب می‌تواند نتیجه‌ای استثنایی را برجسته کرده باشد. برای بررسی بیشتر، می‌توان عملکرد روش منتخب را روی داده یا دوره‌ای تازه سنجید که در انتخاب اولیه دخالت نداشته است.
چنین بررسی‌ای هم تضمین ایجاد نمی‌کند، اما کمک می‌کند موفقیت در نمونه انتخاب‌شده را با توانایی تکرار نتیجه یکی ندانیم.
ابتدا معلوم کنیم «برنده» چه معنایی دارد
گاهی مشکل حتی پیش از انتخاب نمونه‌ها آغاز می‌شود: تعریف موفقیت روشن نیست. کسب‌وکاری که هنوز فعالیت می‌کند الزاماً سودآور نیست؛ پروژه‌ای که تمام شده هم ممکن است بیش از بودجه هزینه برده باشد.
برای مقایسه، باید مشخص کنیم موفقیت به معنی ادامه فعالیت، رشد فروش، رضایت مشتری یا نتیجه مالی پس از هزینه‌هاست. این معیارها می‌توانند به نتیجه‌های متفاوتی برسند.
در موضوعات مالی، مطالعه درباره هزینه معاملات فارکس، اسپرد و کمیسیون نیز به همین پرسش مرتبط است: نتیجه اعلام‌شده پیش از هزینه‌ها محاسبه شده یا پس از آن‌ها؟ اگر تعریف نتیجه میان نمونه‌ها یکسان نباشد، حتی فهرست کاملی از آن‌ها هم مقایسه روشنی نمی‌سازد.
پیش از شمردن برنده‌ها باید بدانیم چه چیزی باعث شده یک نمونه را در گروه برنده قرار دهیم.
چگونه داستان موفقیت را دقیق‌تر بخوانیم؟
لازم نیست با هر روایت موفقیت بدبینانه برخورد کنیم. می‌توان از تجربه دیگران آموخت و هم‌زمان چند پرسش ساده مطرح کرد:
چند نفر یا چند مورد از ابتدا وارد مسیر شدند؟ تعداد برنده‌ها بدون دانستن اندازه گروه اولیه، تصویر محدودی می‌دهد.
چه کسانی در گزارش حضور ندارند؟ افراد کناررفته، پروژه‌های متوقف‌شده و نتیجه‌های ثبت‌نشده را در نظر بگیریم.
نمونه‌ها چگونه انتخاب شده‌اند؟ انتخاب پیش از مشاهده نتیجه با انتخاب بهترین موارد پس از پایان کار تفاوت دارد.
موفقیت دقیقاً چگونه تعریف شده است؟ معیار، دوره بررسی و هزینه‌های محاسبه‌شده باید روشن باشند.
چه چیزهایی هنوز نامعلوم‌اند؟ نبود اطلاعات را با فرض موفقیت یا شکست پر نکنیم.
داستان برنده‌ها می‌تواند الهام‌بخش باشد، اما برای فهم احتمال موفقیت به تصویر گسترده‌تری نیاز داریم. گاهی مهم‌ترین بخش یک گزارش، همان چیزی است که در آن دیده نمی‌شود: کسانی که شروع کردند، اما روایتشان به ما نرسید.
