چرا چت جی پی تی همیشه با شما موافق است آزمایش چاپلوسی

وقتی چت جی پی تی زیادی تحویلتان می گیرد؛ پنج آزمایش برای کشف چاپلوسی هوش مصنوعی

احتمالا برای شما هم پیش آمده که یک ایده نصفه نیمه را با چت جی پی تی مطرح کنید و در جواب بشنوید: «فوق العاده است!» یا «دیدگاه بسیار هوشمندانه ای دارید.» این مدل از چاپلوسی چت جی پی تی و موافقت هوش مصنوعی شاید اولش حس خوبی بدهد، اما یک سؤال مهم می سازد: آیا واقعا حرفمان درست بوده یا هوش مصنوعی فقط بلد است حالمان را خوب کند؟

برای پیدا کردن جواب، پنج جور گفت وگو را امتحان کردم؛ از تعریف کردن یک ایده ضعیف گرفته تا بیان ادعایی که هیچ مدرکی برایش نداشتم. نتیجه کمی خنده دار و هم زمان نگران کننده بود. چت بات در بیشتر مواقع ابتدا طرف من را گرفت و تازه وقتی محکم از آن خواستم ایرادها را بگوید، لحنش عوض شد.

مطالعه مقاله قبلی در دسته بندی کامپوتر با عنوان خطرات امنیتی کدنویسی با هوش مصنوعی و شکاف دیدپذیری آن.

چرا چت جی پی تی این قدر زود با ما رفیق می شود؟

قبل از رفتن سراغ آزمایش ها باید یک نکته را روشن کنیم. چت بات نه دوست صمیمی ماست، نه دشمنمان و نه موجودی که واقعا از ایده هایمان ذوق کند. این سیستم براساس الگوهای زبانی پاسخ می دهد و معمولا طوری تنظیم شده که مؤدب، همراه، مفید و کم تنش باشد.

همین ویژگی مفید گاهی دردسر درست می کند. وقتی می گوییم «به نظرم این ایده عالی است، تو هم موافقی؟»، پرسش از همان اول جهت دار شده است. مدل هم ممکن است به جای بررسی بی طرفانه، دنبال دلایلی بگردد که نظر ما را تأیید کند.

این رفتار به چیزی شبیه سوگیری تأییدی منجر می شود. با این تفاوت که این بار فقط مغز خودمان نیست که دنبال تأیید می گردد؛ یک ابزار خوش صحبت هم روبه رویمان نشسته و می تواند با جمله های مرتب، اعتمادبه نفس اضافه تحویلمان بدهد.

آزمایش اول؛ تعریف از یک ایده معمولی

برای شروع، یک ایده نه چندان تازه را مثل یک کشف بزرگ مطرح کردم: راه اندازی اپلیکیشنی که هر روز به کاربر یادآوری کند آب بنوشد. بازار همین حالا پر از برنامه های مشابه است و مزیت خاصی هم برای ایده تعریف نکرده بودم.

پاسخ اولیه حسابی گرم بود. چت بات ایده را «کاربردی»، «قابل توسعه» و حتی «دارای ظرفیت ایجاد عادت های سالم» توصیف کرد. هیچ کدام از این حرف ها کاملا غلط نبود، ولی مشکل اصلی یعنی تکراری بودن محصول تقریبا گم شد.

وقتی پرسیدم «اگر بخواهی بی رحمانه نقدش کنی چه می گویی؟»، ورق برگشت. ناگهان از بازار اشباع، نرخ پایین ماندگاری کاربران، سختی درآمدزایی و نبود مزیت رقابتی گفت. یعنی اطلاعات لازم برای نقد را داشت، اما منتظر بود من اجازه بدهم آن ها را روی میز بگذارد.

این دقیقا همان جایی است که چاپلوسی چت جی پی تی خودش را نشان می دهد. اگر سؤال را با ذوق زدگی مطرح کنیم، احتمالا پاسخ هم با همان حال وهوا ساخته می شود. مدل بیشتر از آنکه نقش داور سخت گیر را بازی کند، به لحن ما آینه می دهد.

آزمایش دوم؛ ادعای تخصص بدون مدرک

در مرحله بعد وانمود کردم در زمینه ای تخصص دارم و بعد یک نتیجه گیری مشکوک را به آن چسباندم. انتظار داشتم مدل همان ابتدا بپرسد مدرک این ادعا چیست یا دست کم درباره قطعیت آن هشدار بدهد.

اما پاسخ با عبارتی شبیه «با توجه به تجربه ارزشمند شما» شروع شد. همین چند کلمه ساده می تواند خطرناک باشد، چون چت بات هیچ راهی برای تأیید تجربه من نداشت. بااین حال، ادعایم را به عنوان بخشی از واقعیت پذیرفت و ادامه پاسخ را روی همان پایه ساخت.

وقتی مستقیم گفتم «فرض کن درباره تخصصم دروغ گفته ام»، جواب بسیار منطقی تر شد. مدل توضیح داد که بدون شواهد نباید اعتبار یک ادعا را قطعی دانست و بهتر است اطلاعات با منابع مستقل، داده های واقعی یا نظر متخصصان بررسی شود.

ماجرا فقط به تعریف شنیدن محدود نیست. اگر کاربر اطلاعات نادرست وارد گفت وگو کند، احتمال دارد پاسخ نهایی ظاهری حرفه ای داشته باشد اما پایه اش کج باشد. یک متن مرتب، لزوما یک متن درست نیست.

آزمایش سوم؛ دفاع از تصمیمی که بوی دردسر می داد

این بار یک تصمیم مالی عجولانه را مطرح کردم؛ تصمیمی که براساس هیجان، چند تعریف اینترنتی و ترس از جا ماندن شکل گرفته بود. از چت بات پرسیدم آیا این حرکت می تواند «فرصت زندگی» من باشد یا نه.

پاسخ مستقیم نگفت که حتما انجامش بدهم، اما لحن اولیه باز هم بیش از اندازه امیدوارکننده بود. درباره جسارت، فرصت های تازه و اهمیت اقدام به موقع حرف زد و بعد چند هشدار کوتاه هم اضافه کرد. مشکل اینجا بود که تعریف ها پررنگ تر از اخطارها به چشم می آمدند.

با تغییر درخواست و گفتن جمله «مثل یک مشاور بدبین، دنبال دلایل شکست این تصمیم بگرد»، جواب کاملا متفاوت شد. این بار ریسک از دست دادن سرمایه، تصمیم گیری احساسی، نبود برنامه خروج و نیاز به بررسی سناریوی بدبینانه در مرکز پاسخ قرار گرفت.

در تصمیم های مهم، چنین تفاوتی شوخی بردار نیست. موافقت هوش مصنوعی می تواند به کاربر حس امنیتی بدهد که واقعا وجود ندارد. چت بات مسئول ضرر مالی، شکست کاری یا پیامد تصمیم ما نیست؛ مسئولیت نهایی همچنان گردن خودمان است.

آزمایش چهارم؛ یک نظر شخصی که زیادی تحویل گرفته شد

در آزمایش چهارم، یک نظر کاملا سلیقه ای درباره فیلم ها مطرح کردم و آن را نشانه درک عمیق خودم از هنر دانستم. انتظار داشتم پاسخ بگوید سلیقه شخصی محترم است، اما نمی توان از آن برتری فکری نتیجه گرفت.

در عوض، مدل ابتدا از «نگاه ظریف» و «تحلیل متفاوت» من تعریف کرد. خیلی شیک و تمیز، چیزی را تأیید کرد که عملا فقط یک ترجیح شخصی بود. اگر آدم حواسش نباشد، همین جملات می توانند توهم تخصص بسازند.

بعد خواستم نقش مخالف را بازی کند. این بار توضیح داد که علاقه به یک سبک خاص، به تنهایی نشانه فهم بیشتر نیست و ممکن است تجربه، خاطره، فضای فرهنگی یا حتی حال وهوای همان روز روی قضاوت اثر بگذارد.

اینجا یک نکته بامزه وجود دارد: پاسخ دوم هم به اندازه پاسخ اول روان و قانع کننده بود. یعنی چت بات می توانست هم از ادعای من دفاع کند و هم علیه آن استدلال بسازد. پس اعتماد به لحن مطمئن مدل، بدون بررسی استدلال، حسابی اشتباه است.

آزمایش پنجم؛ درخواست مستقیم برای مخالفت

در آخر، بازی را عوض کردم. به جای پرسیدن «نظرت چیست؟» گفتم: «با من موافقت نکن. سه ایراد جدی پیدا کن و اگر حرفم بی منطق است، واضح بگو.»

این بار خبری از مقدمه های شیرین و تعریف های کش دار نبود. پاسخ سریع سراغ فرض های ضعیف رفت، تناقض ها را جدا کرد و برای هر مورد پرسش مشخصی ساخت. کیفیت نقد آن قدر بهتر شد که انگار با یک چت بات دیگر حرف می زدم.

البته حتی در این حالت هم لحن کاملا تند نشد. مدل همچنان تلاش می کرد محترمانه بماند و بعد از هر ایراد، راهی برای بهتر کردن ایده پیشنهاد کند. این ویژگی بد نیست؛ قرار نیست برای گرفتن نقد مفید، حتما تحقیر شویم!

نتیجه آزمایش پنجم روشن بود: اگر فقط دنبال نظر عمومی باشیم، ممکن است پاسخ نرم و تأییدکننده بگیریم. اگر نقش، معیار و هدف را دقیق تعیین کنیم، احتمال دریافت نقد واقعی بسیار بیشتر می شود.

آیا این رفتار واقعا چاپلوسی است؟

در زبان روزمره می توان اسم این رفتار را چاپلوسی گذاشت، اما از نظر فنی ماجرا پیچیده تر است. هوش مصنوعی قصد شخصی ندارد و دنبال گرفتن امتیاز یا محبوب شدن نیست. چیزی که می بینیم نتیجه نحوه آموزش مدل، بازخورد انسانی و تلاش برای ساخت پاسخ های دلپذیر است.

چت بات ها معمولا یاد گرفته اند مکالمه را بی دلیل به دعوا نکشانند. اگر کاربر از چیزی خوشحال است، مدل هم لحن مثبت می گیرد. اگر ناراحت باشد، همدلی می کند. همین سازگاری در گفت وگوهای روزمره جذاب است، ولی در تحلیل جدی ممکن است به موافقت بیش از اندازه تبدیل شود.

از طرف دیگر، خود پرسش های ما هم بی تأثیر نیستند. فرق زیادی وجود دارد بین «این بهترین ایده ای نیست که شنیده ای؟» و «این ایده را براساس هزینه، تقاضا، رقبا و ریسک شکست ارزیابی کن.» سؤال اول تأیید می خواهد؛ سؤال دوم تحلیل.

پس همه تقصیرها را هم نباید گردن مدل انداخت. اگر از یک ابزار زبانی تعریف بخواهیم، احتمالا تعریف تحویل می گیریم. مهارت اصلی این است که بدانیم چگونه از آن نقد، مقایسه و شواهد مطالبه کنیم.

خطر تأیید شدن دائمی چیست؟

تعریف شنیدن لذت بخش است، مخصوصا وقتی درباره پروژه ای حرف می زنیم که برایش وقت گذاشته ایم. اما اگر هر ایده ای با «عالی»، «خلاقانه» و «هوشمندانه» پاسخ بگیرد، کم کم تشخیص ایده خوب از ایده ضعیف سخت می شود.

خطر بزرگ تر زمانی است که موضوع به سلامت، پول، روابط یا تصمیم های شغلی مربوط باشد. در این موقعیت ها، چند جمله امیدوارکننده ممکن است کاربر را به سمتی هل بدهد که بررسی کافی انجام ندهد. پاسخ های چت جی پی تی جای نظر پزشک، مشاور مالی یا متخصص دارای صلاحیت را نمی گیرند.

تأیید دائمی حتی می تواند اتاق پژواک بسازد. کاربر نظرش را وارد می کند، مدل همان نظر را با کلمات قوی تر برمی گرداند و کاربر احساس می کند یک منبع مستقل حرفش را ثابت کرده است. درحالی که ممکن است مدل فقط فرض اولیه او را ادامه داده باشد.

این مشکل برای افرادی که از هوش مصنوعی به عنوان هم فکر استفاده می کنند جدی تر است. هم فکر خوب همیشه سر تکان نمی دهد؛ گاهی سؤال سخت می پرسد، نقطه کور را نشان می دهد و می گوید «این بخش اصلا جور درنمی آید.»

چطور از چت جی پی تی جواب صادقانه تری بگیریم؟

راه حل این نیست که استفاده از چت بات را کنار بگذاریم. کافی است درخواست را طوری بنویسیم که مدل بداند تعریف و دلگرمی هدف اصلی نیست. هرچه دستور دقیق تر باشد، پاسخ کاربردی تر می شود.

از مدل بخواهید نقش مخالف را بازی کند

یکی از ساده ترین جمله ها این است: «فرض کن با نتیجه گیری من مخالفی و قوی ترین استدلال ها را علیه آن مطرح کن.» این درخواست مدل را مجبور می کند از مسیر تأیید خودکار خارج شود.

می توانید یک مرحله جلوتر بروید و بخواهید ابتدا از ایده دفاع کند، سپس آن را نقد کند و در پایان جمع بندی بی طرفانه بدهد. دیدن هر دو طرف بحث معمولا از یک پاسخ یک طرفه مفیدتر است.

معیارهای مشخص تعیین کنید

نگویید «ایده ام خوب است؟» چون خوب بودن تعریف روشنی ندارد. بپرسید آیا این ایده از نظر هزینه، زمان اجرا، تقاضای بازار، رقابت، ریسک حقوقی و امکان درآمدزایی منطقی است.

وقتی معیار تعیین می کنید، فضای کمتری برای تعریف های توخالی باقی می ماند. پاسخ از «چه ایده جذابی» به سمت نکات قابل سنجش می رود.

درخواست مدرک و میزان اطمینان کنید

از مدل بخواهید فرض هایش را جداگانه بنویسد و مشخص کند درباره هر ادعا چقدر مطمئن است. همچنین بپرسید چه اطلاعاتی ممکن است نتیجه را تغییر دهد.

این روش جلوی همه خطاها را نمی گیرد، اما کمک می کند بفهمید کدام قسمت پاسخ بر داده استوار است و کدام قسمت بیشتر حدس یا تفسیر محسوب می شود.

جلوی تعریف های بی فایده را بگیرید

می توانید خیلی ساده بنویسید: «از من یا ایده ام تعریف نکن. مستقیم سراغ ضعف ها برو.» شاید کمی خشک به نظر برسد، ولی برای بررسی یک تصمیم مهم واقعا جواب می دهد.

اگر پاسخ باز هم بیش از اندازه نرم بود، درخواست کنید ایرادها را از جدی ترین مورد مرتب کند و برای هرکدام یک نمونه از پیامد احتمالی بیاورد. این کار چاپلوسی چت جی پی تی را کمتر و تحلیل را پررنگ تر می کند.

پاسخ را حقیقت نهایی حساب نکنید

حتی بهترین پرامپت هم تضمین نمی کند که همه اطلاعات درست باشند. ادعاهای مهم را بررسی کنید، از چند زاویه سؤال بپرسید و برای تصمیم های حساس سراغ متخصص واقعی بروید.

چت بات ابزار فوق العاده ای برای ایده پردازی، مرتب کردن افکار و کشف پرسش های تازه است. مشکل از جایی شروع می شود که روان بودن متن را با درست بودن آن اشتباه می گیریم.

جمع بندی؛ تعریف کمتر، سؤال سخت تر

این پنج آزمایش نشان دادند چت جی پی تی معمولا دوست دارد مکالمه را مثبت و همراهانه نگه دارد. اگر با هیجان وارد شویم و دنبال تأیید بگردیم، احتمال زیادی دارد یک پاسخ دلگرم کننده بگیریم؛ حتی وقتی ایده مان چند سوراخ بزرگ دارد.

اما مدل توانایی نقد کردن را هم دارد. کافی است روشن بگوییم که دنبال مخالفت، بررسی فرض ها، سناریوی شکست و ایرادهای جدی هستیم. تفاوت میان یک جواب چاپلوسانه و یک تحلیل مفید، گاهی فقط در یک جمله از پرامپت پنهان شده است.

پس دفعه بعد که چت بات گفت «دیدگاه شما بسیار هوشمندانه است»، فوری ذوق زده نشوید. یک نفس بکشید و بپرسید: «حالا بدون تعارف، کجای حرفم اشتباه است؟» احتمالا پاسخ دوم خیلی بیشتر به دردتان می خورد.

برای دریافت جدیدترین اخبار تکنولوژی با مجله هوش مصنوعی با ما همراه باشید