11 معایب محتوای چت‌جی‌پی‌تی

برجستگی‌ها

• چرا محتوای کم کیفیت ChatGPT با مرور بشری تائید می شود.
• ChatGPT جامع است حتی زمانی که باید مختصر باشد.
• استاد نقصی را که مقالات تولید شده توسط ChatGPT را نابود می کند، مشخص کرده است.
• ChatGPT در آزمون تشخیص اندرویدی با نام Voight-Kampff شکست می خورد و دلیل جالبی وجود دارد که چرا این موضوع مهم است.

ChatGPT محتوایی تولید می‌کند که جامع و قابل قبول بودنش پذیرفته شده است.

اما پژوهشگران، هنرمندان و استادان به نقص‌هایی که باعث کاهش کیفیت محتوا می‌شوند، هشدار می‌دهند.

در این مقاله، به ۱۱ معایب محتوای ChatGPT خواهیم پرداخت. بیایید شروع کنیم.

1. استفاده از عبارات غیر انسانی آن را به عنوان یک موجود غیر انسانی شناسایی می کند

محققانی که در حال مطالعه نحوه شناسایی محتوای تولید شده توسط دستگاه هستند، الگوهایی را کشف کرده‌اند که آن را به نظر غیرطبیعی تلقی می‌کند.

یکی از جالبی‌هایی که در هوش مصنوعی وجود دارد، مربوط به ناتوانی آن در تفهیم اصطلاحات است.

اصطلاح یا ضرب المثل عبارتی است که به آن معنای استعاری اختصاص یافته است، به عنوان مثال "هر ابری نقطه نوری دارد".

نبود اصطلاح‌های زبانی در متن می‌تواند نشانه‌ای از تولید ماشینی محتوا باشد - و این می‌تواند بخشی از یک الگوریتم تشخیص باشد.

این جالبی در محتوای تولید شده توسط ماشین را سند 2022 با عنوان Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers توضیح میدهد:

“ویژگی های نسبتاً پیچیده بر پایه فراوانی کلمات و عبارات خاصی در متن تحلیل شده است که در متن انسانی بیشتر به کار می روند”.

...از این ویژگی‌های عبارات پیچیده، ویژگی‌های ضرب‌المثل دارای بیشترین قدرت پیش‌بینی در شناسایی مدل‌های بوجود آمده فعلی هستند.

ناتوانی در استفاده از اصطلاحات زبانی موجب می‌شود که خروجی ChatGPT به صورت غیرطبیعی و غیرمعمول خوانده و شنیده شود.

2. چت‌جی‌پی‌تی کمبود بیان را داراست

یک هنرمند نظری داد در مورد اینکه خروجی ChatGPT شبیه به هنر است، ولی دارای صفات و ویژگی‌های واقعی ابراز هنری نیست.

عبارت، عملی است برای انتقال افکار یا احساسات.

خروجی ChatGPT شامل عبارت نیست، فقط کلمات را برمی‌گرداند.

یک ربات نمی‌تواند محتوایی را تولید کند که به اندازه انسان، برایش احساسی باشد، زیرا احساسات و افکار واقعی را ندارد.

هنرمند موسیقی نیک کیو در مقاله ای که در خبرنامه Red Hand Files خود ارسال کرده بود، به نظری شعر ChatGPT که به سبک نیک کیو ساخته شده بود و به او ارسال شده بود نظر داد.

ابزارک هوش مصنوعی جدید بازاریابی محتوایی
فناوری‌های نسل بعدی را قبل از رقبای خود به خدمت بگیرید. محتوای مشخص و بهینه شده‌ای برای هدف مشتری خود طراحی کنید که سه برابر سریعتر نتایج را به دست دهد.

او نوشت:

"آنچه یک آهنگ بزرگ را بزرگ می‌سازد نه شباهت نزدیک آن به یک اثر شناخته شده است.

…این دیدار بی هوازنی، بنابراین، با آسیب پذیری، خطرناکی و کوچک بودن خود، در برابر یک احساس کشف ناگهانی است؛ این فعالیت هنری رهایی کننده ای است که قلب شنونده را به هیجان واداشته و شنونده را در نحوه کارکردهای درونی آهنگ، خون خود، مبارزه خود و درد خود را تشخیص می دهد.

کاو بندری ChatGPT را نمونه طنزی دانست.

این شعر ChatGPT است که شباهتی به شعر Nick Cave دارد:

«من خون فرشتگان را بر دستانم دارم
من آتش جهنم را در چشمانم دارم
من پادشاه دهلیز ها هستم، من حاکم تاریکی هستم
من کسی هستم که آنها در سایه اش به آن ترسیده اند»

و این یک ترانه واقعی نیک کیو می باشد (برادر، لیوان من خالی است):

"خب من از روی رنگین کمان‌ها لغزنده بودم
از ستاره‌ها تلنبار کشیده بودم
حالا گدای لباس پوسیده‌ای باید
پیاله‌اش را بر روی نوار می‌زند
نگاه کنید، پیاله‌ام خالی است!
به نظر می‌رسد آرزوهایم را گم کرده‌ام
به نظر می‌رسد خاکستری‌های آتش‌های پیشینم را جمع‌آوری می‌کنم."

راحت است مشاهده کردن این که ترانه ای تولید شده توسط ماشین شبیه به ترانه هنرمند است، اما واقعاً هیچ چیز را ارتباط نمی‌دهد.

متن شعرهای نیک کیو داستانی را با غم، شوق، شرم و فریب ارادی فردی که در آهنگ صحبت می‌کند پر می‌کند. این شعرها احساسات و افکاری را بیان می‌کنند.

راحت می‌توان دید چرا نیک کیو آن را نقض کرده است.

۳. چت‌جی‌پی‌تی دیدگاهی ایجاد نمی‌کند

یک مقاله منتشر شده در سایت The Insider به نقل از یک دانشگاهی اشاره کرد که مقالات دانشگاهی تولید شده توسط ChatGPT دارای بار اطلاعاتی کافی درباره موضوع نیستند.

چت‌جی‌پی‌تا موضوع را خلاصه می‌کند اما بر آن تأمل منحصر به فردی نمی‌کند.

انسان‌ها از طریق دانش خود، اما همچنین از طریق تجربیات شخصی و دیدگاه‌های ذهنی آنها خلق می‌کنند.

بروفسور کریستوفر بارتل از دانشگاه Appalachian State در گفتگو با The Insider اظهار داشته که اگرچه یک مقاله ChatGPT ممکن است دارای کیفیت دستوری و ایده‌های پیشرفته باشد، باز هم به دیدگاه کافی برخوردار نمی‌باشد.

برتل گفت:

“آنها واقعاً ابریشمی هستند. هیچ زمینه، عمق یا بینشی ندارند.”

بینش علامت شاخص یک مقاله با کیفیت است و این چیزی است که "چت‌ جی‌پی‌تی" به خوبی در آن موفق نیست.

این ناقص‌بینی شایان توجه است زمانی که قصد بررسی محتوای تولیدشده توسط دستگاه را دارید.

4. چت جی پی تی زیاد حرفه‌ای است

یک مقاله تحقیقاتی در ژانویه ۲۰۲۳ الگوهایی در محتوای چت‌جی‌پی‌تی پیدا کرد که آن را برای برنامه‌های بحرانی مناسب نمی‌سازد.

مقاله با عنوان "چقدر چت‌جی‌پی‌تی به متخصصین انسان نزدیک است؟ مقایسه کرپوس، ارزیابی و تشخیص" نامگذاری شده است.

پژوهش نشان داد که بیش از 50٪ سوالات مربوط به امور مالی و روانشناسی که پاسخ آن‌ها توسط چت‌جی‌پی‌تی ارائه شده بود، توسط انسان‌ها ترجیح داده شده بودند.

اما "چت جی‌پی‌تی" در پاسخ به سوالات پزشکی شکست خورد زیرا انسان‌ها پاسخ‌های مستقیم را ترجیح می‌دهند - چیزی که هوش مصنوعی ارائه نداد.

پژوهشگران نوشتند:

"... در ارائه کمک کردن در زمینه پزشکی به زبان انگلیسی و چینی، چت جی پی تی به طور نامناسب عمل می کند. "

در مجموعه داده جمع آوری شده ما، چت‌بات گی‌پی‌تی به سؤالات پزشکی پاسخ‌های طولانی می‌دهد، در حالی که متخصصان انسان‌ها ممکن است به صورت مستقیم پاسخ یا پیشنهاد مستقیم بدهند که می‌تواند توضیح دهنده بخشی از دلیل آن باشد که داوطلبان پاسخ‌های انسانی را در زمینه پزشکی مفیدتر می‌دانند.”

ChatGPT در تلاش است که یک موضوع را از زوایای مختلف پوشش دهد که زمانی نامناسب است که بهترین پاسخ یکی مستقیم باشد.

بازاریابانی که از ChatGPT استفاده می‌کنند باید به این نکته توجه داشته باشند، زیرا بازدیدکنندگانی که به دنبال یک پاسخ مستقیم هستند با یک صفحه وب طولانی رونواخت شده نخواهند شد.

و برای رتبه‌بندی یک صفحه‌ی بیش‌ازحد پرگفت‌و‌گو و پیچیده در برترین اطلاعات در Google، یک پاسخ جامع و روشن که با Google Voice همخوانی داشته باشد، احتمالاً بهتر از یک پاسخ بیش‌ازحد با موفقیت درجه‌بندی شود.

اپن‌آی (OpenAI)، تولیدکنندۀ چت‌جی‌پی‌تی (ChatGPT)، به این نکته اذعان دارد که ارائۀ پاسخ‌های طولانی به عنوان یک محدودیت شناخته شده است.

مقاله اعلامیه ای شرکت OpenAI می‌گوید:

"مدل اغلب بیش از حد طولانی بیان می‌شود..."

چشمگیر بودن تمایل ChatGPT به ارائه پاسخ‌های طولانی باید در هنگام استفاده از خروجی ChatGPT مورد توجه قرار گیرد، زیرا ممکن است در مواردی برخورد کنید که پاسخ‌های کوتاه و مستقیم بهترند.

۵. محتوای ChatGPT با منطق واضح بسیار سازمان یافته است

ChatGPT یک سبک نویسشی دارد که نه تنها پرسه‌وکف دارد بلکه به تمپلیتی پیروی می‌کند که سبب می‌شود محتوا نسبت به انسان‌ها سبک خاصی داشته باشد.

این ویژگی غیرانسانی در تفاوت‌های بین پاسخگویی انسان‌ها و ماشین‌ها مشخص می‌شود.

فیلم Blade Runner دارای صحنه ای است که در آن مجموعه ایی از سوالات طراحی شده است تا نشان دهد شخصی که به سوالات پاسخ می دهد انسان است یا یک اندروید.

این سوال‌ها بخشی از یک آزمون خیالی به نام "آزمون وویت-کامف" بودند.

یکی از سوالات:

"شما دارید تلویزیون تماشا می‌کنید. ناگهان متوجه می‌شوید یک کرم هست که روی بازوی شما می‌رود. چه کار می‌کنید؟"

واکنش طبیعی انسان معمولاً به این صورت است که آنها می‌گویند که جیغ می‌زنند، بیرون می‌روند و آن را با یک تاپی زدن می‌کشند و غیره.

اما وقتی این سوال را به چت‌ جی‌پی‌تی (ChatGPT) مطرح کردم، پاسخی دقیق و منظم ارائه داد که سوال را خلاصه کرده و سپس چندین نتیجه منطقی وجود دارد - اما نتوانست به سوال واقعی پاسخ دهد.

عکس از چت‌جی‌پی‌تی در حال پاسخ دادن به یک سوال آزمون فویت-کمف

پاسخ بسیار سازمان‌یافته و منطقی است، که باعث ایجاد احساسی بسیار غیرطبیعی می‌شود و این مطلوب نمی‌باشد.

6. چت‌جی‌پی‌تی به طور مفصل و جامع بیش از حد است

ChatGPT به نحوی آموزش داده شده است که زمانی پاداش به ماشین داده می‌شود که انسان‌ها از پاسخ راضی باشند.

امتیازدهندگان انسانی به پاسخ‌هایی که بیشتر جزییات دارند، تمایل داشتند.

اما گاهی مانند در بستر پزشکی، یک پاسخ مستقیم بهتر از یک پاسخ جامع است.

این بدان معناست که ماشین باید هنگامی که این ویژگی ها مهم هستند، ترغیب شود تا کمتر جامع و بیشتر مستقیم عمل کند.

از OpenAI:

"مشکلات فوق به دلیل بازتاب تبعیض‌آمیز در داده‌های آموزشی (مربیان تمایل به پاسخ‌های بلندتری دارند که به نظر بیشتر و جامع تر می‌آیند) و مشکلات بسیار بالا بهینه‌سازی رخ می‌دهند."

7. ChatGPT دروغ می گوید (حقایق واهی دیده)

مقاله تحقیقاتی ذکر شده بالا با عنوان چقدر با متخصصان انسانی یکسان است، به این نکته اشاره کرد که ChatGPT به تمایل به دروغ گفتن دارد.

آن گزارش می دهد:

"در پاسخ به سوالی که نیاز به دانش حرفه‌ای از یک زمینه خاص دارد، ChatGPT ممکن است دروغ بگوید تا پاسخی را ارائه دهد ...

به عنوان مثال، در سؤالات حقوقی، چت‌جی‌پی‌تی ممکن است برای پاسخ به سؤال برخی از مقررات حقوقی وجود نداشته را ابداع کند.

...همچنین، زمانی که یک کاربر سؤالی مطرح کند که پاسخی برای آن وجود ندارد، گپ‌جی‌پی‌تی ممکن است در نظر داشته باشد که واقعیت‌های جعلی به کار بگیرد تا پاسخی ارائه دهد.

وب سایت فوچوریسم نمونه‌هایی از محتوای تولیدشده توسط ماشین را که در سایت سی‌نت منتشر شده بود، با اشتباهات پوچ خلق بود، به ثبت رسانید.

سی‌نت باید می دانست که چنین اتفاقی ممکن است رخ دهد، چون OpenAI هشداری درباره خروجی نادرست منتشر کرده‌ است:

"گفتگوی GPT گاهی پاسخ‌های پذیرایی مانند ولی نادرست یا بی‌مفهوم می‌دهد."

سی‌نت ادعا می‌کند که مقالات تولید شده توسط ماشین را قبل از انتشار به نقد و بررسی انسانی ارائه کرده است.

مشکل با بررسی انسانی این است که محتوای چت جی پی تمایل دارد به شکلی قانع‌کننده و درست بنظر بیاید که می‌تواند یک بررسی‌کننده که تخصص در آن موضوع ندارد را فریب دهد.

۸. چت‌جی‌پی‌تی غیرطبیعی است چون تفاوت نماینده نمی‌شود

مقاله تحقیقاتی "چقدر چت‌جی‌پی‌تی نزدیک به متخصصان انسانی است؟" نیز به این نکته اشاره کرده است که ارتباطات انسانی ممکن است معنای غیرمستقیمی داشته باشند، که نیاز به تغییر موضوع برای درک آن دارد.

ChatGPT خیلی بسیار حرفه ای است، که بنابراین پاسخ ها گاهی اوقات به دلیل اینکه هوش مصنوعی موضوع واقعی را نادیده میگیرد، از هدف گذشته اند.

محققین نوشتند:

"پاسخ های چت جی پی تی به طور عمومی به سوال داده شده تمرکز دارند ، در حالی که پاسخ های انسان به طور پراکنده‌ای هستند و به سرعت به مباحث دیگری سوق پیدا می‌کنند."

از نظر غنای محتوا، انسان‌ها در جنبه‌های مختلف بیشتر تفاوت دارند، در حالی که ChatGPT تمرکز خود را بر روی خود سوال دارد.

انسان‌ها می‌توانند بر اساس عقل شائع خود و دانششان به معنای پنهان پرسش پاسخ دهند، اما چت‌جی‌پی‌تی بر پایه لغات روشن در دست سوال موجود اعتماد می‌کند...

انسان‌ها قابلیت خارج شدن از سوال حرفه‌ای را بهتر دارند که برای پاسخ دادن به سوالاتی نظیر "چیزی در مورد چه" بسیار مهم است.

برای مثال، اگر بپرسم:

"اسب ها برای پرورش در خانه بسیار بزرگ هستند. اما چه با راکون ها؟"

سوال بالایی در مورد این است که آیا یک خرس راکون به عنوان حیوان خانگی مناسب است یا خیر، نه. سوال در مورد اندازه حیوان است.

ChatGPT به جای تمرکز بر اندازه، بر محتمل بودن آرایش به عنوان حیوان خانگی تمرکز می‌کند.

تصویر برداری از پاسخ بیش از حد حرفه‌ای چت جی‌پی‌تی

۹. چت‌جی‌پی‌تی دارای تمایل به بی‌طرفی است

خروجی چت‌جی‌پی‌تی معمولاً خنثی و اطلاع‌رسانی است. پیش‌فرض در این خروجی می‌تواند به نظر مفید بیاید اما همیشه چنین نیست.

مقاله تحقیقی که به تازگی در مورد آن صحبت کردیم، یادداشت کرده است که بی طرفی یک ویژگی غیر مطلوب است زمانی که به سئوالات حقوقی، پزشکی و فنی مربوط می‌شود.

انسان‌ها در ارائه این نوع دیدگاه‌ها معمولاً یک طرف را انتخاب می‌کنند.

۱۰. چت جی‌پی‌تی (ChatGPT) حاضر به بودن رسمی است

خروجی ChatGPT دارای تبعیض است که جلوی آزاد شدن و پاسخ به سوالات با عبارات عادی را می‌گیرد. به جای آن، پاسخ های آن به شکل رسمی بیان می‌شود.

با این حال، انسان‌ها به سوالات با یک سبک گفتاری همه‌روزه و محاوره‌ای پاسخ می‌دهند - کاملاً عکس شیوه رسمی استفاده شده در زبان.

ChatGPT از اختصاراتی مانند GOAT یا TL;DR استفاده نمی کند.

پاسخ‌ها همچنین شامل هیچ نمونه‌ای از طنز، استعاره و شوخی نیستند که ممکن است محتوای ChatGPT را برای برخی انواع محتواها بیش از حد رسمی کنند.

محققان می‌نویسند:

“…ChatGPT از پیوند‌بندی‌ها و قیدها برای بیان یک جریان منطقی از ایده استفاده می‌کند، همچون "در کل"، "از طرف دیگر"، "اول، ... دوم، ... نهایتا" و غیره.”

11. چت جی پی تی هنوز در دوره آموزشی است

در حال حاضر چت جی‌پی‌تی هنوز در حال آموزش و بهبود است.

اوپن‌ای‌ای توصیه می‌کند که تمامی محتوای تولید شده توسط چت‌جی‌پی‌تی توسط یک انسان بررسی شود و این را به عنوان یک شیوه بهترین ممارست‌ها معرفی می‌کند.

OpenAI پیشنهاد می‌دهد انسان‌ها را در حلقه باشند:

"هر جا که ممکن است، پیشنهاد می‌دهیم که خروجی‌ها قبل از استفاده در عمل، توسط یک انسان مورد بررسی قرار گیرند."

این در دامنه های پرخطر و برای تولید کد بسیار حیاتی است.

بشر باید از محدودیت‌های سیستم آگاه باشند و دسترسی به هر اطلاعاتی که برای تأیید خروجی‌ها لازم است، داشته باشند (به عنوان مثال، اگر برنامه یادداشت‌ها را خلاصه می‌کند، باید بشر به راحتی به یادداشت‌های اصلی برای مرجع بازگردیدن دسترسی داشته باشند)."

صفات غیرمطلوب چت‌جی‌پی‌تی

واضح است که با ChatGPT مشکلات زیادی وجود دارد که باعث می شود نامناسب برای تولید محتوای بدون نظارت باشد. این شامل تعصبات است و نمی تواند محتوایی تولید کند که به طور طبیعی باشد یا دارای بینش واقعی باشد.

علاوه بر این، عدم توانایی آن برای احساس یا تولید افکار اصیل، آن را گزینه‌ی بدی برای تولید بیان هنری می‌کند.

کاربران برای تولید محتوای بهتر از محتوای پیش‌فرض باید راهنمایی‌های دقیقی را اعمال کنند.

سرانجام، بررسی انسانی از محتوای تولید شده توسط ماشین همیشه کافی نیست، زیرا محتوای چت‌پی‌تی طراحی شده است تا به نظر درست بیاید، حتی زمانی که درست نیست.

به این معناست که افراد بازبین باید کارشناسان حوزه باشند که توانایی تشخیص محتوای صحیح یا نادرست را در یک موضوع خاص داشته باشند.