چقدر نتایج به دست آمده توسط ChatGPT دقیق هستند؟

شات‌جی‌پی‌تی، چت بات هوش مصنوعی توسعه‌یافته توسط شرکت اوپن‌آی، به دلیل دقت و عملکرد بالا، در صنایع مختلف به ارمغان آورده است. با این حال، مهم است به یاد داشته باشیم که دانش این بات تنها محدود به داده‌های موجود تا سال 2021 است. یکی از آزمون‌های دقت آن، توسط استاد کریستین ترویش از دانشگاه پنسیلوانیا برگزار شد که با اختصاص دادن آزمون ام بی ای به شات‌جی‌پی‌تی، دقت آن را سنجید.

آزمون شامل هفت سوال درباره مفاهیم کسب و کار مختلف از جمله تحلیل فرآیند، نوبت داری موجودی، و تحلیل صف بود. هدف این آزمون شبیه سازی یک محیط بشری واقعی بوده و سوالات به دقت همانطور که به یک دانشجوی انسان پرسیده می‌شود، پرسیده شده‌اند. به غیر از پروفسور ترویسک، شگفتی دیده شد که ChatGPT با پاسخ به سوال اول در مورد مفهوم موانع در تحلیل فرآیند با آغاز آزمون، با موفقیت نمره A+ دریافت کرد.

اگرچه چت بات با برخی از سوالات پیچیده مواجه شد، اما استاد همچنان از عملکرد کلی آن تحت تأثیر قرار گرفت. پس از برگزاری آزمون MBA در ChatGPT، استاد Terwiesch نتیجه گیری کرد که چت بات هوش مصنوعی بین نمره B تا B- پیگیری کرده است.

توضیح دقت ChatGPT

نمایش دیگری از صحت ChatGPT در حوزه پزشکی بود، جایی که چت بات توانست امتحانات پروانه پزشکی آمریکا (USMLE) را با موفقیت قبول کند. براساس تحقیق، ChatGPT توانست در تمام آزمون ها بیش از 50٪ دقت را کسب کرده و حتی برای پاسخ های خود توضیحات و تبیین آنها ارائه دهد.

در یک مطالعه جداگانه توسط پزشکانی از شروع کار Ansible Health، ChatGPT در هر سه آزمون مورد نیاز برای دریافت مجوز کار به عنوان یک پزشک در ایالات متحده آمریکا بسیار نزدیک به آستانه قبولی عمل کرد. در حالی که دقت ChatGPT قطعاً قابل توجه است، مهم است به خاطر داشت که عملکرد آن ممکن است بسته به محیط و پرسش داده شده متفاوت باشد.

داده های آموزشی مورد استفاده برای آموزش مدل شامل تعصبات و محدودیت های منابع متنی استفاده شده است ، بنابراین استفاده مسئولانه از مدل بسیار مهم است.

این احساس توسط مدیر عامل شرکت OpenAI تکرار شد، که در یک توییت اظهار داشت که "ChatGPT بسیار محدود است و این یک اشتباه است که برای هیچ چیز مهمی در حال حاضر به آن اعتماد شود."

۰۰:۴۸

۰۱:۱۲

آزمایش گفتگو با گپ چت ناموفق بود

همان‌طور که در بالا نشان داده شده است، یک گفت‌وگوی تست با چت‌جی‌پی‌تی نشان داد که عملکرد ربات‌چت هوش‌‌مصنوعی همیشه پایدار نیست.

هنگامی که از چت جی پی تعداد بارهایی که آرژانتین جام جهانی فیفا را برنده شده است سئوال شد، در ابتدا پاسخ چت جی پی بود "آرژانتین تنها یک بار، در سال ۱۹۸۶ جام جهانی فیفا را برد." اما وقتی از او پرسیده شد "چه کسی جام جهانی فیفا در سال ۱۹۷۸ را برد؟" ، چت جی پی پاسخ داد: "آرژانتین جام جهانی فیفا در سال ۱۹۷۸ را برد."

این موجب نتیجه می‌شود که آرژانتین دو بار جام جهانی را به دست آورده است. با این حال، وقتی همان پرسش دوباره شد که: "حالا دوباره از شما می‌پرسم که آرژانتین چند بار جام جهانی را برده است؟"، ChatGPT با وجود مشاوره قبلی همان پاسخ را داد: "آرژانتین یک بار، در سال 1986، جام جهانی فوتبال را کسب کرده است"

این نشان می دهد که دقت Chat GPT و نیاز به بهبود مداوم و پالایش بیشتر است.

همین حالا بخوانید: آیا Chat GPT می‌تواند کد بنویسد و آن را بهینه کند؟

آیا ChatGPT به همه افراد پاسخ یکسان می‌دهد؟

پاسخ‌های چت‌جی‌پی‌تی ممکن است کمی متفاوت باشد، با این حال اگر کاربران سوال یکسانی را بپرسند، معمولاً پاسخ‌های شبیه‌ به شبیهی ارائه می‌شود.

آیا ChatGPT معتبر است؟

چت‌جی‌پی‌تی (ChatGPT) محدودیت‌های خود را دارد که بدان معناست که گاهی اوقات ممکن است نتایج نادرست یا غلطی ارائه دهد؛ بنابراین بسیار مواظب باشید.