، نتایج پژوهش تازه انجمن پیشبرد علوم آمریکا (AAAS)، ناشر مجله ساینس، نشان می‌دهد که چت‌جی‌پی‌تی در آزمون نگارش اخبار علمی از خبرنگاران انسانی شکست خورده است و هنوز توانایی رقابت در این حوزه را ندارد.

این آزمایش که از دسامبر ۲۰۲۳ تا دسامبر ۲۰۲۴ ادامه داشت، شامل بررسی ۶۴ مقاله علمی پیچیده با موضوعات پر از اصطلاحات فنی، یافته‌های بحث‌برانگیز و قالب‌های غیرمتعارف بود. پژوهشگران از مدل‌های GPT-۴ و GPT-۴o استفاده کردند و سه نوع دستورالعمل متفاوت به هوش مصنوعی دادند. هر خلاصه توسط نویسندگان حرفه‌ای حوزه علم که با ساینس و EurekAlert همکاری دارند ارزیابی شد.

نتایج عددی این آزمون چندان امیدوارکننده نبود. میانگین امتیاز «قابلیت ادغام با متن انسانی» فقط ۲.۲۶ از ۵ و عامل «جذاب بودن» ۲.۱۴ از ۵ بود. تنها یک خلاصه حداکثر امتیاز را دریافت کرد، در حالی که ۳۰ مورد کمترین امتیاز ممکن را گرفتند.

مشکلات رایج عبارت بودند از: اشتباه گرفتن همبستگی با علیت، حذف جزئیات کلیدی، و استفاده بیش از اندازه از واژه‌هایی مانند «پیشگامانه» و «جدید» برای بزرگ‌نمایی یافته‌های معمولی. همچنین، چت‌جی‌پی‌تی در ترکیب نتایج متناقض یا ارتباط دادن مطالعات مرتبط با یکدیگر ناتوان عمل کرد.

به گفته ابیگیل آیزنشتات، خبرنگاری علمی فراتر از رونویسی است و نیازمند بررسی عمیق روش‌ها، پذیرش محدودیت‌ها و تبیین پیامدهای گسترده‌تر یافته‌هاست. علاوه بر این، استفاده از چت‌جی‌پی‌تی حتی به‌عنوان نقطه آغاز به دلیل نیاز به راستی‌آزمایی گسترده اغلب کار بیشتری نسبت به نوشتن از ابتدا ایجاد می‌کند.

پژوهشگران نتیجه گرفتند که این فناوری هنوز استانداردهای خلاصه‌های مطبوعاتی ساینس را برآورده نمی‌کند، هرچند آنها امکان موفقیت در آینده با بهبود مدل‌ها، از جمله نسخه تازه GPT-۵، را منتفی نمی‌دانند. در حال حاضر، مهارت تبدیل اکتشافات علمی به زبانی روان و دقیق، همچنان در دست خبرنگاران انسانی باقی مانده است.