طبق نسخه از پیش منتشر شده مقاله ای که در اواخر دسامبر در وب سایت BioArchive منتشر شد، چت ربات هوش مصنوعی ChatGPT می تواند چنان چکیده های علمی جعلی قانع کننده ای بنویسد که دانشمندان اغلب نمی توانند آنها را تشخیص دهند. محققان در مورد پیامدهای این حادثه برای علم اختلاف نظر دارند.
به گفته طبیعت، ساندرا واچر از دانشگاه آکسفورد در بریتانیا، که در مورد فناوری و مقررات مطالعه می‌کند و در این تحقیق شرکت نداشت، درباره توانایی ChatGPT برای “واسطه‌گری ما” در شرایطی که کارشناسان نمی‌توانند تشخیص دهند چه چیزی واقعی است و چه چیزی غیرواقعی است، ابراز نگرانی کرد. . پیچیده بسیار مورد نیاز است، بی اثر خواهد بود.
ربات چت ChatGPT در پاسخ به درخواست کاربران، متن واقعی و هوشمندانه ایجاد می کند. این چت بات یک مدل زبان بزرگ و سیستم مبتنی بر شبکه عصبی است که یاد می‌گیرد با دریافت مقادیر زیادی متون تولید شده توسط انسان، وظایف خود را انجام دهد. شرکت نرم افزاری OpenAI مستقر در سانفرانسیسکو، این ابزار را در 30 نوامبر منتشر کرد و استفاده از آن رایگان است.
از زمان انتشار ChatGPT، محققان با مسائل اخلاقی پیرامون استفاده از آن دست و پنجه نرم کردند، زیرا تشخیص بسیاری از خروجی آن از متن نوشته شده توسط انسان دشوار است. اکنون گروهی از محققین زیر نظر شما هستند کاترین گائو از دانشگاه نورث وسترن در شیکاگو، آنها از این ربات چت برای تولید چکیده مقالات تحقیقاتی مصنوعی استفاده کردند تا ببینند آیا دانشمندان می توانند صحت آنها را تشخیص دهند یا خیر.
محققان از ربات چت خواستند تا 50 چکیده تحقیقات پزشکی را بر اساس گزیده ای از مقالات منتشر شده در مجلات علمی معتبر از جمله JAMA، مجله پزشکی نیوانگلند، BMG، Lancet و Nature Medicine بنویسد. آنها سپس متون تولید شده را با چکیده های واقعی با استفاده از آشکارساز سرقت ادبی و آشکارساز خروجی هوش مصنوعی مقایسه کردند و از گروهی از محققان پزشکی خواستند تا چکیده های مصنوعی را شناسایی کنند.
نتیجه تعجب آور بود. بررسی کننده سرقت ادبی با بررسی متون تولید شده با ChatGPT حتی یک مورد از سرقت ادبی را شناسایی نکرد و میانگین امتیاز اصالت 100% را به آنها داد. از سوی دیگر شناسه خروجی هوش مصنوعی توانست 66 درصد چکیده های تولید شده را شناسایی کند. با این حال، داوران انسانی عملکرد چندان بهتری نداشتند. آنها 68 درصد از چکیده های تولید شده و 86 درصد از چکیده های واقعی را به درستی شناسایی کردند. به عبارت دیگر، دانشمندان به اشتباه 32 درصد از چکیده های تولید شده را واقعی و 14 درصد از چکیده های واقعی را جعلی تشخیص دادند.
گائو و همکارانش در یک نسخه از پیش منتشر شده از مطالعه خود می گویند: «ChatGPT چکیده های علمی باورپذیری می نویسد. “مرزهای استفاده اخلاقی و قابل قبول از مدل های زبانی بزرگ برای کمک به نوشتن متون علمی هنوز مشخص نیست.”
واچر می گوید که اگر دانشمندان نتوانند اعتبار تحقیقات علمی را تعیین کنند، احتمالاً «عواقب وحشتناکی» در پی خواهد داشت. به گفته وی، متون تولید شده علاوه بر اینکه برای محققین مشکل آفرین است، پیامدهایی برای کل جامعه نیز خواهد داشت. زیرا تحقیقات علمی نقش زیادی در جوامع ما دارد. به عنوان مثال، تصمیمات سیاسی ممکن است بر اساس تحقیقات نادرست اتخاذ شود.
آرویند نارایانانیک دانشمند کامپیوتر در دانشگاه پرینستون در نیوجرسی می گوید: “بعید است که هیچ دانشمند جدی از ChatGPT برای تولید چکیده استفاده کند.” او اضافه می‌کند که آیا می‌توان چکیده‌های تولید شده را شناسایی کرد یا نه، یک سوال «بی‌اهمیت» است. سوال اصلی این است که آیا این ابزار می تواند یک چکیده درست و قانع کننده ایجاد کند یا خیر؟ یک چت بات نمی تواند این کار را انجام دهد، و در نتیجه، مزایای استفاده از آن حداقل است.
ایرنه سلیمان او در Hugging Face، یک شرکت هوش مصنوعی، در مورد اثرات اجتماعی هوش مصنوعی تحقیق می کند. او نگران هرگونه اتکا به الگوهای بزرگ زبانی برای تفکر علمی است. او می گوید این مدل ها بر اساس اطلاعات گذشته آموزش داده می شوند. در حالی که پیشرفت اجتماعی و علمی اغلب از طریق ایده های جدید و متفاوت با ایده های گذشته حاصل می شود.