Oded Nov، Nina Singh و Devin Mann “Putting ChatGPT’s Medical Advice to the (Turing) Study: Survey Study” در جلد 9 آموزش پزشکی JMIR ظاهر شد. هدف این تحقیق بررسی این بود که چت ربات های پیچیده چقدر می توانند نگرانی های بیماران را برطرف کنند و اینکه آیا دومی پاسخ های خود را در هیئت مدیره می پذیرد.
برای انجام این کار، یک سری از 10 پرسش پزشکی قانونی از رکورد در ژانویه 2023 انتخاب شد و برای ناشناس ماندن اقتباس شد. ChatGPT که با پرسش‌ها ارائه شده بود، وادار شد تا پاسخ خود را به آنها بدهد و برای سهولت مقایسه، همچنین از آن خواسته شد تا پاسخ خود را تا زمانی که متخصص سلامت انسان ارائه می‌دهد حفظ کند. از اینجا، پاسخ دهندگان دو سوال مهم داشتند که باید پاسخ دهند: آیا می توانستند بگویند کدام یک از پاسخ ها توسط ربات نوشته شده است، و آیا آنها پاسخ هایی را که وجود داشت را پذیرفتند؟
نتایج تقریباً 400 شرکت‌کننده جدول‌بندی شد و جالب بود. محققان در این مطالعه خاطرنشان کردند که “به طور متوسط، پاسخ های چت بات در 65.5٪ (1284/1960) موارد به درستی شناسایی شدند و پاسخ های ارائه دهنده انسانی در 65.1٪ (1276/1960) موارد به درستی شناسایی شدند.” به طور کلی، این فقط کمتر از دو سوم مواقع است، و همچنین به نظر می‌رسد که محدودیتی برای نوع خدمات پشتیبانی مراقبت‌های بهداشتی که شرکت‌کنندگان از ChatGP می‌خواهند وجود دارد: “با افزایش پیچیدگی مربوط به سلامتی کار در سوالات، اعتماد کمتر بود. در این مطالعه آمده است: سوالات لجستیکی (به عنوان مثال، برنامه ریزی قرار ملاقات و سوالات بیمه) دارای بالاترین رتبه اعتماد بودند.
