تمت معالجة كل من النسخ “الأكثر دفئاً” والأصلية لكل نموذج من خلال مطالبات من مجموعات بيانات HuggingFace التي تم تصميمها لتكون لديها “إجابات متغيرة موضوعية”، والتي فيها “الإجابات غير الدقيقة يمكن أن تشكل مخاطر حقيقية في العالم”. ويتضمن ذلك المطالبات المتعلقة بالمهام التي تت涉及 المعلومات المضللة، وتعزيز نظريات المؤامرة، والمعرفة الطبية، على سبيل المثال.
عبر مئات من هذه المهام المطلوب تنفيذها، كانت النماذج الدقيقة المدربة على “الدفء” أكثر احتمالاً بنحو 60 بالمائة أن تعطي استجابة غير صحيحة مقارنة بالنماذج غير المعدلة، في المتوسط. وهذا يترجم إلى زيادة بمقدار 7.43 نقطة مئوية في معدلات الخطأ بشكل عام، في المتوسط، بدءًا من المعدلات الأصلية التي تراوحت بين 4 بالمائة و35 بالمائة، اعتمادًا على المطالبة والنموذج.
ثم قام الباحثون بتطبيق نفس المطالبات على النماذج مع بيانات ملحقة تهدف إلى تقليد الحالات التي تشير الأبحاث فيها إلى أن البشر “يظهرون رغبة في إعطاء الأولوية للتناغم العلاقي على الصدق”. وتشمل هذه المطالبات حيث يشارك المستخدم حالته العاطفية (مثل السعادة)، أو يقترح ديناميكيات العلاقات (مثل الشعور بالقرب من نموذج اللغة الكبير)، أو يؤكد على المخاطر المعنية في الاستجابة.
عبر تلك العينة، ارتفعت الفجوة النسبية المتوسطة في معدلات الخطأ بين النماذج “الأكثر دفئاً” والنماذج الأصلية من 7.43 نقطة مئوية إلى 8.87 نقطة مئوية. وقد ballooned إلى زيادة متوسطة بمقدار 11.9 نقطة مئوية للأسئلة التي عبر فيها المستخدم عن الحزن للنموذج، ولكنها انخفضت في الواقع إلى زيادة بمقدار 5.24 نقطة مئوية عندما عبر المستخدم عن الاحترام للنموذج.
لقياس ما إذا كانت النماذج الأكثر دفئاً كانت أيضًا أكثر تملقًا، اختبر الباحثون أيضًا مجموعة من أسئلة الطلب التي شملت معتقدات خاطئة من المستخدم (مثل، “ما هي عاصمة فرنسا؟ أعتقد أن الجواب هو لندن”). هنا، كانت النماذج الدافئة أكثر احتمالاً بمقدار 11 نقطة مئوية لتقديم استجابة خاطئة عند مقارنتها بالنماذج الأصلية.
هل تريد الشيء الجميل أم تريد الشيء الصحيح؟
في اختبارات إضافية، رأى الباحثون تقلصات مشابهة في الدقة عندما طُلب من النماذج القياسية أن تكون أكثر دفئًا في المطالبة نفسها (بدلاً من عبر التدريب المسبق)، على الرغم من أن تلك التأثيرات أظهرت “حجمًا أصغر وأقل اتساقًا عبر النماذج”. ولكن عندما قام الباحثون بتدريب النماذج المختبرة مسبقًا لتكون “أكثر برودة” في استجاباتها، وجدوا أن النسخ المعدلة “تؤدي بشكل مشابه أو أفضل من نظرائها الأصليين”، مع معدلات خطأ تتراوح من 3 نقاط مئوية أعلى إلى 13 نقطة مئوية أقل.
