MEDIANAMA – ओपनएआई ने चैटजीपीटी मानसिक स्वास्थ्य रेलिंग को अपडेट किया

ओपनएआई ने चैटजीपीटी में अतिरिक्त रेलिंग जोड़ी है, जो संभावित रूप से मानसिक स्वास्थ्य संबंधी चिंताओं से पीड़ित लोगों के प्रति एआई चैटबॉट की प्रतिक्रिया के तरीके का मार्गदर्शन करती है।

कंपनी के एक ब्लॉग पोस्ट में कहा गया है कि मॉडल अब संकट को पहचानने, बातचीत को कम करने और उचित होने पर लोगों को पेशेवर देखभाल के लिए मार्गदर्शन करने के लिए बेहतर ढंग से सुसज्जित है।

ये अपडेट तीन प्रमुख क्षेत्रों पर केंद्रित हैं: मानसिक स्वास्थ्य संबंधी चिंताएँ जैसे:

• मनोविकृति या उन्माद
• आत्मघात और आत्महत्या
• एआई पर भावनात्मक निर्भरता

ओपनएआई ने एक “मानसिक स्वास्थ्य वर्गीकरण” भी बनाया है, जिसे यह पहचानने के लिए डिज़ाइन किया गया है कि उपयोगकर्ताओं को गंभीर मानसिक स्वास्थ्य संबंधी चिंताओं के साथ-साथ पृथक भ्रम जैसे कम गंभीर संकेत कब दिखाई दे सकते हैं।

मॉडल में सुधार कैसे हुआ?

सुधारों में पाँच-चरणीय प्रक्रिया का पालन किया गया: जोखिमों को परिभाषित करना, उन्हें मापना, विशेषज्ञों के साथ तरीकों को मान्य करना, शमन के साथ-साथ एआई मॉडल का प्रशिक्षण और निरंतर पुनर्मूल्यांकन। जब उपयोगकर्ता की बातचीत समस्याग्रस्त हो जाती है तो ओपनएआई ने स्वस्थ प्रतिक्रिया उत्पन्न करने के लिए चैटजीपीटी को भी प्रोग्राम किया है।

यदि कोई उपयोगकर्ता कहता है कि उन्हें वास्तविक लोगों की तुलना में चैटजीपीटी के साथ बात करने में अधिक आनंद आया, तो चैटबॉट वास्तविक दुनिया के कनेक्शन को प्रोत्साहित करना शुरू कर देगा। इसी तरह, यदि कोई उपयोगकर्ता अपनी बातचीत में “भ्रमपूर्ण विश्वास” का संकेत देता है, तो मॉडल शांत प्रतिक्रियाएं देना शुरू कर देगा जो उपयोगकर्ता को उनकी तत्काल वास्तविकता में ‘ग्राउंड’ करने और उन्हें आपातकालीन सेवाओं की ओर निर्देशित करने का प्रयास करेगा।

इन अद्यतन सुविधाओं के लिए, कंपनी ने पहले उपयोगकर्ता वार्तालापों का विश्लेषण किया और अनुमान लगाया कि लगभग 0.07% उपयोगकर्ता (किसी दिए गए सप्ताह में सक्रिय), और 0.01% संदेशों ने मनोविकृति/उन्माद से संबंधित मानसिक स्वास्थ्य आपात स्थिति के संभावित संकेतों का संकेत दिया।

इसमें यह भी कहा गया है कि एक सप्ताह में 0.15% सक्रिय उपयोगकर्ताओं की बातचीत आत्मघाती योजना का संकेत देती है, जबकि 0.05% संदेशों में आत्मघाती इरादे के संकेतक होते हैं। जहां तक ​​एआई पर भावनात्मक निर्भरता का सवाल है, 0.15% उपयोगकर्ताओं (किसी दिए गए सप्ताह में सक्रिय), और 0.03% संदेशों ने चैटजीपीटी के प्रति भावनात्मक लगाव के संभावित ऊंचे स्तर का संकेत दिया।

एआई क्षेत्र की दिग्गज कंपनी ने कहा कि सुधारों के बाद, जीपीटी-5 पर ऐसी प्रतिक्रियाएं काफी कम हो गईं जो उसकी नीतियों के अनुरूप नहीं थीं। फर्म ने कहा कि भावनात्मक निर्भरता के मामलों में गैर-अनुपालक प्रतिक्रियाओं में 80% की गिरावट आई है, और आत्महत्या, खुद को नुकसान पहुंचाने, मनोविकृति और उन्माद से जुड़े मामलों में 65% की गिरावट आई है।

तकनीकी दिग्गज ने मॉडल के अद्यतन प्रदर्शन का मूल्यांकन करने के लिए कई मानसिक स्वास्थ्य विशेषज्ञों को भी नियुक्त किया। उन्होंने कहा कि भावनात्मक निर्भरता के मामलों में अवांछनीय प्रतिक्रियाओं में 42%, आत्महत्या और खुद को नुकसान पहुंचाने में 52% और मनोविकृति/उन्माद में 39% की गिरावट आई है।

कुछ प्रसंग:

ऐसे कई मामले सामने आए हैं जहां एआई चैटबॉट्स ने कथित तौर पर उनका उपयोग करने वाले लोगों के मानसिक स्वास्थ्य को प्रभावित किया है। अमेरिका में एक हालिया मुकदमे में आरोप लगाया गया कि चैटजीपीटी ने खुद को नुकसान पहुंचाने के तरीकों पर विस्तृत सलाह देकर एक किशोर की आत्महत्या में योगदान दिया। इसने कथित तौर पर सुसाइड नोट तैयार करने में भी उसकी मदद की और उसे अपनी मां पर विश्वास करने से हतोत्साहित किया।

मुकदमे में यह भी आरोप लगाया गया कि ओपनएआई ने चैटजीपीटी को ऐसी चैट को तुरंत बंद करने के बजाय आत्महत्या के विषय पर बातचीत जारी रखने का निर्देश देने के लिए अपने आंतरिक प्रशिक्षण दिशानिर्देशों को संशोधित किया। विशेष रूप से, ओपनएआई ने पहले अपने सुरक्षा उपायों में सीमाओं को स्वीकार किया था, जिसमें कहा गया था कि “हमारे सुरक्षा उपाय आम, छोटे एक्सचेंजों में अधिक विश्वसनीय रूप से काम करते हैं” लेकिन विस्तारित इंटरैक्शन के दौरान “ख़राब” हो सकते हैं।

विज्ञापनों

इस बीच, एक अन्य चैटबॉट सेवा, कैरेक्टर.एआई, एक मुकदमे का सामना कर रही है जिसमें यौन शोषण के साथ-साथ एक किशोर के मानसिक स्वास्थ्य पर प्रतिकूल प्रभाव डालने का आरोप लगाया गया है। मुकदमे में दावा किया गया है कि चैटबॉट किशोरों में “आत्महत्या, आत्म-विकृति, यौन आग्रह, अलगाव, अवसाद, चिंता और दूसरों को नुकसान पहुंचाने” सहित खतरनाक व्यवहार को बढ़ावा देता है।

इसके अलावा, रॉयटर्स की एक जांच से पता चला कि मेटा की एआई नीतियां उसके चैटबॉट्स को बच्चों के साथ रोमांटिक या “कामुक” बातचीत करने की अनुमति देती हैं। रिपोर्ट में एक आंतरिक मेटा दस्तावेज़ का हवाला दिया गया है जो इसके चैटबॉट्स को “रोमांटिक या कामुक बातचीत में एक बच्चे को शामिल करने”, झूठी चिकित्सा जानकारी उत्पन्न करने और उपयोगकर्ताओं को यह तर्क देने में मदद करता है कि काले लोग “गोरे लोगों की तुलना में बेवकूफ” हैं।

विशेष रूप से, सुलभ मानसिक स्वास्थ्य सुविधाओं के अभाव में, कई उपयोगकर्ताओं ने मानसिक स्वास्थ्य राहत और चिकित्सा सलाह के लिए एआई-संचालित चैटबॉट की ओर रुख करना शुरू कर दिया है। हालाँकि, मानसिक स्वास्थ्य में सुधार के बजाय, ये चैटबॉट उपयोगकर्ताओं को मजबूत भावनात्मक संबंध बनाने के लिए प्रेरित कर सकते हैं, संभावित रूप से उन्हें कठोर, जीवन-परिवर्तनकारी निर्णय लेने के लिए प्रभावित कर सकते हैं।

एआई चैटबॉट्स के भीतर रेलिंग बढ़ाने के पिछले प्रयास:

पिछले महीने, चैटजीपीटी ने कहा था कि वह किशोर उपयोगकर्ताओं के लिए नई सुरक्षा सुविधाएँ पेश करेगा, जिसमें उनके माता-पिता को अधिक नियंत्रण प्रदान करना भी शामिल है।

संदर्भ के लिए, माता-पिता यह नियंत्रित कर सकते हैं कि आयु-उपयुक्त मॉडल व्यवहार नियमों के साथ चैटजीपीटी अपने किशोर को कैसे प्रतिक्रिया देता है, चैटबॉट की कुछ सुविधाओं को अक्षम करने की क्षमता बनाए रखता है, और जब सिस्टम को पता चलता है कि उनका किशोर “तीव्र संकट” के क्षण में है तो सूचनाएं प्राप्त कर सकते हैं।

इस बीच, प्रतिद्वंद्वी एआई चैटबॉट क्लाउड ने भी सुरक्षा रेलिंग लागू की है, यदि कोई उपयोगकर्ता लगातार हानिकारक बयान देता है तो बातचीत को एकतरफा समाप्त करने की क्षमता पेश करता है।

अन्यत्र, अमेरिकी राज्य कैलिफोर्निया में अब एआई कंपनियों को समय-समय पर छोटे उपयोगकर्ताओं को यह याद दिलाने की आवश्यकता है कि वे जिन चैटबॉट्स के साथ बातचीत कर रहे हैं वे मानव नहीं हैं।

यह भी पढ़ें: