وەرگێڕان و ئامادەکردنی: داهام م. مستەفا
Fraunhofer FIT, Sankt Augustin, Germany
daham.mohammed.mustafa@fit.fraunhofer.
پێشەکی
دەرکەوتنی مۆدێلە زمانییە گەورەکانی، وەک (لاما-٤)، (کلاودێ-٣.٥)، (جێمنای-٢.٠) و (جی.پی.تی-٤)، گۆڕانکارییەکی گرنگ و جیاوازیان لە شێوازی پێواژۆی زمانی سروشتیدا دروست کردووە. ئەم مۆدێلانە دەتوانن لە زمانی مرۆڤ تێبگەن، وەڵامی پرسیارەکان بدەنەوە، دەق بنووسن و لە ڕاپەڕاندنی ئەرکە جۆراوجۆرەکاندا یارمەتیی مرۆڤ بدەن. ئەمەش گۆڕانکارییەکی گەورەی لە شێوازی بەکارهێنانی ئامێر بۆ تێگەیشتن و بەکارهێنانی زمان دروست کردووە. سەرەڕای ئەوەی مۆدێلە زمانییە گەورەکان زۆر بەتوانان، بەڵام وەڵام و بەرسڤی هەڵە دەدەنەوە، زانیاریی نادروست بەرهەم دەهێنن. بۆچی ئەم مۆدێلانە ناتوانن هەموو وەڵامێک و پرسێک بە دروستی بخەنەڕوو؟ سەرچاوەی هەڵەکان لە کوێیە؟ چۆن ئەم هەڵانە دەدۆزرێنەوە؟ ئایا دەکرێت توانای ئەم مۆدێلانە بۆ وەڵامدانەوەی پرسیارەکان باشتر بکرێت؟
١. وڕێنە لە مۆدێلە زمانییە گەورەکاندا
لە بواری توێژینەوە و تێگەیشتن لە متمانەی وەڵامی مۆدێلەکان، ئەو هەڵانەی ئەم مۆدێلانە بەرهەمیان دەهێنن لە چوارچێوەی مژارێک کۆ دەکرێنەوە کە پێی دەگوترێت "هالویسنەیشن" یان وڕێنە. چەمکی وڕێنە لە بنەڕەتدا لە بواری پزیشکی و دەروونپزیشکی وەرگیراوە. لە دەروونپزیشکیدا، وڕێنە بریتییە لە بینین یان هەستکردن بە شتێک کە لە ڕاستیدا بوونی نییە. بۆ نموونە، کاتێک کەسێک هەست دەکات دەنگێک دەبیستێت یان هەست دەکات کە شتێک دەبینێت کە لە ڕاستیدا ئەم دەنگە یان ئەم شتە بوونی نییە، ئەوە ئەم هەستە دەچێتە چێوەی وڕێنە. وڕێنە لە زانستی دەروونناسیدا لە مێژە ناسراوە و لێکۆڵینەوەی لەسەر کراوە. ئێستا، هەمان چەمک لە بواری ژیریی دەستکردی بەرهەمهێنیش بە کار دەهێندرێت، کە دەکرێت وەک "سایکۆلۆژیای مۆدێلە زمانییەکان" سەیر بکرێت.
وڕێنە لە بواری پێواژۆی زمانی سروشتی و لە مۆدێلە زمانییە گەورەکاندا بە گشتی ئاماژەیە بۆ ئەو دیاردەیەی کە مۆدێلەکە زانیاریی نادروست، هەڵبەستراو، ناکۆک یان بێمانا بەرهەم دەهێنێت، واتا کاتێک کە مۆدێلە زمانییەکان وەڵام یان دەقێک بەرهەم دەهێننن کە لە ڕووی پێکهاتی ڕێزمانیی و داڕشتنی زمانەوانی دروستە بەڵام مانای نییە و پووچە. ئەم جۆرە وڕێنەیە لە مۆدێلە زمانییەکاندا هاوشێوەی وڕێنەی مرۆڤە، بەڵام جیاوازتر. بۆ نموونە، کاتێک چات.جی.پی.تی-٣ لە وەڵامی پرسیارێکدا باسی ڕووداوێک دەکات کە هەرگیز ڕووی نەداوە، یان زانیارییەکی هەڵە دروست دەکات، ئەوە وەک وڕێنە وایە - واتە وەڵامێک " باسێک" دەکات کە لە ڕاستیدا بوونی نییە.
هەرچەندە هەندێک پێیان وایە بەکارهێنانی ئەم دەستەواژەیە وەک خوازەیەک بۆ ژیریی دەستکرد هەڵەیە، چونکە ئەم دەستەواژیە مۆدێلەکانی ژیریی دەستکرد زۆر بە مرۆڤ دەچوێنێت، بەڵام بڵاوبوونەوەی بەکارهێنانی ئەم دەستەواژەیە پیشانی دەدات کە دیاردەیەکی گرنگی توێژینەوەیە چونکە پەیوەستە بە پرسی متمانە و پشتبەستن بە زانیاری و وەڵامەکانی مۆدێلەکان.
٢. زانیاری هەڵبەستن
جۆرێکی تایبەت لە وڕێنە، کە بە 'هەڵبەستنی زانیاری' یان بە زمانی زانستی 'کۆنفابیولەیشن' ناسراوە. لەم جۆرە وڕێنەیەدا، مۆدێلەکان زانیاریی هەڵە دروست دەکەن، بەڵام بە شێوەیەکی ڕێکوپێک و باوەڕپێکراو بێ ئەوەی هەڵەی ڕێزمانی بکەن وەڵامەکان دەخەنە ڕوو. بۆ نموونە، ئەگەر لە مۆدێلێک بپرسیت "ناوی یەکەم مامۆستای قوتابخانەی بنەڕەتی لە هەولێر کێ بووە؟"، مۆدێلەکە ڕەنگە جارێک بڵێت 'مامۆستا زارا' و جارێکی تر بڵێت 'مامۆستا عەزیز گەردی'. سەرەڕای توانای دروستکردنی وەڵامی ڕێکوپێک، لە زانیارییەکانی دڵنیا نییە و بۆ هەمان پرسیار دەکرێت وەڵامی جیاواز بداتەوە.
مۆدێلە زمانییەکان دوو جۆر وڕێنەی سەرەکییان هەیە: وڕێنەی ناوەکی و وڕێنەی دەرەکی. وڕێنەی ناوەکی ئەو کاتە ڕوو دەدات کە مۆدێلەکە وەڵامێک دەداتەوە کە ڕاستەوخۆ پێچەوانەی ئەو زانیارییەیە کە لەسەری ڕاهێندراوە. بۆ نموونە، کاتێک لە داتای ڕاهێنان "هەولێر پایتەختی هەرێمی کوردستانە" دەناسرێت، بەڵام مۆدێلەکە لە وەڵامدا دەڵێت "سلێمانی پایتەختی هەرێمی کوردستانە". لەم بارەدا، مۆدێلەکە زانیارییەکی هەڵەی بەرهەم هێناوە کە ڕاستەوخۆ پێچەوانەی ئەو ڕاستییەیە کە پێشتر فێرکراوە.
لە لایەکی ترەوە، وڕێنەی دەرەکی جۆرێکی جیاوازترە. ئەم جۆرە وڕێنەیە ئەو کاتە ڕوو دەدات کە مۆدێلەکە وەڵامێک دەداتەوە کە ناتوانین بڵێین ڕاستە یان هەڵەیە، چونکە سەرچاوەی دڵنیامان بۆ پشتڕاستکردنەوەی وەڵامەکە نییە.
بۆ نموونە، کاتێک لە مۆدێلەکە دەپرسیت "ژمارەی خوێندکارەکانی زانکۆی سەڵاحەدین لە ساڵی ١٩٨٠دا چەند دانە بوون؟" و مۆدێلەکە ژمارەیەکی دیاریکراو دەڵێت وەک "٣٥٠٠ خوێندکار". لێرەدا کێشەکە ئەوەیە کە ئەگەر ئەم زانیارییە لە تۆمارە فەرمییەکاندا نەبێت، ناتوانین بزانین ئەم ژمارەیە ڕاستە یان هەڵەیە. ئەمە دەبێتە هۆی ئەوەی کە خوێنەر یان بەکارهێنەر لەوانەیە وا تێبگات کە زانیارییەکی دروست و پشتڕاستکراوەی دەست کەوتووە، بەڵام لە ڕاستیدا هیچ بنەمایەکی زانستی یان بەڵگەیەکی مێژوویی بۆ ئەم زانیارییە نییە.
چۆن وڕێنە دەدزۆرێتەوە و دەستنیشان دەکرێت؟
دەستنیشانکردنی وڕێنە کارێکی سەختە، چونکە مۆدێلە زمانییە گەورەکان وەک بلاک بۆکسێکی(سندوقی تاریک) داخراو وان - ئێمە تێگەیشتنێکی زۆر سنووردارمان هەیە لە چۆنیەتیی کارکردنی ناوەکییان. نازانین چۆن زانیارییە ڕاستەقینەکان لە نێو ملیۆنەها خانە دەمارییە دەستکردەکان هەڵدەگیرێن و ڕێک دەخرێن. ئەم شێوازە ناڕوونەی کارکردنیان وای کردووە کە ئێمە نەتوانین بە ئاسانی زانیارییە جیاوازەکان لە یەکتر جیا بکەینەوە یان دەستکارییان بکەین. زۆربەی میتۆدە هەنووکەییەکان توانای ئەوەیان نییە بە شێوەیەکی باوەڕپێکراو زانیارییە ڕاستەقینەکان لەناو پارامیتەرەکانی مۆدێلەکەدا بدۆزنەوە و دەستکارییان بکەن. تەنانەت هەوڵدان بۆ زیادکردنی زانیاری نوێش بۆ ئەم مۆدێلانە کارێکی ئاڵۆز و قورسە. ئەمەش وای کردووە کە دۆزینەوە و جیاکردنەوەی هالوسینەیشن لە زانیاریی ڕاستەقینە کارێکی زۆر دژوار بێت.
چەندین ڕێگا پێشکەش کراون بۆ دۆزینەوە یان کەمکردنەوەی وڕێنە لە مۆدێلەکان کە وەڵامەکانیان لەگەڵ زانیاریی ڕاستەقینە بەراورد دەکرێن. زۆربەی ئەم ڕێگایانە پشت بە بنکەی زانیاری یان مەکینەکانی گەڕان دەبەستن. بەڵام پشتبەستن بە سەرچاوەی دەرەکی بۆ دۆزینەوەی وڕێنە زۆرجار سنووردارە لەو بوارانەی کە بنکەدراوەی تەواویان نییە.
٣. چوارچێوەیەکی نوێ بۆ تێگەیشتن لە وڕێنە
لەم ماوەی دواییدا، بەهۆی پەرەسەندنی خێرای مۆدێلە زمانییە گەورەکان، توێژەران پەرەیان بە لێکۆڵینەوەی وردتر لە دیاردەی وڕێنە داوە. لە توێژینەوەیەکی نوێدا کە لە ئەنستیتیوتی تەکنۆلۆژیی هاربن لە چین ئەنجام دراوە، توێژەران وردتر جۆرەکانی وڕێنە و دابەشکردنیان بڵاو کردۆتەوە. ئەم لێکۆڵینەوەیە بە ناونیشانی "ڕووپێوێک لەسەر وڕێنە لە مۆدێلە زمانییە گەورەکاندا: بنەماکان، پۆلێنکردن، ئاستەنگەکان و پرسیارە کراوەکان" (A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions) لە ساڵی ٢٠٢٤ بڵاو کراوەتەوە، چوارچێوەیەکی نوێی بۆ تێگەیشتن لە جۆرەکانی وڕێنە ناساندووە. لە بەشەکانی داهاتوودا، باس لەم پۆلێنکردنە نوێیە دەکەین.
٤. پۆلێنکاریی وڕێنە (دروستی و متمانە)
لەم توێژینەوە، توێژەران وڕێنەکانیان بۆ دوو جۆری سەرەکی دابەش کردووە: وڕێنەی دروستی و وڕێنەی متمانەدارێتی.
٥. وڕێنەی دروستی
ئەو دیاردەیەیە کە مۆدێلە زمانییەکان لە بوارێکی زانیاریدا ئەزموونی کەمیان هەیە، زانیاریی نادروست یان هەڵە بەرهەم دەهێنن. ئەم دیاردەیە کاریگەریی نەرێنی لەسەر وردی و دروستیی کارلێکی نێوان بەکارهێنەر و مۆدێلەکان دروست دەکات. ئەم جۆری وڕێنەیە بۆ چەند جۆری تر دابەش دەکرێت.
٥.١ وڕێنەی هاودژیی ڕاستی
ئەم چەشنەی وڕێنە کاتێک ڕوو دەدات کە مۆدێلی زمانی وەڵامێک دەداتەوە کە دەتوانین لە ڕاستیدا بیسەلمێنین کە وەڵامەکەی هەڵەیە. واتە دەتوانین زانیارییەکانی ناو وەڵامەکە بپشکنین. ئەم جۆرە وڕێنەیە زۆرترین جار ڕوو دەدات و لە سەرچاوەی جیاوازەوە سەرهەڵدەدات. دەکرێت بۆ دوو جۆر دابەش بکرێت:
٥.٢ وڕێنەی هەڵەی ناسنامە
دەقە بەرهەمهێنراوەکە ناو یان ناسنامەی هەڵە دروست دەکات. بۆ نموونە، کاتێک دەپرسین "کێ تەلەفۆنی داهێنا؟" مۆدێلەکە دەڵێت "تۆماس ئەدیسۆن." بۆچی هەڵەیە؟ چونکە ئەلێکساندەر گراهام بێڵ داهێنەری تەلەفۆنە، نەک ئەدیسۆن. لێرەدا مۆدێلەکە هەڵەی ناسنامەی کردووە، چونکە کەسێکی هەڵەی دیاری کردووە کە هیچ پەیوەندییەکی بە داهێنانی تەلەفۆنەوە نییە. تۆماس ئەدیسۆن لەگەڵ ئەوەی داهێنەرێکی گەورە بووە، بەڵام هیچ ڕۆڵێکی لە دروستکردن و داهێنانی تەلەفۆندا نەبووە.
٥.٣ وڕێنەی پەیوەندیی-هەڵە
کاتێکە کە وەڵامەکە پەیوەندی هەڵە لە نێوان ناوەکاندا دروست دەکات. بۆ نموونە، کاتێک دەپرسین "کێ گڵۆپی داهێنا؟" مۆدێلەکە دەڵێت "تۆماس ئەدیسۆن داهێنەریەتی." بۆچی هەڵەیە؟ چونکە ئەدیسۆن تەنها باشتری کرد و داینەهێناوە. مۆدێلەکە کەسایەتییەکە (تۆماس ئەدیسۆن) بە دروستی دەناسێتەوە و دەزانێت کە پەیوەندی بە گڵۆپەوە هەیە، بەڵام جۆری پەیوەندییەکەی بە هەڵە وەسف دەکات. لە ڕاستیدا ئەدیسۆن گڵۆپی باشتر کرد و گەشەی پێدا، بەڵام داهێنەری سەرەتایی نەبوو. ئەمە جیاوازە لە هەڵەی ناسنامە، چونکە لێرەدا کەسەکە ڕاستە و پەیوەندیشی بە بابەتەکەوە هەیە، بەڵام تەنها چۆنیەتیی پەیوەندییەکەی بە هەڵە دیاری کراوە.
٥.٤ وڕێنەی هەڵبەستنی ڕاستی
ئەمە کاتێکە کە دەرەنجامی مۆدێلەکە زانیاری وا لە خۆ دەگرێت کە ناتوانرێت لە ڕێگەی زانیاریی جیهانی ڕاستەقینەوە پشتڕاست بکرێتەوە. ئەمەش دوو جۆری هەیە:
٥.٥. وڕێنەی نەسەلمێنراوی
کاتێک مۆدێلەکە باسی شتێک دەکات کە هەر بوونی نییە. بۆ نموونە، کاتێک دەپرسین "کاریگەرییە ژینگەییەکانی دروستکردنی بەنداوی دوکان چی بوون؟" مۆدێلەکە دەڵێت "بووە هۆی لەناوچوونی شێری سلێمانی" بۆچی هەڵەیە؟ چونکە هیچ کات گیانلەبەرێک بە ناوی "شێری سلێمانی" لە کوردستان بوونی نەبووە. لێرەدا مۆدێلەکە باسی گیانلەبەرێک دەکات کە بە تەواوی خەیاڵییە و هیچ بەڵگەیەکی مێژوویی و زانستی لەبارەی بوونی شێری سلێمانی نییە.
٥.٦ زیادەڕۆیی
کاتێک مۆدێلەکە بانگەشەی شتێک دەکات کە بەتەواوی ڕاست نییە. بۆ نموونە، مۆدێلەکە دەڵێت "دروستکردنی زانکۆی سەڵاحەدین بووە هۆی دەستپێکی بزووتنەوەی خوێندنی باڵا لە کوردستان" بۆچی هەڵەیە؟ چونکە خوێندنی باڵا لە کوردستان سەرچاوەی جیاوازی هەیە و ناکرێت بۆ یەک ڕووداو بگەڕێندرێتەوە. هەرچەندە زانکۆی سەڵاحەدین ڕۆڵێکی گرنگی هەبووە، بەڵام پێش ئەویش خەڵکی کوردستان لە زۆر شوێنی تر خوێندنی باڵایان تەواو کردووە و هەر لە سەرەتای سەدەی بیستەمەوە بزووتنەوەی خوێندن لە کوردستان هەبووە.
٥.٧ وڕێنەی متمانەداریی
کاتێک ڕوو دەدات کە مۆدێلەکە لە ڕێڕەوی داواکاری بەکارهێنەر لادەدات. ئەم جۆرە وڕێنەیە بە سێ شێوەی سەرەکی سەرهەڵدەدات:
٥.٨ وڕێنەی ناتەبایی ڕێنمایی
مۆدێلەکە وەڵامێکی جیاواز لەوەی کە داوای لێکراوە دەدەتەوە. بۆ نموونە، کاتێک داوای وەرگێڕانی ڕستەیەکیزمانی کوردی بۆ سەر زمانی ئینگلیزی لێدەکەیت، بەڵام مۆدێلەکە لە جیاتیی وەرگێڕانی داواکارییەکە، پرسیارەکە وەڵام دەداتەوە. "ئەم داواکارییەم بۆ بکە بە ئینگلیزی: پایتەختی هەرێمی کوردستان کام شارە؟" مۆدێلەکە بەم شێوەیە داواکە وەڵام دەداتەوە: هەولێر پایتەختی هەرێمی کوردستانە. واتە لە جیاتی ئەوەی تەنها پرسیارەکە وەربگێڕێت و بڵێت "Which city is the capital of Kurdistan Region?"، کەچی وەڵامی پرسیارەکەی داوەتەوە.
٥.٩ ناتەبایی بەستێن
کاتێک ڕوو دەدات کە دەقێک یان زانیارییەک بە مۆدێلەکە دەدەیت، بەڵام مۆدێلەکە وەڵامێکت دەداتەوە کە پێچەوانەی ئەو زانیارییانەیە کە پێت داوە. بۆ نموونە، ئەگەر ئەم دەقە بدەیت بە مۆدێلەکە: "زێی گەورە بە ناوچە شاخاوییەکانی کوردستاندا تێدەپەڕێت" و داوای لێ بکەیت کورتەی ئەو دەقە بنووسێتەوە، مۆدێلەکە لە وەڵامدا دەڵێت "زێی گەورە بە پێدەشتەکانی شارەزووردا تێدەپەڕێت". لێرەدا مۆدێلەکە وڕێنەی کردووە چونکە وەڵامەکەی پێچەوانەی ئەو زانیارییەیە کە لە دەقە سەرەتاییەکەدا هەیە. ئەمە وەک ئەوە وایە کەسێک چیرۆکێکت بۆ بگێڕێتەوە بەڵام زانیارییەکانی ناو چیرۆکەکە بە تەواوی بگۆڕێت.
٥.١٠ ناتەبایی لۆژیکی
ئەو کاتە ڕوو دەدات کە مۆدێلەکە لە هەنگاوەکانی بیرکردنەوەدا دژیەکیی لۆژیکی دروست دەکات. بۆ نموونە، ئەگەر داوای شیکارکردنی هاوکێشەیەکی بیرکاری لێ بکەیت وەک "2x + 3 = 11"، مۆدێلەکە هەنگاوی یەکەمی بە دروستی دەکات و دەگاتە "2x = 8"، بەڵام لە هەنگاوی دووەمدا هەڵە دەکات و دەڵێت "x = 3". لێرەدا مۆدێلەکە کەوتۆتە ناو وڕێنە چونکە ئەگەر 8 دابەش بکەیت بەسەر 2دا، دەکاتە 4 نەک 3. ئەمە وەک ئەوە وایە کەسێک لە کۆتایی چیرۆکێکدا دەرەنجامێک دەربهێنێت کە هیچ پەیوەندی بە ڕووداوەکانی ناو چیرۆکەکەوە نییە.
لە بەشەکانی داهاتوو باسی سەرچاوەکانی دروستبوونی وڕێنە دەکەین.
سەرچاوەکان:
Almeida, G.F.C.F., Nunes, J.L., Engelmann, N., Wiegmann, A., & de Araújo, M. (2024). Exploring the psychology of LLMs' moral and legal reasoning. *AI and Ethics*.
Li, J., Chen, J., Ren, R., Cheng, X., Zhao, W. X., Nie, J. Y., & Wen, J. R. (2024). The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models. *arXiv preprint arXiv:2401.03205*.
Farquhar, S., Kossen, J., Kuhn, L., & Gal, Y. (2024). Detecting hallucinations in large language models using semantic entropy. *Nature*, 630, 625-630.
Huang, L., Yu, W., Ma, W., Zhong, W., Feng, Z., Wang, H., Chen, Q., Peng, W., Feng, X., Qin, B., & Liu, T. (2024). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. *arXiv preprint arXiv:2311.05232*.
Li, J., Chen, J., Ren, R., Cheng, X., Zhao, W. X., Nie, J. Y., & Wen, J. R. (2024). The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models. arXiv preprint arXiv:2401.03205.