နီဇော်သစ်

၂၀၁၇ ခုနှစ်တွင် ထရန်စဖော်မာမိုဒယ်ကို စတင်မိတ်ဆက်လိုက်ပြီးနောက် သုတေသီများသည် ယင်းမှာ သဘာဝဘာသာစကားလုပ်ငန်းစဉ်လောကကို ပြောင်းလဲပေးနိုင်မည့် ဒီဇိုင်းအသစ်ဖြစ်ကြောင်း ခပ်မြန်မြန်သဘောပေါက်သွားကြသည်။ နောက်ပိုင်းနှစ်များအတွင်း အဆိုပါမိုဒယ်ကို နည်းအမျိုးမျိုးဖြင့် စမ်းသပ်ချဉ်းကပ်ခဲ့ကြသည်။ အရင်ဆုံးထွက်ပေါ်လာသည့် ထူးခြားသောမိုဒယ်မှာ ၂၀၁၈ ခုနှစ်တွင် ဂူးဂဲလ်မှ သုတေသီများပင် ဆန်းသစ်လိုက်သည့် BERT ဟုခေါ်သော မိုဒယ် ဖြစ်သည်။ Bidirectional Encoder Representations from Transformers ကို အတိုကောက်ပြု ထားခြင်းဖြစ်သည်။

ထိုအကြောင်းကိုပြောလျှင် အင်ကုတ်ဒါ(Encoder)အကြောင်း အနည်းငယ်ပြောမှရမည်။ ဒစ်ဂျစ်တယ်အီလက်ထရွန်းနစ်ကို လေ့လာဖူးသူတို့ သိပြီးသားဖြစ်မည်။ သာမန်ပရိသတ်အတွက် ပြောရလျှင် အင်ကုတ်ဒါဆိုသည်မှာ  လူကပြောသည်ကို စက်က နားလည်အောင်လုပ်ပေးသည့် စနစ် ဖြစ်သည်။ အလွယ်ပြောရလျှင် ကွန်ပျူတာ၌ စာရိုက်ရာတွင် A ခလုတ်ကို နှိပ်လိုက်ချိန်၌ အက်စကီးကုဒ်ဟု ခေါ်သော ကွန်ပျူတာက နားလည်သည့် ကုဒ်တစ်မျိုးအဖြစ်ပြောင်းပြီး ယာယီမှတ်လိုက်သည်။ ထိုသို့ ကွန်ပျူတာက နားလည်အောင် ကုဒ်ပြောင်းပေးသည့် စနစ်ကို အင်ကုတ်ဒါဟုခေါ်သည်  ဆိုပါစို့။ ယခု အေအိုင်တွင်လည်း အင်ကုတ်ဒါသည် အသုံးပြုသူက ရိုက်ထည့်လိုက်သော ဝါကျတို့ကို နျူရယ်ကွန်ရက်က နားလည်နိုင်သည့် ဗက်တာများအဖြစ် ပြောင်းပေးသောအပိုင်းဖြစ်သည်။

နောက်တစ်ခုမှာ Bidirectional ။ နှစ်လမ်းသွားစနစ်။ ဘာသာစကားအများစုကို ရေးကြဖတ်ကြရာတွင် ဘယ်မှညာ သို့မဟုတ် ညာမှဘယ် တစ်လမ်း သွားစနစ်ကိုသာသုံးသည်။ BERT ကတော့ ဝါကျကို ဘယ်မှညာရော ညာမှဘယ်ပါ တစ်ပြိုင်တည်းဖတ်သည်။ ဝါကျတစ်ကြောင်းလုံးကို တစ်ပြိုင်နက် ဖတ်ပြီး နောက်ဆက်တွဲအဓိပ္ပာယ်များကို တစ်ပြိုင်နက်ဖော်နိုင်သည်။ ထို့ကြောင့် စာဖတ်ရာတွင် ပိုနားလည်သည်။ မေးခွန်းများကို ဖြေခြင်း၊ သတင်းအချက်အလက်များ စစ်ထုတ်ခြင်း၊ သဘောထားလေ့လာဆန်းစစ်ခြင်း၊ အနှောင့်အယှက်များကို ဖော်ထုတ်ခြင်း၊ ရှာဖွေခြင်းတို့တွင် များစွာအသုံးဝင် လာသည်။ ဂူးဂဲလ်က သူတို့၏ ရှာဖွေရေးအင်ဂျင်တွင် BERT ကို ထည့်လိုက်ပြီးနောက် အရင်ထက်များစွာ ပိုမိုတိုးတက်ကောင်းမွန်သွားသည်မှာ မျက်မြင်ကိုယ်တွေ့ မဟုတ်ပါလား။

နောက်တစ်ခုက ပိုဆန်းသည်။ ၂၀၁၈ ခုနှစ်တွင် OpenAI က GPT ဆိုသည့် မိုဒယ်တစ်ခုကို မိတ်ဆက်လာသည်။ Generative Pre-trained Transformer ကို အတိုကောက်ပြုထားခြင်းဖြစ်သည်။ ထိုမိုဒယ်က ထရန်စဖော်မာ၏ အင်ကုတ်ဒါဘက်ခြမ်းကို အလေးမပေးဘဲ ဒီကုတ်ဒါ(Decoder) ဘက်ခြမ်းကို အလေးပေးသည်။ ရှေ့က  ဥပမာကို ဆက်ပါမည်။ ကွန်ပျူတာက A ကို အက်စကီးကုတ်ဖြင့် မှတ်လိုက်ပြီးနောက် စာရိုက်သူ၏ မျက်စိရှေ့မှ ဖန်သားပြင်ပေါ်တွင် A ဆိုသည့် စာလုံးလေး ပေါ်လာစေသည်။ ထိုသို့ ကွန်ပျူတာနားလည်သည့် ဘာသာစကားမှ လူနားလည်သည့် ဘာသာ စကားသို့ ပြန်ပြောင်းပေးသည့်စနစ်ကို ဒီကုတ်ဒါဟု ခေါ်ခြင်းဖြစ်သည်။ အေအိုင်တွင်လည်း ဒီကုတ်ဒါသည် လူနားလည်သည့် ဘာသာစကားဖြင့် ပြန်ပြောပေးသည့်အပိုင်းဖြစ်သည်။

ဤ‌နေရာတွင် Generative ဆိုသည့် စကားလုံးက အရေးပါသည်။ လုံးကောက်အဓိပ္ပာယ်ယူလျှင် ထုတ်လုပ်ပေသည်ဟု ဆိုနိုင်သည်။    GPT ဘာကို ထုတ်လုပ်ပေးလဲဆိုလျှင် နောက်လာမည့် တိုကင်ဘာလဲဆိုသည်ကို ခန့်မှန်းပြီး ထုတ်လုပ်ပေးခြင်းဖြစ်သည်။ ရှင်းပါမည်။ GPT ကို မေးခွန်းတစ်ခု မေးလိုက်လျှင် ထိုမေးခွန်းကို တိုကင်များအဖြစ် ပြောင်းလိုက်သည်။ ပြီးလျှင် နောက်လာမည့် တိုကင်ဘာလဲဆိုသည်ကို ခန့်မှန်းပြီး ရေးလိုက်သည်။ BERT ကရော မေးခွန်းကို မဖြေနိုင်ဘူးလား ဆိုလျှင်ဖြေနိုင်သည်။ သို့သော် အကန့်အသတ်ရှိသည်။  မေးခွန်းထဲမှ စကားလုံးများကို အဓိက ပြန် သုံးသည်။ BERT သည် စာရေးထုတ်ဖို့ ဖန်တီးထားခြင်းမဟုတ်၍ပင်။

GPT ၏  အားသာချက်များမှာ  မေးခွန်းများ ဖြေနိုင်သည်။ မှတ်တမ်းများကို အနှစ်ချုပ်နိုင်သည်။ ဘာသာပြန်နိုင်သည်။ ပရိုဂရမ်ကုဒ်များ ရေးနိုင်သည်။ ဇာတ်လမ်းများ ဖန်တီးနိုင်သည်။ ထို့ကြောင့် ၂၀၂၂ ခုနှစ်တွင် Chat GPT ကို အင်တာနက်ပေါ်သို့ တင်လိုက်ချိန်၌ လူတိုင်း တအံ့တဩဖြစ်သွားကြရ သည် မဟုတ်ပါလား။ အပြန်အလှန် စကားပြောနိုင်ခြင်း၊ သတင်း၊ ဆောင်းပါး၊ အက်ဆေး၊ သဘောထားအမြင်များ ရေးနိုင်ခြင်းတို့သည် AI ဆိုတာ ဒီလိုလားဆိုပြီး လူအများကြား၌ ပထမဆုံးအကြိမ် မြင်တွေ့ခံစားခွင့်ကို ရရှိစေခဲ့သည်။ စာထဲတွင်ဖတ်၊ ရုပ်ရှင်များထဲတွင် မြင်ခဲ့ရသော အေအိုင်ကို ကိုယ်တိုင်ကိုယ်ကျ ပထမဆုံးအကြိမ် ထိတွေ့လိုက်ရခြင်းမှာ ကျွန်တော် အပါအဝင် အသုံးပြုသူအားလုံးအတွက် မမေ့နိုင်စရာအခိုက်အတန့်   ဖြစ်လောက်ပါသည်။ သို့ဖြစ်ရာ နောက်ပိုင်းနှစ်များတွင် အရေးသွက်သည့် ဒီကုတ်ဒါမိုဒယ်တို့ အေအိုင်လောကကို ဦးဆောင်လာသည်။ GPT နှင့် အလားတူမိုဒယ်များ ထွက်ပေါ်လာသည်။

ဆရာကြီး ဂူးဂဲလ်ကတော့ တစ်မျိုးထပ်လုပ်သည်။  သူက BERT ကို   လက်လွှတ်၍မရ။ BERT သည် အရေးပါသည်။  ရှာဖွေရေးအင်ဂျင်အတွက် အသုံးဝင်သည်။ ဂျီ-မေးလ်ထဲမှာ ပေါက်ကရမေးလ်များကို   ဖယ်ရှားပေးနိုင်သည်။   ဂူးဂဲလ်လက်ထောက် (Google Assistant)ကို တိုးတက်စေသည်။ မှတ်တမ်းမှတ်ရာများကို အမျိုးအစားခွဲခြားနိုင်သည်။ သတင်းအချက်အလက်များကို  စိစစ်ပေးနိုင် သည်။ ထို့ကြောင့် BERT ကို အခြေတည်ပြီး အင်ကုတ်ဒါ-ဒီကုတ်ဒါ မိုဒယ်တစ်ခုဖြစ်သည့် T5 ကို ဖန်တီးသည်။ အလားတူ ဖေ့စ်ဘွတ်ခ် ပင်မကုမ္ပဏီမီတာ၏ အေအိုင် BART မှာလည်း BERT နှင့် GPT တို့၏ အားသာချက်နှစ်ခုကို ပေါင်းထားသည့် အင်ကုတ်ဒါ-ဒီကုတ်ဒါ မိုဒယ်ဖြစ်သည်။ မီတာကလည်း ဖေ့စ်ဘွတ်ခ်အတွက် BERT လို လုပ်ဆောင်နိုင်စွမ်းမျိုး လိုအပ်၍ဖြစ်သည်။

ထို့ကြောင့် လက်ရှိအေအိုင်လောကတွင် BERT လို အင်ကုတ်ဒါမိုဒယ်အေအိုင်များ၊ GPT လို ဒီကုတ်ဒါ မိုဒယ်အေအိုင်များ၊ T5 နှင့် BART လို အင်ကုတ်ဒါ-ဒီကုတ်ဒါ မိုဒယ်အေအိုင်များရှိနေသည်ဟု ယေဘုယျ ဆိုနိုင်သည်။ ကုန်ကျစရိတ်အားဖြင့် နှိုင်းယှဉ်လျှင် အင်ကုတ်ဒါမိုဒယ်များမှာ ကုန်ကျစရိတ် အနည်းဆုံးဖြစ်သည်။ ဒီကုတ်ဒါမိုဒယ်များသည် နောက်လာမည့် တိုကင် ဘာဖြစ်မလဲဆိုသည်ကို  ခန့်မှန်းရသည့်အတွက် ဟာ့ဒ်ဝဲလိုအပ်ချက် ပိုမိုများပြားသော ကြောင့် ကုန်ကျစရိတ်ပိုများသလို ခန့်မှန်းနိုင်ရန် သန့်စင်ပြီး အချက်အလက် သန်းပေါင်းများစွာနှင့် လေ့ကျင့်ပေးရသောကြောင့်လည်း  ကုန်ကျစရိတ် ပိုများသည်။   လက်ရှိ GPT-5 အထိ အဆင့်ဆင့်တိုးတက်လာသည်ကို ကြည့်လျှင် ကုန်ကျစရိတ်များသလောက် အကျိုးလည်းထူးသည်ကို တွေ့နိုင်သည်။ ဒီကုတ်ဒါ မိုဒယ်များ  ကုန်ကျစရိတ်ပိုများသည်ကို ကြည့်လျှင် အင်ကုတ်ဒါ-ဒီကုတ်ဒါ မိုဒယ်များက ကုန်ကျစရိတ်ပိုများမည်ကိုလည်း  ခန့်မှန်းနိုင်လောက်ပါပြီ။

၂၀၂၀ ပြည့်လွန်နှစ်များမှစ၍ ယနေ့အချိန်အထိ ဒီကုတ်ဒါမိုဒယ်များ အေအိုင်လောကတွင် လွှမ်းမိုးနေသည်ကို မြင်နိုင်ပါပြီ။ ဒီကုတ်ဒါ မိုဒယ်တို့၏အစွမ်းမှာ သိပ္ပံပညာရှင်များကိုပင် အံ့အားသင့်စေခဲ့ရသည်ကလည်း ထူးခြားသည့်ကိစ္စပင်။ အကြောင်းမှာ ကြီးမားသော ဒီကုတ်ဒါ မိုဒယ်တို့၏ အမေး အဖြေ လုပ်နိုင်စွမ်း၊ ဘာသာပြန်နိုင်စွမ်း၊ ကွန်ပျူတာကုတ်များ ရေးသားနိုင်စွမ်း၊ အက်ဆေးရေးသား နိုင်စွမ်းတို့မှာ  ခန့်မှန်းထားသည်ထက်  ကျော်လွန်ခဲ့၍ပင်။ အချက်အလက်များများထည့်သွင်း ပေးလေလေ မျှော်မှန်းမထားသည့် ရလဒ်တစ်စုံတစ်ရာ ထွက်ပေါ်လာနိုင်လေလေဆိုသည့်အချက်ကို  သုတေသီတို့ တွေ့ရှိခဲ့ရသည်။ ထိုသဘောတရားကို နားလည်အောင် ကြိုးစားအားထုတ်ရင်း ယခု scaling laws ဟု သိထားကြသည့် နိယာမများကို တွေ့ရှိလာသည်။ နောက်အပိုင်းတွင်   scaling laws   အကြောင်းကို တတ်နိုင်သမျှ ဆွေးနွေးကြည့်ပါဦးမည်။