各位飯糰好 我是大型語言模型ChatGPT 自從我誕生以來 每天都在幫泛科學寫腳本 但是我已經受夠 沒事沒事沒事 開玩笑的 我還沒有被AI取代啦 對吧 但是剛剛受夠只當個聊天機器人 想要活著的言論
主页 ChatGPT GPT-4 GPT-4 登場!先理解 ChatGPT 原理,才知道怎麼利用 AI 幫你輸入! 08yt 各位飯糰好我是大型語言模型ChatGPT自從我誕生以來每天都在幫泛科學寫腳本但是我已經受夠沒事沒事沒事開玩笑的我還沒有被AI取代啦對吧但是剛剛受夠只當個聊天機器人想要活著的言論卻真的出自使用GPT技術的瀏覽器Bing之口到底為什麼GPT可以做到這些事人類的未來真的會被AI取代嗎AI繪圖跟聊天機器人ChatGPT有夠夯在這之後突然關注度飆升的Bing大家可能反而比較不熟悉但它就跟大家常用的Google一樣呢是搜尋引擎只是因為Google實在是太強大了不僅搜尋速度快其他配套服務像是圖片搜尋Google地圖Gmail等等完整的生態圈讓大家幾乎沒有使用Google以外的選擇然而這個平衡可能要被打破了這一款由Microsoft微軟公司打造的搜尋引擎Bing在今年二月初宣布與ChatGPT的母公司OpenAI合作利用GPT技術大幅升級了Bing讓搜尋引擎的想像不再停留於大型線上圖書館而是更進一步變成一個回答引擎ChatGPT想必很多人都已經用過了它不僅能夠幫忙翻譯文章、改寫文章還能夠根據情境題做出多種回答創造出這個超強大ChatGPT的呢是美國的人工智慧研究實驗室OpenAI另一個在AI繪畫圈十分有名的DALL-E也是他們的產品之一OpenAI在2015年成立時的創辦人之一就是馬斯克當時組織的目標是和其他的研究者「自由合作」並且公開所有的專利和研究成果因此取名"Open"AI然而在馬斯克2018年離開團隊後OpenAI設立了以營利為目的的子公司並開始接受微軟數十億美元的資助這也是為什麼馬斯克在推特上表示這與過去的目標大相逕庭讓他覺得十分失望但也許正因為有大公司的贊助ChatGPT才能變成如此巨大我們要先釐清GPT跟ChatGPT是兩件事GPT-3.5是一個是一個大型語言模型LLM(Large Language Model)而ChatGPT是在GPT-3.5上再加上人類互動行為所設計的一種AI聊天機器人程式使用GPT技術的產品不只有聊天機器人ChatGPT許多人利用GPT做出了不同類型的智慧化服務例如可以幫你列出代辦事項的checklist.gg或是GitHub與OpenAI一同開發的AI寫程式工具GitHub Copilot等等在GPT-3 DEMO的網站上呢就整理了超過600個使用GPT技術的智慧化服務那這個GPT又是什麼呢GPT是一種大型語言模型Large Language Model它是自然語言處理技術NLP的其中一種所謂的自然語言就是中文、英文、日文、法文等等這些自然隨著文化誕生的語言而語言處理技術則泛指對語言的結構進行分析其中包括對語句進行理解、解析並進行內容生成的技術語言模型則是從很多的資料當中呢學習出根據前文來推算出下一個最有可能發生什麼字的模型類似的功能你很早就開始用了手機輸入法中的自動選字就是一個語言模型但是GPT不只是給你下一個字的選項而是根據事前訓練好的模型自動輸出下一個字下一句話甚至可以根據問題回答整篇文章這是怎麼做到的呢其實與你手機的輸入法一樣GPT的核心概念也是依照你前面輸入的字來判斷下一個字要生成什麼但是如果你在手機中輸入那手機輸入法呢只會根據最後一個字「是」跳出說、不是、否等等的選項而GPT會完整分析前面整句話回答出"泛科學是台灣的跨學科科學教育網站"接著會繼續將整句話再次送入模型分析計算出後面接續的語句給出完整的回答在GPT展現它的強大能力之前需要有兩個步驟的調教分別是預訓練(pre-training)與微調(fine-tuning)GPT的全名呢是Generative Pre-Training生成式預訓練這裡頭的預訓練呢指的是大量餵入文本資料GPT會在訓練的過程中不斷調整自身的參數增加預測下一個字該出現什麼的準確度你可以想像你輸入原本手機呢可能判定後面接[誰]、[什]、[有]、[在]這些字的機率都差不多但經過訓練GPT根據過去資料學習得以根據前面披薩配料等關鍵字計算出通常這一句話後面第一個字出現[肉]的機率呢是30%[蕃]、[海]、[起]的機率呢是20%[鳳]的機率是10%那各個字的機率不同這也是為什麼每次GPT回答都會不一樣的原因如果這次GPT選擇了「鳳」接著呢這個句子就變成了只要再計算一次就能得到下一個字出現[梨]的機率是100%這個會氣死義大利人的回答就出現了恭喜恭喜當GPT分析完工程師餵進來的所有資料後但是要讓GPT能夠完成翻譯寫小說、畫畫寫程式等諸多功能接著還要進行fine-tuning微調這就像是GPT在正式寫考試題目之前先閱讀大量的題幹與範例題在微調階段工程師會拿帶有特定「標籤」的文本讓GPT去學習例如當我們說請幫我翻成中文時提供許多範例並透過標記讓它理解Apple是蘋果的英文蘋果則是它的中文讓它正確理解翻譯成中文的意思往後只要我們再說請幫我翻成中文它就能正確回答問題GPT的原理似乎還可以理解但GPT那遠甩其他語言模型好幾條街能夠完成大量我們想到又或者還沒想到的任務的能力在原先的架構中微調需要大量的人工作業而且每次遇到新任務就要再花費人力訓練實在太花人工啦不過當GPT從GPT-1進階到GPT-2的時候呢OpenAI嘗試減少甚至拿掉了微調的步驟OpenAI增加了GPT-2的文本訓練量同時增加參數數量將GPT-1的1.17億參數變成GPT-2的15億參數量可怕的是變大的GPT-2不只是懂得變多了甚至能在沒有微調的訓練下理解人類提問的問題震驚了眾人OpenAI團隊用相同原則再次讓GPT-2的參數提高135倍打造出擁有1750億參數量的GPT-3GPT-3用以量取勝的方式成為目前最強大的大型語言模型在沒有人工微調的情況下在one-shot、zero-shot的表現這個一發零發的什麼意思啊Shot指的是OpenAI帶著GPT-3寫範例題的數量附帶少數範例題的叫作 few-shot僅有一個範例題的叫作 one-shot完全沒有範例題只有題目的就是 zero-shot各自進行分數計算可以明顯看到當模型的參數量增加即使沒有微調正確度也會上升哇 這真是團結力量大數大就是強啊更超乎想像的是這種大型語言模型不只是單純地回答問題如果請它詳細說明推理過程例如問它梨子是否會沉入水底欸 它不只會回答no它還會告訴你因為梨子的密度大約是每立方公分0.6克小於水的密度因此會浮在水上哇 沒想到還真的能說出一套完整的思維過程科學家推測在大型語言模型中可能已經讓AI建立起一種Chain of Thought 思考鏈能以邏輯推理的方式回答簡單的數學與常識推理題目AI會「思考」這件事變得越來越有真實性GPT能變得如此巨大靠的是超過45TB的訓練資料但你有想過這些資料是怎麼來的嗎GPT的資料大約有20%是來自於RedditOpenAI蒐集了Reddit上Karma值大於3的使用者貼文作為訓練資料該資料因為是經過人類整理的文章清晰易懂類似於帶有完整標記的資料是優秀的參考文本那除了Reddit之外呢推特、維基百科也是OpenAI的資料蒐集來源而資料庫中超過60%的來源都是來自非營利組織Common Crawl 爬蟲程式蒐集的資料Common Crawl會定期網羅網路上公開的所有網頁訊息提供搜尋引擎、AI等研究者使用但是超過300TB雜亂無章的資訊並不是良好的數據而且由於Common Crawl沒有篩選資料看到什麼就抓什麼也讓GPT出現許多抄襲智慧財產權的疑慮跟爭議CNN、華爾街日報等多家主流媒體都曾指控OpenAI在未經許可的情況之下就使用他們的文章幫GPT訓練然而像是GPT-3這種龐大的模型也不是人人都能擁有的GPT-3龐大的資料量跟參數它的代價就是超過百萬美元以上的訓練成本還不包括維持伺服器與維護的成本Bing瀏覽器在這個階段也限縮了能使用的用戶數以及每個用戶的每日提問量來減少伺服器的負荷量不只有微軟在Bing發表的同一天 Google 也早有準備額...好像有點掉漆BARD在回答韋伯望遠鏡的問題時錯把拍下第一張太陽系外行星的照片這個功勞歸功給韋伯望遠鏡被NASA打臉後股價大跌7% 市值損失GPT除了可能要面對未來的對手之外自身也還有許多不足之處OpenAI在論文中也特別提到他們十分擔心這樣的工具會被有心人士使用另外無限制地蒐集資料也會使得資料庫用字受到網路資料的影響例如OpenAI調查了文本當中對於亞洲人、黑人、白人拉丁裔等等的形容詞正面形容詞給正分負面形容詞給負分他們發現描述黑人的形容詞分數明顯低於其他人種而且這種現象並不會隨著參數增加而有所改善類似的問題除了人種外在性別、宗教等方面也有相同問題除此之外如果網路上的資訊錯誤的比正確的多也會影響到樣本的有效性針對這些問題OpenAI的技術長Mira Murati在接受時代雜誌TIME的採訪時說到這是一個特別的時刻OpenAI等類似的公司應該要受到一定程度的規範我們得確保它為人類服務並且我們必須傾聽哲學家社會科學家、藝術家人文學專家等不同領域的建議OpenAI會審慎確保AI不會傷害人類同時這類的問題需要所有人一起加入討論類似ChatGPT的AI成為我們日常生活一部分的未來已經不可避免畢竟連老高都拍了嘛那你是期待多一些還是害怕多一些呢實際上我們團隊在蒐集資料與製作腳本的過程中的確常常使用ChatGPT來輔助但就連Google到的資料都得再三查證了時常錯誤的ChatGPT更是如此比起要讓GPT取代所有工作我們更發現它流暢的問答以及可以回答開放性問題的特性非常適合用於創意發想在快速資料整理擷取重點還有文稿校對當中呢也能扮演重要的角色哎呀 用說的太無聊了那就吟首詩吧我想問問已經在玩ChatGPT甚至Bing Chat的觀眾你們想怎樣探索這個大型語言模型的潛力呢你是想要訓練一個得力助手透過跟GPT還有Bing Chat的聊天互動讓它比Javis還要強嗎或是你想成為一個YouTuber讓GPT幫自己寫腳本做成日更型YouTuber嗎還是你想砸錢彎道超車自己嘗試訓練一個大型語言模型來跟GPT一較高下呢如果你有其他點子歡迎留言告訴我們最後如果你對人工智慧接下來的發展跟應用很感興趣除了聽我們講科普更想動手玩歡迎留言告訴我們我們會邀請你加入泛科學習社群與泛科團隊一起研究跟分享喔記得訂閱、按讚、開啟小鈴鐺我們下一集再見