本文首發(fā)于 東大自然語言處理實驗室

(資料圖)

轉(zhuǎn)載事宜請后臺詢問哦

單位|東北大學自然語言處理實驗室、小牛雅智、小牛翻譯

隨著大語言模型的快速崛起，人們對自然語言處理技術(shù)的關(guān)注度也在不斷提升。近年來，BERT、GPT等語言模型各顯神通，其模型結(jié)構(gòu)均可溯源至Transformer。自2017年提出以來，Transformer已經(jīng)迅速占據(jù)了整個自然語言處理領(lǐng)域，甚至在圖像處理領(lǐng)域也開始發(fā)揮作用。目前火熱的ChatGPT也是基于Transformer decoder結(jié)構(gòu)的模型之一，其出色的表現(xiàn)廣受好評。掌握Transformer基礎(chǔ)知識已成為學術(shù)界和從業(yè)者的必修課程。

2023年4月27日（周四晚）18:30，來自東北大學自然語言處理實驗室的李北將為大家?guī)?strong>《生成式大語言模型技術(shù)分享系列的首期報告——Transformer基礎(chǔ)技術(shù)》，本次報告將帶領(lǐng)您系統(tǒng)地學習Transformer基礎(chǔ)架構(gòu)，了解其關(guān)鍵技術(shù)，并探討它因何成為大型語言模型的基石。報告內(nèi)容具體包括Transformer的整體框架、輸入及位置編碼、注意力機制、殘差網(wǎng)絡(luò)與層歸一化、前饋神經(jīng)網(wǎng)絡(luò)等關(guān)鍵技術(shù)。通過本次報告，您能夠?qū)ransformer基礎(chǔ)知識有更加全面和深入的了解與思考。

本次直播將分為兩部分進行，第一部分為報告分享環(huán)節(jié)，第二部分為Q&A環(huán)節(jié)。在直播過程中，小伙伴可以把問題發(fā)送到直播間中，并在Q&A環(huán)節(jié)與本期嘉賓深入探討；未被回復的問題也可私信留言，在直播結(jié)束后我們會進行解答。

本系列直播作為公益知識分享活動，由東北大學自然語言處理實驗室、小牛雅智、小牛翻譯聯(lián)合推出，向所有聽眾免費開放，無需注冊和報名繳費。參會觀眾可以在【視頻號（ID：小牛翻譯云平臺）、微博（ID：小牛翻譯）、嗶哩嗶哩（ID：小牛翻譯）、抖音（ID：小牛翻譯）、知乎（ID：小牛翻譯云平臺）、機器翻譯學堂（https://school.niutrans.com/live）】觀看直播，關(guān)注【機器翻譯學堂】即可觀看直播回放。誠邀所有關(guān)注自然語言處理與大模型技術(shù)發(fā)展的朋友走進直播間，2023年4月27日（周四）18:30，我們期待與您的相遇！

hi，這里是小牛翻譯~

想要看到更多我們的文章，可以關(guān)注下

機器翻譯學堂（公號或網(wǎng)站）

筆芯~

往期精彩文章