このエントリーをはてなブックマークに追加

Nov

3

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~

自然言語処理、Transformer、Attention

Hashtag :#StudyCo
Registration info

オンライン参加

Free

FCFS
154/200

参加者への情報
(参加者と発表者のみに公開されます)

Description

講座概要

近年、自然言語処理分野でのAI技術は目覚ましい成長を見せています。

2021年には、小説をAIに書かせることができる「AIのべりすと」が公開されました。 最近では、AIに文章に沿った絵を生成させる、いわゆるText2Imageが盛り上がりを見せています。 「Midjourney」から始まり、「Stable Diffusion」や「NovelAI」など、Text2Imageを試せるサービスが次々と公開されています。 これらのAIが書く文章、あるいは文章から生成する絵は非常にクオリティが高く、あと数年経てば人間のそれを完全に上回ってしまうかもしれません。

Transformerという言葉を知っていますか? Transformerとは、2017年にGoogleが発表した論文に登場する深層学習モデルの名前で、実は「AIのべりすと」や「NovelAI」には、このTransformerから派生したモデルが使用されています。 その論文の名前は「Attention is All You Need」、近年の自然言語処理の発展はこの論文から始まりました。 AttentionはTransformerモデルの中でも特にコアとなるアルゴリズムです。 文章中のどの部分にどのように注目(Attention)するかをパラメータとしてモデルに組み込むことで、自然言語処理モデルの性能を飛躍的に向上させました。近年の自然言語モデルを理解するには、このAttentionを理解することが必須となります。

本発表では、Attentionのしくみについて数式レベルで解説します。また、AttentionがTransformerの中でどう使われているのか、Transformerからどのようにモデルが派生したかについても解説します。

キーワード

  • 自然言語
  • 深層学習
  • Transformer
  • Attention

主な対象者

  • 自然言語AIに興味がある方
  • なんとなくTransformerなど用語は聞いたことあるけどしくみはよく分かっていない方

前提とする知識

  • ベクトルや行列の基本計算はわかる(高校生レベル)
  • 深層学習をある程度知っている(Feed-Fowardが何なのかわかるレベル)

アジェンダ

  • 最近話題の自然言語AIについて
  • Transformerモデルとは
  • QKV Attentionとは
  • Multi-Head Attentionとは
  • Transformerの派生モデルについて

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoom URLが表示されます。

タイムテーブル

時刻 内容
19:30 はじめに
19:35 講座『Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~』
21:00 質疑応答
21:10 終了

Feed

oshima

oshimaさんが資料をアップしました。

11/05/2022 11:42

oshima

oshimaさんが資料をアップしました。

11/03/2022 23:01

payanotty

payanotty published Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~.

10/16/2022 17:21

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~ を公開しました!

Group

StudyCo

Number of events 29

Members 1837

Ended

2022/11/03(Thu)

19:30
21:00

Registration Period
2022/10/16(Sun) 17:21 〜
2022/11/03(Thu) 21:00

Location

Zoom

オンライン

Zoom

Attendees(154)

NMRtoUMR

NMRtoUMR

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~に参加を申し込みました!

physyuki

physyuki

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~に参加を申し込みました!

isseki_j

isseki_j

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~に参加を申し込みました!

hikaru__

hikaru__

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~に参加を申し込みました!

makipen

makipen

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~ に参加を申し込みました!

plainpine

plainpine

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~ に参加を申し込みました!

olekasi1

olekasi1

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~ に参加を申し込みました!

bignum

bignum

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~ に参加を申し込みました!

r_suzuki126

r_suzuki126

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~に参加を申し込みました!

Pal

Pal

Attentionさえあればいい。~NovelAIなどの今どきの自然言語AIの基礎技術を解説~ に参加を申し込みました!

Attendees (154)

Canceled (4)