| Registration info |
オンライン Free
FCFS
|
|---|---|
| 参加者への情報 |
(参加者と発表者のみに公開されます)
|
Description
講座概要
2022年にOpenAIがChatGPTを公開して以降、大規模言語モデル (LLM) 界隈は大きく盛り上がっています。 最近ではオープンソースのLLMが続々と公開されるようになり、そうしたモデルたちはローカル環境で動かしたり学習したりすることができます。
しかし、一般にLLMは数十億以上のパラメータを持ち、全パラメータをロードするだけでも大量のメモリが必要になります。 一般的なスペックのGPUでは、LLMをメモリに乗せることすらできないのが現状です。fine-tuningは言わずもがなです。
では、一般庶民はLLMを動かすことはできないのでしょうか？ そんなことはありません。
LLMの学習や推論に必要なGPUメモリを削減するための技術は多く研究されています。 今回はその中でも量子化 (quantization) とLoRA (Low-Rank Adaption) を紹介し、これらの技術を使って実際にOpenCALM (サイバーエージェント社のオープンソースLLM) をfine-tuningしてみた結果を共有します。
主な対象者
- LLMに興味がある方
- オープンソースLLMのfine-tuningを試してみたい方
前提とする知識
- 深層学習の基本的な知識がある方
アジェンダ
- LLMとは
- LLMのパラメータ数とメモリ消費
- 量子化とは
- LoRAとは
- オープンソースLLMのfine-tuning
※ 発表内容は多少変更が入る可能性があります
会場
Zoomウェビナーでの開催となります
※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoom URLが表示されます。
タイムテーブル
| 時刻 | 内容 |
|---|---|
| 19:30 | はじめに |
| 19:35 | 一般庶民でもfine-tuningしたい！ ～ローカルLLMのGPU節約の手法を解説～ |
| 20:20 | 質疑応答 |
| 20:30 | 終了 |
※質疑の内容や数などにより、終了時刻が前後する可能性があります。
発表者
Media View all Media
Feed
07/30/2023 11:00
07/27/2023 21:05
07/12/2023 15:45
一般庶民でもfine-tuningしたい！ ～ローカルLLMのGPU節約の手法を解説～ を公開しました！
Akihiro Ueno
oshima
payanotty
taktakt
marchin
t_esaking
The IT meetup platform
connpass is made by BeProud Inc. in Tokyo Japan