お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

このエントリーをはてなブックマークに追加

Jul

27

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~

LLM, fine-tuning, LoRA, 量子化

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~
Hashtag :#StudyCo
Registration info

オンライン

Free

FCFS
244/250

Attendees
k_asako
ninochi
rallus_
藤本憲治
oshima
fankou5555
hsano
TK
hmatsu47
plainpine
View Attendee List
Start Date
2023/07/27(Thu) 19:30 ~ 20:30
Registration Period

2023/07/12(Wed) 15:44 〜
2023/07/27(Thu) 20:30まで

Location

Zoom

オンライン

参加者への情報
(参加者と発表者のみに公開されます)

Description

講座概要

2022年にOpenAIがChatGPTを公開して以降、大規模言語モデル (LLM) 界隈は大きく盛り上がっています。 最近ではオープンソースのLLMが続々と公開されるようになり、そうしたモデルたちはローカル環境で動かしたり学習したりすることができます。

しかし、一般にLLMは数十億以上のパラメータを持ち、全パラメータをロードするだけでも大量のメモリが必要になります。 一般的なスペックのGPUでは、LLMをメモリに乗せることすらできないのが現状です。fine-tuningは言わずもがなです。

では、一般庶民はLLMを動かすことはできないのでしょうか? そんなことはありません。

LLMの学習や推論に必要なGPUメモリを削減するための技術は多く研究されています。 今回はその中でも量子化 (quantization) とLoRA (Low-Rank Adaption) を紹介し、これらの技術を使って実際にOpenCALM (サイバーエージェント社のオープンソースLLM) をfine-tuningしてみた結果を共有します。

主な対象者

  • LLMに興味がある方
  • オープンソースLLMのfine-tuningを試してみたい方

前提とする知識

  • 深層学習の基本的な知識がある方

アジェンダ

  • LLMとは
  • LLMのパラメータ数とメモリ消費
  • 量子化とは
  • LoRAとは
  • オープンソースLLMのfine-tuning

※ 発表内容は多少変更が入る可能性があります

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoom URLが表示されます。

タイムテーブル

時刻 内容
19:30 はじめに
19:35 一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~
20:20 質疑応答
20:30 終了

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

発表者

Feed

oshima

oshimaさんが資料をアップしました。

07/30/2023 11:00

oshima

oshimaさんが資料をアップしました。

07/27/2023 21:05

payanotty

payanotty published 一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~.

07/12/2023 15:45

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ を公開しました!

Ended

2023/07/27(Thu)

19:30
20:30

Registration Period
2023/07/12(Wed) 15:44 〜
2023/07/27(Thu) 20:30

Location

Zoom

オンライン

Zoom

Attendees(244)

k_asako

k_asako

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

ninochi

ninochi

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

rallus_

rallus_

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

藤本憲治

藤本憲治

I joined 一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~!

oshima

oshima

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

fankou5555

fankou5555

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

hsano

hsano

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

TK

TK

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

hmatsu47

hmatsu47

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

plainpine

plainpine

一般庶民でもfine-tuningしたい! ~ローカルLLMのGPU節約の手法を解説~ に参加を申し込みました!

Attendees (244)

Canceled (8)