お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。
9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。

お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

このエントリーをはてなブックマークに追加

Apr

4

LLMアプリケーションの実験管理・評価の工夫を紹介〜PromptLayerを使った本番運用〜

LLMアプリケーションの実験管理・評価の工夫を紹介〜PromptLayerを使った本番運用〜
Hashtag :#StudyCo
Registration info

オンライン

Free

FCFS
320/350

Attendees
oshima
harukary
gorillakundesu
tana3ka
mshattori
sinore
stakahashi
KenjiAsano
Kazuaki_Torisawa
fankou5555
View Attendee List
Start Date
2024/04/04(Thu) 19:30 ~ 21:00
Registration Period

2024/03/21(Thu) 11:45 〜
2024/04/04(Thu) 21:00まで

Location

Zoom

オンライン

参加者への情報
(参加者と発表者のみに公開されます)
出席登録
(イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

Description

講座概要

LLMアプリケーションの開発が行われるようになり、本番運用している企業も増えてきました。 よいLLMアプリケーションを作るための工夫としてのプロンプトエンジニアリングやRAGなどの手法は、エンジニア界隈では広く一般に知られるようになってきました。

一方、LLMの実験管理や評価の方法についてはまだベストプラクティスが出揃っておらず、各社が手探りで行っているような状態です。評価ができなれば、どれだけLLMアプリケーションの精度改善のプラクティスが出ても、継続的に精度改善していくことはできません。 また、本番運用されるLLMアプリケーションは、精度やビジネスインパクトへの評価だけではなく、コストやレイテンシーを継続的にモニタリングしていくことも重要です。

発表者が所属するPharmaX社でも例に漏れず、手探りで評価方法を確立しようと奮闘しています。本発表では、発表者が得た知見や工夫を整理して発表したいと思います。

※本イベントは発表者の上野 が自社にて行ったイベント『LLMアプリケーションの実験管理・評価についての知見をまとめてみた』の内容と7割程度被ります

こちらの記事もご参考にしてください

主な対象者

  • LLMアプリケーション開発の最新トレンドを知りたい方
  • LLMアプリケーションの実験管理・評価について他社事例などを詳しく知りたい方
  • LLMアプリケーションを開発して本番運用しているorしようとしているPdM・エンジニアの方

前提とする知識

  • 少しでもLLMを活用したアプリケーション開発をしたことがある方
  • Pythonのコードをざっくりとでもいいので理解できる方
  • LLM・AIの基礎知識のある方(数学的な話は出てこないのでご安心ください)

アジェンダ

  • PharmaXのプロダクトの簡単な説明
  • LLMの評価・実験管理の概要
  • 実験管理の工夫
  • 評価の工夫
  • まとめ

会場

Zoomウェビナーでの開催となります

※ 参加登録してくださった方に、このページ上部の「参加者への情報」の欄にZoomのURLが表示されます。

タイムテーブル

時刻 内容
19:30 はじめに
19:35 講座
20:50 質疑応答
21:00 終了

※質疑の内容や数などにより、終了時刻が前後する可能性があります。

発表者プロフィール

PharmaX株式会社 取締役・エンジニアリング責任者 上野彰大

東京大学農学生命科学研究科卒業。大阪府堺市出身。新卒でIGPI(経営共創基盤)に入社し、2018年12月にPharmaX株式会社(旧・株式会社YOJO Technologies)を共同創業。全社戦略、エンジニアリング責任者。趣味でエンジニアリング勉強会を数年続けている。得意なのは、統計、機械学習、データ分析。

Feed

oshima

oshimaさんが資料をアップしました。

04/05/2024 17:26

oshima

oshimaさんが資料をアップしました。

04/05/2024 08:33

oshima

oshima published LLMアプリケーションの実験管理・評価の工夫を紹介〜PromptLayerを使った本番運用〜.

03/21/2024 11:46

LLMアプリケーションの実験管理・評価の工夫を紹介 を公開しました!

Ended

2024/04/04(Thu)

19:30
21:00

Registration Period
2024/03/21(Thu) 11:45 〜
2024/04/04(Thu) 21:00

Location

Zoom

オンライン

Zoom

Attendees(320)

oshima

oshima

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

harukary

harukary

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

gorillakundesu

gorillakundesu

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

tana3ka

tana3ka

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

mshattori

mshattori

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

sinore

sinore

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

stakahashi

stakahashi

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

KenjiAsano

KenjiAsano

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

Kazuaki_Torisawa

Kazuaki_Torisawa

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

fankou5555

fankou5555

LLMアプリケーションの実験管理・評価の工夫を紹介 に参加を申し込みました!

Attendees (320)

Canceled (5)