【依頼背景】
個人開発で作っているサービス内でLLMを使おうと考えており一旦gemini in vertex aiを検討しているが、他の選択肢も含めてちゃんとメリデメを検討したい。しかし、LLMに関する比較観点に関して十分な知見がなく有識者にまずは検討すべき観点を相談したい
【相談したいこと】
LLMを選定する上で、検討すべき観点・(追加で可能なら精度評価手法)
【探しているアドバイザー】
APIで利用するLLMを選定した経験があるデータエンジニア
【オファー時にご記載いただきたいこと】
特に知見のあるLLMサービス名
精度評価手法についてアドバイス可能かどうか
【自社・自身について】
WEBサービスを提供する日系の会社でアナリティクスエンジニアをしています
LLMに関する知見は浅いですが、colaboratoryなどで簡単に挙動を検証するくらいには使ったことがあります
【相談当日の想定アジェンダ】
APIで利用するLLMを選定する際に検討すべき観点
検討する際に参考にしたドキュメントや記事
実際の利用方法から考えられるおすすめのLLM
LLMの精度検証などの上手い方法