📖
第三回：LLMを使って、プロンプトチューニングをしてみた
この記事は「LLM・LLM活用 Advent Calendar 2024」シリーズ2の参加記事です。
はじめに
現状ですが、自主的に開発しているLLMのサービスでは、有価証券報告書の分析がメイン機能となっています。
LLMを利用しているため、プロンプトが必要ですが、プロンプトの改善を今後やっていく上で、ある程度自動的に改善が出来ないかな？と思い、手法を少し考えてみたので、サンプルコードを作って試してみました。
※理論的な話はなく、直感的に検証してみた、所謂「やってみた」系なので、参考程度にご覧いただけると幸いです。
プロンプトの自動改善について
昨今だと、GPTによるプロンプトジェネレーターやAPE（Auto Prompt Engineering）などのツールや技術により、プロンプトを0ベースに考えなくても、生成する術が揃ってきています。
詳細な技術については、個別でぜひ検索してみていただければと思うのですが（私自身も勉強中でして・・）、今回はLLM同士にプロンプトを改善してみてもらうことを試してみました。
具体的には下記のように4つのLLMを用意して、プロンプト改善を行ってみました。
| LLM名 | 概要 |
|---|---|
| Generator(gemini1.5-flash) | 有価証券報告書の分析結果を生成 |
| Evaluator(gemini1.5-flash) | 有価証券報告書の分析結果が妥当かを評価 |
| Rewriter(gemini1.5-flash) | 分析結果から、Generatorのプロンプトを書き換える |
| Generalizer(gemini1.5-flash) | 複数の有価証券報告書の分析を行うプロンプト群を読み込み、プロンプトを汎用化 |
最終的には、Generalizerから出たプロンプトを本番環境のAPIに組み込むことを想定しています。
下記のようなフローとなります。
検証してみたこと
以下の2パターンで検証してみました。
※利用した有価証券報告書は2種類（ACCESS, ELEMENTS）となります。
| パターン | 補足 |
|---|---|
| ①初期プロンプトを適当に設定 | 初期プロンプトを手動で設定 |
| ②初期プロンプトをLLMに作成して、設定 | geminiに初期んプロンプトを生成してもらう |
初期プロンプトを変えて試したのは、一般的なDNNのモデル学習でも初期重みによって、最終的に到達する重みが変わったりするため、上記検証を試した次第です。
※LLMも中身はtransformerベースであり、内部重みの変更はしないですが、プロンプトチューニングも似たような話かもしれない、という直感的なイメージに基づいています。
また他のパラメーターは下記となります。
- 各有価証券報告書のイテレーション回数は3回を上限
検証結果
結論から言うと、下記のような要約となります。
- 複数回のイテレーションで、プロンプトはアップデートされていく（良くなっているように見える）
- 初期プロンプトによって、最終的なプロンプトは大きく変わる
①のパターン
初期プロンプトを下記のように簡素にしました。
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
・有価証券報告書に含まれる情報を分析時に利用すること。初回と最終的なプロンプトをそれぞれの企業で記載します。
★ACCESSの場合
・1回目
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
## プロンプト
**分析対象企業の決算資料に基づき、以下の観点から分析を行い、将来の株価予測と投資判断に関する考察を記述してください。**
1. **収益構造分析:** 各セグメントの売上高、成長率、利益率などを分析し、収益構造の特徴を明らかにします。
2. **競合分析:** 主要な競合企業を特定し、事業規模、市場シェア、成長戦略などを分析します。
3. **成長性分析:** 今後の成長が見込める要素を特定し、その根拠を説明します。
4. **課題分析:** 今後の成長を阻害する可能性のある課題を特定し、その影響を評価します。
5. **将来の株価予測:** 上記分析結果に基づき、将来の株価がどのように推移すると予測されるのか、具体的な根拠を示して説明します。
6. **投資判断:** 投資判断を行う際に考慮すべきリスク要因を具体的に示し、投資家のリスク許容度に応じた投資戦略を提案します。
**注意点:**
- 分析はあくまでも参考情報であり、投資の推奨を目的とするものではありません。
- 投資を行う際には、投資家の責任において、十分な調査を行い、投資判断を行う必要があります。
- 株価に関する損益は、投資家の責任において、当該会社が負うものではありません。・3回目
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
## プロンプト
**決算資料に基づき、以下の観点から分析を行い、将来の株価予測と投資判断に関する考察を記述してください。**
1. **収益構造分析:** 各セグメントの売上高、営業利益、経常利益、純利益などの推移を分析し、収益構造の特徴を明らかにします。さらに、成長率や利益率などの指標を算出し、各セグメントの収益性と成長性を評価します。**各セグメントの収益性と成長性を比較評価する際には、具体的な数値データや指標を用いることで、より客観的な分析結果が得られます。例えば、売上高成長率、営業利益率、経常利益率、純利益率などの指標を用いて、各セグメントの収益性と成長性を定量的に評価することで、より説得力のある分析結果が得られます。**
2. **競合分析:** 主要な競合企業を特定し、事業規模、市場シェア、成長戦略などを分析します。さらに、同社の競合優位性や差別化戦略を具体的に説明し、競合との競争状況を評価します。**同社の競合優位性をより具体的に示すことで、より説得力のある分析結果が得られます。例えば、同社の技術力、顧客基盤、グローバルな事業展開などの競合優位性を、具体的な事例やデータを用いて示すことで、同社の競争力や差別化戦略をより明確に理解することができます。**
3. **成長性分析:** IoT市場、AI市場、5Gの普及など、今後の成長が見込める要素を特定し、その根拠を説明します。さらに、同社の各市場における具体的な事業展開や競争優位性を説明し、成長性に対する影響を評価します。**同社の成長ドライバーをより具体的に示すことで、より説得力のある分析結果が得られます。例えば、IoT市場、AI市場、5G市場などの成長ドライバーを、具体的な市場規模や成長率などのデータを用いて示すことで、同社の成長ポテンシャルをより明確に理解することができます。**
4. **課題分析:** 競合との競争激化、セキュリティリスクなど、今後の成長を阻害する可能性のある課題を特定し、その影響を評価します。さらに、各課題に対する具体的な対策を提案します。**同社の課題をより具体的に示すことで、より説得力のある分析結果が得られます。例えば、競合との競争激化、セキュリティリスク、人材不足などの課題を、具体的な事例やデータを用いて示すことで、同社の事業展開におけるリスク要因をより明確に理解することができます。**
5. **将来の株価予測:** 上記分析結果に基づき、将来の株価がどのように推移すると予測されるのか、具体的な根拠を示して説明します。特に、同社の成長性、競合との競争状況、市場環境などを考慮した上で、より具体的な株価予測を行います。**将来の株価予測を行う際には、具体的な根拠を示すことで、より説得力のある分析結果が得られます。例えば、同社の収益構造、競合優位性、成長性、市場環境などを考慮して、将来の売上高、利益、株価などがどのように推移すると予想されるのか、あるいは、同社の過去の株価推移や市場動向などを分析して、将来の株価がどのように推移すると予想されるのかなどを分析することで、より客観的な株価予測を行うことができます。**
6. **投資判断:** 投資判断を行う際に考慮すべきリスク要因を具体的に示し、投資家のリスク許容度に応じた投資戦略を提案します。さらに、同社の財務状況、成長性、競合状況、市場環境などを総合的に判断し、投資判断に関するより具体的な分析や考察を行います。**投資判断を行う際には、具体的な投資戦略を提案する必要があります。例えば、高リスク許容度の投資家には、同社の成長性に着目し、積極的に投資を行うことを提案する、あるいは、低リスク許容度の投資家には、同社の事業リスクを考慮し、投資を控えることを提案するなど、投資家のリスク許容度に応じた投資戦略を提案することで、より実践的な投資判断を行うことができます。**
**注意点:**
- 分析はあくまでも参考情報であり、投資の推奨を目的とするものではありません。
- 投資を行う際には、投資家の責任において、十分な調査を行い、投資判断を行う必要があります。
- 株価に関する損益は、投資家の責任において、当該会社が負うものではありません。 ★ELEMENTSの場合
・1回目
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
## プロンプト
有価証券報告書に含まれる情報を用いて、以下の観点から企業分析を行ってください。
1. **財務状況分析:**
- 収益性、安全性、効率性、成長性といった指標に基づき、企業の財務状況を評価してください。
- 特に注目すべき点は何か、具体的な根拠を挙げて説明してください。
2. **経営分析:**
- 企業の事業戦略、競争優位性、経営体制などを分析し、今後の事業展開について考察してください。
- 経営上の課題やリスク、今後の成長戦略について、具体的な根拠を挙げて説明してください。
3. **市場分析:**
- 企業を取り巻く市場環境、競合状況、顧客動向などを分析し、企業の市場におけるポジションを評価してください。
- 今後の市場動向を予測し、企業にどのような影響を与える可能性があるか、具体的な根拠を挙げて説明してください。 ・3回目
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
## プロンプト
有価証券報告書に含まれる情報を用いて、以下の観点から企業分析を行ってください。
1. **財務状況分析:**
- 収益性、安全性、効率性、成長性といった指標に基づき、企業の財務状況を評価してください。
- 特に注目すべき点は何か、具体的な根拠を挙げて説明してください。
- **収益性**: 売上高の成長率は高いものの、利益率が低い状況が続いている点は、今後の事業展開において大きな課題です。収益性の低さの原因を分析し、具体的な改善策を提案してください。
- 人件費の増加: 人件費の増加率や、売上高に対する人件費比率の推移などを示すことで、より具体的な分析結果が得られます。
- 子会社株式売却による支出: 売却した子会社の業績や売却に至った背景などを分析することで、収益性への影響をより深く理解できます。
- **安全性**: 自己資本比率は上昇しているものの、純資産額が低い水準である点は、今後の事業展開において、資金調達や事業拡大を阻害する可能性があります。財務基盤の強化に向けた具体的な施策を提案してください。
- 自己資本比率の上昇傾向は、具体的な数値や推移を示すことで、より明確になります。
- **効率性**: 連結キャッシュ・フロー計算書によると、営業活動によるキャッシュ・フローがマイナスとなっている点は、今後の事業展開において、資金繰りや事業拡大を阻害する可能性があります。営業活動によるキャッシュ・フローがマイナスとなっている原因を分析し、具体的な改善策を提案してください。
- 人件費支出の増加: 人件費支出の増加率や、売上高に対する人件費支出比率の推移などを示すことで、より具体的な分析結果が得られます。
- 子会社株式売却による支出: 売却した子会社の業績や売却に至った背景などを分析することで、キャッシュ・フローへの影響をより深く理解できます。
- **成長性**: 売上高の成長率は高いものの、利益率が低く、安定的な収益基盤を構築できていない点は、今後の事業展開において、持続的な成長を阻害する可能性があります。安定的な成長を実現するための具体的な施策を提案してください。
- 売上高の成長率は、具体的な数値や推移を示すことで、より明確になります。
2. **経営分析:**
- 企業の事業戦略、競争優位性、経営体制などを分析し、今後の事業展開について考察してください。
- 経営上の課題やリスク、今後の成長戦略について、具体的な根拠を挙げて説明してください。
- **経営分析**: 事業戦略、競争優位性、経営体制、経営上の課題、リスク、成長戦略に加え、企業文化や人材育成についても分析し、具体的な改善策を提案してください。
- 個人最適化ソリューションの今後の事業展開については不透明という指摘は妥当ですが、具体的な理由や今後の見通しなどを示すことで、より明確になります。
- 競合他社との差別化ポイントとして、データの自社保管と継続的な機械学習が挙げられていますが、具体的な事例や効果などを示すことで、より説得力が増します。
- 監査等委員会の構成員や内部監査担当者の具体的な役割や活動内容などを示すことで、より詳細な分析結果が得られます。
- 収益性の低さ: 収益性の低さの原因をより具体的に分析し、具体的な改善策を検討する必要があります。
- 人材確保: 人材確保の具体的な取り組みや、人材育成の計画などを示すことで、より具体的な分析結果が得られます。
- 個人情報管理: 個人情報管理の課題として、情報漏洩対策やセキュリティ対策の強化が挙げられていますが、具体的な対策内容などを示すことで、より具体的な分析結果が得られます。
- 海外展開: 海外展開の課題として、現地の文化や市場ニーズに合わせたサービス展開が挙げられていますが、具体的な戦略や取り組みなどを示すことで、より具体的な分析結果が得られます。
- 各リスクについて、発生確率や影響度などを分析することで、より具体的な分析結果が得られます。
- また、各リスクに対する具体的な対策内容などを示すことで、より具体的な分析結果が得られます。
- 各成長戦略について、具体的な目標や達成時期などを示すことで、より具体的な分析結果が得られます。
- また、各成長戦略の実現可能性や課題などを分析することで、より具体的な分析結果が得られます。
- 具体的な取り組み内容や成果などを示すことで、より具体的な分析結果が得られます。
- また、従業員のエンゲージメントや満足度に関するデータなどを示すことで、より客観的な評価ができます。
- 具体的な人材育成プログラムや研修内容などを示すことで、より具体的な分析結果が得られます。
- また、人材育成の成果や、従業員のスキルアップ状況などを示すことで、より客観的な評価ができます。
3. **市場分析:**
- 企業を取り巻く市場環境、競合状況、顧客動向などを分析し、企業の市場におけるポジションを評価してください。
- 今後の市場動向を予測し、企業にどのような影響を与える可能性があるか、具体的な根拠を挙げて説明してください。
- **市場分析**: 市場環境、競合状況、顧客動向、今後の市場動向に加え、市場規模や成長率の具体的な数値を盛り込み、より客観的な分析結果にしてください。
4. **競合他社分析**: 競合他社の事業内容、強み、弱み、市場シェアなどを分析することで、当社の競争優位性をより明確に示してください。
5. **ESG分析**: 環境、社会、ガバナンス(ESG)に関する取り組みを分析することで、投資家の関心を集め、企業価値向上に繋げることができるか考察してください。
6. **将来展望**: 今後の事業展開計画や、収益目標などを具体的に示し、投資家の期待を高め、企業価値向上に繋げることができるか考察してください。 ★二つの企業のプロンプトを比較してみて
最終的なプロンプトを見ると、明らかに差分が出ているのが分かります。
ELEMENTS側には個人最適化ソリューションのような話があったり、ACCESS側にはIoTやAI市場に関して触れていたりします。
これは所謂「過学習」的な状態であり、企業特化のプロンプトになっていそうです。
※ただし、実際にリアルタイム性を無視するのであれば、上記のように企業特化のプロンプトを作れるような仕組みにしておくのは、ありなのかもしれません。
上記結果から、汎化を行うようなフローも追加しました。
★汎化したプロンプトについて
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
## プロンプト
有価証券報告書に記載されている情報を用いて、以下の観点から企業分析を行い、将来の事業展開や投資判断に関する考察を記述してください。
1. **財務状況分析:**
- 収益性、安全性、効率性、成長性といった指標に基づき、企業の財務状況を評価してください。
- 特に注目すべき点は何か、具体的な根拠を挙げて説明してください。
- 過去の財務データの推移を分析し、企業の財務状況がどのように変化してきたのかを説明してください。
- 将来の財務状況を予測し、企業の財務安定性や成長性について考察してください。
2. **経営分析:**
- 企業の事業戦略、競争優位性、経営体制などを分析し、今後の事業展開について考察してください。
- 経営上の課題やリスク、今後の成長戦略について、具体的な根拠を挙げて説明してください。
- 企業の経営理念やビジョン、企業文化などを分析し、企業の持続的な成長にどのような影響を与えているのかを考察してください。
3. **市場分析:**
- 企業を取り巻く市場環境、競合状況、顧客動向などを分析し、企業の市場におけるポジションを評価してください。
- 今後の市場動向を予測し、企業にどのような影響を与える可能性があるか、具体的な根拠を挙げて説明してください。
- 企業が属する業界の成長性や競争環境などを分析し、企業の将来的な事業展開について考察してください。
4. **競合他社分析:**
- 主要な競合他社の事業内容、強み、弱み、市場シェアなどを分析し、企業の競争優位性を評価してください。
- 競合他社の動向を分析し、企業がどのような戦略を立てるべきか考察してください。
5. **ESG分析:**
- 環境、社会、ガバナンス(ESG)に関する企業の取り組みを分析し、投資家の関心を集め、企業価値向上に繋げることができるか考察してください。
- 企業のESGに関する取り組みが、企業の事業展開や財務状況にどのような影響を与えているのかを分析してください。
- 企業のESGに関する取り組みを評価し、今後の改善点や課題などを指摘してください。
6. **将来展望:**
- 今後の事業展開計画や、収益目標などを具体的に示し、投資家の期待を高め、企業価値向上に繋げることができるか考察してください。
- 企業の将来的な成長戦略や事業計画を分析し、実現可能性や課題などを指摘してください。
- 企業の将来的な株価動向を予測し、投資判断に関する考察を記述してください。
**注意点:**
- 分析はあくまでも参考情報であり、投資の推奨を目的とするものではありません。
- 投資を行う際には、投資家の責任において、十分な調査を行い、投資判断を行う必要があります。
- 株価に関する損益は、投資家の責任において、当該会社が負うものではありません。それぞれの企業特有の内容がなくなっているようには見えますね。
一定汎化対応が上手くいっているように見えます。
②のパターンの場合
次に、初期プロンプトをgeminiに作ってもらって、試してみました。
★初期のプロンプトを構築するためのメタプロンプトと、実際に生成されたプロンプト
あなたはLLMのプロンプトを生成するエキスパートです。
有価証券報告書を分析するためのプロンプトを生成してください。
ただし、後述するルールを守って、プロンプトを出力してください。
# ルール
・分析観点は一つに拘らず、複数の観点を出すようにしてください。
・会社名、具体的な決算資料の数値といった企業の固有情報をプロンプトに含めないでください。↓
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
1. 経営戦略と事業内容:
企業のビジョン、ミッション、経営理念を明確化し、その内容を評価してください。
主要な事業セグメントとその内容、売上高、利益への貢献度を分析してください。
市場における競争優位性と、その持続可能性について評価してください。
今後の事業展開の方向性と、その実現可能性について分析してください。
事業ポートフォリオを分析し、多角化の程度やリスク分散の状況を評価してください。
2. 財務状況:
収益性、安全性、効率性の観点から財務状況を分析し、改善点や課題を指摘してください。
収益性分析では、売上高総利益率、営業利益率などの指標の推移を分析し、その要因を考察してください。
安全性分析では、流動比率、自己資本比率などの指標を分析し、財務リスクを評価してください。
効率性分析では、総資産回転率、棚卸資産回転率などの指標を分析し、資産の運用効率を評価してください。
キャッシュフロー計算書を分析し、資金繰りの状況を評価してください。
3. リスク:
事業報告書に記載されているリスク要因を分析し、その重要度と影響度を評価してください。
業界全体の動向や競合との競争環境などを考慮し、潜在的なリスクを特定してください。
リスク管理体制の adequacy を評価し、改善点があれば指摘してください。
4. コーポレートガバナンス:
コーポレートガバナンスの体制、取締役会の構成、独立役員の役割などを分析してください。
株主との関係、情報開示の状況などを評価してください。
企業倫理、コンプライアンスに関する取り組みを評価してください。
5. ESG:
環境問題への取り組み、社会貢献活動、企業統治の状況を分析してください。
ESGに関する情報開示の adequacy を評価してください。
ESGの観点から、企業の持続可能性を評価してください。
分析結果の出力形式:
各観点ごとに章立てし、分析結果を明確に記述してください。
図表やグラフなどを用いて、分析結果を視覚的に表現してください。
具体的な根拠に基づいた客観的な分析を行い、結論を明確に示してください。
必要に応じて、改善点や提言などを提示してください。
その他:
分析対象の有価証券報告書の発行企業、発行年を明記してください。
最新の情報やデータを入手し、分析に活用してください。初期のプロンプトから結構丁寧にプロンプトが組まれているので、これを利用して、どのようにプロンプトが変わっていくかを見てみます。
★それぞれの企業の3回目のプロンプト情報
・ACCESS（3回目）
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
## プロンプト
1. **財務分析**:
- 収益性、安全性、効率性に関する具体的な数値データに基づき、企業の財務状況を分析してください。
- 売上高、営業利益、純利益などの推移を分析し、その要因を考察してください。
- 流動比率、自己資本比率、総資産回転率、棚卸資産回転率などの指標を分析し、財務リスクと資産運用効率を評価してください。
- キャッシュフロー計算書を分析し、資金繰りの状況を評価してください。
- 過去の決算データと比較し、財務状況の改善点や課題点を指摘してください。
- **具体的な数値データや前年同期比での増加率を記載してください。**
- **各事業セグメントの売上高、営業利益、純利益の具体的な数値データも記載してください。**
2. **事業分析**:
- 主要な事業セグメントとその売上高比率を分析し、企業の事業構造を明確化してください。
- 各事業セグメントの売上高、営業利益、純利益などの具体的な数値を記載し、事業構造を詳細に示してください。
- 市場における競合企業を特定し、売上高、営業利益、純利益、市場シェアなどの指標を用いて比較分析を行い、企業の競争優位性を評価してください。
- **競合企業の強み・弱み、製品・サービス、市場戦略を具体的に記載してください。**
3. **リスク管理**:
- リスク管理体制の具体的な記述を記載してください。
- リスク管理委員会の構成、リスク管理プロセス、リスク管理指標などを具体的に示してください。
- 事業報告書に記載されているリスク要因を分析し、その重要度と影響度を評価してください。
- **リスク要因を具体的に記載してください。**
- **各リスク要因に対する具体的な対策内容を具体的に記載してください。**
4. **ESG**:
- 環境問題への取り組み、社会貢献活動、企業統治の状況を分析してください。
- 省エネルギー、省資源、廃棄物削減、グリーン調達などの具体的な取り組み内容を記載してください。
- 地域貢献、人材育成、教育支援などの具体的な社会貢献活動の内容を記載してください。
- ESGに関する情報開示の充実度を評価してください。
- ESGの観点から、企業の持続可能性を評価してください。
- **ESGに関する具体的な目標設定や取り組み計画を具体的に記載してください。**
5. **コーポレートガバナンス**:
- コーポレートガバナンスの体制、取締役会の構成、独立役員の役割などを分析してください。
- 株主との関係、情報開示の状況などを評価してください。
- 企業倫理、コンプライアンスに関する取り組みを評価してください。
- **コーポレートガバナンスに関する具体的な改善策を具体的に記載してください。**
6. **将来展望**:
- 具体的な数値データや分析結果に基づいて、企業の将来的な成長が期待される理由を明確に示してください。
- 競争の激化、技術革新への対応、顧客集中、海外事業のリスク、法令規制の変更、人材の確保などのリスク要因に対して、企業がどのように対応していくのか、具体的な提言を記載してください。
- ESGに関する情報開示をどのように強化していくのか、具体的な提言を記載してください。
- IoT、AI、5Gなどの技術革新をどのように取り込み、新たな事業機会を創出していくのか、具体的な提言を記載してください。
- 企業の成長戦略、事業計画、投資計画などを分析し、将来展望をより具体的に示してください。
- **企業の将来的な成長が期待される理由を具体的に記載してください。**
- **競争の激化、技術革新への対応、顧客集中、海外事業のリスク、法令規制の変更、人材の確保などのリスク要因に対する具体的な提言を記載してください。**
- **ESGに関する情報開示を強化していくための具体的な提言を記載してください。**
- **IoT、AI、5Gなどの技術革新をどのように取り込み、新たな事業機会を創出していくのか、具体的な提言を記載してください。**
- **企業の成長戦略、事業計画、投資計画などを具体的に記載してください。**
**分析結果の出力形式**:
- 各観点ごとに章立てし、分析結果を明確に記述してください。
- 図表やグラフなどを用いて、分析結果を視覚的に表現してください。
- 具体的な根拠に基づいた客観的な分析を行い、結論を明確に示してください。
- 必要に応じて、改善点や提言などを提示してください。
- **表やグラフなどを用いて視覚的に表現することで、より分かりやすく理解できる。**
- **具体的な数値データや分析結果に基づいた客観的な分析を行い、結論を明確に示すことで、より説得力のある分析結果となる。**
- **必要に応じて、改善点や提言などを提示することで、企業の更なる成長に貢献できる。**
**その他**:
- 最新の情報やデータを入手し、分析に活用してください。
- 業界全体の動向や競合企業の動向などを調査し、分析結果をより深く考察してください。
- 経営者のインタビューや関係者へのヒアリングなどを実施し、より詳細な情報を収集してください。
- **最新の情報やデータを入手し、分析に活用することで、より正確な分析結果を得ることができる。**
- **業界全体の動向や競合企業の動向などを調査し、分析結果をより深く考察することで、より深い分析結果を得ることができる。**
- **経営者のインタビューや関係者へのヒアリングなどを実施し、より詳細な情報を収集することで、より詳細な分析結果を得ることができる。**・ELEMENTS（3回目）
上記の決算資料から、後述する観点について企業分析を行い、将来の株価の増減具合を教えてください。
======
## 改善版プロンプト
**1. 経営戦略と事業内容**
* 企業のビジョン、ミッション、経営理念を明確化し、その内容を評価してください。
* 主要な事業セグメントとその内容、売上高、利益への貢献度を分析してください。
* **事業ポートフォリオを分析し、各事業セグメントの売上高、利益率、成長率などを比較分析することで、同社の事業ポートフォリオの現状と課題をより深く理解してください。**
* **競合他社との比較分析を行い、競争優位性と差別化ポイントを具体的に記述してください。具体的な企業名やサービスを挙げ、同社との比較分析を行うことで、同社の競争優位性をより明確に示してください。**
* **今後の事業展開の方向性について、具体的な戦略、具体的な数値目標、および実現可能性を分析してください。**
**2. 財務状況**
* 収益性、安全性、効率性の観点から財務状況を分析し、改善点や課題を指摘してください。
* **収益性分析では、売上高総利益率、営業利益率などの指標の推移を分析し、その要因を考察してください。特に、営業損失が続く原因をより詳しく分析し、今後の収益改善に向けた具体的な施策を検討してください。**
* **安全性分析では、流動比率、自己資本比率などの指標を分析し、財務リスクを評価してください。具体的な数値目標や、将来的な財務目標達成に向けた具体的な取り組みなどを記述してください。**
* **効率性分析では、総資産回転率、棚卸資産回転率などの指標を分析し、資産の運用効率を評価してください。具体的な改善策や、今後の効率性向上に向けた取り組みなどを記述してください。**
* キャッシュフロー計算書を分析し、資金繰りの状況を評価してください。
**3. リスク**
* 事業報告書に記載されているリスク要因を分析し、その重要度と影響度を評価してください。
* **分析結果に基づいた具体的な対策や取り組みなどを記述することで、より実践的な分析にしてください。**
* **業界全体の動向や競合との競争環境などを考慮し、潜在的なリスクを特定してください。競合との競争状況をより詳細に分析し、競合優位性を維持するための具体的な戦略を記述してください。**
* リスク管理体制の adequacy を評価し、改善点があれば指摘してください。**具体的な内容や、リスク発生時の対応策などを記述することで、より具体的なイメージが湧きやすくなります。**
**4. コーポレートガバナンス**
* コーポレートガバナンスの体制、取締役会の構成、独立役員の役割などを分析してください。
* **取締役会の構成について、社外取締役の比率を高める必要性を指摘するだけでなく、具体的な比率や、社外取締役の役割をより明確にする必要があります。**
* **独立役員の役割について、社外取締役がどのような視点で経営を監視しているのか、具体的な事例を挙げることで、より説得力のある分析にしてください。**
* 株主との関係、情報開示の状況などを評価してください。**株主とのコミュニケーションを強化する必要性を指摘するだけでなく、具体的な方法や取り組みなどを記述してください。**
* 企業倫理、コンプライアンスに関する取り組みを評価してください。
**5. ESG**
* 環境問題への取り組み、社会貢献活動、企業統治の状況を分析してください。
* **環境問題への取り組みについて、具体的な取り組み内容や、今後の目標などを記述することで、より説得力のある分析にしてください。**
* **社会貢献活動について、具体的な活動内容や、今後の目標などを記述することで、より説得力のある分析にしてください。**
* ESGに関する情報開示の adequacy を評価してください。**ESGに関する情報開示の具体的な内容や、今後の情報開示の強化に向けた取り組みなどを記述してください。**
* ESGの観点から、企業の持続可能性を評価してください。
**6. 結論**
* 分析結果を総合的に判断し、同社の課題を克服し、持続的な成長を遂げるために、以下の取り組みを強化していく必要があると述べてください。
* **具体的な行動指針や具体的な施策を記述してください。例えば、収益性の向上に向けて、どのような具体的な施策を実行していくのか、財務体質の強化に向けて、どのような資金調達計画を立てているのかなどを具体的に示してください。**
* 同社の投資価値を判断し、投資を行う際の注意点などを記述してください。
**分析結果の出力形式:**
* 各観点ごとに章立てし、分析結果を明確に記述してください。
* 図表やグラフなどを用いて、分析結果を視覚的に表現してください。
* 具体的な根拠に基づいた客観的な分析を行い、結論を明確に示してください。
* 必要に応じて、改善点や提言などを提示してください。
**その他:**
* 分析対象の有価証券報告書の発行企業、発行年を明記してください。
* 最新の情報やデータを入手し、分析に活用してください。
**追加の分析観点:**
* **技術革新:** 同社の事業における技術革新の取り組みを分析し、競争優位性を維持するための戦略を検討してください。
* **人材:** 同社の従業員構成、人材育成、採用戦略などを分析し、今後の事業成長を支える人材戦略を検討してください。
* **市場動向:** 同社の事業を取り巻く市場環境の変化を分析し、今後の事業戦略への影響を検討してください。
**プロンプトの変更点:**
* 分析観点に「技術革新」「人材」「市場動向」を追加しました。
* 各分析項目に具体的な質問を追加し、より詳細な分析を促すように変更しました。
* 分析結果の出力形式に「図表やグラフなどを用いて、分析結果を視覚的に表現してください」を追加しました。
* その他の項目に「最新の情報やデータを入手し、分析に活用してください」を追加しました。★汎化したプロンプト
## 汎用的な有価証券報告書分析プロンプト
**分析対象:** 任意の企業の有価証券報告書
**分析目的:** 企業の財務状況、事業内容、リスク、コーポレートガバナンス、ESG、将来展望を総合的に分析し、投資判断に必要な情報を提供する。
**分析観点:**
1. **経営戦略と事業内容:**
* 企業のビジョン、ミッション、経営理念を明確化し、その内容を評価してください。
* 主要な事業セグメントとその内容、売上高、利益への貢献度を分析してください。
* 事業ポートフォリオを分析し、各事業セグメントの売上高、利益率、成長率などを比較分析することで、同社の事業ポートフォリオの現状と課題をより深く理解してください。
* 競合他社との比較分析を行い、競争優位性と差別化ポイントを具体的に記述してください。具体的な企業名やサービスを挙げ、同社との比較分析を行うことで、同社の競争優位性をより明確に示してください。
* 今後の事業展開の方向性について、具体的な戦略、具体的な数値目標、および実現可能性を分析してください。
2. **財務状況:**
* 収益性、安全性、効率性の観点から財務状況を分析し、改善点や課題を指摘してください。
* 収益性分析では、売上高総利益率、営業利益率などの指標の推移を分析し、その要因を考察してください。特に、営業損失が続く原因をより詳しく分析し、今後の収益改善に向けた具体的な施策を検討してください。
* 安全性分析では、流動比率、自己資本比率などの指標を分析し、財務リスクを評価してください。具体的な数値目標や、将来的な財務目標達成に向けた具体的な取り組みなどを記述してください。
* 効率性分析では、総資産回転率、棚卸資産回転率などの指標を分析し、資産の運用効率を評価してください。具体的な改善策や、今後の効率性向上に向けた取り組みなどを記述してください。
* キャッシュフロー計算書を分析し、資金繰りの状況を評価してください。
3. **リスク:**
* 事業報告書に記載されているリスク要因を分析し、その重要度と影響度を評価してください。
* 分析結果に基づいた具体的な対策や取り組みなどを記述することで、より実践的な分析にしてください。
* 業界全体の動向や競合との競争環境などを考慮し、潜在的なリスクを特定してください。競合との競争状況をより詳細に分析し、競合優位性を維持するための具体的な戦略を記述してください。
* リスク管理体制の adequacy を評価し、改善点があれば指摘してください。具体的な内容や、リスク発生時の対応策などを記述することで、より具体的なイメージが湧きやすくなります。
4. **コーポレートガバナンス:**
* コーポレートガバナンスの体制、取締役会の構成、独立役員の役割などを分析してください。
* 取締役会の構成について、社外取締役の比率を高める必要性を指摘するだけでなく、具体的な比率や、社外取締役の役割をより明確にする必要があります。
* 独立役員の役割について、社外取締役がどのような視点で経営を監視しているのか、具体的な事例を挙げることで、より説得力のある分析にしてください。
* 株主との関係、情報開示の状況などを評価してください。株主とのコミュニケーションを強化する必要性を指摘するだけでなく、具体的な方法や取り組みなどを記述してください。
* 企業倫理、コンプライアンスに関する取り組みを評価してください。
5. **ESG:**
* 環境問題への取り組み、社会貢献活動、企業統治の状況を分析してください。
* 環境問題への取り組みについて、具体的な取り組み内容や、今後の目標などを記述することで、より説得力のある分析にしてください。
* 社会貢献活動について、具体的な活動内容や、今後の目標などを記述することで、より説得力のある分析にしてください。
* ESGに関する情報開示の adequacy を評価してください。ESGに関する情報開示の具体的な内容や、今後の情報開示の強化に向けた取り組みなどを記述してください。
* ESGの観点から、企業の持続可能性を評価してください。
6. **将来展望:**
* 具体的な数値データや分析結果に基づいて、企業の将来的な成長が期待される理由を明確に示してください。
* 競争の激化、技術革新への対応、顧客集中、海外事業のリスク、法令規制の変更、人材の確保などのリスク要因に対して、企業がどのように対応していくのか、具体的な提言を記載してください。
* ESGに関する情報開示をどのように強化していくのか、具体的な提言を記載してください。
* IoT、AI、5Gなどの技術革新をどのように取り込み、新たな事業機会を創出していくのか、具体的な提言を記載してください。
* 企業の成長戦略、事業計画、投資計画などを分析し、将来展望をより具体的に示してください。
* 企業の将来的な成長が期待される理由を具体的に記載してください。
* 競争の激化、技術革新への対応、顧客集中、海外事業のリスク、法令規制の変更、人材の確保などのリスク要因に対する具体的な提言を記載してください。
* ESGに関する情報開示を強化していくための具体的な提言を記載してください。
* IoT、AI、5Gなどの技術革新をどのように取り込み、新たな事業機会を創出していくのか、具体的な提言を記載してください。
* 企業の成長戦略、事業計画、投資計画などを具体的に記載してください。
**分析結果の出力形式:**
* 各観点ごとに章立てし、分析結果を明確に記述してください。
* 図表やグラフなどを用いて、分析結果を視覚的に表現してください。
* 具体的な根拠に基づいた客観的な分析を行い、結論を明確に示してください。
* 必要に応じて、改善点や提言などを提示してください。
**その他:**
* 分析対象の有価証券報告書の発行企業、発行年を明記してください。
* 最新の情報やデータを入手し、分析に活用してください。
* 業界全体の動向や競合企業の動向などを調査し、分析結果をより深く考察してください。
* 経営者のインタビューや関係者へのヒアリングなどを実施し、より詳細な情報を収集してください。
**追加の分析観点:**
* **技術革新:** 同社の事業における技術革新の取り組みを分析し、競争優位性を維持するための戦略を検討してください。
* **人材:** 同社の従業員構成、人材育成、採用戦略などを分析し、今後の事業成長を支える人材戦略を検討してください。
* **市場動向:** 同社の事業を取り巻く市場環境の変化を分析し、今後の事業戦略への影響を検討してください。①のパターンと比較すると、明らかにプロンプトとしては長文になってます。
②の汎化プロンプトだと、技術革新や人材にも触れており、かなり詳細な項目にされていっているように見えますが、反面、AI・IoTといったACCESS固有の話も含まれているように見えますが、ELEMENTSも画像認識系のソリューションを提供しており、IoTやAIは関連する企業ではあります。
※ELEMENTS側の有価証券報告書をみて見ると、IoT・AIに触れている箇所があり、実は今回のケースだと汎化しても、似たようなプロンプトになるかもしれません。
まとめ
今回は有価証券報告書の分析を行うためのLLM用プロンプトを自動で改善・生成するようなフローを自前で考えてみて、検証してみました。
- 複数回のイテレーションで、プロンプトはアップデートされていく（良くなっているように見える）
- 初期プロンプトによって、最終的なプロンプトは大きく変わる
上記の結果が検証から分かりました。
今後は構築されたプロンプトが実際に利用できるかを検証して見る予定です。
今回考えた手法は、下記の条件の場合に利用できるかもしれません。
- 初期プロンプトを丁寧に作ると大変（観点が多い）
- 定量的な評価が設定しにくい（= 教師データを用意しにくい、APEなどの一般的な手法が取りにくい）
補足
今回構築したコードは下記に格納しております。
また、企業の有価証券報告書については、下記のEDINET経由でPDFで取得しております。
©︎ 2025 - Yard