前回までの改良で、Ver.2はかなり安定して動くようになっていました。ところが、今回また新しい形で「進行確認」に似た現象が再発しました。今回はその原因究明の記録です。
1. 何が起きたのか
授業開始後、AIは正しく第1問を出題しました。ところがその後、AIの応答がこんな内容に変わっていったのです。
そうそう、そのまま「私はうれしい」って状況だよね！例えば、友達と楽しく過ごしたときとか、うれしいニュースを聞いたときにピッタリ！じゃあ、次の単語もいってみよう！
一見、丁寧な解説のようですが、よく見ると肝心の「次の問題」がどこにもありません。 「次の単語もいってみよう！」という予告だけで応答が終わっており、これまで何度も直してきた「進行確認・進行予告だけで終わる」というパターンが、また別の形で顔を出していました。
2. これは「開始確認」なのか
まず疑ったのは、これまでのTeacherSystemに書いていた「開始確認の禁止」に抜け漏れがあったのかどうかです。ChatGPT自身に確認したところ、興味深い分析が返ってきました。
ご指摘の文は、厳密には「授業を始めるかどうか」の開始確認ではありません。ただし、「じゃあ、次の単語もいってみよう！」は、次の問題を実際に出さず、生徒に進行の合図を求めるような流れになっています。そのため、意図としては「進行確認」に近く、TeacherSystemの一問一答ルールに反しています。
つまり、「開始確認」と「授業中の進行確認・進行予告」は、似ているようで別のルールとして扱う必要があった、ということです。これまでのプロンプトには「準備はいい？」のような開始確認の禁止表現は明記していましたが、「次の単語もいってみよう！」のような授業の途中で起きる進行予告への備えが手薄でした。
3. さらに深掘り：本当の引き金は「音声入力」だった
もう一段階、原因を掘り下げてみました。実は、この現象が起きる直前、子どもが音声モードで「もしもし。」と発話していたことがわかっていました。これが引き金になっていないか、AI自身に確認してみたところ、次のような分析が返ってきました。
かなり可能性が高いです。今回の流れを見ると、「授業開始」→ AIが第1問を出題（正常）→ 音声で「もしもし。」→ これを問題の回答ではなく、会話開始・雑談・ロールプレイと解釈 → その後の応答が、家庭教師モードよりも通常チャット寄りになった、という流れになっています。
「もしもし」「はい」「うん」「えっと」といった短い音声特有の発話は、LLMにとって「授業が始まった」というより「普通の会話が始まった」というシグナルとして扱われやすい、という指摘です。テキストで淡々とやり取りしているときには起きにくく、音声ならではの相槌や言い直しが、AIの解釈をずらしてしまったと考えられます。
4. これまでのプロンプトの、どこが手薄だったか
これまでのTeacherSystemには「授業開始したら開始確認禁止」というルールはありました。しかし、「音声の雑談的な発話が入っても、授業モードを維持し続ける」という規定がありませんでした。 一度雑談的な文脈に流れてしまうと、そこから「進行確認せず淡々と問題を出し続ける」という本来のルールに戻ってくる保証がなかった、ということです。
5. まとめ：テキストでは見えなかった、音声特有の弱点
これまでの不具合は、主にテキストでのやり取りを想定した中で見つかったものでした。今回のケースは、音声モードという、これまで想定しきれていなかった入力経路から生まれた、新しいタイプの不具合です。
「もしもし」という、人間同士なら当たり前の相槌が、AIとの対話ではモードを崩す引き金になり得る——これは、音声でAI家庭教師を使う家庭にとって、地味だけれど見逃せない落とし穴だと思います。
この分析を踏まえて、TeacherSystemに「授業モード維持」という新しい章を追加しました。具体的な追加内容は、次の記事で公開します。
これまでの試行錯誤の全体像は、【完全ガイド】塾なしで神奈川県公立高校に合格するためのAI活用法にまとめています。
コメント