Chain of thought 再現実験 Chain of thought の再現実験を gpt3.5 と gpt4o で行ったので結果を示す。 再現実験コード置き場 実験設定 使用するデータセット GSM8K から50問をランダムにサンプリング 使用する LLM gpt-3.5-turbo gpt-4o-2024-08-06 使用す…

考察の動機 self-consistency の手法でなぜ解答精度が CoT に比べて向上するのかを考えていたのでまず CoT についてまとめてあとで self-consistency と比較する Standard と CoT の確率モデルの違い Standard prompting と CoT prompting を確率モデルで表…