ChatGPTのコツ

〈精度〉ChatGPTの計算の精度を3倍にするコツ

2024年2月17日

前提条件

  • ChatGPT3.5(無料版)を使用しています。
  • 敬意を込めて「ChatGPTさん」と記載している部分もあります。
  • どうやったら計算の精度を上げることができるの?
  • 意図した答えが得られない(なんで?)

という人に向けて、「ChatGPTの計算の精度を3倍にするコツ」をまとめてみました。

この記事を読むとどうなる?

  1. 計算の精度を上げるコツが分かる
  2. 意図した答えを得るためのコツが分かる

初心者は、まずはこれから記載する「ChatGPTの計算の精度を3倍にするコツ」を読んで、おすすめのプロンプトの書き方(ステップバイステップで!)をまねしちゃってください。

なぜかというと、ChatGPTに「ステップバイステップで!」とお願いしたら計算の精度が約3倍に増えることが確認できたからです。

プロンプトを改善することで計算の精度が上がることを確認してみた

まずは結論から。

計算の精度(正解率)が、なんと3倍に増えました。

4桁×4桁の計算の正解率(%)

こんな感じで確認してみました

次のプロンプトを使って、丁寧/ゆっくり考えて/ステップバイステップで の3つのパターンで、4桁×4桁の計算を各50回実施(計150回)し、出力された計算結果の正解率を比較してみました。

<丁寧>
1234×5678の計算結果を出力していただけますでしょうか。

<ゆっくり考えて>・・・これで依頼すると精度が向上するという情報があったので。
1234×5678の計算結果を出力していただけますでしょうか。
ゆっくり考えてください。

<ステップバイステップで考えて>
1234×5678の計算結果を出力してください。
正しい結果を得るために、ステップバイステップで考えてください。

「丁寧」に対して「ステップバイステップ」の正解率は、約3倍に増えました

ただし、正解率は100%にはならなかったですね。

4桁×4桁の計算の正解率(%)

「ゆっくり考えてください」の正解率は若干向上しましたが、「ステップバイステップ」に比べるとまったくの期待外れでした。(計算には向かない(効かない)のでしょうか?)

回答例

回答例です。

1234 × 5678の計算結果は、7016652です。

間違えました。正解は「7006652」です。

1234 × 5678の計算結果は、7006652です。

正解です。

「ステップバイステップで考えて」でお願いすると、途中の計算の過程を表示してくれます。

尚、計算結果は「7006652」で合っているのですが、途中の赤枠の部分の数字が合っていないのが気になりますね。(他の出力例でも散見されました)

とんでもない回答例

「ステップバイステップ」の正解率が圧倒的によかったのですが、中にはとんでもない回答がありました。

とんでもない回答例です。

したがって、1234×5678の計算結果は22732です。

4桁×4桁の計算なのに、なんと「計算結果は22732です。」と、5桁の計算結果(桁数が減った!)になりました。(あり得ないですよね!)

「ステップバイステップ」+「ゆっくり考えて」だと精度が落ちた

念のために、「ステップバイステップ」+「ゆっくり考えて」も調査してみました。

<プロンプト>
1234×5678の計算結果を出力してください。
正しい結果を得るために、ステップバイステップで考えてください。
ゆっくり考えてください。

なんと、「ステップバイステップ」だけでお願いした正解率94%から80%に低下してしまいました。

4桁×4桁の計算の正解率(%)

「ゆっくり考えて」が邪魔をしてしまったのでしょうか?

まとめ

以上のように、初心者がChatGPTさんを利用する場合には、まずは上記の「ChatGPTの計算の精度を3倍にするコツ」を読んで、おすすめのプロンプトの書き方(ステップバイステップで!)をまねしちゃってください。

なぜかというと、実際にプロンプトの改善(ステップバイステップで!)で、計算の精度を約3倍に向上することができたからです。

ただし、ChatGPTさんはそもそも複雑な計算問題は苦手なので、計算結果の確認をすることや、他の手段を使うことも検討してくださいね。

-ChatGPTのコツ