ChatGPT、Claude3、Geminiの実力を検証！文章・画像認識・プログラミング能力の違いは？

ChatGPTの生成結果は以下の通りです。

一見丁寧な文書に見えますが、一般的にメール文章では「拝啓、敬具」などの頭語、結語は使いません。また、文頭に取引先の会社名や担当者名が記載されていないことから、修正しないと非常識と捉えられる可能性があります。

Claude3の生成結果は以下の通りです。

ChatGPTと比較すると、実用的なメール文章が生成されました。しかし、文頭に「拝啓」がないにもかかわらず、文末に「敬具」だけが記載されています。そもそもビジネスメールで使用しないだけでなく、「敬具」は「拝啓」とセットで使うため、単体で使用するのは適切ではありません。

ChatGPTよりも日本語生成能力が高いと言われるClaude3ですが、細かい点は修正が必要な箇所もあるようです。

Geminiの生成結果は以下の通りです。

Geminiは、Claude3と似た内容の文章が生成されましたが、プロンプトで入力した「IT企業」の内容は反映されていません。ChatGPTやClaude3と同様に、ビジネスメールでは原則的に不要とされる「拝啓、敬具」を使用しています。

ChatGPTよりも実用的なものの、Claude3よりもやや劣るという結果となりました。

続いて、各ツールに以下のスパイスカレーの画像を読み込ませ、テキストで内容を説明するようにプロンプトを入力しました。

（引用：写真AC）

ChatGPTの生成結果は以下の通りです。

写真中央の料理の内容や、周囲に配置されたスパイスの内容が正確に説明されています。「美しく盛り付けられた」や、「インド料理の豊かさと多様性を美しくかつ食欲をそそる形で表現」など、料理を表現する描写も印象的です。

Claude3の生成結果は以下の通りです。

写真がスパイスカレーであることは認識していますが、プレートにのっている卵が説明されておらず、ChatGPTと比較して詳細な説明はされていません。

また、プレートの周囲に「新鮮な野菜（レタス、キュウリ）が置かれています」とありますが、レタスとキュウリは配置されておらず、正しく認識していないことがわかります。

画像認識においては、Claude3よりもChatGPTの方が優秀であることがわかりました。

Geminiの生成結果は以下の通りです。

画面中央の料理がカレーであると認識していますが、具材についての詳細な説明はありません。また、ソースのひとつを「唐揚げ」と勘違いしているようです。

プレートの周囲に配置された食材がスパイスであることは認識していますが、画面左上に3つのスパイスが配置されているものの、「カレーのルーとは別に、4つの小さな白いボウルに入ったスパイスがあります」と、4つだと誤認識しています。

Claude3と同程度の結果となり、ChatGPTが最も高い画像認識能力があることがわかりました。

最後に、プログラミング能力の比較をしてみましょう。Pythonコードを使ってブロック崩しゲームを作成するため、以下のプロンプトを各ツールに入力しました。

各ツールの生成結果を見てみましょう。

ChatGPTでは、以下のような回答が得られました。

実際にプログラムを動かした画面は以下の通りです。

シンプルな見た目のブロック崩しゲームが完成しました。ボールを打ち返すバーはキーボードのカーソルキーで動き、ゲームオーバーになるとプログラムが終了します。コードやゲーム性に不足があるとは感じられません。

ボールの速度やブロックの量は、プロンプトで指示すればコードが修正されます。

続いて、Claude3の生成結果を見てみましょう。

2024年7月時点では、画面左側に質問の回答が、右側にPythonコードが生成されます。ChatGPTではコードを確認するために画面をスクロールする必要があるため、Claude3の方がコードの改変や修正時の視認性が良く感じました。

コードを実行した画面は以下の通りです。

ChatGPTよりもカラフルなブロックが配置され、バーはカーソルキーではなくマウスで操作するゲームが完成しました。

ただし、マウスでバーが動くことが優秀という訳ではなく、ChatGPTでもコード生成後に「バーをマウスで操作するシステムに変更して」と指示すればコードが修正されます。

最後に、Geminiの生成結果を見てみましょう。

ChatGPTやClaude3と比較して大きな違いは見られません。実際にゲームを実行した画面は以下の通りです。

ChatGPTと同じように、カーソルキーでバーを操作するシンプルなゲームが作成できました。しかし、ボールの速度が速すぎて開始直後にゲームオーバーになり、バーが動く速度も速すぎました。また、バーが動く速度がゲームの途中で遅くなるという不具合も発生しています。

ゲームをプレイするためにはコードを修正する必要があるため、プログラミング能力はChatGPT、Claude3と比較してやや劣るという結果になりました。

ChatGPTとClaude3、Geminiの生成能力の違いを、文章作成能力、画像認識能力、プログラミング能力で比較しました。

文章作成能力ではClaude3が比較的優秀で、GeminiとChatGPTにはやや課題が残る結果に。画像認識能力についてはChatGPTが圧倒的で、Claude3とGeminiは同程度の能力があることがわかりました。

プログラミング能力についてはClaude3がChatGPTよりもやや優れた結果を見せ、Geminiはコードの修正が必要だという結果になりました。

今回の比較を参考に、ぜひ自身のビジネスに役立てていただければ幸いです。