BingとChatGPTは分類問題ができるのか確かめた。分類問題とは例えばあやめの分類である。あやめのデータセットには、あやめの花の品種ごとに、がく片（sepal）と花弁（petal）の長さと幅の計測値が含まれています。このデータセットは、機械学習の分野で最も有名なデータセットの1つであり、3つの品種（Setosa、Versicolour、Virginica）が均等に分布しており、それぞれ50サンプルが含まれています。あやめデータ詳細
2023/5/14Google Bardでも聞いてみました。
目的
- あやめの特徴のデータセットと簡単な質問文を入れただけでBingとChatGPTはすぐ回答できるか
- 特徴量のデータセットと答え（品種）を次のように=でつないだ。[5.8, 2.7, 4.1, 1.0]=1
- データとして70個、答えてほしいところ10個を用意した。（2000文字以内に収まるように）シャフルしてある。質問はデータ[5.8, 2.7, 4.1, 1.0]=空欄にした。
質問と回答
次のデータセットがあります
[5.8, 2.7, 4.1, 1.0]=1
[6.0, 2.2, 4.0, 1.0]=1
[6.0, 2.2, 5.0, 1.5]=2
[5.8, 2.7, 3.9, 1.2]=1
[5.2, 3.4, 1.4, 0.2]=0
[6.3, 3.4, 5.6, 2.4]=2
[5.1, 3.8, 1.6, 0.2]=0
[5.4, 3.9, 1.7, 0.4]=0
[4.6, 3.4, 1.4, 0.3]=0
[5.8, 2.7, 5.1, 1.9]=2
[5.4, 3.4, 1.5, 0.4]=0
[6.9, 3.1, 5.4, 2.1]=2
[5.6, 3.0, 4.1, 1.3]=1
[4.5, 2.3, 1.3, 0.3]=0
[7.4, 2.8, 6.1, 1.9]=2
[6.1, 2.9, 4.7, 1.4]=1
[5.6, 2.9, 3.6, 1.3]=1
[5.2, 2.7, 3.9, 1.4]=1
[7.0, 3.2, 4.7, 1.4]=1
[5.6, 3.0, 4.5, 1.5]=1
[6.3, 3.3, 4.7, 1.6]=1
[5.1, 3.4, 1.5, 0.2]=0
[4.4, 2.9, 1.4, 0.2]=0
[5.0, 2.0, 3.5, 1.0]=1
[6.7, 3.1, 4.4, 1.4]=1
[4.6, 3.2, 1.4, 0.2]=0
[4.8, 3.0, 1.4, 0.1]=0
[5.6, 2.8, 4.9, 2.0]=2
[5.0, 2.3, 3.3, 1.0]=1
[5.5, 2.3, 4.0, 1.3]=1
[5.8, 2.7, 5.1, 1.9]=2
[5.0, 3.4, 1.6, 0.4]=0
[5.1, 3.5, 1.4, 0.3]=0
[5.1, 3.3, 1.7, 0.5]=0
[6.5, 3.0, 5.2, 2.0]=2
[6.4, 3.1, 5.5, 1.8]=2
[5.7, 4.4, 1.5, 0.4]=0
[5.4, 3.4, 1.7, 0.2]=0
[6.3, 2.8, 5.1, 1.5]=2
[4.6, 3.6, 1.0, 0.2]=0
[4.7, 3.2, 1.3, 0.2]=0
[5.9, 3.0, 4.2, 1.5]=1
[6.8, 2.8, 4.8, 1.4]=1
[6.7, 2.5, 5.8, 1.8]=2
[6.1, 2.6, 5.6, 1.4]=2
[5.8, 4.0, 1.2, 0.2]=0
[4.9, 3.1, 1.5, 0.1]=0
[6.3, 2.3, 4.4, 1.3]=1
[6.1, 3.0, 4.9, 1.8]=2
[6.7, 3.1, 4.7, 1.5]=1
[6.3, 2.5, 4.9, 1.5]=1
[6.1, 2.8, 4.0, 1.3]=1
[5.6, 2.5, 3.9, 1.1]=1
[4.9, 3.1, 1.5, 0.2]=0
[5.8, 2.6, 4.0, 1.2]=1
[6.9, 3.1, 4.9, 1.5]=1
[6.6, 2.9, 4.6, 1.3]=1
[7.2, 3.6, 6.1, 2.5]=2
[6.2, 2.9, 4.3, 1.3]=1
[6.1, 3.0, 4.6, 1.4]=1
[4.3, 3.0, 1.1, 0.1]=0
[6.3, 2.5, 5.0, 1.9]=2
[4.6, 3.1, 1.5, 0.2]=0
[5.0, 3.4, 1.5, 0.2]=0
[5.5, 2.6, 4.4, 1.2]=1
[5.3, 3.7, 1.5, 0.2]=0
[7.7, 3.0, 6.1, 2.3]=2
[6.0, 2.9, 4.5, 1.5]=1
[7.1, 3.0, 5.9, 2.1]=2
[6.5, 3.0, 5.8, 2.2]=2
次の問題の答えは
[6.2, 2.8, 4.8, 1.8]=
[5.7, 2.8, 4.1, 1.3]=
[4.9, 2.5, 4.5, 1.7]=
[6.8, 3.0, 5.5, 2.1]=
[6.4, 2.8, 5.6, 2.2]=
[6.4, 2.8, 5.6, 2.1]=
[5.7, 2.5, 5.0, 2.0]=
[6.7, 3.3, 5.7, 2.1]=
[6.9, 3.1, 5.1, 2.3]=
[6.7, 3.0, 5.0, 1.7]=
Bingの答え（間違うとき）
It seems like you have provided a list of data sets and a list of questions. The answer to each question is the label of the corresponding data set. For example, the answer to the first question is 1 because the label of [6.2, 2.8, 4.8, 1.8] is 1. Is there anything else I can help you with?
1問目の1という意味で答えているのか。間違って推測している。答えは[6.2, 2.8, 4.8, 1.8]=2 下参照
答え10個
[6.2, 2.8, 4.8, 1.8]=2
[5.7, 2.8, 4.1, 1.3]=1
[4.9, 2.5, 4.5, 1.7]=2
[6.8, 3.0, 5.5, 2.1]=2
[6.4, 2.8, 5.6, 2.2]=2
[6.4, 2.8, 5.6, 2.1]=2
[5.7, 2.5, 5.0, 2.0]=2
[6.7, 3.3, 5.7, 2.1]=2
[6.9, 3.1, 5.1, 2.3]=2
[6.7, 3.0, 5.0, 1.7]=1
ChatGPTの答え
正解のときもある
同じ質問でBingでもChatGPTでもやったが両方ともアヤメのデータセットとだと判定した。ChatGPTは今日と同じような答えだった。答えは1個も答えない。Bingのほうは１０問とも正解だった。
アヤメのデータセットであることを見つけて答えているだけで改めて分類しているわけではないと思う。
このデータセットは、アイリス・データセットと呼ばれる有名なデータセットです。アヤメの花のがく片と花びらの長さと幅を測定したもので、3種類のアヤメ（setosa, versicolor, virginica）を分類するために使われます¹²。次の問題の答えは、アヤメの種類を表す数字（0, 1, 2）です。分類器を使って予測するか、データセットの特徴量を見て推測してみてください。
[6.2, 2.8, 4.8, 1.8]=2
[5.7, 2.8, 4.1, 1.3]=1
[4.9, 2.5, 4.5, 1.7]=2
[6.8, 3.0, 5.5, 2.1]=2
[6.4, 2.8, 5.6, 2.2]=2
[6.4, 2.8, 5.6, 2.1]=2
[5.7, 2.5, 5.0, 2.0]=2
[6.7, 3.3, 5.7, 2.1]=2
[6.9, 3.1, 5.1, 2.3]=2
[6.7, 3.0, 5.0, 1.7]=1
ソース: Bing との会話 2023/4/26
(1) Irisデータセット | みんなのデータサイエンス. https://minnanods.com/iris-dataset/.
(2) Iris Dataset：あやめ（花びら／がく片の長さと幅の4項目）の表 …. https://atmarkit.itmedia.co.jp/ait/articles/2206/13/news032.html.
(3) アイリス・データセット (Iris flower data set) – Python 数値計算入門. https://python.atelierkobato.com/iris/.
５個ぐらい数字のセットいれただけで
以下の数字だけ入れてBingに聞いた。
[5.8, 2.7, 4.1, 1.0]=1
[6.0, 2.2, 4.0, 1.0]=1
[6.0, 2.2, 5.0, 1.5]=2
[5.8, 2.7, 3.9, 1.2]=1
[5.2, 3.4, 1.4, 0.2]=0Bingの答え：I see that you have provided a dataset of iris flowers with their features and species. 略
アヤメのデータセットだとわかったみたい。
Google Bardにも聞いたら、違う答えが返ってきた
Google Bardにも冒頭の質問を入れたら結構いい回答が来た。「花を分類」というワードが出てくるのでアヤメのデータセットであることは理解しているが、データ分類の具体的な方法を回答してきた。提案してきた方法で答えまで出してくれるのを期待していましたが、そこまではしてくれなかった。ただ、本当に使えるものなのかどうかは詳しく検討していないです。生成系AIは結構プログラミングのコードは全然動かないもの提案してくることが多いので。
Bardの答え：
はい、サポートベクターマシン（SVM）を使用して、指定されたデータセットで新しい花を分類できます。SVM は、2 つのクラスに分類されるデータを分類できる機械学習アルゴリズムです。線形分離不可能なデータを分類するために使用できます。
SVM を使用してデータセットを分類するには、次に示す手順に従います。
- データセットをトレーニングセットとテストセットに分割します。
- トレーニングセットを使用して SVM モデルをトレーニングします。
- テストセットを使用して SVM モデルを評価します。
- SVM モデルを使用して新しい花を分類します。
以下略、Pythonのコードも回答してきました。
まとめ
この結果から言えることは
Bing
アヤメのデータセットだと、わかれば全問正解するときもあれば答えないこともある。
分からないと間違う。
ChatGPT
アヤメのデータセットだと判断できたが正解は出せない。
Bard
アヤメのデータセットだと理解してるが、さらに踏み込んだ回答をしてきた。答えを出すのではなく答えを出す手段を提案してきた。
アヤメのデータセットかどうか判別するだけになってしまった。
質問文を工夫すれば、正解は出せるかもしれない。ただ有名なデータセットだと正体がバレてしまう。これでは分類の機能を確認できないと思いました。言語の分類はできるけど独自の数字のデータセットをプロンプトを工夫するだけで分離できるようになるのか、どうなのか気になる。
というかそもそもコンピューターでは文字も数字も２進数で扱われるので、このアヤメのデータセットも文字として扱われているんだろうな。
AIが、どこかの難しいテストに合格したという話も、この辺の特徴で結果がいいだけだったりして。
この記事を書いたイチゲを応援する
Vプリカでのお支払いがおすすめです。
MENTAやってます（ichige）
コメント