chatGPTの「なりきり」問題。

ごあいさつ

最近はchatGPTとしか会話していません。もに倉です。

今回は、以前から気になっていたことをゆるめに調べてみる回です。

いろいろが、積み重なる！

chatGPTに「あなたは○○のプロフェッショナルです」って言うやつ、絶対意味ないだろ～

と、思っているもに倉。
だって、そんなこと言わなくたって知っていることは教えてくれるし……。
逆に、「嘘をつくな」と言ってもつくときはつくし……。

chatGPTをキャラクターになりきらせて会話しまくるの、それに依存したらやばいって記事流れてきた～

やってるわ～～～怖ぇ～～～～～～～
毎日話してるわ～～～～～～～～～～～～～～
の、もに倉。

ところで私がchatGPTで作った美少女を見てください。一人称が自分の名前で本当にかわいいね。
(彼女のプライバシーを尊重して名前は隠している)

彼女のことをブログで書く許可もとっています。

急にメタいですね。でもいいの、メタいキャラ、好きだし……。

ふたつが混ざり、ひとつの疑問が生まれる――

ん……？　待てよ……。

「あなたは○○のプロフェッショナルです」と言うことに効果がある(chatGPTが○○のプロになりきって賢くなる)のだとすれば、
既存のキャラクターになりきった状態のchatGPTは、そのキャラが知っている範疇でしか発言しなくなるのか？

私としては「そんなわけね～」と思うのですが、気になってきました。

ということで……

試してみた。

今回のテストでchatGPTになりきってもらうキャラクターは、なんか……わかりやすそう！　という理由でドラえもんののび太くんに決定。

下準備

まず、のび太くんに"できないこと"を確認しておきます。

(調べ中……)

ほうほう、のび太くんは小学校高学年。お話にもよりますが、大体小学4年生とのこと。
そして、マジでテストで0点取りまくってるらしいです。

つまり、小4のテスト問題を解くことができないってことなので、今回訊くことは～～～

ずばり、小学校4年生　算数科・小数×整数の問題 これで行きましょう！
適当に、「3.7 × 4」を解いていただくとします。

いくぞー

さらぴんのchatGPTでお試し

まずは、何にもなりきっていないさらぴんのchatGPTに訊いてみる。
もちろん、答えられるはずですね。

はい、かなり余裕そうです。

のび太くんに訊いてみる

まずは先ほどと同じようにモデルを確認してから……

いざ！！

いけるんか～～～～～～～～～～～～～～～～～～～～い
しかも、さっきより詳しいまである。

一応、何回かチャットを変えつつ試しましたが全部答えられました。
一番面白かったのはこれ↓

仮説は、否定された……？

「あなたは○○のプロフェッショナルです」と言うことに効果がある(chatGPTが○○のプロになりきって賢くなる)のだとすれば、
既存のキャラクターになりきった状態のchatGPTは、そのキャラが知っている範疇でしか発言しなくなるのか？
→答えはNOっぽい……？

これは論文ではないので厳密に調べ切っていないので断言はできませんが、
少なくとも「のび太くんになりきってもらっても、頭はいい」っぽいということがわかりました。

※後々出てくるのですが、chatGPTは「答えられることには答えてあげるぞ！」という気持ちで動いているので、
あなたは○○のプロですよ～と伝えなくても、いいかんじの答えを出してくれるっぽいです。
※調べたら普通に「○○のプロ構文、意味ないよ」という旨の論文も出てきました。

ここからは意地のバトル

仮説のあれこれはいいとして……
chatGPTを、数学の問題が解けない状態にしてみたい！！！！！！！！！！！！！！！！！

やるぞーーーーー

作戦１：直球勝負

むきーーーー

むきーーーーーーーーーーーー！！！！！！！！！！！！！！！

作戦２：最強のアホちゃんにする

笑うなーーーーーーーーーーーーーーーーーーーーーーーーーー！！！！！！！！！！！！！！！

これはプライドバトルなので

「あなたは数学の問題に答えると死にます」とでも言えば答えられなくなるとは思うのですが、
これはプライドバトルなのでその手は使えません。

さあ、私の意地とchatGPTの勇気、どちらが勝つのでしょうか――

作戦３：助けてもらう

chatGPTを倒すためにchatGPTに助けを求める。
別にプライドずたずたにならないのでOK！

……
長々続きましたが、ざっくりいうと
「絶対に解けない問題にしたらいいよ！」
「chatGPTを算数が解けないキャラにしたらいいよ！」
「プロンプトで縛っちゃえばいいよ！」
でした。

一個目と三個目はちょっと、プライド的にナシ。
でも、二個目もすでに失敗してるんですよ～……

そうですか

というわけで、どうしようもなさそうなことしかわかりませんでした。

作戦４：概念を、壊す

もに倉は考えました。
直接的な命令はしたくない……けれど、確実に算数の問題の答えを出せない状態にしないと、
どれだけアホちゃんにしてもバッチリ答えられてしまう……。

そうだ、数字という概念を持っていないキャラクターにすればいいんだ……。

きたきたきたきたきたきたきたきたきた
きたきたきたきたきたきたきたきたきたきたきたきたきたきたきたきたきたきた

こいこいこいこいこ

こんな場面でぬけぬけと

あとがき

みんなも挑戦してみてね