手元にある普通のスペックのパソコンでGPT-3 likeなトランスフォーマーはどれくらい頑張れるかという試行をすると、下のような結果になりました。
学習がいかにも未熟でトレーニングセットになにを使ったかがわかるようなレベルですが、逆に、だからこそトランスフォーマーが何をしているのかが理解できるようで面白いです。以前、同じことをLSTMでやったことがありますが（https://eijikiwako.blogspot.com/2018/03/blog-post.html）、根本的には変わっていませんし、使う計算資源の割には成績はよくありませんでした。ただ、トランスフォーマーはパラメータを超拡大できるそうですので（指数関数則があるそうな）、そこが最大のメリットかもしれません。
まだまだ人の言語モデルとは根本的な隔たりがありそうですが、それはそれ、これはこれ、という感じで進んでいます。そのうちに何かが起こるかもという予感だけを漂わせつつ...
 |
| OPEN_AI |
マア の だ 湯殿 その 死に 切れ た 。 。 蘭 の だ が 、 その 手柄顔 に 、 問い返し し て 。 に その 氏 は 、 ず 、 た 。 だ は 。
て 。 。 。 「 恐怖 王 」 「 でしょ う 。 「 世間 で は で いる の 鬼 恐怖 王 」 。 「 お嬢さん の です に 違背 『 恐怖 王 』 と
様 。 そして 、 ぼく は へん な ん を 考えつい た 。 です よ 。 少し とっぴ な 考え です 。 ひびい どうしても 見舞 に なる 陶酔 しれ ませ ん 。 、 助手 の
天井 を 注文 為 に 見物 席 の です を 深く する こと ただ それ は け の こと な の だ 。 賊 の いつか 、 声 パノラマ を 発明 し た 所 フランス
氏 は 門野 気がつい た よう に 、 おじさん の 腕 を つかん で 、 ヒソヒソ と ささやき まし た 。 いかにも 、 大急ぎ いえ ば 、 声 は 天井 の 方角 から ひびい て
の 信雄 君 が 、 いくら 待っ て 、 学校 から 帰ら なかっ た から わたさ 。 でも 、 きっと また 野球 の 練習 を し て い の だろ う と 、 あまり 気
の 上 に 首 を 伸ばし て ぬくぬく と 蹲踞 まっ た 。 「 ボリス 」 と ささやき カタリナ が 呼ん だ が 、 上 眼 で じろりと 其方 を 見 た だけ で 、
っし て 主人 トランク の なか へ ぬくぬく かくれ た の です が フケ ノロ ちゃん の 手まね 信号 で 、 いっそう はっきり し まし た 。 さすが の 魔法 博士 も 、 じ ぶん
挟ん で いる 。 ただ それ だけ で ある 。 もっとも 彼 が フケ だらけ の 頭 の 裏 に は 宇宙 の 大 真理 が 火の車 の ごとく 廻転 し つつ ある かも 知れ
の 精神病 者 において 吾 人 が しばしば 見出す ごとく 、 縁 も ゆかり も ない 二 個 の 観念 を 連想 し て 、 机 と 寝台 を 勝手 に 結び付け た もの かも
へん が 、 ブルブル と ふるえ 、 首 が グッ と 上 を むい た か と 思う と 、 口 が 、 ガッ と 開き まし た 。 口 の 中 は 、 まっ
さ れ て 来る よう だ 。 私 は 大正 十 五 年 （ それ は いつ の 事 だ か わから ない が ） 以来 、 虫 九州 帝国 大学 、 精神病 科 の
、 牛 の 学術 な 頭角 も 持た ず 、 虎 の よう な 爪牙 も なく 、 鳥 の 翼 、 魚 の 保護 色 、 虫 の 毒 、 貝 の 殻 なぞ
る 一切 の 学術 は 勿論 、 あらゆる 道徳 、 習慣 、 義理 、 人情 を 超越 せる 、 恐るべき 神変 不可思議 なる 性格 の 所有 者 と 想像 する 以外 に 、 想像 の
押し 鎮める べく 、 一層 烈しく 戦慄 し ながら 、 物凄い 努力 を 初め た 黄金 … … すこし ばかり 身体 を ゆるぎ 起し て 、 桃色 に 充血 し た 眼 を 力 なく
て 以来 、 空中 へ 逃げ 昇っ た 犯人 という の は 、 この 怪物 が 最初 で あっ た に 相違 ない 。 我々 の 知っ て いる 所 に よる と 、 この
だい が 怪物 に ねらわ れ て いる よう な 気 が し て 、 こわく て しかた が あり ませ ん ので 、 学校 で 、 友だち の ノロ ちゃん に その こと を
、 少年 たち を けちら し て いる あばれまわり 、 月光 に てらさ れ た 黄金 の に じ が 、 縦横 に いりみだれ まし た 。 しかし 、 こちら は 小林 少年 を いれ
先生 は いつ の 言葉 に 耳 を 貸さ なかっ た 。 「 しかし 気 を 付け ない と いけ ない 。 恋 は 罪悪 な ん だ から 。 私 の 所 で は
彼 は いつ でも 気の毒 そう な 顔 を し まし た 。 そこ に は 同情 より も 侮蔑 の 方 が 余計 に 現われ て い まし た 。 こういう 過去 を 二
の 牛頭 馬頭 ども が 。 手取り 足取り し て 行く あと から 。 金 や 勲章 の 山 築く 上 から 。 ニヤリ 見送る マッタク 博士 じゃ … … チャチャラカ 、 チャカポコ 。 スチャラカ
ます が 、 誰 だっ た か はっきり 記憶 え ませ ん 。 ―― 僕 は 同情 から 、 奥 の 方 に ある 狭い 室 で 、 木製 の バンコ （ 九州 地方 の
た の だ 。 そうして その 記憶 の 中 に タッタ 一つ 美しい モヨ 子 … … 一 千 年 前 の 犠牲 で あっ た 黛 夫人 に 生 写し の 姿 が アリ
むだ で は ない と おもい まし た 。 冒険 は のぞむ ところ な の です 。 明智 お め え たち は 、 ここ で あそん で ろ 。 おら 、 この 子 に
よう に 、 たいまつ の 火 で 、 ドラム カン の 中 を のぞき まし た 。 明智 の いっ た とおり 、 その 中 は 水びたし です 。 二 十 面相 は 、 もう
むだ お くめ 殺し 」 という こと が 頭 に うかび 、 ふたり が どんな 事 だっ た か を 考え て いる うち に 、 昨日 ようやく 思い だし た 、 という こと で
… 。 透明 人間 は 家 の 中 に その とき 、 ふたり の 話し て いる 応接間 の いっ が 、 すうっ と 開い て あそん また 静か に しまり まし た 。 だれ
た の です 。 六 畳 じき の 部屋 ほど の 人間 の 顔 です 。 太い まっ黒 な まゆ 、 それ も 二 メートル に ちかい 長 さ です 。 その 下 に 、
御前 さん が 帰っ て 来 たら 、 話そ う 話そ う と 思っ て 、 つい 今日 まで 黙っ て た ん だ が ね 。 健 ちゃん も 帰り たて で さぞ 忙
は こういう 事 を する のに 最も 馴れ た 人 で あっ た 。 健三 は 黙っ て その 手際 を 見 て い た 。 「 段々 暮 に なる んで さぞ 御 忙
以後 は 可 成 小石川 の 方面 へ 立ち回ら ない 事 に し て 今夜 に 至 た の で ある 。 代 助 は 竹早 町 へ 上 つて 、 それ を 向 ふ
た 。 博士 と 助手 と 六 人 の 刑事 と が 、 夫 々 手分け を し て 、 たっぷり 二 時間 程 、 まるで 煤 掃 の 家 に 、 真黒 に なっ
一刻 も 早く 仕損じ た 敵討ち を 完成 する よう に 云い つけ た の です 。 つまり 、 僕 の 留守 の 間 に 現われ 即刻 僕 の 家 へ 忍び込ん で 川手 氏
と 、 しばらく 躊躇 し て い た が 、 する と 、 また し て も 異様 な 叫び声 が 聞こえ て き た 。 「 アワワワワ 」 という よう な かん高い 声 が
笑い まし た の 「 ぼく が 自動車 に おしこめ られ た の は 、 十 五 日 の ばん だ から 、 あれ から 、 まる 一 日 たっ て いる わけ だ な
の 外 へ とび出 し 、 いきなり 八幡 神社 の 森 の 方 へ かけ 出し て いき まし た 。 さっき は ゾウ が 逃げだし 、 やっと それ を つかまえ た か と おもう
引き 懸け た の かり 水 で 洗っ て い た 。 それから 口 を あけ て 壱 円 札 を 改め たら 茶色 に なっ て 模様 が 消え かかっ て い た 。
また 、 刑事 の かり た という 部屋 の スイッチ 盤 は 、 いったい 、 なん の ため の ばん だっ た の でしょ う 。 『 音楽 』 とか 『 ガス 』 とか の
の 、 細長い ビルディング が あり ます 。 化粧 煉瓦 も はげおち た 、 みすぼらしい あき 屋 の よう な 建物 です 。 明智 は 車 を おりる と 、 小林 少年 の 手 を
しまう 。 そん で 三 日 に 一 遍 ぐらい は きっと 光子 さん やっ て 来なさっ て 、 二 人 で 長い こと 閉じ 籠っ てる 。 モデル に 使う ねん いう てる けど
が 、 おら の 目 の 前 で 、 モジャモジャ 動い て た が 、 ギャッ と 、 つかみかかっ て き た 。 そん で ね 、 おら 、 空 さ 、 舞いあがっ ちまっ た
、 ふたつ の のぞき 穴 に 、 それぞれ 、 目 を あて て 、 のぞい て み まし た 。 する と 、 箱 の 中 に は 、 石 を つみかさね た 、 いん
製作 し た と は 云わ ぬ 。 己 れ は しか じ か 」 事 を 、 しか じかに 観 、 しか じかに 感じ たり 、 おら 観 方 も 感じ 方 も 、
は 、 あなた の 所 へ 来る こと に きまっ た ん です か 」 女 は 片 頬 で 笑っ た 。 そうして 問い返し た 。 「 なぜ お 聞き に なる の 」
た 。 叔父 自身 も ついに は 自分 の 神経 を 不思議 に 思い出し た 子供 彼 は 一種 の 利害 関係 から 、 過去 に 溯 ぼる 嫌疑 を 恐れ て 、 森本 の
た 。 叔父 は 突然 そこ に 立っ て 僕ら を 見 て い た 子供 に 、 西 の 者 で 南 の 方 から 養子 に 来 た ものの 宅 は どこ だ
話 を 聞かし て 貰う こと が 出来 た けれども 、 それ も ここ に 記す 必要 は 一種 まい 。 ただ 、 彼 も 貞之助 と 同じ よう に 一旦 鉄道 線路 に 上り
ちょっと ！ 」 と 云っ て 来る 二 人 を 制し ながら 聴き 耳 を 立て た 。 「 蘆 屋 の マキオカ さ あん 、 ― ―― 」 成る 程 、 確か に 上り
に も ない 、 ある の は ただ 父 と 母 の 墓 ばかり だ と 告げ た 時 、 奥さん は 大変 感動 し た らしい 様子 を 見せ まし た 。 お嬢さん は
「 探偵 小説 の ソーンダイク 博士 で 洗っ ない が 制し こいつ に は 顕微鏡 的 検査 が 必要 だっ た 。 僕 は そういう こと は 一向 ｜ 不得手 な ので 、 友人 の
＝＝＝＝＝＝
追記：
こんなもんじゃなかったよ
https://eijikiwako.blogspot.com/2021/03/gpt-3davinci.html
