毎日テキストマイニング

180日間、毎日テキストマイニングをするブログです

2018/8/26【64日目】テキストを大量に学習させてみる

昨日からの続きです。 手元に4389件のtweetデータがありますので、とりあえず、これを読み込ませてみます。

import markovify

# Get raw text as string.
with open("all_kaiseki.txt") as f:
    text = f.read()

ten = text.replace('\"', '\n')
kaigyou = "\n".join(ten.splitlines())

# Build the model.
text_model = markovify.NewlineText(kaigyou, state_size = 1)

# Print five randomly-generated sentences
for i in range(5):
    print(text_model.make_sentence())

# Print three randomly-generated sentences of no more than 140 characters
for i in range(3):
    print(text_model.make_short_sentence(140))

実行結果。

田口 さん ちの 愛 佳 ちゃん が 誕生 日 は レッツゴー研究生 ! 公演 の 自主 練 し て 私 は NO NAME さん の 生誕 Tシャツ を 着る 事 が 出来 た の は すごい やり たい こと を 見つけ た こと ない 面白い 撮影 を やら せ て いただき ????‍♂ ️ よろしく お願い し ??? https :// t . / QTqKabVZX 6
握手会 ありがとう ござい ? 今日 は ゆい りんご と 一緒 に 頑張れ ば 滑り込め そう な ので お 早め に 来ら れる 方 ! よろしく お願い し ?! https :// t . / eEXB 2 OcC 5 d 9 q 6 C 2 Pj
みなさん 投票 は 6 月 。 日々 、 目標 や 夢 を !?← # 世界選抜総選挙 2018 最後 まで 。 頑張り ょ う ? # 道枝 咲 ちゃん と 遊園 地 デート を し ?✨ https :// t . / tGwOWupcbi
今日 は 第 10 回 AKB48 選抜 総選挙 の 投票 が 始まり た ね 。 いつ 観 に 来 て 下さい ! 大好き な イーブイ とっ ! ! ! https :// t . / 3 UweOPIQqj

別にテキスト量を増やしたからといって生成の精度が上がるわけじゃないですね。 精度を上げていきたいので、色々試してみます。

読み込む単語のサイズを変えてみる

デフォルトですと、2単語ずつ読み込んでるらしいです。これを3に変えてみます。

text_model = markovify.NewlineText(kaigyou, state_size = 3)

以下、実行結果。

もえ き ゅん の 生誕 祭 ? 是非 見 に 来 て くれ てる ー ?♡ https :// t . / 5 oEPqoBxpB
えー 私 立っ た っけ ? 笑 ありがとう 、 拡散 し て くれ て よかっ た ?? https :// t . / eqoeDye 2 aY
今日 は 会場 に # 世界選抜総選挙 ガイドブック を 作っ て くださっ た 事 が 何より 嬉しい ? みんな ニコニコ 幸せ に なり よう に ?? # 北山 さき りんご https :// t . / UALy 709 Ig 2
今日 は 、 ナゴヤ ドーム で 待つ のみ ! ! ! # めぐ レン ジャー https :// t . / DPHbaIxjYK
ぜひ 、 皆さん も ご覧 ください ? よろしく お願い し ?? https :// t . / D 7 oD 0 TJV 7 P
20 : 30 から showroom し ぅ ! ! ! ! ! ! https :// t . / XEQX 4 NL 8 bi
おい 。 笑 https :// t . / CdJsw 50 uEV
込山 チーム K 『 RESET 』 公演 を 好き ! な ファン の 方 も 沢山 い て 、 楽しかっ た で … https :// t . / N 5 qIjFt 42 V

日本語ぽくなったといいますか、もともと発信されたtweetそのものですね。 逆に1にすると日本語とはいいがたくなります。

今日 は なれ た !??‍♀ ️ ⃣ # teamK https :// t . / F 5 hzVl 1 人 で ? # テレ 東 音楽 祭 ありがとう ? https :// t . / 0 mEbtty
最後 まで 元気 〜 ? 今更 だ し た ! ❣ ️ ?? 会場 暑い ね ! 笑 また 頑張る よー ??
可愛く て くだ さり 、 素敵 な ので 見 ? 暑い 中 に 行っ て 最後 の 方 も 多分 出 れ た ! ! 嬉しい ? と かなり 正直 に … https :// t . / s 6 位 # あゆ ちゃんと えり とも 仲良し な 大好き な 機会 に 立候補 メンバー も あんまり 着 か ? 皆さん の つぼみ も メンバー が お 待た せ て ね ! ! ! ! 半年 後 に 見 て

まぁ、やはりデフォルトの2がいいのかと。。。

もう少しいろいろやりたかったですが、時間がないので、次回に繰り越します。

今日の結果

今日のAKBの呟きは88件でした。 そして、早速KH Corderが動作しなくなりました。悲しい。。。

f:id:rimt:20180829235753p:plain

'嬉しい': 19, '楽しい': 9, '暑い': 5, 'すごい': 4, '良い': 3, '多い': 3, '優しい': 3, '早い': 3, 'っぽい': 3, '珍しい': 2, '可愛い': 2, 'よい': 2, '寒い': 1, 'ない': 1, '長い': 1, 'いたい': 1, '短い': 1, '宜しい': 1, '有難い': 1, '暖かい': 1, 'よろしい': 1, 'かわいい': 1, 'かっこいい': 1, '遅い': 1, '眩しい': 1, 'いい': 1, 'かっこよい': 1, '佳い': 1})
'アクシュカイ': 52, '部': 44, '今日': 34, '嬉しい': 19, '方': 17, 'さん': 14, '時': 12, '券': 11, 'たくさん': 11, 'ん': 11, 'レーン': 11, '日': 10, '時間': 10, '皆さん': 10, '楽しい': 9, '当日': 9, 'みんな': 9, 
'アクシュカイ': 52, 'する': 51, '部': 44, '今日': 34, '来る': 24, 'くださる': 20, '嬉しい': 19, '方': 17, 'さん': 14, '時': 12, 'れる': 12, '券': 11, 'たくさん': 11, 'ん': 11, 'レーン': 11, 'てる': 11, '日': 10, '時間': 10, '皆さん': 10, 'くれる': 10, '推す': 10, 'できる': 10, '楽しい': 9, '当日': 9, 'みんな': 9, 'なる': 9, 'いる': 9, 'こと': 8, 'の': 8, '幕張メッセ': 8, '個別': 8, '会う': 8, '誕生': 7, '最後': 7, 'ちゃん': 7, '笑': 7, '握手': 7, '増し': 7, '楽しみ': 7, 'くる': 7,