毎日テキストマイニング

180日間、毎日テキストマイニングをするブログです

2018/7/13【21日目】辞書を修正していく

どうでもいいですが、本日新宿のブックファーストで行われた道重さゆみの握手会に行ってみました。さすがモーニング娘。で長年リーダーだったこともあり、愛嬌がとても良かったです(あと顏がかなり小さかったです)。

きっと、AKBのメンバーも順位が上に行くほど愛嬌がいいんだと思いますね。本日はAKBメンバーそれぞれ誰が一番愛嬌がある呟きをしているのか(つまりポジティブなのか)を検証して行きたいとおもいます。

辞書の作成

愛嬌がある特徴とはなんなのでしょうか?いくつかのサイトを見てきましたが、次のような点が愛嬌があるそうです。

  • いつも笑顔でいる
  • まわりを明るくできる人
  • 元気がある
  • ムードメーカー
  • 親しみやすい
  • 気配り上手
  • ドジなところがある
  • 癒される
  • 頭の回転が速い
  • 素直に感情を出す

逆に愛嬌がないということは次のようなことをいうそうです。

  • サバサバしている
  • 話しかけるとイヤがる
  • 挨拶しない
  • 無表情
  • 笑わない

これらを元に辞書を作っていきます。おそらく日本一無駄な辞書になるとおもいます。 辞書の作りとしましては、下記を形式をそのまま受け継ぎまし、流石に一から作るのは時間がかかるので、もともとの辞書内で使えそうなのはそのまま使います。具体例としましては次のような形です。辞書に加えた修正点としては配信、てれび、放送、決定、発表などが極端にマイナスの値でしたので修正しました(数値は自分判断でやっていますので、恣意性があります)。あとはテレビ番組や曲名などAKB独自の単語を付け足しています。

公演:こうえん:名詞:0.833144
さん:さん:名詞:0.809348
ちゃん:ちゃん:名詞:0.309348
今日:きょう:名詞:0.4617564
村山:むらやま:名詞:0.1141643
(省略)

辞書ができたところでnullがないか確認してみます。

npjp.isnull().values.any()

実行結果。

True

どこかにnullがあるらしいです。 次のようにスライスさせるとnullの場所が表示されるそうです。

npjp[npjp.isnull().any(1)]

実行結果。

 Tango   Yomi    Hinshi  Score
29  たち  たち  0.02138811344   NaN

29番目の単語の品詞が抜けていますね。ここに品詞を付け加えて再実行。 何も表示されないので、問題ないようです。

とりあえず昨日の呟きをもう一度判定したいと思います。

-3.6090528
-2.26767819
-1.525105
-2.040818
0.03064201
-2.2393584
0.38675789
-0.1909499
-3.0792449
-1.7286504
-0.781253
2.649865
1.221862
0.1203
-0.4736277
2.720274
-0.6467622936
-1.086136
-3.05628
-0.417408435
-1.924155525
0.480631216
1.71754
-1.5148279
0.92898055
1.167362
-0.53919476353
1.64161388
-0.07664606474
0.516108

結構いい具合にネガティブ、ポジティブに分かれました。 辞書の作成とコードの修正に思ったよりも時間がかかってしまいましたので、後半に続きます。

今日の結果

28件でした。ネガポジ判定は次の通りです。なかなか最適化できたのではないでしょうか?

iriyamaanna1203:-1.377919
sayaya_0388:-0.3516814
Sakii_Kitazawa:-1.52576415
AKB48K5:1.0615304
kayoyon213:-5.5253233
48manaka_16:4.962856
makiho_1019:1.2249993364
RENAN0ZAWA:0.6432426
yui_hiwata430:-0.3876769
macyacyarin:-3.3687089
akb4816ayaka:-1.32432915
ayuchan0203:0.1684614936
ami_15chans:-2.9257896
ooyachaaan1228:-5.653478
okadanana_1107:-3.3273031
Sakii_Kitazawa:-4.78419269
Sakii_Kitazawa:0.6092083
kayoyon213:-1.57872225
kayoyon213:0.9516123
kayoyon213:-3.5776126
o_megu1112:-0.51920621
o_megu1112:2.054562836
rei_1025_48:-2.0035361
seina_fuku48:-0.6611423
seina_fuku48:-2.76262
seina_fuku48:-1.2810227
ayuchan0203:1.14874288
Yui_yoko1208:-1.5997084