毎日テキストマイニング

180日間、毎日テキストマイニングをするブログです

2018/09/01【70日目】昨日のRNNのコードを読み込んでいく

昨日のコピペしていったコードを見ていきたいと思います。 前処理 まずは必要なライブラリのimportとテキストの読み込みから。 from __future__ import print_function import mxnet as mx from mxnet import nd, autograd import numpy as np mx.random.see…

2018/8/31【69日目】MXNetでRNNを実装して言葉を学習させていく

昨日の意味がわからない会話の中を繰り広げる中で、下記のことができていないのではないかと思いました。 会話データがないと意味がない 結局RNNを実装していない こっちの言っていることに反応しない できる限り1個ずつ解決していきたいと思います。 RNNの…

2018/8/30【68日目】マルコフ連鎖で謎の会話ができるようになった

3グラムの方がいいという情報があったので、ただ単にMeCabで単語に分けたものよりも3グラムを学習させてみます。 3グラムはこちらで勉強したコードから。 dailytextmining.hatenablog.com def text2threegram(text): kaisekiyou = text.read().split('¥n') s…

2018/8/27【65日目】繰り返しオウム返しする関数まで作った

色々な情報を探していますが、slackやtwitterでのチャットを使ったコードが多いですね。やはりチャットの部分は自分で作るしかないのかなと思います。 とりあえず、バイバイを入力するまで永遠とオウム返しをするbotまで完成しました。 def main(): while Tr…

2018/8/27【65日目】関数まで作ったのと要約の自動化をする

とりあえず、チャットボットを作っていきたいのですが、いろいろ調べているうちに時間がなくなってしまい、昨日のものを関数にしただけで終わってしまいました。 i_am = "I : {0}" bot = "BOT : {0}" inp = input("名前は?:") send_message(inp) def res(m…

2018/8/26【64日目】Chatborを作ってマルコフ連鎖の反応を見てみたい

このまま大量にテキストを学習させていくだけですと、あまり面白くもないので、チャットボットを作って、その反応にマルコフ連鎖でテキスト生成を行わせたいと思います。 まずは簡単なChatbotを作成してみる Chatbotを作ったことがないので、まずは簡単なも…

2018/8/26【64日目】テキストを大量に学習させてみる

昨日からの続きです。 手元に4389件のtweetデータがありますので、とりあえず、これを読み込ませてみます。 import markovify # Get raw text as string. with open("all_kaiseki.txt") as f: text = f.read() ten = text.replace('\"', '\n') kaigyou = "\n…