気を取り直して、今日は文章を機械的に作成していきたいと思います。 『ゼロから作るDeep Learning 2 自然言語処理編』に書いてありましたが、テキスト生成にはマルコフ連鎖というのを使うみたいです。 マルコフ連鎖とは マルコフ連鎖とは、現在の状況のみに…

1週間ほど迷走をしていましたが、昨日、お金を払ってKH Corderを導入いたしました。 これでついに、共起ネットワークができると思います。それではやっていきます。 KH Corderのセットアップ サポートページからzipファイルをダウンロードして、数回クリック…

うーん、どうもNetworkXの全貌が全くわからないので座学することにしました。 （なかなか脱線しますね） こういったグラフを描くためのグラフ理論というのがあるんですね。 グラフ理論 もともとグラフは物と物の関係を表す数学分野の1つ、 数学的にグラフ（G…

とりあえずの画像の出し方と、仕組み自体はわかりましたので、自然言語を使って実戦していきます。 さいきん終電帰りが多く、内容は軽めです。 実践 まずはNetworkXとMatplotlibのimportです。 あと、グラフの作成。 import networkx as nx import matplotli…

昨日からの続きです。ぶっちゃけて言いますと、NetworkXについて全くわからず書いてています。そのまま続きをやっていきます。 nodeに数値を入れる意味がわからないいまま続けていきます。 ノードには変数も代入できるようです。 H = nx.path_graph(10) G.ad…

共起ネットワークの話が出てきましたので、そろそろ可視化の勉強をしていきたいと思います。手軽に画像を作るのならKH Coderがいい、という記事を見たのですが、インストールするものが多く、面倒くさそうなので、いつも通りPythonでやっていきたいと思いま…

Amazonのレビューですが、1728件のレビューが取得できました。 なんかデータの不具合があまりも多くて前処理（主にコンマの処理）で泣きそうだったのですが、なんとか読み込めました。 とりあえず学習 とりあえずword2vecで学習させました。センターと入力す…

『仕事に使えるクチコミ分析[テキストマイニングと統計学をマーケティングに活用する]』を拝読いたしました。 本書の中でAmazonのレビューを使って、クチコミ分析を行う、という解説が面白かったので、Pythonで実践していきたいと思います。 今回のターゲッ…

『ゼロから作るDeep Learning 2 自然言語処理編』の5章以降であるRNN（リカレントニューラルネットワーク）から再開です。 以下はただの勉強メモです。 勉強メモ 今までのニューラルネットワークは、フィードフォワードという流れが一方向のネットワーク。こ…

夏休みですので、読書でもしたいと思います。今回読むのは『ゼロから作るDeep Learning 2 自然言語処理編』です。 以下、ただの読書メモです。 読書メモ 単語の意味を理解させるのが重要。コンピューターに単語を理解させるのには下記の方法がある。 シソー…

あまりランダムフォレストをやっていてもしょうがないので、次に進みます。 今日はAKBの呟きをword2vecで学習させたいと思います。 import pandas as pd import numpy as np %matplotlib inline import matplotlib.pyplot as plt train = pd.read_csv('all_2…

現状の正解率もわかったところで、ランダムフォレストのパラメーターを調整していきたいと思います。今はチュートリアルの通りのRandomForestClassifier(n_estimators = 100) しか設定していませんが、これ以外にも多くのパラーメーターがあるみたいです。 3…

昨日、やっと福岡聖菜のtweetを当てることができましたが、全部は当てることができなかったのでもう少し正解率をあげたいと思います。 ですが、そもそも自分で作ったモデルがどのくらいの正解率を持っているのかを知る必要がありそうですね。 モデルの検証 …

単語の処理の仕方もかなりわかりましたので、今度こそ福岡聖菜のtweetを判定したいと思います。 前回のダメな例がこちらです。 dailytextmining.hatenablog.com 前処理 6月10日から8月10日までの全tweetを取得します。列はid, name, tweetの3列、行数は3264…

word2vecを使った分類 昨日まででword2vecを使って、単語を分散表現を作ることができました。単語をベクトル化したことでk-menas分類が使えるそうです。 k-meansの説明は「k-means わかりやすい」で検索したら、次のサイトが出てきましたのでこちらを参考に…

昨日は文章ごとのリストができましたので、先に進めて行きます。 次は各文章ごとの特徴を抜き出して行くようです。 from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer(analyzer = "word", tokenizer = None, prepr…

2日前くらい前から行っているkaggleのチュートリアルの続きです。 Bag of Words Meets Bags of Popcorn | Kaggle とりあえず提示されているコードを見ていきたいと思います。 列の名前を見る DataFrameの列の名前を見れるですね。 train.columns.values 実行…

昨日、TensolFllowのword2vecのチュートリアルを試してみましたので、一応コードを確認していきます。 word2vecで画像を作成する際のSTEP サンプルコード内にコメントでSTEPが書いてありますので、それを集めてみました。 Step 1: Download the data. Step 2…

AKB曲を取得できましたので、歌詞の分析を行なっていきます。 ついでに比較対象としてモーニング娘。の歌詞も取得しました。 曲数はこんな感じです。 print("AKB曲数" + str(len(akb)) + "曲" ) print("モーニング娘。曲数" + str(len(mng)) + "曲" ) 実行結…

著作権のこともわかりましたので、スクレイピングをしていきます。 対象のURLはこちらです。 http://artists.utamap.com/fasearchkasi.php?artistfid=1003855_1 さっそく新しいプロジェクトを作成して、どんどんやっていきましょう。 $ scrapy startproject …

scarapyの使い方がわかったところで、実際にWebサイトをスクレイピングしていきたと思います。 大量のテキストと言いますと、歌詞が思いつきますので、AKBの歌詞を取得していきたいと思います。 まずは歌詞を載せているサイトを見てみます。Googleで「歌詞 …

scrapyを使えばjson形式で、データを保存できることがわかりましたので、次に進んでいきます。 リンクを追う 人がサイトからサイトへリンクをたどっていけるように、scrapyもリンクをたどっていろいろな情報にアクセスできるようです。 昨日に続いて、チュー…

土日の間、止まっていましたスクレイピングの話を続けていきます。 Beautifulsoupを使って本文の取得には成功しましたが、どうも手間が多く便利そうじゃないですね。 調べてみましたが、Scrapyというスクレイピング用フレームワークがあるそうなので、こっち…

昨日、retweetされた率とfavoriteされた率を出しましたので、今日はその続きです。 scipyを使えば、DataFrameにランキングをつけることができるようなのでやってみます。 from scipy import stats rank = ninkido.assign(order=stats.mstats.rankdata(ninkid…

前にretweetをするのは心理的にハードルが高いのか？という疑問がありましたが、そもそも日本人はfavoriteを多く使う傾向にあるそうです。 いろいろな研究があるんですね。 (1) 日本語利用者は、フォロワー、フレンドの数は英語利用者よりも少ない。 (2) 日…

金曜日にデベロッパーサミット（通称、デブサミ）が行われていましたので行ってきました。 event.shoeisha.jp 全体的に機械学習の話が多かったのですが、『「教えて!goo」3000万件のQAデータから、世界初の長文生成AIが生まれるまで～AIによる恋愛相談の裏側…

昨日の段階でリンクできるURLを取得できましたが、ブログのエントリーじゃないurlを取得していますので、エントリーだけを取得したいと思います。 リスト形式の中からある文字を取得するには、if 〇〇 in リストとすれば良いので、こんな感じで取得できると…

その1からの続きです。どうもこの頃日にちをまたいでしまいますね（仕事が忙しい、、、）。 その1で躓いたh3タグの中を取得するには、そのまま変数をprintすれば良いだけでした。こんな感じです。 for link in soup.find_all('h3'): print(link) 実行結果 <h3 class="skin-widgetTitle" data-uranus-component="widgetTitle" lang="en">Pr</h3>…

昨日はWebスクレイピングをしてみましたが、プログラムで次から次へとサイトを見ていくのをクローリングというらしいです。 今日は昨日は引き続いて、クローリングをしてみたいと思います。 クローリングの実装 昨日に引き続いてAKB48 岩立沙穂のアメブロで…

12時前に家に帰れなかったので、日にちを跨いでいるのですが24日分をアップします。 このブログでは1日目からずっとTwitterからテキストデータを保存していましたが、AKBのメンバーはブログもやっているようなので、ブログからもテキストを保存できるように…