毎日テキストマイニング

180日間、毎日テキストマイニングをするブログです

2018/7/2【10日目の捕捉】Twitter APIのcreated_atをUNIX時間に変換してDATETIMEに保存する

昨日、Twitterが吐き出すcreated_atを文字列型であるvarcharに保存したのですが、これ、検索に全く使えないですね笑 しっかりtime型で保存できるように、UNIX時間 → 日本時間に変換したいと思います。 Pythonで時間を操作するにはtimeモジュールとdatetimeモ…

2018/7/2【10日目】変数の中身をMySQLにINSERTする(utf8mb4の設定)

昨日、データベースにデータを入れられることができたので、今日はTwiiterのデータを入れていきたいとおもいます。 複数の変数を入れるサンプルコードはOracleの公式ページにありましたので、これを参考にします。 https://dev.mysql.com/doc/connector-pyth…

2018/7/1【9日目後半】何でもいいからMySQLにデータをINSERTする

午後からの続きです。 何でもいいからINSERTしてみる 無事PythonからMySQLにConnectできたので、今度はMySQLにINSERTしていきたいと思います。 ひとまずテストも兼ねて、保存するのは日時、名前、ツィート内容だけです。 crsr = db.cursor() insert_query = …

2018/7/1【9日目(前半)】Python3とMySQL8.0をConnectするだけでも大変

PythonとMySQLを連携させるという流れでしたが、まずはローカルにデータベースがないと話にならないので、データベースをつくります。 > create datebase akb_tweet; > use akb_tweet; > create table tweet( id INT AUTO_INCREMENT NOT NULL PRIMARY KEY, c…

2018/6/30【8日目】データーベースの構造を考える

本日、一日中MySQLを触っていたのですが(ほとんどエラー対応)、せっかくなのでPythonと連携させていきたいと思います。 ひとまず作るデーターベースの設計からはじめてみます。 データーベースの設計 Twitter APIでどんな情報が得られるのか再確認してみま…

2018/6/30【番外編】MySqlの基礎を学ぶ2、Error Code: 1449 The user specified as a definerのエラーを解決させる

午前中からの続きです。 MySQLWorkbenchを起動できたら、左側のMANAGEMENTにあるServer Statusをクリックするとデータベースの状況がわかるとのことです。 とりあえず試しにデーターベースの一覧を取得してみます。 > SHOW DATABASES; 12:20:54 Get schemata…

2018/6/30【番外編】MySqlの基礎を学ぶ1、mysql.server startができない

今までTwitterから得た情報は全てテキストで扱っていたのですが、昨日の分析ごっこをするだけでも手間がかかって不便です。早めにデータベースを構築してSQLで扱えるようにしたいです。 なので、今日は1日かけてMySQLの基礎から学んで行こうと思います。あ、…