ディープラーニング関連の話が続いて申し訳ないですが、今日もその続きです。 テキストを生成する際に、次に来る確率が一番高い単語を選ぶのが貪欲的サンプリング（greedy sampling）という。 ただし、毎回確率が高い単語だけを選んでいても、変わり映えがし…

なんだかんだ、ここ1ヶ月くらい追っているRNNの実装のところをみていきます。 すごい単純にいうとRNNは下記のことをやっているだけらしいです。 state_t = 0 #時間Tのすべて0の状態 for input_t in input_sequence: output_t = f(input_t, state_t) satate_t…

まだしばらく勉強メモが続きますが、今日はkerasでのワンホットエンコーディングの実装のところです。 以下、勉強メモ。 テキストは最も広く使用されているシーケンスデータ。単語レベルで処理するのが普通。テキストのベクトル化は複数の方法がある。 テキ…

この頃完全にニューラルネットワークについて調べている感じですが、今日もその続きです。 以下、勉強メモです。 畳み込みニューラルネットワーク（CNN）はconventと呼ばれている。 基本的なインスタンス化 model = models.Sequential() model.add(layers.Co…

ディープラーニングの勉強メモ 機械学習は明示的にプログラムされているのではなく、訓練されている。 機械学習モデルの本質は入力データに適した有益な表現を見つけだすこと。 機械学習のアルゴリズムは、あらかじめ定義された演算の集まり（仮説空間）に入…

昨日のコードを40世代まで実行していましたら、下記のようになりました。 Epoch 40. Loss: 2.09404529274 こんにち を し た 今日 は 握手会 ありがとう ござい まし た ? 今日 は 1 日 で は、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、…

それほどよく分かってもいませんが、続けていきます。 言語モデルを作っていく上で通常のRNNではできなかった長期依存をできるようにした、Long short-term memory (LSTM) と言うモデルがあるらしいです。 今日はこれをみていこうと思います。 引続き、MXnet…