読者です 読者をやめる 読者になる 読者になる

ほろ酔い開発日誌

有意義な技術的Tipsを共有出来たら嬉しいです。Ruby、Railsが好きです。Web開発全般(Rails多め、フロント、サーバー、インフラ)、データ分析、機械学習あたりの記事が中心になる予定です。

RNNやWord2Vec関連のリンクの備忘録

RNN概要

LSTMについての説明が中心。 RNNのRがrecurrentの頭文字であることからも表されるように、RNNは同じネットワークを繰り返して前のネットワークで学習した結果の一部を後続のネットワークに渡すようなことをしています。それは前のネットワークの情報も現在のネットワークで使えるからいいよねって話なのですが、場合によっては直前の情報だけじゃなくて結構前のネットワークの情報も使いたいわけです。それをいい感じにやってくれるのがLSTMというわけです。以下の記事がこのあたりの説明をもっとちゃんと、詳しくしてくれてる記事です。 最近のアテンションというやつについても機会があればまとめたいところです。

Tensorflow tutorialにgreat articleとして紹介されてた記事。

Understanding LSTM Networks -- colah's blog

(日本語翻訳) qiita.com

かなり詳しくて分かりやすい qiita.com

Tensorflowのチュートリアル

Recurrent Neural Networks  |  TensorFlow

Sequence-to-Sequence Models  |  TensorFlow

Word2Vec

word2vecを使えば文章から単語のベクトル表現が出来て、単語の特徴が分かるよという認識です。 その中のアルゴリズムとしてcbowとskip-gramがあるよという感じです。 (word to vec ですもんね。文字をベクトルにってことですね)

word2vec、cbow、skip-gramが簡潔に説明されていてよい。 resola.ai

skip-gramについて詳しめに丁寧な説明。 qiita.com