back to the source - 原点回帰😎

自然言語処理 初心者

終わらない小道具1

小道具作りが終わらない(´・ω・`) あと, データの入力フォーマット考えてそれに整形してあげるのだけれどどういう風にすれば良いかわからなくて悩んでる..

最近の語にも対応してくれているのでこれを使用した
github.com

def split_word(text,NE=False):
    import MeCab
    setting = '-Owakati -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd' if NE else '-Owakati'
    tagger = MeCab.Tagger(setting)

    return tagger.parse(text)
split_word("涼宮ハルヒの憂鬱と魔法少女リリカルなのはは名作である",True)
#'涼宮ハルヒの憂鬱 と 魔法少女リリカルなのは は 名作 で ある \n'

まだまだ小道具作りは続く… URL,非テキスト, 謎のUnicode文字,対象言語以外 他…データクリーニングしないと(´・ω・`)

qiita.com

スクレイピングしてみたあ

webスクレイピングの汎用って難しいのかな…(´・ω・`)
やっぱり各サイトごとにタグ名前も違うし, ..
次回はscrapyを使って見たいと思う👊

本日の進捗
github.com

正規表現をいくつか書いたけどまだ冗長してるので, もっとシンプルに描きたい…
なぜ作成したかはリンクのjupyter-notebookに書いてあります.

とりあえずデータセットが少々揃ったのでやっと機械学習できる
(ここ数日 機械学習できなかったので反動でワクワクしてる🤗)

確認

今週は月曜日から多忙極まってて死んでました。その結果 風邪を引きました.😷

火曜日(4/18)はDEEP LEARNING INSTITUTE DAY 2017 | NVIDIA Japan | NVIDIA のお手伝いをさせていただきました.

水曜日(4/19)はSIG-WBA | 全脳アーキテクチャ・イニシアティブ に参加しました

この二つの感想は後日落ち着いた時間がとれたら書いておきたいと思う.


頑張って生きていこう.

Jupyter-notebookでスライド作って見た

完成したスライドは此方→Jupyter Notebook Viewer

Jupyter-notebookは此方

gist.github.com

所感

実行結果をスライドにするから報告程度なら便利かなって思う.
gistを展開する場合, notebookも展開してくれるから便利だね. 今度から使ってみようかな.

参考サイト

検索して1,2番目に出るサイト

jupyter-notebook をより便利に

github.com

% pip install yaml
% git clone https://github.com/ipython-contrib/jupyter_contrib_nbextensions
% cd ipython-contrib
% python setup.py install

インストール完了だ

% jupyter-notebook

http://localhost:8000/nbextensions/ あれ… 404 だ

少し調べる..

github.com こっちを入れましょう♪

% pip install jupyter_nbextensions_configurator
% jupyter --version
4.3.0
% jupyter nbextensions_configurator enable --user

jupyter-notebookを起動して
http://localhost:8888/tree#nbextensions_configurator を入力すると設定できるようになる.

The command accepts the same flags as the jupyter serverextension command provided by notebook versions >= 4.2, including –system to enable in system-wide config (the default), or –sys-prefix to enable in config files inside python’s sys.prefix, such as for a virtual environment. The provided jupyter nbextensions_configurator command can also be used to disable.

だそうです.

ともあれ, これでjupyter-notebookがより便利になります😆

お家でハンズオン体験やろうとした

qiita.com

このハンズオン、 Qwiklabs というハンズオンラボ提供サービスを利用しています。クラウド (AWS) の GPU 環境を利用するため、インターネット接続可能な PC さえあれば、どこでも GPU を使ったハンズオンができてしまう(PC に GPU は不要)という便利なサービスです。

お家でDeep Learningできる有料(一部無料)サービスである. 私自身はラボにGPU環境あるため有料でこのサービスを使うメリットはないが, 少し興味をもったのでやってみることにした.
アカウントの作り方や日本語化についてはQitaを読んでください.

やってみた結果

Caffe使ったことないので正直よくわかってない(´・ω・`)

こういう画面が出るのは良いのかな..? f:id:planetaria:20170409194644p:plain

ネットワークの組み方はchainerやkerasに慣れてるせいかcaffeがすごくめんどくさく感じる.
あとGUIの操作がやっぱり苦手で全部コード上で完結すればいいのにって思った.

現状はまだMNISTを動かしてみただけですが…