仮想通貨モナーコインのGPUマイニングを試す

GPU（GTX1060）ゲーミングノートパソコンがあるので、仮想通貨のマイニングを試してみました。一般的にマイニングはあまり儲からないと聞きますが、どの程度なのか実際確かめてみることにしました。ビットコインは、もうすでに100万円を越しており、マイニングするにも電気代がものすごくかかるようで、

「仮想通貨のマイニングに使用された電力、すでに世界159カ国の年間使用量を上回る」

このようにニュースでも騒がれています。とは言ってもその他の仮想通貨もどんどん出てきており、今後破綻する仮想通貨もでてくるのだと思いますが、エネルギーや経済のシステムがどんどん変わりそうです。

GPUマシンをフル回転させるため、機材と電気代を合わせるとなかなか採算とれないようで、そのかわり一切を業者に頼むクラウドマイニングというシステムもあるようです。クラウド上のGPUマシンを使ってマイニングするという感じでしょうか。

国内でもモナーコイン（2013年12月〜）という仮想通貨があるようで、まだまだ人気はないようですが、

coingecko.comより

突然ここ数ヶ月で数十円から一気に700円くらいまで値上っています。
ということで、この急上昇中のモナーコインで発掘（マイニング）をしてみました。方法についてはネットで検索するといろいろ出てきますが、一応簡単にやってみた手順を書いておきます。
Linux（Ubuntu）で試そうと思いましたが、LinuxやMacだとソースをコンパイルする必要があり、エラーで上手くコンパイルされないためにWindows版に切り替えました。Windows版はすでにバイナリのアプリがダウンロードできるので簡単です。

準備：
（1）モナーコインのウォレット/財布（モナーコインサイトからダウンロード）
（2）マイニングプールへ登録（グループで採掘：とりあえずvip poolというグループ）

（3）発掘ソフトをダウンロード（ここを参考に）

それぞれの手続や入力項目はありますが、この３つですぐに始められました。
基本的には、発掘ソフトでモナーコインを発掘し、得たモナーコインを財布にためていくだけです。
マイニングプールは、グループに所属して作業量などに応じて発掘されたモナーを分配する仕組みのようです。ソロで発掘すれば、独り占めできるようですが、そのためにはかなりパイスペックな機材が必要らしいので、一般的なパソコンを使って発掘するにはグループに所属したほうがいいらしいです。
AliExpress.com Product - YUNHUI Newest Bitcoin Miner Ebit E9 Plus 9T 14nm Asic Miner BTC Miner better than Antminer S7 and high Cost-effectiv than S9 .262,276円（送料無料）AliExpressでもハイスペックなマイニングマシンが売っています。GPUよりすごいASICというマイニングマシンです。以前から中国が世界中のマイニングを行っていましたが、マイニングが規制されたため中古品などが多く出回っているそうです。

（1）のモナーコインのウォレット/財布は、発掘したモナーをためておく銀行口座のようなもので送金/入金をこのソフトで行うようです。しかし、（2）のマイニングプールに所属していれば、一時的にそのグループ内のアカウントに発掘したモナーを貯めておくこともできるので、ある程度貯まったら（１）のウォレットへ送金するということになるようです。
ダウンロード自体はすぐですが、一旦立ち上げるとネットワークと同期する必要があるようで、けっこう時間がかかるためしばらく放置しておきます。数時間はかかるので、その間に次のステップ：受取口座（アドレス）をつくっておきます。
C:¥Program Files¥Monacoin¥monacoin-qt.exe
がこのウォレットソフトになります。
それとは別の場所の
C:¥ユーザー¥user¥AppData¥Roaming¥Monacoin（フォルダ）
このフォルダにはその他必要な設定ファイルやバックアップファイルなどが入っています。
読み込み中の内容を見ると、過去数年前まで遡ってモナーコインのすべての取引データを読み込んでいるようです。ということは10年経てば10年分のデータを各自のパソコンが読み込まなければいけないということになりそうです。仮想コインは中央集権型ではなく、分散型で各自利用者が銀行のような業務を担うのだと思うのですが、それにしてもどんどんデータ（取引台帳）がかさんでいくのでパソコンのハードディスクもそこそこ残しておかないとだめかもしれません。ウォレットソフト自体は数十MBですが、設定ファイルなどが入っているほうのMonacoinフォルダは2GBくらいあります。

ウォレット内の「入金（R）」をクリックして「ラベル」に適当な名前をつけて、支払いを「リクエストする（R）」を押すと、受取用アドレスができ、QRコードとともにMで始まる長い文字列アドレス（振り込んでもらう口座番号）ができあがります。毎回のトランザクションごとに新しいアドレスをつくったほうがいいと書いてあるので、その都度アドレス（振込先）が変わるようです。
ここで、一つ受取アドレスをつくっておいて、それを以下のマイニングプールからの受取に使います。

（2）のマイニングプールはグループで採掘する採掘所のようなもので、所属していればその働きに応じて利益を分配してくれるようです。
登録するには、以下のような項目を入力して認証メール受け取り後ログインできるようになります。

どうやらこのサイトのサーバを介して発掘しているようで、このサイトで各種設定や状況などを確認できるようです。このvip poolにおけるユーザー名/パスワードを決め、Monacoinアドレスには（1）のウォレットでつくった受取アドレスを記入（この部分は後で変えられるはず）、PIN番号はvip pool内で設定変更などしたときの認証番号です（適当な4桁）。
ログインしたら、アカウント>ワーカーへ行き、「新しいワーカーの追加」をします。

とりあえず適当な名前とパスワードを記入し、「ワーカーの追加」ボタンを押します。「指定Difficulty」という設定があるので、パソコンのスペックに合わせてその値を決めます。GTX1060だと8か16くらい。普通のCPUだともっと低くて0.125などとなるようです。Hashrateはパソコンのスペックに応じた発掘能力のようで、自動で切り替わったり、あとで変更も可能なので、注意書きにある参考値を元にとりあえず記入しておきます。
この設定したワーカーで発掘することになりますが、通常は一つつくればいいのだと思います。
あとは以下の発掘ソフトを起動するだけです。

（3）の採掘ソフトは、CPU用ならcpuminer、GPU/Radeonならsgminer、GPU/Nvidiaならccminerと分かれています。採掘ソフトの設定次第ではソロでも採掘できるようです。ソロの場合は（3）で採掘したモナーコインを直接（1）のウォレットへ送金するというかたちになるようです。
この採掘用ソフトが、LinuxとMacの場合はgithubにあるソースをコンパイルする必要があり、コンパイル中にエラーばかりでてしまいました。Windowsの場合は、ダウンロードすればコンパイル済みのアプリが入っているので、設定項目を追記すればすぐに使うことができます。
ちなみにvip poolというグループに所属し、以下の採掘ソフトを使ってみました。

ccminer-djm34-mod-r1（採掘ソフト）の場合：
ダウンロード/解凍すると、
djm34-mod-r1 フォルダ
└ ccminer-djm34-mod-r1 フォルダ
    ├ ccminer アプリケーション
    ├ LYRA2REv2-START バッチファイル
    └ vcrumtime140.dll

というファイルがあり、
LYRA2REv2-STARTをエディタで開き、既に書いてある内容を一旦消して以下だけを記入。

ccminer.exe -a lyra2v2 -o stratum+tcp://vippool.net:8888 -u loginname.workername -p workerpassword

loginnameにはvip poolへ登録したログイン名、ドットを挟んでworkernameはvip pool内で設定したworker名、workerpasswordはworker用のパスワード。
このLYRA2REv2-STARTは、.batファイルなので、そのままダブルクリックするとコマンドプロンプトが立ち上がってすぐに採掘を開始します。

こんな感じで、コマンドプロンプトに採掘状況が出てきます。「yes!」なら採掘成功、「booooo」なら失敗。たまに失敗しつつ、比較的多く10秒おきくらいに「yes!」が出てきます。しかし、「yes!」が出たからと言って、すぐに報酬につながるわけでもなさそうです。
報酬につながるためにはブロックを発見しなければいけないようで、グループで作業しても1時間に1〜3回程度です。このへんの仕組みがまだ良くわからないのですが、「yes!」が出れば一応仕事をしているという感じです。

結果（マイニングプールで24時間稼働）：
24時間放置して動かしてみた結果です。

ベストな設定なのかわかりませんが、結果的に24時間で0.17863435モナ獲得できました。現在1モナは700円前後なので、約125円/日ということです。

ここで電気代についても見てみると（こちらの電気代計算サイトより）、

nvidia-smi.exeでGTX1060の稼働状況を見てみると70W/h前後でした。ということで、上画像にあるように約40円/日かかっています。
つまり現在のモナーコインレートで換算すれば、125-45=85円/日プラスという結果が得られました。当然モナーコインの価値が下がれば、その分利益も低くなってしまいます。

ソロマイニングを試す：
採掘ソフトであるccminerにはソロ採掘設定もあるので、比較のため試してみることに。ソロマイニングは確率は低いですが一回の報酬を独り占め（25mona：レート700円なら17,500円）できるようです。
まずC:>ユーザー>user>AppData>Roaming>Monacoin内にmonacoin.confというファイルをつくります。このとき拡張子ありでファイル名を見るとmonacoin.conf.txtになっていることもあるので、.txtはつけないで保存します。
その中にエディタなどで以下を記入：
rpcuser=user
rpcpassword=password
rpcallowip=192.168.0.0/255.255.0.0
rpcallowip=127.0.0.1
rpcport=4444

次に今までマイニングプールで使っていたLYRA2REv2-START.batファイルの複製をつくり、LYRA2REv2-SOLO.batなどと名前変更してソロ用の設定に書き換えます。

ccminer.exe -a lyra2v2 -o 127.0.0.1:4444 -u name -p password --no-longpoll --no-getwork --coinbase-addr=walletaddress

-u name -p passwordは、monacoin.confの中のrpcuser=user、rpcpassword=passwordと同じものです。walletaddressには、モナーコインウォレットでつくったmから始まる入金アドレス。ipアドレスの部分は基本的にこのままで大丈夫です。

ソロマイニング起動：
まず、monacoin-qt.exe（ウォレット）を起動します。これがサーバとなるようです。そして今つくったLYRA2REv2-SOLO.batをダブルクリックすればソロマイニングが始まります。

追記：
その後ソロマイニングでやっと一回（25モナコイン）をゲットできました。

やはり、ソロマイニングだとまったくヒットしません。何日間かやって、やっと一回当たるくらいの確率らしく、ほとんど運次第のようです。グループでマイニングしたほうが少なからず分配報酬があるので、まだましなのかもしれませんが、ゲーム感覚でするなら一攫千金的なソロマイニングのほうが面白そうです。
獲得したモナーコインは、ZaifやbitFlyerなどの取引所で円に交換できるようです。そのためにはZaifやbitFlyerのアカウントが必要となります。

NiceHash Miner：
そのほか、NiceHash Minerというプールマイニングも試してみました。セッティングも簡単で、すぐに始めることができました。

採掘先や効率などは自動設定らしく、結果はビットコインによる送金らしいです。ビットコインの受取アドレスが必要となるので（NiceHashに一時的に貯めておくことも可能）、Zaifなどの取引所のアカウントを持つか、ElectrumやCopayなどのウォレットをつくっておくといいと思います。

設定をJPYにして採掘開始してみると、そのパソコンのスペックに応じて、一日の予想採掘量が表示されます。GTX1060の場合は、183.52円/日（採掘中に多少変動する）くらいです。先程のvip poolより少しだけ率が高いですが、だいたい似たような感じです。
コマンドプロンプトが出てきますが、基本的には画面のスタートボタンを押すだけで勝手に採掘開始します。

コマンドプロンプト画面を見ていると、たまに採掘先（かならずしもビットコインばかりではない）や採掘スピードが自動で切り替わっているようです。ビットコイン以外も含め、状況に応じて効率よく掘っているらしいです。パソコンが一時的にアイドル状態になると自動的に採掘開始してくれるオプション機能もついています。要はパソコン不使用時に自動的にマイニングを開始してくれる機能というわけです。GPU付きのパソコンでもせいぜい数千円/月しか稼ぐことはできませんが、電気代以上は稼いでくれるのでそんなに悪くはないかもしれません。

計算で収益を求める：
どうやらそのパソコンの計算能力/採掘能力のことをハッシュレート/hashrateと呼び、NVIDIAのGPUであれば、
GTX1050 10.01MH/s
GTX1050Ti 11.49MH/s
GTX1060 23.39MH/s
GTX1070 35.88MH/s
GTX1080 47.68MH/s
GTX1080Ti 58.05MH/s
という感じで、数値が大きいほど能力が高い。
それに対し、各仮想通貨におけるDifficultyという暗号解読の難解さの指標もあるようで、現在のビットコインなんかはものすごくDifficultyが高いようです。
24時間あたりの報酬は、
hashrate(kh/s)/Difficulty=報酬（1日）
で概算できるようです（こちらを参考に）。
GTX1060を使用、現在のモナコインのDifficultyはこのサイトを参考にすると約59000、
23390/59000=約0.40
となり、1モナ=800円ならば、
0.40モナ=320円/日
となるようです。もし、ソロマイニングするなら一回堀り当たれば25モナの報酬がもらえるので、
25/0.4=62.5日間
となり、毎日掘り続けても約2ヶ月に1回掘り当てるくらいの確率になるらしい。1モナ=800円なら、一回掘り当てて20000円になるので、確率的には10000円/月という感じでしょうか。

ブロックチェーンアルゴリズムには興味ありましたが（仮想通貨そのものにはそれほど興味なく）、仮想通貨の世界もいろいろ進化しているようです。仮想通貨以外にもトークン（仮想通貨の株式みたいなものらしい）と呼ばれるものも数多く存在し、どんどん従来の経済の仕組みが変わっていきそうです。仮想通貨に興味なくても、一応知っておいたほうが今後のためにもなると思います。

追記：（2017/12/07）
Nicehashのソフトはインストールしたもののあまり使っていませんでした。数日後ためしにつなげてみようとしてもつながらないのでネットで調べてみると、以下のようなニュースが。

「ビットコイン盗まれた」76億円相当か　マイニングプール「NiceHash」ハッキング被害

このようなトラブルが起きたようで当然サイトがストップしていました。内部関係者の仕業とも噂されていますが、真相はまだわからないようです。いずれにせよ、Nicehashに預けておいたビットコインはもう戻ってこないでしょう。個人的には16円くらいの損害ですが、Nicehashの場合はたしか最低0.01ビットコイン以上（今のレートであれば17000円）でなければ途中出金不可だったはず（そこまで貯めるにも数ヶ月はかかる）。そのため引き出したくても引き出せない仕組みになっています。基本的には、ほぼ保証ということがない世界でもあるため、稼いだらすぐに自分のウォレットに移動というのが理想的な管理方法ですが、今回の場合はそうもできない人も多くいたということです。Mt.Gox事件のときもそうですが、一見きちんとした取引所であっても突然消滅することはあるので、こまめに手元に送金して保管しておいたほうがよさそうです。

追記：
その後NiceHashにアクセスしてみたところ復活してはいますが、アプリを立ち上げてみたら案の定以前マイニングした約16円分はゼロになっていました。

それとは裏腹に、数日も経たないうちにモナーコインが2000円突破してしまいました。あっという間です。同様にビットコインのほうもどんどん値上がっています。ビットコインは現在180万円ちかくまで高騰していますが、年内中に200万円突破しそうな勢いです。いろいろな仮想通貨やトークンが出ていますが、中途半端な通貨は人気がでなくて、王道のビットコインに一極集中していきそうです。まだまだ値上がるのではないでしょうか？

最近もビットコインは着実に上昇していて、年内には200万円突破するかもしれないと言われていましたが、あっというまに突破してしまいました。少し調べてみると、この1ビットコイン=200万円という数字は、現在流通している貨幣なかでも5番目に規模の大きい通貨となっているようです（参照：bittimes）。
アメリカドル：1兆4200ドル（150兆円）
ユーロ：1兆2100億ドル
中国元：1兆ドル
日本円：8560億ドル
ビットコイン：3000億ドル
インドルピー：2500億ドル
ロシアルーブル：1170億ドル
イギリスポンド：1030億ドル
というランキングになっているようです。5位だったインドルピーを抜き、4位の日本円を抜くにはまだ半分以下ですが、もしかしたら数年以内に抜いてしまうのかもしれません。

ビットコインの時価総額をCryptocurrency Market Capitalizationsで調べてみると、

確かに仮想通貨の中でもダントツで総額3000億ドルとなっています。ビットコインの場合最大発行数上限が2100万枚と決まっているようで現在1673万枚。もはや後半ですが、上限に到達したら逆に希少価値となってしまい、さらに値上がるとも考えられているようです。
また仮想通貨全体では、

4457億ドルであり、ビットコインだけで67.0%を占めているようです。ブロックチェーンという機能的なメリットというよりも（他の仮想通貨で機能的に優れているものも多いはずなのに）、単にネームバリューだけで人気を稼いでいるかのようです。取引されている上場仮想通貨は1334種類もあるようですが、ビットコインがあくまで先頭を走っています。

ちなみにモナコインは少し落ち着いたようで2000円前後を上下しています。

それでもここ数週間で一気に値上がったこともあり、現在19位というのがすごい。年内3000円行くかもしれないと言われていますが、それよりもビットコインの上昇に歯止めが効かなくなっている状態なので、多くの人はビットコインの動向に注目しており、他の仮想通貨はやや注目されにくい状況なのかもしれません。

https://howmuch.net/articles/worlds-money-in-perspective

また他のマーケットとの比較では（上図はやや古い数値になっていますが）、現在ではビットコインだけで$300B（3000億ドル）であることから、アマゾン時価総額に追いつこうとしています（仮想通貨全体ではほぼアマゾンと並んでいる状態）。その上にはApple、そして米ドル、金などとまだまだ先はあるのですが、少しずつビットコイン市場へそれらの貨幣が移動してくれば、まだまだ成長する余地がありそうです。

今から約5倍値上がって、1ビットコイン=1000万円ともなるとアメリカドルと並んでしまうので、そこを目指しているのか、それともそれ以上になろうとしているのか、もしそうなってしまえば、かなり経済の仕組みは変わりそうです。

その後、数日でビットコインは180万円くらいまで下落しています。つい先日までは時価総額3000億ドルありましたが、現在は2624億ドルまで減っています。

というのも、ビットコインは上位1000人ほどが40%を独占しているようで、その人達によって価格操作も可能のようです。

The Bitcoin Whales: 1,000 People Who Own 40 Percent of the Market

この人達の思惑はどのような方向を向いているのかわかりませんが、ドルを越える世界一の通貨にしようとしているのか、あるいは途中で何かに乗り換えるのか、いずれにせよしばらくは上下に揺さぶりながら、少しずつ時価総額を増やしつつ上り詰めるのではないでしょうか。

Windows10/Ubuntu16.10：パーティション割当変更

エディタなどの作業環境はほぼ落ち着いたのですが、そうやってサンプルなど試しているとやはりハードディスクの容量が気になってきます。デュアルブートにしたため、データセットを取り込んでしまうと、けっこうすぐにいっぱいになってしまいそうです。
ゲーミングノートパソコンには、256GB（PCIE）＋256GB（SATA）が搭載されており、256GB（PCIE）のほうがWindows10とUbuntu（Linux）で半々くらいに分けられています。256GB（SATA）のほうはデータ保存用として丸々使うことができますが、より高速な256GB（PCIE）のほうはUbuntu用に対して120GB程度しか割り当てられません。
Windows10はほぼ使うことはないのでもっとUbuntuに割当量を増やしたいのですが、Windows10の「ディスクを管理」でパーティションをつくると、なぜか全体の50%くらい（125GB相当）をWindows10に取られてしまう（ただ、このMSiのゲーミングノートの場合、後からでもHDなど交換可能らしい、例えば512GBなどに）。

そこでEaseUS Partition Masterというフリーソフトを見つけて使ってみると、Windows10ではそれ以上限界だと言われたにもかかわらず減らすことができました。以下は結果。

左の73.24GiBがWindows10です。元々125GBから50GBくらい減らしました。一番大きい147.93GiBがUbuntu、その右側がUbuntuのスワップメモリ領域で15.89GiB。全体の2/3くらいはUbuntuに割り当てることができたので前回よりはゆとりができました。
以下は変更の流れ。


最初は真ん中あたりで左がWindows10、右がUbuntuという感じで分かれていました。Windows10を縮めてUbuntuが左側に拡張すればいいかなと思いましたが、パーティションは右側には増やせるけど、左側には増やせませんでした。真ん中の50GBをUbuntuに割り当てることはできるのですが、そうすると不連続になってしまうので、どうしようかと。

また初期化してすべてをインストールするというのは大変そうなので、そのまま移植できないのかとネットで調べてみると、あることはあるのですが大変そう。そのまま最初からインストールし直したほうが早いかもしれないということで、前回苦労してインストールしたけれども（そのおかげでほぼやり方は習得できたので）思い切って初期化してしまいました。

右半分のUbuntuは初期化してしまい、その後統合し、新たにインストールという手順です。再度インストールとは言ってもまだあまりソフトは入っていないので、実際はそれほど大変ではありませんでした。前回苦労したNVIDIAドライバやCUDAもすんなり入りました。

せっかくインストールし直すということになったので、試しにUbuntu17.10をインストールしてみました。前回そこそこ動いていたので大丈夫かなと思いましたが、終了ボタンを押すとフリーズしたり、完全にオフになるまで5分かかったりと、まだ少し不安定でストレスもたまるので、このゲーミングノートパソコンと相性のいいUbuntu16.10に戻しました。次期Ubuntu18.04がリリースされるのを期待するしかありません。
最終的には、Windows10をもう一つのハードディスク（256GB:SATA）にまるごと移動したいのですが、危険なのでまだ保留中。

Pytorch(ソース版)でCUDA9.0 cuDNN7.0を試す

GitにあるPytorchのソースをコンパイルするとCUDA9.0とcuDNN7.0で動かすことができるようなので試してみました。
普段はAnacondaやpytorch.orgから入手できるcuda80/cudnn6.0.21/cudatoolkit8.0を使っていますが（CUDA9.0+cuDNN7.0をインストールしているにもかかわらず）、最新CUDA9.0とcuDNN7.0の組み合わせではどのくらい速くなるのか気になります。CUDA9.0は新型GPUであるVoltaのために開発されたらしく、現在使っているPascal（GTX1060）だとあまり効果はでないかもしれません。2〜5倍速くなるとは書いてありますが、おそらく条件が揃わないことにはそこまで速くならないのではないでしょうか。

コンパイルしたGitソース版Pytorch（master）には、CUDAとcuDNNのバージョン確認ができるコマンドがあります。
「torch.version.cuda」でCUDAのバージョン「'9.0.176'」と出ています。このコマンドは現在のソース版からのようです。
「torch.backends.cudnn.version()」でcuDNNバージョン「7004」と出てきます。CUDA8.0の環境だと「6021」と出てきます。

いつもベンチマーク的につかっているサンプル：dcgan/cifar10を1iteration（782回）動かしてみると、

CUDA8.0+cuDNN6.0


CUDA9.0+cuDNN7.0

数回試してみましたが、わずかな差（77.91秒：77.59秒）でしかありませんでした。一応毎回CUDA9.0のほうが0.5秒前後速いのですが、誤差も含まれているかもしれないので、このサンプルでは当てにならない。やはりVoltaじゃないと効果発揮しないのでしょうか。
いずれにしても、圧倒的な差が出るという感じでもなさそうなので、Voltaにしない限りは無理して（コンパイルまでして）使う必要もなさそうです。


ソースからのコンパイル/インストール方法(memo)：
現状：Ubuntu16.10/GTX1060/CUDA9.0/cuDNN7.0/gcc6.2/python3.6
Anacondaの仮想環境にpy359（名前は任意ですがpython3.5）をつくり、その中にインストールしてします。ちなみに、pyenvの仮想環境内にAnacondaの仮想環境をつくり、二重の仮想環境にしています。
ソースからのコンパイル方法はGitにも載っていますが、gccのバージョンでエラーがでたので、gccを別途仮想環境内py359にインストールしています（gcc6.2から5.4へダウングレード）。Ubuntu16.10の場合、gcc5.5が適していると画面に出ましたが、Anacondaから入手できるgcc5.4でなんとかコンパイルできました（多少Warningがでましたが）。
最初にインストールしたい仮想環境に入ってから以下の手順ですすめてみました（ディレクトリはhome直下で、gitに掲載されている方法を参考に）

export CMAKE_PREFIX_PATH="$(dirname $(which conda))/../"

conda install numpy pyyaml mkl setuptools cmake cffi

#conda install -c soumith magma-cuda90  　#（これはなくても動きました）

conda install -c salford_systems gcc-５ 　     # gcc-5.4を仮想環境内へインストール


git clone --recursive https://github.com/pytorch/pytorch

cd ~/pytorch 　　　                         # homeにgit cloneしたpytorchフォルダ内へ移動


#念のためgccとg++（先程インストールしたgcc5.4）のパスを通しておきます

export CC=/home/mirrornerror/.pyenv/versions/anaconda3-5.0.1/envs/py359/bin/gcc

export CXX=/home/mirrornerror/.pyenv/versions/anaconda3-5.0.1/envs/py359/bin/g++


python setup.py install  　#git cloneしたpytorchフォルダ内でインストール実行



#もしコンパイルが失敗したらクリーンしてから再挑戦

python setup.py clean

conda clean --all

コンパイルには5〜１０分くらいかかるかもしれません。
インストール完了後、

conda list

で確認すると、

torch 0.4.0a0+ed64001

というモジュールとして入っています。

それからtorchvision（0.1.9）モジュールも別途必要となりますが、Anacondaからそのままインストールするとpytorch（通常版）も依存的にインストールされてしまうので（コンフリクト起こすかもしれない）、

conda install torchvision --no-deps    #依存関係無視で単体インストール

または、

pip install torchvision

すれば単体でインストールできると思います。
TensorflowもソースをコンパイルすればCUDA9.0に対応するようですが、面倒なのでやめてしまいました。まだしばらくはCUDA8.0でも間に合いそうです。

Deep Learning用ノートパソコン（GPU:GTX1060）のエディタと実行環境

Deep Learning用ゲーミングノートパソコンの設定は一段落したのですが、使っているうちに幾つか気になる点がでてきたので少しだけ以下の環境を見直してみました。

・Python用エディタの設定
・Deep Learning用ライブラリ、プラットフォームの選定
・デュアルブートパーティションによるUbuntuへの割当量

まずはエディタに関してです。

エディタ：Pycharm/Spyder/VS Code/Atom
Pycharmが使いやすいという評判から試してみましたが、案外Anacondaに同包されているSpyder IDEというエディタのほうが使いやすかったです。しかしどちらもややカスタマイズしにくい。それでは人気のあるVS Codeはどうかというと、拡張性もありカスタマイズできそうだし、なにより動きが軽快。ということで、VS Codeで環境を整えていましたが慣れないこともあり、いまいち上手くいかない。それで、いままで使っていたAtomに戻って設定し直してみると、望んでいるような使い方ができるとわかり、結局のところAtomを使うことに。AtomはVS Codeに比べてやや重い感じもしますが、パッケージの豊富さとかなりのカスタマイズ自由度があって使いやすい。

Spyder IDE：　
Anaconda Navigatorからすぐにアップロードでき、比較的使いやすい印象。ただカスタマイズしにくい。ダークのthemeを選んでいるにもかかわらずフレーム部分だけは白いままで変えられない。オープンソースなので、元のソースを変えればカスタマイズ可能だろうけれども面倒。

Anaconda仮想環境に合わせたエディタ：
Atomを選んだ切っ掛けとして、Anacondaの仮想環境に対して設定がしやすいということが一つありました。Anaconda自体はかなり便利なのですが、切り替え可能な仮想環境とエディタをつなげる部分がやや面倒。要は仮想環境PATHへつなぐ設定法がそれぞれのエディタで異なっており、Atomの場合比較的簡単で自由度があったということです。

AtomとAnaconda Navigator：
Anacoda Navigatorでグラフィカルに複数の仮想環境を見比べることができるので便利。インストール/アンインストールもこの画面内で可能。仮想環境切り替えや接続に関してはAtomが比較的使いやすい。

最終的にはAnacondaの仮想環境は上画像のようにrootとpy35（Python3.5）だけにしました。それまでの仮想環境は：

・root（万が一のために備え、ここにはインストールしない/使わない）
・py35（安定版Tensorflow1.4、Pytorch0.2.0など/メインで使う用）
・py27（Python2.7にしか対応していないサンプルなどあるときに使う）
・cuda90（CUDA9に対応したα版Tensorflow1.5やソース版Pytorchなど/最新版実験用）

という感じで複数の仮想環境を使い分けて、どの環境が使いやすいか試していました。ライブラリやパッケージを入れすぎて不具合が出ても、仮想環境ごと消してしまえばいいのでシステムに影響を与えずに済みます。
Tensorflowなどを最新版（α版）にすれば最速になるのかと思いましたが、結局のところまだ不具合があったりサンプルも対応していなかったりとあまり使い勝手がよくない。ということから、サンプルも豊富な安定版を使ったほうがいいという結論に達しました。

Atomのパッケージ：
主には仮想環境の切り替えと接続が容易ということからAtomでの環境整備。MacBook Proのほうでは便利そうなパッケージをどんどん入れていましたが、今回はシンプルに最低限必要なパッケージだけをインストールしました。いまのところ標準装備のパッケージ以外3つだけで充分です。

・autocomplete-python
・platformio-terminal（このターミナルが使いやすい/Python RUN用）
・script（Python RUN用）

ネットで検索するとほぼ英語圏のサイトが多いことから英語表記のほうがわかりやすいため、日本語化しないことにしました。既存のOne Dark：Themeを使っていますが、フォントサイズや見た目的なカスタマイズは、Edit>Stylesheetからstyles.lessファイルで上書き変更しています。

PythonスクリプトをRUNさせる環境：
ここが一番悩んだところで、AtomのなかにもいくつかPythonスクリプトを実行できるパッケージがあり、ただRUNさせるだけであればどれでもいいのですが、ターミナルを使って実行させる方法とボタンやショートカット一発で実行できるものということ、そして仮想環境や作業ディレクトリの切り替えが即座にできるということから、platformio terminalとatom-scriptを選びました。

Anaconda仮想環境切り替え方法：
Anacondaの仮想環境を使っていると、毎回ターミナルで入力が必要になります。通常は以下の状態（Anaconda root：Python3.6）：

そして、以下を入力すると、
$ source activate py35

先頭に(py35)という表示がでて、仮想環境py35：Python3.5に入ったことになります。
追記：現在は「conda activate py35」に変更済み。

which pythonを打てば、どのPython interpreterを使うかという違いが分かります。いわゆるPythonのPATHについてです。

これは、which pythonをつかって両方の環境のPATHを確認してみた画面です。最初のwhich pythonがAnaconda/rootのPATHです。つぎのwhich pythonがAnaconda/py35のPATHになります。
実際のところ仮想環境はAnacondaだけでなく、その手前にpyenvでも仮想環境をつくっています。anacondaで色々試しているため、anaconda内部で不具合が起きてしまったら、pyenvでanacondaごとアンインストールしてしまえばいいというわけです（実際一度anacondaを入れ替えました）。

platformio terminalの設定（かなり便利）：
platformio自体は以前ESP32を試したときに使ったことがあるのですが、今回のようなPython用には設定していないので、あらためて使い直すという感じです。
Packages>Settings>Manage Packagesでインストール済みのパッケージリストからplatformioのsettingsボタンを押して各種設定に入ります。

主には、一番上のほうに出てくるこのあたりを設定します。
特にToggles欄の上から4番目の「Run Inserted Text」と5番目の「Select To Copy」にはチェックを入れておきます。
次にCore欄の、「Auto Run Command」に先程の仮想環境を切り替えるコマンドを入れておきます。ここではさらに、「which python」でPATHの確認、ディレクトリ内のリスト表示させる「ls」もセミコロンで区切っていれてあります。
その下の「Map Terminals To」でタブから「File」を選びます。
こうすると、platformio terminalが自動的に仮想環境に入って、しかも選択ファイルのディレクトリに移動して開いてくれます。

ファイルを切り替えるごとに、
source activate py35
which python
cd ${File}
ls
これらを自動的にやってくれて、仮想環境移行/PATH確認/作業ディレクトリへ移動/ディレクトリ内のリスト表示が一気にでてきて、実行する前の確認や手続きが一発で済みます。
ほかにもターミナルのパッケージがありますが、ここまでできるのはplatformio terminalくらいかもしれません。かなり便利です。
あとはプログラムをRUNさせるだけでいいのですが、もう一つ問題があります。

コマンドオプション付きのPythonプログラムの実行：
PytorchサンプルなどをRUNさせるときによくあることですが、Python Argparseでコマンドオプション（CUDAの有無やイテレーションの設定など）を追記する必要があります。

Pytorch examples/dcgan/main.pyをRUNさせる場合（コマンドオプション）：

parser.add_argument('--dataset', required=True, help='cifar10 | lsun | imagenet | folder | lfw | fake')
parser.add_argument('--dataroot', required=True, help='path to dataset')
parser.add_argument('--workers', type=int, help='number of data loading workers', default=2)
parser.add_argument('--batchSize', type=int, default=64, help='input batch size')
parser.add_argument('--imageSize', type=int, default=64, help='the height / width of the input image to network')
parser.add_argument('--nz', type=int, default=100, help='size of the latent z vector')
parser.add_argument('--ngf', type=int, default=64)
parser.add_argument('--ndf', type=int, default=64)
parser.add_argument('--niter', type=int, default=25, help='number of epochs to train for')
parser.add_argument('--lr', type=float, default=0.0002, help='learning rate, default=0.0002')
parser.add_argument('--beta1', type=float, default=0.5, help='beta1 for adam. default=0.5')
parser.add_argument('--cuda', action='store_true', help='enables cuda')
parser.add_argument('--ngpu', type=int, default=1, help='number of GPUs to use')
parser.add_argument('--netG', default='', help="path to netG (to continue training)")
parser.add_argument('--netD', default='', help="path to netD (to continue training)")
parser.add_argument('--outf', default='.', help='folder to output images and model checkpoints')
parser.add_argument('--manualSeed', type=int, help='manual seed')

このmain.pyをRUNさせるには、これだけコマンドオプションがあります。ほぼdefault（コマンドオプションなし）でもいいのですが、defaultが設定されていない--dataset、--dataroot、--cuda、--manualSeedについてはコマンドオプションが必要となります。ということから最低でも、

$ python main.py --dataset cifar10 --dataroot ./ --cuda --manualSeed 1

という感じでpython main.py以下に必要項目を追記してからRUNさせなければいけません。この部分が面倒で、すべてにdefault値を設けたコードに書き直したり、この一行をコピペできるようにコメントに書いておいたりしていましたが、platformio terminalやscriptだと比較的簡単にできました（まあ、ターミナルでそのまま打ち込んでもいいのですが）。

platformio terminalのコマンドオプション付き実行の場合：
まず、上記のようなコマンドオプション付きのコマンドをコメントに書いておきます。そして最初に設定しておいた「Select To Copy」機能によって、上記コマンド一行をマウスで選択した段階でコピーが済んでおり、あとはペーストするだけになります。さらにペーストをキーマッピングしておきます。

・platformio terminalのSettings画面で「Select To Copy」にチェックを入れておく
・platformio terminalのSettings画面の下のほうにある「Custom Texts」の「Custom test 1」に「python $F」を入力しておく


このSettings画面で設定した内容は、Edit>Config...>config.csonでも編集できます。以下のconfig.csonファイルで直接編集してもいいかもしれません。

ちなみにplatformio terminalの設定はいまのところこんな感じになっています。

・Edit>Keymap...でkeymap.csonを開きキーマップ割当をする
上記の内容をキーに割り当てることで、もう少し入力方法が簡単になります。

これはkeymap.cson内に書き込んであるキー割当のスクリプトです。こちらを参考にしました。
alt-zで選択したテキストを実行します。
alt-xでpython fileを実行します。
コマンドオプションがある場合（例：python main.py --cuda --niter 1）は、コマンドオプションを含めた一行をどこかに書いておいて、それを選択してalt-zで実行するという感じです。
コマンドオプションが不要な通常の方法（例：python main.py）の場合は、そのままalt-xで実行します。キーマッピングなので、都合の良いキーに割当られますが、意外と既にあるショートカットキーと重複することがあるので、試し打ちしてみて使っていないキーの組み合わせを探さないといけません。

実行中停止させるコマンド：
通常ターミナルでプログラム実行中に割り込む命令としては、
一時停止：ctrl-z
ジョブ名表示：jobs
再開：fg 1（ジョブ名）
終了：ctrl-c
となりますが、ctrl-cで終了させるために、kill -9 $$やskill --fullなどをキーマッピングしてみましたが上手く機能しません。もうすこしSIGNALやシェルの勉強が必要かもしれません。最悪、途中強制終了するにはplatformio terminalの画面を閉じてしまうかです。
もしかしたら、platformio terminalはエミュレータのターミナルなのでそこまでの処理ができないのかもしれません。この部分については調査中です。

atom-scriptの場合：
atom-scriptは様々な言語に対応しており人気のあるパッケージだと思います。いろいろ改良されており、jupyter notebookにも対応、一応コマンドオプション付きでRUNさせることもできます。ただ問題はそのままだと仮想環境には自動的に入ってくれないという部分です。Pythonなどの環境変数に対応させるために
atom .
と、ドットつきでターミナルからatomを起動しろと書いてあります。これが煩わしいので、専用のatom起動用アイコン（ランチャー）をつくり、ドット付きの起動を可能にしました。

atom仮想環境用起動アイコン（ランチャー）：
・「/usr/share/applications」の中の「Atom」アイコンを右クリックでコピー
・デスクトップなどにペーストし、右クリックでプロパティ画面を開く
・名前を「AtomPY35」などと変える
・コマンド欄に以下のような環境変数とドット（２箇所あり）を含めたシェルコマンド書く
＊シェルコマンドについてはまだ勉強不足で不確かな部分もあるのですが、一応以下でも動きました。sourceの代わりにドット（.）を使っていますが、もしかしたらexportなど使ったほうがいいのかもしれません。

bash -ic ". /home/mirrornerror/.pyenv/versions/anaconda3-5.0.1/bin/activate py35; atom .; exec bash"

・ターミナルで新アイコンが置いてあるDesktopへ移動

cd ./Desktop

・新アイコンを「/usr/share/applications」へコピー移動する

sudo cp AtomPY35.desktop /usr/share/applications

・一度「/usr/share/applications」内から「AtomPY35」をクリック起動し、ランチャーにアイコンが並んだらランチャーに登録しておく

画像の色も微妙に変えておくといいかもしれません。通常用のアイコンと仮想環境用のアイコンを複数つくっておけば状況に応じて使い分けも可能です。そうすれば煩わしい事前設定をせずにアイコンクリックで仮想環境でのatomが使えるようになります。

atom-scriptでのRUN方法：
Packages>Scriptの中には
Script: Run by Number （jupyter notebook用）
Run Script (python main.py/コマンドオプションなし)
Run with profile (python main.py --cuda --niter 1/コマンドオプション付き)
Stop Script
Configure Script（環境変数やコマンドオプションなどの設定）
Close Window and Stop Script
Copy Run Results

という感じでいろいろあります。
一度対象のプログラムにフォーカスを与えてから、「Configure Script」をクリックすると、

このような設定画面が現れるので、「Program Arguments:」にコマンドオプションとなる「--cuda --niter 1」を記入して右下の▶Runボタンを押せば実行できます。この場合、ターミナルは起動しなくても実行できるので比較的簡単な操作になると思います。この内容を「Save as profile」ボタンで保存しておけば、次回からボタン操作だけで実行可能となります。

一旦保存すれば、このプログラムの設定を含んだ「dcgan（名前は任意）」というボタンが生成され、Packages>Script>Run with Profile（Shift+Ctrl+Alt+B）から「dcgan」ボタンを押して▶Runボタンで実行できます。
Stop Script（Ctrl+Q）もあるので途中で終了も可能です。

platformio terminalとscriptの二つがあれば、ほぼ問題なく簡単に実行できると思います。というわけで、エディタと実行環境については思っていたようなことができるようになったので一安心です。

GPU:GTX1060で再度DCGAN(CelebA)を試してみる

前回MacBook Pro（2014年製）でDCGANサンプルCelebAを動かすと29時間もかかりましたが、今回GPU：GTX1060で試してみたところ、たった36分で終わってしまいました。MacBook ProのCPUで計算するよりも約48倍高速という結果が得られました。予想以上に速くて驚きました（というかMacBook Proが遅すぎなのかも）。

MSI GS43VR 7RE Phantom Pro（14型ゲーミングノートPC）

プロセッサ：Intel Core i7-7700HQ
GPU：　GeForce GTX1060（6GB）RAM： 16GB

Ubuntus 16.10

ndivia-384

CUDA9.0

cuDNN7.03

Python3.6

Anaconda仮想環境（python3.5/cuda80/cudnn6.0/tensorflow-gpu1.3）

約20万枚の画像（64x64px）を使って6330回動かしてみた結果です。これらの顔画像はDCGANによって生成されたものであり、実在の顔ではありません。結果は前回と代わり映えしないですが、GPUによる圧倒的な速さで、今後このような画像生成も時間をかけずにいろいろ試していけそうです。
前回問題だったのは、一度プログラムを動かしてしまうと数十時間他のことができなくなってしまうということでした。しかしながら、この手のプログラムであれば、1時間もかからず結果が出せるので、効率よく作業ができそうです。

こちらは、実行中にnvidia-smiでGPUの状況を出力したものです。GPU稼働率91%ということでしょうか？
また、nvidia-settingsと打てば、以下のような画面もでてきます。

ここではGPU稼働率98%になっています。

GPU出力はAuto/Adaptive/Prefer Maximum Performanceがあるようです。いつのまにかAdaptiveが選択されていました。試しにAutoに変えてみようかと。

実行中はGPUの温度が72度前後でした。普段は50度前後なので、そこそこ熱くなっているようです。そのためファンはほぼ全開で動いていました。

Anacondaを通してTensorflow-gpu1.3をインストールしていますが、GPU用にコードを書き直さなければいけないと思っていたら、GPUがあれば自動的に優先して計算してくれるようです。Tensorflowサイトの「Using GPU」に書いてありましたが、tf.device()で意図的に使うこともできるようです。Pytorchなら、torch.cudaもしくは.cuda()。

Anaconda Navigator：
Anacondaのおかげで、Ubuntu16.10、CUDA9.0、cuDNN7.0をインストールしたにもかかわらずGPUが機能していると思っていますが、Anacondaをインストールするとライブラリの検索やインストールもすぐにできるAnaconda Navigatorも使えるようになります。Anaconda.cloud（要登録）につなぐとさらに便利になります。

anaconda-navigatorと打てば、このような画面が出てきて、わざわざターミナルでタイプしなくてもここでライブラリやパッケージをインストール/アンインストールできます。またjupyter notebookもボタン一つで立ち上がってくれるので便利です。いくつかアプリケーションも含まれており、spyderというエディターもかなり便利そうでした。Anaconda一つあればすべて済んでしまうという感じです。ただ問題としては、MacとWin用のAnacondaの場合はランチャーがあるのですが、Linux用だけないようです。しかたなく、ここを参考に自力でつくりました。

MacBookのほうではAnacondaを入れていないので（元々Pythonにもvirtualenvやpyenvなどの仮想環境はありましたが）、それぞれインストールなどはpipとhomebrewで行っていました。今回Anacondaを導入して、仮想環境の便利さが分かったので、Macのほうにも入れてみようと思います（またいろいろインストールし直さなければいけませんが）。

環境はだいたい整ったので、Kaggleなどもやってみたいと思います。

関連：

tf.kerasでDCGAN（Deep Convolutional Generative Adversarial Networks）

デュアルブートWindows10/Ubuntu16.10/NVIDIA-384/CUDA9.0/cuDNN7.0/Anaconda

前回の投稿にも書きましたが、現在使用しているMacBook Pro（2014年製）の後継機として、MSI GS43VR 7RE Phantom Proという14型のゲーミングノートパソコンを購入しました。GeForce GTX1060のGPU内蔵なので、Deep Learningの計算をさせればMacBook Proよりもずっと速いはずです。Windows10ですが、Deep Learningのプログラミング環境では、Linuxのほうが高速に処理してくれるらしいので、Linux（Ubuntu）とWindows10のデュアルブートにしました。

MSI GS43VR 7RE Phantom Pro　ゲーミングノートパソコン：
プロセッサ：Intel Core i7-7700HQ
GPU：　GeForce GTX1060（6GB）
RAM： 16GB
HD： 256GB（PCIEx Gen3） + 256GB（SSD/SATA:オプション変更）
画面:14インチ/1920x1080px
サイズ：345x245x22.8mm
重量：　1.8kg

Deep Learning用のパソコンにするには、以下のことが必要らしい。
・デュアルブート（万が一LinuxがダメならWindowsに戻るため）
・Ubuntuのインストール（ほぼ定番）
・NVIDIAドライバ（GPUドライバ）のインストール
・CUDA（NVIDIA/GPU並列計算プラットフォーム）のインストール
・cuDNN（NVIDIA/Deep Learning用ライブラリ）のインストール
・Anaconda（Python統合環境/Python3.6含む）のインストール
・Pytorch（Deep Learningライブラリ）のインストール
・Tensorflow（Deep Learningライブラリ）のインストール
・PyCharm（エディタ）のインストール

1日で終わればいいけど、そう簡単には終わらないはず。特にLinux（Ubuntu）で環境を整えるのは、バージョンの違いなどもあるためかなりハマりそう。ネットで調べてみてもトラブルが多い。
結果的には何とか動きましたが、何回もインストールし直し、思うようにいかず設定に数日かかってしまいました。

これはUbuntu16.10上の画面です。通常Ubuntu16.04が最適なバージョンですが、MSiのゲーミングノートPCとは相性が悪いのかフリーズしたりほとんど使えない状態でした。やむを得ず、Ubuntu16.10にしてみて悪戦苦闘の結果なんとか動いたという感じです。Ubuntuのバージョンによって、対応するドライバやライブラリなどが変わってしまうので、その組み合わせが難しい。
Ubuntuを何回もインストールし直していると、コンピューター好きには楽しいのですが（コンピュータの構造、シェルコマンド、viエディタの使い方などに詳しくなってしまう）、いつのまにか環境構築が目的（達成感や克服感）となってしまい、本来の目的であるLinuxで何をするかということから次第に遠ざかってしまい、時間ばかり消費してしまうのであまり深追いはしないほうがいいと思います。

理想的な組み合わせ：
・Ubuntu16.04
・NVIDIAドライバ　nvidia-384（多分低すぎなければいい）
・CUDA 8.0（対応：Ubuntu16.04/14.04、Tensorflowなども対応）
・cuDNN 6.0/7.0

最終的な組み合わせ：（なぜか無事動いた）
・Ubuntu16.10/Windows10デュアルブート（gcc 6.2.0）
・NVIDIAドライバ　nvidia-384
・CUDA 9.0（対応：Ubuntu17.04/16.04、未対応：Tensorflow/Pytorch）
・cuDNN 7.0.4 for CUDA 9.0
・Anaconda 4.3.30（cuda80/cudnn6.0.21/Tensorflow-gpu1.3.0）
・Pytorch （Linux/conda/Python3.5/CUDA8.0）

矛盾するけれどもAnacondaで解消？：
NVIDIA製CUDA8.0だとUbuntu16.04のgccバージョン5（6未満）でなければならず、Ubuntu16.10にしてしまうとgcc6.2になってしまう。仮にgccを5へダウングレードしても、CUDA8.0をUbuntu16.10にインストールするとgcc6.2へアップグレードされてしまうので、やむを得ずCUDA9.0ならびにcuDNNもCUDA9.0用をインストール。とりあえず、CUDA9.0とcuDNN7.0のマニュアルにある動作確認では問題なし。
ちなみにTensorflowやPytorchはまだCUDA9.0には未対応。
Tensorflow1.5からCUDA9.0に対応するらしい。いちおうベータ版Tensorflow1.5はあるけれども、ソースをコンパイルしてインストールしなければならない。またベータ版PytorchであればCUDA9.0でも動くらしい。
しかしながらAnacondaをインストールしてみると、仮想環境のおかげなのかCUDA8.0+cuDNN6.0対応のTensorflow-gpu1.3とPytorchのサンプルがきちんと動きました。もしかしたらUbuntu17.10（最新）でも動くかもしれないけれど、またインストールし直すのは大変なのでやめました。

Tensorflow-gpu/CNN/CIFAR10での実験：
ということで、CIFAR10のサンプルで試してみました。以下がGPU（GeForce GTX1060）で動かしてみた内容。右端の数値を見ると0.018〜0.019sec/batchとなっています。これはかなり高速。

ちなみに、MacBook Pro（GPUなし）のほうでも同じように動かしてみると、以下。

0.680sec/batch前後という結果。比較すると、GPUのほうが約36倍速いということになります。あまりに違うので、いままでMacBook Proを使っていたのが馬鹿馬鹿しく感じてしまいます。その他VAEのサンプルで試すと約6.5倍の速さでした。CNNのサンプルに関しては、cuDNNを使っているためか、かなり効果があるようです。特にエラーもでないし、このような歴然とした結果からおそらくGPUはきちんと機能しているはずです。

ネットで設定例がたくさん見つかるので、ここでは細かな内容は省きますが、手順を一通り書いておきます。

デュアルブート下準備：
・Windowsの「ディスクの管理」でパーティションを区切り約120GBをUbuntu用に確保
・USBメモリースティック（8GB）をFAT32フォーマット化
・Ubuntuをダウンロード
・Rufusソフトをダウンロード
・Rufusを使ってUbuntuをUSBメモリースティックへLiveCDとして書き込む
・再起動しBIOS画面にする（起動中Deleteキー連打/違う機種だとF2キー連打）
・BIOS画面内でFast boot無効、USBメモリースティックを最優先に起動順序を変える
ハマりどころ：
Windows10のボリュームはすでに5個くらいに分割されており、Ubuntu用に充分な領域を確保できないけれども、後から変えることもできるはず。それほどこの段階では問題はない。

Ubuntu：
・USBメモリースティックからUbuntuが立ち上がったらWifiとつないでおく
・Ubuntuのインストール（使用言語、地域、ユーザ名、パスワードなどの設定）
・インストールされれば再起動
・また起動中にBIOS画面にしてPCにインストールしたUbuntuを最優先起動に設定する
・Ubuntuとして起動したら、Wifiなど基本事項を設定
ハマりどころ：
Ubuntu17.10が最新バージョンだけれども、CUDAには正式に対応していないためUbuntu16.04を選ぶのがいいとされる。しかし16.04（日本語版）をインストールしてみたところディスプレイ解像度変更不可、ネットがつながらないなどの問題発生。オリジナル版もフリーズしたり機能上の不具合が多くで断念。つぎに16.10を試してみると何とか動いた。さらに次の候補となる17.04もフリーズ、17.10はかろうじて動くがたまにフリーズする。16.10くらいしかまともに動かないため、やむを得ず16.10で以下の作業を進めることに。しかし気がかりなのは、CUDAが17.04か16.04にしか正式に対応していないという点。

NVIDIAドライバ：
・NVIDIAサイトからドライバのダウンロード
・Nouveauの無効化
・Ubuntu上で仮想コンソールへ移動してドライバのインストール
・BIOS画面でセキュアブート無効にする

ドライバを入れた後（CUDA無し）、ターミナルでnvidia-smiを入力してこの画面が出ればOK（しかしなかなか出なかった）。

ハマりどころ：
ほとんどはUbuntuのターミナルからインストールするけれども、一旦GUI表示を無効にして仮想コンソールへ場所を移して、そこでドライバのインストールをするというややこしい手順。また、viでNouveau無効化ファイル作成するため、viの使い方も知らないといけない。セキュアブート無効を忘れるとログインループにハマったりGUI画面が表示されなくなったりします。後から気づいたけれども、セキュアブート無効にすればこのような面倒な手順は不要かもしれない。最初nvidia-375をインストールしていましたが、他のソフトを入れると最新のnvidia-384に引き上げられてしまうようです。結果的には問題なし。

CUDA：
・NVIDIAサイトからインストーラのダウンロード
・CUDAのインストール
・パスの追加
ハマりどころ：
作業事態は単純だけれども、どのバージョンをインストールしたらいいのか迷う。最新はCUDA9.0だけれども、まだTensorflowやPytorchは対応していない。それではCUDA8.0にすればいいかというと、Ubuntu16.10のgccのバージョンと対応しなくなる。現状では他の環境やライブラリがまだCUDA8.0にしか対応していないため、CUDA9.0を使わないほうがいいみたい。CUDA8.0にとどまるなら、Ubuntuを17.04にアップグレードするという手もあるけれども、このMSI GS43VRは17.04でもフリーズしてしまう。かろうじてUbuntu17.10では動くのだけれども、一旦ここまでインストールしてしまうと17.10へ変えにくい。というわけで、使用するパソコン、ライブラリ、ドライバ、プラットフォームのそれぞれのバージョンがうまく噛み合わなくて選択が難しい。CUDAのバージョンに振り回される。
CUDAでつまづくようなら、NVIDIAサイトからダウンロードせずに、
sudo apt-get install nvidia-cuda-toolkit
でインストールしたほうがいいかもしれません。

cuDNN：
・メール登録が必要
・CUDAのバージョンに合わせてNVIDIAサイトからダウンロード
・Ubuntuへインストール
ハマりどころ：
特に難しくはない。このライブラリを使うとかなり高速になるようです。tarファイル版は一気にダウンロードできるけれども、なぜかマニュアルにある動作確認用サンプルが含まれていない。3つあるdeb版なら3つ目がサンプルなのでいいかもしれない。

Anaconda：
・pyenvを最初にインストール（こちらを参考にしました）
・pyenvにパス通す
・Anacondaをインストール（Python3.6含む）
・tensorflow-gpu1.3をインストール（Anaconda内）
・pytorchをインストール（Anaconda内:pytorch/torchvision/cuda80）
・cudnnをインストール（Anaconda内）
*Anaconda経由（あるいはanaconda-navigator）で、tensorflow-gpu1.3、pytorch、cuda80、cudnn6.0をインストールできるのでかなり楽。Anaconda cloudに登録し、cloud上で必要なライブラリを探すのもいいと思います。場合によってはpython2.7もインストールして仮想環境をつくっておくといいらしい。
結果的には、まだ未対応のCUDA9.0とcuDNN7.0（CUDA９．０用）をNVIDIAからインストールしたにもかかわらず、Anacondaの仮想環境とpytorch/cuda80/cucnn6.0のおかげで無事動いたのかもしれない。

PyCharm（エディタ）:
・サイトから無料のcommunity版をダウンロード
・解凍したあと、pycharm-community-2017.2.4/binへ移動し、./pycharm.shで起動。
・Anacondaのパスとつなげておく（確かデフォルトでつながっていたような）
・エディタ内でターミナル使用、git pullも可能
・pytorchのdcganサンプルなどにあるコマンドラインオプション/引数なども登録可能
＊例えば、
python main.py --batchSize 128 --cuda --ngpu 1
などのmain.pyのうしろにつける設定項目（こちらを参考に）。

まとめ：

・Linuxと使用するパソコンとの相性次第（ダメならWindowsで）
・BIOS画面でFast BootとSecure Bootを必ずオフにする
・Anacondaを使う
前半は先が見えずかなり苦戦し、UbuntuがだめならWindows10にインストールするしかないとも考えていました。海外国内問わずネット上にはなかなか動かない例もたくさんあり、予想以上に面倒でした。Linux固有のトラブルと、ハード、ソフトそれぞれの対応が微妙にずれており、しかも今後リリースされるライブラリも徐々にバージョンアップしていくので、またインストールし直す時がくるので面倒です。Ubuntuは年2回（4月と10月）にバージョンアップするらしく、次回18.04は2018年4月という意味でLTS（Long Term Support/5年間）になる予定。
しかしながら、一度設定できればGPUのパワーはすごい。MacBook Proもそこそこ速いのではないかと思っていましたが、そんなことはありませんでした。やはりGPU搭載のパソコンは圧倒的に作業時間が短縮されていいと思います。特にCNNなどの層が厚いアルゴリズムでは効果てきめんという感じです。

Linuxはトラブルが多いと思うのですが（ドラブルがあれば自分で直すという姿勢からか）、一旦動き出せば、機能も見た目もシンプルだし元々軽快なためか計算速度も速いらしいでの、できるだけWindowsを使いたくありませんでした。WindowsはしばらくTensorflowにも対応しておらず、Pytorchにおいては公式ではLinuxとMac版だけ（WIndows版はAnacondaからインストール可能）。MicrosoftがCNTKをリリースしたものの、Windowsはやや一歩遅れというのも気になります。

また、DockerやAWSなどのクラウドへUbuntu16.04をインストールし（必要に応じてその他のライブラリも）、GPUで計算させるという方法もあるようです。どうしても時間を短縮したいという場合は有料（数百円）にはなるけれどもいいかもしれません。コーディングは普通のノートパソコンでやって、計算のときはクラウド利用するというのが一番スマートな方法（ものを持ちすぎない）だと思います。

Tensorflow1.4でKerasが取り込まれ、さらにはEager（まだpre-alpha版）も登場し（tf.learnやtf-slimはどうなってしまったのか）、まだまだ変化がありすぎる状況です。現在はCUDA8.0とcuDNN6.0/7.0が主流だと思うのですが、数ヶ月以内ですぐにCUDA9.0に対応してしまうと思います。半年後にはUbuntu18.04LTSがリリースされ、そのころにはまた新たなライブラリや環境が登場していると思うのできりがないという感じです。

Deep Learning用GPUノートパソコン

Deep Learningで学習する際に、現在使用しているMacbook Pro（2014年製）だとCPU計算のため数十時間とか普通にかかってしまいます。あまりにも効率が悪いので、GPU搭載のパソコンの必要性が高くなってきました。GPUパソコンを新規購入せずにクラウド（有料）で計算させる方法もありますが、外付けGPUという手段もあるようです。性能的な面から言えばデスクトップ型のGPUパソコンが一番効率良さそうですが、個人的には持ち歩きをするために、幾分スペックが落ちてもGPUノート型（ゲーミングノートパソコン）がいいかなと。

外付けGPU：
最近は、MacBookでも外付けできるGPUがあるらしい。

SONNET ( ソネット) eGFX Breakaway Box (Thunderbolt 3-to-eGPU PCIe Card Expansion System) サンダーボルト 拡張ボックス 【国内正規代理店品】 (350W)

Posted with Amakuri at 2017.11.10

Mac OS X, Windows 7

SONNET ( ソネット)

販売価格 ￥41,688

Amazonで詳細を見る

こちらはグラフィックボードは別売り。

GIGABYTE ビデオカード GTX1070搭載 外付けVGA BOX GV-N1070IXEB-8GD

Posted with Amakuri at 2017.11.10

日本ギガバイト

販売価格 ￥84,812

Amazonで詳細を見る

こちらはGeForce GTX1070も含まれた値段。Macで確実に動くかどうかは分からないけれども、10万円以下で高速になるのであればかなり助かります。

GPU比較：
ということで次はGPUの比較。最近のNVIDEAのGPUだと、
GeForce GTX 1080Ti : 約10万円（922）
GeForce GTX 1080　：約7万円（725）
GeForce GTX 1070　：約5万円（602）
GeForce GTX 1060　：約3万円（440）
当然数字が大きいほどパワフル。（）内の数字はドスパラによるベンチマーク値。主にグラフィック処理に関する数値だと思うので、Deep Learningにおける並列計算でのベンチマークとは少し違うと思いますが一応目安として。
一番下のGTX 1060は比較的安価ですが、それでも現在のMacBookよりは遥かに速いはずです。個人的にはGTX1070が無難かなと思うので、外付けなら合計で8万円前後となりそうです。しかしながら外付けの場合は、ThunderBolt経由となるのでスピードがワンランク落ちるらしい。
ということから、GPUを外付けするよりも新たにGPU付きパソコンを購入したほうがよさそう（現在のMacBookも古くなってきたし）。

デスクトップかノートか：
新規購入となるとデスクトップ型かノート型かということになります。当然デスクトップ型のほうがコストパフォーマンスは高くなりますが、現在のMacBookのかわりに使うことにもなるので、ノートのほうが個人的には好ましい。ということで、GPU付きノートパソコンを探すことに。

GPU付きノートパソコン：
GeForce GTX 1070搭載ノートPCとなると20〜25万円のゲーミングノート。値段的には新しいMacBook Proとあまりかわらないけれども画面サイズが15型になってしまう。現在のMacBook Proは13.3型で非常にコンパクトなのですが、15型になると持ち運びするには大きすぎるし重量もあります。

14型以下のGPUノートパソコン：
ゲーミングノートパソコンのほとんどが15型以上となる中で、数少ないながらも14型以下もあるようです。しかし、そのほとんどがGeForce GTX 1060以下となってしまいます。とはいっても普通のMacBook Proよりは断然速い。一つ前もMacBook Proを使っており、現在もMacBook Pro、次もMacBook Proを購入することになると思っていましたが、せっかくなのでGPU付きに方向を変えてみようかと。そうすると以下の3つが候補。

・Dell Alienware 13（194,378円/税込み）、画面13.3インチ、330x269x24mm、2.6kg
・MSI GS43VR （195,000円/税込み）、画面14インチ、345x245x22.8mm、1.8kg
・Razer Blade 14（234,144円/税込み）、画面14インチ、345x235x17.9mm、1.86kg

追記：
上記は2017年製の型番であり、2018年製であれば
・MSI GS65 Stealth Thin 8RE-005JP（Arkで233,800円）、357.7×247.7×17.9mm、1.88kg
がいいかもしれません。


それぞれ以下のようなスペックでの比較にしてみました。
画面サイズ：14型未満
RAM：16GB
HD：SSD256GB
GPU：GeForce GTX 1060
＊GeForce GTX 1060未満のゲーミングノートもあるのですが、候補外にしてしまいました。

Alienware 13は、Dellとは言え独立したブランドらしく、ほとんどDellらしさはありません。見た目的にはかっこいいゲーミングノートという感じ。タッチパッド部分が光るというのは珍しいけれども、左右クリックボタンがついているのが、個人的には邪魔という感じ。画面が13.3インチで一番コンパクトなのですが、なぜか重い。ゴツい排気口もあって頼もしそう。そのため少し縦長ですが、元々コンパクトなのでそれほど大きさは気にならないかもしれません。41,400円上乗せすれば、MacBook ProのRetinaディスプレイと同等の2560x1440の高解像度+タッチパネルに変更できるようです。ゲーム目的ではないのでそこまでは必要ないと思います。秋葉原にショールームもありサポート窓口になってくれるらしく、国内でもサービス面ではなんとか大丈夫そうです。

MSI GS43は、見た目はいかにもゲーミングという感じですが、中身的にはバランスがとれていそうです。排気もけっこうこだわっているようです。故障やサービス面については秋葉原のArkが窓口になるようです。通常ノートパソコンでは後からメモリ増設ができないものが多いのですが、MSIの場合Arkに持っていけば対応してくれるようです。重量も1.8kgなので、ゲーミングノートのなかでも軽量な方です。アメリカでも人気あるようです。それと保険が最初から2年ついています。

Razer Blade 14は、MacBook Proを真っ黒にしたようなシンプルでスタイリッシュな外観ですが、完全に外国製品という感じで取り扱っているところも少なく、故障の際も部品取り寄せなど面倒らしい。値段もやや高価。厚さも薄くスペック的にも悪くはないのですが、日本に窓口ができれば値段を引き下げることも可能だろうし、もう少し安心して購入できそうです。付属のACアダプターも小型化の工夫がされているようです。

まとめ：
おそらく現在使用しているパソコンと比較した場合に、それぞれの印象が異なると思います。個人的には、Alienware 13はサイズはいいのですが重いというのがひっかかります（現在13.3インチMacBook Proが重量1.57kgなので）。
外観においてはMSI GS43が一番かっこわるいのですが、2年保証付きで、後からメモリ増設可能であったり、サービス/サポート面や機能面においては一番優れていそう。
Razer Blade 14は確かに魅力的ですが、国内サポート面での不安定さとやや高価であるという部分がひっかかります。数万円高価になるなら、他の機種においてメモリを16GBから32GBに取り替えたほうがよさそうとも考えてしまいます。
ゲームをするわけではないので、やはり総合的に見るとMSI GS43がよさげです。見た目さえ我慢すればいいという感じです。

通常、デスクトップ型にGTX 1070を積むのがコストパフォーマンスに優れるのだと思いますが、現在使用しているMacBook Pro（13.3型）の代わりにもなるものとしてポータブルなものを選ぶと14型のGTX 1060ゲーミングノートパソコンとなってしまいます。そのため性能的な意味においては妥協しなければならないのですが、それでもMacBook Proよりは遥かに速いので不満は残らないでしょう。

AnacondaでPythonを管理してPytorchを使おうと考えているので、そうするとWindowsだとやや不都合があるため、OSはLinux/Ubuntuにしたほうがよさそうです。

追記：
最近はGoogle Colab（無料GPU/TPUクラウド）を使えば高速演算が可能なので、必ずしもGPU付きコンピュータが必要ではなくなったかもしれません。

関連：
・GPU:GTX1060で再度DCGAN(CelebA)を試してみる
・Google Colabの無料GPUで強化学習（Keras-RL）を試す

Google AIY Voice Kit（Pimoroni）到着

一ヶ月ほど前にPimoroniに注文していたGoogle AIY Voice Kitが到着（26.33ポンド/約4000円：送料込み）。いわゆる音声認識キットで、元々は雑誌MagPi（57号/2017年5月）の付録です。当初はあっという間に売り切れてしまい、その後Ebayなどでも1万円くらいの高値がついていました。以前、ESP8266とWeb Speech APIで音声認識スイッチをつくっていたときも入手困難となっており諦めていましたが、ちょっと前に再販したようで一ヶ月ほど待たなければいけない予約販売でしたがついつい買ってしまいました。

現在Pimoroniではもうすでに売り切れのようですが、日本のKSYでは11月末以降に入荷されるようです（3000円/税抜き）。

中身はこんな感じ。75ページもあるカラー小冊子マニュアル。Web上ではAIYのサイトであるここにマニュアルがあります。
1時間もあれば一通り試すことができそうですが、個人的には音声認識に対する興味はやや失せてしまっており、まだやる気が起こりません。あと、Googleを使わなければいけないというのも、やや面倒。

この丁寧に説明されているマニュアル（冊子）を見ると面白そうですが、最近ではGoogle Home mini（6480円）、Amazon Echo Dot（5980円）、Anker Eufy（4980円）という小型で安価なスマートスピーカーも登場してきたので、このAIY Voice Kitを買うまでもないかも。たしかに微妙なところ。しかし、いろいろ試したりするにはいいのかもしれません。製品よりはHackしやすいはず。

AIY Voice Kitの紹介動画。

基本的にはGoogle Cloudのアカウントをつくり、Google Assistant SDKを通して、ラズパイに書いたPythonスクリプトで動かすようです。以下のサイトにはサンプルなどがあるので、Pythonで任意のプログラムを書き換えればいろいろ応用はできそうです。

・AIYプロジェクトサイト

・AIYのGithub

・AIY APIのGithub

Googleにとっては、Google Cloudを使ってもらう切っ掛け（宣伝）としてはいいのかもしれません。

そのうち気が向いたら組み立ててみようと思います。

Wifiカメラ付きLED電球/AliExpress

以前AliExpressから購入した人感センサ付きLED電球の延長で、またいろいろと物色していたら今度はカメラ付きのLED電球というものがありました。以下。

AliExpress.com Product - light bulb Wireless camera 960P bulb Panoramic 360 degree camera with fisheye lens use E27 Port 1.3MP LED Bulb wifi camera3283円（送料無料）
どうやらスマホを通して、照明をON/OFFしたりカメラで監視できるようです。カメラがついているため少々高価ですが、マイクやスピーカも内蔵されているようで、スマホからの呼びかけで音もでるようです。カメラやWifi技術が安価になったため、このような装置は簡単に製品化できるのでしょう。既存の電球のソケットに差し込むだけでいいのでインフラを変える必要もないし設置場所もとらずに済みます。Iotや人工知能で複雑なことをしなくても、こういった既存の安価な技術の組み合わせだけでも、まだまだ便利なものをつくることはできそうです。スマホやパソコンだけではなく、そのうちすべての電化製品にカメラとWifiが標準装備されていくのでしょう。ただ、このような装置を配置することで、人工知能に必要なデータを収集していくには便利かもしれません。オフィスや普通の家庭内の各部屋にこのようなカメラ付き照明が取り付けられるのだとは思いますが、プライベートが筒抜けになるので、その辺は気をつけたほうがいいのかもしれません。店舗などに設置すれば、セキュリティだけでなく客層や客の行動パターンなどのマーケティングに有効なデータが簡単に集められそうです。ついつい、人工知能の技術を用いて何ができるかというアウトプット側のインテリジェントデバイスばかり想像してしまいますが、このような人工知能に必要なデータ収集するインプット側のデバイスを安価につくるのもこれからは必要だと思います。アウトプット側のデバイスについては、やはり既にデータセットを持っている大企業にはかなわないので、中小企業はインプット側（データ収集側）のデバイス開発をしたほうがいいのかもしれません。そうすれば、人工知能のノウハウを持たない中小企業であっても、人工知能に便乗した製品をつくることができ存続していけるのかもしれません。まだ購入はしていないのですが、そのうち購入してみようかと。

Coursera: Convolutional Neural Networksコース開講

ようやくCouseraのDeep Learningシリーズのコース4であるCNN（Convolutional Neural Networks）が開講したようです。

以前コース1〜3までは受講してしまい、その続きとなります。UdemyのCNNコースで一通り学びましたが、復習も兼ねてやってみようかと。再登録というかたちになるのですが、料金（$49）を支払ってのenrollというよりは、単なる聴講というかたちで覗いてみることにしました。聴講（無料）でも、講義の動画やプログラミング課題まではアクセスできるようです。ただし、字幕はまだ英語のみ。

CNNコースは：
Week1: Foundations of Convolutional Neural Networks/動画106分
Week2: Deep convolutional models: case studies/動画99分
Week3: Object detection/動画84分
Week4: Face recognition & Neural style transfer/動画79分

という構成になっており、各Weekでクイズやプログラミング課題があるようです。
後半の物体検知/顔検知/スタイル変換は面白そうです。

早速Week1の動画から見てみました。最初はConvolutionの基本原理となる、フィルター、パディング、ストライド、valid/sameなどの説明です。スタンフォード大のCS231nの授業動画でも学べますが、やはり定評あるAndrew Ng先生の場合は丁寧に教えてくれます。抜け落としていた知識を補うためにもちょうどいい感じです。
実際コーディングする場合は、conv2d()などの関数を使えばすぐに実装できるのですが、Week1の最初の課題では、numpyを使ってフルスクラッチでConvolutionレイヤーを実装するようです。一旦仕組みを理解するにはよさそうです。2個目の課題からはTensorflowの関数を使っているので、より現実的な実装の仕方を学んでいくのだと思います。
Week2からのプログラミング課題はkerasを使うようです。

今後開講されるコース5：Sequece Modelでは、RNNやLSTMを学ぶようです。スタンフォード大学のCS230という授業がこのCourseraのコースと連携しているので、CS230のシラバスをみると、コース5は11/27以降というスケジュールになっています。

データセット：CIFAR-100の読み込み/tflearn DCGAN

引き続きDeep Learningの画像生成GAN（Generative Adversarial Network）について、いろいろ試しています。最近では3DデータのGANもあるようです。このThe GAN ZooというところにはいろんなGANがのっていますが、とりあえずは、鮮明な合成画像をつくりだすことが可能なDCGAN、そして一方の属性を他の属性へ合成するDisco GANなどを試そうと思っています。

GANの前にVAEの学習：
GANを勉強するためには、その前にVAE（Variational Autoencoder）を理解したほうがいいということで、ここしばらくはVAEを勉強していました。VAEを学ぶ前には、Autoencoderというアルゴリズムがあり、それは簡単な仕組みなのですが、VAEになるとかなり難しい概念が登場してきます。

・Autoencoder：簡単なエンコード/デコードのアルゴリズム
・VAE：正規分布、ベイズ推定、変分ベイズ、KLダイバージェンスなどの知識が必要

VAEの場合、途中で確率分布に置き換えるという手法が特に難解だったのですが、そういう手法をとることで、デコード（生成や再現）が可能となるというのは、なかなかの発見でした。その他の生成モデルにおいても確率分布を使うことがあるので、このあたりの手法はある程度理解しておいたほうが後々役に立ちそうです。

ということでVAEも面白いのですが、そろそろGANに移行しようということで、いろいろサンプルを物色していました。主にはTensorflowを使っていますが、最近のGANのソースはPytorchで書かれているものも多く、Kerasなども含め比較的シンプルに書けるライブラリが増えてきたようです。tflearnというTensorflowをシンプルにしたライブラリもあり、かなり短いコードで書くことができます。

tflearnでDCGANを試す：
tflearnのexamplesにあるdcganのサンプルはたった138行しかないので試してみました。しかし、このサンプルはこのままだとエラーがでるようで、この訂正のページ（dcganの欄）にあるように102、103、110行目の最後に「,2」を追加する必要があります。訂正すれば動くのですが、このdcganのサンプルも相変わらずMNIST（手書き文字）であり結果はあまり面白くはないです。せっかく画像生成のアルゴリズムなので、もう少し面白い画像を使ったほうがいいのですが、気の利いたデータセットがないというのが現状でしょうか。前回Udemyのコースで試したCelebA（セレブ顔画像）　ならまだましかもしれません。

データセットについて：
他にデータセットはないかと探してみましたが、こちらに詳しく書かれています。
MNIST：手書き数字、70000（Tr:55000/Vl:5000/Te10000）、白黒、28x28px、
CelebA：セレブ顔、202600、カラー、178x218px
CIFAR-10：10クラス、60000（10x6000）、カラー、32x32px
CIFAR-100：100クラス、60000（100x600）、カラー、32x32px
Fashion MNIST：洋服/靴/鞄など10クラス、60000+10000、グレー、28x28px
ImageNet：未登録のため画像ダウンロードはまだ使えない（そのうち）
Google/Open Images：膨大すぎてつかいにくそう（そのうち）

すぐにダウンロードして使えそうなのは、それほどない。プログラムを書いてWebからスクレイピングする方法もあるかもしれないけれども、数万単位でのイメージが必要そうなので、個人で集めるには面倒。いまのうちからコツコツ集めておけば、かなりの価値になるにかもしれないけれども。
以下はCIFAR-10（10種類のクラス）。

CIFAR-100をダウンロード：
ということから、今回はなんとなく無難なCIFAR-100を試してみることに。こちらの記事を参考にスクリプトを書いてみました。データはCIFARのサイトにあるCIFAR-100 Python versionをダウンロードしました。解凍すると、そのまま画像が出てくるわけではなく、各画像はすでに1次元のデータになっているようです。ニューラルネットに画像データをインプットするならそのまま1次元がいいとは思いますが、必要に応じて2次元（3チャンネルカラー）に変換したり、あるいはグレースケールに落としたりすることもあります。

import numpy as np
import matplotlib.pyplot as plt
from PIL import Image
import os

def unpickle(file):
    import cPickle
    with open(file, 'rb') as fo:
        dict = cPickle.load(fo)
    return dict

def get_cifar100(folder):
    train_fname = os.path.join(folder,'train')
    test_fname  = os.path.join(folder,'test')
    data_dict = unpickle(train_fname)
    train_data = data_dict['data']
    train_fine_labels = data_dict['fine_labels']
    train_coarse_labels = data_dict['coarse_labels']

    data_dict = unpickle(test_fname)
    test_data = data_dict['data']
    test_fine_labels = data_dict['fine_labels']
    test_coarse_labels = data_dict['coarse_labels']

    bm = unpickle(os.path.join(folder, 'meta'))
    clabel_names = bm['coarse_label_names']
    flabel_names = bm['fine_label_names']

    return train_data, np.array(train_coarse_labels), np.array(train_fine_labels), test_data, np.array(test_coarse_labels), np.array(test_fine_labels), clabel_names, flabel_names

def get_images(name):
    tr_data100, tr_clabels100, tr_flabels100, te_data100, te_clabels100, te_flabels100, clabel_names100, flabel_names100 = get_cifar100("../large_files/cifar-100-python")
    #print(clabel_names100)
    images = []
    for i in range(len(tr_flabels100)):
        if tr_flabels100[i] == flabel_names100.index(name):
            #im = tr_data100[i].reshape(3,32,32).transpose(1, 2, 0) #(32,32,3)
            im = tr_data100[i].reshape(3,32,32)
            im = im[0]/3.0 + im[1]/3.0 + im[2]/3.0
            images.append(im)
    return images

これをutil.pyなどと保存して、先程のtflearnのdcganサンプルで使ってみました。ある特定のジャンルを学習できるように、ラベル名に対応した番号のみを読み込むということにしています。元画像はカラーですがグレースケールに変換しています。
get_images('bicycle')
とすれば、自転車の画像だけ合計500個読み込むということです。
ちなみにCIFAR-100の場合、clabel_names100という20種類の大きなクラスとflabel_names100というさらに細かい100種類のクラスに分かれているようです。
flabel_names100[9] = 'bicycle'
という関係なので、
tr_data100[9]
が、ある自転車の画像となります。画像はランダムに配置されているようで、forループである特定の種類の画像を抜き出すようにしています。
以下が、CIFAR-100のクラス。

clabel_names100 = [
'aquatic_mammals', 'fish',
'flowers', 'food_containers',
'fruit_and_vegetables', 'household_electrical_devices',
'household_furniture', 'insects',
'large_carnivores', 'large_man-made_outdoor_things',
'large_natural_outdoor_scenes', 'large_omnivores_and_herbivores',
'medium_mammals', 'non-insect_invertebrates',
'people', 'reptiles',
'small_mammals', 'trees',
'vehicles_1', 'vehicles_2']

flabel_names100 = [
'apple', 'aquarium_fish', 'baby', 'bear', 'beaver', 'bed', 'bee', 'beetle', 'bicycle', 'bottle',
'bowl', 'boy', 'bridge', 'bus', 'butterfly', 'camel', 'can', 'castle', 'caterpillar', 'cattle',
'chair', 'chimpanzee', 'clock', 'cloud', 'cockroach', 'couch', 'crab', 'crocodile', 'cup', 'dinosaur',
'dolphin', 'elephant', 'flatfish', 'forest', 'fox', 'girl', 'hamster', 'house', 'kangaroo', 'keyboard',
'lamp', 'lawn_mower', 'leopard', 'lion', 'lizard', 'lobster', 'man', 'maple_tree', 'motorcycle', 'mountain',
'mouse', 'mushroom', 'oak_tree', 'orange', 'orchid', 'otter', 'palm_tree', 'pear', 'pickup_truck','pine_tree',
'plain', 'plate', 'poppy', 'porcupine', 'possum', 'rabbit', 'raccoon', 'ray', 'road', 'rocket',
'rose', 'sea', 'seal', 'shark', 'shrew', 'skunk', 'skyscraper', 'snail', 'snake', 'spider',
'squirrel', 'streetcar', 'sunflower', 'sweet_pepper', 'table', 'tank', 'telephone', 'television','tiger',
'tractor',
'train', 'trout', 'tulip', 'turtle', 'wardrobe', 'whale', 'willow_tree', 'wolf', 'woman', 'worm']

全体では60000イメージあるのですが、一つのクラス（種類）は500個のイメージしかなく、Disco GANのように何か特定のジャンルを学習させようとすると画像数が足りなさすぎというのを後から気づきました。CIFAR-100はいろんな種類の画像があるかわりに画像数が少ない。CIFAR-10なら一つの種類で画像が6000あるので、まだましかもしれませんが、10種類しかジャンルがない（選びたいジャンルがない）。というわけで、思い描いているようなものを学習させて、それらを合成させたいということがなかなかできません。あくまで、すでに用意されている範囲でのジャンルを使って、試すということくらいしかできないというのが現状。

Deep Learningを実験していくには、数学を含めたアルゴリズムの勉強だけでなく（特にベイズ推定をつかった確率論的モデルなどが面白そう/今後より重要になっていくらしい）、データセットについても揃えなければいけないという難問があり、さらにはこのような画像生成をするなら、GPUマシンも必要という感じで、やはり先に進めば進むほど敷居が高くなってきます。段々面白くはなってきたけれども、色々面倒なことも増えてきました。

ベイズ推定については、この動画も面白い。今までの固定的な考え方が変わりそうな感じです。

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)

Posted with Amakuri at 2017.10.29

須山 敦志

講談社

販売価格 ￥3,024

Amazonで詳細を見る

変分ベイズ学習 (機械学習プロフェッショナルシリーズ)

Posted with Amakuri at 2017.10.29

中島 伸一

講談社

販売価格 ￥3,024

Amazonで詳細を見る