これまでのあらすじ:
2016年3月、フェルト生地を手で裁断している際にレーザーカッターがあれば複雑なカットが容易にできるなあと思って、安価になってきたレーザーカッターを購入しようと思ったのがきっかけ。調べていくうちに、合板も切れたほうがいいと思うようになって、CNCルーター(CNCミリング)についても考えるようになった。
Arduinoは以前から使っており、CNCシールドがあると気付いて自作も可能と思うようになった。当初はShapeOkoやX-CARVEを参考にMakerSlide、OpenRail、V-Wheel、2GTタイミングベルトなどで5万円くらいで自作しようと思っていた。AliExpressでも部品が安く買えることが分かって、しばらくは部品探し。探せば探すほど安くて本格的な部品も見つかってくるので、そんなにケチらなくてもいいのではないかと徐々にスペックアップ。最終的には剛性や精度のことも考えてボールスクリューやリニアスライドを使うことになり、予想以上に重厚な3軸CNCマシンをつくることに(約7万円)。
構想から約5週間(制作約3週間)でルーターとレーザーともに使えるようになり、現在はgrbl1.1+Arduino CNCシールドV3.5+bCNCを使用中(Macで)。余っていたBluetoothモジュールをつけてワイヤレス化。bCNCのPendant機能でスマホやタブレット上のブラウザからもワイヤレス操作可能。
その他、電子工作・プログラミング、最近は機械学習などもやっています。基本、Macを使っていますが、機械学習ではUbuntuを使っています。


CNCマシン全般について:
国内レーザー加工機と中国製レーザー加工機の比較
中国製レーザーダイオードについて
CNCミリングマシンとCNCルーターマシンいろいろ
その他:
利用例や付加機能など:
CNCルーター関係:

*CNCマシンの制作記録は2016/04/10〜の投稿に書いてあります。

2017年12月6日水曜日

Pytorch CUDA 9.0

ようやく正式にCUDA9.0のPytorch0.3.0がリリースされたようです。前回、慌ててソース版をコンパイルする必要もなかったようです。早速入れ替えてみようと思います。環境:Ubuntu16.10、GTX1060、CUDA9.0、cuDNN7.0。

無難にPython3.5で。pyenv仮想環境内にさらにAnaconda仮想環境をつくり、py359というAnaconda仮想環境内にインストールしています。ちなみに現在はpy27(python2.7、cuda8.0)とpy35(python3.5、cuda8.0)という仮想環境も別にインストールしてあります。

インストール後、Pythonを起動し、
import torch
torch.version.cuda
で、CUDAのバージョン確認、'9.0.176'になっています。
torch.backends.cudnn.version()
で、cuDNNバージョン確認、7004になっています。

いつものPytorch/examples/dcgan/cifar10を動かしてみると(1イテレーション=784回)、
1:15.80=75.8秒くらい。このサンプルでCUDA8.0と比較すると2秒くらい速くなったかもしれません。

2017年12月2日土曜日

仮想通貨モナーコインのGPUマイニングを試す

GPU(GTX1060)ゲーミングノートパソコンがあるので、仮想通貨のマイニングを試してみました。一般的にマイニングはあまり儲からないと聞きますが、どの程度なのか実際確かめてみることにしました。ビットコインは、もうすでに100万円を越しており、マイニングするにも電気代がものすごくかかるようで、

仮想通貨のマイニングに使用された電力、すでに世界159カ国の年間使用量を上回る

このようにニュースでも騒がれています。とは言ってもその他の仮想通貨もどんどん出てきており、今後破綻する仮想通貨もでてくるのだと思いますが、エネルギーや経済のシステムがどんどん変わりそうです。

GPUマシンをフル回転させるため、機材と電気代を合わせるとなかなか採算とれないようで、そのかわり一切を業者に頼むクラウドマイニングというシステムもあるようです。クラウド上のGPUマシンを使ってマイニングするという感じでしょうか。

国内でもモナーコイン(2013年12月〜)という仮想通貨があるようで、まだまだ人気はないようですが、
coingecko.comより

突然ここ数ヶ月で数十円から一気に700円くらいまで値上っています。
ということで、この急上昇中のモナーコインで発掘(マイニング)をしてみました。方法についてはネットで検索するといろいろ出てきますが、一応簡単にやってみた手順を書いておきます。
Linux(Ubuntu)で試そうと思いましたが、LinuxやMacだとソースをコンパイルする必要があり、エラーで上手くコンパイルされないためにWindows版に切り替えました。Windows版はすでにバイナリのアプリがダウンロードできるので簡単です。

準備:
(1)モナーコインのウォレット/財布(モナーコインサイトからダウンロード
(2)マイニングプールへ登録(グループで採掘:とりあえずvip poolというグループ)
(3)発掘ソフトをダウンロード(ここを参考に

それぞれの手続や入力項目はありますが、この3つですぐに始められました。
基本的には、発掘ソフトでモナーコインを発掘し、得たモナーコインを財布にためていくだけです。
マイニングプールは、グループに所属して作業量などに応じて発掘されたモナーを分配する仕組みのようです。ソロで発掘すれば、独り占めできるようですが、そのためにはかなりパイスペックな機材が必要らしいので、一般的なパソコンを使って発掘するにはグループに所属したほうがいいらしいです。
AliExpress.com Product - YUNHUI Newest Bitcoin Miner Ebit E9 Plus 9T 14nm Asic Miner BTC Miner better than Antminer S7 and high Cost-effectiv than S9 .262,276円(送料無料)AliExpressでもハイスペックなマイニングマシンが売っています。GPUよりすごいASICというマイニングマシンです。以前から中国が世界中のマイニングを行っていましたが、マイニングが規制されたため中古品などが多く出回っているそうです。

(1)のモナーコインのウォレット/財布は、発掘したモナーをためておく銀行口座のようなもので送金/入金をこのソフトで行うようです。しかし、(2)のマイニングプールに所属していれば、一時的にそのグループ内のアカウントに発掘したモナーを貯めておくこともできるので、ある程度貯まったら(1)のウォレットへ送金するということになるようです。
ダウンロード自体はすぐですが、一旦立ち上げるとネットワークと同期する必要があるようで、けっこう時間がかかるためしばらく放置しておきます。数時間はかかるので、その間に次のステップ:受取口座(アドレス)をつくっておきます。
C:¥Program Files¥Monacoin¥monacoin-qt.exe
がこのウォレットソフトになります。
それとは別の場所の
C:¥ユーザー¥user¥AppData¥Roaming¥Monacoin(フォルダ)
このフォルダにはその他必要な設定ファイルやバックアップファイルなどが入っています。
読み込み中の内容を見ると、過去数年前まで遡ってモナーコインのすべての取引データを読み込んでいるようです。ということは10年経てば10年分のデータを各自のパソコンが読み込まなければいけないということになりそうです。仮想コインは中央集権型ではなく、分散型で各自利用者が銀行のような業務を担うのだと思うのですが、それにしてもどんどんデータ(取引台帳)がかさんでいくのでパソコンのハードディスクもそこそこ残しておかないとだめかもしれません。ウォレットソフト自体は数十MBですが、設定ファイルなどが入っているほうのMonacoinフォルダは2GBくらいあります。
ウォレット内の「入金(R)」をクリックして「ラベル」に適当な名前をつけて、支払いを「リクエストする(R)」を押すと、受取用アドレスができ、QRコードとともにMで始まる長い文字列アドレス(振り込んでもらう口座番号)ができあがります。毎回のトランザクションごとに新しいアドレスをつくったほうがいいと書いてあるので、その都度アドレス(振込先)が変わるようです。
ここで、一つ受取アドレスをつくっておいて、それを以下のマイニングプールからの受取に使います。

(2)のマイニングプールはグループで採掘する採掘所のようなもので、所属していればその働きに応じて利益を分配してくれるようです。
登録するには、以下のような項目を入力して認証メール受け取り後ログインできるようになります。
どうやらこのサイトのサーバを介して発掘しているようで、このサイトで各種設定や状況などを確認できるようです。このvip poolにおけるユーザー名/パスワードを決め、Monacoinアドレスには(1)のウォレットでつくった受取アドレスを記入(この部分は後で変えられるはず)、PIN番号はvip pool内で設定変更などしたときの認証番号です(適当な4桁)。
ログインしたら、アカウント>ワーカーへ行き、「新しいワーカーの追加」をします。
とりあえず適当な名前とパスワードを記入し、「ワーカーの追加」ボタンを押します。「指定Difficulty」という設定があるので、パソコンのスペックに合わせてその値を決めます。GTX1060だと8か16くらい。普通のCPUだともっと低くて0.125などとなるようです。Hashrateはパソコンのスペックに応じた発掘能力のようで、自動で切り替わったり、あとで変更も可能なので、注意書きにある参考値を元にとりあえず記入しておきます。
この設定したワーカーで発掘することになりますが、通常は一つつくればいいのだと思います。
あとは以下の発掘ソフトを起動するだけです。

(3)の採掘ソフトは、CPU用ならcpuminer、GPU/Radeonならsgminer、GPU/Nvidiaならccminerと分かれています。採掘ソフトの設定次第ではソロでも採掘できるようです。ソロの場合は(3)で採掘したモナーコインを直接(1)のウォレットへ送金するというかたちになるようです。
この採掘用ソフトが、LinuxとMacの場合はgithubにあるソースをコンパイルする必要があり、コンパイル中にエラーばかりでてしまいました。Windowsの場合は、ダウンロードすればコンパイル済みのアプリが入っているので、設定項目を追記すればすぐに使うことができます。
ちなみにvip poolというグループに所属し、以下の採掘ソフトを使ってみました。

ccminer-djm34-mod-r1(採掘ソフト)の場合:
ダウンロード/解凍すると、
djm34-mod-r1 フォルダ
└ ccminer-djm34-mod-r1 フォルダ
    ├ ccminer アプリケーション
    ├ LYRA2REv2-START バッチファイル
    └ vcrumtime140.dll

というファイルがあり、
LYRA2REv2-STARTをエディタで開き、既に書いてある内容を一旦消して以下だけを記入。

ccminer.exe -a lyra2v2 -o stratum+tcp://vippool.net:8888 -u loginname.workername -p workerpassword

loginnameにはvip poolへ登録したログイン名、ドットを挟んでworkernameはvip pool内で設定したworker名、workerpasswordはworker用のパスワード。
このLYRA2REv2-STARTは、.batファイルなので、そのままダブルクリックするとコマンドプロンプトが立ち上がってすぐに採掘を開始します。

こんな感じで、コマンドプロンプトに採掘状況が出てきます。「yes!」なら採掘成功、「booooo」なら失敗。たまに失敗しつつ、比較的多く10秒おきくらいに「yes!」が出てきます。しかし、「yes!」が出たからと言って、すぐに報酬につながるわけでもなさそうです。
報酬につながるためにはブロックを発見しなければいけないようで、グループで作業しても1時間に1〜3回程度です。このへんの仕組みがまだ良くわからないのですが、「yes!」が出れば一応仕事をしているという感じです。

結果(マイニングプールで24時間稼働):
24時間放置して動かしてみた結果です。
ベストな設定なのかわかりませんが、結果的に24時間で0.17863435モナ獲得できました。現在1モナは700円前後なので、約125円/日ということです。

ここで電気代についても見てみると(こちらの電気代計算サイトより)、
nvidia-smi.exeでGTX1060の稼働状況を見てみると70W/h前後でした。ということで、上画像にあるように約40円/日かかっています。
つまり現在のモナーコインレートで換算すれば、125-45=85円/日プラスという結果が得られました。当然モナーコインの価値が下がれば、その分利益も低くなってしまいます。

ソロマイニングを試す:
採掘ソフトであるccminerにはソロ採掘設定もあるので、比較のため試してみることに。ソロマイニングは確率は低いですが一回の報酬を独り占め(25mona:レート700円なら17,500円)できるようです。
まずC:>ユーザー>user>AppData>Roaming>Monacoin内にmonacoin.confというファイルをつくります。このとき拡張子ありでファイル名を見るとmonacoin.conf.txtになっていることもあるので、.txtはつけないで保存します。
その中にエディタなどで以下を記入:
rpcuser=user
rpcpassword=password
rpcallowip=192.168.0.0/255.255.0.0
rpcallowip=127.0.0.1
rpcport=4444

次に今までマイニングプールで使っていたLYRA2REv2-START.batファイルの複製をつくり、LYRA2REv2-SOLO.batなどと名前変更してソロ用の設定に書き換えます。

ccminer.exe -a lyra2v2 -o 127.0.0.1:4444 -u name -p password --no-longpoll --no-getwork --coinbase-addr=walletaddress

-u name -p passwordは、monacoin.confの中のrpcuser=user、rpcpassword=passwordと同じものです。walletaddressには、モナーコインウォレットでつくったmから始まる入金アドレス。ipアドレスの部分は基本的にこのままで大丈夫です。

ソロマイニング起動:
まず、monacoin-qt.exe(ウォレット)を起動します。これがサーバとなるようです。そして今つくったLYRA2REv2-SOLO.batをダブルクリックすればソロマイニングが始まります。

追記:
その後ソロマイニングでやっと一回(25モナコイン)をゲットできました

やはり、ソロマイニングだとまったくヒットしません。何日間かやって、やっと一回当たるくらいの確率らしく、ほとんど運次第のようです。グループでマイニングしたほうが少なからず分配報酬があるので、まだましなのかもしれませんが、ゲーム感覚でするなら一攫千金的なソロマイニングのほうが面白そうです。
獲得したモナーコインは、ZaifbitFlyerなどの取引所で円に交換できるようです。そのためにはZaifやbitFlyerのアカウントが必要となります。



bitFlyer ビットコインを始めるなら安心・安全な取引所で


NiceHash Miner:
そのほか、NiceHash Minerというプールマイニングも試してみました。セッティングも簡単で、すぐに始めることができました。
採掘先や効率などは自動設定らしく、結果はビットコインによる送金らしいです。ビットコインの受取アドレスが必要となるので(NiceHashに一時的に貯めておくことも可能)、Zaifなどの取引所のアカウントを持つか、ElectrumCopayなどのウォレットをつくっておくといいと思います。
設定をJPYにして採掘開始してみると、そのパソコンのスペックに応じて、一日の予想採掘量が表示されます。GTX1060の場合は、183.52円/日(採掘中に多少変動する)くらいです。先程のvip poolより少しだけ率が高いですが、だいたい似たような感じです。
コマンドプロンプトが出てきますが、基本的には画面のスタートボタンを押すだけで勝手に採掘開始します。
コマンドプロンプト画面を見ていると、たまに採掘先(かならずしもビットコインばかりではない)や採掘スピードが自動で切り替わっているようです。ビットコイン以外も含め、状況に応じて効率よく掘っているらしいです。パソコンが一時的にアイドル状態になると自動的に採掘開始してくれるオプション機能もついています。要はパソコン不使用時に自動的にマイニングを開始してくれる機能というわけです。GPU付きのパソコンでもせいぜい数千円/月しか稼ぐことはできませんが、電気代以上は稼いでくれるのでそんなに悪くはないかもしれません。

計算で収益を求める:
どうやらそのパソコンの計算能力/採掘能力のことをハッシュレート/hashrateと呼び、NVIDIAのGPUであれば、
GTX1050 10.01MH/s
GTX1050Ti 11.49MH/s
GTX1060 23.39MH/s
GTX1070 35.88MH/s
GTX1080 47.68MH/s
GTX1080Ti 58.05MH/s
という感じで、数値が大きいほど能力が高い。
それに対し、各仮想通貨におけるDifficultyという暗号解読の難解さの指標もあるようで、現在のビットコインなんかはものすごくDifficultyが高いようです。
24時間あたりの報酬は、
hashrate(kh/s)/Difficulty=報酬(1日)
で概算できるようです(こちらを参考に)。
GTX1060を使用、現在のモナコインのDifficultyはこのサイトを参考にすると約59000、
23390/59000=約0.40
となり、1モナ=800円ならば、
0.40モナ=320円/日
となるようです。もし、ソロマイニングするなら一回堀り当たれば25モナの報酬がもらえるので、
25/0.4=62.5日間
となり、毎日掘り続けても約2ヶ月に1回掘り当てるくらいの確率になるらしい。1モナ=800円なら、一回掘り当てて20000円になるので、確率的には10000円/月という感じでしょうか。

ブロックチェーンアルゴリズムには興味ありましたが(仮想通貨そのものにはそれほど興味なく)、仮想通貨の世界もいろいろ進化しているようです。仮想通貨以外にもトークン(仮想通貨の株式みたいなものらしい)と呼ばれるものも数多く存在し、どんどん従来の経済の仕組みが変わっていきそうです。仮想通貨に興味なくても、一応知っておいたほうが今後のためにもなると思います。

追記:(2017/12/07)
Nicehashのソフトはインストールしたもののあまり使っていませんでした。数日後ためしにつなげてみようとしてもつながらないのでネットで調べてみると、以下のようなニュースが。

「ビットコイン盗まれた」76億円相当か マイニングプール「NiceHash」ハッキング被害

このようなトラブルが起きたようで当然サイトがストップしていました。内部関係者の仕業とも噂されていますが、真相はまだわからないようです。いずれにせよ、Nicehashに預けておいたビットコインはもう戻ってこないでしょう。個人的には16円くらいの損害ですが、Nicehashの場合はたしか最低0.01ビットコイン以上(今のレートであれば17000円)でなければ途中出金不可だったはず(そこまで貯めるにも数ヶ月はかかる)。そのため引き出したくても引き出せない仕組みになっています。基本的には、ほぼ保証ということがない世界でもあるため、稼いだらすぐに自分のウォレットに移動というのが理想的な管理方法ですが、今回の場合はそうもできない人も多くいたということです。Mt.Gox事件のときもそうですが、一見きちんとした取引所であっても突然消滅することはあるので、こまめに手元に送金して保管しておいたほうがよさそうです。

追記:
その後NiceHashにアクセスしてみたところ復活してはいますが、アプリを立ち上げてみたら案の定以前マイニングした約16円分はゼロになっていました。

それとは裏腹に、数日も経たないうちにモナーコインが2000円突破してしまいました。あっという間です。同様にビットコインのほうもどんどん値上がっています。ビットコインは現在180万円ちかくまで高騰していますが、年内中に200万円突破しそうな勢いです。いろいろな仮想通貨やトークンが出ていますが、中途半端な通貨は人気がでなくて、王道のビットコインに一極集中していきそうです。まだまだ値上がるのではないでしょうか?

最近もビットコインは着実に上昇していて、年内には200万円突破するかもしれないと言われていましたが、あっというまに突破してしまいました。少し調べてみると、この1ビットコイン=200万円という数字は、現在流通している貨幣なかでも5番目に規模の大きい通貨となっているようです(参照:bittimes)。
アメリカドル:1兆4200ドル(150兆円)
ユーロ:1兆2100億ドル
中国元:1兆ドル
日本円:8560億ドル
ビットコイン:3000億ドル
インドルピー:2500億ドル
ロシアルーブル:1170億ドル
イギリスポンド:1030億ドル
というランキングになっているようです。5位だったインドルピーを抜き、4位の日本円を抜くにはまだ半分以下ですが、もしかしたら数年以内に抜いてしまうのかもしれません。

ビットコインの時価総額をCryptocurrency Market Capitalizationsで調べてみると、
確かに仮想通貨の中でもダントツで総額3000億ドルとなっています。ビットコインの場合最大発行数上限が2100万枚と決まっているようで現在1673万枚。もはや後半ですが、上限に到達したら逆に希少価値となってしまい、さらに値上がるとも考えられているようです。
また仮想通貨全体では、
4457億ドルであり、ビットコインだけで67.0%を占めているようです。ブロックチェーンという機能的なメリットというよりも(他の仮想通貨で機能的に優れているものも多いはずなのに)、単にネームバリューだけで人気を稼いでいるかのようです。取引されている上場仮想通貨は1334種類もあるようですが、ビットコインがあくまで先頭を走っています。

ちなみにモナコインは少し落ち着いたようで2000円前後を上下しています。
それでもここ数週間で一気に値上がったこともあり、現在19位というのがすごい。年内3000円行くかもしれないと言われていますが、それよりもビットコインの上昇に歯止めが効かなくなっている状態なので、多くの人はビットコインの動向に注目しており、他の仮想通貨はやや注目されにくい状況なのかもしれません。



また他のマーケットとの比較では(上図はやや古い数値になっていますが)、現在ではビットコインだけで$300B(3000億ドル)であることから、アマゾン時価総額に追いつこうとしています(仮想通貨全体ではほぼアマゾンと並んでいる状態)。その上にはApple、そして米ドル、金などとまだまだ先はあるのですが、少しずつビットコイン市場へそれらの貨幣が移動してくれば、まだまだ成長する余地がありそうです。
今から約5倍値上がって、1ビットコイン=1000万円ともなるとアメリカドルと並んでしまうので、そこを目指しているのか、それともそれ以上になろうとしているのか、もしそうなってしまえば、かなり経済の仕組みは変わりそうです。

その後、数日でビットコインは180万円くらいまで下落しています。つい先日までは時価総額3000億ドルありましたが、現在は2624億ドルまで減っています。

というのも、ビットコインは上位1000人ほどが40%を独占しているようで、その人達によって価格操作も可能のようです。


この人達の思惑はどのような方向を向いているのかわかりませんが、ドルを越える世界一の通貨にしようとしているのか、あるいは途中で何かに乗り換えるのか、いずれにせよしばらくは上下に揺さぶりながら、少しずつ時価総額を増やしつつ上り詰めるのではないでしょうか。

2017年11月27日月曜日

Windows10/Ubuntu16.10:パーティション割当変更

エディタなどの作業環境はほぼ落ち着いたのですが、そうやってサンプルなど試しているとやはりハードディスクの容量が気になってきます。デュアルブートにしたため、データセットを取り込んでしまうと、けっこうすぐにいっぱいになってしまいそうです。
ゲーミングノートパソコンには、256GB(PCIE)+256GB(SATA)が搭載されており、256GB(PCIE)のほうがWindows10とUbuntu(Linux)で半々くらいに分けられています。256GB(SATA)のほうはデータ保存用として丸々使うことができますが、より高速な256GB(PCIE)のほうはUbuntu用に対して120GB程度しか割り当てられません。
Windows10はほぼ使うことはないのでもっとUbuntuに割当量を増やしたいのですが、Windows10の「ディスクを管理」でパーティションをつくると、なぜか全体の50%くらい(125GB相当)をWindows10に取られてしまう(ただ、このMSiのゲーミングノートの場合、後からでもHDなど交換可能らしい、例えば512GBなどに)。

そこでEaseUS Partition Masterというフリーソフトを見つけて使ってみると、Windows10ではそれ以上限界だと言われたにもかかわらず減らすことができました。以下は結果。
左の73.24GiBがWindows10です。元々125GBから50GBくらい減らしました。一番大きい147.93GiBがUbuntu、その右側がUbuntuのスワップメモリ領域で15.89GiB。全体の2/3くらいはUbuntuに割り当てることができたので前回よりはゆとりができました。
以下は変更の流れ。


最初は真ん中あたりで左がWindows10、右がUbuntuという感じで分かれていました。Windows10を縮めてUbuntuが左側に拡張すればいいかなと思いましたが、パーティションは右側には増やせるけど、左側には増やせませんでした。真ん中の50GBをUbuntuに割り当てることはできるのですが、そうすると不連続になってしまうので、どうしようかと。

また初期化してすべてをインストールするというのは大変そうなので、そのまま移植できないのかとネットで調べてみると、あることはあるのですが大変そう。そのまま最初からインストールし直したほうが早いかもしれないということで、前回苦労してインストールしたけれども(そのおかげでほぼやり方は習得できたので)思い切って初期化してしまいました。

右半分のUbuntuは初期化してしまい、その後統合し、新たにインストールという手順です。再度インストールとは言ってもまだあまりソフトは入っていないので、実際はそれほど大変ではありませんでした。前回苦労したNVIDIAドライバやCUDAもすんなり入りました。

せっかくインストールし直すということになったので、試しにUbuntu17.10をインストールしてみました。前回そこそこ動いていたので大丈夫かなと思いましたが、終了ボタンを押すとフリーズしたり、完全にオフになるまで5分かかったりと、まだ少し不安定でストレスもたまるので、このゲーミングノートパソコンと相性のいいUbuntu16.10に戻しました。次期Ubuntu18.04がリリースされるのを期待するしかありません。
最終的には、Windows10をもう一つのハードディスク(256GB:SATA)にまるごと移動したいのですが、危険なのでまだ保留中。

2017年11月26日日曜日

Pytorch(ソース版)でCUDA9.0 cuDNN7.0を試す

GitにあるPytorchのソースをコンパイルするとCUDA9.0cuDNN7.0で動かすことができるようなので試してみました。
普段はAnacondapytorch.orgから入手できるcuda80/cudnn6.0.21/cudatoolkit8.0を使っていますが(CUDA9.0+cuDNN7.0をインストールしているにもかかわらず)、最新CUDA9.0とcuDNN7.0の組み合わせではどのくらい速くなるのか気になります。CUDA9.0は新型GPUであるVoltaのために開発されたらしく、現在使っているPascal(GTX1060)だとあまり効果はでないかもしれません。2〜5倍速くなるとは書いてありますが、おそらく条件が揃わないことにはそこまで速くならないのではないでしょうか。

コンパイルしたGitソース版Pytorch(master)には、CUDAとcuDNNのバージョン確認ができるコマンドがあります。
「torch.version.cuda」でCUDAのバージョン「'9.0.176'」と出ています。このコマンドは現在のソース版からのようです。
「torch.backends.cudnn.version()」でcuDNNバージョン「7004」と出てきます。CUDA8.0の環境だと「6021」と出てきます。

いつもベンチマーク的につかっているサンプル:dcgan/cifar10を1iteration(782回)動かしてみると、

CUDA8.0+cuDNN6.0


CUDA9.0+cuDNN7.0

数回試してみましたが、わずかな差(77.91秒:77.59秒)でしかありませんでした。一応毎回CUDA9.0のほうが0.5秒前後速いのですが、誤差も含まれているかもしれないので、このサンプルでは当てにならない。やはりVoltaじゃないと効果発揮しないのでしょうか。
いずれにしても、圧倒的な差が出るという感じでもなさそうなので、Voltaにしない限りは無理して(コンパイルまでして)使う必要もなさそうです。


ソースからのコンパイル/インストール方法(memo):
現状:Ubuntu16.10/GTX1060/CUDA9.0/cuDNN7.0/gcc6.2/python3.6
Anacondaの仮想環境にpy359(名前は任意ですがpython3.5)をつくり、その中にインストールしてします。ちなみに、pyenvの仮想環境内にAnacondaの仮想環境をつくり、二重の仮想環境にしています。
ソースからのコンパイル方法はGitにも載っていますが、gccのバージョンでエラーがでたので、gccを別途仮想環境内py359にインストールしています(gcc6.2から5.4へダウングレード)。Ubuntu16.10の場合、gcc5.5が適していると画面に出ましたが、Anacondaから入手できるgcc5.4でなんとかコンパイルできました(多少Warningがでましたが)。
最初にインストールしたい仮想環境に入ってから以下の手順ですすめてみました(ディレクトリはhome直下で、gitに掲載されている方法を参考に)


export CMAKE_PREFIX_PATH="$(dirname $(which conda))/../"

conda install numpy pyyaml mkl setuptools cmake cffi

#conda install -c soumith magma-cuda90   #(これはなくても動きました)

conda install -c salford_systems gcc-5       # gcc-5.4を仮想環境内へインストール


git clone --recursive https://github.com/pytorch/pytorch

cd ~/pytorch                             # homeにgit cloneしたpytorchフォルダ内へ移動


#念のためgccとg++(先程インストールしたgcc5.4)のパスを通しておきます

export CC=/home/mirrornerror/.pyenv/versions/anaconda3-5.0.1/envs/py359/bin/gcc

export CXX=/home/mirrornerror/.pyenv/versions/anaconda3-5.0.1/envs/py359/bin/g++


python setup.py install   #git cloneしたpytorchフォルダ内でインストール実行



#もしコンパイルが失敗したらクリーンしてから再挑戦

python setup.py clean

conda clean --all


コンパイルには5〜10分くらいかかるかもしれません。
インストール完了後、
conda list
で確認すると、
torch 0.4.0a0+ed64001
というモジュールとして入っています。

それからtorchvision(0.1.9)モジュールも別途必要となりますが、Anacondaからそのままインストールするとpytorch(通常版)も依存的にインストールされてしまうので(コンフリクト起こすかもしれない)、
conda install torchvision --no-deps    #依存関係無視で単体インストール
または、
pip install torchvision
すれば単体でインストールできると思います。
TensorflowもソースをコンパイルすればCUDA9.0に対応するようですが、面倒なのでやめてしまいました。まだしばらくはCUDA8.0でも間に合いそうです。

2017年11月25日土曜日

Deep Learning用ノートパソコン(GPU:GTX1060)のエディタと実行環境

Deep Learning用ゲーミングノートパソコンの設定は一段落したのですが、使っているうちに幾つか気になる点がでてきたので少しだけ以下の環境を見直してみました。

・Python用エディタの設定
・Deep Learning用ライブラリ、プラットフォームの選定
・デュアルブートパーティションによるUbuntuへの割当量

まずはエディタに関してです。

エディタ:Pycharm/Spyder/VS Code/Atom
Pycharmが使いやすいという評判から試してみましたが、案外Anacondaに同包されているSpyder IDEというエディタのほうが使いやすかったです。しかしどちらもややカスタマイズしにくい。それでは人気のあるVS Codeはどうかというと、拡張性もありカスタマイズできそうだし、なにより動きが軽快。ということで、VS Codeで環境を整えていましたが慣れないこともあり、いまいち上手くいかない。それで、いままで使っていたAtomに戻って設定し直してみると、望んでいるような使い方ができるとわかり、結局のところAtomを使うことに。AtomはVS Codeに比べてやや重い感じもしますが、パッケージの豊富さとかなりのカスタマイズ自由度があって使いやすい。
Spyder IDE: 
Anaconda Navigatorからすぐにアップロードでき、比較的使いやすい印象。ただカスタマイズしにくい。ダークのthemeを選んでいるにもかかわらずフレーム部分だけは白いままで変えられない。オープンソースなので、元のソースを変えればカスタマイズ可能だろうけれども面倒。

Anaconda仮想環境に合わせたエディタ:
Atomを選んだ切っ掛けとして、Anacondaの仮想環境に対して設定がしやすいということが一つありました。Anaconda自体はかなり便利なのですが、切り替え可能な仮想環境とエディタをつなげる部分がやや面倒。要は仮想環境PATHへつなぐ設定法がそれぞれのエディタで異なっており、Atomの場合比較的簡単で自由度があったということです。
AtomとAnaconda Navigator:
Anacoda Navigatorでグラフィカルに複数の仮想環境を見比べることができるので便利。インストール/アンインストールもこの画面内で可能。仮想環境切り替えや接続に関してはAtomが比較的使いやすい。

最終的にはAnacondaの仮想環境は上画像のようにrootとpy35(Python3.5)だけにしました。それまでの仮想環境は:

・root(万が一のために備え、ここにはインストールしない/使わない)
・py35(安定版Tensorflow1.4、Pytorch0.2.0など/メインで使う用)
・py27(Python2.7にしか対応していないサンプルなどあるときに使う)
・cuda90(CUDA9に対応したα版Tensorflow1.5やソース版Pytorchなど/最新版実験用)

という感じで複数の仮想環境を使い分けて、どの環境が使いやすいか試していました。ライブラリやパッケージを入れすぎて不具合が出ても、仮想環境ごと消してしまえばいいのでシステムに影響を与えずに済みます。
Tensorflowなどを最新版(α版)にすれば最速になるのかと思いましたが、結局のところまだ不具合があったりサンプルも対応していなかったりとあまり使い勝手がよくない。ということから、サンプルも豊富な安定版を使ったほうがいいという結論に達しました。

Atomのパッケージ:
主には仮想環境の切り替えと接続が容易ということからAtomでの環境整備。MacBook Proのほうでは便利そうなパッケージをどんどん入れていましたが、今回はシンプルに最低限必要なパッケージだけをインストールしました。いまのところ標準装備のパッケージ以外3つだけで充分です。

・autocomplete-python
・platformio-terminal(Pythonこのターミナルが使いやすい/Python RUN用)
・script(Python RUN用)

ネットで検索するとほぼ英語圏のサイトが多いことから英語表記のほうがわかりやすいため、日本語化しないことにしました。既存のOne Dark:Themeを使っていますが、フォントサイズや見た目的なカスタマイズは、Edit>Stylesheetからstyles.lessファイルで上書き変更しています。

PythonスクリプトをRUNさせる環境:
ここが一番悩んだところで、AtomのなかにもいくつかPythonスクリプトを実行できるパッケージがあり、ただRUNさせるだけであればどれでもいいのですが、ターミナルを使って実行させる方法とボタンやショートカット一発で実行できるものということ、そして仮想環境や作業ディレクトリの切り替えが即座にできるということから、platformio terminalatom-scriptを選びました。

Anaconda仮想環境切り替え方法:
Anacondaの仮想環境を使っていると、毎回ターミナルで入力が必要になります。通常は以下の状態(Anaconda root:Python3.6):
そして、以下を入力すると、
$ source activate py35
先頭に(py35)という表示がでて、仮想環境py35:Python3.5に入ったことになります。

which pythonを打てば、どのPython interpreterを使うかという違いが分かります。いわゆるPythonのPATHについてです。
これは、which pythonをつかって両方の環境のPATHを確認してみた画面です。最初のwhich pythonがAnaconda/rootのPATHです。つぎのwhich pythonがAnaconda/py35のPATHになります。
実際のところ仮想環境はAnacondaだけでなく、その手前にpyenvでも仮想環境をつくっています。anacondaで色々試しているため、anaconda内部で不具合が起きてしまったら、pyenvでanacondaごとアンインストールしてしまえばいいというわけです(実際一度anacondaを入れ替えました)。

platformio terminalの設定(かなり便利):
platformio自体は以前ESP32を試したときに使ったことがあるのですが、今回のようなPython用には設定していないので、あらためて使い直すという感じです。
Packages>Settings>Manage Packagesでインストール済みのパッケージリストからplatformioのsettingsボタンを押して各種設定に入ります。
主には、一番上のほうに出てくるこのあたりを設定します。
特にToggles欄の上から4番目の「Run Inserted Text」と5番目の「Select To Copy」にはチェックを入れておきます。
次にCore欄の、「Auto Run Command」に先程の仮想環境を切り替えるコマンドを入れておきます。ここではさらに、「which python」でPATHの確認、ディレクトリ内のリスト表示させる「ls」もセミコロンで区切っていれてあります。
その下の「Map Terminals To」でタブから「File」を選びます。
こうすると、platformio terminalが自動的に仮想環境に入って、しかも選択ファイルのディレクトリに移動して開いてくれます。
ファイルを切り替えるごとに、
source activate py35
which python
cd ${File}
ls
これらを自動的にやってくれて、仮想環境移行/PATH確認/作業ディレクトリへ移動/ディレクトリ内のリスト表示が一気にでてきて、実行する前の確認や手続きが一発で済みます。
ほかにもターミナルのパッケージがありますが、ここまでできるのはplatformio terminalくらいかもしれません。かなり便利です。
あとはプログラムをRUNさせるだけでいいのですが、もう一つ問題があります。

コマンドオプション付きのPythonプログラムの実行:
PytorchサンプルなどをRUNさせるときによくあることですが、Python Argparseでコマンドオプション(CUDAの有無やイテレーションの設定など)を追記する必要があります。

Pytorch examples/dcgan/main.pyをRUNさせる場合(コマンドオプション):

parser.add_argument('--dataset', required=True, help='cifar10 | lsun | imagenet | folder | lfw | fake')
parser.add_argument('--dataroot', required=True, help='path to dataset')
parser.add_argument('--workers', type=int, help='number of data loading workers', default=2)
parser.add_argument('--batchSize', type=int, default=64, help='input batch size')
parser.add_argument('--imageSize', type=int, default=64, help='the height / width of the input image to network')
parser.add_argument('--nz', type=int, default=100, help='size of the latent z vector')
parser.add_argument('--ngf', type=int, default=64)
parser.add_argument('--ndf', type=int, default=64)
parser.add_argument('--niter', type=int, default=25, help='number of epochs to train for')
parser.add_argument('--lr', type=float, default=0.0002, help='learning rate, default=0.0002')
parser.add_argument('--beta1', type=float, default=0.5, help='beta1 for adam. default=0.5')
parser.add_argument('--cuda', action='store_true', help='enables cuda')
parser.add_argument('--ngpu', type=int, default=1, help='number of GPUs to use')
parser.add_argument('--netG', default='', help="path to netG (to continue training)")
parser.add_argument('--netD', default='', help="path to netD (to continue training)")
parser.add_argument('--outf', default='.', help='folder to output images and model checkpoints')
parser.add_argument('--manualSeed', type=int, help='manual seed')

このmain.pyをRUNさせるには、これだけコマンドオプションがあります。ほぼdefault(コマンドオプションなし)でもいいのですが、defaultが設定されていない--dataset、--dataroot、--cuda、--manualSeedについてはコマンドオプションが必要となります。ということから最低でも、

$ python main.py --dataset cifar10 --dataroot ./ --cuda --manualSeed 1

という感じでpython main.py以下に必要項目を追記してからRUNさせなければいけません。この部分が面倒で、すべてにdefault値を設けたコードに書き直したり、この一行をコピペできるようにコメントに書いておいたりしていましたが、platformio terminalやscriptだと比較的簡単にできました(まあ、ターミナルでそのまま打ち込んでもいいのですが)。

platformio terminalのコマンドオプション付き実行の場合:
まず、上記のようなコマンドオプション付きのコマンドをコメントに書いておきます。そして最初に設定しておいた「Select To Copy」機能によって、上記コマンド一行をマウスで選択した段階でコピーが済んでおり、あとはペーストするだけになります。さらにペーストをキーマッピングしておきます。

・platformio terminalのSettings画面で「Select To Copy」にチェックを入れておく
・platformio terminalのSettings画面の下のほうにある「Custom Texts」の「Custom test 1」に「python $F」を入力しておく


このSettings画面で設定した内容は、Edit>Config...>config.csonでも編集できます。以下のconfig.csonファイルで直接編集してもいいかもしれません。
ちなみにplatformio terminalの設定はいまのところこんな感じになっています。

・Edit>Keymap...でkeymap.csonを開きキーマップ割当をする
上記の内容をキーに割り当てることで、もう少し入力方法が簡単になります。
これはkeymap.cson内に書き込んであるキー割当のスクリプトです。こちらを参考にしました。
alt-zで選択したテキストを実行します。
alt-xでpython fileを実行します。
コマンドオプションがある場合(例:python main.py --cuda --niter 1)は、コマンドオプションを含めた一行をどこかに書いておいて、それを選択してalt-zで実行するという感じです。
コマンドオプションが不要な通常の方法(例:python main.py)の場合は、そのままalt-xで実行します。キーマッピングなので、都合の良いキーに割当られますが、意外と既にあるショートカットキーと重複することがあるので、試し打ちしてみて使っていないキーの組み合わせを探さないといけません。

実行中停止させるコマンド:
通常ターミナルでプログラム実行中に割り込む命令としては、
一時停止:ctrl-z
ジョブ名表示:jobs
再開:fg 1(ジョブ名)
終了:ctrl-c
となりますが、ctrl-cで終了させるために、kill -9 $$やskill --fullなどをキーマッピングしてみましたが上手く機能しません。もうすこしSIGNALやシェルの勉強が必要かもしれません。最悪、途中強制終了するにはplatformio terminalの画面を閉じてしまうかです。
もしかしたら、platformio terminalはエミュレータのターミナルなのでそこまでの処理ができないのかもしれません。この部分については調査中です。

atom-scriptの場合:
atom-scriptは様々な言語に対応しており人気のあるパッケージだと思います。いろいろ改良されており、jupyter notebookにも対応、一応コマンドオプション付きでRUNさせることもできます。ただ問題はそのままだと仮想環境には自動的に入ってくれないという部分です。Pythonなどの環境変数に対応させるために
atom .
と、ドットつきでターミナルからatomを起動しろと書いてあります。これが煩わしいので、専用のatom起動用アイコン(ランチャー)をつくり、ドット付きの起動を可能にしました。

atom仮想環境用起動アイコン(ランチャー):
・「/usr/share/applications」の中の「Atom」アイコンを右クリックでコピー
・デスクトップなどにペーストし、右クリックでプロパティ画面を開く
・名前を「AtomPY35」などと変える
・コマンド欄に以下のような環境変数とドット(2箇所あり)を含めたシェルコマンド書く
*シェルコマンドについてはまだ勉強不足で不確かな部分もあるのですが、一応以下でも動きました。sourceの代わりにドット(.)を使っていますが、もしかしたらexportなど使ったほうがいいのかもしれません。

bash -ic ". /home/mirrornerror/.pyenv/versions/anaconda3-5.0.1/bin/activate py35; atom .; exec bash"

・ターミナルで新アイコンが置いてあるDesktopへ移動

cd ./Desktop

・新アイコンを「/usr/share/applications」へコピー移動する

sudo cp AtomPY35.desktop /usr/share/applications

・一度「/usr/share/applications」内から「AtomPY35」をクリック起動し、ランチャーにアイコンが並んだらランチャーに登録しておく


画像の色も微妙に変えておくといいかもしれません。通常用のアイコンと仮想環境用のアイコンを複数つくっておけば状況に応じて使い分けも可能です。そうすれば煩わしい事前設定をせずにアイコンクリックで仮想環境でのatomが使えるようになります。

atom-scriptでのRUN方法:
Packages>Scriptの中には
Script: Run by Number (jupyter notebook用)
Run Script (python main.py/コマンドオプションなし)
Run with profile (python main.py --cuda --niter 1/コマンドオプション付き)
Stop Script
Configure Script(環境変数やコマンドオプションなどの設定)
Close Window and Stop Script
Copy Run Results

という感じでいろいろあります。
一度対象のプログラムにフォーカスを与えてから、「Configure Script」をクリックすると、
このような設定画面が現れるので、「Program Arguments:」にコマンドオプションとなる「--cuda --niter 1」を記入して右下の▶Runボタンを押せば実行できます。この場合、ターミナルは起動しなくても実行できるので比較的簡単な操作になると思います。この内容を「Save as profile」ボタンで保存しておけば、次回からボタン操作だけで実行可能となります。
一旦保存すれば、このプログラムの設定を含んだ「dcgan(名前は任意)」というボタンが生成され、Packages>Script>Run with Profile(Shift+Ctrl+Alt+B)から「dcgan」ボタンを押して▶Runボタンで実行できます。
Stop Script(Ctrl+Q)もあるので途中で終了も可能です。

platformio terminalとscriptの二つがあれば、ほぼ問題なく簡単に実行できると思います。というわけで、エディタと実行環境については思っていたようなことができるようになったので一安心です。

2017年11月17日金曜日

GPU:GTX1060で再度DCGAN(CelebA)を試してみる

前回MacBook Pro(2014年製)でDCGANサンプルCelebAを動かすと29時間もかかりましたが、今回GPU:GTX1060で試してみたところ、たった36分で終わってしまいました。MacBook ProのCPUで計算するよりも約48倍高速という結果が得られました。予想以上に速くて驚きました(というかMacBook Proが遅すぎなのかも)。

MSI GS43VR 7RE Phantom Pro(14型ゲーミングノートPC)
プロセッサ:Intel Core i7-7700HQ
GPU: GeForce GTX1060(6GB)RAM: 16GB
Ubuntus 16.10
ndivia-384
CUDA9.0
cuDNN7.03
Python3.6
Anaconda仮想環境(python3.5/cuda80/cudnn6.0/tensorflow-gpu1.3)


約20万枚の画像(64x64px)を使って6330回動かしてみた結果です。これらの顔画像はDCGANによって生成されたものであり、実在の顔ではありません。結果は前回と代わり映えしないですが、GPUによる圧倒的な速さで、今後このような画像生成も時間をかけずにいろいろ試していけそうです。
前回問題だったのは、一度プログラムを動かしてしまうと数十時間他のことができなくなってしまうということでした。しかしながら、この手のプログラムであれば、1時間もかからず結果が出せるので、効率よく作業ができそうです。

こちらは、実行中にnvidia-smiでGPUの状況を出力したものです。GPU稼働率91%ということでしょうか?
また、nvidia-settingsと打てば、以下のような画面もでてきます。
ここではGPU稼働率98%になっています。

GPU出力はAuto/Adaptive/Prefer Maximum Performanceがあるようです。いつのまにかAdaptiveが選択されていました。試しにAutoに変えてみようかと。

実行中はGPUの温度が72度前後でした。普段は50度前後なので、そこそこ熱くなっているようです。そのためファンはほぼ全開で動いていました。

Anacondaを通してTensorflow-gpu1.3をインストールしていますが、GPU用にコードを書き直さなければいけないと思っていたら、GPUがあれば自動的に優先して計算してくれるようです。Tensorflowサイトの「Using GPU」に書いてありましたが、tf.device()で意図的に使うこともできるようです。Pytorchなら、torch.cudaもしくは.cuda()

Anaconda Navigator:
Anacondaのおかげで、Ubuntu16.10、CUDA9.0、cuDNN7.0をインストールしたにもかかわらずGPUが機能していると思っていますが、Anacondaをインストールするとライブラリの検索やインストールもすぐにできるAnaconda Navigatorも使えるようになります。Anaconda.cloud(要登録)につなぐとさらに便利になります。
anaconda-navigatorと打てば、このような画面が出てきて、わざわざターミナルでタイプしなくてもここでライブラリやパッケージをインストール/アンインストールできます。またjupyter notebookもボタン一つで立ち上がってくれるので便利です。いくつかアプリケーションも含まれており、spyderというエディターもかなり便利そうでした。Anaconda一つあればすべて済んでしまうという感じです。ただ問題としては、MacとWin用のAnacondaの場合はランチャーがあるのですが、Linux用だけないようです。しかたなく、ここを参考に自力でつくりました。
MacBookのほうではAnacondaを入れていないので(元々Pythonにもvirtualenvやpyenvなどの仮想環境はありましたが)、それぞれインストールなどはpipとhomebrewで行っていました。今回Anacondaを導入して、仮想環境の便利さが分かったので、Macのほうにも入れてみようと思います(またいろいろインストールし直さなければいけませんが)。
環境はだいたい整ったので、Kaggleなどもやってみたいと思います。

2017年11月16日木曜日

デュアルブートWindows10/Ubuntu16.10/NVIDIA-384/CUDA9.0/cuDNN7.0/Anaconda

前回の投稿にも書きましたが、現在使用しているMacBook Pro(2014年製)の後継機として、MSI GS43VR 7RE Phantom Proという14型のゲーミングノートパソコンを購入しました。GeForce GTX1060のGPU内蔵なので、Deep Learningの計算をさせればMacBook Proよりもずっと速いはずです。Windows10ですが、Deep Learningのプログラミング環境では、Linuxのほうが高速に処理してくれるらしいので、Linux(Ubuntu)とWindows10のデュアルブートにしました。
MSI GS43VR 7RE Phantom Pro ゲーミングノートパソコン:
プロセッサ:Intel Core i7-7700HQ
GPU: GeForce GTX1060(6GB)
RAM: 16GB
HD: 256GB(PCIEx Gen3) + 256GB(SSD/SATA:オプション変更)
画面:14インチ/1920x1080px
サイズ:345x245x22.8mm
重量: 1.8kg

Deep Learning用のパソコンにするには、以下のことが必要らしい。
・デュアルブート(万が一LinuxがダメならWindowsに戻るため)
Ubuntuのインストール(ほぼ定番)
NVIDIAドライバ(GPUドライバ)のインストール
CUDA(NVIDIA/GPU並列計算プラットフォーム)のインストール
cuDNN(NVIDIA/Deep Learning用ライブラリ)のインストール
Anaconda(Python統合環境/Python3.6含む)のインストール
Pytorch(Deep Learningライブラリ)のインストール
Tensorflow(Deep Learningライブラリ)のインストール
PyCharm(エディタ)のインストール

1日で終わればいいけど、そう簡単には終わらないはず。特にLinux(Ubuntu)で環境を整えるのは、バージョンの違いなどもあるためかなりハマりそう。ネットで調べてみてもトラブルが多い。
結果的には何とか動きましたが、何回もインストールし直し、思うようにいかず設定に数日かかってしまいました。

これはUbuntu16.10上の画面です。通常Ubuntu16.04が最適なバージョンですが、MSiのゲーミングノートPCとは相性が悪いのかフリーズしたりほとんど使えない状態でした。やむを得ず、Ubuntu16.10にしてみて悪戦苦闘の結果なんとか動いたという感じです。Ubuntuのバージョンによって、対応するドライバやライブラリなどが変わってしまうので、その組み合わせが難しい。
Ubuntuを何回もインストールし直していると、コンピューター好きには楽しいのですが(コンピュータの構造、シェルコマンド、viエディタの使い方などに詳しくなってしまう)、いつのまにか環境構築が目的(達成感や克服感)となってしまい、本来の目的であるLinuxで何をするかということから次第に遠ざかってしまい、時間ばかり消費してしまうのであまり深追いはしないほうがいいと思います。

理想的な組み合わせ:
・Ubuntu16.04
・NVIDIAドライバ nvidia-384(多分低すぎなければいい)
・CUDA 8.0(対応:Ubuntu16.04/14.04、Tensorflowなども対応)
・cuDNN 6.0/7.0

最終的な組み合わせ:(なぜか無事動いた)
・Ubuntu16.10/Windows10デュアルブート(gcc 6.2.0)
・NVIDIAドライバ nvidia-384
・CUDA 9.0(対応:Ubuntu17.04/16.04、未対応:Tensorflow/Pytorch)
・cuDNN 7.0.4 for CUDA 9.0
・Anaconda 4.3.30(cuda80/cudnn6.0.21/Tensorflow-gpu1.3.0)
・Pytorch (Linux/conda/Python3.5/CUDA8.0)

矛盾するけれどもAnacondaで解消?
NVIDIA製CUDA8.0だとUbuntu16.04のgccバージョン5(6未満)でなければならず、Ubuntu16.10にしてしまうとgcc6.2になってしまう。仮にgccを5へダウングレードしても、CUDA8.0をUbuntu16.10にインストールするとgcc6.2へアップグレードされてしまうので、やむを得ずCUDA9.0ならびにcuDNNもCUDA9.0用をインストール。とりあえず、CUDA9.0とcuDNN7.0のマニュアルにある動作確認では問題なし。
ちなみにTensorflowやPytorchはまだCUDA9.0には未対応。
Tensorflow1.5からCUDA9.0に対応するらしい。いちおうベータ版Tensorflow1.5はあるけれども、ソースをコンパイルしてインストールしなければならない。またベータ版PytorchであればCUDA9.0でも動くらしい
しかしながらAnacondaをインストールしてみると、仮想環境のおかげなのかCUDA8.0+cuDNN6.0対応のTensorflow-gpu1.3とPytorchのサンプルがきちんと動きました。もしかしたらUbuntu17.10(最新)でも動くかもしれないけれど、またインストールし直すのは大変なのでやめました。

Tensorflow-gpu/CNN/CIFAR10での実験:
ということで、CIFAR10のサンプルで試してみました。以下がGPU(GeForce GTX1060)で動かしてみた内容。右端の数値を見ると0.018〜0.019sec/batchとなっています。これはかなり高速。
ちなみに、MacBook Pro(GPUなし)のほうでも同じように動かしてみると、以下。
0.680sec/batch前後という結果。比較すると、GPUのほうが約36倍速いということになります。あまりに違うので、いままでMacBook Proを使っていたのが馬鹿馬鹿しく感じてしまいます。その他VAEのサンプルで試すと約6.5倍の速さでした。CNNのサンプルに関しては、cuDNNを使っているためか、かなり効果があるようです。特にエラーもでないし、このような歴然とした結果からおそらくGPUはきちんと機能しているはずです。

ネットで設定例がたくさん見つかるので、ここでは細かな内容は省きますが、手順を一通り書いておきます。

デュアルブート下準備:
・Windowsの「ディスクの管理」でパーティションを区切り約120GBをUbuntu用に確保
・USBメモリースティック(8GB)をFAT32フォーマット化
・Ubuntuをダウンロード
Rufusソフトをダウンロード
・Rufusを使ってUbuntuをUSBメモリースティックへLiveCDとして書き込む
・再起動しBIOS画面にする(起動中Deleteキー連打/違う機種だとF2キー連打)
・BIOS画面内でFast boot無効、USBメモリースティックを最優先に起動順序を変える
ハマりどころ:
Windows10のボリュームはすでに5個くらいに分割されており、Ubuntu用に充分な領域を確保できないけれども、後から変えることもできるはず。それほどこの段階では問題はない。

Ubuntu:
・USBメモリースティックからUbuntuが立ち上がったらWifiとつないでおく
・Ubuntuのインストール(使用言語、地域、ユーザ名、パスワードなどの設定)
・インストールされれば再起動
・また起動中にBIOS画面にしてPCにインストールしたUbuntuを最優先起動に設定する
・Ubuntuとして起動したら、Wifiなど基本事項を設定
ハマりどころ:
Ubuntu17.10が最新バージョンだけれども、CUDAには正式に対応していないためUbuntu16.04を選ぶのがいいとされる。しかし16.04(日本語版)をインストールしてみたところディスプレイ解像度変更不可、ネットがつながらないなどの問題発生。オリジナル版もフリーズしたり機能上の不具合が多くで断念。つぎに16.10を試してみると何とか動いた。さらに次の候補となる17.04もフリーズ、17.10はかろうじて動くがたまにフリーズする。16.10くらいしかまともに動かないため、やむを得ず16.10で以下の作業を進めることに。しかし気がかりなのは、CUDAが17.04か16.04にしか正式に対応していないという点。

NVIDIAドライバ:
NVIDIAサイトからドライバのダウンロード
・Nouveauの無効化
・Ubuntu上で仮想コンソールへ移動してドライバのインストール
・BIOS画面でセキュアブート無効にする
ドライバを入れた後(CUDA無し)、ターミナルでnvidia-smiを入力してこの画面が出ればOK(しかしなかなか出なかった)。

ハマりどころ:
ほとんどはUbuntuのターミナルからインストールするけれども、一旦GUI表示を無効にして仮想コンソールへ場所を移して、そこでドライバのインストールをするというややこしい手順。また、viでNouveau無効化ファイル作成するため、viの使い方も知らないといけない。セキュアブート無効を忘れるとログインループにハマったりGUI画面が表示されなくなったりします。後から気づいたけれども、セキュアブート無効にすればこのような面倒な手順は不要かもしれない。最初nvidia-375をインストールしていましたが、他のソフトを入れると最新のnvidia-384に引き上げられてしまうようです。結果的には問題なし。

CUDA:
NVIDIAサイトからインストーラのダウンロード
・CUDAのインストール
・パスの追加
ハマりどころ:
作業事態は単純だけれども、どのバージョンをインストールしたらいいのか迷う。最新はCUDA9.0だけれども、まだTensorflowやPytorchは対応していない。それではCUDA8.0にすればいいかというと、Ubuntu16.10のgccのバージョンと対応しなくなる。現状では他の環境やライブラリがまだCUDA8.0にしか対応していないため、CUDA9.0を使わないほうがいいみたい。CUDA8.0にとどまるなら、Ubuntuを17.04にアップグレードするという手もあるけれども、このMSI GS43VRは17.04でもフリーズしてしまう。かろうじてUbuntu17.10では動くのだけれども、一旦ここまでインストールしてしまうと17.10へ変えにくい。というわけで、使用するパソコン、ライブラリ、ドライバ、プラットフォームのそれぞれのバージョンがうまく噛み合わなくて選択が難しい。CUDAのバージョンに振り回される。
CUDAでつまづくようなら、NVIDIAサイトからダウンロードせずに、
sudo apt-get install nvidia-cuda-toolkit
でインストールしたほうがいいかもしれません。

cuDNN
・メール登録が必要
・CUDAのバージョンに合わせてNVIDIAサイトからダウンロード
・Ubuntuへインストール
ハマりどころ:
特に難しくはない。このライブラリを使うとかなり高速になるようです。tarファイル版は一気にダウンロードできるけれども、なぜかマニュアルにある動作確認用サンプルが含まれていない。3つあるdeb版なら3つ目がサンプルなのでいいかもしれない。

Anaconda
・pyenvを最初にインストール(こちらを参考にしました
・pyenvにパス通す
・Anacondaをインストール(Python3.6含む)
・tensorflow-gpu1.3をインストール(Anaconda内)
・pytorchをインストール(Anaconda内:pytorch/torchvision/cuda80)
・cudnnをインストール(Anaconda内)
*Anaconda経由(あるいはanaconda-navigator)で、tensorflow-gpu1.3、pytorch、cuda80、cudnn6.0をインストールできるのでかなり楽。Anaconda cloudに登録し、cloud上で必要なライブラリを探すのもいいと思います。場合によってはpython2.7もインストールして仮想環境をつくっておくといいらしい。
結果的には、まだ未対応のCUDA9.0とcuDNN7.0(CUDA9.0用)をNVIDIAからインストールしたにもかかわらず、Anacondaの仮想環境とpytorch/cuda80/cucnn6.0のおかげで無事動いたのかもしれない。

PyCharm(エディタ):
サイトから無料のcommunity版をダウンロード
・解凍したあと、pycharm-community-2017.2.4/binへ移動し、./pycharm.shで起動。
・Anacondaのパスとつなげておく(確かデフォルトでつながっていたような)
・エディタ内でターミナル使用、git pullも可能
・pytorchのdcganサンプルなどにあるコマンドラインオプション/引数なども登録可能
*例えば、
python main.py --batchSize 128 --cuda --ngpu 1
などのmain.pyのうしろにつける設定項目(こちらを参考に)。

まとめ:
・Linuxと使用するパソコンとの相性次第(ダメならWindowsで)
・BIOS画面でFast BootとSecure Bootを必ずオフにする
・Anacondaを使う
前半は先が見えずかなり苦戦し、UbuntuがだめならWindows10にインストールするしかないとも考えていました。海外国内問わずネット上にはなかなか動かない例もたくさんあり、予想以上に面倒でした。Linux固有のトラブルと、ハード、ソフトそれぞれの対応が微妙にずれており、しかも今後リリースされるライブラリも徐々にバージョンアップしていくので、またインストールし直す時がくるので面倒です。Ubuntuは年2回(4月と10月)にバージョンアップするらしく、次回18.04は2018年4月という意味でLTS(Long Term Support/5年間)になる予定。
しかしながら、一度設定できればGPUのパワーはすごい。MacBook Proもそこそこ速いのではないかと思っていましたが、そんなことはありませんでした。やはりGPU搭載のパソコンは圧倒的に作業時間が短縮されていいと思います。特にCNNなどの層が厚いアルゴリズムでは効果てきめんという感じです。

Linuxはトラブルが多いと思うのですが(ドラブルがあれば自分で直すという姿勢からか)、一旦動き出せば、機能も見た目もシンプルだし元々軽快なためか計算速度も速いらしいでの、できるだけWindowsを使いたくありませんでした。WindowsはしばらくTensorflowにも対応しておらず、Pytorchにおいては公式ではLinuxとMac版だけ(WIndows版はAnacondaからインストール可能)。MicrosoftがCNTKをリリースしたものの、Windowsはやや一歩遅れというのも気になります。

また、DockerやAWSなどのクラウドへUbuntu16.04をインストールし(必要に応じてその他のライブラリも)、GPUで計算させるという方法もあるようです。どうしても時間を短縮したいという場合は有料(数百円)にはなるけれどもいいかもしれません。コーディングは普通のノートパソコンでやって、計算のときはクラウド利用するというのが一番スマートな方法(ものを持ちすぎない)だと思います。

Tensorflow1.4でKerasが取り込まれ、さらにはEager(まだpre-alpha版)も登場し(tf.learnやtf-slimはどうなってしまったのか)、まだまだ変化がありすぎる状況です。現在はCUDA8.0とcuDNN6.0/7.0が主流だと思うのですが、数ヶ月以内ですぐにCUDA9.0に対応してしまうと思います。半年後にはUbuntu18.04LTSがリリースされ、そのころにはまた新たなライブラリや環境が登場していると思うのできりがないという感じです。

人気の投稿