いったん一区切りして、ここまでに作ったものをアップします。
・OpenPoseで画像からスケルトン座標の推定
・Kerasでスケルトン座標によるヨガポーズの推定
・KinectV2のvvvvプラグインカスタマイズ
・vvvvで上記の結合
vvvvでKinectからのデータを取り込み、TCPでKerasのバックエンドとデータ通信し、結果をもとに画像にエフェクトかけてます。パーツ作りは大変だったけど、vvvvで繋げるのはすごい簡単。
Kerasに学習させた3つのポーズとマッチすると、手の位置からパーティクルが出るようにしてみました。パーティクルが出てくる位置がちょっとずれてますが。。。
ここまではパーツ作りを一気にやってきたので、次は完成度を高める作業をやっていこうと思います。
ヨガのポーズを機械学習させて、自動で識別させるようにしました。
ヨガのポーズは実にたくさんあるのですが、まずは識別し易い以下の3ポーズをチョイス。
これらのポーズの画像を10枚ずつ収集して、OpenPoseでスケルトンの座標を取得しました。
ちなみに、OpenPoseとKinectV2で取得できるスケルトンは、以下のようになってます。(OpenPoseはこちらが元ネタです。)
＞OpenPose
＞KinectV2
KinectV2で取得できない目、耳、背中の位置は使用せず、14点のx,y座標を入力データとしました。また、学習のための前処理として、以下の2つを行いました。
・頭の位置を原点とする
・頭から喉(0番と1番)の距離をもとにリサイズする
こうして得られた入力データを、ちょっと加工して各ポーズ400個に水増ししました。合計1200個なので、まぁまだ少ないですが、いったん進みます。
利用したのはKerasで、バックエンドはTensorFlowです。
環境構築は、このサイトにお世話になりました(ありがとうございます)。
Keras、マニュアルも分かりやすかったので、無知でしたが割合すぐに使うことができました。
ただし、無知なのでネットワークをどう組めばいいかは、よく分かりません。
なので、MNISTのサンプルをそのまま使うことにしました。
MNISTは32x32の画像を入力としています。なので、行列サイズを16x16に変更して、各行に14カ所のx,y座標をマッピングしてみました。
半信半疑の感はありましたが、学習させたモデルを使って自分のヨガポーズを分類させてみると、見事に識別できてました。
すーごーいー。
(けもふれ再放送中)
Kinectに手を出しました(*´ω｀*)
雑な感想・・・
Kinectに手を出したのは、RealSenseを使っていて、背景のセグメンテーションするのが大変だったのと、vvvvのプラグインがすでに用意されてたから。つまり、今後の開発に必要なものが用意されてたから。
やっぱり世の中的にはまだKinectのほうが色々と充実している感はある。
ただ、RealSenseの小ささと、近距離(0.2m～）測位は、アプリケーションの広がりを期待ができるように思う。そう考えていると、スマホに3Dセンサが載るまでにいろいろと準備しているといいかも。あまり時間なさそうですが。
Tangoが載ったスマホはLenovoが出したし、iPhone8にも載りそうと噂されているし、この時流に乗っていけるように、がんばろ。
R200はセグメンテーション機能が使えないので、depthを使って自分で実装することにしました。
自力でセグメンテーション
ざっくりですが、こんな感じになりました。
エッジ部分があらい、ブロブの内部も除去されてる、遅い。このあたりを改善したいです。
座標変換
カラー画像とDepth画像はカメラの位置がずれてるので、併せて使う場合は座標変換をする必要があります。今回はDepth画像の座標系をカラー画像に変換しました。
座標変換用のクラス「PXCProjection」を使います。
使い方は、こちらのサイトが参考になりました。
あと、RSDKのサンプルにある「Projection」も参考になります。
