平成２４年度 知能情報メディア実験
T−９ ヒューマンセンシング
担当教員 福井和広 kfukui AT cs.tsukuba.ac.jp, 3F910号室
ＴＡ 野坂 龍佑 （システム情報工学研究科コンピュータサイエンス専攻 博士前期課程2年） nosaka AT cvlab.cs.tsukuba.ac.jp
ＴＡ 高林 大輔 （システム情報工学研究科コンピュータサイエンス専攻 博士前期課程1年） takabayashi AT cvlab.cs.tsukuba.ac.jp
実施学期 ２学期
実施場所 C206，ただしデータ収集を3E205（コンピュータビジョン研究室）で行う場合もある．また報告会では3F902を使う．
◆ 実験概要
目的：
本実験では，Kinectを用いて，顔，手，姿勢，顔向き，ゼスチャー，動作などを認識するヒューマンセンシングを試み，さらにその認識結果を用いて，”各自が面白い”と考えるアプリケーションを作成する．識別アルゴリズム，および識別システムの開発を通してヒューマンセンシングの難しさ，有効性，その応用範囲の広さを学ぶ．
Kinectセンサーとは？
マイクロソフト社が提供するKinectセンサーは，通常のカラー画像と距離画像（つまり対象物の３次元形状）を同時に取得できる画期的なセンサーである．これまでは，距離画像を得るためには，レーザー光線を用いたレンジファインダと呼ばれる特殊な機器が必要であった．これがKinectの出現により劇的に変わりつつあり，既に様々なアイデアに基づいた多種多様な画像認識システムが開発されている．
例えば，デモストレーション，Kinecthacks(英語版の本家)， Kinecthacks(日本語)を見てもらえば，その熱気が感じられる．
本年３月には，さらに近くの物体を精密に撮影できる改良版Kinect for windowsーが発売された．これにより，手，指などの形状や動きが容易に捕らえられるようになり，ヒューマンセンシングの性能が更に向上すると期待されている．
進め方の基本方針：
・全受講者に１台づつKinect for windowsを貸し出す．
・識別器は受講者が独自に作成するか，コンピュータビジョン研究室で開発された最新の識別アルゴリズムを使ってもらう．
・距離画像からどのような特徴抽出を行うかは各自で考えてもらう．
・システム開発にはKinect for Windows SDKや画像処理ライブラリOpenCVなどを使う．
・プログラミングが苦手でもＴＡが懇切丁寧に指導するので心配無用である．
◆ Kinectを用いたヒューマンセンシングの基本的な流れ
手形状を用いたじゃんけんシステムの例で基本的な流れを概説する．
識別処理（システム）は大きく分けて，学習フェーズと識別フェーズの２つから構成される．
＊学習フェース
手形状クラス（グー，チョキ，パー）毎に以下の処理を行う．
（１）Kinectを用いて距離画像を手の姿勢を変化させながら複数枚入力する．
（２）距離情報を用いて，各距離画像からそれぞれお手領域を抽出する．
（３）各距離画像から識別に有効な特徴を抽出する．
（４）複数枚の距離画像から抽出された特徴セットから主成分分析を用いて辞書を作成する．
＊識別フェーズ
（１）識別したい手形状の距離画像を入力する．
（２）距離情報を用いて，手領域を抽出する．
（３）手領域の距離画像から特徴（学習フェーズと同じ）を抽出する．
（４）（３）で抽出された特徴を予め用意されている各手形状クラスの辞書特徴を比較し，類似度を求める．
（５）全クラスの中で最大類似度を有する形状クラスを該当するクラスとする．
（６）識別結果を用いてコンピュータが出したＣＧ手と比較し，勝ち負けを判定する．
目指すシステムは<<このような認識システム>>である．
◆ 実験スケジュール
全日程の中間と最後に報告会を開催し，そこで各自が開発したシステムについて紹介してもらう．詳細な日程は後日にアップする．
◆ レポート
以下の項目を含んだレポートを提出
- アルゴリズム（ソースコード）
- アルゴリズムの基本アイデアの説明
- 実験結果
- 実験結果に対する考察
- 感想
◆ 関連科目
◆ 参考情報
(1)Kinectを用いた画像処理に関する情報 Kinecthacks(英語版の本家) Kinecthacks(日本語) 面白いアプリケーション例：
尻文字 ウルトラマンへの変身
(2)画像認識・処理に関する参考書：
「コンピュータビジョン - 技術評論と将来展望」，新技術コミュニケーションズ
わかりやすいパターン認識， オーム社
(3)福井のホームページ
2012/04/12 更新