デザインテクノロジーの最前線 - 桐山孝司

m.c.t.ホーム > エクスペリエンスマガジン > デザインテクノロジーの最前線 - 桐山孝司 > ジェスチャー入力の進歩

2013.02.25ジェスチャー入力の進歩

2011年には全身の動きを3Dデータで取り込むことが、マイクロソフトのKinectによって急速に広まった。そして2013年には手の動きを3Dデータで取り込むことが広まるかもしれない。リープ・モーション(Leap Motion)はそんな予感で注目を集めている。Kinectが数メートルの距離で全身をキャプチャーするのに対して、Leap Motionは数十センチまでの近距離で手の動きを高精度にキャプチャーすることに特化したセンサーデバイスである。

Leap Motionを実際に使ってみると、手の動きがスムーズにキャプチャーされるのに驚く。実測で毎秒100フレームほどの速度でデータが処理され、時間遅れもほとんどなく手と画面の動きが同期していて気持ちよい。10本の指の先端の位置だけでなく、指の方向や手のひらの向きも認識される。また手の他に細長い棒状の物も認識されるので、筆を持って空中に3Dの絵を描いたりすることもできる。

Leap Motionのハードウエア自体はマッチ箱ほどの大きさで、USBでパソコンにつなぐだけで動く。販売価格も70ドルの予定で、赤外線LEDとカメラ以外に特別な素子は使っていないようである。同社CEOのMichael Buckwaldは、Leap Motionの本当の価値はソフトウエアのレベルにあると言っている。実際、個々の指の動きを高精度で追跡できるようにしたことは、画像認識上の大きな進歩である。さらに彼らは指の動きからジェスチャーの認識に進もうとしているが、これによってタッチスクリーン上のスワイプやピンチ、タッピングに限られていた指先でのジェスチャー入力が大きく変わる可能性がある。

パデュー大学のJuan Wachsらは、手のジェスチャー認識の応用分野の一つとして医療を挙げている。例えば手術室でコンピュータに手を触れずに写真やデータを呼び出したりすることは、非接触の画像認識に適した場面である。ゲームやエンターテインメントも期待される応用分野だが、他に興味深いのはロボットとのコミュニケーションである。例えば「それをあちらへ動かして」などとロボットに指示するのに、物や場所を指で指し示すのは自然である。またもう一つ、災害など危機管理の場で、画面に出した情報を自然な動作でコントロールするような応用も挙げられる。このような状況では人間とコンピュータではなく人間同士のコミュニケーションが一番重要なので、入力のためのジェスチャーは負担がないように覚えやすく直感的でなければならない。

ジェスチャーによる入力は確かに有望な技術だが、一方でまだ課題も多い。その一つはジェスチャーの始まりと終わりをコンピュータが正しく判断すること(ジェスチャー・スポッティング)である。これを確実にする一つの方法は、ジェスチャーをする時に声を出すなど、別の入力と組み合わせることである。また、より自然な方法として、組み立てなどの作業をするときに出る音をきっかけとしてジェスチャーを区切ることも試みられている。そしてジェスチャー認識の中でおそらく最も難しいものは手話の理解である。手の自由度は大きいので、両手の可能な動きを単純に組み合わせると膨大な量になってしまう。このため発話の音素のように、手話の動きや形を基本形に分解する研究も進められている。そこでは手の開き具合などの特徴量(特徴集合のうち意味のある部分集合だけを選択する手法)をデータ化することが有効とされており、Leap Motionのように高い精度で手の動きをキャプチャーするデバイスと組み合わされることで、コンピュータへの入力に手話のような語彙が使われていく可能性もあるだろう。

Leap Motionは現在、ソフトウエア開発者に無償でハードウエアを配っており、我々の研究室でも配布を受けてテストをしている。ハードウエアは量産準備に入っているようだが、ソフトウエアは頻繁に更新されており、一番最近のリリースでは円を描いたりタッピングしたりする基本動作を認識できるようになった。これからLeap Motionを起点としてジェスチャー入力が進歩していく様子を見ておきたい。

Juan Pablo Wachs, Mathias Kolsch, Helman Stern, and Yael Edan, Vision-based hand-gesture applications, Communications of the ACM, Vol.54, No.2, pp.60-71, (2011)

leapmotion2.png

Leap Motionによる手の認識。手前の四角い箱がセンサー本体。