WO2009148064A1 - 画像認識装置および操作判定方法並びにプログラム - Google Patents

Abstract

　的確な操作の判定を可能にすること。操作者（１０２）の画像を抽出し（Ｓ４０３）、操作判定部（３０４）は、操作入力システムのマーカ（１０１）のビデオカメラ（２０１）から見て奥側に立つ操作者（１０２）とマーカ（１０１）との相対関係を用い（Ｓ４０４）、操作者（１０２）の一部が操作面のビデオカメラ（２０１）から見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、各部の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。

Description

画像認識装置および操作判定方法並びにプログラム

　本発明は、画像認識装置および操作判定方法に関し、より詳細には、ビデオカメラ等により撮影した画像から測定対象の動作の判定を行う画像認識装置および操作判定方法に関する。

　近年、コンピュータや電子機器と人間とのインタフェース、すなわちマンマシンインタフェースとして様々な機器、手法が提案されており、特にゲーム機や操作ガイド機器などではカメラで操作者全体、あるいは一部を撮影し、その画像に応じて操作者の意志を判断して動作する技術が提案されてきている。例えば、特開２００４－７８９７７号公報には、ＣＣＤカメラで撮像した画像中の物体の形状、動きを認識するホストコンピュータと、ホストコンピュータによって認識した物体の形状、動きを表示するディスプレイとを備え、ＣＣＤカメラにユーザが向い、手振り等によって指示を与えると、与えた手振りがディスプレイの表示画面上に表示され、表示画面上に表示した仮想スイッチ等を手振りによって矢印カーソルのアイコンで選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる技術が提案されている。

　最近ではさらに、手指の動きや形状を撮像した画像から、ある種のジェスチャとして認識して、操作入力をする入力システムも提案されている。例えば、図１４を参照すると、ジェスチャによる画面操作でのプレゼンテーションや、タッチパネルを必要としない非接触キオスク端末に用いることができる入力装置が示されている。大画面に向き合った操作者は、通常（Ａ）の位置に設置されたカメラに向けて種々の操作を行うと、その内容が大画面に映し出される。このように撮影された画像から操作者の形状、動きを、本技術分野で知られた方法により抽出し、例えば予め定められ、データベースに格納されたパターンと比較することにより、操作者の形状、動きの意味を判定し機器の制御に用いる。

　一方、操作者の画像の読み取り技術としては、図１５に示すように、三次元または立体対応のカメラで操作者を撮影し、立体画像を再現することも可能となっており、セキュリティチェックなどの用途に用いられている。立体画像を再現することにより、操作者の動きを立体的に把握することができ、例えば図１６に示すように操作者の特に手の動きが前後にも認識できるため、ジェスチャのバラエティが増大する。また、複数の操作者が画像として抽出されても、多人数であれば立体画像であるため前後関係がわかり、一番前の操作者の動きのみ抽出し、操作の入力に使用することもできる。

　しかしながら、従来のジェスチャ操作はデファクトスタンダードといった何らかの標準的なジェスチャが確立されておらず、人差し指でのＸＹ座標のポインティング操作以外はユーザがどのような動作で何ができるのかが直感的に認識できない。「クリック」、「ダブルクリック」、「ドラッグ」等・・・、クリック操作を何秒間かのウェイト時間の間座標に固定することで指示するものはあるが、設定されたウェイト時間が長すぎる等により快適な操作を阻害することも少なくない。したがって、クリックや決定（ダブルクリック等）などの操作をわかり易く、かつ快適にする現実的な手法がないという問題がある。

　また、従来のジェスチャ検出装置は、タッチパネルといった直接操作者が触れることができる入力装置とは異なり、操作者の明確な意思を汲み取りにくい。すなわち、そもそも操作者が何らかの動作を行っても、それが入力を意図したものなのか、単に癖で動いてしまったのか判定することが容易ではないという問題がある。この結果、例えば単純なジェスチャを不自然に目立つ形で行わなければ認識できず、またジェスチャについての事前の取り決めが必要だったり、複雑なジェスチャは使用できなかったりという問題がある。

　本発明は、このような問題に鑑みてなされたもので、操作者に何らかの入力につながる操作をしている状態にあることを認識させた上で装置に対し動作させることにより、的確な操作の判定を可能にする画像認識装置および操作判定方法を提供することを目的とする。この結果、操作に習熟していない特殊なジェスチャを覚えることなく、身体全体あるいは一部を動作させることにより、操作者の意志を的確に示す操作として判定することが可能になる。

特開２００４－７８９７７号公報

　このような目的を達成するために、請求項１に記載の発明は、画像認識装置であって、操作者の少なくとも一部の像を読取って立体画像データを生成する三次元撮像手段と、操作者が所定の空間上の仮想操作面を把握するよう設けられた操作者に知覚可能な、撮像手段の撮像範囲内に予め配置された操作面形成基準と、三次元撮像手段により読取られた操作面形成基準によって、仮想操作面を形成し、形成された仮想操作面に対する操作者の動作を、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動作が操作であるか否かを判定する操作判定手段と、動作が操作であると判定されると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。

　請求項２に記載の発明は、請求項１に記載の画像認識装置において、仮想操作面は、操作面形成基準から上方に投射した面であることを特徴とする。

　請求項３に記載の発明は、請求項２に記載の画像認識装置において、操作面形成基準の操作者側に操作者の動作を制限する動作制限手段をさらに備えたことを特徴とする。

　請求項４に記載の発明は、請求項１に記載の画像認識装置において、仮想操作面は、操作面形成基準の操作者と反対側の所定の位置から上方に投射した面であることを特徴とする。

　請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作判定手段は、操作者の一部が仮想操作面よりも三次元撮像手段側にあるとき操作であると判定することを特徴とする。

　請求項６に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作判定手段は、操作者の一部の、仮想操作面よりも三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする。

　請求項７に記載の発明は、請求項６に記載の画像認識装置において、操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする。

　請求項８に記載の発明は、請求項１ないし７のいずれかに記載の画像認識装置において、操作面形成基準は、操作者が載る床面に示されていることを特徴とする。

　請求項９に記載の発明は、請求項１ないし７のいずれかに記載の画像認識装置において、操作者と三次元撮像手段との間に配置された立体物をさらに備え、操作面形成基準は、立体物の所定の外縁であることを特徴とする。

　請求項１０に記載の発明は、請求項９に記載の画像認識装置において、立体物は、テーブルであることを特徴とする。

　請求項１１に記載の発明は、請求項１ないし１０のいずれかに記載の画像認識装置において、操作面形成基準は、読取られた画像からの抽出が容易になるように三次元撮像手段に撮像される所定の面にマーカを有することを特徴とする。

　請求項１２に記載の発明は、請求項１ないし１１のいずれかに記載の画像認識装置において、操作者と対面して配置された画像表示手段をさらに備え、操操作判定手段は、操作者が操作の判定結果を認識できるように、画像表示手段に現時点の操作判定結果を表示させることを特徴とする。

　請求項１３に記載の発明は、請求項１ないし１２のいずれかに記載の画像認識装置において、仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で操作者の動作が行われると、仮想操作階層に予め割当てられた操作種別および仮想操作階層内での操作者の動作に基づいて操作の内容を決定する操作内容決定手段をさらに備えたことを特徴とする。

　請求項１４に記載の発明は、画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、操作者が所定の空間上の仮想操作面を把握するよう設けられた操作者に知覚可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、三次元撮像ステップにおいて読取られた操作面形成基準によって仮想操作面を形成し、形成された仮想操作面に対する、三次元撮像手段で読取られた操作者の動作が、操作者の一部と仮想操作面との位置関係に基づいて操作であるか否かを判定する操作判定ステップと、動作が操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

　請求項１５に記載の発明は、画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、操作判定方法は、操作者が所定の空間上の仮想操作面を把握するよう設けられた操作者に知覚可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、三次元撮像ステップにおいて読取られた操作面形成基準によって仮想操作面を形成し、形成された仮想操作面に対する、三次元撮像手段で読取られた操作者の動作が、操作者の一部と仮想操作面との位置関係に基づいて操作であるか否かを判定する操作判定ステップと、動作が操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

　請求項１６に記載の発明は、画像認識装置であって、操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像手段と、三次元撮像手段の撮像範囲内の予め定められた位置及び大きさで、操作者の操作の基準となる仮想操作面を形成し、形成された仮想操作面に対する操作者の動作を、三次元撮像手段で読取って、仮想操作面に対する操作者の部位の位置関係に基づいて動作が操作であるか否かを判定する操作判定手段と、操作判定手段により認識される、仮想操作面に対し三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を表示させて判定しようとする操作を示す、操作者が視認可能な画像表示手段と、動作が操作であると判定されると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。

　請求項１７に記載の発明は、請求項１６に記載の画像認識装置において、標示は、操作者の部位の、仮想操作面との距離が近づくごとに小さくなることを特徴とする。

　請求項１８に記載の発明は、請求項１６に記載の画像認識装置において、標示は、操作者の部位の、仮想操作面との距離が近づくごとに色相が変化することを特徴とする。

　請求項１９に記載の発明は、請求項１６に記載の画像認識装置において、標示は、操作者の部位の、仮想操作面との距離が近づくごとに透明度が低くなることを特徴とする。

　請求項２０に記載の発明は、請求項１６に記載の画像認識装置において、操作者の部位の、仮想操作面との距離が近づくごとに、標示と画像表示手段に表示されている操作対象画像とのコントラストが大きくなることを特徴とする。

　請求項２１に記載の発明は、請求項１６に記載の画像認識装置において、標示は、操作者の部位の、仮想操作面との距離が近づくごとに形状が変化することを特徴とする。

　請求項２２に記載の発明は、請求項１６ないし２１のいずれかに記載の画像認識装置において、操作者の部位は複数あり、標示は、複数の操作者の部位の各々に対応して複数表示されることを特徴とする。

　請求項２３に記載の発明は、請求項１６ないし２２のいずれかに記載の画像認識装置において、仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で操作者の動作が行われると、仮想操作階層に予め割当てられた操作種別および仮想操作階層内での操作者の動作に基づいて操作の内容を決定する操作内容決定手段をさらに備えたことを特徴とする。

図１は、本実施形態の操作面形成基準であるマーカを床面に表した操作入力システムの一例を示す図である。 図２は、本実施形態の操作入力システムのコンピュータとの関係を模式的に示すブロック図である。 図３は、本実施形態のコンピュータのＣＰＵ内で処理されるプログラムの機能モジュールの一例を示すブロック図である。 図４は、本実施形態の処理のフローチャートである。 図５は、本実施形態のマーカの役割を具体的に説明するための図である。 図６は、本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 図７は、本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 図８は、本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 図９は、本発明の一実施形態にかかる操作入力支援の具体的な表示の一例を示す図である。 図１０は、本発明の別の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 図１１は、本発明のさらなる別の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 図１２は、本発明のさらなる別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 図１３は、本発明のさらなる別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 図１４は、従来の大画面を用いたジェスチャによる入力システムを説明する図である。 図１５は、従来の３Ｄカメラを用いた操作者の画像取り込み方法を示す図である。 図１６は、従来の３Ｄカメラを用いた複数の操作者の画像取り込んだ場合の画像の一例を示す図である。 図１７は、本発明のさらなる別の一実施形態にかかる具体的な操作装置の一例を示す図である。 図１８は、本発明のさらなる別の一実施形態にかかる操作入力システムのコンピュータとの関係を模式的に示すブロック図である。 図１９は、本発明のさらなる別の一実施形態にかかる別の具体的な操作装置の一例を示す図である。 図２０は、本発明のさらなる別の一実施形態にかかる具体的な操作装置の操作指示領域のパターン投影法の一例を示す図である。 図２１は、本発明のさらなる別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 図２２は、本発明の一実施形態の仮想操作面を用いた操作入力システムの一例を示す図である。 図２３は、本発明の一実施形態にかかる仮想的な操作面および操作領域の様子を示す図である。 図２４は、本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 図２５は、本発明の一実施形態にかかる操作入力画面の具体的な表示の一例を示す図である。 図２６は、本発明の一実施形態にかかる操作入力画面で使用可能な種々のアイコンの例を示す図である。 図２７は、本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 図２８は、本発明の一実施形態にかかる操作入力画面のメニューボタンの色の変化する様子を示す図である。 図２９は、本発明の一実施形態にかかる操作入力画面のメニューボタンの濃淡の変化する様子を示す図である。 図３０は、本発明の一実施形態の変形例にかかる仮想的な操作面および操作者の操作の様子を示す図である。 図３１は、本発明の一実施形態のマルチタッチにかかる仮想的な操作面および操作者の操作の様子を示す図である。 図３２は、本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す横面図である。 図３３は、本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す正面図である。 図３４は、本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す正面図である。 図３５は、本発明の一実施形態にかかるマルチタッチ操作により画面上に表示された画像の変化する様子を示す図である。 図３６は、本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す横面図である。 図３７は、本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す正面図である。 図３８は、本発明の一実施形態の仮想的な操作面と侵入防止ガードとの関係を示す図である。 図３９は、本発明のさらなる別の一実施形態にかかる具体的な操作装置の操作指示領域のパターン投影法の一例を示す図である。 図４０は、本発明の一実施形態にかかる複数の操作面形成基準により形成される複数の仮想的な操作面の様子を示す図である。 図４１は、本発明の一実施形態にかかる複数の操作面形成基準により形成される複数の仮想的な操作面の様子を示す図である。 図４２は、本実施形態により画面に表示された図形を移動させる指示を入力する一例の表示画面を示す図である。 図４３は、本発明の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 図４４は、本発明の侵入防止ガードがない場合の一実施形態の仮想的な操作面とマーカとの関係を示す図である。 図４５は、本発明の別の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 図４６は、本発明のさらに別の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。

　以下、図面を参照しながら本発明の実施形態について詳細に説明する。
（第１実施形態）

　図１は、本実施形態の操作面形成基準であるマーカ１０１を床面に表した操作入力システムの一例を示す図である。本実施形態のマーカ１０１は、操作者とモニタ１１１との間に配置され、操作者１０２は、このマーカ１０１から表示画面側に出た部分の動き、形状が操作判定の対象になることを意識して操作入力システムに対し操作を行うことができる。モニタ１１１には、本システムが目的とする様々なアプリケーション用の種々の映像が表示されるが、これに加え後述するように操作入力を支援、すなわち例えば対象となる操作者１０２の部位などを画面の隅の方に表示して、操作者１０２に、現時点で操作として判定されうる動作を認識させることができる。操作者１０２の動きはビデオカメラ２０１により撮影され、撮影された映像はコンピュータ１１０で処理され、操作者１０２のマーカ１０１を出た部分のジェスチャがどのような操作を意味するかを判定する。コンピュータ１１０は、ビデオカメラ２０１から得られたデータから、操作者１０２の立体画像を作成するとともに、マーカ１０１により形成される仮想操作面の位置を算出し、仮想操作面を基準に操作者１０２の手指などがビデオカメラ２０１側に出ているか否かを決定し、その部分を操作の対象として操作内容を判定する。

　本実施形態では、画像を取得するためにビデオカメラ２０１をモニタ１１１の上部に取りつけ撮影しているが、必要な画像が得られればこれに限られることなく、赤外線カメラ等、本技術分野で知られたいずれの撮影手段を用いることもでき、設置場所もモニタの付近の何処を選択することもできる。ここで、本実施形態ではビデオカメラ２０１として三次元（あるいは３Ｄ）カメラを用いることにより、操作者および操作面基準を含め立体画像が作成できるようにする。また、赤外線カメラとビデオカメラとを融合して用いることもできる。すなわち、例えば後述する再帰性反射材をマーカとして使用する場合、赤外線カメラを専ら操作面形成基準のキャリブレーション用に用い、操作者の動きは通常のビデオカメラで捉えるといった仕方で２種類のカメラを用いることができる。

　さらに、本実施形態のシステムには図示しないスピーカ等の音声出力装置を取り付けられており、表示内容や操作に関する情報を音声で操作者に伝えることもできる。このような機能を設けることにより、ディスプレイに操作内容を画像で表示するだけではなく、指示事項や結果について、同時に音声で流すことで操作面基準が判るため、視覚障害のある操作者でも操作することが可能になる。

　図５は、マーカ１０１の役割を具体的に説明するための図である。マーカ１０１は、操作者１０２が仮想操作面を認識するための操作面形成基準であり、ユーザ１０２は、図６に示すように、床面に示されたマーカ１０１の上方に操作面が仮想的に存在すると捉えて種々の操作、例えば操作をしようとする場合はマーカ１０１を基準に手６０１を前に突き出してジェスチャを示したりすることができる。マーカ１０１の幅は操作面の幅ともなっている。また、補助マーカ５０１は、マーカ１０１の前後を区別するマーカであり、補助マーカ５０１を用いて、操作領域を確定したり、３次元パース計算要素としたりすることもでき、形状や方向も自由であり、測定に適したエリアを示すようにしても良い。このような、マーカ１０１を備えた操作入力システムでは、図７に示すようにマーカ１０１の上部に操作面７０１が仮想的に形成され、操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。また、仮想操作画面エリア（線分の垂直上方向に位置）のユーザが任意のポーズを取った後に、線分の前方へ押し出す（決定）動作でアクションを決定したり、操作を決定してから押し出すという判断の基準としたりすることができるため、ユーザが認知しやすく、操作性は従来のタッチパネル操作に近いものとなる。一方、操作バリエーションは、従来のタッチパネルより圧倒的に増える（両手操作や、振舞、複数指等）。

　本実施形態で、仮想操作面は図５ないし８などに示すようにマーカの真上に形成されているように示されているが、マーカの上方とは必ずしも真上でなくてもよい。すなわち、操作面形成基準であるマーカは視認可能であり、操作者がマーカを視認してこれを基準とし、概ね仮想操作面が存在する位置を推測して操作を行う。したがって、仮想操作面はマーカの上方に形成する必要があるが、操作者から見て前後の位置関係については操作者やシステム全体の状況に応じて変化する可能性がある。一般的には、図４４に示すように、例えば床面などにマーカ４４０１を配置した場合などは操作者１０２の目の位置からするとマーカ４４０１の真上に近い位置に立つことが多いと考えられるので、マーカ４４０１の操作者１０２と反対側に少しずらした位置４４０２に仮想操作面７０１を形成した方が腕の動きに余裕ができて自然な操作が可能な場合もあると考えられる。一方、後述する第２実施形態のような図２１に示す机の縁にマーカ１９０２を貼り付けたような場合は、マーカを貼り付けた反対側の縁により操作者は動作を制限される、すなわちこの縁より前面には体を操作面に近づけることはできないから机の幅を操作しやすいように適当に取ることができる。この場合、仮想操作面はマーカの真上に形成するほうが操作者により容易に仮想操作面を認識させることができると考えられる。

　本実施形態のような操作面基準は、キャプチャした画面上で広範囲、適度かつ同時に測定マーカを分散配置することができるため、非常に信頼性の高い測定が可能となる。さらに、このような効果とともに、常にマーカがカメラの撮影範囲内にあることが保証されるキャリブレーションシステムと併用することができ、省スペース・多機能な装置を実現することができ、基本的に初回設置のキャリブレーション後、毎回再測定する必要がない。

　マーカ１０１は、このようにビデオカメラ２０１により撮影されて操作面形成基準となり、これを容易にするため、マーカ素材は本技術分野で知られた種々のものを用いることができるが、通常は使用するカメラにより適当なものが選択される。例えば、通常カメラの場合、背景色彩から際立つような特徴あるカラーリングが必要であり、赤外線カメラを使用するときは、再帰性反射材などを使用することができる。一方、レーザ光は、黒色部分等、反射が少ないような色、素材の場合は反射光を測定しにくいので、レーザ光によりマーカや再帰性反射材などを使用することなく黒色のバーなどを使用することにより、レーザ光が照射された部分は反射されずに画面上欠損が発生するので、このようにしてもバーの位置を検出することができる。

　マーカはこのように適切な素材を床面に貼り付けることにより使用することができるが、これに限られることなく直接床面に塗布したり、本技術分野で知られた任意の付着方法を用いたりすることができる。また、上記の説明では、操作面形成基準としてマーカ１０１を用いることとしたが、これに限られることなく任意の部材や構造を立体測定基準として用いることができる。例えば、マーカは図１に示すような形ではなく様々な形の図形とすることができ、いくつかの点に一定の面積を有するマーカを複数設けるようにしてもよい。

　図２は、本実施形態の画像認識装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、モニタ７０１の上部等に取り付けられ、操作者１０２およびマーカ１０１などを撮影するビデオカメラ２０１が接続され、撮影した画像がコンピュータ１１０に取り込まれる。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である画像の抽出、位置の算出などが行われ、算出した位置から操作面からビデオカメラ側に身体の一部が出たかどうかを決定する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、画像認識装置から入力した画像に基づいた処理結果をモニタ１１１等に出力する。本実施形態では、モニタ１１１は、主に操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力するものだが、後述するように操作入力の支援となるような情報も表示する。

　図３は、本実施形態のコンピュータ１１０のＣＰＵ２１０内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図３に示すように、　本システムにおける処理は、画像読取部３０１、画像抽出部３０２、画像位置算出部３０３および操作判定部３０４により実行される。なお、本実施形態では、ビデオカメラ２０１からの画像を受取ってからデータの出力を行うまでの処理を４つのモジュールにより実行するがこれに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。
（本実施形態の処理）

　本実施形態では、図８に示すように、ビデオカメラ２０１で撮影されたマーカ１０１を基準に、同じく撮影した操作者１０２の位置を定めるとともに、マーカ１０１の上方に操作面７０１が形成されていると仮想して、仮想的な操作面７０１と操作者１０２との位置関係を算出する処理を行う。本実施形態では、このような処理を行う前提として、本技術分野で知られた初期設定、例えば本実施形態の画像認識装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ２０１の利用レンズの歪み、マーカ１０２とレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。システムの初期設定が終了すると、本実施形態の処理を行うこととなるが、この処理については図４を参照して以下に説明する。

　図４は、本実施形態の処理のフローチャートである。まず、画像読取部３０１においてビデオカメラ２０１で撮影されたデータを読取り（Ｓ４０１）、そのデータからマーカ１０１の、例えばカラー画像の場合、画像抽出部３０２により、予めマーカとして決めておいた色領域を抜き出してマーカ１０１の画像のみを抽出する（Ｓ４０２）。具体的には、本実施形態では、カラーＮＴＳＣ信号の輝度信号Ｙと色差信号Ｕ、Ｖの各々に上下の閾値を設定して全ての閾値を満たす画素を抽出するが、これに限られず本技術分野で知られたいずれの方法を用いることもできる。このようにして、マーカ１０１の位置が三次元的に把握できると、仮想的な操作面がどの様なものとなるのかを算出してデータベースに記憶しておく。

　ここで、操作面の形状は図８などを参照すると床面から垂直に立てた長方形となっているが、これに限られず、マーカ１０１の形状や配置の仕方で様々な形状、大きさの操作面を形成することができる。例えば、図８に示すマーカ１０１は、モニタ１１１の面に平行な一定の長さの直線であるため、仮想的な操作面は操作面７０１のようになるが、マーカを斜めに一定の角度をつけた直線とすることもでき、その場合、形状は図８に示す操作面７０１と同じであるが、向きがモニタ１１１と一定の角度を持って斜めに置かれたものとなる。この場合も、操作者１０２は、マーカで斜めに配置された操作面が仮想的に形成されていると捉えることができるから、その操作面を意識して操作を行えばよい。また、立体的に補助マーカを配置して、床面に対しても一定の角度を持った斜面の操作面にしたり、曲面の操作面にしたりすることもできる。なお、本実施形態は、マーカなどにより形成された仮想的な操作面を基準にして処理を行うように説明するが、当業者であれば理解できるように、実際の計算処理では、操作面から操作者の位置を計算しなくてもよい。仮想的な操作面は、あくまでも操作者が意識して操作入力を行うようにするためのものだからである。

　カラー抽出が終了すると、さらに補助マーカ５０１も同様の処理を行って抽出した後、画像位置算出部３０３により、抽出したマーカ部分を白黒の２値化し、ビデオカメラ２０１の撮影した画像から抽出したマーカの縦横の辺を構成するピクセル数を計算する。取得した画像の縦横の辺の長さや傾斜を、基準となる画像と比較して撮像空間の歪みやスケールを割り出す。本実施形態では、歪みやスケールを算出する場合に、この他に少なくとも４点以上の箇所にマーカを設けて基準とすることもできる。例えば、４点以上の基準点が有ればそれを結んで線分とし、キャリブレーションを行うことが可能である。

　このような準備の結果、実際に操作者１０２の画像を抽出し（Ｓ４０３）、操作判定部３０４は、操作入力システムのマーカ１０１のビデオカメラ２０１から見て奥側に立つ操作者１０２とマーカ１０１との相対関係を用い（Ｓ４０４）、操作者１０２の一部が操作面のビデオカメラ２０１から見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、各部の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。ここで、どのような形状、動きがどのような操作に対応するかは、システム独自に取り決めることもできるし、本技術分野で知られたいずれかの手法を取り入れて決定することもできる。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行され（Ｓ４０７）、もともと仮想操作面から手前側に手が出ていない場合、操作は行われていないと判定して終了する（Ｓ４０８）。操作内容の判定はここで説明した手法に限られることなく本実施形態で知られたいずれの方法も用いることができる。また、具体的な判定方法も省略したが、一般には予め定めたジェスチャなどの操作者の身体の形状、動きと、それが意味する操作内容とをデータベース等に格納しておいて、画像抽出後、このデータベースにアクセスして、操作内容を判定する。この際にももちろん、画像認識技術や人工知能などを本技術分野で知られた手法により利用し、判定精度を向上させることもできる。

　ここで、操作者の像と操作面形成基準の画像とを対比して、歪み対応情報である予め算出しておいた画像の歪みやスケールに基づいて、操作者の各部位の位置や体勢を判定する。ここでは、詳述しなかったが、同様に、操作者の像も本技術分野で知られたいずれかの方法により抽出する。例えば、予め操作者の背面を特徴的なものにしておき操作者の像を抽出しやすくする等が考えられる。

　また、本実施形態では、仮想操作面の形成は、操作者の動作を認識する際に行っているが、これは例えばシステム全体が小規模なもので、比較的頻繁に操作面形成基準とカメラとの位置が変わる場合に有効であるが、博物館展示のような一度設定するとあまり頻繁には位置関係が変更されないような場合は、予め仮想操作面を抽出しておいていずれかの方法で数値化して記憶しておき、操作者が入力を行う際には最初から抽出することなく操作を判定することもできる。このような処理を取ることにより、仮想操作面を形成する処理を省略して全体として効率のよい処理が可能である。
（操作入力の支援）

　以上説明したように、単に三次元ビデオカメラおよびマーカ１０１のような操作面形成基準を設けるだけで、操作者は空間上にタッチパネルのような操作面を知覚、想定することができ、この操作面に対し、種々の操作を行うことにより、身体の全部または一部を用いた操作入力が可能となるが、さらに仮想的な操作面に対する操作者の映像をモニタ１１１に表示する等、操作入力を支援することにより、より容易に本実施形態のシステムを活用することができる。

　図９は、このような操作入力の支援となるガイダンスをモニタ１１１に表示している一例を示す図である。例えば、モニタ１１１の中心部に表示されている画像のどこかをポインタで指し示す場合、操作者は仮想的操作面を表示された画像と重ね合わせて、手指を突き出すことにより所望の場所を指し示すことができるが、そのように指し示す様子を図９に示すポインタ９０１のように表示することにより、操作者は現在行われている操作を認識し確認しながら、次の操作を実行することができる。この例で言うと、たとえば、ポインタ９０１は、操作面から手指を突き出すと画面に表示され、引っ込めると消える、あるいは濃淡をつけて表示するようになっており、手の動きとモニタ１１１に表示されるポインタの様子から、操作者は自然な形で、本実施形態の入力法を実行することができるのである。同様に操作者自身の様子を図６ないし８に示したような形で表した操作画面９０２を、モニタ１１１の右上隅に小さく表示させて現在どのような動きをして、システムではどのような操作と判定されているかを表示することができ、また、手の動きをグラフ化した折線グラフ９０３を示して、手の前後の動きがどうなっているかを操作者自身に意識させる等により、より的確な操作が期待できる。また、図示しないが、システムで使用することができるジェスチャをガイダンスに表示して、それに倣って操作入力をするよう操作者に促すようにして支援することもできる。

　以上本実施形態を用いると、操作者は予めジェスチャを覚えたり、取り決めておいたりすることなく、その動きによりシステムの操作を行うことができるほか、操作者の姿勢や各部、例えば手の動きが分かるので身体全体を使用したゲームに用いて、いわゆる複合現実感（ＭＲ）を実現することもできる。
（第２実施形態）

　本実施形態は、基本的に上述の第１実施形態のシステム構成と同様であるが、より具体的な使用状況に基づくものである。すなわち、本実施形態では、第１実施形態のシステムおよび処理を踏まえ、一定の立体物、例えば図２１に示す机状の立体物１９０１にマーカ１９０２、１９０３を付して操作面形成基準とすることにより仮想操作面７０１を形成し、これに対し例えば指６０１等で操作を行うことで、入力操作を可能とする。本実施形態では立体物の例として以下、リビングのテーブルを用い、家庭内などのソファ等に着席して操作する場合を想定して説明するがこれに限られず演題、置き台、あるいは図１７に示すバー１７０２のようなガードなど種々の用途のものを使用することができる。ここで、モニタ１１１は、家庭のリビング等に置かれた大画面テレビなどを想定する。

　また、図２１に示すようなマーカ付置き台を使用する場合、後述する図２３に示すように、例えばマーカ１９０３を用いて操作者１０２の上半身のみを対象エリア２３０１として、仮想操作面７０１から前面に出た部分の動きのみを操作として判定することもできる。このようにすることにより、操作者が図２１に示すような置き台を体の支えにして入力操作を行う場合に下半身、特に足が仮想操作面から前に出ても、あくまで上半身の動きのみを操作として認識するようにすることができる。

　ここで、本実施形態におけるマーカと仮想操作面との関係を図３８および３９を参照して説明する。本実施形態では基本的に机や台などの縁にマーカを付してマーカの上方に形成された仮想操作面に対し操作者が接触したり、手を移動させたりしてシステムに入力操作であることを認識させる。この際、机や台のマーカの付されていない縁は操作者の動作を制限し、適度にかざした手が仮想操作面に自然に触れることを支援する。この概念を図３８を参照して説明すると、操作面形成手段であるマーカ３８０１の上方に仮想操作面７０１が形成されるが、一方操作者１０２は、何らかの動作制限手段３８０２により仮想操作面から一定の距離が保たれることになり、自然に前に出した手６０１により仮想操作面に対し操作を行うことができる。本実施形態では、仮想操作面７０１は、マーカ３８０１の真上に形成されているが、第１実施形態で述べたようにマーカ３８０１を基準に前後に移動させることもできる。例えば、動作制限手段３８０２は基本的に固定であるから、操作者１０２の体形によってはマーカ３８０１の真上に仮想操作面が形成されると、手前過ぎたり、奥過ぎたりして使用感が悪くなる可能性もある。この場合に、操作者ごとにマーカ３８０１から、仮想操作面が形成される位置を前後させることもできる。

　図３９は、このような動作制限手段としてガイドバーを用いた場合の一例を示す図である。ガイドバー３９０２は、このような操作版の上で動作するときの不安定を防止するため通常は手すりとして、あるいは体をもたれることができるようになっているが、本実施形態の操作入力をする際には、動作制限手段として働き仮想操作面を用いた良好な操作感のための一助となる。

　図１０を参照すると、本実施形態では操作者１０２は着座の状態で、大画面テレビを操作するが、操作面形成基準はテーブル１００１上に設定されたマーカ１００２および補助マーカ１００３、１００４となり、操作者１０２はこれらのマーカにより大まかに、操作面７０１がマーカ１００２の上方に形成されているものと想定し、その操作面に種々のアクセスをして所望の操作を可能にする。上述のとおり、例えば、大画面テレビ１１１の画面と操作面７０１とを重ねあわせ、画面上にチャンネルの配列を表示させて、操作面７０１上に手指６０１で指し示すことにより所望のチャネルに切り替えることができる。

　ここで、補助マーカ１００３は、操作面の傾きを定めるものであり、図１０を参照するとテーブルの脚に設けられていることから、テーブル１００１の上面にほぼ垂直であり、仮想操作面もテーブル１００１の上面に垂直に形成されている。したがって、補助マーカ１００３を垂直とは異なる角度を持って設けた場合は、操作面は垂直で実施形態はなく斜めに形成されることとなる。また、補助マーカ１００４は、前後の判断およびパース計算を行うためのものである。このような本実施形態を用いることにより、家庭でくつろいでテレビの視聴を楽しんでいる際に、テレビの操作をしようとしてリモコンが見つからないときでも、一々リモコンを探すことなく遠隔操作が可能になる。
（第３実施形態）

　本実施形態は、基本的に上述の第１実施形態のシステム構成と同様であるが、より具体的な使用状況に基づく、第２実施形態とは異なるシステムを対象とする。すなわち、本実施形態では、第２実施形態と異なり、例えば図１１に示すように病院内などのベッド等に寝て操作する場合を想定する。ここで、モニタ１１１は、病室に置かれたテレビなどを想定する。

　本実施形態では、操作者１０２はベッドから少し起き上がった状態で、テレビを操作するが、操作面形成基準はベッド用テーブル１１０２上に設定されたマーカ１１０１および補助マーカ１１０３となり、操作者１０２はこれらのマーカにより大まかに、操作面７０１がマーカ１１０１の上方に形成されているものと想定し、その操作面に種々のアクセスをして所望の操作を可能にする。具体的には、図２１に示すように、マーカ１１０１からテレビ１１１側に指を突き出して、操作中であることをシステムに認識させるが、本実施形態では指６０１の形状により操作内容を示す。すなわち、図１３に示すように、テレビに向かって右手の指１３０１で「１」を、左手の指１３０２で「２」を示すことにより、本実施形態の操作入力システムでは、「２１」チャネルに変える指示であると判定する。このように、操作面７０１上に手指６０１で指し示すことにより所望のチャネルに切り替えることができ、ガードにより仮想操作エリアを認識しやすくなる。ユーザが操作する、しないの意思を判定ライン（長辺）より前に出す、出さないで確認でき、特定ジェスチャとジェスチャの中間動作部分を判定ラインの内側で行い、ジェスチャ決定後に判定ラインからカメラ側へ差し出すことで、従来の問題点であった曖昧さやエラーを回避できる。
（第４実施形態）

　本実施形態では、上述の第１実施形態に加えて、補助的な入力手法を組み合わせることにより、さらに操作が直感的に認識しやすい装置を提供するものである。すなわち、上述の第１実施形態の画像認識装置に床マットセンサを接続し、床マットで動作モードを指示しつつ三次元撮像装置を用いた画像認識装置によって、ジェスチャなどの操作者の操作をより確実に認識する。具体的には、例えば図１７に示すような床マット１７０１上のＬまたはＲを踏むと操作モードに入って操作者の動作をジェスチャであるとして認識処理を実行し、それ以外のときは操作者の動作は対象外として処理を行わない。この場合に仮想操作面はバー１７０２、１７０３を基準に形成される。

　図１８は、本実施形態の画像認識装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、モニタの上部等に取り付けられ、操作者およびバー１７０２、１７０３に付されたマーカなどを撮影するビデオカメラが接続され、撮影した画像がコンピュータ１１０に取り込まれる。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である画像の抽出、位置の算出などが行われ、算出した位置から操作面からビデオカメラ側に身体の一部が出たかどうかを決定する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、画像認識装置から入力した画像に基づいた処理結果をモニタ等に出力する。本実施形態では、モニタは、主に操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力するものだが、後述するように操作入力の支援となるような情報も表示する。図１８を参照すると、さらに、本実施形態の操作入力装置は、表面に床マットセンサ１７０１が張られており、例えば“Ｌ”あるいは“Ｒ”と表示された領域を足により踏まれて圧力が加わると、その位置に応じた信号を出力する。このように、足で操作をする場合には操作者によっては不安定になる可能性があるので、バー１７０２はこのような場合にも手でつかまって姿勢を安定させることができるので有効である。

　本実施形態の床マットセンサは、本技術分野で知られたいずれの技術を用いることもできる。例えば、圧力センサを用いたり、静電気を用いたセンサなどその他の技術を用いても、足の置かれた位置を示す信号を出力することができるものであればいずれの技術も用いることができる。出力した信号は、ＣＰＵ１８０２において情報入力により処理され、すなわち“Ｒ”あるいは“Ｌ”等のデータに変換され、変換されたデータはインタフェース１８０３を介しコンピュータ１１０に送信される。コンピュータ１１０は、床マットセンサからのデータと上述の仮想操作面に対してなされた動作とを融合して操作者が行おうとしている操作を特定する処理を実行する。すなわち、例えば“Ｒ”を踏みながらの動作が操作を意味するものとすると、操作者は何らかの操作を使用とするときのみ“Ｒ”を踏めばよく、コンピュータ１１０に操作として認識させようとする場合は“Ｒ”を踏みつつ、予め定められたジェスチャを示すことにより、コンピュータ１１０は操作者の動作の中から適切にシステムに対する操作を特定して処理することができる。

　図１７ではバー１７０２、１７０３を示したが、例えば図１９に示すような机状の立体物にマーカを付して操作面形成基準とすることもできる。この場合、図１７に示すと同様に主に足により指示する“Ｒ”や“Ｌ”が示された領域１７１０が配置されている。このような、“Ｒ”等が示された領域１７１０は、床マットや床面に書き込んだり、印刷したり、あるいはシートを貼り付けたりすることができる他、図２０に示すように、パターンを投影するための投影手段であるＬＥＤスポットライトや液晶プロジェクタなどをバー支持部１７０３等に取りつけ、床マットセンサ上に投影すると、投影ライト２００２が床マット上に入力文字等のパターンを形成することができる。すなわち、バー支持部１７０３に投影用ユニットを設置して、斜めに投影するようにすると、操作者の足２００１に邪魔されることがないので影で床マットセンサパターンがうまく投影されないということを避けることができる。このようにパターンを投影すれば、入力するデータに応じて操作者が分かりやすいパターンを動的に形成することができる。なお、図１９に示す例では床面に表示されたパターン１７１０を踏んで操作開始を知らせることができるので、本実施形態の仮想操作面を使用しなくても、ジェスチャにより種々の入力を行うこともできる。
（第５実施形態）

　本実施形態では、上述の第１実施形態とは基本的な概念としては一致するが、異なる手法により同様の効果を得る発明を使用する。すなわち、本実施形態も操作者が空間上に仮想的に形成された仮想操作面を基準に、そこにあたかもタッチパネルのような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、第１実施形態とは異なり、操作者が知覚できる操作面形成基準、例えば図１のマーカ１０１などを使用することなく操作の判定を行うものである。このために、本実施形態では上述の第４実施形態で用いたような補助的な入力手法を組み合わせることにより、操作者が自己の操作をシステムでどのように認識しているかを直感的に認識しやすい装置を提供する。

　基本的には、本実施形態の原理は仮想操作面に対する操作者の部位、例えば手あるいは指の位置の動きにあわせて、モニタ１１１上に操作者がどのような操作をしようとしているかをビジュアルに表示させることにより、操作者を誘導して的確な操作入力を可能にするというものである。具体的には、図２２に示すように、第１実施形態にあるようなマーカ１０１が存在しないので操作者１０２は基本的にどこに仮想操作面が形成されているか認識することができない。そこで、マーカ等の基準面を用いない操作者の直感を利用することにより操作者が一定の範囲内で仮想操作面の存在を認識できるようにし、それを基準として操作することによりシステム側でその操作を判定することができるようにする。

　この点について、図２３～２４を参照して説明すると、本実施形態では予め操作者が一定の立ち位置で操作しうる場合は予め設定された、その立ち位置で仮想操作面への操作が適した位置に、あるいは操作者の立ち位置に合わせて適宜適当な位置に仮想操作面７０１を形成する。同様に図２３に示すように、操作者１０２の適当な操作範囲２３０１を設定しておく。上述のとおりモニタ１１１には現在どのような操作が行われようとしているかを様々な形態で示すことにより、操作者が自己の操作を認識できるようにする。

　このような形態の１つについて図２４を参照して説明すると、操作者はシステムに対し何らかの操作を行おうとする場合、本例ではモニタ１１１に対し、腕２４０１を前後に動かすことにより、手あるいは指６０１の位置が変化するため、その様子をモニタ１１１に表示すると、突き出した指６０１が一定の位置まで来ると、そのときモニタ１１１の画面上で指示された項目が実行される等、システムとして一定の処理が行われる。図２４の例では、仮想操作面７０１に対する指６０１の位置（深さ）によってアイコンの大きさが変化するようになっており、仮想操作面に近づくほどアイコンが小さくなって操作者には自己の操作により一定の場所にフォーカスされていることが認識できるようになっている。そして、最もアイコンが小さくなった位置で、操作が確定しそれに応じた処理が実行される。

　以上の操作の結果、アイコンがモニタ１１１の画面２５０１上でどのように変化するかを示したのが図２５である。図２５を参照すると、モニタ１１１の画面２５０１には例えばテレビ番組表が表示されており、ある番組に関する操作を行おうとしている。このような状態で、例えば操作者が「設定変更」のメニューボタンを選択しようとする場合、操作者は上述のようにモニタ１１１に向かって指６０１を突き出して選択しようとする。本実施形態では、操作者は仮想操作面がどこにあるかを正確には認識しないが、指６０１が仮想操作面に対し一定の距離まで近づくと、画面２５０１にアイコン２５０３が表示される。このアイコンは指の位置がまだ遠いため図２４に示すアイコンのうち右の方にある比較的大きなものが表示される。操作者がさらに腕２４０１を伸ばすと、このアイコンは目標である選択項目「設定変更」に近づきつつ、小さくなり一定の大きさのアイコン２５０２のときにアイコンが指し示す位置の項目が選択されたと判定される。

　このように、図２５の例では、指６０１の位置に応じて画面２５０１に表示されるアイコンの大きさを変化させることにより、操作者は自己の動作がシステムでどのように認識しているかを把握することができ、仮想操作面の大まかな位置を認識して直感的に、メニューの選択などの操作を行うことができる。ここで、指６０１、腕２４０１を含む操作者全体及び各部位の位置や大きさは、第１実施形態と同様に三次元カメラを用いることにより抽出することができる。これにより画面内の物体は奥行きも含めて把握することができるから、これらの情報に基づき仮想操作面との距離や位置関係を算出することができる。ただし、本実施形態で使用する三次元カメラや位置の抽出、距離の算出などは本技術分野で知られたいずれの方法も用いることができるので、ここではその説明を省略する。

　本例で画面に表示されるアイコンは円形で操作者の動作に合わせて大きさが変化するが、これに限られず図２６に示すように様々な形態のアイコンを用い、様々な変化をさせることができる。すなわち、図２６を参照すると、（１）は指の形態のアイコンであり、上述の図２５の例と同様に仮想操作面に近づくほどに小さくするようになっている。（２）は、円形で次第に小さくなるようになっているが、入力あるいは選択が確定すると特別な形状に変化して確定したことが示される。このアイコンや他のアイコンの場合も形状や大きさの変化に代えて、あるいは合わせてアイコンの色を変化させることもできる。例えば、青、緑、黄、赤等、寒色系から暖色系に変化させることにより、直感的に操作がフォーカスされ確定することを操作者は認識することができる。（３）は、Ｘのような形状で、遠くにある場合は大きいだけでなくぼかしが入っており、近づくにしたがって、アイコンの大きさが小さくなるとともに、ぼかしが消えシャープな形状になる。（４）はアイコン全体の大きさは変化することなく、中に描かれた図形が形状変化を起こしてフォーカスされる様子を認識するようになっている。この場合、図形の色も変化させることができる。図２６に示す（５）も、形状を変化させるものである。図２６において、指の動きに応じてアイコンの形状や色などが変化していき、仮想操作面を越えるとその瞬間に、欄２６０１に示すように種々の形状や色に変化させたり、点滅させたりして操作として判定されたことを操作者に認識させるようにすることもできる。また、図示しないがこの他のアイコンの変化としては最初透明で、指が仮想操作面に近づくほどに不透明になるような変化も効果的である。

　ここで、アイコンのバリエーションのうち特に形状をあまり変化させず色や濃さを変化させる場合は、図２７に示すようにアイコンはあまり移動せず指６０１を近づけていくと、色が暖色系になったり濃くなったりして、入力を確定することができる。

　また、以上の例では操作の判定状況を確認するためアイコンを表示させ操作者の動作に応じて色や形状を変化させたが、例えば図２８、２９に示すように元々メニューのように予め指示する位置が固定されているような場合は、わざわざアイコンを表示しなくても、指６０１が指し示す位置がメニューのどの項目ボタンに最も近いかにより決定し、指６０１の動き、特に仮想操作面からの距離に応じて指し示されている項目ボタンを塗りつぶす色または塗りつぶす濃さを変化させることにより、仮想操作面の位置を認識させ、操作入力を容易にすることができる。図２８は、指６０１が近づくにしたがって、その選択されているボタンの色を寒色系から暖色系に変化させる例を示す図である。この例の色の選択としては、例えば（２）青、（３）緑、（４）黄、（５）赤のようにすると操作者は直感的に赤になると確定されると認識することができる。同様に、図２９は、ボタンの塗りつぶしの濃さを変化させる例を示す図である。

　同様なメニューの選択例としては、図４３に示すような一例もあるので説明すると、例えば図２４の指６０１が仮想操作面７０１を越えた位置まで伸ばされると、画面上にメニュー４３０１が表示され、その指６０１のＸ―Ｙ方向の位置に応じて項目４３０２が選択されていることを示す。その後、指６０１を左右上下に動かすことで、メニューの選択項目が移動して行き所望の項目で一定時間静止すると、選択された項目に応じた処理が行われる。また、選択が実行される前に指６０１が仮想操作面７０１より後方へ動かされるとメニューを消去するようにすることもできる。

　さらに、別の入力操作の例を図４２を参照して説明する。図４２は、本実施形態により画面に表示された図形を移動させる指示を入力する一例の表示画面を示す図である。指示は操作者の手または指を仮想操作面に触れて動かすことにより行う。まず、指などを画面に近づけていくと画面４２１１のアイコン４２０１から画面４２１２のアイコン４２０２へとアイコンを縮小させて仮想操作面に接近していることを示す。その後、仮想操作面に触れると画面の４２１３のアイコン４２０３のように例えば色を変化させて放置し、その状態で上に向けて指などを動かすと画面４２１４のラバーバンド４２０４などを表示させて移動方向を示すことにより、操作者が自己の操作を確認することができる。また、右方向に指を動かすと、画面４２１５のラバーバンド４２０５を表示することができる。このように、仮想操作面に指等が到達後の上下左右のドラッグ距離に応じて伸縮するラバーバンド(上図では矢印）を出現させ（アイコン４２０３の位置は仮想操作面から抜けるまで固定）、伸縮距離に応じて移動スピード、伸ばす角度に応じて３Ｄ空間内での移動する方向を変化させることができる（矢印先端が腕先や指先の動きに追随する）。

　以上、図２２、２３に示すような操作者とモニタとがほぼ同じ高さにある、すなわち仮想操作面が操作者の水平方向前面にほぼ垂直に形成される場合について、本実施形態の原理を説明してきたが、この原理はこのような操作者とモニタとの位置関係や形状には影響されることはなく、種々の配置や構成が可能である。例えば、第２～４実施形態で説明したような、ソファやベッドからの操作でも応用することができるし、もちろん置き台を使用することもできる。

　さらに、図３０に示すようにモニタ１１１が操作者１０２の斜め上部に取り付けられている場合にも仮想操作面を傾けて形成し、操作領域２３０１もそれに合わせて傾けることにより、上述の場合と同様に操作者１０２は、図３０に示すようにモニタ１１１を見上げて指を前後に動かすことにより、操作を行うことができる。この場合、三次元カメラ２０１もモニタ１１１とともに傾いているので、基本的には上述の水平位置に配置された場合と大きな相違はないが、カメラを別な位置に設置したとしても、本技術分野で知られたいずれかの方法で位置補正などを行なうことで、操作者の部位と仮想操作面との位置関係を算出して、操作を判定することができる。

　また、第４実施形態のように本実施形態の画像認識装置に床マットセンサを接続し、床マットで動作モードを指示しつつ三次元撮像装置を用いた画像認識装置によって、ジェスチャなどの操作者の操作をより確実に認識する。具体的には、例えば図１７に示すような床マット１７０１上のＬまたはＲを踏むと操作モードに入って操作者の動作をジェスチャであるとして認識処理を実行し、それ以外のときは操作者の動作は対象外として処理を行わない。この場合に仮想操作面はバー１７０２、１７０３を基準に形成される。
（第６実施形態）

　本実施形態は、上述の第１ないし５実施形態のいずれの実施形態を基本としても用いることができるが、特に第４及び５実施形態において実施することが有効である。本実施形態は、基本的に上述の実施形態と同じ構成、配置のシステムを用いることができる。操作者の部位の検出や仮想操作面との位置関係の算出も同様である。すなわち、第４実施形態を基本とすれば、操作者は例えばマーカを基準に仮想操作面の位置を認識してその仮想操作面に対して種々の動作を行うことによって一定の操作と判定する。また第５実施形態を基本とする場合、マーカ等の基準を使用せずモニタ画面のアイコン等の動きにより操作者が自己の動きがどのように操作として判定されているかを認識して動作することにより、操作が判定されるが、いずれの実施形態でも、必ずしも限定してはいないが、操作者の１つの部位によりシステムにアクセスする例についてのみ説明した。本実施形態では、図３１に示すように、操作者は１つの部位だけでなく複数の部位、例えば両手や、複数の指などを用いて同時にシステムアクセスする。

　従来本実施形態が処理しようとする、いわゆるマルチタッチを入力システムとして用いるのは容易ではなかった。例えば、いずれの手法によるかに関わらず従来のタッチパネルはパネル上の各点で接触を検知するが、同時に複数の接触があるとどの点で接触を検出したかを検知することができなかった。本実施形態は、上述のとおり三次元カメラを用いて操作者の各部位をそれぞれ立体的に認識することができるので、例えば仮想操作面を基準に仮想操作面に触れた複数の部位の位置を同時に正確に検出することができる。したがって、本実施形態では図３１に示すように２本の腕あるいは複数の指を用いて、同時に仮想操作面上で操作させることにより、システムとして複数の位置を指示したり、複数のボタンを同時に押下したりすることができる。

　また、このような複数部位を用いた操作としては、複数の指を用いて直感的なジェスチャ、例えば画像の一部をつまんで引き伸ばした入りする動作により拡大動作を可能にしたりすることができる。このようにすることにより、予めシステムごとに定められた特殊なジェスチャを学習することなく複雑な操作入力をすることが可能となる。例えば、図３２ないし３５を参照して、モニタ１１１に表示された画像を伸張する操作をマルチタッチにより実行する例を説明する。

　図３２を参照すると、操作者１０２は仮想操作面７０１を基準として左手３１０１及び右手３１０２をモニタに向かって突き出す。操作者１０２が操作しようとする画像の仮想操作面上の投射した画像イメージ３２０３を仮想操作面７０１から突き出た指３２０１及び３２０２で指示することにより、モニタ１１１上では対象画像の縁が両指で捕まえられたような表示がなされ、指３２０１及び３２０２を広げることにより、例えば図３３に示すような状態から、図３４に示すような状態に腕を広げることにより対象画像は伸張される。なお、図３２に示す仮想イメージ３２０３は、仮想操作面７０１に対し若干傾いているように描かれているが、これは例えば操作者１０２が指３２０２をモニタ１１１側に突き出すことにより、対象画像を奥行き方向へも伸張、移動させることができることを示しているものである。

　すなわち、横面から見た図３２の操作の様子を、正面から見たのが図３３及び３４であり、最初表示された画像の仮想操作面上の仮想イメージ３２０３は、この操作により縁が図３３の指３２０１及び３２０２の位置から図３４に示すように指３４０１及び３４０２の位置に動かされ、画像イメージ３４０３のように伸張される。以上の操作に応じたモニタ１１１上の画像の様子を示す図が図３５である。図３５に示すようにモニタ１１１には最初の状態（１）における画像３５０３の縁３５０１及び３５０２が指３２０１及び３２０２で指示されていることが示されており、その後操作者により腕が広げられると徐々状態（２）を介して最終的に状態（３）の画像３５０３まで伸張される。このようにして、本実施形態のマルチタッチを用いることにより、単にメニューボタンやアイコンを押下するだけでなく、モニタ上に表示された画像をつかんだり、伸ばしたりすることができる。

　また、図３６及び３７にマルチタッチを用いる別の例を示す。図３６を参照すると、複数の指３６０１を仮想操作面７０１を越えて前に出すことによって、モニタ上に表示された、例えばコップなどの画像イメージ３６０２を掴むような操作であると判定することにより、その後の腕の動きでコップを移動させる等の処理を実行することができる。この様子を正面から見た図が図３７である。なお、仮想操作面７０１はモニタ１１１に完全に投影しても良いし、一部にすることもできる。

　以上、本実施形態を用いると、上述の第１ないし５実施形態で複数の部位を同時に用いることができるので、複雑な操作や、複数の同時操作などが可能となりより効果的な入力環境を提供することができる。
（第７実施形態）

　本実施形態は、上述の第１実施形態ないし第４実施形態と同様の構成を使用するが、複数の操作者の各々のための操作面形成基準を有する点が異なる。複数の操作者が操作入力を同時にする場合としては、例えば対戦型ゲームのようにそれぞれの操作者の操作が相互に作用しあって、コンピュータの処理や画面表示が行われる。一方、別々の処理を書く操作者が、例えば画面を操作者の数だけ分けて処理するような形態もある。いずれにしても、どの操作者がどの操作をしたかを明確に判別する必要がある。本実施形態では、操作面形成基準にＩＤ識別機能、例えば色分けする、異なる形状を持たせる、バーコード等の符号を付すことにより、または単純に左右、上下、前後などの位置関係で識別可能なときはその位置関係などにより、操作面形成基準を判別し、その基準を用いて入力される操作を他の操作面形成基準によるものと分けて処理する。

　操作面形成基準に施すＩＤ識別機能は上述のような本実施形態の操作解析のために用いる三次元カメラにより識別可能なものでもよいし、別の方法例えば無線タグのようなもので位置関係を判別し、三次元カメラの映像と照合するといった方法により達成することができるが、さらにこれに限られない。

　図４０は、このような複数の操作面形成基準を用いたシステムの一例を示す図である。この例では、机４００５の上面に付されたマーカ４００１および４００２に仮想操作面を形成し、その形成された仮想操作面に対してそれぞれ操作者４００３および４００４が手などを動かすことで、その動作を操作と認識させ、操作者４００３および４００４の操作を判別して、その後の処理を行う。なお、本例ではマーカ４００１と４００２とはその色により識別できるようにされている。同様に図４１は、このような複数の操作面形成基準を用いたシステムの別の一例を示す図である。マーカ４１０１および４１０２により、それぞれ操作者４１０３および４１０４の操作を分けて処理することができる。この例でマーカの識別は、色または形状で識別できるものとする。

　以上の通り、本実施形態では複数の操作面形成基準を各々識別可能に用いることにより、複数の操作者の個別の操作入力を可能にするが、マーカあるいは操作者の識別以外は、第１実施形態ないし第４実施形態の装置または方法が用いられる。なお、図４０、４１はいずれも２名の操作者であるが、本実施形態はより多くの操作者にも適用できる。
（第８実施形態）

　本実施形態は、上述の第１ないし７実施形態のいずれかを使用しながら、さらに判定される操作に多様性をもたらすものである。すなわち、本実施形態も操作者が空間上に仮想的に形成された仮想操作面を基準に、そこにあたかもタッチパネルのような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、このようにして判定された操作の内容を仮想操作面から奥側方向である、操作者から離れる方向への仮想操作面と操作者の手等の身体の一部あるいは身につけた物体の位置関係で決定する。例えば、操作者から離れる方向であるｚ軸方向に２層あるいは３層に操作領域を仮想操作階層として設定し、操作者の手がどの層に入っているかにより操作の種別を決定して、その層内での手の動きにより操作内容を決定する。この際、操作者が視認している表示画面上に手の位置や操作の種別などを表示させれば、より操作者は操作の認識を容易にすることができる。なお、操作者の一部と各階層を分割する面とのｚ方向の距離は第１実施形態などで説明した手法によって取得することができる。

　本実施形態を図面を参照してより具体的に説明すると、図４５に示すトリガ面７０１は、第１ないし７実施形態と同様本願発明の仮想操作面であり、上述の実施形態のいずれかを用いて指６０１がトリガ面７０１からｚ軸方向に入ると、操作が行われたと判定される。本実施形態ではさらに、トリガ面７０１から先の操作領域を階層ＡないしＣの３階層に面４５０１および４５０２で分割し、各々異なる操作の種別を割当てる。図４５の例では、階層Ａにはオブジェクトの回転の操作を、階層Ｂには拡大縮小の操作を、階層Ｃにはオブジェクトの移動の操作をそれぞれ割当てている。各階層において指６０１を動かすことにより決められた操作が実行される。例えば、階層Ａにおいては、トリガ面７０１を指６０１が通過した際に指６０１を示すアイコン、例えば回転アイコン４５０３が示す位置を中心に指定されたオブジェクトが指６０１の動きに合わせて回転する。階層Ｂにおいては、例えばモニタ１１１に拡大縮小アイコン４５０４を表示し、指６０１をｚ方向に動かすとオブジェクトが拡大され、反対方向に動かすとオブジェクトが縮小するようにすることができる。

　同様に、階層Ｃではモニタ１１１に表示された指定したオブジェク上の指６０１の位置に移動アイコン４５０５を表示し、指６０１の動きに合わせて移動するようにすることができる。ここで、階層間を区切る面４５０１および４５０２は各階層が同じ厚さになるように配置することもでき、階層に割当てられた操作種別に応じて異なる厚さになるよう配置することもできる。例えば図４５の例では、階層Ｂには拡大縮小の操作が割当てられているが、拡大縮小を前後の動きで表現しなければならないため、階層Ａや階層Ｃと比較して通常はｚ方向の動きが大きくなることから、階層Ｂをより厚くすることによって操作を容易にすることもできる。

　図４６は、本実施形態の別のアイコンの例を示す図である。図４６に示す例では、階層Ａにはモニタ１１１上での操作位置を特定する操作を、階層Ｂには特定された位置におけるオブジェクトを「掴む」操作を、階層Ｃには掴んだオブジェクトを投げるあるいは移動させる操作をそれぞれ割当てている。

　以上のように、本実施形態では、仮想操作面により操作と判定された後の操作内容の判定の際に、指や手の動きだけでなく、そのｚ方向の位置、すなわち仮想操作階層に応じて操作の種別を特定するようにすることができるため、指や手の動きのみでは様々なジェスチャーパターンを数多く準備し、かつユーザがそれらを覚える必要があるのに比較して、単純な動作のみで複雑な操作を使い分けできることとなる。

　なお、上述の、特に図４５に示す例では、手や指などの一連の動きを各階層間で連続的に行える操作を配置するようになっているが、連続的に操作できないような配置の場合（図４６に示す例）は、次のような２つの点が問題となる。すなわち、（１）目的とする仮想操作階層に到達する前に他の階層を通過し、操作者が欲しない指示を与えてしまう、（２）目的の操作を終え、手を操作領域から抜く場合、他の仮想操作階層を通過し、操作者が欲しない指示を与えてしまう、という点である。上記の問題を回避するためには、例えば次の方法などが考えられる。すなわち、操作する方と反対の手を操作領域内に差し込むようなマルチセンシングの状態（例えば、右手で操作している場合、左手を操作領域内に入れた状態）を、操作なし（あるいはその逆に、操作あり）の状態と設定し、操作する方と反対の手の出し入れによって、各階層の操作を行うか否かを判断するようにする（この例では両手操作によるが、XY平面上にすり抜け用エリアを設ける等、様々な方法が考えられる）。

Claims (23)

1. 　操作者の少なくとも一部の像を読取って立体画像データを生成する三次元撮像手段と、
   　前記操作者が所定の空間上の仮想操作面を把握するよう設けられた該操作者に知覚可能な、前記撮像手段の撮像範囲内に予め配置された操作面形成基準と、
   　前記三次元撮像手段により読取られた前記操作面形成基準によって、前記仮想操作面を形成し、当該形成された仮想操作面に対する操作者の動作を、前記三次元撮像手段で読取って、前記操作者の一部と前記仮想操作面との位置関係に基づいて該動作が操作であるか否かを判定する操作判定手段と、
   　前記動作が操作であると判定されると、所定の信号を出力する信号出力手段と
   　を備えたことを特徴とする画像認識装置。
2. 　前記仮想操作面は、前記操作面形成基準から上方に投射した面であることを特徴とする請求項１に記載の画像認識装置。
3. 　前記操作面形成基準の操作者側に操作者の動作を制限する動作制限手段をさらに備えたことを特徴とする請求項２に記載の画像認識装置。
4. 　前記仮想操作面は、前記操作面形成基準の操作者と反対側の所定の位置から上方に投射した面であることを特徴とする請求項１に記載の画像認識装置。
5. 　前記操作判定手段は、前記操作者の一部が前記仮想操作面よりも前記三次元撮像手段側にあるとき操作であると判定することを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
6. 　前記操作判定手段は、前記操作者の一部の、前記仮想操作面よりも前記三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
7. 　前記操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする請求項６に記載の画像認識装置。
8. 　前記操作面形成基準は、操作者が載る床面に示されていることを特徴とする請求項１ないし７のいずれかに記載の画像認識装置。
9. 　操作者と前記三次元撮像手段との間に配置された立体物をさらに備え、
   　前記操作面形成基準は、前記立体物の所定の外縁であることを特徴とする請求項１ないし７のいずれかに記載の画像認識装置。
10. 　前記立体物は、テーブルであることを特徴とする請求項９に記載の画像認識装置。
11. 　前記操作面形成基準は、読取られた画像からの抽出が容易になるように前記三次元撮像手段に撮像される所定の面にマーカを有することを特徴とする請求項１ないし１０のいずれかに記載の画像認識装置。
12. 　操作者と対面して配置された画像表示手段をさらに備え、
    　前記操作判定手段は、操作者が操作の判定結果を認識できるように、前記画像表示手段に現時点の操作判定結果を表示させることを特徴とする請求項１ないし１１のいずれかに記載の画像認識装置。
13. 　前記仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で前記操作者の動作が行われると、該仮想操作階層に予め割当てられた操作種別および前記仮想操作階層内での操作者の動作に基づいて前記操作の内容を決定する操作内容決定手段をさらに備えたことを特徴とする請求項１ないし１２のいずれかに記載の画像認識装置。
14. 　画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、
    　前記操作者が所定の空間上の仮想操作面を把握するよう設けられた該操作者に知覚可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および該所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、
    　前記三次元撮像ステップにおいて読取られた操作面形成基準によって前記仮想操作面を形成し、当該形成された仮想操作面に対する、前記三次元撮像手段で読取られた操作者の動作が、前記操作者の一部と前記仮想操作面との位置関係に基づいて操作であるか否かを判定する操作判定ステップと、
    　前記動作が操作であると判定されると、所定の信号を出力する信号出力ステップと
    　を備えたことを特徴とする操作判定方法。
15. 　画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、該操作判定方法は、
    　前記操作者が所定の空間上の仮想操作面を把握するよう設けられた該操作者に知覚可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および該所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、
    　前記三次元撮像ステップにおいて読取られた操作面形成基準によって前記仮想操作面を形成し、当該形成された仮想操作面に対する、前記三次元撮像手段で読取られた操作者の動作が、前記操作者の一部と前記仮想操作面との位置関係に基づいて操作であるか否かを判定する操作判定ステップと、
    　前記動作が操作であると判定されると、所定の信号を出力する信号出力ステップと
    　を備えたことを特徴とするプログラム。
16. 　操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像手段と、
    　前記三次元撮像手段の撮像範囲内の予め定められた位置及び大きさで、操作者の操作の基準となる仮想操作面を形成し、当該形成された仮想操作面に対する操作者の動作を、前記三次元撮像手段で読取って、前記仮想操作面に対する前記操作者の部位の位置関係に基づいて該動作が操作であるか否かを判定する操作判定手段と、
    　前記操作判定手段により認識される、前記仮想操作面に対し前記三次元撮像手段の反対側における前記操作者の一部と前記仮想操作面との位置関係から当該距離を算出して該距離に応じ変化する標示を表示させて判定しようとする操作を示す、前記操作者が視認可能な画像表示手段と、
    　前記動作が操作であると判定されると、所定の信号を出力する信号出力手段と
    　を備えたことを特徴とする画像認識装置。
17. 　前記標示は、前記操作者の部位の、前記仮想操作面との距離が近づくごとに小さくなることを特徴とする請求項１６に記載の画像認識装置。
18. 　前記標示は、前記操作者の部位の、前記仮想操作面との距離が近づくごとに色相が変化することを特徴とする請求項１６に記載の画像認識装置。
19. 　前記標示は、前記操作者の部位の、前記仮想操作面との距離が近づくごとに透明度が低くなることを特徴とする請求項１６に記載の画像認識装置。
20. 　前記操作者の部位の、前記仮想操作面との距離が近づくごとに、前記標示と前記画像表示手段に表示されている操作対象画像とのコントラストが大きくなることを特徴とする請求項１６に記載の画像認識装置。
21. 　前記標示は、前記操作者の部位の、前記仮想操作面との距離が近づくごとに形状が変化することを特徴とする請求項１６に記載の画像認識装置。
22. 　前記操作者の部位は複数あり、前記標示は、前記複数の操作者の部位の各々に対応して複数表示されることを特徴とする請求項１６ないし２１のいずれかに記載の画像認識装置。
23. 　前記仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で前記操作者の動作が行われると、該仮想操作階層に予め割当てられた操作種別および前記仮想操作階層内での操作者の動作に基づいて前記操作の内容を決定する操作内容決定手段をさらに備えたことを特徴とする請求項１６ないし２２のいずれかに記載の画像認識装置。

Images