JP4318056B1 - 画像認識装置および操作判定方法 - Google Patents

Abstract

【課題】的確な操作の判定を可能にすること。
【解決手段】操作者１０２の画像を抽出し（Ｓ４０３）、操作判定部３０４は、操作入力システムのマーカ１０１のビデオカメラ２０１から見て奥側に立つ操作者１０２とマーカ１０１との相対関係を用い（Ｓ４０４）、操作者１０２の一部が操作面のビデオカメラ２０１から見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、各部の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。
【選択図】図７

Description

本発明は、画像認識装置および操作判定方法に関し、より詳細には、ビデオカメラ等により撮影した画像から測定対象の動作の判定を行う画像認識装置および操作判定方法に関する。

近年、コンピュータや電子機器と人間とのインタフェース、すなわちマンマシンインタフェースとして様々な機器、手法が提案されており、特にゲーム機や操作ガイド機器などではカメラで操作者全体、あるいは一部を撮影し、その画像に応じて操作者の意志を判断して動作する技術が提案されてきている。例えば、特許文献１には、ＣＣＤカメラで撮像した画像中の物体の形状、動きを認識するホストコンピュータと、ホストコンピュータによって認識した物体の形状、動きを表示するディスプレイとを備え、ＣＣＤカメラにユーザが向い、手振り等によって指示を与えると、与えた手振りがディスプレイの表示画面上に表示され、表示画面上に表示した仮想スイッチ等を手振りによって矢印カーソルのアイコンで選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる技術が提案されている。

最近ではさらに、手指の動きや形状を撮像した画像から、ある種のジェスチャとして認識して、操作入力をする入力システムも提案されている。例えば、図１４を参照すると、ジェスチャによる画面操作でのプレゼンテーションや、タッチパネルを必要としない非接触キオスク端末に用いることができる入力装置が示されている。大画面に向き合った操作者は、通常（Ａ）の位置に設置されたカメラに向けて種々の操作を行うと、その内容が大画面に映し出される。このように撮影された画像から操作者の形状、動きを、本技術分野で知られた方法により抽出し、例えば予め定められ、データベースに格納されたパターンと比較することにより、操作者の形状、動きの意味を判定し機器の制御に用いる。

一方、操作者の画像の読み取り技術としては、図１５に示すように、三次元または立体対応のカメラで操作者を撮影し、立体画像を再現することも可能となっており、セキュリティチェックなどの用途に用いられている。立体画像を再現することにより、操作者の動きを立体的に把握することができ、例えば図１６に示すように操作者の特に手の動きが前後にも認識できるため、ジェスチャのバラエティが増大する。また、複数の操作者が画像として抽出されても、多人数であれば立体画像であるため前後関係がわかり、一番前の操作者の動きのみ抽出し、操作の入力に使用することもできる。

特開２００４−７８９７７号公報

しかしながら、従来のジェスチャ操作はデファクトスタンダードといった何らかの標準的なジェスチャが確立されておらず、人差し指でのＸＹ座標のポインティング操作以外はユーザがどのような動作で何ができるのかが直感的に認識できない。「クリック」、「ダブルクリック」、「ドラッグ」等・・・、クリック操作を何秒間かのウェイト時間の間座標に固定することで指示するものはあるが、設定されたウェイト時間が長すぎる等により快適な操作を阻害することも少なくない。したがって、クリックや決定（ダブルクリック等）などの操作をわかり易く、かつ快適にする現実的な手法がないという問題がある。

また、従来のジェスチャ検出装置は、タッチパネルといった直接操作者が触れることができる入力装置とは異なり、操作者の明確な意思を汲み取りにくい。すなわち、そもそも操作者が何らかの動作を行っても、それが入力を意図したものなのか、単に癖で動いてしまったのか判定することが容易ではないという問題がある。この結果、例えば単純なジェスチャを不自然に目立つ形で行わなければ認識できず、またジェスチャについての事前の取り決めが必要だったり、複雑なジェスチャは使用できなかったりという問題がある。

本発明は、このような問題に鑑みてなされたもので、操作者に何らかの入力につながる操作をしている状態にあることを認識させた上で装置に対し動作させることにより、的確な操作の判定を可能にする画像認識装置および操作判定方法を提供することを目的とする。この結果、操作に習熟していない特殊なジェスチャを覚えることなく、身体全体あるいは一部を動作させることにより、操作者の意志を的確に示す操作として判定することが可能になる。

このような目的を達成するために、請求項１に記載の発明は、操作者の少なくとも一部の像を読取って立体画像データを生成する三次元撮像手段と、操作者が所定の空間上の仮想操作面を把握するよう設けられた操作者に知覚可能および前記三次元撮像手段により読取り可能な、撮像手段の撮像範囲内に予め配置された操作面形成基準と、三次元撮像手段により読取られた操作面形成基準によって、仮想操作面を形成し、形成された仮想操作面に対する操作者の動作を、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて、操作者の一部が仮想操作面よりも三次元撮像手段側にあるとき動作が操作であると判定する操作判定手段と、操作判定手段により認識される、仮想操作面に対し三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を仮想操作面の対応付けられた位置に表示させ、操作者の一部が仮想操作面に対し三次元撮像手段側にあるときは標示の変化を停止させて判定される操作を示す、操作者が視認可能な画像表示手段と、動作が操作であると判定されると所定の信号を出力する信号出力手段とを備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像認識装置において、仮想操作面は、操作面形成基準から上方に投射した面であることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の画像認識装置において、操作判定手段は、操作者の一部の、仮想操作面よりも三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする。

請求項４に記載の発明は、請求項３に記載の画像認識装置において、操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作面形成基準は、操作者が載る床面に示されていることを特徴とする。

請求項６に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作者と三次元撮像手段との間に配置された立体物をさらに備え、操作面形成基準は、立体物の所定の外縁であることを特徴とする。

請求項７に記載の発明は、請求項６に記載の画像認識装置において、立体物は、テーブルであることを特徴とする。

請求項８に記載の発明は、請求項１ないし７のいずれかに記載の画像認識装置において、操作面形成基準は、読取られた画像からの抽出が容易になるように三次元撮像手段に撮像される所定の面にマーカを有することを特徴とする。

請求項９に記載の発明は、請求項１ないし８のいずれかに記載の画像認識装置において、標示は、操作者の一部の、仮想操作面との距離が近づくごとに小さくなることを特徴とする。

請求項１０に記載の発明は、請求項１ないし８のいずれかに記載の画像認識装置において、標示は、操作者の一部の、仮想操作面との距離が近づくごとに色相が変化することを特徴とする。

請求項１１に記載の発明は、請求項１ないし８のいずれかに記載の画像認識装置において、標示は、操作者の一部の、仮想操作面との距離が近づくごとに透明度が低くなることを特徴とする。

請求項１２に記載の発明は、請求項１ないし８のいずれかに記載の画像認識装置において、操作者の一部の、仮想操作面との距離が近づくごとに、標示と画像表示手段に表示されている操作対象画像とのコントラストが大きくなることを特徴とする。

請求項１３に記載の発明は、請求項１ないし８のいずれかに記載の画像認識装置において、標示は、操作者の一部の、仮想操作面との距離が近づくごとに形状が変化することを特徴とする。

請求項１４に記載の発明は、請求項１ないし１３のいずれかに記載の画像認識装置において、操作者の一部は複数あり、標示は、複数の操作者の部位の各々に対応して複数表示されることを特徴とする。

請求項１５に記載の発明は、画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、操作者が所定の空間上の仮想操作面を把握するよう設けられた操作者に知覚可能および三次元撮像手段により読取り可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、三次元撮像ステップにおいて読取られた操作面形成基準によって仮想操作面を形成し、形成された仮想操作面に対する、三次元撮像手段で読取られた操作者の動作が、操作者の一部と仮想操作面との位置関係に基づいて操作者の一部が仮想操作面よりも三次元撮像手段側にあるとき動作が操作であると判定する操作判定ステップと、操作判定ステップにおいて認識される、仮想操作面に対し三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を仮想操作面の対応付けられた位置に表示させ、操作者の一部が仮想操作面に対し三次元撮像手段側にあるときは標示の変化を停止させて判定される操作を示す画像表示ステップと、動作が操作であると判定されると所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

請求項１６に記載の発明は、画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、操作判定方法は、操作者が所定の空間上の仮想操作面を把握するよう設けられた操作者に知覚可能および三次元撮像手段により読取り可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、三次元撮像ステップにおいて読取られた操作面形成基準によって仮想操作面を形成し、形成された仮想操作面に対する、三次元撮像手段で読取られた操作者の動作が、操作者の一部と仮想操作面との位置関係に基づいて操作者の一部が仮想操作面よりも三次元撮像手段側にあるとき動作が操作であると判定する操作判定ステップと、操作判定ステップにおいて認識される、仮想操作面に対し三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を仮想操作面の対応付けられた位置に表示させ、操作者の一部が仮想操作面に対し三次元撮像手段側にあるときは標示の変化を停止させて判定される操作を示す画像表示ステップと、動作が操作であると判定されると所定の信号を出力する信号出力ステップとを備えたことを特徴とする。

以上説明したように、本発明によれば、操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像手段と、操作者が所定の空間上の仮想操作面を把握するよう設けられた知覚可能な、撮像手段の撮像範囲内に配置された操作面形成基準と、三次元撮像手段により読取られた操作面形成基準によって、仮想操作面を形成し、形成された仮想操作面に対する操作者の動作を、三次元撮像手段で読取って、仮想操作面との位置関係に基づいて動作が操作であるか否かを判定する操作判定手段とを備えているので、操作者に何らかの入力につながる操作をしている状態にあることを認識させた上で装置に対し動作させることにより、的確な操作の判定をすることができる。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。

（第１実施形態）
図１は、本実施形態の操作面形成基準であるマーカ１０１を床面に表した操作入力システムの一例を示す図である。本実施形態のマーカ１０１は、操作者とモニタ１１１との間に配置され、操作者１０２は、このマーカ１０１から表示画面側に出た部分の動き、形状が操作判定の対象になることを意識して操作入力システムに対し操作を行うことができる。モニタ１１１には、本システムが目的とする様々なアプリケーション用の種々の映像が表示されるが、これに加え後述するように操作入力を支援、すなわち例えば対象となる操作者１０２の部位などを画面の隅の方に表示して、操作者１０２に、現時点で操作として判定されうる動作を認識させることができる。操作者１０２の動きはビデオカメラ２０１により撮影され、撮影された映像はコンピュータ１１０で処理され、操作者１０２のマーカ１０１を出た部分のジェスチャがどのような操作を意味するかを判定する。コンピュータ１１０は、ビデオカメラ２０１から得られたデータから、操作者１０２の立体画像を作成するとともに、マーカ１０１により形成される仮想操作面の位置を算出し、仮想操作面を基準に操作者１０２の手指などがビデオカメラ２０１側に出ているか否かを決定し、その部分を操作の対象として操作内容を判定する。

本実施形態では、画像を取得するためにビデオカメラ２０１をモニタ１１１の上部に取りつけ撮影しているが、必要な画像が得られればこれに限られることなく、赤外線カメラ等、本技術分野で知られたいずれの撮影手段を用いることもでき、設置場所もモニタの付近の何処を選択することもできる。ここで、本実施形態ではビデオカメラ２０１として三次元（あるいは３Ｄ）カメラを用いることにより、操作者および操作面基準を含め立体画像が作成できるようにする。また、赤外線カメラとビデオカメラとを融合して用いることもできる。すなわち、例えば後述する再帰性反射材をマーカとして使用する場合、赤外線カメラを専ら操作面形成基準のキャリブレーション用に用い、操作者の動きは通常のビデオカメラで捉えるといった仕方で２種類のカメラを用いることができる。

さらに、本実施形態のシステムには図示しないスピーカ等の音声出力装置を取り付けられており、表示内容や操作に関する情報を音声で操作者に伝えることもできる。このような機能を設けることにより、ディスプレイに操作内容を画像で表示するだけではなく、指示事項や結果について、同時に音声で流すことで操作面基準が判るため、視覚障害のある操作者でも操作することが可能になる。

図５は、マーカ１０１の役割を具体的に説明するための図である。マーカ１０１は、操作者１０２が仮想操作面を認識するための操作面形成基準であり、ユーザ１０２は、図６に示すように、床面に示されたマーカ１０１の上方に操作面が仮想的に存在すると捉えて種々の操作、例えば操作をしようとする場合はマーカ１０１を基準に手６０１を前に突き出してジェスチャを示したりすることができる。マーカ１０１の幅は操作面の幅ともなっている。また、補助マーカ５０１は、マーカ１０１の前後を区別するマーカであり、補助マーカ５０１を用いて、操作領域を確定したり、３次元パース計算要素としたりすることもでき、形状や方向も自由であり、測定に適したエリアを示すようにしても良い。このような、マーカ１０１を備えた操作入力システムでは、図７に示すようにマーカ１０１の上部に操作面７０１が仮想的に形成され、操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。また、仮想操作画面エリア（線分の垂直上方向に位置）のユーザが任意のポーズを取った後に、線分の前方へ押し出す（決定）動作でアクションを決定したり、操作を決定してから押し出すという判断の基準としたりすることができるため、ユーザが認知しやすく、操作性は従来のタッチパネル操作に近いものとなる。一方、操作バリエーションは、従来のタッチパネルより圧倒的に増える（両手操作や、振舞、複数指等）。

本実施形態のような操作面基準は、キャプチャした画面上で広範囲、適度かつ同時に測定マーカを分散配置することができるため、非常に信頼性の高い測定が可能となる。さらに、このような効果とともに、常にマーカがカメラの撮影範囲内にあることが保証されるキャリブレーションシステムと併用することができ、省スペース・多機能な装置を実現することができ、基本的に初回設置のキャリブレーション後、毎回再測定する必要がない。

マーカ１０１は、このようにビデオカメラ２０１により撮影されて操作面形成基準となり、これを容易にするため、マーカ素材は本技術分野で知られた種々のものを用いることができるが、通常は使用するカメラにより適当なものが選択される。例えば、通常カメラの場合、背景色彩から際立つような特徴あるカラーリングが必要であり、赤外線カメラを使用するときは、再帰性反射材などを使用することができる。一方、レーザ光は、黒色部分等、反射が少ないような色、素材の場合は反射光を測定しにくいので、レーザ光によりマーカや再帰性反射材などを使用することなく黒色のバーなどを使用することにより、レーザ光が照射された部分は反射されずに画面上欠損が発生するので、このようにしてもバーの位置を検出することができる。

マーカはこのように適切な素材を床面に貼り付けることにより使用することができるが、これに限られることなく直接床面に塗布したり、本技術分野で知られた任意の付着方法を用いたりすることができる。また、上記の説明では、操作面形成基準としてマーカ１０１を用いることとしたが、これに限られることなく任意の部材や構造を立体測定基準として用いることができる。例えば、マーカは図１に示すような形ではなく様々な形の図形とすることができ、いくつかの点に一定の面積を有するマーカを複数設けるようにしてもよい。

図２は、本実施形態の画像認識装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、モニタ７０１の上部等に取り付けられ、操作者１０２およびマーカ１０１などを撮影するビデオカメラ２０１が接続され、撮影した画像がコンピュータ１１０に取り込まれる。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である画像の抽出、位置の算出などが行われ、算出した位置から操作面からビデオカメラ側に身体の一部が出たかどうかを決定する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、画像認識装置から入力した画像に基づいた処理結果をモニタ１１１等に出力する。本実施形態では、モニタ１１１は、主に操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力するものだが、後述するように操作入力の支援となるような情報も表示する。

図３は、本実施形態のコンピュータ１１０のＣＰＵ２１０内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図３に示すように、 本システムにおける処理は、画像読取部３０１、画像抽出部３０２、画像位置算出部３０３および操作判定部３０４により実行される。なお、本実施形態では、ビデオカメラ２０１からの画像を受取ってからデータの出力を行うまでの処理を４つのモジュールにより実行するがこれに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。

（本実施形態の処理）
本実施形態では、図８に示すように、ビデオカメラ２０１で撮影されたマーカ１０１を基準に、同じく撮影した操作者１０２の位置を定めるとともに、マーカ１０１の上方に操作面７０１が形成されていると仮想して、仮想的な操作面７０１と操作者１０２との位置関係を算出する処理を行う。本実施形態では、このような処理を行う前提として、本技術分野で知られた初期設定、例えば本実施形態の画像認識装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ２０１の利用レンズの歪み、マーカ１０２とレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。システムの初期設定が終了すると、本実施形態の処理を行うこととなるが、この処理については図４を参照して以下に説明する。

図４は、本実施形態の処理のフローチャートである。まず、画像読取部３０１においてビデオカメラ２０１で撮影されたデータを読取り（Ｓ４０１）、そのデータからマーカ１０１の、例えばカラー画像の場合、画像抽出部３０２により、予めマーカとして決めておいた色領域を抜き出してマーカ１０１の画像のみを抽出する（Ｓ４０２）。具体的には、本実施形態では、カラーＮＴＳＣ信号の輝度信号Ｙと色差信号Ｕ、Ｖの各々に上下の閾値を設定して全ての閾値を満たす画素を抽出するが、これに限られず本技術分野で知られたいずれの方法を用いることもできる。このようにして、マーカ１０１の位置が三次元的に把握できると、仮想的な操作面がどの様なものとなるのかを算出してデータベースに記憶しておく。

ここで、操作面の形状は図８などを参照すると床面から垂直に立てた長方形となっているが、これに限られず、マーカ１０１の形状や配置の仕方で様々な形状、大きさの操作面を形成することができる。例えば、図８に示すマーカ１０１は、モニタ１１１の面に平行な一定の長さの直線であるため、仮想的な操作面は操作面７０１のようになるが、マーカを斜めに一定の角度をつけた直線とすることもでき、その場合、形状は図８に示す操作面７０１と同じであるが、向きがモニタ１１１と一定の角度を持って斜めに置かれたものとなる。この場合も、操作者１０２は、マーカで斜めに配置された操作面が仮想的に形成されていると捉えることができるから、その操作面を意識して操作を行えばよい。また、立体的に補助マーカを配置して、床面に対しても一定の角度を持った斜面の操作面にしたり、曲面の操作面にしたりすることもできる。なお、本実施形態は、マーカなどにより形成された仮想的な操作面を基準にして処理を行うように説明するが、当業者であれば理解できるように、実際の計算処理では、操作面から操作者の位置を計算しなくてもよい。仮想的な操作面は、あくまでも操作者が意識して操作入力を行うようにするためのものだからである。

カラー抽出が終了すると、さらに補助マーカ５０１も同様の処理を行って抽出した後、画像位置算出部３０３により、抽出したマーカ部分を白黒の２値化し、ビデオカメラ２０１の撮影した画像から抽出したマーカの縦横の辺を構成するピクセル数を計算する。取得した画像の縦横の辺の長さや傾斜を、基準となる画像と比較して撮像空間の歪みやスケールを割り出す。本実施形態では、歪みやスケールを算出する場合に、この他に少なくとも４点以上の箇所にマーカを設けて基準とすることもできる。例えば、４点以上の基準点が有ればそれを結んで線分とし、キャリブレーションを行うことが可能である。

このような準備の結果、実際に操作者１０２の画像を抽出し（Ｓ４０３）、操作判定部３０４は、操作入力システムのマーカ１０１のビデオカメラ２０１から見て奥側に立つ操作者１０２とマーカ１０１との相対関係を用い（Ｓ４０４）、操作者１０２の一部が操作面のビデオカメラ２０１から見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、各部の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。ここで、どのような形状、動きがどのような操作に対応するかは、システム独自に取り決めることもできるし、本技術分野で知られたいずれかの手法を取り入れて決定することもできる。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行され（Ｓ４０７）、もともと仮想操作面から手前側に手が出ていない場合、操作は行われていないと判定して終了する（Ｓ４０８）。操作内容の判定はここで説明した手法に限られることなく本実施形態で知られたいずれの方法も用いることができる。また、具体的な判定方法も省略したが、一般には予め定めたジェスチャなどの操作者の身体の形状、動きと、それが意味する操作内容とをデータベース等に格納しておいて、画像抽出後、このデータベースにアクセスして、操作内容を判定する。この際にももちろん、画像認識技術や人工知能などを本技術分野で知られた手法により利用し、判定精度を向上させることもできる。

ここで、操作者の像と操作面形成基準の画像とを対比して、歪み対応情報である予め算出しておいた画像の歪みやスケールに基づいて、操作者の各部位の位置や体勢を判定する。ここでは、詳述しなかったが、同様に、操作者の像も本技術分野で知られたいずれかの方法により抽出する。例えば、予め操作者の背面を特徴的なものにしておき操作者の像を抽出しやすくする等が考えられる。

また、本実施形態では、仮想操作面の形成は、操作者の動作を認識する際に行っているが、これは例えばシステム全体が小規模なもので、比較的頻繁に操作面形成基準とカメラとの位置が変わる場合に有効であるが、博物館展示のような一度設定するとあまり頻繁には位置関係が変更されないような場合は、予め仮想操作面を抽出しておいていずれかの方法で数値化して記憶しておき、操作者が入力を行う際には最初から抽出することなく操作を判定することもできる。このような処理を取ることにより、仮想操作面を形成する処理を省略して全体として効率のよい処理が可能である。

（操作入力の支援）
以上説明したように、単に三次元ビデオカメラおよびマーカ１０１のような操作面形成基準を設けるだけで、操作者は空間上にタッチパネルのような操作面を知覚、想定することができ、この操作面に対し、種々の操作を行うことにより、身体の全部または一部を用いた操作入力が可能となるが、さらに仮想的な操作面に対する操作者の映像をモニタ１１１に表示する等、操作入力を支援することにより、より容易に本実施形態のシステムを活用することができる。

図９は、このような操作入力の支援となるガイダンスをモニタ１１１に表示している一例を示す図である。例えば、モニタ１１１の中心部に表示されている画像のどこかをポインタで指し示す場合、操作者は仮想的操作面を表示された画像と重ね合わせて、手指を突き出すことにより所望の場所を指し示すことができるが、そのように指し示す様子を図９に示すポインタ９０１のように表示することにより、操作者は現在行われている操作を認識し確認しながら、次の操作を実行することができる。この例で言うと、たとえば、ポインタ９０１は、操作面から手指を突き出すと画面に表示され、引っ込めると消える、あるいは濃淡をつけて表示するようになっており、手の動きとモニタ１１１に表示されるポインタの様子から、操作者は自然な形で、本実施形態の入力法を実行することができるのである。同様に操作者自身の様子を図６ないし８に示したような形で表した操作画面９０２を、モニタ１１１の右上隅に小さく表示させて現在どのような動きをして、システムではどのような操作と判定されているかを表示することができ、また、手の動きをグラフ化した折線グラフ９０３を示して、手の前後の動きがどうなっているかを操作者自身に意識させる等により、より的確な操作が期待できる。また、図示しないが、システムで使用することができるジェスチャをガイダンスに表示して、それに倣って操作入力をするよう操作者に促すようにして支援することもできる。

以上本実施形態を用いると、操作者は予めジェスチャを覚えたり、取り決めておいたりすることなく、その動きによりシステムの操作を行うことができるほか、操作者の姿勢や各部、例えば手の動きが分かるので身体全体を使用したゲームに用いて、いわゆる複合現実感（ＭＲ）を実現することもできる。

（第２実施形態）
本実施形態は、基本的に上述の第１実施形態のシステム構成と同様であるが、より具体的な使用状況に基づくものである。すなわち、本実施形態では、第１実施形態のシステムおよび処理を踏まえ、一定の立体物、例えば図２１に示す机状の立体物１９０１にマーカ１９０２、１９０３を付して操作面形成基準とすることにより仮想操作面７０１を形成し、これに対し例えば指６０１等で操作を行うことで、入力操作を可能とする。本実施形態では立体物の例として以下、リビングのテーブルを用い、家庭内などのソファ等に着席して操作する場合を想定して説明するがこれに限られず演題、置き台、あるいは図１７に示すバー１７０２のようなガードなど種々の用途のものを使用することができる。ここで、モニタ１１１は、家庭のリビング等に置かれた大画面テレビなどを想定する。

また、図２１に示すようなマーカ付置き台を使用する場合、後述する図２３に示すように、例えばマーカ１９０３を用いて操作者１０２の上半身のみを対象エリア２３０１として、仮想操作面７０１から前面に出た部分の動きのみを操作として判定することもできる。このようにすることにより、操作者が図２１に示すような置き台を体の支えにして入力操作を行う場合に下半身、特に足が仮想操作面から前に出ても、あくまで上半身の動きのみを操作として認識するようにすることができる。

図１０を参照すると、本実施形態では操作者１０２は着座の状態で、大画面テレビを操作するが、操作面形成基準はテーブル１００１上に設定されたマーカ１００２および補助マーカ１００３、１００４となり、操作者１０２はこれらのマーカにより大まかに、操作面７０１がマーカ１００２の上方に形成されているものと想定し、その操作面に種々のアクセスをして所望の操作を可能にする。上述のとおり、例えば、大画面テレビ１１１の画面と操作面７０１とを重ねあわせ、画面上にチャンネルの配列を表示させて、操作面７０１上に手指６０１で指し示すことにより所望のチャネルに切り替えることができる。

ここで、補助マーカ１００３は、操作面の傾きを定めるものであり、図１０を参照するとテーブルの脚に設けられていることから、テーブル１００１の上面にほぼ垂直であり、仮想操作面もテーブル１００１の上面に垂直に形成されている。したがって、補助マーカ１００３を垂直とは異なる角度を持って設けた場合は、操作面は垂直で実施形態はなく斜めに形成されることとなる。また、補助マーカ１００４は、前後の判断およびパース計算を行うためのものである。このような本実施形態を用いることにより、家庭でくつろいでテレビの視聴を楽しんでいる際に、テレビの操作をしようとしてリモコンが見つからないときでも、一々リモコンを探すことなく遠隔操作が可能になる。

（第３実施形態）
本実施形態は、基本的に上述の第１実施形態のシステム構成と同様であるが、より具体的な使用状況に基づく、第２実施形態とは異なるシステムを対象とする。すなわち、本実施形態では、第２実施形態と異なり、例えば図１１に示すように病院内などのベッド等に寝て操作する場合を想定する。ここで、モニタ１１１は、病室に置かれたテレビなどを想定する。

本実施形態では、操作者１０２はベッドから少し起き上がった状態で、テレビを操作するが、操作面形成基準はベッド用テーブル１１０２上に設定されたマーカ１１０１および補助マーカ１１０３となり、操作者１０２はこれらのマーカにより大まかに、操作面７０１がマーカ１１０１の上方に形成されているものと想定し、その操作面に種々のアクセスをして所望の操作を可能にする。具体的には、図２１に示すように、マーカ１１０１からテレビ１１１側に指を突き出して、操作中であることをシステムに認識させるが、本実施形態では指６０１の形状により操作内容を示す。すなわち、図１３に示すように、テレビに向かって右手の指１３０１で「１」を、左手の指１３０２で「２」を示すことにより、本実施形態の操作入力システムでは、「２１」チャネルに変える指示であると判定する。このように、操作面７０１上に手指６０１で指し示すことにより所望のチャネルに切り替えることができ、ガードにより仮想操作エリアを認識しやすくなる。ユーザが操作する、しないの意思を判定ライン（長辺）より前に出す、出さないで確認でき、特定ジェスチャとジェスチャの中間動作部分を判定ラインの内側で行い、ジェスチャ決定後に判定ラインからカメラ側へ差し出すことで、従来の問題点であった曖昧さやエラーを回避できる。

（第４実施形態）
本実施形態では、上述の第１実施形態に加えて、補助的な入力手法を組み合わせることにより、さらに操作が直感的に認識しやすい装置を提供するものである。すなわち、上述の第１実施形態の画像認識装置に床マットセンサを接続し、床マットで動作モードを指示しつつ三次元撮像装置を用いた画像認識装置によって、ジェスチャなどの操作者の操作をより確実に認識する。具体的には、例えば図１７に示すような床マット１７０１上のＬまたはＲを踏むと操作モードに入って操作者の動作をジェスチャであるとして認識処理を実行し、それ以外のときは操作者の動作は対象外として処理を行わない。この場合に仮想操作面はバー１７０２、１７０３を基準に形成される。

図１８は、本実施形態の画像認識装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、モニタの上部等に取り付けられ、操作者およびバー１７０２、１７０３に付されたマーカなどを撮影するビデオカメラが接続され、撮影した画像がコンピュータ１１０に取り込まれる。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である画像の抽出、位置の算出などが行われ、算出した位置から操作面からビデオカメラ側に身体の一部が出たかどうかを決定する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、画像認識装置から入力した画像に基づいた処理結果をモニタ等に出力する。本実施形態では、モニタは、主に操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力するものだが、後述するように操作入力の支援となるような情報も表示する。図１８を参照すると、さらに、本実施形態の操作入力装置は、表面に床マットセンサ１７０１が張られており、例えば“Ｌ”あるいは“Ｒ”と表示された領域を足により踏まれて圧力が加わると、その位置に応じた信号を出力する。このように、足で操作をする場合には操作者によっては不安定になる可能性があるので、バー１７０２はこのような場合にも手でつかまって姿勢を安定させることができるので有効である。

本実施形態の床マットセンサは、本技術分野で知られたいずれの技術を用いることもできる。例えば、圧力センサを用いたり、静電気を用いたセンサなどその他の技術を用いても、足の置かれた位置を示す信号を出力することができるものであればいずれの技術も用いることができる。出力した信号は、ＣＰＵ１８０２において情報入力により処理され、すなわち“Ｒ”あるいは“Ｌ”等のデータに変換され、変換されたデータはインタフェース１８０３を介しコンピュータ１１０に送信される。コンピュータ１１０は、床マットセンサからのデータと上述の仮想操作面に対してなされた動作とを融合して操作者が行おうとしている操作を特定する処理を実行する。すなわち、例えば“Ｒ”を踏みながらの動作が操作を意味するものとすると、操作者は何らかの操作を使用とするときのみ“Ｒ”を踏めばよく、コンピュータ１１０に操作として認識させようとする場合は“Ｒ”を踏みつつ、予め定められたジェスチャを示すことにより、コンピュータ１１０は操作者の動作の中から適切にシステムに対する操作を特定して処理することができる。

図１７ではバー１７０２、１７０３を示したが、例えば図１９に示すような机状の立体物にマーカを付して操作面形成基準とすることもできる。この場合、図１７に示すと同様に主に足により指示する“Ｒ”や“Ｌ”が示された領域１７１０が配置されている。このような、“Ｒ”等が示された領域１７１０は、床マットや床面に書き込んだり、印刷したり、あるいはシートを貼り付けたりすることができる他、図２０に示すように、パターンを投影するための投影手段であるＬＥＤスポットライトや液晶プロジェクタなどをバー支持部１７０３等に取りつけ、床マットセンサ上に投影すると、投影ライト２００２が床マット上に入力文字等のパターンを形成することができる。すなわち、バー支持部１７０３に投影用ユニットを設置して、斜めに投影するようにすると、操作者の足２００１に邪魔されることがないので影で床マットセンサパターンがうまく投影されないということを避けることができる。このようにパターンを投影すれば、入力するデータに応じて操作者が分かりやすいパターンを動的に形成することができる。なお、図１９に示す例では床面に表示されたパターン１７１０を踏んで操作開始を知らせることができるので、本実施形態の仮想操作面を使用しなくても、ジェスチャにより種々の入力を行うこともできる。

（第５実施形態）
本実施形態では、上述の第１実施形態とは基本的な概念としては一致するが、異なる手法により同様の効果を得る発明を使用する。すなわち、本実施形態も操作者が空間上に仮想的に形成された仮想操作面を基準に、そこにあたかもタッチパネルのような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、第１実施形態とは異なり、操作者が知覚できる操作面形成基準、例えば図１のマーカ１０１などを使用することなく操作の判定を行うものである。このために、本実施形態では上述の第４実施形態で用いたような補助的な入力手法を組み合わせることにより、操作者が自己の操作をシステムでどのように認識しているかを直感的に認識しやすい装置を提供する。

基本的には、本実施形態の原理は仮想操作面に対する操作者の部位、例えば手あるいは指の位置の動きにあわせて、モニタ１１１上に操作者がどのような操作をしようとしているかをビジュアルに表示させることにより、操作者を誘導して的確な操作入力を可能にするというものである。具体的には、図２２に示すように、第１実施形態にあるようなマーカ１０１が存在しないので操作者１０２は基本的にどこに仮想操作面が形成されているか認識することができない。そこで、マーカ等の基準面を用いない操作者の直感を利用することにより操作者が一定の範囲内で仮想操作面の存在を認識できるようにし、それを基準として操作することによりシステム側でその操作を判定することができるようにする。

この点について、図２３〜２４を参照して説明すると、本実施形態では予め操作者が一定の立ち位置で操作しうる場合は予め設定された、その立ち位置で仮想操作面への操作が適した位置に、あるいは操作者の立ち位置に合わせて適宜適当な位置に仮想操作面７０１を形成する。同様に図２３に示すように、操作者１０２の適当な操作範囲２３０１を設定しておく。上述のとおりモニタ１１１には現在どのような操作が行われようとしているかを様々な形態で示すことにより、操作者が自己の操作を認識できるようにする。

このような形態の１つについて図２４を参照して説明すると、操作者はシステムに対し何らかの操作を行おうとする場合、本例ではモニタ１１１に対し、腕２４０１を前後に動かすことにより、手あるいは指６０１の位置が変化するため、その様子をモニタ１１１に表示すると、突き出した指６０１が一定の位置まで来ると、そのときモニタ１１１の画面上で指示された項目が実行される等、システムとして一定の処理が行われる。図２４の例では、仮想操作面７０１に対する指６０１の位置（深さ）によってアイコンの大きさが変化するようになっており、仮想操作面に近づくほどアイコンが小さくなって操作者には自己の操作により一定の場所にフォーカスされていることが認識できるようになっている。そして、最もアイコンが小さくなった位置で、操作が確定しそれに応じた処理が実行される。

以上の操作の結果、アイコンがモニタ１１１の画面２５０１上でどのように変化するかを示したのが図２５である。図２５を参照すると、モニタ１１１の画面２５０１には例えばテレビ番組表が表示されており、ある番組に関する操作を行おうとしている。このような状態で、例えば操作者が「設定変更」のメニューボタンを選択しようとする場合、操作者は上述のようにモニタ１１１に向かって指６０１を突き出して選択しようとする。本実施形態では、操作者は仮想操作面がどこにあるかを正確には認識しないが、指６０１が仮想操作面に対し一定の距離まで近づくと、画面２５０１にアイコン２５０３が表示される。このアイコンは指の位置がまだ遠いため図２４に示すアイコンのうち右の方にある比較的大きなものが表示される。操作者がさらに腕２４０１を伸ばすと、このアイコンは目標である選択項目「設定変更」に近づきつつ、小さくなり一定の大きさのアイコン２５０２のときにアイコンが指し示す位置の項目が選択されたと判定される。

このように、図２５の例では、指６０１の位置に応じて画面２５０１に表示されるアイコンの大きさを変化させることにより、操作者は自己の動作がシステムでどのように認識しているかを把握することができ、仮想操作面の大まかな位置を認識して直感的に、メニューの選択などの操作を行うことができる。ここで、指６０１、腕２４０１を含む操作者全体及び各部位の位置や大きさは、第１実施形態と同様に三次元カメラを用いることにより抽出することができる。これにより画面内の物体は奥行きも含めて把握することができるから、これらの情報に基づき仮想操作面との距離や位置関係を算出することができる。ただし、本実施形態で使用する三次元カメラや位置の抽出、距離の算出などは本技術分野で知られたいずれの方法も用いることができるので、ここではその説明を省略する。

本例で画面に表示されるアイコンは円形で操作者の動作に合わせて大きさが変化するが、これに限られず図２６に示すように様々な形態のアイコンを用い、様々な変化をさせることができる。すなわち、図２６を参照すると、（１）は指の形態のアイコンであり、上述の図２５の例と同様に仮想操作面に近づくほどに小さくするようになっている。（２）は、円形で次第に小さくなるようになっているが、入力あるいは選択が確定すると特別な形状に変化して確定したことが示される。このアイコンや他のアイコンの場合も形状や大きさの変化に代えて、あるいは合わせてアイコンの色を変化させることもできる。例えば、青、緑、黄、赤等、寒色系から暖色系に変化させることにより、直感的に操作がフォーカスされ確定することを操作者は認識することができる。（３）は、Ｘのような形状で、遠くにある場合は大きいだけでなくぼかしが入っており、近づくにしたがって、アイコンの大きさが小さくなるとともに、ぼかしが消えシャープな形状になる。（４）はアイコン全体の大きさは変化することなく、中に描かれた図形が形状変化を起こしてフォーカスされる様子を認識するようになっている。この場合、図形の色も変化させることができる。図２６に示す（５）も、形状を変化させるものである。図２６において、指の動きに応じてアイコンの形状や色などが変化していき、仮想操作面を越えるとその瞬間に、欄２６０１に示すように種々の形状や色に変化させたり、点滅させたりして操作として判定されたことを操作者に認識させるようにすることもできる。また、図示しないがこの他のアイコンの変化としては最初透明で、指が仮想操作面に近づくほどに不透明になるような変化も効果的である。

ここで、アイコンのバリエーションのうち特に形状をあまり変化させず色や濃さを変化させる場合は、図２７に示すようにアイコンはあまり移動せず指６０１を近づけていくと、色が暖色系になったり濃くなったりして、入力を確定することができる。

また、以上の例では操作の判定状況を確認するためアイコンを表示させ操作者の動作に応じて色や形状を変化させたが、例えば図２８、２９に示すように元々メニューのように予め指示する位置が固定されているような場合は、わざわざアイコンを表示しなくても、指６０１が指し示す位置がメニューのどの項目ボタンに最も近いかにより決定し、指６０１の動き、特に仮想操作面からの距離に応じて指し示されている項目ボタンを塗りつぶす色または塗りつぶす濃さを変化させることにより、仮想操作面の位置を認識させ、操作入力を容易にすることができる。図２８は、指６０１が近づくにしたがって、その選択されているボタンの色を寒色系から暖色系に変化させる例を示す図である。この例の色の選択としては、例えば（２）青、（３）緑、（４）黄、（５）赤のようにすると操作者は直感的に赤になると確定されると認識することができる。同様に、図２９は、ボタンの塗りつぶしの濃さを変化させる例を示す図である。

以上、図２２、２３に示すような操作者とモニタとがほぼ同じ高さにある、すなわち仮想操作面が操作者の水平方向前面にほぼ垂直に形成される場合について、本実施形態の原理を説明してきたが、この原理はこのような操作者とモニタとの位置関係や形状には影響されることはなく、種々の配置や構成が可能である。例えば、第２〜４実施形態で説明したような、ソファやベッドからの操作でも応用することができるし、もちろん置き台を使用することもできる。

さらに、図３０に示すようにモニタ１１１が操作者１０２の斜め上部に取り付けられている場合にも仮想操作面を傾けて形成し、操作領域２３０１もそれに合わせて傾けることにより、上述の場合と同様に操作者１０２は、図３０に示すようにモニタ１１１を見上げて指を前後に動かすことにより、操作を行うことができる。この場合、三次元カメラ２０１もモニタ１１１とともに傾いているので、基本的には上述の水平位置に配置された場合と大きな相違はないが、カメラを別な位置に設置したとしても、本技術分野で知られたいずれかの方法で位置補正などを行なうことで、操作者の部位と仮想操作面との位置関係を算出して、操作を判定することができる。

また、第４実施形態のように本実施形態の画像認識装置に床マットセンサを接続し、床マットで動作モードを指示しつつ三次元撮像装置を用いた画像認識装置によって、ジェスチャなどの操作者の操作をより確実に認識する。具体的には、例えば図１７に示すような床マット１７０１上のＬまたはＲを踏むと操作モードに入って操作者の動作をジェスチャであるとして認識処理を実行し、それ以外のときは操作者の動作は対象外として処理を行わない。この場合に仮想操作面はバー１７０２、１７０３を基準に形成される。

（第６実施形態）
本実施形態は、上述の第１ないし５実施形態のいずれの実施形態を基本としても用いることができるが、特に第４及び５実施形態において実施することが有効である。本実施形態は、基本的に上述の実施形態と同じ構成、配置のシステムを用いることができる。操作者の部位の検出や仮想操作面との位置関係の算出も同様である。すなわち、第４実施形態を基本とすれば、操作者は例えばマーカを基準に仮想操作面の位置を認識してその仮想操作面に対して種々の動作を行うことによって一定の操作と判定する。また第５実施形態を基本とする場合、マーカ等の基準を使用せずモニタ画面のアイコン等の動きにより操作者が自己の動きがどのように操作として判定されているかを認識して動作することにより、操作が判定されるが、いずれの実施形態でも、必ずしも限定してはいないが、操作者の１つの部位によりシステムにアクセスする例についてのみ説明した。本実施形態では、図３１に示すように、操作者は１つの部位だけでなく複数の部位、例えば両手や、複数の指などを用いて同時にシステムアクセスする。

従来本実施形態が処理しようとする、いわゆるマルチタッチを入力システムとして用いるのは容易ではなかった。例えば、いずれの手法によるかに関わらず従来のタッチパネルはパネル上の各点で接触を検知するが、同時に複数の接触があるとどの点で接触を検出したかを検知することができなかった。本実施形態は、上述のとおり三次元カメラを用いて操作者の各部位をそれぞれ立体的に認識することができるので、例えば仮想操作面を基準に仮想操作面に触れた複数の部位の位置を同時に正確に検出することができる。したがって、本実施形態では図３１に示すように２本の腕あるいは複数の指を用いて、同時に仮想操作面上で操作させることにより、システムとして複数の位置を指示したり、複数のボタンを同時に押下したりすることができる。

また、このような複数部位を用いた操作としては、複数の指を用いて直感的なジェスチャ、例えば画像の一部をつまんで引き伸ばした入りする動作により拡大動作を可能にしたりすることができる。このようにすることにより、予めシステムごとに定められた特殊なジェスチャを学習することなく複雑な操作入力をすることが可能となる。例えば、図３２ないし３５を参照して、モニタ１１１に表示された画像を伸張する操作をマルチタッチにより実行する例を説明する。

図３２を参照すると、操作者１０２は仮想操作面７０１を基準として左手３１０１及び右手３１０２をモニタに向かって突き出す。操作者１０２が操作しようとする画像の仮想操作面上の投射した画像イメージ３２０３を仮想操作面７０１から突き出た指３２０１及び３２０２で指示することにより、モニタ１１１上では対象画像の縁が両指で捕まえられたような表示がなされ、指３２０１及び３２０２を広げることにより、例えば図３３に示すような状態から、図３４に示すような状態に腕を広げることにより対象画像は伸張される。なお、図３２に示す仮想イメージ３２０３は、仮想操作面７０１に対し若干傾いているように描かれているが、これは例えば操作者１０２が指３２０２をモニタ１１１側に突き出すことにより、対象画像を奥行き方向へも伸張、移動させることができることを示しているものである。

すなわち、横面から見た図３２の操作の様子を、正面から見たのが図３３及び３４であり、最初表示された画像の仮想操作面上の仮想イメージ３２０３は、この操作により縁が図３３の指３２０１及び３２０２の位置から図３４に示すように指３４０１及び３４０２の位置に動かされ、画像イメージ３４０３のように伸張される。以上の操作に応じたモニタ１１１上の画像の様子を示す図が図３５である。図３５に示すようにモニタ１１１には最初の状態（１）における画像３５０３の縁３５０１及び３５０２が指３２０１及び３２０２で指示されていることが示されており、その後操作者により腕が広げられると徐々状態（２）を介して最終的に状態（３）の画像３５０３まで伸張される。このようにして、本実施形態のマルチタッチを用いることにより、単にメニューボタンやアイコンを押下するだけでなく、モニタ上に表示された画像をつかんだり、伸ばしたりすることができる。

また、図３６及び３７にマルチタッチを用いる別の例を示す。図３６を参照すると、複数の指３６０１を仮想操作面７０１を越えて前に出すことによって、モニタ上に表示された、例えばコップなどの画像イメージ３６０２をつかむような操作であると判定することにより、その後の腕の動きでコップを移動させる等の処理を実行することができる。この様子を正面から見た図が図３７である。なお、仮想操作面７０１はモニタ１１１に完全に投影しても良いし、一部にすることもできる。

以上、本実施形態を用いると、上述の第１ないし５実施形態で複数の部位を同時に用いることができるので、複雑な操作や、複数の同時操作などが可能となりより効果的な入力環境を提供することができる。

本実施形態の操作面形成基準であるマーカを床面に表した操作入力システムの一例を示す図である。 本実施形態の操作入力システムのコンピュータとの関係を模式的に示すブロック図である。 本実施形態のコンピュータのＣＰＵ内で処理されるプログラムの機能モジュールの一例を示すブロック図である。 本実施形態の処理のフローチャートである。 本実施形態のマーカの役割を具体的に説明するための図である。 本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 本発明の一実施形態にかかる操作入力支援の具体的な表示の一例を示す図である。 本発明の別の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 本発明のさらなる別の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 本発明のさらなる別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 本発明のさらなる別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 従来の大画面を用いたジェスチャによる入力システムを説明する図である。 従来の３Ｄカメラを用いた操作者の画像取り込み方法を示す図である。 従来の３Ｄカメラを用いた複数の操作者の画像取り込んだ場合の画像の一例を示す図である。 本発明のさらなる別の一実施形態にかかる具体的な操作装置の一例を示す図である。 本発明のさらなる別の一実施形態にかかる操作入力システムのコンピュータとの関係を模式的に示すブロック図である。 本発明のさらなる別の一実施形態にかかる別の具体的な操作装置の一例を示す図である。 本発明のさらなる別の一実施形態にかかる具体的な操作装置の操作指示領域のパターン投影法の一例を示す図である。 本発明のさらなる別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 本発明の一実施形態の仮想操作面を用いた操作入力システムの一例を示す図である。 本発明の一実施形態にかかる仮想的な操作面および操作領域の様子を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 本発明の一実施形態にかかる操作入力画面の具体的な表示の一例を示す図である。 本発明の一実施形態にかかる操作入力画面で使用可能な種々のアイコンの例を示す図である。 本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 本発明の一実施形態にかかる操作入力画面のメニューボタンの色の変化する様子を示す図である。 本発明の一実施形態にかかる操作入力画面のメニューボタンの濃淡の変化する様子を示す図である。 本発明の一実施形態の変形例にかかる仮想的な操作面および操作者の操作の様子を示す図である。 本発明の一実施形態のマルチタッチにかかる仮想的な操作面および操作者の操作の様子を示す図である。 本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す横面図である。 本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す正面図である。 本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す正面図である。 本発明の一実施形態にかかるマルチタッチ操作により画面上に表示された画像の変化する様子を示す図である。 本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す横面図である。 本発明の一実施形態のマルチタッチにかかる仮想的な操作面および投影画像イメージを示す正面図である。

符号の説明

１０１、１００２、１１０１ マーカ
１０２ 操作者
１１０ コンピュータ
１１１ モニタ
１１２ キーボード
２０１ ビデオカメラ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
５０１、１００３、１００４、１１０３ 補助マーカ
６０１ 指
７０１ 仮想的操作面
１００１、１１０２ テーブル

Claims (16)

1. 操作者の少なくとも一部の像を読取って立体画像データを生成する三次元撮像手段と、
   前記操作者が所定の空間上の仮想操作面を把握するよう設けられた、該操作者に知覚可能および前記三次元撮像手段により読取り可能な、前記撮像手段の撮像範囲内に予め配置された操作面形成基準と、
   前記三次元撮像手段により読取られた前記操作面形成基準によって、前記仮想操作面を
   形成し、当該形成された仮想操作面に対する操作者の動作を、前記三次元撮像手段で読取
   って、前記操作者の一部と前記仮想操作面との位置関係に基づいて、前記操作者の一部が前記仮想操作面よりも前記三次元撮像手段側にあるとき該動作が操作であると判定する操作判定手段と、
   前記操作判定手段により認識される、前記仮想操作面に対し前記三次元撮像手段の反対側における前記操作者の一部と前記仮想操作面との位置関係から当該距離を算出して該距離に応じ変化する標示を前記仮想操作面の対応付けられた位置に表示させ、前記操作者の一部が前記仮想操作面に対し前記三次元撮像手段側にあるときは該標示の変化を停止させて判定される操作を示す、前記操作者が視認可能な画像表示手段と、
   前記動作が操作であると判定されると所定の信号を出力する信号出力手段と
   を備えたことを特徴とする画像認識装置。
2. 前記仮想操作面は、前記操作面形成基準から上方に投射した面であることを特徴とする請求項１に記載の画像認識装置。
3. 前記操作判定手段は、前記操作者の一部の、前記仮想操作面よりも前記三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする請求項１または２に記載の画像認識装置。
4. 前記操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする請求項３に記載の画像認識装置。
5. 前記操作面形成基準は、操作者が載る床面に示されていることを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
6. 操作者と前記三次元撮像手段との間に配置された立体物をさらに備え、
   前記操作面形成基準は、前記立体物の所定の外縁であることを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
7. 前記立体物は、テーブルであることを特徴とする請求項６に記載の画像認識装置。
8. 前記操作面形成基準は、読取られた画像からの抽出が容易になるように前記三次元撮像手段に撮像される所定の面にマーカを有することを特徴とする請求項１ないし７のいずれかに記載の画像認識装置。
9. 前記標示は、前記操作者の一部の、前記仮想操作面との距離が近づくごとに小さくなることを特徴とする請求項１ないし８のいずれかに記載の画像認識装置。
10. 前記標示は、前記操作者の一部の、前記仮想操作面との距離が近づくごとに色相が変化することを特徴とする請求項１ないし８のいずれかに記載の画像認識装置。
11. 前記標示は、前記操作者の一部の、前記仮想操作面との距離が近づくごとに透明度が低くなることを特徴とする請求項１ないし８のいずれかに記載の画像認識装置。
12. 前記操作者の一部の、前記仮想操作面との距離が近づくごとに、前記標示と前記画像表示手段に表示されている操作対象画像とのコントラストが大きくなることを特徴とする請求項１ないし８のいずれかに記載の画像認識装置。
13. 前記標示は、前記操作者の一部の、前記仮想操作面との距離が近づくごとに形状が変化することを特徴とする請求項１ないし８のいずれかに記載の画像認識装置。
14. 前記操作者の一部は複数あり、前記標示は、前記複数の操作者の部位の各々に対応して複数表示されることを特徴とする請求項１ないし１３のいずれかに記載の画像認識装置。
15. 画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、
    前記操作者が所定の空間上の仮想操作面を把握するよう設けられた、該操作者に知覚可能および前記三次元撮像手段により読取り可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および該所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、
    前記三次元撮像ステップにおいて読取られた操作面形成基準によって前記仮想操作面を形成し、当該形成された仮想操作面に対する、前記三次元撮像手段で読取られた操作者の動作が、前記操作者の一部と前記仮想操作面との位置関係に基づいて前記操作者の一部が前記仮想操作面よりも前記三次元撮像手段側にあるとき該動作が操作であると判定する操作判定ステップと、
    前記操作判定ステップにおいて認識される、前記仮想操作面に対し前記三次元撮像手段の反対側における前記操作者の一部と前記仮想操作面との位置関係から当該距離を算出して該距離に応じ変化する標示を前記仮想操作面の対応付けられた位置に表示させ、前記操作者の一部が前記仮想操作面に対し前記三次元撮像手段側にあるときは該標示の変化を停止させて判定される操作を示す画像表示ステップと、
    前記動作が操作であると判定されると所定の信号を出力する信号出力ステップと
    を備えたことを特徴とする操作判定方法。
16. 画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、該操作判定方法は、
    前記操作者が所定の空間上の仮想操作面を把握するよう設けられた、該操作者に知覚可能および前記三次元撮像手段により読取り可能な、所定の撮像手段の撮像範囲内に予め配置された操作面形成基準、および該所定の撮像手段の撮像範囲内の操作者の少なくとも一部の像を読取って立体画像を生成する三次元撮像ステップと、
    前記三次元撮像ステップにおいて読取られた操作面形成基準によって前記仮想操作面を形成し、当該形成された仮想操作面に対する、前記三次元撮像手段で読取られた操作者の動作が、前記操作者の一部と前記仮想操作面との位置関係に基づいて前記操作者の一部が前記仮想操作面よりも前記三次元撮像手段側にあるとき該動作が操作であると判定する操作判定ステップと、
    前記操作判定ステップにおいて認識される、前記仮想操作面に対し前記三次元撮像手段の反対側における前記操作者の一部と前記仮想操作面との位置関係から当該距離を算出して該距離に応じ変化する標示を前記仮想操作面の対応付けられた位置に表示させ、前記操作者の一部が前記仮想操作面に対し前記三次元撮像手段側にあるときは該標示の変化を停止させて判定される操作を示す画像表示ステップと、
    前記動作が操作であると判定されると所定の信号を出力する信号出力ステップと
    を備えたことを特徴とするプログラム。