JP4789885B2 - インタフェース装置、インタフェース方法及びインタフェースプログラム - Google Patents

Description

この発明は、ユーザのジェスチャを検出して操作入力を行うインタフェース装置、インタフェース方法及びインタフェースプログラムに関するものである。

ユーザのジェスチャを検出して操作入力を行う従来のインタフェース装置として、次のようなものがある（例えば、特許文献１を参照）。
即ち、従来のインタフェース装置は、カメラが検出対象領域を撮像すると、カメラの撮像画像中の物体の形状及び動きを解析する。
従来のインタフェース装置は、例えば、物体の形状がユーザの手であり、物体の動きが手振りであれば、仮想スイッチが表示されているディスプレイ上に、物体の動きに合わせてカーソルを表示する。
これにより、ユーザがマウスなどの入力装置を用いることなく、ユーザの手に対応するカーソルで仮想スイッチの選択操作などを入力することができるようになる。

特開平８−４４４９０号公報（図５）

従来のインタフェース装置は以上のように構成されているので、ユーザの手に対応するカーソルを見ながら手を動かせば、所望の仮想スイッチの選択操作などを入力することができる。しかし、ユーザの手の位置が、例えば、カメラから近すぎたり遠すぎたりで、物体の形状がユーザの手であることが判別できないような場合には、カーソルがディスプレイに表示されない。このような場合には、現在どのような状況にあるのかが分りづらく、ユーザがスムーズな操作入力を行うことができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、操作入力の状況を明確にして、スムーズな操作入力を行うことができるインタフェース装置、インタフェース方法及びインタフェースプログラムを得ることを目的とする。

この発明に係るインタフェース装置は、検出対象領域内に存在する物体を検出する物体検出手段と、物体検出手段により検出された物体の形状を予め設定されている検出対象物体の形状と照合する照合手段とを設け、照合手段の照合結果が検出対象物体の形状と一致していない旨を示している場合、表示手段が物体検出手段により検出された物体を表示し、照合手段の照合結果が検出対象物体の形状と一致している旨を示している場合、表示手段が所定のシンボルを表示するようにしたものである。

この発明によれば、検出対象領域内に存在する物体を検出する物体検出手段と、物体検出手段により検出された物体の形状を予め設定されている検出対象物体の形状と照合する照合手段とを設け、照合手段の照合結果が検出対象物体の形状と一致していない旨を示している場合、表示手段が物体検出手段により検出された物体を表示し、照合手段の照合結果が検出対象物体の形状と一致している旨を示している場合、表示手段が所定のシンボルを表示するように構成したので、所定のシンボルが表示されずに、検出された物体が表示されている場合には、操作入力の状況として、物体（例えば、ユーザの手）の向きなどが悪いことが分り、その結果、物体の向きなどを変えれば、操作入力を行うことができることを理解することができるため、ユーザがスムーズな操作入力を行うことができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるインタフェース装置を示す構成図であり、図において、物体領域検出処理部１は距離計測センサ２及び物体領域検出器３から構成されており、検出対象領域内に存在する物体の領域を検出する処理を実施する。
距離計測センサ２は検出対象領域を撮像し、検出対象領域を構成する複数の領域毎に（例えば、検出対象領域の撮像画像を構成する画素毎に）、物体までの距離を計測するセンサである。距離計測センサ２については、例えば、以下の非特許文献１に開示されている。
物体領域検出器３は距離計測センサ２の計測結果を参照して、検出対象距離の範囲内に存在する物体の領域を検出する。
産業開発機構出版 映像情報インダストリアル ２００４年７月号「世界初の３次元画像ＣＭＯＳセンサと開発ツールの紹介」

物体検出処理部４は物体領域検出器３の検出結果を参照して、検出物体の輪郭等を特定する処理を行なうことにより、検出対象領域内に存在する物体の形状及び位置を検出する処理を実施する。
なお、物体領域検出処理部１及び物体検出処理部４から物体検出手段が構成されている。
照合処理部５は物体形状記憶部６、形状照合処理部７及び操作入力特定部８から構成されており、物体検出処理部４により検出された物体の形状を予め設定されている検出対象物体の形状と照合する処理を実施する。なお、照合処理部５は照合手段を構成している。

物体形状記憶部６は予め設定されている検出対象物体の形状や、その検出対象物体の形状及び位置の変化に対応するユーザの操作入力の種類を記憶しているメモリである。
形状照合処理部７は物体検出処理部４により検出された物体の形状と物体形状記憶部５に記憶されている検出対象物体の形状を照合する処理を実施する。
操作入力特定部８は形状照合処理部７の照合結果が検出対象物体の形状と一致している旨を示している場合、物体検出処理部４により検出された物体の形状及び位置の変化を監視し、物体形状記憶部６に記憶されている検出対象物体の形状及び位置の変化と操作入力種類の対応関係を参照して、物体の形状及び位置の変化に対応するユーザの操作入力の種類を特定する処理を実施する。

表示処理部９は表示制御部１０及びディスプレイ１１から構成されている。なお、表示処理部９は表示手段を構成している。
表示制御部１０は形状照合処理部７の照合結果が検出対象物体の形状と一致していない旨を示している場合、物体検出処理部４により検出された物体を物体の検出位置に表示し、形状照合処理部７の照合結果が検出対象物体の形状と一致している旨を示している場合、カーソル（所定のシンボル）を物体の検出位置に表示する処理を実施する。
ディスプレイ１１は表示制御部１０の指示の下、仮想スイッチを所定の位置に表示するとともに、物体領域検出処理部１により検出された物体又はカーソルを表示する。

図１では、インタフェース装置の各構成要素（物体領域検出処理部１、物体検出処理部４、照合処理部５及び表示処理部９）のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路）で構成されているものを想定しているが、インタフェース装置がコンピュータで構成される場合には、物体領域検出処理部１、物体検出処理部４、照合処理部５及び表示処理部９の処理内容を記述しているインタフェースプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているインタフェースプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるインタフェース方法を示すフローチャートである。

次に動作について説明する。
物体領域検出処理部１は、検出対象領域内に存在する物体の領域を検出する。
即ち、物体領域検出処理部１の距離計測センサ２は、検出対象領域を撮像し、検出対象領域の撮像画像を構成する画素毎に、物体までの距離を計測して、画素単位の距離計測データを物体領域検出器３に出力する（ステップＳＴ１）。
例えば、インタフェース装置が車載装置（例えば、ナビゲーション装置）の操作入力用として使用される場合、運転席近傍の領域が検出対象領域となるように、距離計測センサ２が車両のフロントパネル等に設置される。
図１では、検出対象領域内に存在する物体が「ユーザの手」である例を示しており、手の動きを解析して、操作入力の種類を特定するものとする。

物体領域検出処理部１の物体領域検出器３は、距離計測センサ２から画素単位の距離計測データを受けると、画素単位の距離計測データを適正距離範囲値（例えば、２０ｃｍ〜１００ｃｍ）と比較して、距離計測データが適正距離の範囲内（検出対象距離の範囲内）にある画素を特定する。
物体領域検出器３は、距離計測データが適正距離の範囲内にある画素を特定すると、適正距離の範囲内に存在する物体の検出情報として、距離計測データが適正距離の範囲内にある画素を示す物体存在画素情報を物体検出処理部４及び表示処理部９に出力する（ステップＳＴ２）。

物体検出処理部４は、物体領域検出器３から物体存在画素情報を受けると、その物体存在画素情報を参照して物体の輪郭を特定することにより、物体の形状を検出するとともに、その物体が存在している位置（撮像画像における物体の位置）を検出する（ステップＳＴ３）。
物体検出処理部４は、物体の形状を示す形状データを照合処理部５に出力し、物体が存在している位置を示す位置データを照合処理部５及び表示処理部９に出力する。

照合処理部５は、物体検出処理部４から形状データを受けると、その形状データが示す物体の形状と予め設定されている検出対象物体の形状を照合する。
即ち、照合処理部５の形状照合処理部７は、物体検出処理部４から出力された形状データが示す物体の形状と物体形状記憶部５に記憶されている検出対象物体の形状を照合する（ステップＳＴ４）。

形状照合処理部７は、物体形状記憶部５に記憶されている少なくとも１以上の検出対象物体の形状の中で、物体検出処理部４から出力された形状データが示す物体の形状と一致する検出対象物体の形状があれば（ステップＳＴ５）、検出対象物体の形状と一致している旨を示す照合結果を操作入力特定部８及び表示処理部９に出力する。
一方、物体検出処理部４から出力された形状データが示す物体の形状と一致する検出対象物体の形状がなければ（ステップＳＴ５）、検出対象物体の形状と一致していない旨を示す照合結果を操作入力特定部８及び表示処理部９に出力する。

操作入力特定部８は、形状照合処理部７から検出対象物体の形状と一致している旨を示す照合結果を受けると、物体検出処理部４により検出された物体の形状及び位置の変化を監視して、物体の形状及び位置の変化パターンを特定する（ステップＳＴ６）。
即ち、操作入力特定部８は、物体検出処理部４が物体の形状及び位置を検出する毎に、物体検出処理部４から検出された物体の形状及び位置を示すデータを取得して、各時刻の物体の形状及び位置を比較することにより、物体の形状及び位置の変化が、何れの変化パターンと対応しているかを判別する。
変化パターンとしては、例えば、上下方向の変化パターン、左右方向の変化パターン、手を握りしめるような変化パターンなどがある。

操作入力特定部８は、物体の形状及び位置の変化パターンを特定すると、物体形状記憶部６に記憶されている物体の形状及び位置の変化（変化パターン）と操作入力種類の対応関係を参照して（図３を参照）、特定した変化パターンに対応するユーザの操作入力の種類を特定する（ステップＳＴ７）。
例えば、物体の位置と仮想スイッチとの距離が一定以下になったら「仮想スイッチの選択操作」であると特定する。また、形状の変化パターンが上下方向の変化パターン（例えば、ユーザが「上下方向の手振り」を実施）であれば、操作入力の種類が「選択中の仮想スイッチの決定操作」であると特定する。また、形状の変化パターンが左右方向の変化パターン（例えば、ユーザが「左右方向の手振り」を実施）であれば、操作入力の種類が「選択中の仮想スイッチのキャンセル操作」であると特定する。
操作入力特定部８は、ユーザの操作入力の種類を特定すると、操作入力の種類を示す操作入力情報を例えば車載装置（例えば、ナビゲーション装置）に出力する。
なお、操作入力特定部８は、物体の形状が一致していない旨を示す照合結果を受けると、特に処理を実施せず、操作入力の種類を特定しない。

表示処理部９の表示制御部１０は、形状照合処理部７から検出対象物体の形状と一致している旨を示す照合結果を受けると、適正な操作入力が行われていると判断し、所定の大きさのカーソルを物体検出処理部４により検出された位置（撮像画像における物体の位置）に表示する表示指令をディスプレイ９に出力する。また、仮想スイッチを所定の位置（例えば、画面の下部）に表示する表示指令をディスプレイ９に出力する。
これにより、ディスプレイ９には、図４に示すように、カーソルと仮想スイッチが表示される（ステップＳＴ８）。

また、表示制御部１０は、形状照合処理部７から検出対象物体の形状と一致していない旨を示す照合結果を受けると、適正距離の範囲内（検出対象距離の範囲内）に物体は存在しているが、予め設定されている検出対象物体の形状と一致しておらず、現時点では、適正な操作入力が行われていないため、物体領域検出器３から出力された物体存在画素情報にしたがって、物体検出処理部４により検出された物体を検出位置（撮像画像における物体の位置）に表示する表示指令をディスプレイ９に出力する。また、仮想スイッチを所定の位置に表示する表示指令をディスプレイ９に出力する。

これにより、ディスプレイ９には、図５に示すように、物体検出処理部４により検出された物体と仮想スイッチが表示される（ステップＳＴ９）。
なお、言うまでもないが、物体が距離計測センサ２から遠くにあれば、物体は小さく表示され、物体が距離計測センサ２から近くにあれば、物体は大きく表示される。
ユーザは、ディスプレイ９の表示内容を見て、カーソルではなく、自分の手が表示されていることを確認すれば、自分の手が適正距離の範囲内（検出対象距離の範囲内）にあるので、例えば、距離計測センサ２に対する手の角度等を変えるなどして、照合条件と合致するようにすれば、カーソルを表示させることができることが分る。また、手が検出対象領域の上下左右のいずれかにはみ出ている場合でも、表示画像の端に手が表示されるため、ユーザは容易に状況を把握でき、手の位置を適正にずらすことでカーソル表示できることが分かる。

表示制御部１０は、物体領域検出器３から物体存在画素情報が出力されない場合には、適正距離の範囲内（検出対象距離の範囲内）に物体が存在していないので、検出対象領域内の所定の位置に仮想スイッチを表示する表示指令をディスプレイ９に出力する。
これにより、ディスプレイ９には、図６に示すように、物体が存在していない検出対象領域内に仮想スイッチが表示され、ユーザの手などの物体は表示されない。
ユーザは、ディスプレイ９の表示内容を見て、カーソルも自分の手も表示されていないことを確認すれば、自分の手が適正距離の範囲内（検出対象距離の範囲内）にないので、例えば、距離計測センサ２に対する手の距離を変える必要があることを理解することができる。

ここでは、表示制御部１０がカーソルや物体等をディスプレイ１１に表示するものについて示したが、表示制御部１０としてプロジェクターを使用し、表示制御部１０がカーソル、物体、仮想スイッチ、検出対象領域などを車両のフロントガラスに不透明又は半透明に表示するようにしてもよい。
この場合、車両のドライバーからは、外部の風景と合わせて重畳表示されて見えるようになる。
この実施の形態１では、検出対象物体が検出されない場合、適正距離の範囲内（検出対象距離の範囲内）に存在する物体のみを表示して、適正距離の範囲外の物体を表示しない（適正距離の範囲外の物体を透明にしている）ようにしている。このため、ドライバーの視野をできるだけ妨げないように、透明な部分を多く残しつつ、検出状況をドライバーに知らせることができる。
ここでは、車両のフロントガラスに操作画面を重畳表示するものについて示したが、これに限るものではなく、例えば、テレビ放送が表示される画面上に操作画面を重畳表示するようにしてもよい。

以上で明らかなように、この実施の形態１によれば、検出対象領域内に存在する物体を検出する物体検出処理部４と、物体検出処理部４により検出された物体の形状を予め設定されている検出対象物体の形状と照合する照合処理部５とを設け、照合処理部５の照合結果が検出対象物体の形状と一致していない旨を示している場合、物体検出処理部４により検出された物体を表示し、照合処理部５の照合結果が検出対象物体の形状と一致している旨を示している場合、カーソルを表示するように構成したので、カーソルが表示されずに、検出された物体が表示されている場合には、操作入力の状況として、物体（例えば、ユーザの手）の向きや位置などが悪いことを把握することができる。その結果、物体の向きや位置などを変えれば、操作入力を行うことができることを理解することができるため、ユーザがスムーズな操作入力を行うことができる効果を奏する。

また、この実施の形態１によれば、物体検出処理部４により検出された物体の形状が予め設定されている物体の形状と一致している場合、物体検出処理部４により検出された物体の形状及び位置の変化を監視して、その物体の形状及び位置の変化に対応するユーザの操作入力の種類を特定するように構成したので、ユーザがマウスなどの入力装置を用いることなく、例えば、ユーザが手振りで仮想スイッチの選択操作や決定操作などを行うことができる効果を奏する。

また、この実施の形態１によれば、検出対象領域を撮像し、その検出対象領域の撮像画像を構成する画素毎に、物体までの距離を計測する距離計測センサ２と、距離計測センサ２の計測結果を参照して、検出対象距離の範囲内に存在する物体の領域を検出する物体領域検出器３とから物体領域検出処理部１を構成するようにしたので、容易に適正距離の範囲内（検出対象距離の範囲内）に存在している物体の領域を検出することができる効果を奏する。

また、この実施の形態１によれば、物体領域検出処理部１により物体の領域が検出されない場合、物体が存在していない検出対象領域を表示（検出対象領域内に仮想スイッチのみを表示）するように構成したので、ユーザがカーソルも物体（例えば、自分の手）も表示されていないことを確認することができるようになる。その結果、例えば、自分の手が適正距離の範囲内（検出対象距離の範囲内）にないので、例えば、距離計測センサ２に対する手の距離を変える必要があることを理解することができる効果を奏する。なお、本実施の形態では、検出対象領域を撮像して画素毎の距離を計測する距離計測センサ２の例で説明したが、画像を撮像することなく複数ポイントの距離情報を計測するセンサを用い、表示処理部９では距離情報を示す距離画像（例えば、遠い位置に対応する画素ほど黒く、近い位置に対応する画素ほど白く表現した画像）を表示するようにしてもよい。また、図５や図６において、形状照合処理部７が検出対象物体の形状と一致していないと判定した場合や、物体領域検出器３から物体存在画素情報が出力されない場合でも、仮想スイッチを表示する例で説明したが、このような場合は仮想スイッチに対する操作入力を受け付けることはないため、仮想スイッチは表示しなくても良い。

実施の形態２．
上記実施の形態１では、物体領域検出器３が距離計測センサ２により計測された距離計測データが適正距離の範囲内にある画素を特定し、適正距離の範囲内に存在する物体の検出情報として、距離計測データが適正距離の範囲内にある画素を示す物体存在画素情報を物体検出処理部４及び表示処理部９に出力するものについて示したが、この実施の形態２では、さらに、物体領域検出器３が検出対象距離の範囲外にある画素を特定し、適正距離の範囲外に存在する物体の検出情報として、距離計測データが適正距離の範囲外にある画素を示す物体存在画素情報を物体検出処理部４及び表示処理部９に出力するようにする。

具体的には、以下の通りである。
物体領域検出処理部１の物体領域検出器３は、距離計測センサ２から画素単位の距離計測データを受けると、上記実施の形態１と同様にして、画素単位の距離計測データを適正距離範囲値（例えば、２０ｃｍ〜１００ｃｍ）と比較して、距離計測データが適正距離の範囲内（検出対象距離の範囲内）にある画素を特定する。
物体領域検出器３は、距離計測データが適正距離の範囲内にある画素を特定すると、上記実施の形態１と同様にして、検出対象距離の範囲内に存在する物体の検出情報として、距離計測データが適正距離の範囲内にある画素を示す物体存在画素情報（以下、説明の便宜上、「適正距離範囲内物体存在画素情報」と称する）を物体検出処理部４及び表示処理部９に出力する。

また、物体領域検出器３は、距離計測センサ２から出力された画素単位の距離計測データを第１の不適正距離範囲値（例えば、２０ｃｍ未満）と比較して、距離計測データが第１の不適正距離の範囲内（検出対象距離の範囲外）にある画素を特定する。
物体領域検出器３は、距離計測データが第１の不適正距離の範囲内にある画素を特定すると、第１の不適正距離の範囲内に存在する物体の検出情報として、距離計測データが第１の不適正距離の範囲内にある画素を示す第１の不適正距離範囲内物体存在画素情報を物体検出処理部４及び表示処理部９に出力する。

また、物体領域検出器３は、距離計測センサ２から出力された画素単位の距離計測データを第２の不適正距離範囲値（例えば、１００ｃｍ超え）と比較して、距離計測データが第２の不適正距離の範囲内（検出対象距離の範囲外）にある画素を特定する。
物体領域検出器３は、距離計測データが第２の不適正距離の範囲内にある画素を特定すると、第２の不適正距離の範囲内に存在する物体の検出情報として、距離計測データが第２の不適正距離の範囲内にある画素を示す第２の不適正距離範囲内物体存在画素情報を物体検出処理部４及び表示処理部９に出力する。

物体検出処理部４は、物体領域検出器３から適正距離範囲内物体存在画素情報を受けると、上記実施の形態１と同様に、その適正距離範囲内物体存在画素情報から物体の輪郭を特定することにより、物体の形状を検出するとともに、その物体が存在している位置（撮像画像における物体の位置）を検出する。
物体検出処理部４は、物体の形状を示す形状データを照合処理部５に出力し、物体が存在している位置を示す位置データを照合処理部５及び表示処理部９に出力する。

物体検出処理部４は、物体領域検出器３から第１の不適正距離範囲内物体存在画素情報又は第２の不適正距離範囲内物体存在画素情報を受けると、物体の形状を検出する処理を実施せず、その物体が存在している位置（撮像画像における物体の位置）だけを検出して、その物体が存在している位置を示す位置データを表示処理部９に出力する。
照合処理部５の処理内容については、上記実施の形態１と同様であるため説明を省略する。

表示処理部９の表示制御部１０は、物体領域検出器３から適正距離範囲内物体存在画素情報が出力された場合には、上記実施の形態１と同様に、形状照合処理部７の照合結果に応じて、カーソル又は物体をディスプレイに表示する（図４及び図５を参照）。
なお、形状照合処理部７から検出対象物体の形状と一致していない旨を示す照合結果を受けると、物体領域検出器３から出力された適正距離範囲内物体存在画素情報にしたがって、物体検出処理部４により検出された物体を検出位置（撮像画像における物体の位置）に表示する（図７を参照）。

表示制御部１０は、物体領域検出器３から第１の不適正距離範囲内物体存在画素情報が出力された場合、物体が適正距離の範囲内に存在する場合と区別するため、図７の表示形態と異なるように、物体領域検出器３から出力された第１の不適正距離範囲内物体存在画素情報にしたがって、物体検出処理部４により検出された物体を検出位置（撮像画像における物体の位置）に表示する（図８を参照）。
例えば、距離が近い画素ほど濃い赤色で表示する。あるいは、距離が近い画素ほど重畳表示の透過率を高くする。

また、表示制御部１０は、物体領域検出器３から第２の不適正距離範囲内物体存在画素情報が出力された場合、物体が適正距離の範囲内に存在する場合と区別するため、図７の表示形態と異なるように、物体領域検出器３から出力された第２の不適正距離範囲内物体存在画素情報にしたがって、物体検出処理部４により検出された物体を物体検出処理部４により検出された位置（撮像画像における物体の位置）に表示する（図９を参照）。
例えば、距離が遠い画素ほど濃い青色で表示する。あるいは、距離が遠い画素ほど重畳表示の透過率を高くする。
ここでは、図７の表示形態と図８及び図９の表示形態が異なればよく、色や透過率以外を変えるようにしてもよいことは言うまでもない。

以上で明らかなように、この実施の形態２によれば、表示処理部９が物体検出処理部４により検出された物体を表示する際、物体検出処理部４により検出された物体が検出対象距離の範囲内に存在する物体である場合と、物体検出処理部４により検出された物体が検出対象距離の範囲外に存在する物体である場合とで、物体の表示形態を切り替えるように構成したので、ユーザがディスプレイ１１を見れば、例えば自分の手が適正距離の範囲内にあるか否かを直ちに把握することができる効果を奏する。なお、本実施の形態では、不適正距離範囲値として、「２０ｃｍ未満」や「１００ｃｍ超え」というように、最小・最大の片側だけを規定する例で説明したが、これは、例えば「１０ｃｍ以上２０ｃｍ未満」や「１００ｃｍ超えで２００ｃｍ以下」というように両側を規定する範囲にしてもよい。また、図７から図９では、手全体が同じ表示形態となる例を示したが、例えば、手の指先が第１の不適正距離範囲内で、手の残りの部分が適正距離範囲内であれば、手の指先だけが赤色で表示されるなど、部分的に異なる表示形態となる場合もある。この場合でも、ユーザは、手の不適正距離範囲内にある部分を適正距離範囲内に移動させれば良い（指先を遠ざければ良い）ということを容易に把握することができる。

実施の形態３．
図１０はこの発明の実施の形態３によるインタフェース装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
カメラ２１は検出対象領域を撮像し、検出対象領域の撮像画像を物体検出処理部２２に出力する。
物体検出処理部２２はカメラ２１から出力された撮像画像を構成する画素の色又は輝度を参照して、所定の色又は輝度を有する物体を検出する処理を実施する。
なお、カメラ２１及び物体検出処理部２２から物体検出手段が構成されている。

次に動作について説明する。
カメラ２１は、検出対象領域を撮像し、検出対象領域の撮像画像を物体検出処理部２２に出力する。
例えば、インタフェース装置が車載装置（例えば、ナビゲーション装置）の操作入力用として使用される場合、運転席近傍の領域が検出対象領域となるように、カメラ２１が車両のフロントパネル等に設置される。
図１０では、検出対象領域内に存在する物体が「ユーザの手」である例を示しており、手の動きを解析して、操作入力の種類を特定するものとする。

物体検出処理部２２は、カメラ２１から検出対象領域の撮像画像を受けると、その撮像画像を構成する画素の色又は輝度を参照して、所定の色又は輝度を有する物体を検出する。
例えば、撮像画像を構成する画素の色が人間の肌色（基本となる肌色を決定し、その肌色より若干黄や赤や青がかっている色も含むものとする）に相当する場合、または、撮像画像を構成する画素の輝度が、人間の皮膚の輝度に相当する場合には、その画素がユーザの手を映している画素であると判断する。

物体検出処理部２２は、ユーザの手を映している画素を検出すると、その画素を示す物体存在画素情報を表示処理部９に出力する。
また、物体検出処理部２２は、物体の形状を示す形状データを照合処理部５に出力し、物体が存在している位置を示す位置データを照合処理部５及び表示処理部９に出力する。
照合処理部５及び表示処理部９の処理内容は、上記実施の形態１と同様であるため説明を省略する。
なお、物体検出処理部２２により所定の色又は輝度を有する物体が検出された場合に限り、照合処理部５が物体の形状を照合する。

以上で明らかなように、この実施の形態３によれば、検出対象領域を撮像し、検出対象領域の撮像画像を出力するカメラ２１と、カメラ２１から出力された撮像画像を構成する画素の色又は輝度を参照して、所定の色又は輝度を有する物体を検出する物体検出処理部２２とを用いて構成したので、容易にユーザの手などの物体を検出することができる効果を奏する。

実施の形態４．
上記実施の形態１〜３では、表示処理部９がカーソルを物体検出処理部４，２２により検出された物体の位置（撮像画像における物体の位置）に表示し、仮想スイッチを所定の位置（例えば、画面の下部）に表示するものについて示したが、表示処理部９の表示制御部１０が、物体検出処理部４，２２により検出されたカーソルの位置と仮想スイッチの位置関係に応じて、仮想スイッチの表示形態を切り替えるようにしてもよい。

具体的には、以下の通りである。
表示処理部９の表示制御部１０は、図１１に示すように、物体検出処理部４，２２により検出されたカーソルの位置と仮想スイッチが離れている場合、上記実施の形態１〜３と同様にして、カーソルと仮想スイッチを表示する。
しかし、ユーザが手を動かすことにより、カーソルの位置（物体検出処理部４，２２により検出されたカーソルの位置）が仮想スイッチの表示位置に近づいてくると（カーソルの位置と仮想スイッチの位置が一定距離以内になると）、図１２に示すように、当該仮想スイッチが選択され易くするため、その仮想スイッチの表示形態を切り替えて、大きく表示するようにする。

以上で明らかなように、この実施の形態４によれば、物体検出処理部４，２２により検出されたカーソルの位置と仮想スイッチの位置関係に応じて、仮想スイッチの表示形態を切り替えるように構成したので、ユーザが仮想スイッチを選択する際の時間を短縮することができるなどの効果を奏する。

なお、この実施の形態４では、仮想スイッチを大きく表示するなどの表示形態の切り替えを示したが、表示形態の切り替えは、仮想スイッチの大きさに限るものではなく、次のようにしてもよい。
（１）仮想スイッチの色を変える（例えば、通常は目立たない灰色で表示し、カーソルが近づくと、目立つ色に変える）
（２）透過の濃さを変える（例えば、通常は薄く表示し、カーソルが近づくと、濃く表示する）
（３）動きを変える（例えば、通常は静止しており、カーソルが近づくと、上下に振動する）

また、この実施の形態４では、カーソルの位置が仮想スイッチの表示位置に近づいてくると、その仮想スイッチの表示形態を切り替えるものについて示したが、これに限るものではなく、例えば、仮想スイッチが選択されたとき、その仮想スイッチの表示形態を切り替えるようにしてもよい。

実施の形態５．
図１３はこの発明の実施の形態５によるインタフェース装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
結果報知部３１は物体領域検出処理部１の検出結果、形状照合処理部７の照合結果及び操作入力特定部８の特定結果を報知する処理を実施する。なお、結果報知部３１は結果報知手段を構成している。

上記実施の形態１〜４では、特に言及していないが、結果報知部３１が、物体領域検出処理部１の検出結果、形状照合処理部７の照合結果及び操作入力特定部８の特定結果を報知するようにしてもよい。
例えば、次のような報知を行うようにする。
結果報知部３１は、物体領域検出処理部１が物体を検出している間はゆっくりした音を出力し、物体領域検出処理部１が物体を検出して、仮想スイッチが選択されると、やや大きな音を出力するようにする。

また、結果報知部３１は、物体領域検出処理部１が物体を検出している間と、仮想スイッチが選択された時とで、異なる匂いを出すようにする。
匂いを出す装置としては、例えば、特開２００４−８１８５１号公報に開示されている「匂い提示装置」を利用すればよい。
また、結果報知部３１は、仮想スイッチが選択されたときに強めの空気をユーザに当てて、手に押されたような感触（手でスイッチを押したような感触）を与えるようにする。

以上で明らかなように、この実施の形態５によれば、結果報知部３１が物体領域検出処理部１の検出結果、形状照合処理部７の照合結果及び操作入力特定部８の特定結果を報知するように構成したので、ユーザが操作状況を容易に理解することができる効果を奏する。

この発明の実施の形態１によるインタフェース装置を示す構成図である。 この発明の実施の形態１によるインタフェース方法を示すフローチャートである。 物体形状記憶部６に記憶されている検出対象物体の形状及び位置の変化（変化パターン）と操作入力種類の対応関係を示す説明図である。 ディスプレイ１１にカーソルと仮想スイッチが表示されている様子を示す説明図である。 ディスプレイ１１に検出された物体（ユーザの手）と仮想スイッチが表示されている様子を示す説明図である。 ディスプレイ１１に仮想スイッチのみが表示されている様子を示す説明図である。 手が存在している距離が適正距離の範囲内である場合の表示内容を示す説明図である。 手が存在している距離が近すぎる場合の表示内容を示す説明図である。 手が存在している距離が遠すぎる場合の表示内容を示す説明図である。 この発明の実施の形態３によるインタフェース装置を示す構成図である。 カーソルの位置と仮想スイッチが離れている場合の表示内容を示す説明図である。 カーソルの位置が仮想スイッチに近づいた場合の表示内容を示す説明図である。 この発明の実施の形態５によるインタフェース装置を示す構成図である。

符号の説明

１ 物体領域検出処理部（物体検出手段）、２ 距離計測センサ、３ 物体領域検出器、４，２２ 物体検出処理部（物体検出手段）、５ 照合処理部（照合手段）、６ 物体形状記憶部、７ 形状照合処理部、８ 操作入力特定部、９ 表示処理部（表示手段）、１０ 表示制御部、１１ ディスプレイ、２１ カメラ（物体検出手段）、３１ 結果報知部（結果報知手段）。

Claims (12)

1. 検出対象領域内に存在する物体を検出する物体検出手段と、上記物体検出手段により検出された物体の形状を予め設定されている検出対象物体の形状と照合する照合手段と、上記照合手段の照合結果が検出対象物体の形状と一致していない旨を示している場合、上記物体検出手段により検出された物体を表示し、上記照合手段の照合結果が検出対象物体の形状と一致している旨を示している場合、所定のシンボルを表示する表示手段とを備えたインタフェース装置。
2. 表示手段は、物体検出手段により物体が検出されない場合、検出対象領域を表示することを特徴とする請求項１記載のインタフェース装置。
3. 照合手段は、物体検出手段により検出された物体の形状が予め設定されている検出対象物体の形状と一致している場合、上記物体検出手段により検出された物体の形状及び位置の変化を監視して、上記物体の形状及び位置の変化に対応するユーザの操作入力の種類を特定することを特徴とする請求項１または請求項２記載のインタフェース装置。
4. 物体検出手段は、検出対象領域を構成する複数の領域毎に、物体までの距離を計測する距離計測センサと、上記距離計測センサの計測結果を参照して、検出対象距離の範囲内に存在する物体の領域を検出する物体領域検出器と、上記物体領域検出器の検出結果を参照して、検出対象領域内に存在する物体を検出する物体検出処理部とから構成されていることを特徴とする請求項１から請求項３のうちのいずれか１項記載のインタフェース装置。
5. 物体検出処理部は、検出対象距離の範囲内に存在する物体のほかに、検出対象距離の範囲外に存在する物体を検出することを特徴とする請求項４記載のインタフェース装置。
6. 表示手段は、物体検出手段により検出された物体を表示する際、上記物体検出手段により検出された物体が検出対象距離の範囲内に存在する物体である場合と、上記物体検出手段により検出された物体が検出対象距離の範囲外に存在する物体である場合とで、物体の表示形態を切り替えることを特徴とする請求項５記載のインタフェース装置。
7. 物体検出手段は、検出対象領域を撮像して、上記検出対象領域の撮像画像を出力するカメラと、上記カメラから出力された撮像画像を構成する画素の色又は輝度を参照して、所定の色又は輝度を有する物体を検出する物体検出処理部とから構成されていることを特徴とする請求項１から請求項３のうちのいずれか１項記載のインタフェース装置。
8. 表示手段は、照合手段の照合結果が検出対象物体の形状と一致している旨を示している場合、所定のシンボルとして、カーソルを物体検出手段により検出された物体の位置に表示するともに、仮想スイッチを所定の位置に表示することを特徴とする請求項１から請求項７のうちのいずれか１項記載のインタフェース装置。
9. 表示手段は、物体検出手段により検出された物体の位置と仮想スイッチの位置関係に応じて、上記仮想スイッチの表示形態を切り替えることを特徴とする請求項８記載のインタフェース装置。
10. 物体検出手段の検出結果及び照合手段の照合結果を報知する結果報知手段を設けたことを特徴とする請求項１から請求項９のうちのいずれか１項記載のインタフェース装置。
11. 物体検出手段が検出対象領域内に存在する物体を検出する物体検出ステップと、照合手段が上記物体検出手段により検出された物体の形状を予め設定されている検出対象物体の形状と照合する照合ステップと、上記照合手段の照合結果が検出対象物体の形状と一致していない旨を示している場合、表示手段が上記物体検出手段により検出された物体を表示し、上記照合手段の照合結果が検出対象物体の形状と一致している旨を示している場合、上記表示手段が所定のシンボルを表示する表示ステップとを備えたインタフェース方法。
12. 検出対象領域内に存在する物体を検出する物体検出処理手順と、上記物体検出処理手順で検出された物体の形状を予め設定されている検出対象物体の形状と照合する照合処理手順と、上記照合処理手順での照合結果が検出対象物体の形状と一致していない旨を示している場合、上記物体検出処理手順で検出された物体を表示し、上記照合処理手順での照合結果が検出対象物体の形状と一致している旨を示している場合、所定のシンボルを表示する表示処理手順とをコンピュータに実行させるためのインタフェースプログラム。

Images