JP6068741B2 - 表示システム - Google Patents

Description

本発明は、コンピュータ等の情報機器や、テレビ等のディスプレイを有する電子機器の入出力を行うインターフェイスを有する表示システムに関する。

近年、コンピュータ等の情報機器やテレビ等の電子機器を操作するためのインターフェイスとして、ユーザの動きや、手など身体の一部分の形状を利用した手法が盛んに提案されている。
例えば、カメラで撮像した画像中のユーザの動きや手形状をコンピュータにより認識し、その認識情報によって機器操作を行う手法がある。この手法では、ディスプレイ周囲に設置したカメラに向かい、ユーザが手振り等によって指示を与えることで、ディスプレイに表示したカーソル等を操作し、ディスプレイに表示した仮想スイッチ等の選択を行う。これにより、マウスやリモコン等の手で直接操作する入力装置を必要とせずに、簡便な機器操作が可能となる。

また、特許文献１の技術では、カメラで撮像した画像中の、ユーザの顔や手の位置、動き、形状、指本数等をコンピュータにより認識し、それら認識情報の組み合わせを変化させることで、より多くのジェスチャパターンを設定する方法が提案されている。この手法によって、ジェスチャで複数の操作が可能となる。さらには、顔認識によってユーザを特定し、ユーザ毎に、好みのジェスチャを好みの操作内容に割り当てることで、より自由度の高いインターフェイスが実現されるとしている。

特開２００５−９２４１９号公報

上記特許文献１の技術では、複数のジェスチャパターンを設定することが可能であるが、この場合、複数のジェスチャパターンとそれに対応する操作内容をユーザが全て記憶する必要があり、ユーザの負担が大きい。また、ディスプレイに操作ガイドを表示する場合には、多数のジェスチャについて表示する必要があることや、ジェスチャ自体が複雑化した場合には、分かり難い表示になってしまうといった問題がある。

本発明は、上記課題を解決するためになされたものであって、ユーザの負担が少ない簡単なジェスチャにより、多数の操作を可能とする表示システムを提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、撮像機能を有する撮像部を備えた撮像装置と、該撮像装置で撮像された画像に基づき、ユーザの状態を判定し、該判定した結果に応じて予め定められたアプリケーションの処理を実行する画像処理装置と、該アプリケーションの処理に応じた表示を行う表示装置とを備えた表示システムであって、 前記画像処理装置は、前記撮像装置が撮像した画像に基づいて、前記撮像した画像の画面内に操作範囲を設定し、該設定した操作範囲におけるユーザの状態を判定し、前記操作範囲のユーザの状態に応じて予め定められたアプリケーションの処理を実行することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記画像処理装置が、前記撮像部が撮像した画像から前記ユーザの顔を検出する顔検出部と、該顔検出部の顔検出情報に基づき前記撮像した画像の画面内で前記ユーザの手検出を行う手検出部と、前記操作範囲を設定する操作範囲設定部とを有し、該操作範囲設定部は、前記顔検出部が検出した前記ユーザの顔位置と、前記検出した顔に外接する矩形領域と、前記手検出部が検出した手位置と、に基づいて前記操作範囲を設定することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記画像処理装置が、前記操作範囲を複数に分割して設定し、該複数に分割した操作範囲ごとに、前記ユーザの状態に応じて実行するアプリケーションの処理を予め定め、前記手検出部により検出されたユーザの手位置から、前記ユーザの手が存在する前記分割した操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴としたものである。

第４の技術手段は、第３の技術手段において、前記画像処理装置が、前記操作範囲設定部が設定した複数に分割した操作範囲のそれぞれと、前記表示装置が表示する表示画面の一部の領域とを対応させ、各前記分割した操作範囲に対応させた前記表示画面の各領域に、前記分割した操作範囲におけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを表示させることを特徴としたものである。

第５の技術手段は、第３の技術手段において、前記画像処理装置が、前記複数に分割した操作範囲のそれぞれに対応させた表示領域に表示させる操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた表示領域に表示させる操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴としたものである。

第６の技術手段は、第２の技術手段において、前記撮像部から被写体までの距離情報を算出する距離算出手段を有し、前記画像処理装置は、前記撮像した画像の画面内に設定する操作範囲として、前記距離算出部が算出する距離に応じて複数段階の奥行方向の操作範囲を設定し、前記手検出部により検出されたユーザの手位置及び前記距離算出手段が算出した前記距離情報から、前記ユーザの手が存在する前記奥行方向の操作範囲を判断し、該判断した操作範囲における予め定められたアプリケーションの処理を実行することを特徴としたものである。

第７の技術手段は、第６の技術手段において、前記画像処理装置が、前記操作範囲設定部が設定した前記奥行方向の操作範囲のそれぞれにおけるユーザの状態に応じたアプリケーションの処理を示す操作ガイドを、前記表示装置の表示画面に前記奥行方向の操作範囲に対応させて３次元的に配置して見えるように表示させることを特徴としたものである。

第８の技術手段は、第７の技術手段において、前記画像処理装置が、前記複数段階に設定した奥行方向の操作範囲のそれぞれに対応させた前記操作ガイドのうち、前記手検出部により検出されたユーザの手が存在する操作範囲に対応させた操作ガイドを、他の操作ガイドとは区別可能に強調表示させることを特徴としたものである。

第９の技術手段は、第６〜８のいずれか１の技術手段において、前記撮像装置が、２つの前記撮像部を備え、前記距離算出手段として、前記２つの撮像部により撮像された画像の視差に基づいて、前記撮像部から被写体までの距離情報を算出する距離算出部を有することを特徴としたものである。

第１０の技術手段は、第６〜８のいずれか１の技術手段において、前記距離算出手段として、赤外線もしくはレーザ光を発光して被写体からの反射光を解析することにより前記撮像部から被写体までの距離情報を算出する測距部を有することを特徴としたものである。

本発明に係る表示システムによれば、ユーザの負担が少ない簡単なジェスチャにより、多数の操作が可能になるという効果が得られる。

実施の形態１における表示システムのハードウェア構成を示すブロック図である。 ユーザ情報解析部の構成ブロック図である。 実施の形態１における表示システムの使用例を説明する図である。 実施の形態１における表示システムのフローチャートである。 実施の形態１における入力画像と操作範囲設定例を説明する図である。 実施の形態１における操作ガイド表示方法の一例を示す図である。 実施の形態２における表示システムのハードウェア構成を示すブロック図である。 実施の形態２における表示システム使用例を説明する図である。 実施の形態２における表示システムのフローチャートである。 実施の形態２における第２の表示システムのハードウェア構成を示すブロック図である。

（実施の形態１）
以下に、本発明の実施の形態１を、図面を用いて説明する。
図１は、本発明の実施の形態１に係る表示システムの構成を示すブロック図である。実施の形態１に係る表示システム１は、操作を行うユーザを撮像する撮像装置１０、撮像されたユーザの位置や動きを判別する画像処理装置１１、操作ガイドや操作状態情報や操作による処理結果などを表示する表示装置１２を備えている。

撮像装置１０は撮像部１０１により構成され、ユーザなどの被写体を撮像し画像を出力するものであり、受光した光を電気信号に変え画像とするＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、被写体からの光を撮像素子に集光するためのレンズなどの光学系を備えている。
画像処理装置１１はユーザ情報解析部１１１と操作判定部１１２、アプリケーション処理部１１３、表示制御部１１４とを備えている。

ユーザ情報解析部１１１は、撮像装置１０の出力画像からユーザの操作状態を解析し、解析情報を操作判定部１１２に出力する。図２に示すように、ユーザ情報解析部１１１は顔検出部１１１１、手検出部１１１２、操作範囲設定部１１１３から構成され、ユーザの顔と手の位置、手形状、ユーザの操作範囲情報等を出力する。

操作判定部１１２は、予め設定し登録したジェスチャとユーザ情報解析部１１１の出力情報とを比較することで、ユーザの操作状態を判定し、判定結果をアプリケーション処理部１１３と表示制御部１１４へ出力する。
アプリケーション処理部１１３は、操作判定部１１２の出力に応じたアプリケーションを実行し、その結果を表示制御部１１４へ出力する。なお、アプリケーション処理部１１３には、事前に複数の処理やアプリケーションを登録しておくことができる。

表示制御部１１４は、操作判定部１１２の出力とアプリケーション処理部１１３の結果に応じた表示内容を表示装置１２に出力する。
操作情報設定部１１５は、操作ガイドの表示方法やユーザの操作範囲についての設定を行い、その情報を操作判定部１１２と表示制御部１１４に出力する。操作情報設定部１１５の設定値は外部から入力する。
表示装置１２は液晶ディスプレイやプラズマディスプレイといったＴＶディスプレイや、パーソナルコンピュータ向けモニタなど一般的なディスプレイであり、表示制御部１１４の出力に基づいて表示を行う。

次に、図１で示した表示システム１の使用例と操作判定方法について、図３、図４を用いて説明する。
図３は、本発明に係る表示システムについて、表示装置１２として家庭用ＴＶなどの大型ディスプレイを用いた場合の使用例を表す図である。
撮像装置１０は、表示装置１２の上部中央位置で、表示装置１２の正面側にいるユーザ３１を撮影するように設置される。撮像装置１０を表示装置１２の上部中央位置に設置し、ユーザを俯瞰するように撮影することで、撮影される画像内でユーザの顔と手が重なり難くなるという利点が得られる。ただし、撮像装置１０の設置位置はこれに限定されるものではなく、ユーザの顔や手を撮影することが可能であればどこに設置してもよい。例えばディスプレイ下部や側部、ユーザの手元付近といった場所に設置してもよい。

撮像装置１０で取得した画像は画像処理装置１１へ入力され、ユーザの仮想操作範囲３２の設定、操作判定を行い、表示装置１２に操作に応じた処理結果などを表示する。表示装置１２の操作ガイド表示は、操作情報設定部１１５により例えば表示面全体を４分割するように設定される。図３の使用例では、ユーザは操作ガイド領域３３の位置で指本数が１本の処理を選択している。また、図３では図１のブロック図と同じ構成のものは同じ符号を付している。

図４は、本発明に係る表示システムにおける、処理フローチャートを表す図である。以下に処理手順と処理詳細を説明する。
まず撮像装置１０により画像を取得し（ステップＳ１）、取得した画像を画像処理装置１１のユーザ情報解析部１１１へ入力する。ユーザ情報解析部１１１の顔検出部１１１１は入力画像から顔を検出する（ステップＳ２）。

顔検出部１１１１では、以下で述べる方法を適用することによって入力画像から顔領域を検出し、顔領域の画像情報または入力画像上の２次元座標などの情報を出力する。
例えば、顔検出部１１１１における顔検出方法には、入力画像から肌色情報を抽出し、肌色であると判断した画像領域を顔とする方法がある。また、平均的な人の顔のモノクロ画像を予め用意しておき、このモノクロ画像と撮像画像と比較したときの画像上の各位置での相関値が、予め設定された閾値以上である画像領域を顔とする方法がある。

さらに、弱識別器として白黒のＨａａｒ−Ｌｉｋｅ特徴を用いたＡｄａｂｏｏｓｔアルゴリズムによる手法（「Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, IEEE CVPR, 2001.」，「Rainer Lienhart and Jochen Maydt, “An Extended Set of Haar-like Features for Rapid Object Detection”, IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.」に述べられた手法）を用いることも可能である。

以上のように顔検出は種々の方法があるが、本発明に係る顔検出部における顔検出処理は、上記の方法によるものに限らない。即ち、入力画像から顔を検出する方法であればどのような方法を用いてもよい。

次に、上記ステップＳ２における顔検出の有無を判定し（ステップＳ３）、検出された場合は手検出部１１１２で入力画像から手検出を行う（ステップＳ４）。検出されない場合は、既に操作範囲設定（ステップＳ７）が行われているかどうか判定し（ステップ１１）、設定されている場合には操作範囲設定の解除を行い（ステップＳ１２）、ステップＳ１に戻る。

続いて、上記ステップＳ４における手検出の有無を判定し（ステップＳ５）、検出された場合は手検出が一回目であるかどうかの判定を行う（ステップＳ６）。検出されない場合は、上述したステップＳ３と同様に、既に操作範囲設定（ステップＳ７）が行われているかどうか判定し（ステップ１１）、設定されている場合には操作範囲設定の解除を行い（ステップＳ１２）、ステップＳ１に戻る。

ステップＳ５で判定された手検出が一回目であれば、操作範囲設定部１１１３において、仮想操作範囲３２に示すような操作範囲設定を行い（ステップＳ７）、ステップ１へと戻る。手検出が二度目以降であれば、ステップＳ２、ステップＳ４の検出情報と、ステップＳ７で設定した操作範囲情報に基づいてユーザの操作判定を行う（ステップＳ８）。最後に操作判定の結果に基づいて、操作に応じた処理を実行し（ステップＳ９）、処理結果とユーザの操作状態などを表示装置１２に表示する（ステップＳ１０）。

（ステップＳ４の詳細説明）
ステップＳ４の手検出部１１１２では、ユーザは表示システムの操作時には手を挙げていることを前提とし、入力画像のユーザ顔位置周辺を探索することで手検出を行う。手検出方法は、肌色検出による方法や、あらかじめ登録した複数の手形状パターンと一致する部分を探索する方法などによって行われる。
また、肌色検出で抽出した手領域の突起部分を探索する方法や、あらかじめ登録した複数の手形状パターンに指本数を変化させたパターンを含ませることで、手形状や指本数を判定する。ただし、手検出は上記の方法に限られず、入力画像から手を検出し、手の形状を判定することが可能であればどのような方法を用いてもよい。

（ステップＳ７の詳細説明）
上記ステップＳ７の操作範囲設定の詳細について以下に説明する。図５は、入力画像内で設定された操作範囲の一例を示しており、ユーザ３１を撮像装置１０で撮影した入力画像５１内で、仮想操作範囲３２が設定されている。矩形領域５２はユーザの顔領域を表している。

操作範囲設定部１１１３は、顔検出部１１１１と手検出部１１１２の出力情報に基づいて仮想操作範囲３２を設定する。顔検出部１１１１で出力される顔矩形領域５２の情報から、ユーザ３１の顔の大きさがわかり、撮像装置１０（表示装置１２）からユーザ３１までの距離を大まかに知ることができる。個人差はあるが、一般的には矩形サイズが大きければ距離が近く、小さければ距離が遠いと言えるので、矩形サイズをパラメータとし、この値が大きければ仮想操作範囲を大きく、小さければ小さく設定するようにする。

入力画像５１内での仮想操作範囲の左右位置は、顔と手の位置関係からユーザの使用する手（利き手）を判断し、顔の中心から利き手側へ水平方向に一定画素ずらした位置とする。また、仮想操作範囲の上下位置は、顔位置から下へ垂直方向に一定画素ずらした位置とする。左右・上下位置の画素ずらし量は、経験的に知ることができる一般的な人の手の動作範囲と、顔矩形領域５２の矩形サイズをパラメータとして決める。
仮想操作範囲の設定方法は上記に限られず、顔の位置から固定的に決める方法や、表示システムの使用開始時にユーザ自身で登録する方法など、どのような方法でも構わない。

（ステップＳ８の詳細説明）
上記ステップＳ８の操作判定について以下に説明する。図３の破線で示すように、ステップＳ７で設定した仮想操作範囲３２を表示装置１２の表示面と対応させる。これにより、ユーザ３１の手位置が仮想操作範囲３２のどこにあるか判断することで、表示装置１２の表示面のどこを選択しているかがわかる。したがって、図３ではユーザ３１は操作ガイド領域３３を選択していると判断できる。

このとき、操作ガイド領域３３を強調表示することで、ユーザ自身に選択位置を知らせることができる。例えば、ユーザは握り拳の状態で自分の選択したい領域に手を移動し、その領域が強調表示されたら指を伸ばすことで、伸ばした指本数を判断してそれに対応した処理を実行することが出来る。このように、手位置と手形状（指本数）を利用することで、ユーザの操作判定を行う。

図３の例では、表示装置１２の表示面を４分割するように設定したため、４分割×指本数５＝２０通りの操作が可能となっている。この表示面の分割方法の設定は、外部から操作情報設定部１１５に入力して行う。外部からの設定値入力は、キーボードやテキストファイルなどで行われる。表示面の分割方法は上記の例に限られるものではなく、表示面の分割数や分割する位置は自由に設定が可能であり、分割数が多くなればより多くの操作が可能となる。

また、表示面全体を分割するのではなく、図６に示すように、表示装置１２の表示面下部領域を左右に分割することで、表示面全体に表示したい内容を視覚的に邪魔せず、操作ガイドを表示させることができる。この場合も、仮想操作範囲６１と表示装置１２の操作ガイドの表示領域を対応させることで、手位置と指本数のみで１０通りの選択が可能となる。

上記したユーザの操作ガイド選択領域の強調表示は、選択領域の縁をハイライト表示する方法や、選択領域を拡大表示する方法などによって行われる。例えば、表示面の分割数を増やした場合には、各分割領域の画面上の表示サイズが小さくなり視認し難くなるため、ユーザの選択領域を拡大表示することでこの問題を解決することができる。

強調表示は上記の方法に限られず、ユーザに選択領域を示すことが可能であれば、どのような表示方法を用いても構わない。例えば、選択領域以外の領域をグレースケール化や透明化もしくは半透明化して目立たない表示とすることで、選択領域を強調する方法も考えられる。また、選択領域の強調表示以外にも、単純に手の位置に合わせて表示装置の表示面上にポインターを表示することで、ユーザに選択位置を示す方法も考えられる。

上記の例では、手形状から指本数を判定してジェスチャとして用いたが、ジェスチャはこれに限られるものではない。ユーザの負担が少なく、操作ガイド表示が単純で分かり易い方法であれば、どのような方法をジェスチャとして用いてもよい。例えば、手の動きや顔の動き、顔と手の相対位置関係、目の動き、視線などを用いる方法や、指示棒などの特別な操作器具を用いる方法など、様々なジェスチャが考えられる。
また、上記の例では手の位置を検出して操作ガイドの選択領域を判定したが、顔などの手以外の部位位置や、指示棒などの特別な操作器具の位置を用いて判定してもよい。

（ステップＳ９の詳細説明）
上記ステップＳ９で述べた操作に応じた処理とは、表示装置１２に表示した仮想スイッチや仮想ボタン、サムネイル画像を選択する処理や、事前に画像処理装置１１に登録されたアプリケーションを実行する処理などが考えられる。この処理はどのようなものであっても構わない。

（実施の形態２）
以下に、本発明の実施の形態２を、図面を用いて説明する。
図７は、本発明の実施の形態２における表示システムのハードウェア構成を表すブロック図である。全体構成は実施の形態１の図１に示したものと同様であるが、撮像装置７０と画像処理装置７１の構成が変化している。図１と図７で同じ構成の部分は同じ符号を付している。

撮像装置７０には撮像部７０１が追加され、撮像部１０１、７０１は操作を行うユーザを撮像するようにステレオ配置されている。ステレオ配置とは、撮像部１０１、７０１の二つの撮像部を横並びに光軸が略平行となるよう並べた配置を言う。実施の形態２では、例として二つの撮像部１０１、７０１には同一構成のものを用いるが、二つの撮像部１０１、７０１で同領域を撮像し、画素間の対応を取ることが可能であれば、解像度や画角など構成の異なる撮像部を用いても構わない。

画像処理装置７１は、実施の形態１の画像処理装置１１と同様に、撮像されたユーザの位置や動きの判別を行うが、距離算出部７１１を追加した構成となっている。また、ユーザ情報解析部７１２は図２に示したユーザ情報解析部１１１と同じ構成であるが、手検出部１１１２、操作範囲設定部１１１３での処理の際に、距離算出部７１１からの出力情報を利用する。距離情報の算出方法と、距離情報を利用した処理についての詳細は後述する。

次に、図７で示した表示システム７の使用例と操作判定方法について、図８、図９を用いて説明する。
図８は、図７で示した表示システム７の表示装置１２に家庭用ＴＶなどの大型ディスプレイを用いた場合の使用例を表す図であり、図８（Ａ）は正面図、図８（Ｂ）は側面図となっている。
撮像装置７０は実施の形態１と同様、表示装置１２の上部中央位置に設置する。実施の形態１と同様、撮像装置７０の設置位置はこれに限定されるものではなく、ユーザの顔や手を撮影することが可能であればどこに設置してもよい。

撮像装置７０で取得した２枚の画像は画像処理装置７１へ入力され、距離算出、ユーザの仮想操作範囲８１の設定、操作判定を行い、操作に応じた処理結果などを表示装置１２に表示する。図８に示す例では、操作ガイド面２枚を奥行方向に配置して見えるように表示装置１２に表示しており、ユーザは手前の操作ガイド面８２の位置で指本数が１本の処理を選択している。また、図８では図７のブロック図と同じ構成のものは同じ符号を付している。

図９は実施の形態２における、処理フローチャートを表す図である。以下に処理手順と処理詳細を説明する。
図９に示すフローチャートは、実施の形態１の図４で示したフローチャートにおいて、画像取得（ステップＳ１）と顔検出（ステップＳ２）の間に、距離算出（ステップ１３）を追加した構成となっている。従って、大まかな処理全体の流れは実施の形態１で説明したものと等しいため、以下では差分についてのみ説明する。

まず、撮像装置７０の撮像部１０１、７０２で画像を取得し（ステップ１）、２枚の画像は画像処理装置７１の距離算出部７１１へ入力され、距離算出を行う（ステップ１３）。
撮像部１０１の画像（距離算出部７１１で基準とした撮像部の画像）と、距離算出部７１１で算出した距離情報は、ユーザ情報解析部７１２に入力される。ユーザ情報解析部７１２の顔検出部１１１１は入力画像から顔を検出する（ステップＳ２）。顔検出部１１１１による顔検出方法は実施の形態１と同様の方法を用いる。ステップ３以降の処理の流れは実施の形態１で述べたものと同様である。

（ステップ１３の距離算出部７１１の説明）
ステップ１３の距離算出部７１１は、ステレオ方式により距離算出を行う。ステレオ方式は、略平行に並べた二台の撮像装置で同じ領域を撮像し、得られた二つの画像において対応する画素の視差を求め、視差を基に距離を算出するものである。ステレオ方式において、二つの画像において対応する画素を求めることをステレオマッチングという。例えば、次のような処理を行う。

一方の撮像画像のある画素について、他方の撮像画像上を水平方向に走査することで画素マッチングを行う。画素マッチングは注目画素を中心としたブロック単位で行われ、ブロック内の画素の絶対値差分の総和をとるＳＡＤ（Sum of Absolute Difference）を計算し、ＳＡＤの値が最小となるブロックを決定することで、一方の撮像画像の注目画素に対応する他方の撮像画像上の画素を求める。ＳＡＤによる計算手法以外に、ＳＳＤ（Sum of Squared Intensity Difference）やグラフカット、ＤＰ（Dynamic Programming）マッチングといった計算手法もある。

対応画素が求まることでその画素の視差値が算出可能となる。一方の撮像画像の全画素について上記の処理を行うことで、全画素の視差値を算出し、二つの撮像装置の位置関係と視差値を用いて三角測量を行うことで、撮像装置から被写体までの距離が算出できる。また、二つの撮像部が左右方向でなく、上下方向に配置されていても視差値は算出可能で、その場合は撮像画像の走査を水平方向に代えて垂直方向にすれば良い。

距離算出部７１１が出力する距離情報は、撮像部１０１画像の各画素に対応する距離値を０〜２５５の値に圧縮し、グレースケール画像化したビットマップ画像、デプスマップを表す。ただし、各画素に対応する視差値をグレースケール画像化したディスパリティマップをデプスマップの代わりに距離情報としても用いても良い。

（ステップ４の変更点の説明）
ただし、ステップ４の手検出では、実施の形態１で述べた検出方法に、距離情報を考慮することで、検出精度の向上を図る。例えば、ユーザ顔位置周辺を探索して肌色検出などを行う際に、画像の２次元方向だけでなく奥行方向にも探索範囲を限定することが可能となり、誤検出の低減が期待できる。

（ステップ７の変更点の説明）
また、実施の形態２におけるステップ７の操作範囲設定では、図８の仮想操作領域８１に示すように、ステップ１３の距離情報に基づいて３次元空間領域で設定する。２次元方向の仮想操作範囲位置は実施の形態１で述べた方法と同様にして決め、奥行方向の操作範囲は、一般的な人の手の動作範囲を考慮して決定する。例えば、一般的な人の手の長さは５０〜１００ｃｍ程度であるので、５０ｃｍ幅に設定する

（ステップ８の変更点の説明）
ステップ８の操作判定では、ステップ７で設定した３次元の仮想操作範囲８１内で、手の位置を判断する。図８の例では、仮想操作範囲８１を奥行方向に２分割しており、手前の範囲（実線部分）にユーザの手がある。図８（Ａ）に示すように、操作ガイド面２枚を奥行方向に配置して見えるように表示設定しているため、ユーザは手前の操作ガイド面８２を選択していると判断することができる。反対に、仮想操作範囲８１の破線領域に手が入れば、手前側の操作ガイド面８２を透明化などしたうえで、後ろ側の操作ガイド面を強調表示させることで、後ろ側の操作ガイド面を選択しているとユーザに示すことが可能である。ユーザは前後に手を動かして、指本数を提示することで操作を行うことができる。

仮想操作範囲８１の分割方法は、外部から操作情報設定部１１５に入力して設定する。また、分割方法は上記に限られず、さらに細かく奥行方向に分割することも可能であるし、２次元方向の分割と奥行方向の分割を組み合わせることも考えられる。

上記のユーザが選択した操作ガイド面をユーザ自信に示す方法は、実施の形態１で述べた強調表示と同様の方法によって行われ、ユーザに選択した操作ガイド面を示すことが可能であればどのような表示方法であっても構わない。
実施の形態１と同様に、実施の形態２でも指本数を用いているが、ジェスチャはこれに限られるものではない。距離情報を利用して、ユーザの手の奥行方向の動作を判定してジェスチャとすることも可能である。

（測距部を用いた場合の説明）
なお、本実施の形態２では２台の撮像部１０１、７０１の２つの画像からステレオ方式により距離算出を行ったが、図１０に示す表示システム２の構成のように、どちらかの撮像部（図１０の構成例では、図７に示されていた撮像部７０１）を測距部２０１に置き換えても良い。この場合、図１０の画像処理装置２１は、図７で示した画像処理装置７１から距離算出部７１１を取り除いた構成となり、ユーザ情報解析部７１２には、測距部２０１から出力される距離情報が直接入力される。図７と図１０で同じ構成の部分は同じ符号を付している。

図１０の構成においても、図９のフローチャートと同様の処理方法で、本発明の実施の形態２の効果を実現することができる。ただし、ステップＳ１の画像取得とステップＳ１３の距離取得は同時に行われる。
測距部２０１は、ＴＯＦ（Time of Flight）方式に代表される赤外線を利用した手法を用いても良いし、距離情報を取得できるものであればどのような手法を用いても構わない。

ＴＯＦ方式は、ＬＥＤ（Light Emitting Diode）などの光源から赤外線など眼に見えない光を照射し、その光が被写体などに当たり反射して返ってくる飛行時間を計測することで距離を測距するものである。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。なお、飛行時間の測定の方法としては、レーザ光をパルス照射し、パルスを発射してから反射光が戻ってくるまでの時間を計測する方法や、照射する赤外線を変調し、照射したときの位相と、反射光との位相差から算出する方法などがある。

１…表示システム、７…表示システム、１０…撮像装置、１１…画像処理装置、１２…表示装置、３１…ユーザ、３２…仮想操作範囲、３３…操作ガイド領域、５１…入力画像、５２…矩形領域、６１…仮想操作範囲、７０…撮像装置、７１…画像処理装置、８１…仮想操作範囲、８２…操作ガイド面、１０１…撮像部、１１１…ユーザ情報解析部、１１２…操作判定部、１１３…アプリケーション処理部、１１４…表示制御部、１１５…操作情報設定部、２０１…測距部、７０１…撮像部、７１１…距離算出部、７１２…ユーザ情報解析部、１１１１…顔検出部、１１１２…手検出部、１１１３…操作範囲設定部。

Claims (5)

1. 撮像機能を有する撮像装置と、前記撮像装置で撮像した画像に基づいて、該画像に写された被写体の操作状態を判定し、該操作状態に応じて、予め定められたアプリケーションの処理を実行する画像処理装置と、前記アプリケーションの処理に応じた表示を行う表示装置とを備えた表示システムであって、
   前記画像処理装置は、
   前記画像から前記被写体の手を検出し、該手の位置と該手が表すジェスチャとの情報を取得する手検出部と、
   前記手の位置に基づいて、各々が前記アプリケーションの処理を示し手の位置と対応する複数の操作ガイドのうちの一つが前記被写体に選択されたと判定し、該選択された操作ガイドと前記ジェスチャの情報とに基づいて、前記操作状態の判定を行う操作判定部と
   を備え、
   前記表示装置は、前記複数の操作ガイドの各々のみを、対応する手の位置の奥行方向の順と同じ順で奥行方向に表示する
   ことを特徴とする表示システム。
2. 表示システムを制御するための仮想操作範囲を設定し、該仮想操作範囲に複数の操作領域を設定する操作範囲設定部をさらに備え、
   前記操作判定部は、前記手の位置が、前記複数の操作領域のうちのいずれの領域の位置
   であるかを判定することで、前記選択された操作ガイドを決定し、
   前記画像処理装置は、前記表示装置の表示面に、前記複数の操作領域の位置に対応づけられた複数の表示領域を設定し、該複数の表示領域のそれぞれに、前記操作ガイドの各々を表示させるように設定する操作情報設定部をさらに備える
   ことを特徴とする請求項１に記載の表示システム。
3. 前記撮像装置は、２つの撮像部を備えており、
   前記２つの撮像部により撮像された画像に基づいて、前記撮像部から前記被写体までの距離情報を算出する距離算出部をさらに備え、
   前記操作範囲設定部は、前記距離算出部で算出された前記距離情報に基づいて、前記仮想操作範囲を奥行方向に分割することで、前記複数の操作領域を設定することを特徴とする請求項２に記載の表示システム。
4. 前記撮像装置は、撮像部を備えており、
   赤外線もしくはレーザ光を発光して被写体からの反射光を解析することにより、前記撮像部から前記被写体までの距離情報を算出する測距部をさらに備え、
   前記操作範囲設定部は、前記測距部で算出された前記距離情報に基づいて、前記仮想操作範囲を奥行方向に分割することで、前記複数の操作領域を設定することを特徴とする請求項２に記載の表示システム。
5. 前記選択された操作ガイドを、前記複数の表示領域のうち前記選択された操作ガイドに対応する表示領域ではない他の表示領域に表示される前記操作ガイドとは区別可能に強調表示させることを特徴とする請求項２〜４の何れか１項に記載の表示システム。

Images