JP5456817B2 - 表示制御装置、表示制御方法、情報表示システム及びプログラム - Google Patents

Description

本発明は、表示制御装置、表示制御方法、情報表示システム及びプログラムに関する。

ディスプレイにアイコンを表示し、使用者のアイコンに対する動作を撮影し、当該撮影した画像に基づいて予め定められた処理を実行する装置が知られている（例えば、特許文献１参照）。また、特許文献２〜４が知られている。
特許文献１ 特開２０１１−１７５６１７号公報
特許文献２ 特開２００４−３０２７３４号公報
特許文献３ 特開２００６−１４６７００号公報
特許文献４ 特開２００８−２０４０６号公報

しかし、通常の非接触操作のシステムは、操作用の手を自由に選択できず、操作を目的としない手の動きまで追跡してしまう可能性があり、使用者に負担を与えていた。

本発明の第１の態様においては、使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者の身体の空間上の位置を検出する検出センサに、検出された使用者の両手の位置の相互関係に基づいて、いずれの手を操作用の手とするのかを特定し、当該特定した手が、前記検出センサの撮像範囲のうち前記表示内容と対応する範囲外に所定の時間位置した場合は、前記操作用の手の特定を解除して、再度、操作用の手を特定する特定部と、操作用の手の動きを認識して、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部とを備える表示制御装置と当該表示制御装置を備える表示システム、及びこれらに用いる表示制御方法とプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態の情報表示システム１０の概要を示す。 本実施形態の情報表示システム１０の具体的構成を示す。 本実施形態の処理フローを示す。 本実施形態の第１変形例の特定部２０４の具体的構成を示す。 本実施形態の第１変形例の処理フローを示す。 本実施形態の第２変形例の情報表示システム１０の概要を示す。 本実施形態の第２変形例の処理フローを示す。 表示制御装置２００として機能するコンピュータ１９００のハードウェア構成の一例を示す。

以下、本発明の実施の形態を説明する。

図１は、本実施形態の情報表示システム１０の概要を示す。情報表示システム１０は、使用者１の姿勢を検出し、使用者１の姿勢から使用者１の右手２２及び左手２４のうち操作用の手を特定し、当該操作用の手の動きに応じて制御された表示内容を表示する。情報表示システム１０は、検出センサ装置１００、表示制御装置２００、及び表示装置３００を備える。

検出センサ装置１００は、使用者１の身体の一部又は全体の二次元及び／又は三次元空間上の位置を検出する。検出センサ装置１００は、例えば、光波測距センサ及び／又はビデオカメラを有する。

光波測距センサは、光波測距を用いて距離データの画像を生成し、生成した距離データの画像から使用者１を検出してよい。光波測距センサは、例えば、赤外線等の光を照射する投光器、集光レンズ等の光学系、及び、複数の画素を含み画素ごとに使用者１からの反射光の検出時間を測定する測距素子を有する。光波測距センサは、使用者１に赤外線等を照射し、その反射光を光学系により測距素子上で結像させ、測距素子の各画素が測定した反射光の検出時間を画像内の各画素の輝度値等に対応付けすることで、使用者１の光波測距センサからの距離を表す画像を取得する。

ビデオカメラは、１又は複数の撮像部を有し、使用者１の画像を取得して使用者１を検出する。ビデオカメラは、２以上の視点から使用者１の画像を取得することで、使用者１の視差画像を取得し、当該視差画像の視差情報に基づいて、使用者１のビデオカメラからの距離情報を有する使用者１の画像を生成してもよい。検出センサ装置１００は、光波測距センサ及び／又はビデオカメラから取得した画像を表示制御装置２００に供給する。

ここで、図１において、検出センサ装置１００は撮像範囲３０の領域を検出する。撮像範囲３０には、使用者１の顔、右手２２及び左手２４を含む上半身及び下半身の一部が含まれる。従って、検出センサ装置１００は、使用者１の顔、右手２２及び左手２４を含む上半身及び下半身の一部を含む画像を取得する。

表示制御装置２００は、使用者１の手の動きに応じて表示装置３００の表示内容を制御する。具体的には、表示制御装置２００は、検出センサ装置１００から使用者１の画像を取得し、使用者１の左右の手の位置から使用者の右手２２及び左手２４のうちいずれかを操作用の手として特定し、操作用の手の動きから使用者１の操作指示を取得し、操作指示に応じた表示内容を表示装置３００に供給する。表示制御装置２００は、ネットワークに接続されてよい。図１において、表示制御装置２００は、使用者１の右手２２を操作用の手と特定する例を示す。

表示制御装置２００は、例えば、使用者１が表示装置３００の前に立ったことに応じて、使用者１の画像を表示装置３００に表示してよい。この場合、検出センサ装置１００は、表示装置３００の正面方向を検出し、表示制御装置２００は使用者１が表示装置３００の前で検出されたことに応じて表示装置３００に使用者１の画像を表示する。

表示装置３００は、表示制御装置２００から制御された情報を取得し、表示制御装置２００の制御に応じた表示内容を表示する。具体的には、表示装置３００は、使用者１の画像、使用者１の操作用の手と対応するカーソル、情報表示システム１０が実行するアプリケーション等のアイコン、及び、その他の情報を表示してよい。これに代えて、表示装置３００は、使用者１の画像を表示せず、使用者１の操作用の手と対応するカーソル、情報表示システム１０が実行するアプリケーション等のアイコン、及び、その他の情報を表示してもよい。

表示装置３００は、二次元画像又は三次元画像を表示する、液晶ディスプレイ、プラズマディスプレイ又は有機エレクトロルミネッセンスディスプレイ等の電子表示装置であってよい。

図１において、表示装置３００は、操作用の手の画像３２を含む使用者１の画像、使用者１の操作用の手の画像３２の中心４０に配置されたカーソル５０、ゲーム等のアプリケーションのアイコン、及びニュース等の文字情報を含む表示内容を表示する例を示す。ここで、ゲーム等のアプリケーション及び／又はニュース等の情報は、使用者１の指示に応じてネットワーク等を介して実行又は取得されてよい。

本実施形態において、表示装置３００の表示範囲と検出センサ装置１００の撮像範囲３０は同一又は略同一である。従って、表示装置３００は、検出センサ装置１００が取得した画像を無駄にすることなく表示することができる。

また、表示装置３００が表示する使用者１の画像は、使用者１の鏡像又は正像であってよい。表示装置３００が表示する使用者１の画像は、使用者１と同一寸法の画像、又は、使用者１を同一寸法よりも縮小／拡大した画像であってよい。使用者１と同一寸法の鏡像を表示する場合、情報表示システム１０は、使用者１に鏡の前に立ったような自然な感覚を提供することができる。

このように、情報表示システム１０によれば、使用者１が表示装置３００の前に立った場合に、使用者１の身体の位置を検出して、使用者１の操作用の手を特定する。また、情報表示システム１０は、当該操作用の手の動きから使用者１の操作指示を判断するので、使用者が操作することを意図しない手の動きを操作として誤って検出することがない。これにより、情報表示システム１０は、表示装置３００の画面の前に立った使用者１による非接触での画面操作をシームレスに開始させることを可能にし、使用者１に感じさせるストレスを低減した、快適なユーザインタフェースを提供することができる。

図２は、本実施形態の情報表示システム１０の具体的構成を示す。表示制御装置２００は、画像入力部２０２と、特定部２０４と、指示取得部２０６と、カーソル制御部２０８と、表示制御部２１０と、通信部２１２とを有する。

画像入力部２０２は、検出センサ装置１００から、使用者１の身体の位置を表す画像を入力する。画像入力部２０２は、画像を特定部２０４、指示取得部２０６、及び表示制御部２１０に供給する。

特定部２０４は、画像から使用者１の両手の位置を検出し、その検出された使用者１の両手の位置の相互関係に基づいて、使用者１の右手２２及び左手２４のうちいずれの手を操作用の手とするのかを特定する。具体的には、特定部２０４は、画像入力部２０２から画像を取得し、取得した画像から背景等を除き使用者１の画像を抽出する。特定部２０４は、抽出した使用者１の画像の形状から使用者１の両手に対応する領域を特定する。特定部２０４は、画像中の使用者１の左手及び右手のうちいずれかの手を、両手の位置の相互関係に基づいて操作用の手として特定する。特定部２０４は、両手に対応する領域の情報及び特定した操作用の手の情報を指示取得部２０６に供給する。

指示取得部２０６は、操作用の手の動きを認識して、表示装置３００の表示内容に対する操作指示を取得する。具体的には、指示取得部２０６は、画像入力部２０２から使用者１の画像を取得し、特定部２０４から両手に対応する領域の情報及び操作用の手の情報を取得する。指示取得部２０６は、取得した画像及び情報から、使用者１の画像中の操作用の手の中心位置の座標を算出する。指示取得部２０６は、当該中心位置の座標を操作指示として取得する。

また、指示取得部２０６は、使用者１の操作用の手の動きを検出し、使用者１が操作用の手で予め定められたジェスチャー等をした場合、当該ジェスチャーの内容を操作指示として取得してよい。指示取得部２０６は、取得した操作指示をカーソル制御部２０８及び表示制御部２１０に供給する。

カーソル制御部２０８は、使用者１の操作指示に応じて、カーソル５０を表示制御する。具体的には、カーソル制御部２０８は、指示取得部２０６から操作用の手の中心位置の座標を含む操作指示を取得し、使用者１の操作用の手の動きに応じてカーソル５０を表示装置３００の表示画面内で動かす。カーソル５０は、表示装置３００にアイコン等で表示される操作対象を選択するための、表示画面内の矢印等の図形である。カーソル制御部２０８は、カーソル５０の表示装置３００の表示画面内の座標情報を表示制御部２１０に供給する。

表示制御部２１０は、使用者１の操作指示に応じて表示装置３００の表示内容を制御する。例えば、表示制御部２１０は、画像入力部２０２から取得した画像を表示装置３００の表示画面に表示する。表示制御部２１０は、使用者１の操作指示の対象であるアプリケーション等の処理を実行する。表示制御部２１０は、アプリケーション等のアイコン、及び／又は、指示取得部２０６から取得した操作指示の実行結果等の情報を表示装置３００の表示画面に反映する。

また、表示制御部２１０は、カーソル制御部２０８から取得した座標情報に基づいて、表示装置３００の表示画面内の使用者１の操作用の手の位置と対応する座標にカーソル５０を表示する。更に、表示制御部２１０は、表示装置３００の表示画面にニュース情報等の使用者１が設定した情報を表示してよい。

通信部２１２は、インターネット等の外部のネットワークと接続する。表示制御部２１０は、通信部２１２を介して、アプリケーション及び／又はニュース等の情報をダウンロードしてよい。

このように、表示制御装置２００によれば、検出センサ装置１００が使用者１を撮像した画像に基づいて、特定部２０４が使用者１の両手の位置を検出して、使用者１の両手の位置関係から操作用の手を特定し、指示取得部２０６が当該操作用の手の動きから使用者１の操作指示を取得することにより、使用者１の非接触操作をシームレスに受け付けることができ、使用者１の意図しない動作を画面操作として誤検出することなく使用者１が意図した操作の結果を表示装置３００に表示させることができる。

また、情報表示システム１０は、カーソル５０を表示装置３００の表示画面に表示して、いずれかの手が操作用の手として特定されたかを使用者１に示すことができ、これにより使用者１の誤操作の可能性を更に低減することができる。

図３は、本実施形態の情報表示システム１０の処理フローを示す。本実施形態において、表示制御装置２００は、検出センサ装置１００から取得した画像及び予め記憶した人体形状のパターン等に基づいて、使用者１の操作用の手を特定する。情報表示システム１０は、Ｓ１１０からＳ１２０までの処理により情報を表示する。図３に示す処理フローは、例えば、情報表示システム１０が表示装置３００の前に使用者１が立ったことを検出した時に開始するか、あるいは、情報表示システム１０が、使用者１から操作用の手の設定開始の指示を受け取った時に開始してよい。

まず、Ｓ１１０において、検出センサ装置１００は、光波測距センサ及び／又はビデオカメラにより、使用者１の画像を取得して、使用者１の身体の一部又は全体の三次元及び／又は二次元空間上の位置を検出する。検出センサ装置１００は、使用者１の画像を表示制御装置２００の画像入力部２０２に供給する。使用者１の画像は、画素ごとに使用者１の検出センサ装置１００からの距離データを含んでいてよい。

次に、Ｓ１１２において、画像入力部２０２は、検出センサ装置１００から使用者１を撮像した画像を入力し、当該画像を特定部２０４、指示取得部２０６、及び表示制御部２１０に供給する。ここで、情報表示システム１０が表示装置３００に使用者１の鏡像を表示させる場合、画像入力部２０２は入力した使用者１の画像を左右反転させた後に、当該画像を特定部２０４等に供給してよい。

次に、Ｓ１１４において、特定部２０４は、検出された使用者１の両手の位置の相互関係に基づいて、使用者１の右手２２及び左手２４のうちいずれの手を操作用の手とするのかを特定する。具体的には、特定部２０４は、画像入力部２０２から使用者１の画像を取得する。次に、特定部２０４は、予め記憶した多数の人の身体形状のパターン、輪郭パターン又はシルエットパターン等に基づいて、取得した画像から人物の立体パターン等と概ね一致する部分のみを抽出し、背景等を除くことにより、使用者１の画像を抽出する。

次に、特定部２０４は、予め記憶した身体形状のパターン、輪郭パターン又はシルエットパターン等に基づいて、抽出した画像中における使用者１の左手及び右手の領域をそれぞれ特定する。例えば、抽出した使用者１の鏡像画像中において、使用者１の左側に予め記憶した手のパターン等と略一致する形状の領域が発見された場合、特定部２０４は当該領域を使用者１の右手に対応する領域と特定する。同様に、特定部２０４は、使用者１の左手に対応する領域を特定する。

次に、特定部２０４は、抽出した使用者１の両手のうちいずれかを操作用の手と特定する。例えば、特定部２０４は、使用者１の両手のうち、より高い位置もしくは低い位置にある方の手を、操作用の手として特定してよい。また、特定部２０４は、より高い位置にある方の手で、且つ、予め定められた基準位置より上に挙げられたことを更に条件として、操作用の手を特定してよい。例えば、特定部２０４は、基準位置を使用者１の肩、首又は頭の位置とし、使用者１の高い位置にある方の手が使用者の肩、首又は頭の位置より上に挙げられたことを認識したことに応じて、当該手を操作用の手として特定してよい。

また、特定部２０４は、使用者１の手のひらが検出センサ装置１００に向いている、すなわち表示装置３００の画面に向いていることを更に条件として、操作用の手を特定してよい。この場合、特定部２０４は、抽出した使用者１の画像の左手及び右手の形を予め記憶した多数の左手及び右手の手のひらの立体パターン、輪郭パターン又はシルエットパターン等とそれぞれ対比し、手のひらが表示装置３００の画面に向いていると判断した手を操作用の手と特定してよい。特定部２０４は、使用者１の両手に対応する領域に関する情報及び特定した操作用の手が両手のどちらの手であるかの情報を指示取得部２０６に供給する。

次に、Ｓ１１６において、指示取得部２０６は、使用者１の操作用の手の動きを認識して、表示装置３００の表示内容に対する操作指示を取得する。具体的には、指示取得部２０６は、画像入力部２０２から使用者１の画像を取得し、特定部２０４から使用者１の両手に対応する領域に関する情報、及び、使用者１のいずれの手が操作用の手であるかの情報を取得する。指示取得部２０６は、使用者１の画像中における操作用の手に対応する領域の中心の座標を算出し、当該座標の変化から操作指示を取得する。また、指示取得部２０６は、操作用の手に対応する領域の中心の座標を操作指示として取得する。

ここで、指示取得部２０６は、使用者１の操作用の手が既に特定されている場合には、特定部２０４から情報を取得せず、使用者１の画像中において、直近に操作用の手に対応する領域と認識された領域と略同位置かつ略同形状の領域を検出し、当該検出した領域を操作用の手に対応する領域としてよい。

また、指示取得部２０６は、使用者１の画像の操作用の手に対応する領域の変化を、予め記憶した多数の手の立体パターンの変化、輪郭パターンの変化又はシルエットパターンの変化等とそれぞれ対比してよい。これにより、指示取得部２０６は、使用者１の操作用の手のジェスチャー等の動きを検出して、当該ジェスチャー等の動きから操作指示を取得してよい。

例えば、指示取得部２０６は、使用者１の操作用の手の位置に対応する画面位置が表示装置３００の表示画面内のアイコンの位置と重なった状態で、使用者１が操作用の手で予め定められたジェスチャー等をしたことを認識した場合は、当該アイコンと対応するアプリケーションに関連する指示を操作指示としてよい。

予め定められたジェスチャーは、例えば、開いた手を握った状態にすること、握った手を開くこと、手を左右方向に振ること、手を上下方向に動かすこと、手でボタンを押す動作をすること、手でクリック又はダブルクリックする動作をすること、手で円を描く動作をすること、手を一定時間静止させること、一部又は全ての指を動かすこと、その他の手の運動又はこれらの組み合わせであってよい。

アプリケーションに関連する指示は、当該アプリケーションの実行、削除、又はプロパティの表示等であってよい。例えば、使用者１の操作用の手のの位置に対応する画面上の位置が表示装置３００の表示画面内のアイコンの位置と重なった状態で、操作用の手がボタンを押す動作をしたことを指示取得部２０６が検出した場合、指示取得部２０６は当該アイコンと対応するアプリケーションを実行する指示を取得してよい。

例えば、使用者１の操作用の手の位置に対応する画面上の位置が表示装置３００の表示画面内のアイコンと重なった状態で、指示取得部２０６が操作用の手が円を描く動作をしたことを検出した場合、指示取得部２０６は当該アイコンと対応するアプリケーションを終了する指示を取得してよい。

また、例えば、使用者１の操作用の手の位置に対応する画面上の位置が表示装置３００の表示画面内のアイコンの位置と重なった状態で操作用の手が開いた状態から握った状態になり、更に当該操作用の手が握った状態のまま移動したことをたことを指示取得部２０６が検出したとき、使用者１の操作用の手の位置と連動するように当該アイコンをドラッグする指示を指示取得部２０６は取得してよい。続いて、当該操作用の手が握った状態から開いた状態になったことを指示取得部２０６が検出したとき、当該アイコンをその位置でドロップする指示を指示取得部２０６は取得してよい。指示取得部２０６は、取得した操作指示をカーソル制御部２０８及び表示制御部２１０に供給する。

ここで、Ｓ１１６において、使用者１が情報表示システム１０の使用を中断又は中止したこと等により指示取得部２０６が使用者１から一定時間指示を取得できない場合、又は、指示取得部２０６が使用者１から操作用の手を解除する指示を受信した場合、情報表示システム１０は、使用者１の操作用の手を解除して、処理を終了してよい。

次に、Ｓ１１８において、カーソル制御部２０８が、使用者１の操作指示に応じて、カーソル５０を表示制御する。具体的には、カーソル制御部２０８は、指示取得部２０６から取得した操作指示を基に、使用者１の操作用の手の画像の中心４０の位置に対応する画面上の位置にカーソル５０を表示し、使用者１の操作用の手の移動に合わせてカーソル５０を表示装置３００の表示画面内で動かす。この結果、カーソル制御部２０８は、使用者１の操作用の手の動きに応じて連動するように、カーソル５０を表示装置３００の表示画面内で動かすこととなる。

また、カーソル制御部２０８は、表示制御装置２００の状態に応じて、表示するカーソル５０の形状を変更してもよい。例えば、表示制御装置２００が処理を実行中で次の操作指示を受け付けない場合、カーソル５０は砂時計等の処理待ちを示唆する形状となってよい。カーソル制御部２０８は、カーソル５０の表示装置３００の表示画面内の座標情報及びカーソルの形状情報を表示制御部２１０に供給する。

次に、Ｓ１２０において、表示制御部２１０は、使用者１の操作指示に応じて表示装置３００の表示内容を制御する。具体的には、表示制御部２１０は、画像入力部２０２から取得した使用者１の画像を表示装置３００の表示画面に表示する。光波測距センサから取得した画像を表示する場合、表示制御部２１０は使用者１のシルエット画像を表示してよい。ビデオカメラから取得した画像を表示する場合、表示制御部２１０は使用者１のカラー画像、カラー画像を画像処理した使用者１の白黒画像又はシルエット画像を表示してよい。

更に、表示制御部２１０は、操作対象であるアプリケーションのアイコンを、表示装置３００の使用者１の画像上に重ねて表示してよい。更に、表示制御部２１０は、指示取得部２０６から取得した操作指示の実行結果を表示装置３００の表示画面に反映してよい。

例えば、操作指示がアプリケーションの実行である場合、表示制御部２１０は当該アプリケーションを実行し、その実行結果を表示装置３００の使用者１の画像及びアイコン上に重ねて表示する。また、例えば、操作指示がアプリケーションの削除である場合、表示制御部２１０は、表示画面から削除対象となったアプリケーションのアイコンを削除する。また、例えば、操作指示がアプリケーションのプロパティの表示である場合、表示制御部２１０は、当該アプリケーションのプロパティを表示画面に表示する。

また、表示制御部２１０は、カーソル制御部２０８から取得したカーソル５０の座標情報及び形状情報に応じて、表示装置３００の表示画面に予め定められた形状のカーソル５０を表示する。更に、表示制御部２１０は、表示装置３００の表示画面にニュース情報、スケジュール、天気予報、番組表、メール着信、及び災害速報等の使用者１が予め設定した情報を表示してよい。情報表示システム１０は、Ｓ１２０の後に処理をＳ１１４に戻す。

このように、本実施形態の情報表示システム１０は、Ｓ１１０からＳ１２０までの処理を実行することにより、使用者１の画像を取得し、当該画像及び右手及び左手の立体パターン等から使用者１の両手の位置を検出し、その左右の手の位置関係に基づいて操作用の手を特定し、当該操作用の手の動作から使用者１からの操作指示を取得する。これにより、情報表示システム１０は、使用者１が画面の前に来てからシームレスに非接触の画面操作を開始できる環境を提供することができ、使用者１の意図しない動作を操作と誤認識することなく、使用者１が意図した操作の結果を表示装置３００に表示させることができる。

本実施形態の表示制御装置２００は、検出センサ装置１００からの情報に基づいて使用者１の姿勢を判定して、使用者１の両手の位置を検出し、両手（右手及び左手）の位置の相互関係を基に、操作用の手を特定する。例えば、高い位置にある手と低い位置にある手のうち、決められた位置にある方の手を操作用の手として設定する。このように、左右の手を互いに基準として、操作用の手を特定するため、使用者１に特別な動作をさせることなく、非接触操作を開始することができる。

図４は、本実施形態の第１変形例の特定部２０４の具体的構成を示す。本変形例において、検出センサ装置１００はカラー画像を取得するビデオカメラを含み、表示制御装置２００は使用者１のカラー画像に基づいて使用者１の操作用の手を特定する例を説明する。本変形例の説明において、本実施形態と略同一の機能及び構成を有する要素には同一の符号を付し、説明を省略する。

本変形例において、表示制御装置２００の特定部２０４は、認識部２３２、検索部２３４、及び判断部２３６を含み、使用者１のカラー画像に含まれる肌色部分から使用者１の操作用の手を特定する。

認識部２３２は、使用者１の顔部分及び／又は胴体部分を認識する。具体的には、画像入力部２０２から使用者１のカラー画像を取得し、取得したカラー画像から背景等を除き使用者１の画像を抽出する。認識部２３２は、抽出した使用者１のカラー画像から当該使用者１の顔部分及び／又は胴体部分を認識する。認識部２３２は、認識した顔部分及び／又は胴体部分の情報を検索部２３４に供給する。

検索部２３４は、カラー画像中の使用者１の肌色領域を検索する。具体的には画像入力部２０２から使用者１のカラー画像を取得し、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得する。検索部２３４は、カラー画像中の使用者１の顔の左右領域等の一部領域に位置する肌色領域を検索する。検索部２３４は、検索された肌色領域の情報を判断部２３６に供給する。更に、検索部２３４から肌色領域と隣接する領域の色の情報を取得し、判断部２３６に供給してもよい。

判断部２３６は、検索部２３４が検索した肌色領域の情報から操作用の手を判断する。具体的には、判断部２３６は、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得し、検索部２３４からカラー画像中の肌色領域の情報を取得する。判断部２３６は、カラー画像中の使用者１の顔部分及び／又は胴体部分の位置と、肌色領域の位置とを対比することにより使用者１の操作用の手を判断する。

図５は、本実施形態の第１変形例の処理フローを示す。本変形例において、表示制御装置２００は、使用者１のカラー画像に基づいて使用者１の操作用の手を特定する。情報表示システム１０は、Ｓ２１０からＳ２２４までの処理により情報を表示する。Ｓ２１０及びＳ２１２の処理は、図３におけるＳ１１０及びＳ１１２の処理と対応するものであってよい。情報表示システム１０は、処理をＳ２１２の次にＳ２１４に進める。

Ｓ２１４において、認識部２３２は、使用者１の顔部分及び／又は胴体部分を認識する。具体的には、認識部２３２は、画像入力部２０２から使用者１のカラー画像を取得し、予め記憶した多数の人物の顔及び胴体のパターンに基づいて、取得したカラー画像から人物の顔及び胴体パターンと概ね一致する部分のみを抽出する。認識部２３２は、認識した顔部分及び／又は胴体部分の情報を検索部２３４に供給する。

次に、Ｓ２１６において、検索部２３４は、カラー画像中の使用者１の肌色領域を検索する。具体的には画像入力部２０２から使用者１のカラー画像を取得し、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得する。検索部２３４は、カラー画像中の一部領域に位置する肌色領域を検索する。例えば、検索部２３４は、カラー画像中において、使用者１の顔部分よりも上方に位置する肌色領域を検索する。また、これに代えて、検索部２３４は、使用者１の顔部分及び胴体部分の左右に位置する肌色領域を検索してもよい。検索部２３４は、検索された肌色領域の情報を判断部２３６に供給する。

次に、Ｓ２１８において、判断部２３６は、検索部２３４が検索した肌色領域の情報から操作用の手を判断する。具体的には、判断部２３６は、認識部２３２から使用者１の顔部分及び／又は胴体部分の情報を取得し、検索部２３４からカラー画像中の肌色領域の情報を取得する。判断部２３６は、カラー画像中の使用者１の顔部分及び／又は胴体部分の位置と、肌色領域の位置とを対比することにより使用者１の操作用の手を判断する。

例えば、判断部２３６は、カラー画像中の使用者１の顔部分よりも上方に位置する肌色領域を、使用者１の操作用の手に対応する領域であると判断してよい。これにより、例えば、表示装置３００が使用者１の鏡像を表示し、肌色領域が顔部分の左に存在する場合には、判断部２３６は使用者１の右手が操作用の手であると判断することができる。

これに代えて、判断部２３６は、カラー画像中の使用者１の顔部分及び胴体部分の左右両方に位置する肌色領域を比較し、上方に位置する一方を使用者１の操作用の手に対応する領域と判断してよい。特定部２０４は、使用者１の両手に対応する肌色領域に関する情報及び特定した操作用の手が両手のどちらの手であるかの情報を指示取得部２０６に供給する。情報表示システム１０は、処理をＳ２１８の次にＳ２２０に進める。

Ｓ２２０〜Ｓ２２２の処理は、図３におけるＳ１１６〜Ｓ１１８の処理と対応するものであってよい。情報表示システム１０は、処理をＳ２２２の次にＳ２２４に進める。

Ｓ２２４において、情報表示システム１０は、図３におけるＳ１２０と対応する処理を実行し、処理をＳ２２０に戻す。

このように、本変形例の情報表示システム１０は、Ｓ２１０からＳ２２４までの処理を実行することにより、使用者１のカラー画像を取得し、当該カラー画像から使用者１の操作用の手を特定し、当該操作用の手の動作から使用者１からの操作指示を取得する。

図６は、本実施形態の第２変形例の情報表示システム１０の概要を示す。本変形例において、表示装置３００の表示範囲６０は検出センサ装置１００の撮像範囲３０よりも小さい。即ち、表示装置３００は、検出センサ装置１００が取得した画像のうち一部を切り取った範囲を表示する。領域２０は、表示装置３００の表示画面平面上における検出センサ装置１００の撮像範囲３０と対応する領域を示す。

表示制御装置２００の指示取得部２０６は、操作用の手が画像の予め定められた範囲の外に移動したことに応じて、操作用の手の特定を解除する。例えば、図６に示されるように、使用者１の操作用の手である左手２４が、検出センサ装置１００の撮像範囲３０のうち表示装置３００の表示範囲６０の外に出た場合、指示取得部２０６は操作用の手の特定を解除してよい。これに代えて、指示取得部２０６は、使用者１の操作用の手が、検出センサ装置１００の撮像範囲３０外に移動したことに応じて、操作用の手の特定を解除してよい。

図７は、本実施形態の第２変形例の処理フローを示す。本変形例において、表示制御装置２００は、検出センサ装置１００から取得した画像から、使用者１の操作用の手を特定する。更に、表示制御装置２００は、操作用の手の位置が予め定められた範囲から移動すると操作用の手を解除する。情報表示システム１０は、Ｓ３１０からＳ３２８までの処理により情報を表示する。

Ｓ３１０〜Ｓ３１８の処理は、図３におけるＳ１１０〜Ｓ１１８の処理と対応するものであってよい。ここで、Ｓ３１６において、使用者１の操作用の手が検出センサ装置１００の撮像範囲３０かつ表示装置３００の表示範囲６０の外に位置する場合、指示取得部２０６は、使用者１からの操作指示を取得しなくてもよく、又は、使用者１からの操作指示を取得してもよい。

Ｓ３２０において、情報表示システム１０は、図３におけるＳ１２０と対応する処理を実行した後、処理をＳ３２２に進める。

Ｓ３２２において、指示取得部２０６は、使用者１の操作用の手が検出センサ装置１００の撮像範囲３０の外に位置するか判断する。指示取得部２０６は、操作用の手が撮像範囲３０の外に位置すると判断した場合、処理をＳ３２８に進める。指示取得部２０６は、操作用の手が撮像範囲３０の外に位置しないと判断した場合は処理をＳ３２４に進める。

Ｓ３２４において、指示取得部２０６は、使用者１の操作用の手が検出センサ装置１００の撮像範囲３０のうち表示装置３００の表示範囲６０の外に位置するか判断する。指示取得部２０６は、操作用の手が表示範囲６０の外に位置すると判断した場合、処理をＳ３２６に進める。指示取得部２０６は、操作用の手が表示範囲６０の外に位置しないと判断した場合は処理をＳ３１６に処理を戻す。

Ｓ３２６において、指示取得部２０６は、使用者１の操作用の手が表示装置３００の表示範囲６０の外に位置する状態が予め定められた時間継続したか判断する。指示取得部２０６は、使用者１の操作用の手が表示装置３００の表示範囲６０の外に位置する状態が予め定められた時間継続したと判断した場合、処理をＳ３２８に進める。指示取得部２０６は、使用者１の操作用の手が表示装置３００の表示範囲６０の外に位置する状態が予め定められた時間継続していないと判断した場合、処理をＳ３１６に戻す。

Ｓ３２８において、指示取得部２０６は、使用者１の操作用の手の特定を解除する。指示取得部２０６は、処理を次にＳ３１０に戻す。ここで、表示制御装置２００は、特定部２０４に、使用者１の両手のうち解除された操作用の手でない手を新しい操作用の手として特定させ、処理をＳ３１６に進めてもよい。

このように、本変形例の情報表示システム１０は、Ｓ３１０からＳ３２８までの処理を実行することにより、使用者１の操作用の手が、検出センサ装置１００の撮像範囲３０の外に移動した場合に使用者１の操作用の手の特定を直ちに解除する。また、情報表示システム１０は、表示装置３００の表示範囲６０の外に移動した場合、一定時間経過するのを待った後で使用者１の操作用の手の特定を解除する。

これにより、本変形例の情報表示システム１０によれば、使用者１が情報表示システム１０から離れた場合等、使用者１が操作を明らかに中断しようとする場合に直ちに操作用の手の特定を解除することができる。また、情報表示システム１０は、使用者１の操作用の手が偶発的に表示装置３００の表示範囲６０の外に移動した場合等には操作用の手の特定を維持することで、使用者１の利便性の向上を図ることができる。

図８は、表示制御装置２００として機能するコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び、表示装置３００として機能しうる表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部を備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイスは、通信部２１２において通信するハードウェアとして機能する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を表示制御装置２００として機能させるプログラムは、画像入力モジュールと、特定モジュールと、指示取得モジュールと、カーソル制御モジュールと、表示制御モジュールと、通信モジュール、認識モジュールと、検索モジュールと、判断モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、画像入力部２０２と、特定部２０４と、指示取得部２０６と、カーソル制御部２０８と、表示制御部２１０と、通信部２１２と、認識部２３２と、検索部２３４と、判断部２３６としてそれぞれ機能させてよい。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像入力部２０２と、特定部２０４と、指示取得部２０６と、カーソル制御部２０８と、表示制御部２１０と、通信部２１２と、認識部２３２と、検索部２３４と、判断部２３６として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の表示制御装置２００が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、予め定められた条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１ 使用者、１０ 情報表示システム、２０ 領域、２２ 右手、２４ 左手
３０ 撮像範囲、３２ 操作用の手の画像、４０ 操作用の手の画像の中心
５０ カーソル、６０ 表示範囲、１００ 検出センサ装置、２００ 表示制御装置
２０２ 画像入力部、２０４ 特定部、２０６ 指示取得部、２０８ カーソル制御部
２１０ 表示制御部、２１２ 通信部、２３２ 認識部、２３４ 検索部
２３６ 判断部、３００ 表示装置、１９００ コンピュータ、２０００ ＣＰＵ
２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス
２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ
２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ
２０７５ グラフィック・コントローラ、２０８０ 表示装置
２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ
２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

Claims (10)

1. 使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、
   使用者の身体の空間上の位置を検出する検出センサに、
   検出された使用者の両手の位置の相互関係に基づいて、いずれの手を操作用の手とするのかを特定し、当該特定した手が、前記検出センサの撮像範囲のうち前記表示内容と対応する範囲外に所定の時間位置した場合は、前記操作用の手の特定を解除して、再度、操作用の手を特定する特定部と、
   前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得部と、
   前記操作指示に応じて前記表示装置の表示内容を制御する表示制御部と、
   を備える表示制御装置。
2. 前記特定部は、使用者の両手のうち、より高い位置にある方の手を、操作用の手として特定する請求項１に記載の表示制御装置。
3. 前記特定部は、使用者の手のひらが前記表示装置に向いていることを更に条件として、操作用の手を特定する請求項１または２に記載の表示制御装置。
4. 前記特定部は、予め定められた基準位置より上に使用者の手が挙げられたことを更に条件として、操作用の手を特定する請求項１から３のいずれか一項に記載の表示制御装置。
5. 前記特定部は、前記基準位置を使用者の肩の位置とし、使用者の手が使用者の肩の位置より上に挙げられたことを認識したことに応じて、当該手を操作用の手として特定する請求項４に記載の表示制御装置。
6. 使用者の前記操作指示に応じて、前記表示装置に表示された操作対象を選択するカーソルを表示制御するカーソル制御部を更に備え、
   前記カーソル制御部は、使用者の前記操作用の手の動きに応じて前記カーソルを前記表示装置の表示画面内で動かす請求項１から５のいずれか一項に記載の表示制御装置。
7. 前記特定部は、前記操作用の手が前記検出センサの撮像範囲外に移動した場合は、前記操作用の手の特定を解除して、再度、操作用の手を特定する請求項１から６のいずれか一項に記載の表示制御装置。
8. 使用者の身体の空間上の位置を検出する検出センサ装置と、
   請求項１から７のいずれか一項に記載の表示制御装置と、
   前記表示制御装置の制御に応じた表示内容を表示する表示装置と、
   を備える情報表示システム。
9. 使用者の手の動きに応じて表示装置の表示内容を制御する表示制御方法であって、
   検出センサにより検出された使用者の身体の空間上の位置を示す情報を入力する入力段階と、
   入力した情報において、使用者の両手の各位置の相互関係が、予め定められた条件を満たすことを認識したことに応じて、当該両手のうち操作用の手を特定し、当該特定した手が、前記検出センサの撮像範囲のうち前記表示内容と対応する範囲外に所定の時間位置した場合は、前記操作用の手の特定を解除して、再度、操作用の手を特定する特定段階と、
   前記操作用の手の動きを認識して、前記表示装置の表示内容に対する操作指示を取得する指示取得段階と、
   前記操作指示に応じて前記表示装置の表示内容を制御する表示制御段階と、
   を備える表示制御方法。
10. 請求項９に記載の表示制御方法を、コンピュータにより実行させるプログラム。

Images