JP5412227B2 - 映像表示装置、および、その表示制御方法 - Google Patents

Description

本発明は、映像表示装置、および、その表示制御方法に係り、ユーザのジェスチャーを画像認識して、電子機器に指示を与えるユーザインタフェースの使い勝手を向上させる映像表示装置、および、その表示制御方法に関する。

従来、ＴＶやレコーダといった映像装置、あるいは、ＰＣなどの情報処理機器に対して、ユーザは、キーボードやマウスなどのポインティングデバイスを使ってデータ入力やコマンドを入力したり、リモコンによりチャンネル操作・表示操作をするのが一般的であった。

ところが、近年では、画像認識技術の向上により、特に、ゲーム機や操作ガイド機器の分野において、ユーザのジェスチャーを画像認識し、その結果によりユーザの意思を判断して、機器を動作させる手法が提案されている。

例えば、特許文献１には、手指の形状、動作を認識して、操作を判定する画像認識装置が開示されている。

特許第４３１８０５６号公報

特許文献１の画像認識装置では、体の位置に応じたマーカ上、操作面を作成し、その操作面の手あるいは指の位置の動きにより、指示を認識する。操作面は、仮想的な操作面であり、「操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。（段落番号００３３）」ものとしている。

この特許文献１では、体の位置に応じて操作面を定めているため、以下のような問題点がある。
（１）手を出す前に操作面位置を決めるため、キャリブレーションのタイミングが難しい。特に複数人いる場合に、画面の前にいる誰に対して操作領域を設けるかが決まらない
（２）体の位置を認識するため処理負荷が高くなる。
（３）寝た姿勢などでは、位置決めが難しくなる。

また、ユーザの手を認識し、手の位置に応じて操作面の領域を定めるという手法が考えられる。手を認識するだけなら、処理の負荷も軽く、手の特徴を捉えることにより、比較的簡単に認識できるからである。

この手法においては、操作領域の位置を決定する際に、キャリブレーションのタイミングを決めることが難しいという問題点がある。

図８では、手を下から差し出したとき、腰のあたりに操作領域が作られてしまった場合が図示されている。

例えば、手を下から差し出したとき、図８に示されるように、手を出す途中の腰のあたりに操作領域８０が操作領域が作られてしまう。これは、ユーザが操作しようと想定した操作領域８１と乖離しており、ユーザにとって操作がしずらくなる。

本発明は、上記問題点を解決するためになされたもので、その目的は、ユーザの手を認識して、操作領域を定める機能を有する映像表示装置において、処理負荷をあまりかけずに、操作しやすく、ユーザの意思に応じて操作領域が定まる映像表示装置を提供することにある。

本発明の映像表示装置は、カメラなどの撮像する画像撮像手段により、ユーザの画像を撮像して、その画像データに対して画像認識手段により、画像認識をおこない、画像認識の結果に基づいて、ユーザの操作に対する指示を与える映像表示装置であり、画像認識手段は、ユーザの手の位置を認識し、操作領域手段により、画像撮像手段の撮像領域面上で、ユーザの手が投影される位置の周囲に、ユーザが映像表示装置に指示を与えるための操作領域を設定する。そして、操作領域手段は、ユーザの手が投影される位置と操作領域との相対的な位置関係に基づいて、撮像領域面内で、操作領域を移動させる。すなわち、ユーザの手が投影される位置が移動して、操作領域の周囲に近づいたときに、操作領域は、ユーザの手が投影される位置の動く方向に追随して、移動した位置に設定されるようにする。また、画像認識手段は、ユーザの手の振りを認識して、操作領域設定手段は、ユーザの手の振りの大きさに基づいて、操作領域の大きさを設定する。

本発明によれば、ユーザの手を認識して、操作領域を定める機能を有する映像表示装置において、処理負荷をあまりかけずに、操作しやすく、ユーザの意思に応じて操作領域が定まる映像表示装置を提供することができる。

本発明の第一の実施形態の映像表示装置の構成図である。 本発明の第一の実施形態に係る映像表示装置１００による操作領域について説明する図である。 本発明の第一の実施形態に係る映像表示装置１００による操作領域の設定処理の流れについて説明する図である。 本発明の第一の実施形態に係る映像表示装置１００による操作領域の設定処理の手順を示すフローチャートである。 本発明の第二の実施形態の映像表示装置の構成図である。 本発明の第二の実施形態に係る映像表示装置１００による操作領域の設定処理の流れについて説明する図である。 本発明の第二の実施形態に係る映像表示装置１００による操作領域の設定処理の手順を示すフローチャートである。 手を下から差し出したとき、腰のあたりに操作領域が作られてしまった場合の図である。

以下、本発明に係る各実施形態を、図１ないし図７を用いて説明する。

〔実施形態１〕
以下、本発明に係る第一の実施形態を、図１ないし図４を用いて説明する。

先ず、図１を用いて本発明の第一の実施形態の映像表示装置の構成を説明する。
図１は、本発明の第一の実施形態の映像表示装置の構成図である。

本実施形態の映像表示装置１００は、図１に示されるように、入力部１１０、システム制御部１２０、映像信号処理部１３０、表示部１４０からなる。

入力部１１０は、ユーザを撮像するための装置であり、例えば、ＴＯＦ（Time of flight）センサ機能を有する赤外線カメラ、ステレオカメラ、ＲＧＢカメラなどである。入力部１１０に用いるカメラは、特に、限定されず、ユーザに対して画像認識をするために最終的に、得た画像をデジタルデータに変換するための撮像画像を得る機能を有すればよい。

システム制御部１２０は、ユーザの手の位置を検出し、適切な位置に操作領域を設定するためのデータ処理をおこなう部分である。システム制御部１２０は、ＣＰＵが、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。

システム制御部１２０は、手の位置検出部１２２、位置判定処理部１２３、操作領域設定部１２４の機能を実現する部分を有する。

手の位置検出部１２２は、画像のデジタルデータから手の位置を検出する部分である。位置判定処理部１２３は、手の位置と操作領域の位置関係を判定する部分である。操作領域設定部１２４は、操作領域を設定する部分である。

映像信号処理部１３０は、システム制御部１２０から指示とデータを受け取り、表示部１４０に表示するための映像信号を作成する部分である。

表示部１４０は、映像信号に基づき、ユーザに映像信号を表示する部分であり、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）などのディスプレイを有する表示装置である。

次に、図２および図３を用いて本発明の第一の実施形態に係る映像表示装置１００による操作領域の設定処理について説明する。
図２は、本発明の第一の実施形態に係る映像表示装置１００による操作領域について説明する図である。
図３は、本発明の第一の実施形態に係る映像表示装置１００による操作領域の設定処理の流れについて説明する図である。

本発明の第一の実施形態に係る映像表示装置１００の操作イメージは、図２（ａ）に示されるように、ユーザ３０がディスプレイ１０を見ながらジェスチャーにより操作し、それを映像表示装置１００が画像認識をし、その認識結果に基づいて操作領域を決定し、ユーザ３０がその操作領域に必要なコマンドなどを入力するものである。図２（ｂ）に示されるように、ディスプレイ１０の下には、赤外線カメラ１２が設置されており、その赤外線カメラ１２のＬＥＤ１４により、近赤外線を発射し、その反射線をレンズ１６により受光して、ユーザ３０を撮像する。本実施形態で、特に、キーポイントとなるのは、手を認識することである。手３２は、出っ張っており、ユーザ３０の体の中で認識しやすい部分であるといえる。赤外線カメラ１２は、３Ｄカメラであり、画面から手までの距離を測定できるものとする。

映像表示装置１００が、画像認識をして、手３２を検出すると、次に、手を認識した位置に応じて、ディスプレイ１０の操作画面１８に対応する操作領域２０を決定する。操作領域２０は、ユーザ３０に操作をおこなわせるための仮想的な領域であり、ユーザ３０が立っている位置の赤外線カメラ１２の撮像領域面２２の中に作られるものとする。図２（ｂ）に示されるように、操作領域２０は、ディスプレイ１０の操作画面１８を、ユーザの手前の撮像領域面２２上に、拡大・縮小したものであり、最初に、操作領域２０を決定されたときには、ユーザ３０の手３２が、中心にくるようにする。そして、図２（ｂ）に示されるように、操作画面１８には、操作領域２０の中のユーザ３０の手３２の位置に対応する位置に、ポインタ２６が表示される。なお、ポインタ２６は、図２（ｂ）では、手のアイコンで示されているが、矢印のアイコン、丸、四角などの基本図形のアイコン、その他アニメのキャラクタのアイコンなどで示されてもよい。

操作領域２０は、手３２の位置と、操作画面１８から手までの距離に応じて、手の延長線上が画面を指示するように決定されており、ちょうど、ハンズフリーのレーザポインタを使うようなイメージで、ユーザ３０は、映像表示装置１００に対して指示を与えることができる。この操作領域２０は、ユーザ３０には見えず、ユーザ３０は、操作領域の位置や大きさを特に意識することなく、自然な操作の中で動的に操作領域が補正される。

例えば、図３（ａ）に示されるように、ユーザ３０が、自分の手３２を操作領域２０の中で右側に移動させたとする。このときには、操作画面１８上のポインタ２６も右側に移動する。そして、手３２が操作領域２０の右辺を越えようとしたときには、図３（ｂ）に示されるように、操作領域２０も右側に移動させるものとする。この操作領域２０の移動は、撮像領域面２２を越えない範囲で可能である。すなわち、ユーザ３０の手が検出される位置が移動して、操作領域２０の周囲に近づいたときに、操作領域２０は、ユーザ３０の手３２が検出される位置の動く方向に追随して移動する。

そして、ユーザ３０は、新たな位置に設定された操作領域２０を対象として、映像表示装置１００の操作をすることができる。図３（ｃ）では、ユーザ３０は、自分の手３２を再び、操作領域２０の真中に持ってきており、操作画面１８上のポインタ２６も操作画面１８上の中心に表示されている。

次に、図４を用いて本発明の第一の実施形態に係る映像表示装置１００による操作領域の設定処理の手順について説明する。
図４は、本発明の第一の実施形態に係る映像表示装置１００による操作領域の設定処理の手順を示すフローチャートである。

操作領域２０の設定処理は、図１に示したシステム制御部１２０がおこなう処理である。

先ず、システム制御部１２０は、入力部１１０からのデータを解析して、ユーザ３０の手３２の認識処理をおこなう。

そして、手３２を認識したときには（Ｓ４００）、手３２の位置に合わせて操作領域２０を設定する（Ｓ４０１）。このときには、操作画面１８上のポインタ２６も表示される。

次に、手３２の位置の変化を認識し、手３２の位置に応じて、操作画面１８上のポインタ２６を動かす（Ｓ４０２）。

そして、再び、手３２が認識できているか否かを判定し（Ｓ４０３）、手３２が認識できないとき（ユーザ３２が手をおろしたとき、または、手３２を撮像領域面２２の外側に持っていったときなど）には、操作領域２０を削除する（Ｓ４０７）。このときには、操作画面１８上のポインタ２６も消去される。そして、Ｓ４００に戻る。

手３２が認識できており、手３２の位置が操作領域２０の端にあり、さらに、操作領域２０の外側に向かって手３２が動いているか否かを判定し（Ｓ４０５）、そのときには、手３２の移動に応じて、操作領域２０を移動させる（Ｓ４０８）。すなわち、操作領域２０を手３２の動きに追従させる。そして、Ｓ４０２に戻る。

ユーザ３２が操作領域２０の中の操作終了の指示ボタンを押すなどして、操作終了の意思表示をしたときには（Ｓ４０６）、処理を終了し、そうでないときには、Ｓ４０２に戻る。

〔実施形態２〕
以下、本発明に係る第二の実施形態を、図５ないし図７を用いて説明する。

第一の実施形態の映像表示装置１００の表示制御方法は、操作領域を手の動作に応じて追随させるインタフェースを提供するものであった。本実施形態では、第一の実施形態の表示制御方法に加えて、さらに、手の動作に応じて、操作領域の大きさも決めるインタフェースを提供するものである。

先ず、図５を用いて本発明の第二の実施形態の映像表示装置の構成を説明する。
図５は、本発明の第二の実施形態の映像表示装置の構成図である。

本実施形態の映像表示装置１００でも、図５に示されるように、入力部１１０、システム制御部１２０、映像信号処理部１３０、表示部１４０からなることは、第一の実施形態と同様であるが、システム制御部１２０に手振り動作検出部１２４を有することのみが異なっている。

手振り動作検出部１２４は、ユーザ３０が手３２を振ったときに、それを検出する部分である。

次に、図６を用いて本発明の第二の実施形態に係る映像表示装置１００による操作領域の設定処理について説明する。
図６は、本発明の第二の実施形態に係る映像表示装置１００による操作領域の設定処理の流れについて説明する図である。

本発明の第二の実施形態の操作領域２０では、操作開始時に手を振り、手を振った位置と大きさに合わせて操作領域２０の位置と大きさのキャリブレーションをおこなうものである。

このように手を振った大きさ（振りの大きさ）に合わせて、操作領域２０の大きさを決めるようにすると、ユーザ３０が意図的に操作領域２０の大きさを調整できるようになる。例えば、図６（ａ）に示されるように、ユーザ３０が、手を小さく振ったときには、操作領域２０ａが小さくとられ、図６（ｂ）に示されるように、ユーザ３０が、手を大きく振ったときには、操作領域２０ｂが大きくとられる。

また、この手振り動作は、特徴的な動作のため、他の動作(操作)と区別しやすい。

さらに、複数人が手を出している場合にも、操作者を決定しやすくなるという利点もある。図６（ｃ）では、ユーザ３０の手３２が振られて、操作領域２０が生成され、その大きさが決定され、他の人の手３３、３４は関与しないことを示している。

なお、この手振り操作による操作領域設定の機能を有するときには、ユーザ３０の手３２の移動に操作領域を追従させる仕組みは、一度キャリブレーションした領域に対して、さらに、動的に補正をかける仕組みを設けることにより実現することができる。

次に、図７を用いて本発明の第二の実施形態に係る映像表示装置１００による操作領域の設定処理の手順について説明する。
図７は、本発明の第二の実施形態に係る映像表示装置１００による操作領域の設定処理の手順を示すフローチャートである。

操作領域２０の設定処理は、図５に示したシステム制御部１２０がおこなう処理である。

先ず、システム制御部１２０は、入力部１１０からのデータを解析して、ユーザ３０の手３２の認識処理をおこなう。

そして、手３２を認識したときには（Ｓ５００）、手振り動作を認識したか否かを判定し（Ｓ５０１）、手振り動作を認識したときに、手振り動作の位置と大きさに合わせて操作領域２０を設定する（Ｓ５０２）。このときには、操作画面１８上のポインタ２６も表示される。

次に、手３２の位置の変化を認識し、手３２の位置に応じて、操作画面１８上のポインタ２６を動かす（Ｓ５０３）。

そして、再び、手３２が認識できているかを判定し（Ｓ５０４）、手３２が認識できないときには、操作領域２０を削除する（Ｓ５０７）。このときには、操作画面１８上のポインタ２６も消去される。そして、Ｓ５００に戻る。

手３２が認識できており、手３２の位置が操作領域２０の端にあり、さらに、操作領域２０の外側に向かって手３２が動いているかを判定し（Ｓ５０５）、そのときには、手３２の移動に応じて、操作領域２０を移動させる（Ｓ５０８）。すなわち、操作領域２０を手３２の動きに追従させる。そして、Ｓ５０３に戻る。

ユーザ３２が操作領域２０の中の操作終了の指示ボタンを押すなどして、操作終了の意思表示をしたときには（Ｓ５０６）、処理を終了し、そうでないときには、Ｓ５０３に戻る。

以上、第一の実施形態と第二の実施形態で説明してきたように、本発明の映像表示装置の表示制御方法によれば、特許文献１の従来技術とは異なり、体の位置や姿勢に関係なく、手を出したときに、操作領域の位置を決定できる。すなわち、複数人いても、手を出した人を操作者として特定することができる。

また、本発明の映像表示装置の表示制御方法によれば、一度設定した操作領域が、ユーザが手の動きに応じて動的に変更されるため、キャリブレーションのタイミングを途中で決める必要がなく、操作性を向上させることができる。

１００…映像表示装置、１１０…入力部、１３０…映像信号処理部、１４０…表示部。
１２１…手の位置検出部、１２２…位置判定処理部、１２３…操作領域設定部、１２４…手振り動作検出部。
１０…ディスプレイ、１２…赤外線カメラ、１４…ＬＥＤ、１６…レンズ、１８…操作画面、２０…操作領域、２２…撮像領域面、２６…ポインタ、３０…ユーザ、３２…手。

Claims (4)

1. ユーザの画像を撮像して、前記画像の画像データに対して画像認識を行い、画像認識の結果に基づいて、前記ユーザの操作に対する操作表示を表示画面上で行う映像表示装置であって、
   前記画像認識の結果に基づき、前記撮像される領域内で、前記ユーザの操作が可能な操作領域を設定する操作領域設定手段を有し、
   前記操作領域設定手段は、ユーザが手を出した場合に、前記表示画面に対する前記ユーザの手の位置と距離に応じて、前記ユーザの手の位置の周囲に操作領域を設定し、前記ユーザの手の位置が前記操作領域の周囲を越えて移動する場合には、当該移動に追随して、前記操作領域の設定位置を移動させることを特徴とする映像表示装置。
2. 前記画像認識では、前記ユーザの手の振りを認識して、
   前記操作領域設定手段は、前記ユーザの手の振りの大きさに基づいて、前記操作領域の大きさを設定することを特徴とする請求項１記載の映像表示装置。
3. ユーザの画像を撮像して、前記画像の画像データに対して画像認識を行い、画像認識の結果に基づいて、前記ユーザの操作に対する操作表示を表示画面上で行う映像表示装置の表示制御方法であって、
   前記画像認識の結果に基づき、前記撮像される領域内で、前記ユーザの操作が可能な操作領域を設定する操作領域設定ステップを有し、
   前記操作領域設定ステップにおいて、ユーザが手を出した場合に、前記表示画面に対する前記ユーザの手の位置と距離に応じて、前記ユーザの手の位置の周囲に操作領域を設定し、前記ユーザの手の位置が前記操作領域の周囲を越えて移動する場合には、当該移動に追随して、前記操作領域の設定位置を移動させることを特徴とする映像表示装置の表示制御方法。
4. 前記画像認識では、前記ユーザの手の振りを認識する処理を含み、
   前記操作領域設定ステップは、前記ユーザの手の振りの大きさに基づいて、前記操作領域の大きさを設定する処理を含むことを特徴とする請求項３記載の映像表示装置の表示制御方法。

Images