JP6189622B2

JP6189622B2 - 入力装置、および、画像表示装置

Info

Publication number: JP6189622B2
Application number: JP2013089705A
Authority: JP
Inventors: 徳井　圭; 圭徳井; 岩内　謙一; 謙一岩内
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-04-22
Filing date: 2013-04-22
Publication date: 2017-08-30
Anticipated expiration: 2033-04-22
Also published as: JP2014215634A

Description

本発明は入力装置、および、画像表示装置に関する技術であり、特に、ジェスチャ入力においてユーザが意図していない動作を低減する技術に関する。

ディスプレイやオーディオなどの遠隔操作は、本体とは別の端末から赤外線を利用して制御信号を送信する方法が広く普及している。最近では、このような遠隔操作をする手段の代替として、ジェスチャによる操作手段が開発されている。これらはカメラにより撮影されたユーザの情報から、装置の動作を選択し実行する。ユーザの情報は、撮影した画像から手の形状や手の動きを検出して取得される。また、手の形状、および、手の動きを利用した操作入力装置として、下記特許文献１が開示されている。下記特許文献１では、形状ジェスチャと方向ジェスチャとの２種類を検出し、一方で操作モードを選択し、他方でパラメータの変更を行う。

また、機器の操作において音量を操作する場合がある。別端末で行う場合には音量増加、または、音量減少のボタンを押すことにより制御信号を送信する。手の形状を利用したジェスチャ入力では、指の方向が上であれば音量増加、指の方向が下であれば音量減少などが考えられる。また、方向を利用したジェスチャ入力では、手を右方向に移動させた場合には音量増加、手を左方向に移動させた場合には音量減少などが考えられる。方向を利用したジェスチャ入力は、タッチパネルでの音量制御動作も応用でき、例えば、特許文献２がある。音量制御などは急激な変化によりユーザが意図していない制御になる場合があり、下記特許文献２では、スライドバーのスライド動作による制御において、設定された速度と動作速度を比較して、調整量を制御する方法が開示されている。

特開２００１−２１６０６９号公報特開２０１３−３７５５６号公報

しかしながら、上記方法は以下のような課題を有する。
特許文献１で開示されているようなジェスチャ入力での制御は、タッチパネルと異なり指の位置と調整位置が接触していないため、ユーザによる操作位置や移動量が不明瞭であり、ユーザの操作により意図しない制御が行われる可能性がある。例えば、ユーザが少しだけ音量を増加させたいと意図して操作しても、調整量が大きく検出されてしまい大きく音量が増加されて騒音を発生してしまう場合がある。

また、特許文献２で開示されているような操作方法をジェスチャ入力に適用しても、スライドバーの最大値、最小値、現在の値などが、ユーザが手などを動かす空間上のどの点に対応しているかは不明であるため、速度による調整だけでは意図しない操作を十分に低減することはできない。

本発明は、上記課題に鑑みてなされたものであり、操作性が良く、ユーザが意図しない動作を低減することができる入力装置、および、入力装置を備えた画像表示装置を提供することを目的とする。

本発明の入力装置は、撮影画像情報を取得する撮像素子と、前記撮影画像情報から操作情報を算出する画像処理部と、前記操作情報に基づいて機器を制御する操作信号を出力する操作信号出力部を備え、前記操作信号出力部による出力は、第一の方向への前記操作情報の変位に基づいて前記操作信号を出力する第一出力段階と、前記第一の方向とは異なる第二の方向への前記操作情報の変位に基づいて前記操作信号を出力する第二出力段階とを備える。

さらに、本発明の入力装置は、前記操作信号は任意の設定値を調整するする信号であり、前記第一段階から前記第二段階へ切り替わる前記設定値が、操作を開始する前記設定値によって変化させると好適である。

また、本発明の画像表示装置は、入力映像信号に基づいて画像情報を表示する画像表示部を備え、撮影画像情報を取得する撮像素子と、前記撮影画像情報から操作情報を算出する画像処理部と、前記操作情報に基づいて操作信号を出力する操作信号出力部を備え、前記操作信号出力部は、第一の方向への前記操作情報の変位に基づいて前記操作信号を出力する第一段階と、前記第一の方向とは異なる第二の方向への前記操作情報の変位に基づいて前記操作信号を出力する第二段階とを備える。

さらに、本発明の画像表示装置は、前記操作信号は任意の設定値を調整するする信号であり、前記第一段階から前記第二段階へ切り替わる前記設定値が、操作を開始する前記設定値によって変化させると好適である。

さらに、本発明の画像表示装置は、前記操作情報の変位で変化した前記設定値と、前記操作情報を変位することで前記設定値が変化する方向と、を示す情報を表示すると好適である。

さらに、本発明の画像表示装置は、前記設定値が、前記第一段階から前記第二段階に切り替わる前記設定値に達したときに、前記第一段階から前記第二段階に切り替わる前記設定値に達したことを示す情報を表示すると好適である。

本発明の入力装置によれば、調整量を入力するときに、操作性が良くすることが可能となる。

本発明の第１の実施の形態による入力装置の一構成例を示す機能ブロック図である。動き検出処理の流れの例を示すフローチャート図である。撮像素子により撮影された画像の例を示す図である。撮像素子により撮影された手の動きを示す図である。撮像素子の画角に対する手の動きを示す図である。ユーザによる調整量の入力例を示す図である。ユーザによる調整量の入力例を示す図である。ユーザによる調整量の入力例を示す図である。ユーザによる調整量の入力例を示す図である。ユーザによる調整量の入力例を示す図である。ユーザによる調整量の入力例を示す図である。ユーザによる調整量の入力例を示す図である。本発明の第２の実施の形態によるユーザによる調整量の入力例を示す図である。本発明の第２の実施の形態による処理の流れを示すフローチャート図である。本発明の第３の実施の形態による画像表示装置の一構成例を示す機能ブロック図である。

以下、図面を使って本発明の実施の形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。

（第１の実施形態）
図１は、本発明の第１の実施形態の入力装置を含む一構成例を示す機能ブロック図である。図１に示すように、本実施形態による入力装置１００は、撮像素子１０１、画像処理部１０２、操作信号出力部１０３、を備える。

撮像素子１０１は画像情報を取得し、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサといった固体撮像素子とレンズなどにより構成される。取得された画像情報は、画像処理部１０２に伝達される。

画像処理部１０２では、撮像素子１０１から伝達される画像情報に対して画像処理を行い、結果を操作信号出力部１０３へ伝達する。操作信号出力部１０３では、伝達された情報に基づいて、以下に詳細に説明するアルゴリズムに基づいて、画像処理結果を信号変換部１０３ａで調整して機器を制御する操作信号を出力する。画像処理部１０２および操作信号出力部１０３は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によるソフトウエア処理、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）によるハードウェア処理によって実現することができる。

操作信号出力部１０３から出力される操作信号は、制御対象となる機器の制御部１０４に伝達されて、画像表示部１０５で表示する内容や、音声出力部１０６で出力する音量の増減などを制御する。

図２Ａは、処理の流れの一例を示す図である。
本実施形態では、ユーザの手によりジェスチャ入力を行う例について説明する。まず画像処理部１０２では、画像情報から操作情報として手の検出を行う。手の検出は、一般に使用されている方法を適用することができ、例えば、画像情報の色情報を利用して肌色を検出したり、画像情報のエッジを検出して手の輪郭形状を検出したりすることで実現される。また、顔検出などと併用することで精度を向上することができる。これはユーザがジェスチャ操作を行う場合、手の近くに顔が存在することを利用するものである。例えば、図２Ｂのように、画像情報から顔検出を行って顔検出領域を算出する（ステップＳ１）。顔検出領域の近くの顔領域の色と同じ領域や、手形状のエッジ領域を算出することで、手の検出精度を向上することができる。ジェスチャ入力の開始は、例えば、ジェスチャ入力の開始を意味する手形状を検出することにより開始する。手形状の例としては、手を開いていた場合にはジェスチャ入力の開始と設定しておく（ステップＳ２）。ここで、画像処理部１０２では、上記処理を行うための適切な画像処理、例えば、ホワイトバランス、ノイズリダクション、コントラスト強調などを適宜行うことができる。画像処理部１０２で検出された手の位置情報を操作信号出力部１０３に伝達する（ステップＳ３）。

操作信号出力部１０３では、伝達された手の位置情報から動きを検出する（ステップＳ４）。手の座標位置を異なるフレーム間で比較することにより、手の動きを検出することができる。ジェスチャ入力の完了は、例えば、ジェスチャ入力の完了を意味する手形状を検出することにより完了する。手形状の例としては、手を閉じていた場合にはジェスチャ入力の完了と設定しておく（ステップＳ５）。ここで、手の動きの検出は画像処理部１０２で行い、手の動き情報を操作信号出力部１０３に伝達しても同様の効果を得ることができる。

図３は、撮像素子１０１で撮影した画像情報で、あるフレームでの手の位置Ｐ（８００，７００）から、次のフレームでの手の位置Ｐ’（６００，７００）に移動した例を示している。このとき、破線の矢印に示されるように、ユーザの手はユーザから見て左から右に移動したことが検出される。

ここで、ユーザが同じ量だけ手を動かした場合でも、検出される移動量は撮像素子１０１とユーザとの距離によって異なる。例えば、図４に示すように、同じ距離だけ水平に手を動かした場合、撮像素子１０１から近いＡの状態では画像情報の端から端への動きとして検出されるが、撮像素子１０１から遠いＢの状態では画像情報の幅の１／３程度の動きとして検出される。

したがって、ユーザが同じような動作をしていても検出される動きの量が異なり、異なる調整量で機器の制御が行われることになる。これは、ユーザが意図した調整量で制御されない場合があることを示している。例えば、音量を大きくする操作を行うときに、ユーザが少しの音量増加をしたいと考えて操作したとき、手の動きを大きな動きとして検出して大きく音量増加をしてしまう可能性がある。

そこで、信号変換部１０３ａにより信号変換を行う場合に、図５に示すように、調整量を操作する場合には、調整量を増減させる方向を複数設定することで、ユーザが意図しない制御を低減する。図５は、ユーザがジェスチャ操作により音量を調整するときの表示画面の例を示している。図５は、信号変換部１０３ａによる信号変換のイメージも示している。以下、図６−図１２まで同様である。図５の表示画面は、操作信号出力部１０３の情報に基づいて制御部１０４にて画像表示部１０５に表示されるものであり、操作信号出力部１０３は、画像処理部１０２の情報から調整量を信号変換部１０３ａにより信号変換し出力することができる。

図５での音量調整は、０から３１の３２段階の離散的な音量レベルの選択により行われ、最小音量が０レベル、最大音量が３１レベルである。本実施形態の入力装置では、現在の音量レベル６から音量を増加させて、音量レベル１５以上にするためには、屈曲点レベルで異なる方向へのジェスチャ入力を必要とする設定になっている。調整量の最大、調整量の最小、現在の調整レベル、屈曲点レベルなどの各位置の調整レベルの値を表示すると、ユーザがジェスチャによる操作が容易となるため好適である。

音量レベル６から音量を増加する場合、ユーザはジェスチャ入力により手を第一の方向である右方向へ移動させ、図６のように屈曲点である音量レベル１５まで調整することができる。したがって、ユーザはジェスチャによる調整量が不明で、右方向へ手を大きく動かし過ぎても、音量レベル１５より大きくなることがなく、ユーザが意図していない大き過ぎる音量になることを防ぐことができる。

音量レベル１５より大きな音量にする場合には、ユーザはジェスチャ入力により手を第二の方向である上方向へ移動させ、図７のように異なる方向で音量の調整を行う。次に、ユーザはジェスチャ入力により手を第三の方向である右方向へ移動させ、図８のように異なる方向で音量の調整を行う。これにより、複数の方向へのジェスチャ入力をして、所望の音量に容易に調整することが可能となる。例えば、１回のジェスチャ入力での最大調整量を制限する方法も考えられるが、音量を大きくする場合、手の認識を何度も行ってジェスチャ入力をするため、操作が煩雑となってしまう。一方、本実施形態の入力装置は、ユーザが意図していない音量にならないように制御しつつ、１回のジェスチャ入力で所望の音量レベルに調整可能であるため好適である。

音量の調整が完了した場合、決定の動作をすることでジェスチャによる調整を完了する。このとき、動作完了のジェスチャは、手を開いた状態から手を握る状態にしたり、図９のように、現在の調整方向と異なる方向へ手を移動させたりすることで行う。

以上の方法により、ジェスチャによって調整量の入力を行うときに、調整量を増減する方向を複数に設定することにより、操作性が高く、ユーザが意図しない操作を低減することが可能な入力装置を実現することができる。信号変換部１０３ａでは、上記の設定に基づいて、操作信号を変換する。

上記実施形態では、ユーザの手による操作を、右方向、上方向、右方向として音量を増加させたが、音量を減少させる場合にはその逆方向の操作により実現できる。また、図７では上方向への操作により調整レベルが１５から１６へと変化するようにしたが、調整量を操作する領域が、第一の右方向、上方向、第二の右方向のように３か所ある場合には、中間の領域では調整量を変化させなくても同様の効果が得られる。入力装置としては、このような手の動作を検出した際に、調整レベルを上記のように調整することができる。

さらに、操作の方向の設定は、上記以外でも可能であり、調整量を操作するときに方向を変化させればよく、例えば、図１０のような方法もある。現在の音量レベルが１８で、音量レベルを減少させたい場合には、音量レベル１０まで左方向に移動させ、次に上方向へ移動させ、次に左方向に移動させる。音量レベルを増加させたい場合には、音量レベル２６まで右方向に移動させ、次に上方向へ移動させ、次に右方向に移動させる。このように、現在の調整レベルを中心として両側に異なる方向への操作を設定するようにしてもよい。これは、調整レベルが調整量の最大レベルと最小レベルの中間にある場合に、増加および減少の両方で、ユーザが意図しない操作を低減することが可能になるため好適である。

さらに、現在の調整レベルが小さい場合には、増加方向の意図しない操作を抑制すれば良く、現在の調整レベルが大きい場合には、減少方向の意図しない操作を抑制すれば良いため、例えば、図５のように、現在の調整レベルに対して片側に異なる方向への操作を設定するときと、現在の調整レベルに対して両側に異なる方向への操作を設定するときと、を現在の調整レベルに応じて切り替えるとユーザの操作性、意図しない操作の抑制ができるため好適である。

また、音量の調整をする場合などは、急激な音量増加は低減したいが、音量の減少は気にしない、または、音量レベルをすぐに０にしたい場合がある。したがって、現在の調整レベルが一定以上である場合には、減少方向への異なる方向への操作を設定しないように切り替えると、操作性が向上して好適である。

さらに、上記では調整量の操作方向が変化する屈曲点を２か所に設定していたが、図１１のように屈曲点を１か所に設定した場合でも同様の効果が得られる。図１１では、右方向への操作と、上方向への操作との２方向での調整量の操作が設定されている。現在の調整レベルが８、屈曲点の調整レベルが１５、目標の調整レベルが２０である場合、最初に右方向への操作で屈曲点まで調整する。屈曲点が設定されているため、極端な右方向への操作が実行されても、調整レベルが大きくなりすぎることを防ぐことができる。次に、調整する操作の方向を変化させて上方向への操作で目標の調整レベルまで調整する。そして、目標の調整レベルに達した状態で、手形状の変化や手の方向操作により決定する。これにより、１つの屈曲点を設定、つまり、異なる２方向への操作により調整レベルを変化させ、操作性が良く、ユーザが意図しない操作を低減することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。基本的には、第１の実施形態と同様であるが、別の操作の方向として図１２のような設定も可能である。図１３は、フローチャート図である。２か所の屈曲点が、調整レベルの大きいレベルと小さいレベルに設定されている。現在の調整レベルが１５、屈曲点の調整レベルが８と２３、目標の調整レベルが４である場合、最初に左方向への操作で調整レベルを調整し（図１３：ステップＳ１１）、屈曲点に到達するまで調整する（図１３：ステップＳ１３）。屈曲点が設定されているため、極端な左方向への操作が実行されても、調整レベル変化が大きくなりすぎることを防ぐことができる。ここで、目標の調整レベルが屈曲点よりも大きい場合には、決定動作を行って調整を完了する（図１３：ステップＳ１２）。

次に、調整する操作の方向を変化させて上方向への操作で目標の調整レベルまで調整する（図１３：ステップＳ１４）。そして、目標の調整レベルに達した状態で、手形状の変化や手の方向操作により決定する（図１３：ステップＳ１５）。ここで、上下方向で調整レベルを調整したいときに、屈曲点より大きい調整レベルに再度戻す場合には、再び屈曲点に到達するまで調整レベルを調整し、左右方向の調整に移行する。このようにすると、調整レベルを調整している場合にも、ユーザの意図しない極端な調整レベルの変化を低減することができ好適である。また、目標の調整レベルが２５であった場合には、最初に右方向への操作で屈曲点まで調整する。屈曲点が設定されているため、極端な右方向への操作が実行されても、調整レベルが大きくなりすぎることを防ぐことができる。次に、調整する操作の方向を変化させて上方向への操作で目標の調整レベルまで調整する。そして、目標の調整レベルに達した状態で、手形状の変化や手の方向操作により決定する。これにより、異なる方向への操作により調整レベルを変化させ、操作性が良く、ユーザが意図しない操作を低減することができる。

手の方向操作によって調整レベルを決定するとき、調整する操作方向となす角が大きくなる方向を、決定操作の方向とすると誤動作を低減でき好適である。例えば、図１１の左右方向への操作をする段階では、決定の操作方向を上下方向とするのが良く、さらに、ユーザの動作を楽にすることができるため、下方向への操作を決定とするのが好適である。

同様に、調整する操作方向が上下方向である場合、決定の操作は左右方向とすると好適となるが、図１１の場合は屈曲点での調整する操作方向が左向きと上向きとなるため、屈曲点での操作方向とは異なる右方向を決定する操作方向とすると、誤動作を低減できるため好適である。さらに、屈曲点での決定操作は、屈曲点に到達したときの方向によって、決定する操作方向を変化させると、誤動作を低減できるため好適である。

図１１の調整レベル１５の屈曲点での決定動作をした方向とした場合、右方向の操作の後に決定するときは問題が無いが、下方向への操作の後に屈曲点に到達すると、調整レベル１５に到達したときに決定操作となってしまう可能性がある。そこで、図１１の調整レベル１５で決定する場合には、右方向への操作で屈曲点に到達したときには下方向への操作で決定し、下方向への操作で屈曲点に到達したときには右方向への操作で決定することで、誤動作を低減することができる決定操作を実現することができる。これは、図１２の屈曲点である調整レベル８においても同様である。

ここで、第１および第２の実施形態の入力装置では操作する方向が変化する屈曲点となる調整レベルを設定するが、調整レベルの段階設定は均等に設定する必要はなく、屈曲点を挟んだ調整幅を非均等にしたり、ユーザの操作に対する移動量を非均等にしたりすることができる。例えば、操作開始位置から屈曲点までに設定されている調整レベルの数が、屈曲点以降に設定されている調整レベルの数よりも少なくしたり、ユーザのジェスチャ操作による移動量に対して、操作開始位置周辺の調整レベルの変位量を、大きく調整した後の調整レベル周辺の変位量より小さくしたりする。これにより、操作開始位置周辺での微調整が容易に行えるようになるため好適である。

上記では、音量についてのジェスチャ入力の例で説明をしたが、冷暖房機の温度設定、扇風機や空気清浄機の風量設定、照明機器の明るさ設定などに使用することが可能である。また、そのような機器では画像表示部を備えていない、または、画像表示部が小さいなどがあるが、その場合は、調整量を表示する数字などの色を変化させて屈曲点に達したことを表現したり、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）などの照明部を点灯、点滅させたりすることで屈曲点に達したことを表現できる。また、操作する方向と調整値を表示する方法もあり、例えば、操作方向を矢印で表現し、調整値が屈曲点に達したときに矢印の方向を変化させ、操作の方向が変化したことをユーザに通知する。

さらに、上記ではユーザの手によるジェスチャ入力で説明したが、ポインティングデバイスでの操作、顔の向きでの操作、目線での操作にも適用することができ、同様の効果を得ることが可能である。

（第３の実施形態）
次に、本発明の第３の実施形態は、第１および第２の実施形態で説明した入力装置を備える画像表示装置である。本実施形態における入力装置の構成は、第１および第２の実施形態と同様であるため、共通する各部の詳細な説明は省略する。

図１４は本実施形態の画像表示装置２００の構成例を示す図である。本実施形態の画像表示装置２００は、図１に示すような入力装置１００と、制御部１０４、画像表示部１０５、音声出力部１０６を備える。制御部１０４は、入力装置１００からの操作信号、映像情報、音声情報などが入力され、その情報に基づいて画像表示部１０５に表示する内容や音声出力部１０６で出力する音声を制御し、情報処理が可能なＣＰＵやＡＳＩＣなどで構成される。画像表示部１０５は、制御部１０４から伝達される情報に基づいて画像を表示し、液晶ディスプレイや有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどで構成される。音声出力部１０６は、制御部１０４から伝達された情報に基づいて音声を出力し、単一、または、複数のスピーカにより構成される。

制御部１０４では、入力装置１００から伝達された操作信号に基づいて画像表示部１０５や音声出力部１０６を制御する。制御する内容は、画像表示部１０５の明るさ、コントラスト、彩度、鮮鋭度や、音声出力部１０６の音量などである。これにより、操作性が良く、ユーザが意図しない操作を低減することが可能な、ユーザによるジェスチャ操作可能な画像表示装置を実現できる。

さらに、制御部１０４では、入力装置１００から伝達される情報に基づいて、画像表示部１０５で表示する内容に、ユーザによる操作状態を追加すると、ユーザが状態を把握しやすく操作が容易となるため好適である。例えば、入力映像信号に、図５から図１２のような操作状態を表示することで実現できる。

また、調整レベルを調整するときに、操作開始レベルから現在のレベルまでの変化を、明るさや色を変化させて表示することで、調整した量や現在の状態をユーザが把握しやすく操作が容易となるため好適である。例えば、最小レベルから最大レベルを明度や彩度が低い色でガイドを表示し、操作開始レベルから現在のレベルまでのガイドの経路を、明度や彩度が高い色で表示する。

さらに、屈曲点に到達した場合には、ユーザは操作する方向を変化させる必要がある。そのため、第一の方向への操作から屈曲点に到達したときに、屈曲点への到達をユーザに知らせ、その後、第二の方向への操作をすると、操作性が向上するため好適である。例えば、図１１のような操作ガイドが表示された状態で、ユーザが調整レベル８から第一の方向である右方向へ操作を行う。調整レベル１５に達すると屈曲点であるため、操作ポイントとして表示している丸の状態を、明るさの変化、色の変化、形状の変化などで変化させる。これにより、ユーザに屈曲点への到達を通知することが可能となる。その後、第二の方向である上方向への操作を行う。

ここで、屈曲点で操作の一時停止を行うと、ユーザが意図しない操作をより低減することができる。例えば、ユーザが右上方へ操作を行った場合、屈曲点の設定により調整レベルの急激な変化は低減できるが、調整レベルの連続した変化となる可能性がある。そこで、屈曲点に達したときに調整レベルの変化を一時的に停止し、その後に第二方向への操作を行うようにすると良い。また、入力装置が操作の停止を判定したときに、ユーザへの通知として、操作ポイントを変化させるなどすると操作性が向上してより好適である。

さらに、操作の方向、屈曲点の数、現在の調整レベルによる屈曲点や変位量の変化などを、ユーザが適宜設定できるようにすると、ユーザに合わせた入力を実現できるため、好適である。例えば、ユーザがジェスチャ入力を記憶させるモードを設定し、ユーザが調整レベルを操作するジェスチャを行い、その動作を制御部１０４で記憶しておくことで、ユーザが好むジェスチャ入力が可能となる。このとき、複数の方向への操作を設定する、操作方向を判定しやすくするため、少なくとも１つの縦方向操作、少なくとも１つの横方向操作を含むように設定する。また、撮像素子１０１で撮影される画像情報から、ユーザの顔を認識し、ジェスチャを記憶させたときの顔情報も記憶し、ジェスチャ操作をするときに顔認識を行って、共用の画像表示装置であってもユーザに合ったジェスチャ操作が可能となる。

以上で説明した画像表示装置によれば、ジェスチャ操作において、少なくとも２方向への操作を行うことにより調整する入力装置を備えることにより、操作性が良く、ユーザが意図しない操作を低減することが可能となる。

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

本発明は、入力装置に利用することができる。

（付記）
本発明は、以下の開示を含む。
（１）
撮影画像情報を取得する撮像素子と、前記撮影画像情報から操作情報を算出する画像処理部と、前記操作情報に基づいて機器を制御する操作信号を出力する操作信号出力部とを備え、
前記操作信号出力部による出力は、第一の方向への前記操作情報の変位に基づいて前記操作信号を出力する第一出力段階と、前記第一の方向とは異なる第二の方向への前記操作情報の変位に基づいて前記操作信号を出力する第二出力段階と、を備えることを特徴とする入力装置。

（２）
前記操作信号は任意の設定値を調整する信号であり、
前記第一段階から前記第二段階へ切り替わる前記設定値が、操作を開始する前記設定値によって変化させることを特徴とする（１）に記載の入力装置。

（３）
入力映像信号に基づいて画像情報を表示する画像表示部と、（１）又は（２）に記載の入力装置と、を備えることを特徴とする画像表示装置。

（４）
前記操作情報の変位で変化した前記設定値と、前記操作情報を変位することで前記設定値が変化する方向と、を示す情報を表示することを特徴とする、請求項（３）に記載の画像表示装置。

（５）
前記設定値が、前記第一段階から前記第二段階に切り替わる前記設置値に達したときに、前記第一段階から前記第二段階に切り替わる前記設置値に達したことを示す情報を表示することを特徴とする（４）に記載の画像表示装置。

これにより、第一の段階から第二の段階に変わる屈曲点の値は、操作が開始する設定値によって変化させることができる。

（６）
撮影画像情報を取得する撮像素子と、前記撮影画像情報から操作情報を算出する画像処理部と、前記操作情報に基づいて機器を制御する操作信号の調整量を出力する操作信号出力部とを備え、
前記操作信号出力部は、
予め決められた第一の調整量の範囲において、第一の方向への前記操作情報の変位に依存して信号変換部において調整された操作信号を出力し、前記第一の方向とは異なる第二の方向への前記操作情報の変位を検出した場合にのみ、前記第一の調整量の範囲を越えた調整が可能となることを特徴とする入力装置。
前記第一の調整量の範囲を越えた調整は、前記第一の方向への変位でも良いし、第二の方向への変位でも良い。

（７）
前記第一の調整量の範囲の下限と上限以外の位置において、前記第一の方向への前記操作情報の変位とは異なる方向の変位を検出すると、前記調整の完了となることを特徴とする（６）に記載の入力装置。

（８）
前記第一の方向から前前記第二の方向への前記操作情報の変位に続く、前記第二の方向への前記操作情報の変位に依存して信号変換部において継続して調整された前記操作信号を出力することを特徴とする請求項（６）又は（７）に記載の入力装置。

（９）
撮影画像情報を取得する撮像素子と、前記撮影画像情報から操作情報を算出する画像処理部と、前記操作情報に基づいて機器を制御する操作信号を出力する操作信号出力部とを備える入力装置による入力方法であって、
第一の方向への前記操作情報の変位に基づいて前記操作信号を出力する第一出力ステップと、
前記第一の方向とは異なる第二の方向への前記操作情報の変位に基づいて前記操作信号を出力する第二出力ステップと、を有することを特徴とする入力方法。

（１０）
コンピュータに、（９）に記載の入力方法を実行させるためのプログラム。

１００入力装置
１０１撮像素子
１０２画像処理部
１０３操作信号出力部
１０３ａ信号変換部
１０４制御部
１０５画像表示部
１０６音声出力部
２００画像表示装置

Claims

撮影画像情報を取得する撮像素子と、前記撮影画像情報からジェスチャを検出する画像処理部と、前記ジェスチャに基づいて機器を制御する操作信号を出力する操作信号出力部とを備え、
前記操作信号は前記機器の設定値を調整する信号であり、
前記操作信号出力部による出力は、第一の方向への前記ジェスチャの変位に基づいて第一の範囲で前記設定値を調整する前記操作信号を出力する第一出力段階と、前記第一の方向とは異なる第二の方向への前記ジェスチャの変位に基づいて前記第一の範囲と異なる第二の範囲で前記設定値を調整する前記操作信号を出力する第二出力段階と、を有し、前記第一出力段階で調整された前記設定値が前記第一の範囲における最大値であるとき前記第二出力段階に切り替わることを特徴とする入力装置。
撮影画像情報を取得する撮像素子と、前記撮影画像情報からジェスチャを検出する画像処理部と、前記ジェスチャに基づいて機器を制御する操作信号を出力する操作信号出力部とを備え、
前記操作信号は前記機器の設定値を調整する信号であり、
前記操作信号出力部による出力は、第一の方向への前記ジェスチャの変位に基づいて第一の範囲で前記設定値を調整する前記操作信号を出力する第一出力段階と、前記第一の方向への前記ジェスチャの変位に基づいて前記第一の範囲と異なる第二の範囲で前記設定値を調整する前記操作信号を出力する第二出力段階と、を有し、前記第一出力段階で調整された前記設定値が前記第一の範囲における最大値であるとき前記第一の方向とは異なる第二の方向への前記ジェスチャの変位に基づいて前記第二出力段階に切り替わることを特徴とする入力装置。
前記第一の範囲における最大値が、操作を開始する時に設定されている前記設定値によって変化することを特徴とする、請求項１または２に記載の入力装置。
入力映像信号に基づいて画像情報を表示する画像表示部と、請求項１〜３の何れか一項に記載の入力装置と、を備えることを特徴とする画像表示装置。
前記画像表示部に前記設定値を示すバーを表示し、
前記設定値の変化に応じて前記バーの形状あるいは色を変化させることを特徴とする、請求項４に記載の画像表示装置。
前記設定値が、前記第一の範囲における最大値に達したときに、前記第一の範囲における最大値に達したことを示す情報を表示することを特徴とする、請求項４又は５に記載の画像表示装置。