JP4419768B2 - 電子機器の制御装置 - Google Patents

Description

本発明は、電子機器の制御装置に関し、特にテレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器の遠隔操作を行うための制御装置に関する。

１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは１機能を１押しで実行する仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。

しかしながら、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上下左右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。

特許文献１には、このような課題を解決するために、マウスまたはこれに類似する位置指定操作装置により得られる位置指定情報を、キー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている。

特開２００３−２８３８６６号公報

特許文献１に示された制御装置は、パーソナルコンピュータ（パソコン）の操作と酷似したポインティングの操作により、テレビジョン受像機を遠隔操作するものである。したがって、パソコンを利用しない人にとっては使いづらいもので、情報リテラシー（情報を使いこなす能力）の観点から、パソコンの使い勝手をそのまま導入することは無理がある。遠隔操作が求められる今日のテレビジョン受像機の利用形態にマッチした新たな操作手段が必要になっている。

さらにネットワーク化の進展は、宅内のストレージメディアや宅外のインターネットから得られる多様な情報を、テレビジョン受像機やパソコンのディスプレイに表示することで情報を受容することになる。この場合の操作形態は情報源に依存するため、多様な操作形態に対応する必要があり、家電機器に付属する現状のリモコンでは充分な対応が出来なかった。

以上説明したように、従来のリモコンでは、テレビジョン受像機などの機能の多様化と複雑化に対して、リモコンを肥大化させる。データ放送などのメニュー画面の選択操作を従来のリモコンで行うと、ポインティング装置としての役割がより重要となるため、従来のリモコンでは使い勝手の面で難点が多い。またネットワーク化は、ネットワークにつながるあらゆる機器の機能を、表示装置を介して制御することになり、つながる機器の数に比例してリモコンの数が増える問題がある。この問題は、テレビジョン受像機につながるＶＴＲ・ビデオディスク・その他オーディオ機器などでも現実にどのリモコンが該当のリモコンであるか判別がつかなくなるようなことで、現状でもよく経験している現象である。さらにインターネットに至っては、あらゆるウェッブサイトの情報を選択制御することになり、もはや従来のリモコンの形態では限界に達していることは自明である。

本発明は上述した点に着目してなされたものであり、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器の制御装置を提供することを目的とする。

本発明は、表示装置を有する電子機器を制御する制御装置において、前記表示装置の前に位置する操作者を撮影するビデオカメラと、前記ビデオカメラで撮影された画像の鏡像変換を行って鏡像変換画像信号を出力する鏡像変換器と、少なくとも１つの操作ボタンを含む操作用画像に対応した操作用画像信号を生成する操作用画像生成部と、前記鏡像変換画像信号と前記操作用画像信号とを混合する混合器と、前記混合器により混合された画像信号を前記表示装置の画面上に表示させた状態において、画面に表示された操作者が前記操作用画像を指し示したことを検出する検出器と、前記検出器により前記操作用画像を指し示したことが検出された状態で、前記操作者が前記操作用画像を操作したか否かを検出し、前記操作用画像を操作したことを検出した場合に前記操作用画像に対応して前記電子機器の制御動作を行う制御部とを備え、前記検出器は、前記鏡像変換画像信号における前記操作ボタンに対応する操作領域を指し示す前記操作者の手の領域を抽出する抽出器と、前記操作領域の画像信号に占める前記手の領域の画像信号の変化を示すデータを検出する特徴データ検出器とを備え、前記制御部は、前記特徴データ検出器によって検出された前記データに基づいた第１の波形の周期が予め定めた周期であれば前記第１の波形を通過させる第１のフィルタと、前記第１の波形に基づく第２の波形と、予め設定されている波形との相関を求め、相関が高いほど大きい値を出力する第２のフィルタとを備え、前記第２のフィルタが出力した値が予め定めた値以上となると、前記操作者が前記操作用画像を操作したことを確定することを特徴とする電子機器の制御装置である。

また本発明は、表示装置を有する電子機器を制御する制御方法において、前記表示装置の前に位置する操作者をビデオカメラで撮影するステップと、前記ビデオカメラで撮影された画像の鏡像変換を行って鏡像変換画像信号を出力するステップと、少なくとも１つの操作ボタンを含む操作用画像に対応した操作用画像信号を生成するステップと、前記鏡像変換画像信号と前記操作用画像信号とを混合するステップと、混合された画像信号を前記表示装置の画面上に表示させた状態において、前記画面に表示された前記操作者が前記操作用画像を指し示したことを検出する第１の検出ステップと、前記操作用画像を指し示したことが検出された状態で、前記操作者が前記操作用画像を操作したか否かを検出する第２の検出ステップと、前記操作用画像を操作したことを検出した場合に前記操作用画像に対応して前記電子機器の制御動作を行うステップとを含み、前記第１の検出ステップは、前記鏡像変換画像信号における前記操作ボタンに対応する操作領域を指し示す前記操作者の手の領域を抽出する抽出ステップと、前記操作領域の画像信号に占める前記手の領域の画像信号の変化を示すデータを検出する変化検出ステップとを含み、前記第２の検出ステップは、前記変化検出ステップにおいて検出されたデータに基づいた第１の波形の周期が予め定めた周期であれば前記第１の波形を通過させるフィルタリングステップと、前記第１の波形に基づく第２の波形と、予め設定された波形との相関を求め、相関が高いほど大きい値を出力する比較ステップと、前記比較ステップにおいて求められた値が予め定めた値以上となると、前記操作者が前記操作用画像を操作したことを検出する操作検出ステップとを含むことを特徴とする電子機器の制御方法である。

本発明によれば、操作者がビデオカメラで撮影され、鏡像変換された鏡像変換画像信号と、操作ボタンを含む操作用画像信号とが混合されて、すなわち重ね合わされて表示装置に表示される。その状態で画面に表示された操作者が操作用画像を指し示したことを検出し、さらに操作者が操作用画像を操作したことを検出した場合に、操作用画像に対応した電子機器の制御動作が実行される。より具体的には、鏡像変換画像信号における操作ボタンに対応する操作領域を指し示す操作者の手の領域が抽出され、操作領域の画像信号に占める手の領域の画像信号の変化を示すデータが検出される。そして、検出されたデータに基づいた第１の波形が予め定めた周期であるとき、この第１の波形に基づく第２の波形と予め設定されている波形との相関を求めた値が予め定めた値以上を示すことに基づいて操作者が操作用画像を操作したことを検出すると、操作用画像に対応した電子機器の制御動作が実行される。したがって、リモコンのような遠隔操作装置を用いることなく、電子機器の遠隔操作が可能となる。この場合、操作用画像は、選択すべき操作、あるいは情報の内容に応じて適宜設定できるので、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させることができる。

以下本発明の実施の形態を図面を参照して説明する。
図１は、従来のリモコン装置による操作形態と、本発明の操作形態との違いを説明するための図である。視聴者（ユーザ）３が、テレビジョン受像機１を操作する場合、従来は視聴者３がリモコン装置４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作する。したがって、リモコン装置４が無ければ操作が出来ず、不便を強いられる場合を時々経験する。

これに対し、本実施形態では、テレビジョン受像機１にビデオカメラ２が設けられており、ビデオカメラ２により視聴者３が撮影され、ビデオカメラ２の画像から視聴者３の動作を得て、テレビジョン受像機１及びそれに関連する機器の操作が行われる。視聴者３の動作とは、具相的にはテレビジョン受像機１に表示されるメニュー画面から所望のボタンを選択する身体（手、足、顔など）の動きのことである。またテレビジョン受像機１の周囲が暗いときは、身体以外のもの、例えばペンライトを使えば同様の効果が得られる。本実施形態ではもっとも現実的な手の動きで操作する手法が採用されている。

図２は、テレビジョン受像機１の構成を示すブロック図であり、テレビジョン受像機１は、基準同期発生器１１、タイミングパルス発生器１２、グラフィックス生成器１６、ビデオカメラ２、鏡像変換器１４、スケーラ１５、第１の混合器１７、画素数変換器２１、第２の混合器２２、表示装置２３、検出部１９、及び制御情報判断器（ＣＰＵ）２０を備えている。

基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生させる。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、図に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置して視聴者（ユーザ）３、またはテレビジョン受像機前の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号で、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２３の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入すればよい。

鏡像変換器１４は、ビデオカメラ２で撮影した被写体像を表示装置２３上に鏡と同じように左右を反転して表示するためのものである。したがって、文字を表示する場合は鏡と同じように左右が反転することになる。これについては図３に示すとおり、水平周期でデータの書き込み及び読み出しを行う第１のメモリと第２のメモリを用いてアドレス操作を行うことにより、容易に実現できる。例えば１水平周期をＮ画素とした場合、二つのメモリの書き込みアドレス０〜Ｎ−１まで１水平周期ごと交互に入力信号を書き込み、書き込み動作と排他的に読み出しを行い、書き込みアドレスと逆にＮ−１〜０へと辿り、水平方向の画像を左右に反転させる。なお、本実施形態では、メモリを活用して水平方向の画像を反転させる手法を採用したが、表示装置２３としてＣＲＴ（Cathode Ray Tube）を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転しておく必要がある。

スケーラ１５は、ビデオカメラ２により撮影した被写体像の大きさを調整するもので、制御情報判断器（ＣＰＵ）２０の制御で拡大率と縮小率を２次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。これの利用の仕方について後で詳しく述べる。

グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、Ｙ（輝度）信号と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）とする。また生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは１プレーンである。画素数は、本実施形態では表示装置２３の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。

第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ１oが表される。
Ｍ１o＝α１・Ｓ１＋（１−α１）・Ｇｓ
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ出力信号Ｓ１の割合が大きくなり、グラフィックス生成器出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

検出部１９は、第１の検出器３１，第２の検出器３２，第３の検出器３３，第４の検出器３４，…からなる。検出部１９に含まれる検出器は数を特定するものではなく、グラフィックス生成器１６で生成されるメニュー画面と連携した制御内容を表すプッシュボタン（パソコンではマウスでクリック操作する操作ボタンに該当）の数に対応して変動する。

制御情報判断器（ＣＰＵ）２０は、検出部１９から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器（ＣＰＵ）２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムについては詳細に記述する。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフト（ＣＰＵ上で展開）処理が混在するが、特にここで示す切り分けに限定するものではない。

画素数変換器２１は、外部から入力される外部入力信号の画素数と表示装置２３の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されてくるテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力などテレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。

第２の混合器２２は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１oと、画素数変換器２１の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ２oが表される。
Ｍ２o＝α２・Ｍ１o＋（１−α２）・Ｓ２
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器出力信号Ｍ１oの割合が大きくなり、画素数変換器出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

表示装置２３は、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２３の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２３の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。

以上のように構成されたテレビジョン受像機１の動作を、視聴者（ユーザ）の動作を交えて説明する。図４は、グラフィックス画像４１と、ビデオカメラ画像を鏡像変換し、スケーリングによりグラフィックス画像４１と画素数を一致させたスケーラ出力画像４３とを示しており、二つの画像４１及び４３に対応する信号が、第１の混合器１７で混合される。グラフィックス画像４１は、制御を行うためのメニュー画面を形成しており、四角形の４２はプッシュボタン（操作ボタン）を表す。一方のスケーラ出力画像４３は、ユーザを撮影し、鏡と同じように表示するものである。スケーラ出力画像４３の中の破線の四角形４４は、複数の検出器３１，３２等からなる検出部１９の検出エリアを表したもので、グラフィックス画像４１上のプッシュボタン４２と同一の位置に配置されている。

図５は、第１の混合器１７における混合処理を説明するためのイメージ図である。図５（Ａ）はグラフィックス生成器１６で生成される制御メニュー画面を表したものであり、プッシュボタン（１−１）〜（１−８）が含まれている。図５（Ｂ）は、ビデオカメラ２でユーザを捉えた画面（鏡像変換、及びスケーラ処理済み）で、検出部１９の各検出器に対応する検出エリア（２−１）〜（２−８）が含まれている。第１の混合器１７にて、図５（Ａ）及び（Ｂ）に示す画面を制御値α１に対応する混合割合で混合した画面が、図５（Ｃ）に示されている。なお、図５（Ｃ）に表示されるユーザの画像は、実際には、図５（Ｂ）に示される画像より、制御値α１に対応して輝度及びコントラストが低下したものとなる。

このように表示装置２３には、ユーザの画像が鏡と同様に映ると共に、制御のメニュー画面も重畳されて表示される。これによりユーザ本人は、自分の動きと制御メニューの位置を認識することが出来る。制御は、ユーザが画面を見て、画面上のプッシュボタンに触れるように手（身体）を動かすことにより行う。言い換えれば手をプッシュボタン上に位置するように画面を見てユーザが動作することにより、制御を行う。そして手を触れた（該当する）プッシュボタンと１：１になっている検出エリア内の手を検出すれば、該当するプッシュボタンを押したことが認識できる。したがって制御情報判断器（ＣＰＵ）２０から該当プッシュボタンの制御内容に相当する制御信号を出力することができる。その際グラフィック状のメニュー画面のプッシュボタンは形状及び／または色を変化させて、動作が認識されたことを表示上に表す。例えばプッシュボタンが押されたように画像を変化させる。

図６は、ビデオカメラ２からの画像上に設定している検出エリア（２−１）〜（２−８）と、検出部１９の検出器３１〜３４との対応関係を示し、さらに検出エリア（２−１）及び（２−８）を特定するタイミングパルス（水平垂直）を示す。

各検出器３１〜３４は、図７に示すように、オブジェクト抽出器５１と、タイミングゲート器５２と、オブジェクト特徴データ検出部５３とを備えている。タイミングゲート器５２は、図６に示したタイミングパルスでビデオカメラ２からの画像信号の通過を制御する。通過する領域は図６に破線の四角形で示す検出エリア内である。この検出エリア内に限定した信号を、さらにさまざまなフィルタ処理してビデオカメラ２で捉えたユーザの手を抽出する。

オブジェクト抽出器５１は、画像の特徴に添ったフィルタを備えており、本実施形態ではユーザの手を検出するために、特に肌色に着目したフィルタ処理を行う。オブジェクト抽出器５１は、具体的には、図８に示されるように、特定色フィルタ７１と、階調限定器７２と、合成器７３と、オブジェクトゲート７４とを備えている。特定色フィルタ７１を、図９を参照して説明する。図９は、色差平面図で、縦軸をＲ−Ｙ、横軸をＢ−Ｙとしたものである。テレビ信号のすべての色信号はこの座標上のベクトルで表すことができ、極座標で評価できる。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定するものである。これを特定するために色相は、第１象限のＢ−Ｙ軸を基準（零度）として左回りの角度で表現するものとする。また飽和度は、ベクトルのスカラ量となり、色差平面の原点が飽和度零で色がない状態となり、原点から離れるにしたがい飽和度が大きくなり色が濃いことを示す。

図９では、特定色フィルタ７１により抽出される範囲は、等色相線Ｌ１に対応する角度θ１より小さくかつ等色相線Ｌ２に対応する角度θ２の範囲に設定され、また色の濃さは等飽和度線Ｓ２より小さくＳ１より大きい範囲に設定されている。第２象限のこの範囲は本実施形態で抽出する人間の手の色である肌色の領域に相当するが、特にこれに限定するものではない。特定色フィルタ７１は、ビデオカメラ２からくる色差信号（Ｒ−Ｙ、Ｂ−Ｙ）が等色相線と等飽和度線で囲まれた領域に入っているか否かを検出する。そのためには色差信号から角度と飽和度を算出して判定する。

角度算出は、一例として図１０に示すような処理によって、入力画素それぞれについて、図９に示す色差平面上でなす角度を算出する。図１０は、角度算出処理をフローチャートにて図示しているが、角度算出処理はソフトウェア、ハードウェアのいずれで実現してもよい。本実施形態では、ハードウェアで実現するようにしている。図１０のステップＳ４０１にて、入力画素それぞれの色差信号Ｒ−Ｙ，Ｂ−Ｙ成分の符号より、入力画素の色相が、色差平面上の第何象限に位置しているかを検出する。ステップＳ４０２にて、色差信号Ｒ−Ｙ，Ｂ−Ｙ成分それぞれの絶対値の大きい方をＡ、小さい方をＢとして算出する。

そして、ステップＳ４０３にて、Ｂ／Ａより角度Ｔ１を検出する。この角度Ｔ１は、ステップＳ４０２の処理より明らかなように、０〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。ステップＳ４０４にて、Ａが｜Ｒ−Ｙ｜であるか、即ち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かを判定する。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ４０６に進む。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ４０５にて、角度Ｔ１を、（９０−Ｔ１）に置き換える。これによって、ｔａｎ^-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。

ステップＳ４０３において検出する角度Ｔ１を０〜４５°としているのは、ｔａｎ^-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
さらに、ステップＳ４０６にて、ステップＳ４０１にて検出した象限のデータを用いて第２象限か否かを判定し、第２象限であれば、ステップＳ４０７にて、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ４０８にて、第３象限か否かを判定し、第３象限であれば、ステップＳ４０９にて、Ｔ＝１８０＋Ｔ１を算出する。第３象限でなければ、ステップＳ４１０にて、第４象限か否かを判定し、第４象限であれば、ステップＳ４１１にて、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、すなわち第１象限であるときは、角度ＴをＴ１とする（ステップＳ４１２）。そして、最終的に、ステップＳ４１３にて、入力画素それぞれの図９の色差平面上でなす角度Ｔを出力する。

以上の処理により、入力された色差信号Ｒ−Ｙ，Ｂ−Ｙの色差平面上での角度を０〜３６０°の範囲で求めることができる。ステップＳ４０４〜Ｓ４１１は、ステップＳ４０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ４０４〜Ｓ４１１は、角度Ｔ１を、第１〜第４象限に応じて補正している。

次に色の濃さである飽和度の算出は、下記の式により行われる。
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｃｂ×Ｃｂ）
但し、Ｃｒは、図９に示すように色信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（ ）は平方根の演算を行う演算子である。

ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトでも演算のステップが多く好ましくないので以下のように近似することも出来る。
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）
＋０．４×ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）
但し、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きい方を選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さい方を選択する処理である。またＶｃはベクトルのスカラー量であり、ここでは飽和度を表す。

以上より求めた角度（色相）Ｔと飽和度Ｖｃが、等色相線の角度θ１からθ２の範囲、色の濃さは等飽和度線Ｓ２より小さくかつＳ１より大きい範囲に入っているか否かを評価する。範囲に入っている信号を通過させるのが、図８に示す特定色フィルタ７１の役割である。

図８の階調限定器７２は、図１１に示すように、輝度信号の特定の階調を限定するものである。８ビットデジタル信号の場合、０〜２５５までの２５６階調を有するが、この範囲の階調を限定する最大レベルＬｍａｘ及び最小レベルＬｍｉｎを設定し、レベルがその間にある輝度信号を出力する。

合成器７３は、特定色フィルタ７１と階調限定器７２から入力される信号を、領域パルスに変換する。すなわち、特定色フィルタ７１を通過した信号と、階調限定器７２を通過した信号の両方が存在（ＡＮＤ）する場合に、高レベルとなるパルスを出力する。

合成器７３で生成された領域パルスは、オブジェクトゲート７４に供給される。オブジェクトゲート７４は、領域パルスが高レベルであるとき、輝度信号と色差信号を通過させる。領域パルス外の範囲（領域パルスが低レベルであるとき）、すなわち入力信号を通過させない場合は、規定した値の信号を出力する。本実施形態では、通過させない範囲では、黒レベルの輝度信号、及び飽和度ゼロの色差信号を出力する。

このオブジェクト抽出器５１の働きは、特定色フィルタ７１で色信号の色相（角度）と飽和度を限定したものをさらに輝度信号レベルで限定するものである。特定色フィルタ７１で色相と飽和度を限定することで人の肌色に絞ることは出来るが、人の肌は日焼け具合で変化し、また人種によっても異なる。これら肌色と言ってもさまざまであるが、色相、飽和度、輝度信号の階調限定の範囲を調整すれば概ね人の手を検出することが出来る。本実施形態では人の手を対象にしているが、その他の色相と階調を適切に調整すれば、本実施形態におけるパラメータの変更の範疇で同様にして他のものと区別することが出来る。

図１２（Ａ）及び図１３（Ａ）は，ビデオカメラ２から入力されてくる画像に対してプッシュボタンの領域（破線四角）が設定されていることを表す。本発明はビデオカメラ画像に手をかざしその動作を制御情報として判別するものである。図１２（Ｂ）及び図１３（Ｂ）は、その手の動きを示す。図１２（Ｂ）は、手をプッシュボタンにかざしたところを示し、図１３（Ｂ）は、手の指を折り曲げた状態を示す。本実施形態では、この指を折り曲げる動作を２度繰り返すことでプッシュボタンを押したことを認識するようにしている。手をかざしただけでも、１度でも３度以上の動作でも、同様の効果を得ることが出来ることはいうまでもない。

次に図１４を参照して、手の動作を時間軸に添って説明する。指を伸ばしている状態から折り曲げた状態までの経過時間をＴｍとする。図は説明を分かり易くするためにこれを動作の最小単位としてＴ０，Ｔ１，…，Ｔ６と時間を区切っている。以下に時間経過に添って説明する。

時刻Ｔ−１では、手が存在しない状態が示され、時刻Ｔ０では、手を所望のプッシュボタンに手をかざした状態が示され、時刻Ｔ１から、手を最低Ｔｍ期間保持し、時刻Ｔ２では、手の指を折り曲げた状態が示され、時刻Ｔ３では、手の指を折り曲げた状態から手の指を伸ばした状態が示され、時刻Ｔ４では、再度手の指を折り曲げた状態が示され、時刻Ｔ５では、折り曲げた手の指を再度伸ばした状態が示され、時刻Ｔ６から、手の指を伸ばした状態を最低Ｔｍ期間保持し、時刻Ｔ７では、手が存在しない場合が示されている。

以上がプッシュボタン上での手の動きである。図１４の上側の波形図は、下側にモデル化して描いたプッシュボタン上の手のひらの投影面積の変化を示す。この波形を解析し、手の動きを特定することで制御動作を捉えることができる。

図１５に、オブジェクト抽出器５１の出力信号に対応する画像を示す。オブジェクト抽出器５１を通過した信号は、タイミングゲートでプッシュボタンの領域が限定され、それ以外の領域は無視される。タイミングゲート内は特定色フィルタ７１で色が特定され、ここでは手の肌色領域のみが通過となり、また階調方向にも限定され、限定された領域のみが通過となり、それ以外の領域が黒（輝度信号色信号ともに零）とされる。したがって、図１５に示すように手の指以外が黒（ハッチングを施して示す）となる。図１５（Ａ）は指をかざした状態を示し、図１５（Ｂ）は指を折り曲げた状態を示している。ここで肌色領域以外の領域を黒に設定したのはあくまでも後段の検出器での検出精度を上げるためであり、検出すべき対象物によって最適レベル（特定のレベル）を設定することになる。

この図１５からさらに画像の特徴を検出する。図７に示すオブジェクト特徴データ検出部５３は、画像からさまざまな特徴を検出する機能ブロック、すなわち、ヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域頻度検出器６３、最小値検出器６４、及び最大値検出器６５からなる。この他にも画像を特徴づける項目はあるが本実施形態では、これらの内容にて手であることを判別すると共にその動作を認識する。

これらの検出器６１〜６５は、本実施形態ではハードウェアにて構成され、空間内の検出枠内の状態を画面単位（フィールド及びフレーム単位：垂直周期単位）のデータに加工して、制御情報判断器（ＣＰＵ）２０のバスヘ送出する。制御情報判断器（ＣＰＵ）２０は、ソフトウェア上で変数に格納し、データ処理を行う。

ヒストグラム検出器６１は、輝度信号の階調を８ステップに区切って各ステップに存在する画素の数をカウントし、１画面（フィールドまたはフレーム画面）ごとに各ステップの頻度の値を制御情報判断器（ＣＰＵ）２０へ出力するものである。ＡＰＬ検出器６２は、同様に１画面内の輝度レベルを加算し、画素数で割った１画面の平均輝度値を制御情報判断器（ＣＰＵ）２０へ出力する。高域頻度検出器６３は、空間フィルタ（２次元フィルタ）にて高域成分を抽出し、その高域成分の頻度を１画面単位で制御情報判断器（ＣＰＵ）２０に出力する。最小値検出器６４は、１画面の輝度信号の最小階調値を、また最大値検出器６５は１画面内の輝度信号の最大階調値を制御情報判断器（ＣＰＵ）２０へ出力する。

制御情報判断器（ＣＰＵ）２０は、受け取ったデータを変数に格納し、ソフトウェア処理する。ここから以降は本実施形態においてはソフトウェア処理となる。

図１６〜図２１は、ヒストグラム検出器６１及び平均輝度検出器６２の出力データを示す図である。これは階調のヒストグラムと、平均輝度（ＡＰＬ）を示し、ＡＰＬについては大きさを感覚的に分かるように矢印で示している。これらの図においては、縦紬に頻度を示し、横軸に階調（明るさ）を８ステップに区切って示している。ケース１とケース２は手の明るさが異なるもので、ケース１が特定のステップに手の頻度が集中している場合であり、ケース２は二つのステップにまたがっている場合を表している。図１６〜図２１は、図１４に表した各時刻Ｔ−１，Ｔ０〜Ｔ６に対応したヒストグラムである。オブジェクト抽出器５１にて特定色肌色で且つ階調を限定し、その他の部分が黒にされているので、ヒストグラム上の頻度は黒の部分と階調を限定した部分に集中する。

以下、時間経過に添ってヒストグラムとＡＰＬの値の変遷を説明する。
図１６，時刻Ｔ−１：手が存在しない場合で基本的には頻度は存在しないが、カメラで捉える背景などに存在する肌色でかつ限定した階調の領域に入る成分の頻度を表している。またＡＰＬは低い。

図１７，時刻Ｔ０：手を所望のプッシュボタンに手をかざした状態で、ケース１ではステップ５の階調の頻度が大きくなることを表している。ケース２ではステップ５，６の領域にまたがっているため、ケース１ほど頻度は大きくならないが、ステップ５，６の合計の量はほぼ同じだけ増加していることを表している。またＡＰＬは手の面積が大きくなるのでそれに比例する。

図１８，時刻Ｔ１：手を最低Ｔｍ期間保持したときで、時刻Ｔ０と同様である。
図１９，時刻Ｔ２：手の指を折り曲げた状態で、黒の領域が拡大しステップ５の頻度が減少する。またＡＰＬについても減少する。
図２０，時刻Ｔ３：折り曲げてから手の指を伸ばした状態で、時刻Ｔ０と同様である。
図２１，時刻Ｔ４：再度手の指を折り曲げた状態で、時刻Ｔ２と同様である。
図２２，時刻Ｔ５：折り曲げた手の指を再度伸ばした状態で、時刻Ｔ０と同様である。
図２３，時刻Ｔ６：手を伸ばした状態を最低Ｔｍ期間保持した状態で、時刻Ｔ０と同様である。

ヒストグラムのデータ処理では、本実施形態ではオブジェクトとして抽出されなかった部分を黒にしているので、ステップ１は黒の領域であり、評価対象から外して考える。評価の仕方はいろいろ考えられるが、直接の手の情報は本実施形態では階調を限定した範囲に入るステップ４，５，６，７であるので、これを合計してその値を評価する。

ヒストグラムの合計値の変動はＡＰＬの変動と近い内容になり、値のスケールが異なるだけで同様の解析で手の動作が判別できる。判別の確度を上げるために、異なる検出手段を用いて評価し判定する。前記した高域頻度検出器６３、最小値検出器６４、最大値検出器６５などの検出データも同様に評価し、より多くの異なる検出データから判別をすることで精度を向上させることが出来る。本実施形態では、高域頻度検出は指と背景の黒とのエッジ成分の頻度を検出するものであり、図１５から分かるように指を折り曲げたときはエッジ成分が少なくなり、その変動はヒストグラムやＡＰＬと同様である。しかし、最大値検出は指のどこかがプッシュボタンのどこかに入っていたなら、大きく変化はなく検出精度が悪いものになる。また今回はオブジェクト抽出範囲から外れた部分は黒にしているので最小値検出は変化しないため全く意味をなさない。しかしビデオカメラで捉える対象物の色や階調によっては、オブジェクト抽出範囲から外れた部分を、逆に白にする方がよい場合もある。対象とするオブジェクトに対してコントラストのある色や白をオブジェクト抽出範囲から外れた部分に適用することで判別の精度が増すことになる。

判別に向けた評価の仕方は、決められた手の動作を判別するものであり、そのアルゴリズムの基本は同じで、検出項目によってスケールが異なる。前記図７に示すオブジェクト特徴データ検出部５３の出力は、ＣＰＵバスを介して、制御情報判断器（ＣＰＵ）２０に転送される。制御情報判断器（ＣＰＵ）２０は、動作検出を行い、適切な制御信号を出力する。図２４は、制御情報判断器（ＣＰＵ）２０の動作を説明するための機能ブロック図であり、制御情報判断器（ＣＰＵ）２０は、ヒストグラム検出器６１に対応する第１の動作検出器２０１、平均輝度（ＡＰＬ）検出器６２に対応する第２の動作検出器２０２、高域頻度検出器６３に対応する第３の動作検出器２０３、最小値検出器６４に対応する第４の動作検出器２０４、最大値検出器６５に対応する第５の動作検出器２０５、及び制御情報生成器２１０を備えている。なおこれらの動作検出器２０１〜２０５及び制御情報生成器２１０の機能は、実際にはソフト処理により実現される。

動作検出器２０１〜２０５は、対応する検出器６１〜６５の検出結果に応じて検出フラグを出力し、制御情報発生器２１０に供給する。制御情報発生器２１０は、入力される検出フラグの内容を評価し、適切な制御情報を出力する。ここでの評価は、コンピュータ言語の演算子、例えば、論理和、論理積、排他的論理和、＞、＜などを活用して行われ、これらの演算子を含む演算式が満たされた場合に制御信号が出力される。本実施形態では、すべての動作検出器２０１〜２０５の出力の論理和、すなわち、少なくとも１つ以上の動作検出器が検出フラグを出力したときに制御情報を出力するようにしている。

前記動作検出器２０１〜２０５について詳しく説明する。ここではヒストグラムの限定されたステップの合計データから動作を検出する場合である。図２５は、ヒストグラムから得られるデータの変動を示している。この図に示す時刻Ｔ０〜Ｔ６は、図１４に示す時刻Ｔ０〜Ｔ６に対応している。図２５（Ａ）は、ヒストグラムの限定された４〜６ステップを合計した値の変動である。黒以外の部分に相当し、手が占める面積を表している。同図（Ｂ）はオフセット成分を除去したもので、Ｔｍ期間中変化がない場合、値が零となる。同図（Ｃ）は、同図（Ｂ）のデータを自乗したもので指の折り曲げ動作が正弦波に近く、その自乗なので周期が１／２の正弦波になる。同図（Ｄ）は、同図（Ａ）の波形を積分したもので、手の動きを判別するためのゲートパルスを矢印で表したものである。同図（Ｅ）は、同図（Ｃ）の波形をデジタルフィルタで相互相関をかけて、手の動きとの相関を見ている。さらに同図（Ｄ）（Ｅ）間にわたって、最終判断すなわちユーザがプッシュボタンを操作したことを確定に導く過程を表している。

図２５について以下詳細に説明する。
（Ａ）は図１４で手の動作と一緒に表した波形と同じである。特に判別に寄与しない部分は省いている。ここで手を伸ばしている状態から、折り曲げたところまでにかかる期間をＴｍとして、手の動作の基準期間（時間間隔）として考える。時刻Ｔ０からＴ１までは、手をかざした期間であり、ここでは約Ｔｍ期間かざして該当のプッシュボタンを活性化させる判別を行う。時刻Ｔ１からＴ２は、手の指を折り曲げていく過程である。時刻Ｔ２からＴ３は、手の指を伸ばしていく過程を表す。時刻Ｔ３〜Ｔ４は、再び手の指を折り曲げていく過程である。時刻Ｔ４〜Ｔ５は再び手の指を伸ばしていく過程である。時刻Ｔ５〜Ｔ６は指が伸び、そこで約Ｔｍ期間保持している状態である。この一連の動作は、マウスのダブルクリックに似ており、人にとって無理なく動作が出来るものである。

（Ｂ）はＤＣオフセット成分を除去したものである。除去するフィルタの構成例を、図２６に示す。このフィルタは、時間Ｔｍだけ入力信号を遅延させる遅延器８１と、遅延器８１の出力信号から入力信号を減算する減算器８２と、信号レベルを１／２に減衰させる減衰器８３とからなり、Ｔｍ期間前後で（−１／２，１／２）のタップ係数を要する高域通過のデジタルフィルタである。Ｔｍ期間の遅延は、手の動作の波形を通過させるためのものである。デジタルフィルタの形態は特にこれに限定するものではないが、ここでは一番簡単な構成で、しかも絶対遅延量が小さいものを採用した。またタップ係数の符号は、（１／２，−１／２）のように入れ替わると、出力される波形が反転するが、この後の処理には影響するものではなく、どちらを用いても同じ効果となる。

（Ｃ）は前記したとおり（Ｂ）の波形を自乗したもので、正弦波的な波形と考えると周期が１／２となる。この（Ｃ）の波形をデジタルフィルタで相関計算したものが（Ｅ）であるが、それを詳細に示したものが図２７である。図２７（Ａ）（Ｂ）（Ｃ）は、図２５と同様である。その下側に描いたものが相互相関デジタルフィルタである。四角にＤと記載しているものは１垂直周期のディレイを表し、デジタル回路で使うＤフリップフロップ（以降ＤＦＦと記載）に相当する。次にｋ０，ｋ１，…，ｋ８はデジタルフィルタのタップ係数を表す。Σはタップ係数出力の総和演算を意味し、その出力に相互相関計算値Ｙ（ｎτ）を得る。相互相関をとる手の動作の波形は、（Ｃ）を加工したもので、一方の波形はタップ係数の値として存在し、手の動作とタップ係数間の相互相関で、波形の形が完全に一致または近い値のときに相互相関のデジタルフィルタ出力が最大値となる。

図２７に示すデジタルフィルタによる演算処理を以下の数式で表すことができる。図２７の構成例では、Ｎは「９」である。

図２７に示すデジタルフィルタは、右側から（Ｃ）に描く波形が入力される。このように右から信号が入力されるように描いたのは、（Ｃ）に示す各波形がＤＦＦに入ったときに時間的に一致（一部矢印）するようにしているためである。したがって最後の手の動作が遅延していない一番右側に来る。そして相互相関の係数は（Ｃ）の波形をそのまま盛り込めばよい。但しスケールについてはここでは言及しない。また係数値がＤＣ的に偏るのは好ましくないので、（Ｃ）の波形のレベルの中心を基準として、出来るだけＤＣオフセットがつかないようにする。係数値は手の動作との相関を計算するものであるので、ここで規定している動作の内容が変わればそれに添って係数値を変えれば、また異なった動作で制御できる制御装置となる。またいくつかの相関値を持っていてデジタルフィルタを複数走らせ、各々に違った意味を持たせることも出来る。ここでのタップ係数は９タップあるので９垂直周期となる。１秒に６０垂直周期有するビデオ信号の場合、約１／７秒となり、手の動作としては少し速いが、遅くするためにはタップ係数を増やせば遅くなり調整が取れるものであるので、実際には実験により最適なタップ係数の数を設定すればよい。

また、ここでは（Ｃ）の波形を相関計数値として考えているが（Ｂ）に示す波形の時刻Ｔ１〜Ｔ５までの波形を用いてもよい。ただし、（Ｃ）の波形を用いた方がより精度が高くなる。

図２５に戻り（Ｅ）の波形について説明する。（Ｅ）の波形は（Ｃ）の波形が前記相互相関デジタルフィルタに入力されて、その出力に現れる値をモデル化して表したものである。時刻が進むにつれて手の動作がタップ係数との一致度が増しピークが大きくなる。この波形の評価は、負の領域を矢印で示しているとおり、絶対値化して、さらに積分し（図では包絡線）、閾値ＴＨ４を上回ったところで制御させるべき手の動作であることを確定する。ここでの絶対値化は図２８に示すように自乗してから積分しても同様である。

ここで、（Ｃ）に示す波形の大きさは最初のヒストグラムデータに基づくものであり、この大きさで判定の精度が変わってくる。また積分すなわち累積加算していくにあたっての初期化（リセット）が必要である。これを果たしているのが（Ｄ）に示す波形である。さらに検出精度を上げるための意味のない情報を抑制する処理が必要である。

（Ｄ）の波形は（Ａ）のヒストグラムからのデータを時間軸に添って積分したものである。 時刻Ｔ１までの期間は手をかざした期間であり、（Ｂ）は（Ａ）が変化しないとき零になるすなわち高域成分のみをピックアップしたものである。これは手をかざしているときは静止状態であることを意味する。当然人間の動作であるので変動はあるが、大きな動作からすると静止と見なせるものとし、処理についても容易に実現できる不感帯を設定するなどして切り捨てればよい。したがって、（Ｂ）が閾値ＴＨ１ａ，ＴＨ１ｂ間にあるときでかつ（Ａ）が閾値ＴＨ０以上のとき積分されて積分値が大きくなっていく。その波形が（Ｄ）である。また積分を始める初期状態は（Ａ）の波形が、閾値ＴＨ０以下のときに初期化を行う。（Ｄ）に示す積分値が、閾値ＴＨ２を越えると活性化する。ここまでの領域を検出領域と呼ぶ。

（Ｄ）に示す積分値が、閾値ＴＨ２を越えてから矢印Ｙ１のように特定の時定数を持った期間を設定し、その後の判定領域に入るまでを活性領域と呼ぶ。活性領域とは相関計算している領域である。判定領域は前記相関計算の結果をもって手の動作を制御状態と判断する領域で、相互相関デジタルフィルタ出力を絶対値化して積分した値が、閾値ＴＨ４を越えた時点からはじまる。（Ｄ）の波形に対してはもう一つの閾値ＴＨ３を設けている。閾値ＴＨ３は、閾値ＴＨ２よりも小さな値であり、その閾値ＴＨ３を越えた矢印Ｙ２−１で示す期間を判定に使う。手の指の折り曲げ動作は最後指を伸ばして終了する。閾値ＴＨ３はその最後の動作を確認するものである。矢印Ｙ２−１と逆の領域である矢印Ｙ２−２の期間は判定を禁止する期間として考え、誤認識を避けるようにしている。そして矢印Ｙ１、矢印Ｙ２−１、矢印Ｙ３が揃った時点で、判定領域で手の動作が制御情報であることを確定する。

この検出領域は、手をかざされたことを認識する領域で、この領域を越えた時点で、グラフィックスの制御画像の色や形状を変えて、ユーザを積極的に誘導することができる。また、活性領域を完了した時点及び判定領域で確定した時点で同様にグラフィックスの制御画像の色や形状を変えてユーザにそのことを認知させることができる。これはユーザに再試行させるなどの手間をかけないメリットがある。

次に閾値ＴＨ３の絶対レベルについて説明する。相互相関デジタルフィルタの出力値は手をかざす領域の範囲によって大きさが変わってくる。特に固定でも人がそれに合わせて必要な領域に手をかざせばよいが、人の曖昧さを吸収することも必要である。ここでは閾値ＴＨ２までの積分領域にかかる時間Ｔｒを見て、これによって調整する。期間Ｔｒは手をかざす面積が大きければ大きいほど期間が短くなり、逆に面積が小さいときは時間が長くなる。したがって時間Ｔｒが大きいときは閾値ＴＨ３とＴＨ４を大きくし、時間Ｔｒが小さいときは閾値ＴＨ３とＴＨ４を小さくするように補正する。この適応制御によって手のかざす面積に対する依存性を抑制し、正確な認識を行うことが可能となる。

本実施形態の操作方法では、ビデオカメラの撮影の画角に対して、人の位置によっては手の大きさが小さかったり、プッシュボタンの位置まで届かなかったりすることが考えられる。この場合は、図２に示すスケーラ１５で画像を「拡大」「縮小」「位相（位置）」を調整して人を画面上に適切な大きさにする必要がある。図２９は、これを説明するための図である。図２９（Ａ）に示す例は、人の姿が小さく制御しにくい画面である。この場合はスケーラ１５を制御して「拡大」し、画面の中心に人が位置するように「位相」を調整することにより、同図（Ｂ）のように適切な大きさで適切な位置にユーザを表示させることができる。

また図３０は、スケーラ１５を制御して「縮小」し、人が画面の中心に来るように「位相」を調整した例を示したものである。
他の手法としては、図３１に示すように、ビデオカメラ２を雲台に取り付け、雲台による画角制御、及びビデオカメラ２のズーム制御により、ユーザの画像を適切な大きさ及び位置に表示させるようにしてもよい。

また本発明の操作方法は、表示装置に映されたグラフィックス上に展開される制御画像をそれに重ね合わされた自分の鏡像を見ながら操作するものであるが、画像を重ね合わせるので見にくい場合がある。その場合は、図６に示した検出器の画面上の領域を特定するタイミングパルス（水平垂直）で、第１の混合器１７または第２の混合器２２の混合割合を制御して見やすいようにする。例えば制御画像であるプッシュボタンを見やすくするためには第１の混合器１７にて、制御値α１の値を小さくするようにタイミングパルスで制御すればよい。このように混合器をきめ細かく制御することによって視聴者と、制御画像（プッシュボタン）の関係を分かり易くすることができる。

以上説明した本発明の実施形態では、ハードウェアとソフトウェアで切り分けて記載しているが、その切り分けの仕方はどのように行ってもよい。
本実施形態の操作方法は、人の手を使って対称となるグラフィックス上に描かれたプッシュボタンを触れるように操作するものである。対象となるプッシュボタンの意味する操作内容が「電源」「チャンネル」「音量」「入力切替」「上」「下」「左」「右」「決定」など従来のリモコンが備えていたものはすべて置き換えることが可能である。

以上のような操作方法を用いることにより、リモコンのような制御機器を用いることなく制御対象の制御が可能となる。したがって電池切れや接点不良などのリモコンに関するトラブルが解消される。また複数の機器のリモコンがある場合、被制御機器のリモコンを探さなければならなかったが、本発明の操作方法では、人の身体があればよく、このような問題も解消される。

また画面上に制御内容が示されるので、さまざまな制御機器の取り扱いが可能となる。これはネットワーク化された環境では重要であり、表示装置を有する機器を通じてネットワーク機器を制御する、言い換えれば、ネットワークにつながる機器の制御画面をネットワークを通じて表示装置を有する機器に転送することにより、表示装置の画面が制御画面になるため、どのような制御画面であっても対応できる。

またリモコンでメニュー画面から制御するためには、手元のボタンを何度も押下しながらメニュー画面上のプッシュボタンを選ぶ動作をするため、手元と画面を何度も繰り返し見ながら操作する必要がある。これに対し、本発明の操作方法によれば、ユーザ自身が操作画面上にオーバラップして映るため、常に画面を見て操作ができ、素速く操作ができるだけでなく、目が疲れ難く使い勝手を向上させることができる。

また、手の動作はパソコンのマウスを操るのと近い操作が可能である。本実施形態ではダブルクリック的に手の指を折り曲げる動作を採用した。パソコンは、現代において広く普及しており、パソコンの操作に近いことは、多くのユーザにとって取り扱いが容易となり、情報リテラシー上好ましい。

なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、図２に示した第１の混合器１７及び第２の混合器２２の混合割合を、レベル方向、空間方向、時間方向に効果的に組み合わせるようにしてもよい。これにより、ビデオカメラ２からの画像と生成されるグラフィックスのメニュー画面と、放送番組の映像の多様な組み合わせ方が可能となり、同時に多様な情報のやり取りが出来る。
また本発明の操作対象となる電子機器は、テレビジョン受像機に限るものではなく、パーソナルコンピュータや、テレビジョン受像機とビデオディスク録画装置の組み合わせや、テレビジョン受像機とビデオテープレコーダとの組み合わせなど、表示装置を有するものであればよい。

本発明の電子機器操作方法の概要を説明するための図である。 本発明の一実施形態にかかる電子機器（テレビジョン受像機）の要部の構成を示すブロック図である。 画像の鏡像変換の方法を説明するための図である。 操作者の画像と、操作用画像とを示す図である。 操作者の画像と、操作用画像とを重畳（混合）した状態を説明するための図である。 図２に示す検出器と、表示装置の画面上の検出領域との対応を説明するための図である。 図２に示す検出器の構成を示すブロック図である。 図７に示すオブジェクト抽出器の構成を示すブロック図である。 オブジェクト抽出器で抽出する対象物の色相及び飽和度を説明するための図である。 色差信号から色相を算出する処理のフローチャートである。 オブジェクト抽出器で抽出する対象物の輝度信号レベルを示す図である。 画面上の操作ボタンに手をかざした状態を示す図である。 画面上の操作ボタンの上で指を曲げた状態を示す図である。 指を曲げる動作を２回行った場合における、手の画面上への投影面積の変化を示すタイムチャートである。 操作ボタンと手の画像とが重なった状態を示す図である。 図１４に示す時刻Ｔ−１における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１４に示す時刻Ｔ０における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１４に示す時刻Ｔ１における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１４に示す時刻Ｔ２における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１４に示す時刻Ｔ３における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１４に示す時刻Ｔ４における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１４に示す時刻Ｔ５における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１４に示す時刻Ｔ６における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図２に示す制御情報判断器（ＣＰＵ）の動作を説明するための機能ブロック図である。 操作ボタンを選択する動作を確定するためのデータ処理を説明するためのタイムチャートである。 ＤＣオフセット成分を除去するためのディジタルフィルタの構成を示すブロック図である。 図２６に示すディジタルフィルタの具体的な構成と、処理波形との関係を説明するための図である。 検出される動作と、所定選択動作との相互相関計算値の推移を示すタイムチャートである。 ビデオカメラで撮影した操作者の画像が小さすぎる場合の処理を説明するための図である。 ビデオカメラで撮影した操作者の画像が大きすぎる場合の処理を説明するための図である。 ビデオカメラ、及びその画角を変更するための装置を示す図である。

符号の説明

１ テレビジョン受像機（電子機器）
２ ビデオカメラ
４ ユーザ（操作者）
１２ タイミングパルス発生器
１４ 鏡像変換器（鏡像変換手段）
１５ スケーラ
１６ グラフィックス生成器
１７ 第１の混合器（第１の混合手段）
１９ 検出部（検出手段）
２０ 制御情報判断器（ＣＰＵ）（制御手段）
２２ 第２の混合器（第２の混合手段）
２３ 表示装置
５１ タイミングゲート器（位置判定手段）
５２ オブジェクト抽出器（対象物特定手段）
５３ オブジェクト特徴データ検出部（変化検出手段）

Claims (12)

1. 表示装置を有する電子機器を制御する制御装置において、
   前記表示装置の前に位置する操作者を撮影するビデオカメラと、
   前記ビデオカメラで撮影された画像の鏡像変換を行って鏡像変換画像信号を出力する鏡像変換器と、
   少なくとも１つの操作ボタンを含む操作用画像の操作用画像信号を生成する操作用画像生成部と、
   前記鏡像変換画像信号と前記操作用画像信号とを混合する混合器と、
   前記混合器により混合された画像信号を前記表示装置の画面上に表示させた状態において、画面に表示された操作者が前記操作用画像を指し示したことを検出する検出器と、
   前記検出器により前記操作用画像を指し示したことが検出された状態で、前記操作者が前記操作用画像を操作したか否かを検出し、前記操作用画像を操作したことを検出した場合に前記操作用画像に対応して前記電子機器の制御動作を行う制御部とを備え、
   前記検出器は、
   前記鏡像変換画像信号における前記操作ボタンに対応する操作領域を指し示す前記操作者の手の領域を抽出する抽出器と、
   前記操作領域の画像信号に占める前記手の領域の画像信号の変化を示すデータを検出する特徴データ検出器とを備え、
   前記制御部は、
   前記特徴データ検出器によって検出された前記データに基づいた第１の波形の周期が予め定めた周期であれば前記第１の波形を通過させる第１のフィルタと、
   前記第１の波形に基づく第２の波形と、予め設定されている波形との相関を求め、相関が高いほど大きい値を出力する第２のフィルタとを備え、
   前記第２のフィルタが出力した値が予め定めた値以上となると、前記操作者が前記操作用画像を操作したことを確定することを特徴とする電子機器の制御装置。
2. 前記特徴データ検出器は、
   前記抽出器で抽出した前記手の領域を示す画像信号の階調に対する発生頻度を示すヒストグラムを検出するヒストグラム検出器を備え、
   前記第１の波形は、
   前記ヒストグラム検出器によって検出されたヒストグラムの時間的な変化に基づく
   ことを特徴とする請求項１記載の電子機器の制御装置。
3. 前記抽出器は、
   前記操作用画像を指し示す前記操作者の手を検出するため前記鏡像変換画像信号より特定色の領域を抽出する特定色フィルタを備える
   ことを特徴とする請求項１または２のいずれか１項記載の電子機器の制御装置。
4. 前記抽出器は、さらに、
   前記鏡像変換画像信号より予め定めた階調の範囲を抽出する階調限定器と、
   前記特定色フィルタが前記特定色の領域の画像信号を抽出したことを示す信号及び、前記階調限定器が前記階調の範囲内の画像信号を抽出したことを示す信号を受け取ったことを示す合成信号を出力する合成器とを備える
   ことを特徴とする請求項３記載の電子機器の制御装置。
5. 前記抽出器は、さらに前記合成器が前記合成信号を出力しないときは、前記鏡像変換画像信号における前記操作者の手を示す領域以外を特定の輝度または色に置き換えるゲートを備える
   ことを特徴とする請求項４記載の電子機器の制御装置。
6. 前記制御装置は、さらに前記鏡像変換画像信号を拡大または縮小するスケーラを備え、
   前記制御部は、さらに、前記第１の波形を所定の時間で積分した積分値が第１の閾値に達するまでの時間を算出し、
   算出した前記時間に基づいて、前記スケーラを制御する
   ことを特徴とする請求項１から５のいずれか１項に記載の電子機器の制御装置。
7. 表示装置を有する電子機器を制御する制御方法において、
   前記表示装置の前に位置する操作者をビデオカメラで撮影するステップと、
   前記ビデオカメラで撮影された画像の鏡像変換を行って鏡像変換画像信号を出力するステップと、
   少なくとも１つの操作ボタンを含む操作用画像に対応した操作用画像信号を生成するステップと、
   前記鏡像変換画像信号と前記操作用画像信号とを混合するステップと、
   混合された画像信号を前記表示装置の画面上に表示させた状態において、前記画面に表示された前記操作者が前記操作用画像を指し示したことを検出する第１の検出ステップと、
   前記操作用画像を指し示したことが検出された状態で、前記操作者が前記操作用画像を操作したか否かを検出する第２の検出ステップと、
   前記操作用画像を操作したことを検出した場合に前記操作用画像に対応して前記電子機器の制御動作を行うステップとを含み、
   前記第１の検出ステップは、
   前記鏡像変換画像信号における前記操作ボタンに対応する操作領域を指し示す前記操作者の手の領域を抽出する抽出ステップと、
   前記操作領域の画像信号に占める前記手の領域の画像信号の変化を示すデータを検出する変化検出ステップとを含み、
   前記第２の検出ステップは、
   前記変化検出ステップにおいて検出されたデータに基づいた第１の波形の周期が予め定めた周期であれば前記第１の波形を通過させるフィルタリングステップと、
   前記第１の波形に基づく第２の波形と、予め設定された波形との相関を求め、相関が高いほど大きい値を出力する比較ステップと、
   前記比較ステップにおいて求められた値が予め定めた値以上となると、前記操作者が前記操作用画像を操作したことを検出する操作検出ステップとを含む
   ことを特徴とする電子機器の制御方法。
8. 前記変化検出ステップは、前記抽出ステップで抽出した前記手の領域を示す画像信号の階調に対する発生頻度を示すヒストグラムを検出し、
   前記第１の波形は、前記変化検出ステップにおいて検出されたヒストグラムの時間的な変化に基づく
   ことを特徴とする請求項７記載の電子機器の制御方法。
9. 前記抽出ステップは、
   前記操作用画像を指し示す前記操作者の手を検出するため前記鏡像変換画像信号より特定色の領域を抽出する特定色領域抽出ステップを含む
   ことを特徴とする請求項７又は８のいずれか１項記載の電子機器の制御方法。
10. 前記抽出ステップは、
    前記鏡像変換画像信号より予め定めた階調の範囲を抽出する階調範囲抽出ステップと、
    前記特定色領域抽出ステップで前記特定色の領域の画像信号を抽出したことを示す信号及び、前記階調範囲抽出ステップで前記階調の範囲内の画像信号を抽出したことを示す信号を受け取ったことを示す合成信号を出力する合成ステップとを含む
    ことを特徴とする請求項９記載の電子機器の制御方法。
11. 前記抽出ステップは、
    前記合成ステップで前記合成信号が出力されないときは、前記鏡像変換画像信号における前記操作者の手を示す領域以外を特定の輝度または色に置き換えるステップを含む
    ことを特徴とする請求項１０記載の電子機器の制御方法。
12. 前記第２の検出ステップはさらに、
    前記第１の波形を所定の時間で積分した積分値が所定の閾値に達するまでの時間を算出する算出ステップと、
    前記算出ステップにおいて求められた時間に基づいて、前記鏡像変換画像信号を出力するステップで出力された前記鏡像変換画像信号を拡大又は縮小するステップとを含む
    ことを特徴とする請求項７から１１のいずれか１項記載の電子機器の制御方法。

Images