JP5048890B2 - 動作検知インターフェース - Google Patents

動作検知インターフェース Download PDF

Info

Publication number
JP5048890B2
JP5048890B2 JP29153999A JP29153999A JP5048890B2 JP 5048890 B2 JP5048890 B2 JP 5048890B2 JP 29153999 A JP29153999 A JP 29153999A JP 29153999 A JP29153999 A JP 29153999A JP 5048890 B2 JP5048890 B2 JP 5048890B2
Authority
JP
Japan
Prior art keywords
hand
remote control
control device
user
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP29153999A
Other languages
English (en)
Other versions
JP2000196914A (ja
Inventor
隆一 岩村
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/170,871 external-priority patent/US6501515B1/en
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2000196914A publication Critical patent/JP2000196914A/ja
Application granted granted Critical
Publication of JP5048890B2 publication Critical patent/JP5048890B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Details Of Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、テレビジョン受像器等の電子機器用の遠隔制御装置、特に電子機器用の光学動作感知遠隔制御装置に関する。
【0002】
【従来の技術】
遠隔からテレビジョン受像器を制御するための一般的な装置として、赤外線遠隔制御装置が用いられている。しかしながら、従来の遠隔制御装置には欠点が幾つかある。その一つとしては、遠隔制御装置はなくなりやすいという点が挙げられる。また、ユーザは、しばしば、ビデオカセットレコーダの遠隔制御装置とテレビジョン受像器の遠隔制御装置とを間違える。実際、多くの人々が多数の遠隔制御装置を所有している。また、ユーザは遠隔制御装置のどこに何のボタンが位置するかを覚えなくてはならない。また、遠隔制御装置は定期的に電池を取り替えなければならない。テレビジョン受像器にビデオカメラが備え付けてあり、ユーザの身振りを読みとることができれば、遠隔制御装置は不要になる。しかしながら、テレビジョン受像器において、ビデオカメラに写る範囲内で、その他の動きとユーザのジェスチャーとを見分けることは容易ではない。例えば、ユーザは、台所にスナックを取りに行くために立ち上がるたびに、チャンネルを変わってしまっては、不都合である。
【0003】
【発明が解決しようとする課題】
本発明は、上述した実情に鑑みてなされたものであり、本発明は、電子機器における予測可能な処理を示す複数のアイコンを表示する表示装置及び視野内の動作を検出する動作検出回路から構成される遠隔制御装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
動作検出回路はユーザの手の形及び視野内においてユーザが遠隔制御操作を開始したことを示す所定の手の動きを検出した後に、その手の動きを追跡する。なお、オブジェクトは必ずしも手である必要はない。動作検出回路は手の動きを表すカーソル制御信号を出力する。表示装置及び動作検出回路は制御回路に接続している。制御回路は、カーソル制御信号を受信し、可動移動可能な視覚的指示手段、すなわち、カーソルを表示装置上に表示する。カーソルはユーザの手の動きにあわせて表示装置上を移動する。また、制御回路が電子機器を制御すると、制御された電子機器は、ユーザが移動可能な視覚的指示手段を用いてユーザが選択したアイコンに対応する操作を行う。
【0005】
本発明に係る実施例のいくつかにおいて、ある特定のアイコンと移動可能な視覚的指示手段が表示装置上で重なると、動作検出回路は、所定の手の動作パターンを検出し、ユーザによるアイコンの選択を検出する。例えば、動作検出回路は、ある特定のアイコンと移動可能な視覚的指示手段が表示装置上で重なった後のある一定の期間における手の動作の休止を、ユーザによるアイコンの選択として検出する。あるいはまた、ユーザがアイコンを押すような動作を行った場合、動作検出回路は、この動作をボタンを押す操作として検出する。
【0006】
本発明の第1の実施例において、動作検出回路はビデオカメラを備える。また、動作検出回路はビデオカメラから出力されるビデオ出力信号を受信し、2つの連続するビデオフレーム間の各マクロブロックにおける動きベクトルを算出する。各ビデオフレームは複数のブロックから構成される。各ブロックは、検出されたオブジェクトの動作を表すベクトルを有する。動作検出回路は、隣接するほぼ同方向のベクトルを、1つの領域としてグループ化する。各フレームについて、オブジェクトを追跡するか追跡しないか決定するとき、動作検出回路は各領域を調査し、この領域が以下に示す(a)及び(b)の2つの条件を満たすものであるか否かを判断する。
【0007】
(a)このベクトルが時計回り又は反時計回りに一回転する。
(b)この領域が初めに位置していた位置に戻る。
この領域が上記(a)及び(b)の条件が満たすとき、動作検出回路はこの領域をロックする。
【0008】
本発明の第2の実施例において、動作検出回路は少なくとも1つのビデオカメラ、ランダムアクセスメモリインターフェース(random access memory interface)、ランダムアクセスメモリ(random access memory)、及びCPUを備える。動作検出回路は、ビデオカメラから出力される2つの連続するビデオフレームにおける各マクロブロックの画素値を比較して、動作を検出する。2つの連続するビデオフレームにおける2つの対応するマクロブロックの差分の絶対値がある一定の値を超えた場合、動作検出回路は、このマクロブロックにおいて動作が行われたと判断し、この領域を活性領域として判断する。
【0009】
各ビデオフレームについて、手の動きを追跡するか追跡しないかを決定するとき、動作検出回路は検出した活性領域を調査し、この活性領域が以下に示す(a)及び(b)の2つの条件を満たすものであるか否かを判断する。
【0010】
(a)この活性領域が第1の方向に一直線状の動きを行う。
(b)この活性領域が初めに位置していた場所に戻る。
この活性領域が上記(a)及び(b)の条件を満たすとき、動作検出回路はこの活性領域をロックする。上述の動きのほか、手の動きのロックを指示する動作として、あらゆる種類の反復動作を用いることができる。
【0011】
また、本発明の第3の実施例において、動作検出回路はビデオカメラから出力されるユーザが選択した画像部分と予め記憶してある画像とを比較し、この2つの画像が一致したとき、ビデオカメラから出力されるユーザが選択した画像部分がユーザの手であると判断する。上述した方法のほか、様々な方法を用いて、ユーザは自分の手を表す画像部分を選択することができる。
【0012】
本発明の全ての実施例において、ユーザ及び動作検出回路間の距離の長短に関わらず、手の移動距離と移動可能な視覚的指示手段の移動距離との比率を常に一定に保つため、制御回路は自動カーソル感度調整機能を備える。自動カーソル感度調節調整機構は、手20の移動距離に対応する移動可能な視覚的指示手段の移動距離の比率を算出する。したがって、例えば、ユーザが手を斜め方向に動かす動作を行った場合、ユーザ及び動作検出回路間の距離の長短に関わらず、移動可能な視覚的指示手段は表示画面の対角線上を移動する。
【0013】
【発明の実施の形態】
以下、本発明に係る電子機器用の遠隔制御装置及び遠隔制御方法について、図面を参照しながら詳細に説明する。
【0014】
本発明の第1の実施例において、ユーザが、テレビジョン受像器にとって検出が容易な動作を行うと、テレビジョン受像器はこの手の画像をロックする。また、本発明の変形例において、遠隔制御装置は、視覚的にユーザの手を認識し、ロックする。なお、この明細書では、「手」という用語を用いるが、このユーザの手に代えてその他の判別可能なオブジェクト用いてもよい。
【0015】
本発明の全ての実施例において、手の画像がロックされると、テレビジョン受像器は手の動きを追跡し、手の動きと同方向に、表示装置上のカーソルを移動させる。すなわち、ユーザはパーソナルコンピュータのマウスを動かすように、手を用いてカーソルを動かすことができる。また、ユーザは、カーソルを移動させ、表示装置上のアイコンから所望のアイコンを選択することができる。手の画像をロックした後にこの動きを見失った場合、テレビジョン受像器はユーザに対してメッセージを表示する。メッセージが表示されると、ユーザは特定の手の動作を行うか、または、表示装置上の手の画像を再び選択する。上述の方法により、テレビジョン受像器は、手の画像を再びロックし、この動作を追跡する。
【0016】
図1は、本発明を適用した遠隔制御装置の基本的な構造を示すブロック図である。ブロック1乃至12に示す部分は、従来のデジタルテレビジョン受像器セットと同様である。アンテナ1は信号を受信する。チューナ2は、アンテナ1が受信した信号を同調する。チューナ2において同調された信号は、復調及び誤り訂正ブロック3において、復調及び誤り訂正される。デマルチプレクサ4は、ブロック3から供給された信号を分離させる。分離表示画面(demultiplexed on-screen:以下、OSDという)データはOSD回路5に供給され、映像データはビデオデコーダ6に供給され、また、音声データは音声デコーダ10に供給される。スーパーインポーザ(superimposer)7はOSDデータ及び復調された映像データを混合し、陰極線管(cathode ray tube:以下、CRTという)ブロック8に供給する。CRTブロック8は、スーパーインポーザ7から供給されたデータをCRT9上に表示する。増幅器11は復調された音声信号を増幅し、ラウドスピーカ12に出力する。
【0017】
ブロック13乃至16は、本発明の全ての実施例において、主要な機能を果たす部位であり、また、各々の実施例において、何らかの異なった機能を果たす。ビデオカメラ13はCRT9上に載置され、例えば、テレビジョン受像器セットの前のユーザ18の画像を捕捉すると、その画像を動作検出回路15に供給する。動作検出回路15はRAM14及びCPU16に接続している。
【0018】
本発明の第1の実施例において、テレビジョン受像器を遠隔操作したい場合、まず、ユーザ18は手20を使って、判別可能な動作を繰り返し行う。この判別可能な動作としては、例えば、図2に示すような、円を描く動作や、図14に示すように、手20を20(a)の位置から20(b)へ移動する動作が例として挙げられる。テレビジョン受像器は、上述した動作とその他の動作とを区別し、ユーザの遠隔操作を行おうとする意図を感知する。このとき、テレビジョン受像器は、図3及び図21に示すように、CRT9の画面上にメニューボタンアイコン22を表示する。CPU16により手20の画像が捕捉されると、CPU16はこの動きをロックし、CRT9の画面上に表示されたカーソル24はロックされた手20の動きに追従する。例えば、ユーザ18が手20を右に動かすと、同時に、CRT9の画面上に表示されたカーソル24も右に移動する。手20及び、カーソル24は、各々、パーソナルコンピュータにおけるマウス及びカーソルと同様に機能する。なお、テレビジョン受像器は手20の絶対位置については関知せず、移動速度及び移動方向のみを感知し、それに対応して、カーソル24を移動させる。カーソル24がユーザ18の希望するメニューボタンアイコンの位置に移動すると、ユーザ18は、この位置で、約2又は3秒間、手20を停止した状態を保つ。CPU16は、ボタンを押す動作として、上述の動作を判断し、メニューボタンアイコン22が表す機能を実行する。一定時間内に、何らかの動作が検出されない場合は、CPU16は時間切れと判断し、メニューボタンアイコン22を画面上から削除し、再び、所定の動作の検出を始める。
【0019】
次に、本発明の第1の実施例における動作検出回路15について、説明する。まず、動作検出回路15は、2つの連続するフレーム間における各々のマクロブロックの動きベクトルを検出する。このとき、動作検出回路15は特定の閾値に満たない動きベクトルを削除する。図4は1つのビデオフレームにおけるマクロブロック全体の具体例を示す図である。なお、説明を簡潔にするため、図中のマクロブロックを実際よりも少なく、また大きく示す。動作検出回路15は、動きベクトルを検出すると、図4に示すように、ほぼ同じ方向を有する複数のベクトルを1つの領域としてグループ化する。例えば、図4は領域1及び領域2がグループ化されたことを示す図である。この時点において、動作検出回路15は、どの領域に手20の画像が属するかについては判断せず、全てのフレームに対して上述の処理を行う。
【0020】
次フレーム中に、領域1とほぼ同位置に位置し、且つ、ほぼ同方向を有するベクトルから構成される領域がある場合、動作検出回路15はこの領域を上記領域1に続く領域としてグループ化する。他の領域も同様にしてグループ化される。新しい領域には、新しい名前が与えられる。前フレーム中の領域に続く領域が検出されない場合、動作検出回路15はこの領域を削除する。図5乃至図8は、動きベクトルのスナップショットを示す図であり、各々の間隔は0.5秒である。円を描く動作を行う場合、通常3秒間を要する。図6に示すように、領域1は3秒以内に消滅しているため、動作検出回路15は、領域1を手20の動作ではないと判断する。領域2は、手20の動作が属する領域の候補として残存する。全てのフレームに対して、動作検出回路15は各々の領域が以下(1)及び(2)の条件を満たすものであるかを検査する。
【0021】
(1)このベクトルが時計回り又は反時計回りに1回転する。
(2)この領域が初めに位置していた位置に戻る。
【0022】
ある領域が上述した2つの条件を満たすとき、動作検出回路15はこの領域を手20の画像であると判断する。
【0023】
動作検出回路15は、図8に示すように、領域2が手20の画像であると判断すると、次に、図9に示すように、領域2をロックし、この動きを追跡する。動作検出回路15はCPU16に対して、手20の動きをロックしたことを知らせ、また、手20の動きについての情報をCPU16に供給する。CPU16は動作検出回路15から受信した情報をOSD回路5に供給する。OSD回路5は情報を受信すると、CRT9上にカーソル24を表示させ、手20の動きに追従させる。
【0024】
動作検出回路15が手20の進路を見失った場合、動作検出回路15はCPU16にその情報を供給する。CPU16は情報を受信すると、CRT9上に「手を右に動かして下さい」というメッセージを表示する。ユーザ18がこのメッセージに従うと、次に、動作検出回路15はCPU16を制御し、CRT9上に「手を上に動かして下さい」というメッセージを表示させる。ユーザ18が、再度、このメッセージに従うと、動作検出回路15は、最初に右に移動し、次に上に移動する画像を検出することにより、手20の画像を再び判断し、ロックする。
【0025】
上述した特定の手20の動作は、円を描くような動作に限定されるものではなく、その他の特定できる動作であってもよい。また、メニューボタンアイコン22を選択するときも、ユーザ18は手20を止めるだけでなく、その他の特定の動作を行うことが可能である。円を描くような動作の変形例として、ユーザ18は図10に示すように、例えば、左下から右上のように、斜め方向に、数回、手20を動かしてもよい。ユーザ18が手20を上に動かすと、図11中の領域3に示すように、動きベクトルは右上を指し、また、ユーザ18が手20を下に動かすと、図12中の領域3に示すように、動きベクトルは左下を指す。すなわち、ユーザ18が手20を動かすたびに、動きベクトルは反対方向を指すことになる。したがって、動作検出回路15は、一定の時間内で、所定の回数だけ、所定の方向から反対の方向へ指す動きベクトルを検出することにより、ユーザが特定の動作を行ったことを判断し、手20の動きをロックする。
【0026】
上述した動作は、図2に示す円を描く動作に比べて、ユーザ18が行いやすい動作であり、また、動作検出回路15が検出しやすい動作である。しかしながら、この動作は、ユーザ18により、意図せずに行われることが頻繁にあり、そのため、誤って検出されることが多い。例えば、ユーザ18が脚を上下に動かしたとき、動作検出回路15はその動作を上述した動きとして、誤って検出する可能性がある。これは、トレードオフである。
【0027】
カーソル24のバリエーションとして、OSD回路5はデジタルサテライトシステム・グラフィカルユーザインターフェース(digital satellite system graphical user interface)のように、メニューボタンアイコン22を強調表示してもよい。例えば、ユーザ18が手20を上に動かすと、OSD回路5は上部のメニューボタンアイコン22を強調表示する。ユーザ18は強調表示されたメニューボタンアイコン22にカーソルをあわせた状態で、手20を停止させ、このメニューボタンアイコン22を選択する。本明細書及び請求の範囲において、カーソル24は、上述したような手20の動作に対応したメニューボタンアイコン22の強調表示を含む、動作検出回路15に検出された手20の動きに追従する、表示装置上の全ての変化を意味するものとする。
【0028】
本発明の実施例において、画像認識の方法は動きベクトルの検出に限定されるものではない。例えば、動作検出回路15は、手20の色が描く軌跡を追跡し、この軌跡が円を描いた場合、この色の領域を手20の画像として検出し、ロックする。本発明の第2の実施例においては、パターン照合法を、手20の画像を検出する方法として用いる。本発明において、最も重視すべき点は、ユーザは、動作検出回路15が容易に手20の動き及びその他の動きの判別できるような、所定の特定可能な動作を行うという点である。
【0029】
また、本発明はデジタルテレビジョン受像器のみならず、アナログテレビジョン受像器又はパーソナルコンピュータテレビジョン電話等の、ビデオカメラ及び表示装置を備える装置全般に適用することができる。また、CRT9と同様に、例えば、液晶表示装置又はプロジェクタを用いることもできる。
【0030】
テレビジョン会議及びテレビジョン電話には、MPEG又はH261ビデオエンコーダを用いる。図13はビデオエンコーダの一般的な例を示す図である。ビデオカメラ100は、減算ノード101を介して、離散コサイン変換回路102に信号を供給し、離散コサイン変換回路102は受信した信号を圧縮する。予測フレームの場合には、減算ノードがビデオカメラ100から信号を受信し、この信号を復元されたフレーム内のデータから減算した後、離散コサイン変換回路102がこの信号を離散コサイン変換処理する。量子化回路103は、離散コサイン変換処理された信号を受信し、その信号を量子化し、符号化されたストリームとして出力する。逆量子化回路104は、量子回路から信号を受信し、その信号を逆量子化し、逆離散コサイン変換回路105に供給する。逆離散コサイン変換回路105は、受信した信号を圧縮し、加算ノード106を介して、フレーム107に供給する。フレーム107は、受信した信号を格納する。予測フレームの場合には、加算ノード106が、逆離散コサイン変換回路105から信号を受信し、この信号に復元されたフレーム内のデータを加算した後、フレーム107に処理済みの信号を供給する。
【0031】
動作検出回路108は、フレームメモリ107に接続しており、現フレームと前フレームを比較し、各々のマクロブロックの動きベクトルを算出する。動作検出回路108は、上述のように、動きベクトルを算出し、したがって、与えられた領域における動きベクトルを算出することにより、手20の円を描く動作を検出することができる。動作検出回路108は、手20の動作を示すデータをCPU16に供給する。ブロック1乃至12は、図1に示すブロック1乃至12と共通する。ブロック13乃至15がこのエンコーダの変形例と置き換えることができる。動作検出回路と符号化装置を一体化することにより、回路のサイズを縮小し、また、コストを削減することができる。
【0032】
さらに、ビデオカメラ13が、モータ駆動されている場合、CPU16は、パン、チルト及びズームを自動的に制御し、手20の画像をビデオカメラ13の視野内において最適な位置、通常は中央に位置させる。
【0033】
本発明を適用した遠隔制御装置は、色信号を必要としないため、暗所においては、赤外線カメラを用いることができる。
【0034】
例えば、IEEE(Institute of Electrical and Electronics Engineers:米国電気電子技術者協会)1394インターフェース(以下、単に1394インターフェースという)等のネットワークインターフェースにCPU16を接続した場合、CPU16は、ネットワークを介して、接続する他の装置に、手20の位置に関するデータを供給し、その装置を制御することができる。
【0035】
以下に説明する本発明の第2の実施例において、動作検出回路15は、RAMインターフェース回路を備える。その他、上述した第1の実施例と同じ構成要素には同一の指示符号を付して、同様の機能を有する場合、それらの説明は省略する。
【0036】
CPU16は、動作検出回路15が備えるRAMインターフェース回路内の現ビデオフレームにおける各々のマクロブロックの画素値と、RAM14に格納された前ビデオフレームにおいて対応するマクロブロックの画素値を比較し、ビデオカメラ13の視野内で動作が行われたかどうか判断する。なお、各々のマクロブロックは、縦16、横16の画素から構成される。
【0037】
次に、CPU16がどのように手20の画像を認識し、ロックするかについて説明する。ここでは、横352、縦288の画素から構成されるビデオフレームを例として用いる。1つのマクロブロックは、縦16、横16の画素から構成されるので、このビデオフレームは縦22、横18のマクロブロックを有する。図15は、2つの連続するビデオフレームn及びビデオフレームn−1を示す図である。MBm(n)は、フレームnにおけるm番目のマクロブロックを意味し、MBm(n)[i,j]は、MBm(n)において、横i行目、縦j列目に位置する画素を意味する。2つの連続するビデオフレームn−1及びビデオフレームnにおける、MBm(n−1)[i,j]及びMBm(n)[i,j]の差分は、以下の式で表される。なお、CPU16は、各々のマクロブロックについての差分を算出する。関数ABS(x)はxの絶対値を意味する。
j=15 i=15
差分=3 3ABS(MBm(n)[i,j]−MBm(n −1)[i,j])
j=0 i=0
【0038】
CPU16は、上記式によって求めた差分が所定の閾値に満たないとき、ビデオフレームn−1及びビデオフレームn間のマクロブロックMBmにおいて動作が行われなかったと判断する。このマクロブロックを非活性マクロブロックと呼ぶ。本棚又はソファ等の静止背景の場合、差分は0又は0に近い値をとる。一方、差分が所定の閾値を超えたとき、CPU16はマクロブロックMBmにおいて、動作が行われたと判断する。このマクロブロックを活性マクロブロックと呼び、図中においては、斜線部で示す。CPU16は、2つの連続するビデオフレームnにおいて対応する各々のマクロブロックについて、画素値を算出する。CPU16は、隣接する活性マクロブロックを、1つの領域としてグループ化し、CPU16内部の記憶装置又はRAM14に、この領域を格納する。上述した算出は、前述の構成例において述べた動きベクトルの推定よりも単純である。この演算処理は、ソフトウェアにより実現できる。この演算処理は、ハードウェアを必要としない。
【0039】
ユーザ18は、所定の動作を行い、表示装置上にメニューボタンアイコン22を表示させる。ユーザは、例えば、図14に示すように、20(a)の位置及び20(b)の位置間で、手20を斜め方向に2回動かす。図16及び図17は、1つのビデオフレーム内のマクロブロック全体を示す図である。なお、説明を簡潔にするため、図中のマクロブロックの数を実際よりも少なく示す。斜線部は活性マクロブロックを示す。ユーザ18が手20の移動を開始すると領域100における対応するマクロブロックが活性化する。手20が位置20(b)の方向に移動するにつれて、活性領域は、右上(領域101)に移動する。ユーザ18が手20を20(b)の位置から20(a)の位置へ戻すと、活性領域は領域100の位置に戻る。ユーザ18が上述の動作を繰り返したとき、活性領域はユーザ18の手20の動きにあわせて、領域100及び領域101間の移動を繰り返す。これにより、活性領域が上述の条件を満たすとき、CPU16は、この領域を手20の画像として判断し、手20の位置を検出する。ビデオカメラの視野内において、その他の手20の動作が行われている場合でも、CPU16は活性領域の移動を判断することにより、手20の所定の動きと手20のその他の動きを区別できる。
【0040】
CPU16は、手20の位置を検出すると、続いて、OSD回路5にコマンドを供給する。OSD回路5は、このコマンドを受信して、図21に示すように、メニューボタンアイコン22を生成する。次に、CPU16は手20の動きを追跡する。図18乃至図21は、ユーザ18が、手20を、20(a)の位置から20(c)の位置に平行移動させたときの状態を示す図である。ユーザ18が上述の手20の動作を行うと、CPU16が検出した活性領域は、図19及び図20に示すように、領域100から領域102に移動する。CPU16は、手20が右に移動したと判断し、OSD回路5を制御して、カーソル24をCRT9上で30の位置から31の位置へ移動させる。上述のように、カーソル24は手20の動きに追従する。ユーザ18は、希望するメニューボタンアイコン22上でカーソル24を一定時間停止させ、メニューボタンアイコン22を選択する。CPU16は、ユーザ18が選択したメニューボタンアイコン22を認識し、対応するタスクを実行する。
【0041】
CPU16は、手20を見失った場合、OSD回路5を制御して、CRT9上に「手を右に動かして下さい」というメッセージを表示させる。ユーザ18がこのメッセージに従うと、続いて、CPU16はOSD回路5を制御し、CRT9上に「手を上に動かして下さい。」というメッセージを表示させる。再び、ユーザがこのメッセージに従うと、CPU16は、初めに右に移動し、次に上に移動する画像を検出するすることにより、CPU16は、再び、手20の画像を検出し、ロックする。
【0042】
所定の手20の動きは、上述したような直線状の動きに限定されるものではなく、その他の特定可能な動作であってもよい。また、メニューボタンアイコン22を選択するときも、ユーザ18は、手20の動きを止めるだけでなく、その他の特定可能な動作を行うことができる。直線状の動作の変形例として、ユーザ18は、図28に示すように、例えば、左下から右上のように、斜め方向に、数回、手20を動かしてもよい。
【0043】
また、手20の検出に画像認識技術を用いてもよい。この方法は、上述した認識方法よりも、より精密な認識方法であり、手20の動きも小さい。ユーザ18は、図22に示すように、手20を広げる動作を行うか、また、図23(a)に示すように、手20を握った状態から、図23(b)に示すように、手20を広げる動作を行う。CPU16は、このような手20の動作が行われると、対応するマクロブロックを活性マクロブロックとして認識し、手20の位置を検出する。CPU16は、手20の位置を検出すると、誤って検出するのを防ぐため、手20の画像をデジタル処理によりカットアウト(cutout)し、手20の画像であるかどうか判断する。
【0044】
CPU16は、図24に示すように、カットアウトした手20の画像を2値画像に変換する。広げた状態の手20は、各々の指間にV字形が形成される点を最も大きな特徴とする。CPU16は、例えば、水平走査線L1上に位置するポイントp1及びポイントq2のように、2値画像において、同一水平線上に位置する縁端点の全てを検査する。水平走査線L1よりも下に位置する水平走査線L2において、ポイントp2及びポイントq2に示すように、2つの縁端点は近づいており、最終的には一致する。CPU16は、上述のように、同一の水平走査線上に位置する各々の縁端点間の距離を算出することにより、画像の外郭がV字形を有するかどうかを判断する。CPU16は、1又は複数のV字形を検出した場合、この画像が手20の画像であると判断する。手20を検出した後、CPU16は手20の動きを追跡するが、その方法については、上述した手法と同様である。上述のような手20の画像認識は、あまり多くの演算処理を必要としないため、ソフトウェアによる処理が可能である。
【0045】
また、CPU16は、手20の画像の輪郭を認識するかわりに、手20の画像照合を行うことにより、手20を検出してもよい。以下、手20の画像照合方法について、図25を参照して説明する。まず、ユーザ18は、従来の赤外線遠隔制御装置を用いて、OSD回路5に信号を送信し、ビデオカメラ13が撮影した画像、すなわち、ユーザ自身の画像を、CRT9上に表示させる。つづいて、従来のグラフィカルユーザインターフェースを用いて、手20の画像25を選択する。RAM14は画像25を格納する。必要に応じて、例えば子供の手20や、左利きの人の手20等の複数の手20の画像を格納してもよい。ユーザが手20を固定させると、CPU16は、図26に示すように、対応する領域内の画像26とRAM14に格納された手20の画像25を比較し、この両方が最も一致する位置を調査する。図27は、画像25及び画像26が最も一致した位置を示す図である。画像25及び画像26は、必ずしも、完全に一致するとは限らないが、CPU16は、前述したマクロブロック間の差分の算出と同様に、画像25及び画像26の差分の算出を行う。CPU16は、画像25及び画像26の差分が所定の閾値に満たないとき、画像26を手20であると判断し、手20の動作を追跡する。なお、図面を簡略化するため、図26及び図27においては、手20の輪郭を示したが、実際は図24に示すように、2値画像を用いる。
【0046】
以上に述べたように、CPU16は様々な方法を用いて、ユーザ18の手20をロックする。本発明において、ユーザ18は、CPU16が、容易に、手20の動き及びその他の動きを判別又は手20の画像とビデオカメラ13の視野内のその他のオブジェクトを区別できるような、特定の動作を行わなければならない。
【0047】
手20の移動距離は、ビデオカメラ13の視野角及びビデオカメラ13及びユーザ18間の距離に依存する。図28乃至図30は、ユーザ18が手20を斜め方向に動かしたときの状態を示す図である。ビデオカメラ13の視野角が狭いか、もしくは、ユーザ18及びビデオカメラ13間の距離が近いときと比較すると、図29に示すように、ビデオカメラ13の視野角が広いか、もしくは、ユーザ18がビデオカメラ13から離れているとき、CRT9上のカーソル24の移動距離は短くなる。また、ビデオカメラ13の視野角が狭いとき、もしくは、ユーザ18及びビデオカメラ13間の距離が近いとき、図30に示すように、手20の動きに対応するカーソル24の移動距離は長くなる。このよう場合、カーソル24の感度が一定であるとすると、前者、すなわち、ビデオカメラ13の視野角が広いか、もしくは、ユーザ18がビデオカメラ13から離れた場所にいるとき、ユーザ18が手20を大きく動かしても、カーソル24の移動距離は比較的短くなる。同様に、後者、すなわち、ビデオカメラ13の視野角が狭いか、もしくは、ユーザ18及びビデオカメラ13間の距離が近いとき、ユーザ18が小さく手20を動かしたとしても、カーソル24の移動距離は長くなる。
【0048】
上述のような問題点を解決するため、CPU16は、自動カーソル感度制御機能を備える。ビデオカメラ13の視野内における手20の所定の動作が小さいとき、CPU16は、カーソル24の移動距離を長くし、一方、ビデオカメラ13の視野内における手20の所定の動作が大きいときには、カーソル24の移動距離を短くする。例えば、図29に示すように、手20の所定の動作が50画素長であるとき、CPU16は、手20が1画素長移動するのに対して、カーソル24を4画素長移動させる。すなわち、CPU16は、検出した手20の移動距離に応じて、カーソル24の移動距離を自動的に算出する。図30に示すように、手20の所定の動作が200画素長のとき、CPU16は、手20が1画素長移動するのに対して、カーソル24を1画素長移動させる。ユーザ18は、ビデオカメラ13の視野角又はビデオカメラ13からの距離を考慮する必要はなく、したがって、カーソル24をCRT9の左端から右端まで移動させるときでも、手20を大きく動かす必要はない。上述のような自動カーソル感度制御は、CPU16に組みこまれたソフトウェアプログラムを用いて行う。
【0049】
図28に示すように、ユーザが手20を斜め方向に動かす所定の動作を行うと、CPU16は手20の動きを追跡し、カーソル24を表示画面において、斜め方向に移動させる。CPU16は、常に、手20のストローク距離に対するビデオフレームの斜め方向の距離の比率を算出する。カーソル24は、この比率に比例して、制御される。ユーザ18が、常に、一定距離だけ、手20を動かすと、CPU16は、この距離を検出が必要とされる最も大きい手20の動作として認識し、対応するカーソル24の移動距離を算出し、表示画面の対角線上でカーソル24を移動させる。上述のように算出された、手20の移動距離及び対応するカーソルの移動距離における基準は、以後の手20の動きについても利用される。例えば、認識された手20のストロークが10インチである場合、CPU16により手20がロックされると、ユーザ18は、斜め方向に、手20を10インチ動かすことにより、CRT9上のカーソル24を左下端から右上端まで移動させることができる。同様に、認識された斜め方向の手20のストロークが20インチである場合、ユーザ18は、斜め方向に、手20を20インチ動かすことにより、CRT9上のカーソル24を左下端から右上端まで動かすことができる。
【0050】
CPU16は、カーソル24のかわりに、デジタル衛生システムグラフィカルユーザインターフェース(digital satellite system graphical user interface:DSS GUI)のように、メニューボタンアイコン22を強調表示してもよい。例えば、ユーザ18が手20を上に上げると、CPU16は上部のメニューボタンアイコン22を強調表示する。本明細書において、「カーソル」とは、例えば、ユーザ18の手20の動きに対応するメニューボタンアイコン22の強調表示等の、CPU16が検出したユーザ18の動作を追跡した結果の、テレビジョン受像器の表示装置上におけるあらゆる変化を含むものとする。
【0051】
また、本装置は、3次元の手20の動作のインターフェースにおいても適用することができる。図31及び図32に示すように、第2のビデオカメラ31を、ユーザの右側又は左側に設置する。もしくは、天井に取り付けてもよい。第2のビデオカメラ31は、Z軸に示すように、表示画面に対して垂直な方向の手20の動作を感知する。図31は、本装置の構成を示すブロック図である。ブロック1乃至16は、図1に示す構成部1乃至16と共通するものであり、説明を簡潔にするため、図31では省略する。ビデオカメラ31はビデオカメラ13と同様の機能を有し、RAM32はRAM14と同様の機能を有し、また、RAMインターフェース33はRAMインターフェース15と同様の機能を有し、RAM32及びRAMインターフェース33では、Z軸上の動作を検出するために用いる。ビデオカメラ31,RAM32及びRAMインターフェース33は、ビデオカメラ13、RAM14及びRAMインターフェース15と同一の動作をする。
【0052】
まず、ユーザ18が、例えば、斜め方向に手20を動かす等の、所定の動作を行うと、CPU16は、上述のように、活性領域を検査し、X−Y面上の手20の位置を検出する。また、CPU16は、ビデオカメラ31から画像信号を受信し、Y−Z面上で手20の位置を検出する。ユーザ18が、図32に示すように、20(a)の位置及び20(b)の位置間で手20を動かすと、活性領域は、図16及び図17に示すように、領域100から領域101に移動する。一方、Y−Z面上の領域は、図33に示すように、領域200及び領域201間を移動する。これらの活性領域は同時に移動するため、CPU16は、容易に、X−Y面上及びY−Z面上の手20の位置を検出することができる。また、ユーザ18が手20をCRT9に対して垂直方向に動かした場合、活性領域は、図34に示すように、領域200から領域202に移動する。このように、CPU16は、Z軸上の手20の動作を検出する。
【0053】
本発明の3次元インターフェースは、様々に応用可能である。例えば、3次元インターフェースは、2次元のOSDにも適用することができる。Z軸上の動作は、メニューボタンアイコン22を選択するために用いられる。メニューボタンアイコン22を選択するとき、ユーザ18は、まず、所望のメニューボタンアイコン22上で手20を停止させる。次に、ユーザ18は、機械のボタンを押すときの動作と同じように、手20をCRT9に近づけ、そして、元の位置に戻す。CPU16は、このZ軸上の動作をメニューボタンアイコン22の選択として検出し、検出したメニューボタンアイコン22に対応する処理を実行する。
【0054】
また、Z軸上の動作は、ズーミングを行うときにも、用いることができる。ユーザ18が手20をCRT9に近づけると、CPU16は、OSD回路5及びビデオデコーダ6にコマンドを送信する。OSD回路5及びビデオデコーダ6は、コマンドを受信すると、CRT9上の手20の画像を拡大する。ユーザ18が手20をCRT9から遠ざけると、手20の画像は縮小する。このような方法を用いることにより、ユーザ18は、極めて自然な感覚で、ズーミングを行うことができる。また、ユーザ18は、ズーミングを行う前に、カーソル24を用いて画像の範囲を選択したり、手20の動きにあわせてカーソル24を移動させ、ズーミングの中心を選択することができる。
【0055】
ユーザ18は、3次元グラフィックスにおいて、カーソル24を制御することができるため、本発明を適用したインターフェースはコンピュータゲームにも適している。ユーザ18が、手20をCRT9に近づけると、カーソル24は小さくなり、3次元グラフィックスにおいて、遠くに位置するように見える。したがって、ユーザ18は、あるオブジェクトの背後に位置するオブジェクトを選択することができる。例えば、ユーザ18は、ファイルホルダから書類を検索し、選ぶ動作を体感することができる。このように、本発明を適用した遠隔制御装置を用いることにより、ユーザ18は、実際にものを扱ってるかのような感覚を得ることができる。
【0056】
また、本発明を適用した遠隔制御装置は、デジタルテレビジョン受像器のみならず、アナログテレビジョン受像器、パーソナルコンピュータテレビジョン電話の他、ビデオカメラ及びモニタ表示装置を備えるあらゆる装置に適用できる。また、表示装置は、CRTに限定されるものではなく、液晶表示装置及びプロジェクタ等のその他の表示装置を用いることも可能である。
【0057】
さらに、ビデオカメラ13が、モータ駆動されている場合、CPU16は、パン、チルト及びズームを自動的に制御し、手20の画像をビデオカメラ13の視野内において最適な位置、通常は中央に位置させる。
【0058】
本発明を適用した遠隔制御装置は、色信号を必要としないため、暗所においては、赤外線カメラを用いることができる。
【0059】
CPU16を、例えば、1394インターフェース等のネットワークインターフェースに接続した場合、本発明を適用した遠隔制御装置は、手の位置に関するデータを、ネットワークを介して、接続する他の装置に伝送し、その装置を制御することができる。CPU16を、テレビジョン受像器と独立して構成してもよい。
【0060】
本発明の好適な実施の形態を用いて本発明を説明したが、特許請求の範囲に示す本発明の思想を逸脱することなく、上述の実施の形態を様々に変形及び修正することができる。以下の請求の範囲における全ての機能プラス手段又は機能プラスステップで示される構成要素に対応する構造、要素、動作及び等価物には、他の請求項において具体的に明示した構成要素とともに、その機能を実現するあらゆる構造、要素又は動作が含まれるものとする。
【図面の簡単な説明】
【図1】本発明を適用した遠隔制御装置の基本的な構成を示すブロック図である。
【図2】ユーザが、どのように、手の動作を用いて、図1に示す遠隔制御装置に対して、遠隔制御を行う意図を認識させるかを説明するための図である。
【図3】ユーザが、どのように図1に示す遠隔制御装置を制御し、ユーザの手の動きに追従するカーソルを表示画面上で移動させるかを説明するための図である。
【図4】図1に示す遠隔制御装置が動作を算出しているときの、1つのビデオフレーム内におけるマクロブロック及び動きベクトルを矢印を用いて示す図である。
【図5】0.5秒間隔でとらえた動きベクトルのスナップショットを示す図である。
【図6】0.5秒間隔でとらえた動きベクトルのスナップショットを示す図である。
【図7】0.5秒間隔でとらえた動きベクトルのスナップショットを示す図である。
【図8】0.5秒間隔でとらえた動きベクトルのスナップショットを示す図である。
【図9】図1に示す遠隔制御装置が手の画像を判断し、画像をロックしたときのマクロブロックのスナップショットを示す図である。
【図10】ユーザが、どのように、上述した手の動きと異なる手の動きを用いて、図1に示す遠隔制御装置に対して、遠隔制御を行う意図を認識させるかを説明するための図である。
【図11】図10に示す手の動作を行ったときの、マクロブロック及び図1に示す遠隔制御装置が検出した動きベクトルを0.5秒間隔でとらえたスナップショットを示す図である。
【図12】図10に示す手の動作を行ったときの、マクロブロック及び図1に示す遠隔制御装置が検出した動きベクトルを0.5秒間隔でとらえたスナップショットを示す図である。
【図13】電子機器において、MPEGエンコーダを用いた変形例の基本的な構成を示すブロック図である。
【図14】本発明の第2の実施例において、ユーザが、どのように手の動作を用いて、図1に示す遠隔制御装置に対して、遠隔制御を行う意図を認識させるかを説明するための図である。
【図15】本発明の第2の実施例において、どのように動作が検出されるかを説明するための、2つの時間的に連続するフレーム及び各々のフレームにおける対応するマクロブロックを示す図である。
【図16】本発明の第2の実施例における遠隔制御装置が、斜線部で示す活性領域を演算処理したときの1つのビデオフレームにおけるマクロブロックを示す図である。
【図17】本発明の第2の実施例における遠隔制御装置が、斜線部で示す活性領域を演算処理したときの1つのビデオフレームにおけるマクロブロックを示す図である。
【図18】本発明の第2の実施例において、カーソルを操作するときの、ユーザの手の動きを示す図である。
【図19】本発明の第2の実施例における遠隔制御装置が、表示画面上のカーソルを操作するユーザの手の動きを検出をしているときのマクロブロックを示す図である。
【図20】本発明の第2の実施例における遠隔制御装置が、表示画面上のカーソルを操作するユーザの手の動きを検出をしているときのマクロブロックを示す図である。
【図21】ユーザが、どのように、本発明の第2の実施例における遠隔制御装置を制御し、表示画面上のカーソルをユーザの手の動きに追従するように移動させ、表示画面上のアイコンを選択するかを説明するための図である。
【図22】ユーザが、どのように、上述した手の動きと異なる手の動きを用いて、本発明の第2の実施例における遠隔制御装置に、ユーザの手を認識させるかを説明するための図である。
【図23】図23(a)及び図23(b)は、各々、ユーザが、どのように、上述した手の動きと異なる手の動きを用いて、本発明の第2の実施例における遠隔制御装置に対して、ユーザの手を認識させるかを説明するための図である。
【図24】本発明の第3の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。
【図25】本発明の第3の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。
【図26】本発明の第3の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。
【図27】本発明の第3の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。
【図28】ユーザが、どのように、自動カーソル感度調整機能の設定を行うかを説明するための図である。
【図29】ユーザがテレビジョン受像器の近くに位置するとき、図1に示す遠隔制御装置が、どのように、ユーザによる斜め方向の手の動きを検出するかを示す図である。
【図30】ユーザがテレビジョン受像器から離れて位置するとき、図1に示す遠隔制御装置が、どのように、ユーザによる斜め方向の手の動きを検出するかを示す図である。
【図31】本発明の第4の実施例において、3次元の動きを検出する遠隔制御装置の基本的な構成を示すブロック図である。
【図32】図31に示す遠隔制御装置を用いた実施例を示す図である。
【図33】図31に示す遠隔制御装置が活性領域を演算処理したときの1つのビデオフレームにおけるマクロブロック及びその活性領域を斜線部で示す図である。
【図34】図31に示す遠隔制御装置が斜線部で示す活性領域を演算処理したときの1つのビデオフレームにおけるマクロブロックを示す図である。

Claims (14)

  1. テレビジョン受像器用の遠隔制御装置において、
    テレビジョン受像器が実行可能な処理を表すアイコンを表示する表示装置と、
    視野内の移動オブジェクトの第1の所定の動きを遠隔制御開始の指示として検出し、上記移動オブジェクトの動きに追従し、上記移動オブジェクトの動きを示すカーソル制御信号を出力する動作検出手段と、
    上記表示装置、上記テレビジョン受像器及び上記動作検出手段に接続し、上記カーソル制御信号を受信し、上記移動オブジェクトの動きに追従する移動可能な視覚的指示手段を表示させるように上記表示装置を制御し、上記移動可能な視覚的指示手段を用いてユーザが選択したアイコンに対応する動作を実行させるように上記テレビジョン受像器を制御する制御手段とを備え、
    上記動作検出手段は、カメラと、上記カメラに接続し、上記カメラが出力する映像信号を離散コサイン変換する離散コサイン変換手段と、上記離散コサイン変換手段に接続し、離散コサイン変換処理された映像信号を量子化する量子化手段と、上記量子化手段に接続し、離散コサイン変換処理された映像信号を逆離散コサイン変換処理する逆離散コサイン変換手段と、上記逆離散コサイン変換手段に接続し、上記逆離散コサイン変換部からの出力信号を格納するフレームメモリと、予測フレームにおいて、上記カメラ及び上記離散コサイン変換回路間に介在し、上記フレームメモリが出力する復元されたフレーム内のデータから上記カメラが出力する映像信号を減算する減算ノードと、予測フレームにおいて、上記フレームメモリ及び上記逆離散コサイン変換回路間に介在し、上記逆離散コサイン変換回路が出力する映像信号に上記フレームメモリが出力する復元されたフレーム内のデータを加算する加算ノードと、上記フレームに接続し、上記フレームに格納された前フレーム及び現フレームを比較し、前フレーム及び現フレーム間の各々のマクロブロックに関して動きベクトルを算出する動作検出部とを備えることを特徴とする遠隔制御装置。
  2. 上記動作検出手段は、上記移動可能な視覚的指示手段と特定のアイコンが上記表示装置上で重なったとき、上記移動オブジェクトの第2の所定の動きを検出することにより、ユーザによるアイコンの選択を検出することを特徴とする請求項1記載の遠隔制御装置。
  3. 上記第2の所定の動きは、上記移動可能な視覚的指示手段と特定のアイコンが上記表示装置上で重なった後のある一定時間内における上記移動オブジェクトの動きの停止であることを特徴とする請求項2記載の遠隔制御装置。
  4. 上記動作検出手段は、ビデオカメラを備えることを特徴とする請求項1記載の遠隔制御装置。
  5. 上記移動可能な視覚的指示手段は、カーソルであることを特徴とする請求項1記載の遠隔制御装置。
  6. 上記表示装置は、陰極線管であることを特徴とする請求項1記載の遠隔制御装置。
  7. 上記移動オブジェクトは、ユーザの手であり、上記第1の所定の動きは、円を描く動作であることを特徴とする請求項1記載の遠隔制御装置。
  8. 上記動作検出手段は、ビデオカメラを備え、上記ビデオカメラが出力する映像信号における2つの連続するビデオフレーム間の各々のマクロブロックの動きベクトルを算出することを特徴とする請求項1記載の遠隔制御装置。
  9. 上記ビデオフレームの各々は、上記移動オブジェクトの動きを示す複数の動きベクトルを有する複数のマクロブロックから構成される第1及び第2の領域を有し、上記第1及び第2の領域において、隣接する複数の動きベクトルはほぼ同方向を指すことを特徴とする請求項8記載の遠隔制御装置。
  10. 上記動作検出手段は、上記移動オブジェクトを追跡するか追跡しないかを決定するとき、上記ビデオフレームの各々について、上記第1及び第2の領域が、(a)上記動きベクトルが時計回り又は反時計回りに一回転する、(b)上記第1及び第2の領域が初めに位置していた位置に戻るという2つの条件を満たすものであるかを判断し、上記2つの条件を満たす領域をロックすることを特徴とする請求項9記載の遠隔制御装置。
  11. 上記ビデオフレームは、上記移動オブジェクトの検出された動きを示す動きベクトルを有する複数のマクロブロックから構成される第1及び第2の領域を有し、上記第1及び第2の領域において、隣接する動きベクトルはほぼ同方向を示すことを特徴とする請求項1記載の遠隔制御装置。
  12. 上記動作検出手段は、上記移動オブジェクトを追跡するか追跡しないかを決定するとき、ビデオフレームの各々について、上記第1及び第2の領域が、(a)上記動きベクトルが時計回り又は反時計回りに一回転する、(b)上記第1及び第2の領域が初めに位置していた位置に戻るという2つの条件を満たすものであるかを判断し、上記2つの条件を満たす領域をロックすることを特徴とする請求項11記載の遠隔制御装置。
  13. 上記遠隔制御装置は、上記動作検出手段が検出した移動オブジェクトの移動距離に対応して、上記表示装置上に表示される上記移動可能な視覚的指示手段の移動距離を自動的に調整する自動カーソル感度制御手段を備えることを特徴とする請求項1記載の遠隔制御装置。
  14. 上記自動カーソル感度制御手段は、上記動作検出手段が検出した上記第1の所定の動きに対応して、上記表示装置上の上記移動可能な視覚的指示手段の移動距離が一定となるように制御することを特徴とする請求項13記載の遠隔制御装置。
JP29153999A 1998-10-13 1999-10-13 動作検知インターフェース Expired - Lifetime JP5048890B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/170,871 US6501515B1 (en) 1998-10-13 1998-10-13 Remote control system
US09/170871 1998-10-13
US09/193,594 US6498628B2 (en) 1998-10-13 1998-11-17 Motion sensing interface
US09/193594 1998-11-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011062985A Division JP5222376B2 (ja) 1998-10-13 2011-03-22 動作検知インターフェース

Publications (2)

Publication Number Publication Date
JP2000196914A JP2000196914A (ja) 2000-07-14
JP5048890B2 true JP5048890B2 (ja) 2012-10-17

Family

ID=26866506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29153999A Expired - Lifetime JP5048890B2 (ja) 1998-10-13 1999-10-13 動作検知インターフェース

Country Status (1)

Country Link
JP (1) JP5048890B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1500352A (zh) * 2001-03-26 2004-05-26 株式会社迈希尔 响应用户动作处理运动图像的方法
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP4419768B2 (ja) 2004-09-21 2010-02-24 日本ビクター株式会社 電子機器の制御装置
KR100724939B1 (ko) * 2005-06-20 2007-06-04 삼성전자주식회사 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기
JP2007172577A (ja) * 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
JP4984583B2 (ja) * 2006-03-15 2012-07-25 オムロン株式会社 表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および記録媒体
JP4968922B2 (ja) * 2007-06-19 2012-07-04 キヤノン株式会社 機器制御装置及び制御方法
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP2010176510A (ja) * 2009-01-30 2010-08-12 Sanyo Electric Co Ltd 情報表示装置
KR20110007806A (ko) 2009-07-17 2011-01-25 삼성전자주식회사 카메라를 이용하여 손동작을 인식하는 장치 및 방법
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
MX2013004805A (es) 2010-11-01 2013-07-02 Thomson Licensing Metodo y dispositivo para detectar introduccion de ademanes.
KR20120072660A (ko) * 2010-12-24 2012-07-04 삼성전기주식회사 이차원 이미지 센서를 이용한 사용자 인터페이스 장치 및 방법
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
JP5596574B2 (ja) * 2011-01-21 2014-09-24 日立コンシューマエレクトロニクス株式会社 情報処理装置
JP5817149B2 (ja) * 2011-03-04 2015-11-18 株式会社ニコン 投影装置
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
JP5509227B2 (ja) * 2012-01-31 2014-06-04 株式会社コナミデジタルエンタテインメント 移動制御装置、移動制御装置の制御方法、及びプログラム
JP2015535971A (ja) * 2012-09-12 2015-12-17 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びその制御方法
CN103702058B (zh) * 2012-09-27 2015-09-16 珠海扬智电子科技有限公司 解交错运算的宏块状态辨识方法与影像处理装置
JP2014137667A (ja) * 2013-01-16 2014-07-28 Mitsubishi Electric Corp 制御装置及び制御方法
JP5579293B2 (ja) * 2013-03-07 2014-08-27 富士通テン株式会社 ディスプレイ装置
WO2015146813A1 (ja) * 2014-03-28 2015-10-01 株式会社ソニー・コンピュータエンタテインメント オブジェクトの操作方法、オブジェクトの操作プログラム、及び情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075978A (ja) * 1993-06-18 1995-01-10 Sony Corp 入力装置
JPH09190325A (ja) * 1996-01-09 1997-07-22 Canon Inc 表示装置

Also Published As

Publication number Publication date
JP2000196914A (ja) 2000-07-14

Similar Documents

Publication Publication Date Title
JP5222376B2 (ja) 動作検知インターフェース
JP5048890B2 (ja) 動作検知インターフェース
US8400506B2 (en) Camera control apparatus, method for controlling camera, and storage medium
JP4575829B2 (ja) 表示画面上位置解析装置及び表示画面上位置解析プログラム
US6940558B2 (en) Streaming content associated with a portion of a TV screen to a companion device
US20060087520A1 (en) Image display program and storage medium containing same
US20090040238A1 (en) Image display program and storage medium containing same
US20130176219A1 (en) Display apparatus and controlling method thereof
JP6622650B2 (ja) 情報処理装置及びその制御方法、撮影システム
CN103354596A (zh) 自动连发图像撷取方法、追踪对象的方法及相关移动装置
JP2006235771A (ja) 遠隔操作装置
JP2003316510A (ja) 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
JP5677229B2 (ja) 映像字幕検出装置およびそのプログラム
JP2012257021A (ja) 表示制御装置および方法、プログラム、並びに記録媒体
KR101503017B1 (ko) 모션 검출 방법 및 장치
JP4796696B2 (ja) ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体
US20030044083A1 (en) Image processing apparatus, image processing method, and image processing program
US20080151991A1 (en) System and method for implementing improved zoom control in video playback
JP2013080266A (ja) 入力装置
EP1110397A1 (en) Real-time tracking of an object of interest using a hybrid optical and virtual zooming mechanism
KR100651292B1 (ko) 카메라가 탑재된 티브이 및 그 티브이의 영상 정보 제공방법과 그 시스템
KR20030085810A (ko) 영상데이터의 변화값 추출을 이용한 영상데이터 저장방법
US11785342B2 (en) Method of activating an object-specific action
CN117459809A (zh) 摄像设备、控制方法和存储介质
CN112087626A (zh) 图像处理方法、装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060807

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080513

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120410

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120413

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120510

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5048890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term