JP4595322B2 - 画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像オブジェクトをポインティングするか、画像オブジェクトを追尾する画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関する。

従来、画像処理装置から出力される画像データにより表示される画像に含まれる画像オブジェクトを追尾の対象として設定し、設定された画像オブジェクトを追尾する画像処理システムが利用されている。

図１は、画像オブジェクトを追跡する画像処理システムの従来の構成を示す図である。

画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置１２に供給する。

画像処理装置１２は、リモートコントローラ１３より供給された制御信号を基に、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置１４に供給する。

リモートコントローラ１３は、ユーザの操作により、制御信号を生成し、生成した制御信号を画像処理装置１２に供給する。

画像提示装置１４は、液晶表示装置などからなり、画像処理装置１２から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。

画像処理装置１２は、画像入出力部３１、制御部３２、画像追尾処理部３３、および画像拡大処理部３４から構成される。

画像入出力部３１は、画像再生装置１１から供給された画像データを入力し、画像オブジェクトを追尾した結果の画像データを画像提示装置１４に供給する。制御部３２は、画像処理装置１２全体を制御する。画像追尾処理部３３は、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾し、追尾された画像オブジェクトの画面上の位置を画像拡大処理部３４に供給する。画像拡大処理部３４は、画像追尾処理部３３から供給された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大して、拡大した画像オブジェクトを表示させる画像データを画像入出力部３１に供給する。

画像入出力部３１は、画像入力部５１および画像出力部５２から構成される。

画像入力部５１は、画像再生装置１１より供給された画像データを入力して、入力した画像データを画像出力部５２および画像追尾処理部３３に供給する。

画像出力部５２は、画像入力部５１より供給された画像データ、または画像拡大処理部３４から供給された画像データのいずれか一方を選択する。また、画像出力部５２は、制御部３２から供給された表示データを選択した画像データに重畳する。画像出力部５２は、選択した画像データを画像提示装置１４に供給する。

リモートコントローラ１３は、キー入力部７１および送信部７２から構成される。

ユーザによりキー入力部７１のボタンが押下された場合、キー入力部７１は、ボタンに対応する操作信号を送信部７２に供給する。

送信部７２は、キー入力部７１より供給された操作信号に対応する制御信号を制御部３２に送信する。

制御部３２は、受信部９１、制御ＣＰＵ（Central Processing Unit）９２、およびＯＳＤ（On Screen Display）表示制御部９３から構成される。

受信部９１は、送信部７２より送信された制御信号を受信し、受信した制御信号を制御ＣＰＵ９２に供給する。

制御ＣＰＵ９２は、受信部９１より供給された制御信号を基に、ＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、ＯＳＤ表示制御部９３、画像追尾処理部３３および画像拡大処理部３４に供給する。

ＯＳＤ表示制御部９３は、制御ＣＰＵ９２より供給されたＯＳＤ表示制御信号を基に、枠などを表示させるための表示データを生成し、生成した表示データを画像出力部５２に供給する。

画像追尾処理部３３は、追尾オブジェクト指示部１１１、テンプレート記憶部１１２、サーチエリア記憶部１１３、および追尾処理部１１４から構成される。

追尾オブジェクト指示部１１１は、制御ＣＰＵ９２より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部１１２に供給する。

テンプレート記憶部１１２は、追尾オブジェクト指示部１１１より供給された追尾領域の位置情報を基に、画像入力部５１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。テンプレート記憶部１１２は、記憶している画像オブジェクトを追尾処理部１１４に供給する。

サーチエリア記憶部１１３は、画像入力部５１より供給された画像データから検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部１１３は、記憶している検索領域の画像データを追尾処理部１１４に供給する。

追尾処理部１１４は、サーチエリア記憶部１１３より供給された検索領域から、テンプレート記憶部１１２より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部１１１および画像拡大処理部３４に供給する。

画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部１１１は、追尾処理部１１４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部１１２に供給する。その後、テンプレート記憶部１１２は、追尾オブジェクト指示部１１１より供給された位置情報を基に、画像入力部５１より供給された画像データから画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶して、追尾の処理が繰り返される。

画像拡大処理部３４は、拡大パラメータ指示部１３１および拡大処理部１３２から構成される。

拡大パラメータ指示部１３１は、制御ＣＰＵ９２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部１１４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率）を生成し、生成した拡大パラメータを拡大処理部１３２に供給する。

拡大処理部１３２は、拡大パラメータ指示部１３１より供給された拡大パラメータを基に、画像入力部５１より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の一部を示す画像データ（画像オブジェクト）を画像入出力部３１の画像出力部５２に供給する。

画像入出力部３１の画像出力部５２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に追尾され、拡大された画像オブジェクトを表示させる。

以下、図２乃至図７の図を参照して、リモートコントローラ１３による画像オブジェクトの設定の処理について説明する。

図２乃至図７で示される例において、画像提示装置１４は、人の画像を表示している。また、リモートコントローラ１３のキー入力部７１は、追尾位置指定ボタン１４１、枠移動ボタン１４２、拡大ボタン１４３、縮小ボタン１４４、および決定ボタン１４５を備える。

図２で示される例において、画像提示装置１４は、画像出力部５２より供給された画像データを基に、人の全身の画像を表示している。また、ユーザによりリモートコントローラ１３は操作されていない。

図３で示されるように、ユーザによりリモートコントローラ１３の追尾位置指定ボタン１４１が押下された場合、キー入力部７１は、追尾位置の指定の開始を示す操作信号を生成し、生成した操作信号を送信部７２に供給する。送信部７２は、操作信号に対応する、追尾位置の指定の開始を指示する制御信号を画像処理装置１２に送信する。

画像処理装置１２は、リモートコントローラ１３から送信されてきた、追尾位置の指定の開始を指示する制御信号を受信すると、図３で示されるように、画像提示装置１４に、枠１５１が重畳された画像を表示させる。なお、枠１５１は、初期位置に表示される。

図４で示されるように、ユーザによりリモートコントローラ１３の枠移動ボタン１４２が押下された場合、画像処理装置１２は、図４で示されるように、画像提示装置１４に、枠１５１を移動させた画像を表示させる。

図５で示されるように、ユーザによりリモートコントローラ１３の拡大ボタン１４３が押下された場合、画像処理装置１２は、図５で示されるように、画像提示装置１４に、拡大した枠１５１を重畳した画像を表示させる。すなわち、図５において、枠１５１の外側の四角の枠が拡大後の枠１５１となる。

図６で示されるように、ユーザによりリモートコントローラ１３の縮小ボタン１４４が押下された場合、画像処理装置１２は、図６で示されるように、画像提示装置１４に、縮小した枠１５１を重畳した画像を表示させる。すなわち、図６において、枠１５１の内側の四角の枠が縮小後の枠１５１となる。

図７で示されるように、ユーザによりリモートコントローラ１３の決定ボタン１４５が押下された場合、画像処理装置１２は、枠１５１で指定されていた人の顔の画像である画像オブジェクトを拡大して、画像提示装置１４に、拡大した人の顔の画像を表示しさせる。そして、追尾の処理が開始される。すなわち、この拡大された人の顔の画像は、追尾される画像オブジェクトである。

次に、図８および図９を参照して追尾について説明する。

追尾とは、追尾の対象とした画像オブジェクトを画像から検出し、画像上の画像オブジェクトの位置を特定することをいう。

図８は、歩いている人の画像の例を示す図である。図８Ａで示されるように、所定の時刻において、画面の左側に表示されている、左から右に歩いている人の画像は、所定の時刻を経過すると、図８Ｂで示されるように、画面の右側に表示される。

追尾をしない場合、画像提示装置１４に、歩いている人の全身が表示される。

一方、追尾をする場合、リモートコントローラ１３を操作することで、枠１５１の位置または大きさが指定され、追尾の対象（画像オブジェクト）が決定される。例えば、図８Ａで示されるように、画像提示装置１４に表示された人の顔に枠１５１を指定することにより、追尾の対象となる画像オブジェクトである人の顔の追尾が指示される。

図９は、追尾され、拡大された画像オブジェクトの例を示す図である。図９Ａで示される画像は、図８Ａの枠１５１で指定されている、追尾の対象である画像オブジェクトを拡大したものである。また、図９Ｂで示される画像は、追尾された画像オブジェクト（図８Ｂの枠１５１で示される画像オブジェクト）を拡大したものである。

追尾の対象となる画像オブジェクトである人の顔の追尾が指示されると、画像処理装置１２は、入力された画像データから、追尾の対象となる画像オブジェクトを検出して、画像上の画像オブジェクトの位置を特定し、特定された位置を基準として、画像を拡大して、画像提示装置１４に表示させる。その結果、画像提示装置１４に、追尾の対象とした人の顔を拡大した画像が表示される。

以上のようにして、追尾が行われる。

また、提示された画像をＣＣＤ（Charge Coupled Devices）で撮影し、ポインティングを行う画像処理システムが用いられている。

冷蔵庫に保管される保管物を各々表す複数のアイコンデータをサーバに接続されているハードディスクに予め記憶しておき、冷蔵庫に保管物を保管する際に当該保管物を示す画像の画像データをリモコンのＣＣＤセンサによって取得し、取得した画像データに基づいて当該保管物を特定し、特定した保管物に対応するアイコンデータが示すアイコンを必要に応じてモニタに表示する手法がある。（例えば、特許文献１参照）

また、キーを押下するとレーザーポインタが発光し、キーを放すとＣＣＤカメラが表示画面を撮像し、表示画面像及び指示ポイント像を含むＣＣＤ入力画像を取得し、表示画面像の辺や指示ポイント像の画像上の位置情報を求め、位置情報から表示画面上の指示ポイントの座標を求め、座標情報を指示画面表示装置に送信する手法がある。（例えば、特許文献２参照）

また、赤外ポインターを用いて画像表示領域に投写されたスポット光の位置検出を行うシステムにおいて、画像表示領域を撮像するＣＣＤカメラと、撮像された画像表示領域に含まれるスポット光の指示位置を検出し、赤外ポインターによる指示動作時に、赤外ポインターから送信されてくる状態信号を受信し、状態信号の受信タイミングに基づくスポット光の検出位置を画像表示領域上における指示位置として検出するように構成する手法がある。（例えば、特許文献３参照）

また、画像を表示する為のプロジェクタと、ディスプレイ領域を撮像するＣＣＤカメラと、撮像信号に基づき、ディスプレイ領域に含まれるプレゼンターの指示画像の影の領域、または実像領域からポインティング位置を検出する手法がある。（例えば、特許文献４参照）

特開２００２−９２３０８号公報

特開２００１−２３６１８１号公報

特開２００１−２３６１７９号公報

特開平１１−３４５０８７号公報

しかしながら、従来は、ＯＳＤ（On Screen Device）とカーソルなどを組み合わせてポインティングをしていたため、所望の位置のポインティングを迅速かつ簡単に行うことができなかった。

また、ＣＣＤの撮像時の部屋の明るさなどの影響を受けてしまうと、検出する座標の位置などに誤差が生じてしまい、画像オブジェクトのポインティングを正確に行うことができなかった。

そのため、画像オブジェクトのポインティングにおいて、迅速に簡単なポインティングが行われているとは言えなかった。

本発明の画像処理システムは、リモートコントローラが、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの決定を画像処理装置に指示する入力手段と、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示を画像処理装置に送信する送信手段とを含み、画像処理装置は、リモートコントローラから送信されてきた第２の画像データ、または画像オブジェクトの決定の指示を受信する受信手段と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段と、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御手段とを含み、検出手段は、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。

本発明のリモートコントローラは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの決定を画像処理装置に指示する入力手段と、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示を画像処理装置に送信する送信手段とを備えることを特徴とする。

入力手段は、画像オブジェクトの拡大率を画像処理装置に指示し、送信手段は、さらに画像処理装置に、画像オブジェクトの拡大率の指示を送信するようにすることができる。

制御方法は、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。

本発明の第１の記録媒体のプログラムは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。

本発明の第１のプログラムは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの決定の画像処理装置への指示を制御する入力制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示の画像処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。

本発明の画像処理装置は、リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示を受信する受信手段と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段と、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御手段とを備え、検出手段は、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出する。

受信手段は、リモートコントローラから送信されてきた、画像オブジェクトの拡大率の
指示をさらに受信し、表示制御手段は、指示された拡大率に対応する、枠を表示させるよ
うに、画像の表示を制御するようにすることができる。

第１の画像データに対応する所定の検索領域の画像データを記憶する第１の記憶手段と、第２の画像データを記憶する第２の記憶手段とがさらに設けられており、検出手段は、第１の記憶手段に記憶された検索領域の画像データから、第２の記憶手段に記憶された第２の画像データにより示される、追尾の対象となる画像オブジェクトを検索するようにすることができる。

本発明の画像処理方法は、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。

本発明の第２の記録媒体のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出することを特徴とする。

本発明の第２のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップと、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御ステップとを含み、検出ステップの処理によって、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像を検出する処理をコンピュータに実行させることを特徴とする。

本発明の画像処理システムにおいては、リモートコントローラにより、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトが撮像され、画像オブジェクトの決定が画像処理装置に指示され、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示が画像処理装置に送信され、画像処理装置により、リモートコントローラから送信されてきた第２の画像データ、または画像オブジェクトの決定の指示が受信され、第２の画像データを基に、第１の画像データから画像オブジェクトが検出され、検出された画像オブジェクトを示す枠を表示させるように、画像の表示が制御され、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像が検出される。

本発明のリモートコントローラおよび方法、第１の記録媒体、並びに第１のプログラムにおいては、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトが撮像され、画像オブジェクトの決定が画像処理装置に指示され、画像オブジェクトの撮像によって得られた第２の画像データ、または画像オブジェクトの決定の指示が画像処理装置に送信される。

本発明の画像処理装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または画像オブジェクトの決定の指示が受信され、第２の画像データを基に、第１の画像データから画像オブジェクトが検出され、検出された画像オブジェクトを示す枠を表示させるように、画像の表示が制御され、画像オブジェクトの決定が指示された場合、第１の画像データから、追尾の対象となる画像オブジェクトとしての枠の画像が検出される。

第１の本発明によれば、画像オブジェクトを追尾することができる。また、第１の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。

第２の本発明によれば、画像処理装置において、画像オブジェクトをポインティングすることができる。また、第２の本発明によれば、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。

第３の本発明によれば、画像オブジェクトを追尾することができる。また、第３の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１０は、本発明に係る画像処理システムの一実施の形態の構成を示す図である。

画像処理システム２は、画像再生装置１１、画像提示装置１４、画像処理装置２０１、およびリモートコントローラ２０２を含むように構成される。

画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置２０１に供給する。例えば、画像再生装置１１は、ビデオカセットレコーダ、ハードディスクレコーダ、およびＤＶＤ（Digital Versatile Disk）プレーヤなどの画像再生装置、並びにテレビチューナなどの放送受信装置とすることが可能である。

画像提示装置１４は、ＣＲＴ（Cathode-Ray Tube）表示装置または液晶表示装置などからなり、画像処理装置２０１から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。

画像処理装置２０１は、リモートコントローラ２０２から供給された制御信号を基に、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置１４に供給する。

また、画像処理装置２０１は、例えば、従来のリモートコントローラ１３（図１）にから供給された制御信号を基に、画像データを処理することができる。すなわち、画像処理装置２０１は、単独で画像オブジェクトを追尾する画像処理装置として機能することができる。

リモートコントローラ２０２は、ユーザの操作により、画像処理装置２０１を制御するための制御信号（コマンド）を生成し、生成した制御信号を画像処理装置２０１に供給する。リモートコントローラ２０２の詳細については、図１１を参照して後述する。

画像処理装置２０１は、画像入出力部２２１、制御部２２２、画像追尾処理部２２３、および画像拡大処理部２２４をさらに含む。例えば、画像入出力部２２１、制御部２２２、画像追尾処理部２２３、および画像拡大処理部２２４は、それぞれ、１つの基板として構成される。このようにすることで、機能の追加が容易になる。

画像入出力部２２１は、画像再生装置１１から供給された画像データを入力する。また、画像入出力部２２１は、画像オブジェクトを追尾した結果の画像データを画像提示装置１４に供給する。

制御部２２２は、リモートコントローラ２０２から送信されてきた制御信号、および追尾する画像オブジェクトの画像データを受信する。制御部２２２は、制御信号および受信した画像データを基に、画像処理装置２０１全体を制御する。制御部２２２は、追尾する画像オブジェクトの画像データを画像追尾処理部２２３に供給する。

画像追尾処理部２２３は、リモートコントローラ２０２から送信され、制御部２２２によって受信され、制御部２２２から供給された追尾する画像オブジェクトの画像データを基に、画像処再生装置１１より供給された画像データから、画像オブジェクトを追尾する。画像追尾処理部２２３は、追尾した画像オブジェクトの画面上の位置を画像拡大処理部２２４に供給する。

画像拡大処理部２２４は、画像追尾処理部２２３から供給された、追尾された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大する。画像拡大処理部２２４は、拡大した画像オブジェクトを表示させる画像データを画像入出力部２２１に供給する。

次に、リモートコントローラ２０２の外観について、図１１を参照して説明する。

リモートコントローラ２０２の上面には、ユーザにより押圧操作されるキー入力部２４１が配置され、リモートコントローラ２０２がユーザに把持された場合、リモートコントローラ２０２の画像処理装置２０１側を向く面には、送信部２４２および撮像部２４３が配置されている。

キー入力部２４１は、画像オブジェクトを指定するとき、または拡大率を画像処理装置２０１に指示するときなど、ユーザによって操作される。

また、リモートコントローラ２０２は、単独で視聴環境のセンサとしても機能する。例えば、チャンネルの切り替え、音量の制御、またはその他画質を制御するパラメータの変更などを指示することが可能である。

送信部２４２は、画像処理装置２０１に制御信号を送信する。制御信号等を、送信部２４２が画像処理装置２０１に送信する方式、すなわち、リモートコントローラ２０２と画像処理装置２０１との間の通信方式は特に限定しない。例えば、通信方式として、赤外線または無線を用いることができる。

撮像部２４３は、画像提示装置１４に表示された画像を撮像する。例えば、撮像部２４３は、ＣＣＤ（Charge Coupled Device）とすることができる。例えば、撮像部２４３は、望遠レンズからなる光学系を有し、撮像部２４３の視野角は、極めて狭く設定される。

このように、撮像部２４３は、画像提示装置１４に表示された画像のうち、一部の画像である画像オブジェクトを撮像するのに適するように構成される。送信部２４２は、撮像された画像オブジェクトの画像データを画像処理装置２０１に送信する。

図１２は、図１０の構成を有する画像処理システムの構成を示すブロック図である。

リモートコントローラ２０２は、キー入力部２４１、送信部２４２、および撮像部２４３に加えて、制御部２４４を含むように構成されている。

ユーザによりキー入力部２４１のボタンが押下された場合、キー入力部２４１は、押下されたボタンに対応する操作信号を制御部２４４に供給する。

撮像部２４３は、制御部２４４の制御を基に、画像提示装置１４に表示された画像のうち、追尾する画像オブジェクトを撮像し、撮像により生成された画像データを制御部２４４に供給する。

以下、撮像部２４３の撮像により生成された画像データを、撮像データと称する。

送信部２４２は、制御部２４４の制御を基に、キー入力部２４１からの操作信号に対応する制御信号を画像処理装置２０１に送信すると共に、撮像部２４３の撮像により生成された撮像データを画像処理装置２０１に送信する。

画像入出力部２２１は、画像入力部２６１および画像出力部２６２をさらに含むように構成される。

画像入力部２６１は、画像再生装置１１より供給された画像データを入力して、入力した画像データを画像出力部２６２および画像追尾処理部２２３に供給する。

画像出力部２６２は、画像入力部２６１より供給された画像データ、または画像拡大処理部２２４から供給された、追尾する画像オブジェクトを拡大した画像データのいずれか一方を選択する。また、画像処理部２６２は、制御部２２２から供給された、後述する枠などを表示するための表示データを、選択した画像データに重畳する。画像出力部２６２は、選択した画像データを画像提示装置１４に供給する。

制御部２２２は、受信部２８１、制御ＣＰＵ２８２、およびＯＳＤ表示制御部２８３を含むように構成される。

受信部２８１は、送信部２４２より送信された制御信号を受信し、受信した制御信号を制御ＣＰＵ２８２に供給する。また、受信部２８１は、送信部２４２より送信された、追尾する画像オブジェクトの撮像データを受信し、受信した撮像データを画像追尾処理部２２３に供給する。

制御ＣＰＵ２８２は、受信部２８１より供給された制御信号を基に、ＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、ＯＳＤ表示制御部２８３、画像追尾処理部２２３および画像拡大処理部２２４に供給する。

画像追尾処理部２２３は、追尾オブジェクト指示部３０１、テンプレート記憶部３０２、サーチエリア記憶部３０３、および追尾処理部３０４を含むように構成される。

追尾オブジェクト指示部３０１は、制御ＣＰＵ２８２より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部３０２に供給する。

テンプレート記憶部３０２は、追尾する画像オブジェクトを示す、受信部２８１から供給された撮像データを記憶する。または、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された追尾領域の位置情報を基に、画像入力部２６１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。

例えば、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、画像入力部２６１より供給された画像データから、６４画素×６４画素の領域の画像オブジェクト（の画像データ）を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶する。

以下、追尾される画像オブジェクトが抽出される領域を追尾領域とも称する。

テンプレート記憶部３０２は、記憶している画像オブジェクトを示す画像データを追尾処理部３０４に供給する。

サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部３０３は、記憶している検索領域の画像データを追尾処理部３０４に供給する。

例えば、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、１２８画素×１２８画素の検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。

追尾処理部３０４は、サーチエリア記憶部３０３より供給された検索領域から、テンプレート記憶部３０２より供給された画像データより示される、追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および画像拡大処理部２２４に供給する。

画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部３０１は、追尾処理部３０４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部３０２に供給する。その後、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、画像入力部２６１より供給された画像データから画像オブジェクト（の画像データ）を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶して、追尾の処理が繰り返される。

画像拡大処理部２２４は、拡大パラメータ指示部３２１および拡大処理部３２２を含むように構成される。

拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部３０４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率などを指定するパラメータ）を生成し、生成した拡大パラメータを拡大処理部３２２に供給する。

拡大処理部３２２は、拡大パラメータ指示部３２１より供給された拡大パラメータを基に、画像入力部２６１より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の画像データ（画像オブジェクト）を画像入出力部２２１の画像出力部２６２に供給する。

画像入出力部２２１の画像出力部２６２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に追尾され、拡大された画像オブジェクトを表示させる。

画像提示装置１４は、画像出力部２６２より供給された画像データを基に、画像を表示する。

このように、リモートコントローラ２０２は、表示されている画像から追尾する画像オブジェクトを撮像して、追尾する画像オブジェクトを示す撮像データを生成して、生成した撮像データを画像処理装置２０１に供給する。画像処理装置２０１は、リモートコントローラ２０２から供給された、追尾する画像オブジェクトを示す撮像データを基に、画像データから画像オブジェクトを検出して、検出した画像オブジェクトの位置を特定することができる。

図１３は、図１２の構成を有する画像処理システムによる、追尾の処理を説明するフローチャートである。

ステップＳ１において、画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置２０１に供給する。

ステップＳ２において、画像処理装置２０１の画像入力部２６１は、画像再生装置１１より供給された画像データを取得し、取得した画像データを画像出力部２６２に供給する。画像出力部２６２は、画像入力部２６１より供給された画像データを取得し、取得した画像データを画像提示装置１４に供給する。

ステップＳ３において、画像提示装置１４は、画像出力部２６２より供給された画像データを基に、画像を表示する。この場合、追尾の指定を行っていないので、画像再生装置１１より供給された画像データが、そのまま画像提示装置１４に供給され、画像データによる画像が画像提示装置１４に表示される。

図１４の左側は、画像提示装置１４に表示されている画像を示す。例えば、画像提示装置１４には、人の画像が表示される。

また、図１４の右側は、リモートコントローラ２０２を示す。リモートコントローラ２０２のキー入力部２４１は、追尾位置指定ボタン３４１、拡大ボタン３４２、縮小ボタン３４３、および決定ボタン３４４を備える。

ステップＳ４において、制御部２４４は、キー入力部２４１からの操作信号を基に、ユーザがキー入力部２４１の追尾位置指定ボタン３４１を押下したか否か判定する。

ステップＳ４において、ユーザが追尾位置指定ボタン３４１を押下したと判定された場合、ステップＳ５に進み、画像処理装置２０１およびリモートコントローラ２０２は、追尾設定の処理を実行する。追尾の設定の処理の詳細は後述する。

ステップＳ６において、画像処理装置２０１は、追尾の処理を実行して、処理は終了する。追尾の処理の詳細は後述する。

ステップＳ４において、ユーザが追尾指定ボタン３４１を押下していないと判定された場合、ステップＳ５およびステップＳ６の処理はスキップされて、追尾の処理は実行されず、画像提示装置１４は、画像再生装置１１より供給された画像を表示して、処理は終了する。

次に、ステップＳ５の追尾の設定の処理に対応する、追尾の設定の処理の詳細について、図１５のフローチャートを参照して説明する。

ステップＳ１０１において、ユーザによる、リモートコントローラ２０２の操作に対応して、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示されている画像を撮像する。

図１６で示されるように、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示される画像のうち、図中において円で示される領域の画像を撮像する。ユーザは、リモートコントローラ２０２を上下左右に動かしたり、向きを変えたりすることで、画像提示装置１４に表示される画像のうち、所望の領域の画像をリモートコントローラ２０２に撮像させることができる。

撮像部２４３が撮像する撮像データの詳細について、図１７を参照して説明する。

図１７Ａは、画像提示装置１４に表示される円を含む画像の例を示す。

図１７Ｂは、画像提示装置１４に表示される円を含む画像のうち、リモートコントローラ２０２の撮像部２４３により、撮像されている領域３５１を示す。ユーザがリモートコントローラ２０２を動かすとと、画像提示装置１４に表示される画像のうち、リモートコントローラ２０２の撮像部２４３により、表示されている画像に対して、撮像される領域３５１が移動する。例えば、図１７Ｂに示される例においては、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示される円を含む画像のうち、円の左上の扇形の部分を撮像している。

図１７Ｃは、撮像部２４３が、撮像した画像３５２を表す。例えば、撮像部２４３は、画像提示装置１４に表示される画像のうち、円の左上の扇形の部分の画像３５２を撮像する。

ステップＳ１０２において、リモートコントローラ２０２の送信部２４２は、ステップＳ１０１において、撮像部２４３により撮像された画像３５２を、画像処理装置２０１の受信部２８１に送信する。より詳細には、ステップＳ１０２において、送信部２４２は、撮像部２４３により撮像された画像３５２に対応する撮像データを、受信部２８１に送信する。

ステップＳ１０３において、画像処理装置２０１の受信部２８１は、リモートコントローラ２０２の送信部２４２から送信された撮像データを受信し、受信した撮像データを制御ＣＰＵ２８２およびテンプレート記憶部３０２に供給する。

図１８は、画像再生装置１１によって再生され、画像処理装置１２を介して供給された画像データを基に、画像提示装置１４が表示している人の画像の例を示す図である。リモートコントローラ２０２を操作して、画像提示装置１４に表示される人の顔の画像に撮像部２４３を向けた場合、撮像部２４３は、表示されている画像のうち、人の顔の画像を撮像し、撮像した人の顔の撮像データを制御部２４４を介して送信部２４２に供給する。リモートコントローラ２０２の送信部２４２は、撮像部２４３から供給された撮像データを画像処理装置２０１の受信部２８１に送信する。受信部２８１は、送信部２４２から送信されてきた撮像データを受信して、受信した撮像データをテンプレート記憶部３０２に供給する。

テンプレート記憶部３０２は、受信部２８１から供給された撮像データを記憶する。

図１９で示される例において、図中左側は、テンプレート記憶部３０２に記憶されている撮像データに対応する画像３５２を表す。より詳細には、テンプレート記憶部３０２に記憶されている撮像データに対応する画像３５２は、テンプレート記憶部３０２のメモリに記憶される。例えば、撮像データは、６４画素×６４画素からなる。

ステップＳ１０４において、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、検索領域を抽出し、抽出した検索領域を追尾処理部３０４に供給する。

図１９で示される例において、図中右側は、サーチエリア記憶部３０３に記憶されている画像データに対応する画像３６１を表す。サーチエリア記憶部３０３に記憶されている画像データは、画像入力部２２１より供給された画像データであるフレームの一部であり、フレームの検索対象となる領域の画像データが、サーチエリア記憶部３０３に備えるメモリに記憶される。例えば、検索対象となる領域は、１２８画素×１２８画素の領域である。

以下、検索対象となる領域の画像データを、検出対象画像データとも称する。

ステップＳ１０４において、追尾処理部３０４は、テンプレート記憶部３０２より供給された撮像データを基に、サーチエリア記憶部３０３より供給された検出対象画像データから画像を検索する。例えば、ステップＳ１０４において、追尾処理部３０４は、テンプレート記憶部３０２より供給された撮像データを基に、サーチエリア記憶部３０３より供給された検出対象画像データから、撮像データに最も類似する画像オブジェクトを検出する。

類似する画像オブジェクトの検出の方法の詳細について、図２０乃至図２２を参照して説明する。図２０で示されるように、例えば、追尾処理部３０４は、検出対象画像データに対する撮像データの位置を、いわゆるラスタスキャン順に移動させて、その位置における検出対象画像データの画像オブジェクトと撮像データで示される画像オブジェクトとの類似の度合いを評価して、撮像データ３５１で示される画像オブジェクトに最も類似する、検出対象画像データに含まれる画像オブジェクトを検出する。

例えば、画像オブジェクトを検出において、検出対象画像データに対する撮像データの位置は、検出対象画像データの左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような撮像データの位置の移動は、撮像データが検出対象画像データの右下に達するまで繰り返される。

例えば、検出対象画像データに対する撮像データの１つの位置毎に、検出対象画像データの画素の画素値と、撮像データの対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる撮像データの位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。

なお、検出対象画像データに対する撮像データの移動の間隔は、例えば、１画素ずつ移動するようにすることができる。

この場合、移動の間隔は所望の間隔とすることが可能である。検出対象画像データに対する撮像データの移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。

図２１は、画像オブジェクトの検出の処理において、ラスタスキャン順に撮像データを移動させる場合の、検出対象画像データの画像３６１に対する、撮像データの画像３５１の最初の位置の例を示す。すなわち、図２１は、図２０で示される左上の画像を拡大したものである。図２１で示されるように、撮像データと、検出対象画像データの背景の部分とが比較されることになるので、画素値の差の絶対値が大きくなり、検出しようとする画像オブジェクトは存在しないと判定される。

これに対して、図２２で示されるように、撮像データの画像３５１と検出対象画像データの画像３６１のもっとも類似する部分の画像とが、重なる位置においては、検出しようとする画像オブジェクトを示す撮像データと、画像データに含まれる、検出されるべき画像オブジェクトとが比較され、画素値の差が小さくなる。従って、この位置における、画素値の差の絶対値（評価値）が、他の位置における画素値の差の絶対値（評価値）よりも小さくなり、検出しようとする画像オブジェクトがその位置に存在すると判定される。

画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。

また、追尾処理部３０４は、画像オブジェクトを検出する場合、撮像データおよび検出対象画像データを内部に備えるメモリに記憶する。撮像データおよび検出対象画像データのデータ量が、追尾処理部３０４の内部のメモリの容量よりも大きい場合、撮像データおよび検出対象画像データについて、データの間引きの処理を行い、データ量を少なくしてから、処理を実行するようにしてもよい。

図１５に戻り、ステップＳ１０５において、追尾処理部３０４は、検出した画像オブジェクトから、画像オブジェクトの中心位置を取得する。例えば、ステップＳ１０５において、追尾処理部３０４は、画像オブジェクトの中心位置として、検出しようとする画像オブジェクトが存在すると判定された位置における、撮像データと比較された検出対象画像データの領域の中心位置を取得する。

また、例えば、画像オブジェクトの中心位置は、画像オブジェクトの重心とするようにしてもよい。

このように、画像オブジェクトの中心位置を検出することで、後の処理において、より正確に画像オブジェクトの位置を表示できるようになると共に、より正確に画像オブジェクトを追尾することができるようになる。

ステップＳ１０５において、追尾処理部３０４は、画像オブジェクトの中心位置を示す位置データを追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。さらに、追尾オブジェクト指示部３０１は、検出した画像オブジェクトの中心位置を示す位置データをＯＳＤ表示制御部２８３に供給する。

ステップＳ１０６において、ＯＳＤ表示制御部２８３は、画像提示装置１４に、拡大枠を表示させる。例えば、ステップＳ１０６において、ＯＳＤ表示制御部２８３は、ステップＳ１０５の処理で検出された画像オブジェクトの中心位置に、拡大枠を画像提示装置１４に表示させる表示データを生成して、生成した表示データを画像出力部２６２に供給する。画像出力部２６２は、画像データに表示データを重畳して、表示データを重畳した画像データを画像提示装置１４に供給する。

図２３で示される例は、図１８で示される人の顔を画像オブジェクトとした場合の、画像提示装置１４に表示される画像オブジェクトの中心位置ｔを示す。

ステップＳ１０７において、制御ＣＰＵ２８２は、リモートコントローラ２０２から送信されてくる制御信号を基に、拡大率が指定されたか否かを判定する。

例えば、ユーザが拡大ボタン３４２または縮小ボタン３４３を押下し、拡大率が指定された場合、キー入力部２４１から供給される操作信号を基に、制御部２４４は、拡大または縮小の制御信号を生成し、生成した拡大または縮小の制御信号を送信部２４２に供給する。送信部２４２は、制御部２４４の制御の基に、拡大または縮小の制御信号を画像処理装置２０１に送信する。

画像処理装置２０１の受信部２８１は、送信部２８１より送信されてきた、拡大または縮小の制御信号を受信して、受信した制御信号を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された拡大または縮小の制御信号を基に、拡大率が指定されたか否かを判定する。

ステップＳ１０７において、拡大率が指定されたと判定された場合、ステップＳ１０８に進み、制御ＣＰＵ２８２は、拡大率を設定して、ステップＳ１０９に進む。例えば、ステップＳ１０８において、制御ＣＰＵ２８２は、受信部２８１より供給された、拡大または縮小制御信号を基に、ＯＳＤ表示制御信号を生成し、生成したＯＳＤ表示制御信号をＯＳＤ表示制御部２８３に供給する。また、ステップＳ１０８において、制御ＣＰＵ２８２は、拡大または縮小制御信号を基に、拡大率を指示する拡大制御信号を生成し、生成した拡大制御信号を画像拡大処理部２２４に供給する。

ＯＳＤ表示制御部２８３は、制御ＣＰＵ２８２より供給されたＯＳＤ表示制御信号を基に、枠３７１の大きさを制御する。また、画像拡大処理部２２４の拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号を基に、拡大パラメータを生成する。

一方、ステップＳ１０７において、拡大率が指定されなかったと判定された場合、ステップＳ１０８の処理はスキップされ、手続きは、ステップＳ１０９に進む。

ステップＳ１０９において、制御ＣＰＵ２８２は、受信した制御信号を基に、決定ボタン３４４が押下されたか否かを判定する。

ユーザが決定ボタン３４４を押下した場合、キー入力部２４１は、決定ボタン３４４に対応する操作信号を制御部２２４に供給する。制御部２２４は、決定ボタン３４４に対応する操作信号が供給された場合、決定の制御信号を生成して、生成した制御信号を送信部２４２に供給する。送信部２４２は、制御部２４４の制御の基に、決定の制御信号を画像処理装置２０１に送信する。

画像処理装置２０１の受信部２８１は、送信部２８１より送信されてきた、決定の制御信号を受信して、受信した制御信号を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された決定の制御信号を基に、決定ボタン３４４が押下されたと判定する。

また、決定ボタン３４４が押下されていない場合、画像処理装置２０１には、決定の制御信号が送信されないので、制御ＣＰＵ２８２は、決定ボタン３４４が押下されていないと判定する。

ステップＳ１０９において、決定ボタン３４４が押下されていないと判定された場合、ステップＳ１０１に戻り、決定ボタン３４４が押下されるまで、上述した追尾の設定の処理が繰り返される。

ステップＳ１０１乃至ステップＳ１０６が繰り返されることにより、リモートコントローラ２０２の動きまたは向きによって、新たな画像オブジェクトを撮像して、撮像された画像オブジェクトを基に、追尾する画像オブジェクトが検出されるので、追尾する画像オブジェクトを簡単に変更することができる。

図２４は、画像提示装置１４に表示される拡大枠の例を示す図である。

追尾位置指定ボタン３４１を押下し、リモートコントローラ２０２が、追尾開始の制御信号を画像処理装置２０１に送信して、画像処理装置２０１が追尾の設定の処理を開始した場合、ステップＳ１０１乃至ステップＳ１０４の処理を実行する前に、画像処理装置２０１は、画像提示装置１４に、画像データに対応する人の画像に重畳させて、表示データに対応する枠３７１を表示させる。なお、この場合、枠３７１は、初期位置に表示される。

図２５で示されるように、ステップＳ１０１乃至ステップＳ１０６が繰り返し実行されている場合、ユーザがリモートコントローラ２０２を上下左右に動かすことで、画像提示装置１４に表示する画像に重畳した拡大枠３７１が移動する。

このように、リモートコントローラ２０２を動かすことでポインティングを行い、同時にポインティングした画像を撮像しているので、ユーザは、画像を撮像していることを意識する必要はない。

すなわち、リモートコントローラ２０２を向けた方向の画像オブジェクトが、追尾の対象となるので、より直感的なポインティングをすることができる。

また、図２６で示されるように、ユーザが拡大ボタン３４２を押下した場合、画像処理装置２０１は、画像提示装置１４に、人の画像に重畳して、拡大した枠３７１を表示させる。すなわち、図２６における枠３７１の外側の四角が拡大後の枠３７１となる。

図２７で示されるように、ユーザが縮小ボタン３４３を押下した場合、画像処理装置２０１は、画像提示装置１４に、人の画像に重畳して、縮小した枠３７１を表示させる。すなわち、図２７における枠３７１の内側の四角が縮小後の枠３７１となる。

ステップＳ１０９において、決定ボタン３４４が押下されていないと判定された場合、ステップＳ１１０に進み、テンプレート記憶部３０２は、拡大枠の画像をテンプレートとして記憶して、処理は終了する。

例えば、ステップＳ１１０において、テンプレート記憶部３０２は、設定された拡大率に対応する撮像データをテンプレートとして記憶する。

すなわち、例えば、追尾オブジェクト指示部３０１は、ステップＳ１０４の検索の処理得られた画像オブジェクトから、テンプレートをステップＳ１０８の処理で設定された拡大率、およびステップＳ１０５の処理で取得した検出した画像オブジェクトの中心位置を基に、追尾する画像オブジェクトを示すテンプレートを抽出する。

例えば、最初の設定の拡大率に比較して、２倍の拡大率が設定された場合（枠３７１の大きさが半分に設定された場合）、追尾オブジェクト指示部３０１は、中心位置を中心として、ステップＳ１０４の検索の処理得られた画像オブジェクトに対して、横方向に半分の数の画素、および縦方向に半分の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部３０２に指示する。

例えば、最初の設定の拡大率に比較して、半分の拡大率が設定された場合（枠３７１の大きさが２倍に設定された場合）、追尾オブジェクト指示部３０１は、中心位置を中心として、ステップＳ１０４の検索の処理得られた画像オブジェクトに対して、横方向に２倍の数の画素、および縦方向に２倍の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部３０２に指示する。

テンプレート記憶部３０２は、追尾オブジェクト指示部３０１からの指示の基に、画像データからテンプレートとして抽出して、抽出したテンプレートを記憶する。

このように、画像オブジェクトの検出は撮像データ３５１または画像データ３６１を変更しながら実行することで、拡大ボタン３４２または縮小ボタン３４３の押下より大きさの異なる画像オブジェクトを検出することができる。

図２８で示されるように、ユーザが決定ボタン３４４を押下した場合、画像処理装置２０１は、画像提示装置１４に、枠３７１で指定した、画像オブジェクトを拡大して表示させる。

次に、図２９および図３０を参照して、部屋の明るさに対応した画像出力について説明する。

図２９は、暗い部屋の画像提示装置１４により表示されている画像を示す。図３０は、明るい部屋の画像提示装置１４に表示される画像示す。

撮像部２４３は、部屋を撮像し、撮像した撮像データを制御部２４４に供給する。

制御部２４４は、撮像部２４３から供給される撮像データを基に、画質情報（例えば、部屋の明るさの情報）を生成し、生成した画質情報を送信部２４２に供給する。送信部２４２は、制御部２４４から供給された画質情報を受信部２８１に送信する。

受信部２８１は、送信部２４２から供給された画質情報を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された画質情報を基に、画質パラメータを生成し、例えば、拡大パラメータ指示部３２１に供給する。

拡大パラメータ指示部３２１は、制御ＣＰＵ２８２から供給される画質パラメータを基に、明るさの指示を含む拡大パラメータを生成し、生成した拡大パラメータを拡大処理部３２２に供給する。

拡大処理部３２２は、画像入力部２２１から供給される画像データおよび拡大パラメータ指示部３２１から供給される、明るさの指示を含む拡大パラメータを基に、画像データの明るさを変更して、画像出力部２６２に供給する。

画像出力部２６２は、画像データを画像提示装置１４に供給する。画像処理装置２０１は、画像提示装置１４に、部屋の明るさに対応した画像を表示させる。例えば、画像処理装置２０１は、部屋が暗い場合、画像提示装置１４に暗い画像を表示させる。

例えば、画像処理装置２０１は、部屋が明るい場合、画像提示装置１４に明るい画像を表示させる。

また、上述した処理は、ＯＳＤ表示制御部２８３が行うようにしてもよい。すなわち、制御ＣＰＵ２８２は、受信部２８２から供給された画質パラメータをＯＳＤ表示制御部２８３に供給する。

ＯＳＤ表示制御部２８３は、制御ＣＰＵ２８２から供給された画質パラメータを基に、表示データを生成し、生成した表示データを画像処理部２６２に供給することで、画像提示装置１４は、部屋の明るさに対応した画像を表示する。このようにすることで、環境が変化しても、確実に、画像オブジェクトをポインティングすることができる。

また、画質パラメータの設定は上述した例に限定されるものではない。例えば、ユーザにより設定されるようにしてもよい。

次にステップＳ６の追尾の処理に対応する、追尾の処理の詳細について、図３１のフローチャートを参照して説明する。

ステップＳ２０１において、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。例えば、検索領域の画像データは、１２８画素×１２８画素とされる。サーチエリア記憶部３０３は、記憶している検索領域の画像データを追尾処理部３０４に供給する。例えば、検索領域は、ステップＳ１０５の処理で取得された中心位置、または、後述するステップＳ２０３の処理で更新される拡大中心位置を基準として抽出される。

ステップＳ２０２において、画像追尾処理部２２３は、画像を検索する。例えば、ステップＳ２０２において、画像追尾処理部２２３の追尾処理部３０４は、サーチエリア記憶部３０３より供給された検索領域から、テンプレート記憶部３０２より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。

図３２は、歩いている人の画像を示す図である。図３２Ａで示されるように、時刻ｔ−１において、画面の左側に表示されている左から右に歩いている人の画像は、時刻ｔになると、図３２Ｂに示されるように、図３２Ａより右側に表示される。

図３２Ａで示される、時刻ｔ−１の画像における、画像オブジェクト３８１は、追尾の対象となる画像オブジェクトである。図３２Ｂで示される、時刻ｔの画像における検索領域３９１から、画像オブジェクト３８１が検出される。

図３３で示されるように、追尾処理部３０４は、サーチエリア記憶部３０３より供給された時刻ｔにおける検索領域３９１（図３３Ｂ）からテンプレート記憶部３０２より供給された時刻ｔ−１における追尾の対象となる画像オブジェクト３８１（図３３Ａ）を検出する。

画像オブジェクトの検出の方法の詳細について、図３４を参照して説明する。

図３４で示されるように、例えば、追尾処理部３０４は、検索領域３９１に対する画像オブジェクト３８１の位置を、いわゆるラスタスキャン順に移動させて、その位置における検索領域３９１の画像オブジェクトと画像オブジェクト３８１との類似の度合いを評価して、画像オブジェクト３８１に最も類似する、検索領域３９１に含まれる画像オブジェクトを検出する。

例えば、画像オブジェクトを検出において、検索領域３９１に対する画像オブジェクト３８１の位置は、検索領域３９１の左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素数だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような画像オブジェクト３８１の位置の移動は、画像オブジェクト３８１が検索領域３９１の右下に達するまで繰り返される。

例えば、検索領域３９１に対する画像オブジェクト３８１の１つの位置毎に、検索領域３９１の画素の画素値と、画像オブジェクト３８１の対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる画像オブジェクト３８１の位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。

なお、検索領域３９１に対する画像オブジェクト３８１の移動の間隔は、例えば、１画素ずつ移動するようにすることができる。

この場合、移動の間隔は所望の間隔とすることが可能である。検索領域３９１に対する画像オブジェクト３８１の移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。

画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。

例えば、図３４で示される例の右端の列の中央の画像が画像オブジェクト３８１に最も類似する画像オブジェクトととして検出される。

追尾処理部３０４は、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。追尾オブジェクト指示部３０１は、追尾処理部３０４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部３０２に供給する。

ステップＳ２０３において、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、追尾する画像オブジェクトの位置を示す位置情報（拡大中心位置）を更新する。

図３５は、画像提示装置１４に表示される、歩いている人の画像を示す例である。図中の「＋印」は、画像オブジェクトの位置を示す位置情報であり、時刻ｔ−１および時刻ｔにおける、画像オブジェクトの位置を示す。

位置情報を更新した場合、画像オブジェクトの位置は、時刻ｔ−１の位置から時刻ｔの位置に移動する。

例えば、ステップＳ２０３において、位置情報が、図３５で示される、時刻ｔ−１の位置から時刻ｔの位置に更新される。

ステップＳ２０３において、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報および設定されている拡大率を基に、画像入力部２６１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。

画像オブジェクトの追尾の処理が実行されている場合、ステップＳ２０３の処理を繰り返すたびに、テンプレート記憶部３０２に記憶される画像オブジェクトは、繰り返し更新される。

ステップＳ２０４において、拡大パラメータ指示部３２１は、検出した画像オブジェクトの位置を示す位置情報およびステップＳ１０８の処理で設定された拡大率を基に、拡大処理部３２２に画像の拡大を指示する。例えば、ステップＳ２０４において、拡大パラメータ指示部３２１は、画像オブジェクトの位置を示す位置情報および拡大パラメータを拡大処理部３２２に供給することにより、拡大処理部３２２に画像の拡大を指示する。

なお、ステップＳ２０４において、拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部３０４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率）を生成し、生成した拡大パラメータを拡大処理部３２２に供給するようにしてもよい。

ステップＳ２０５において、拡大処理部３２２は、拡大パラメータ指示部３２１からの指示の基に、画像を拡大する。例えば、ステップＳ２０５において、拡大処理部３２２は、拡大パラメータ指示部３２１より供給された拡大パラメータを基に、画像入力部５１より供給された画像データのうち、位置情報により示される位置の画像を拡大し、拡大した画像を示す画像データ（画像オブジェクト）を画像出力部５２に供給する。

ステップＳ２０６において、画像出力部２６２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に、追尾され、拡大された画像オブジェクトを表示させる。

ステップＳ２０７において、制御ＣＰＵ２８２は、追尾の処理が終了したか否かを判定する。

例えば、リモートコントローラ２０２に図示せぬ、追尾終了ボタンを押下し、リモートコントローラ２０２が上述した処理と同様の処理で追尾終了制御信号を画像処理装置２０１に送信することで、制御ＣＰＵ２８２が終了の判定するようにしてもよいし、追尾の処理を実行中に追尾位置指定ボタン３４１を押下することで、追尾終了制御信号を送信し、制御ＣＰＵ２８２が終了の判定するようにしてもよい。

また、追尾の処理の終了の方法は、上述した例に限定されるものではない。

ステップＳ２０７において、終了が指示されていないと判定された場合、ステップＳ２０１に戻り、上述した追尾の処理が繰り返される。ステップＳ２０１乃至ステップＳ２０７の処理を繰り返すことで、ステップＳ２０３において、テンプレート記憶部３０２に記憶される画像オブジェクトが、繰り返し更新されることにより追尾の処理が実行される。

より具体的には、追尾オブジェクト指示部３０１は、追尾する画像オブジェクトの位置の初期値として、追尾の設定の処理において取得された中心位置をテンプレート記憶部３０２に供給し、追尾の処理が開始されると、追尾する画像オブジェクトの位置として、更新された拡大中心位置をテンプレート記憶部３０２に供給する。

すなわち、追尾する画像オブジェクトは、１フレーム毎に更新されることになる。

このようにすることで、例えば、顔の向きが変わるなど、追尾しようとする画像オブジェクトの画素値が変化しても、正確に画像オブジェクトを追尾して、追尾した画像オブジェクトを表示することができる。

ステップＳ２０７において、終了が指示された場合、処理は終了する。

以上のように、ユーザは、リモートコントローラ２０２が向けられた方向をポインティングできるので、より直感的なポインティングで追尾の対象を指定することが可能となる。

画像処理装置がリモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信し、リモートコントローラから送信されてきた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。

制御信号を送信するようにした場合、画像処理装置において、画像オブジェクトをポインティングすることができる。また、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信するようにした場合、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。

リモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図３６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Central Processing Unit）５０１は、ＲＯＭ（Read Only Memory）５０２、または記録部５０８に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ２０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。ＣＵＰ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ５０１は、処理の結果得られた画像等を出力部５０７に出力する。

入出力インタフェース５０５に接続されている記録部５０８は、例えばハードディスクなどで構成され、ＣＰＵ５０１が実行するプログラムや各種のデータを記録する。通信部５０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部５０９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。

また、通信部５０９を介してプログラムを取得し、記録部５０８に記録してもよい。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク５２１、光ディスク５２２、光磁気ディスク５２３、或いは半導体メモリ５２４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部５０８に転送され、記録される。

一連の処理をさせるプログラムが格納されている記録媒体は、図３６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５２１（フレキシブルディスクを含む）、光ディスク５２２（ＣＤ-ＲＯＭ（Compact Disc-Read Only Memory)、ＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク５２３（ＭＤ（Mini-Disc）（商標）を含む）、若しくは半導体メモリ５２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ５０２や、記録部５０８に含まれるハードディスクなどで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

従来の画像処理システムの構成を示す図である 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。 従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。 追尾の概念を説明する図である。 追尾の概念を説明する図である。 本発明に係る画像処理システムの一実施の形態を示す図である。 本発明のリモートコントローラの外観を示す図である。 本発明に係る画像処理システムの一実施の形態の構成を示すブロック図である。 追尾の処理を説明するフローチャートである。 本発明によるリモートコントローラによる画像オブジェクトの設定を説明する図である。 追尾の設定の詳細の処理を説明するフローチャートである。 追尾の設定を説明する図である。 追尾の設定を説明する図である。 画像提示装置により表示される画像の例を示す図である。 撮像データおよび検索領域を説明する図である。 画像の検索を説明する図である。 画像の検索を説明する図である。 画像の検索を説明する図である。 中心位置を説明する図である。 画像オブジェクトの設定を説明する図である。 画像オブジェクトの設定を説明する図である。 画像オブジェクトの設定を説明する図である。 画像オブジェクトの設定を説明する図である。 画像オブジェクトの設定を説明する図である。 部屋の明るさに対応した画像出力について説明する図である。 部屋の明るさに対応した画像出力について説明する図である。 追尾の処理の詳細の処理を説明するフローチャートである。 追尾の処理を説明する図である。 画像オブジェクトおよび検索領域を説明する図である。 画像オブジェクトの検出を説明する図である。 中心位置を説明する図である。 パーソナルコンピュータの構成を説明するブロック図である。

符号の説明

２ 画像処理システム， １１ 画像再生装置， １４ 画像提示装置， ２０１ 画像処理装置， ２０２ リモートコントローラ， ２２１ 画像入出力部， ２２２ 制御部， ２２３ 画像追尾処理部， ２２４ 画像拡大処理部， ２４１ キー入力部， ２４２ 送信部， ２４３ 撮像部， ２４４ 制御部， ２６１ 画像入力部， ２６２ 画像出力部， ２８１ 受信部， ２８２ 制御ＣＰＵ， ２８３ ＯＳＤ表示制御部， ３０１ 追尾オブジェクト指示部， ３０２ テンプレート記憶部， ３０３ サーチエリア記憶部， ３０４ 追尾処理部， ３２１ 拡大パラメータ指示部， ３２２ 拡大処理部

Claims (12)

1. リモートコントローラおよび画像オブジェクトを追尾する画像処理装置からなる画像処理システムにおいて、
   前記リモートコントローラは、
   前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
   前記画像オブジェクトの決定を前記画像処理装置に指示する入力手段と、
   前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示を前記画像処理装置に送信する送信手段と
   を含み
   前記画像処理装置は、
   前記リモートコントローラから送信されてきた前記第２の画像データ、または前記画像オブジェクトの決定の指示を受信する受信手段と、
   前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出手段と、
   検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御手段と
   を含み
   前記検出手段は、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
   ことを特徴とする画像処理システム。
2. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示するリモートコントローラにおいて、
   前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
   前記画像オブジェクトの決定を前記画像処理装置に指示する入力手段と、
   前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示を前記画像処理装置に送信する送信手段と
   を備えることを特徴とするリモートコントローラ。
3. 前記入力手段は、前記画像オブジェクトの拡大率を前記画像処理装置に指示し、
   前記送信手段は、さらに前記画像処理装置に、前記画像オブジェクトの拡大率の指示を送信する
   ことを特徴とする請求項２に記載のリモートコントローラ。
4. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御方法において、
   前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
   前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
   前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
   を含むことを特徴とする制御方法。
5. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御処理用のプログラムであって、
   前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
   前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
   前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
6. 画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御処理を、コンピュータに行わせるプログラムにおいて、
   前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
   前記画像オブジェクトの決定の前記画像処理装置への指示を制御する入力制御ステップと、
   前記画像オブジェクトの撮像によって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の前記画像処理装置への送信を制御する送信制御ステップと
   を含むことを特徴とするプログラム。
7. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置において、
   前記リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示を受信する受信手段と、
   前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出手段と、
   検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御手段と
   を備え
   前記検出手段は、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
   ことを特徴とする画像処理装置。
8. 前記受信手段は、前記リモートコントローラから送信されてきた、前記画像オブジェクトの拡大率の指示をさらに受信し、
   前記表示制御手段は、指示された拡大率に対応する、前記枠を表示させるように、前記画像の表示を制御する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の画像データに対応する所定の検索領域の画像データを記憶する第１の記憶手段と、
   前記第２の画像データを記憶する第２の記憶手段と
   をさらに備え、
   前記検出手段は、前記第１の記憶手段に記憶された検索領域の画像データから、前記第２の記憶手段に記憶された第２の画像データにより示される、追尾の対象となる前記画像オブジェクトを検索する
   ことを特徴とする請求項８に記載の画像処理装置。
10. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理方法において、
    前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
    前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと、
    検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
    を含み
    前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
    ことを特徴とする画像処理方法。
11. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理用のプログラムであって、
    前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
    前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと、
    検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
    を含み
    前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
12. リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理を、前記画像処理装置のコンピュータに行わせるプログラムにおいて、
    前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データ、または前記画像オブジェクトの決定の指示の受信を制御する受信制御ステップと、
    前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと、
    検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御ステップと
    を含み
    前記検出ステップの処理によって、前記画像オブジェクトの決定が指示された場合、前記第１の画像データから、追尾の対象となる前記画像オブジェクトとしての前記枠の画像を検出する
    ことを特徴とするプログラム。

Images