JP4752410B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、より簡単な操作で、より効果的に画像を表示させることができるようにした画像処理装置および方法、並びにプログラムに関する。

テレビジョン受像機においては、送信局から送信されてくる放送信号が受信され、テレビジョン放送番組としての画像が表示されるとともに、その画像に付随する音声が出力される。従来のテレビジョン受像機は、単体で動作することを前提とするものであり、ユーザが新たにテレビジョン受像機を購入する場合には、ユーザが所有していたテレビジョン受像機は不要となり、まだ使用可能であっても廃棄されることが多い。

従って、多数のテレビジョン受像機を接続した場合に、単体の場合よりも高機能を実現することができれば、使用可能なテレビジョン受像機の廃棄を防止して、資源の有効利用に資することができる。

そこで、多数のテレビジョン受像機等の表示装置を接続して使用した場合に、単体で使用する場合よりも高機能を実現することができるようにする技術が提案されている（例えば、特許文献１参照。）

特許文献１の技術によれば、例えば、９台の表示装置のそれぞれに、単体として画像を表示させることもでき、また、９台の表示装置からなる表示装置の集合体により１つの画像が表示されるようにすることができる。

特開２００３−１９８９８９号公報

ところで、多数のテレビジョン受像機等の表示装置を接続して使用した場合の画像の表示方法には、多くの応用例が考えられる。例えば、表示装置に表示される画像の一部分を、その表示装置に接続されている他の表示装置に拡大して表示させることができれば、より効果的に画像を表示させることができ、ユーザは、表示装置に表示された画像の全体と、その一部が拡大された画像とを同時に視聴して楽しむことができる。

しかしながら、上述した技術では、画像の一部を拡大して表示させるためには、ユーザは、拡大させる画像上の領域をいちいち指定しなければならず、ユーザは、その操作を行っている間、表示装置に表示される画像の視聴に集中することができなかった。

本発明は、このような状況に鑑みてなされたものであり、より簡単な操作で、より効果的に画像を表示させることができるようにするものである。

本発明の一側面の画像処理装置は、第１の画像の画素の画素値を基に、その画素の色相を示す値を算出する算出手段と、前記第１の画像の画素のうち、前記色相を示す値が、所定の範囲内の値である画素を含む、前記第１の画像上の領域を選択する選択手段と、前記第１の画像の画素の画素値と、その画素に隣接する画素の画素値との差分を基に、前記第１の画像からオブジェクトを検出する検出手段と、前記色相を示す値が前記範囲内の値である前記第１の画像上の画素の数が、所定の値以上であるか否かを判定する判定手段と、前記判定手段による判定結果に応じて、選択された前記領域が含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御するか、または検出されたオブジェクトが含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御する表示制御手段とを備える。

前記選択手段には、前記第１の画像上において、前記色相を示す値が前記範囲内の値である画素が連続する領域を検出させ、検出された領域のうち、前記第１の画像の中心から最も近い領域を選択させるようにすることができる。

前記表示制御手段には、前記第１の画像および前記第２の画像が同時に表示されるように、前記第２の画像の表示を制御させるようにすることができる。
前記選択手段には、前記第１の画像上において、前記色相を示す値が前記範囲内の値である画素が連続する領域を検出させ、検出された領域のうち、最も面積が大きい領域を選択させるようにすることができる。

本発明の一側面の画像処理方法またはプログラムは、第１の画像の画素の画素値を基に、その画素の色相を示す値を算出し、前記第１の画像の画素のうち、前記色相を示す値が、所定の範囲内の値である画素を含む、前記第１の画像上の領域を選択し、前記第１の画像の画素の画素値と、その画素に隣接する画素の画素値との差分を基に、前記第１の画像からオブジェクトを検出し、前記色相を示す値が前記範囲内の値である前記第１の画像上の画素の数が、所定の値以上であるか否かを判定し、前記判定の判定結果に応じて、選択された前記領域が含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御するか、または検出されたオブジェクトが含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御するステップを含む。

本発明の一側面においては、第１の画像の画素の画素値を基に、その画素の色相を示す値が算出され、前記第１の画像の画素のうち、前記色相を示す値が、所定の範囲内の値である画素を含む、前記第１の画像上の領域が選択され、前記第１の画像の画素の画素値と、その画素に隣接する画素の画素値との差分を基に、前記第１の画像からオブジェクトが検出され、前記色相を示す値が前記範囲内の値である前記第１の画像上の画素の数が、所定の値以上であるか否かが判定され、前記判定の判定結果に応じて、選択された前記領域が含まれる前記第１の画像上の領域が拡大された第２の画像の表示が制御されるか、または検出されたオブジェクトが含まれる前記第１の画像上の領域が拡大された第２の画像の表示が制御される。

以上のように、本発明の一側面によれば、画像を表示させることができる。特に、本発明の一側面によれば、より簡単な操作で、より効果的に画像を表示させることができる。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図１は、本発明を適用したスケーラブルテレビジョンシステムの外観の構成例を示す図である。図１では、９（３×３）台の表示装置２１−１乃至表示装置２１−９を取り付けることができるスケーラブルテレビジョンシステム１１が示されている。スケーラブルテレビジョンシステム１１は、例えば、複数の表示装置を、所定の取り付け位置に取り付けることが可能なユニットを、複数台接続することにより構成されており、接続されるユニットの数を増やしたり減らしたりすることで、表示装置の台数を自由に増やしたり減らしたりすることが可能となるように構成されている。

例えば、表示装置２１−１、表示装置２１−４、および表示装置２１−７の３台を図中縦方向に一列に取り付けることが可能なユニット、表示装置２１−２、表示装置２１−５、および表示装置２１−８の３台を図中縦方向に一列に取り付けることが可能なユニット、並びに表示装置２１−３、表示装置２１−６、および表示装置２１−９の３台を図中縦方向に一列に取り付けることが可能なユニットの３台のユニットが図中横方向に一列に並べられて接続されることにより、図１のスケーラブルテレビジョンシステム１１が構成される。

スケーラブルテレビジョンシステム１１には、表示装置２１−１乃至表示装置２１−９の９台の表示装置がそれぞれ取り付けられている。表示装置２１−１乃至表示装置２１−９は、その表面（図中、手前側）に画像を表示する表示部が設けられ、背面の一部または全部が、上述したスケーラブルテレビジョンシステム１１を構成するユニットに接触するようにして取り付けられている。また、表示装置２１−１乃至表示装置２１−９は、それぞれ他の表示装置との通信を行う通信機能を有している。

さらに、表示装置２１−１乃至表示装置２１−９の９台の表示装置のそれぞれは、同じ形状と機能を有し、例えば、放送信号、映像信号などを受信して表示部に画像を表示したり、スピーカなどで構成される音声出力部から音声を出力したりする。スケーラブルテレビジョンシステム１１は、個々の表示装置を独立して機能させることは勿論、９台の表示装置の集合体をあたかも１台の表示装置として機能させるようにすることが可能である。

なお、以下、表示装置２１−１乃至表示装置２１−９のそれぞれを個々に区別する必要のない場合、単に表示装置２１と称する。

ところで、スケーラブルテレビジョンシステム１１においては、個々の表示装置２１を独立して機能させて、表示装置２１−１乃至表示装置２１−９のそれぞれに、別々の画像を表示させることができる。例えば、図２に示すように、９台の表示装置２１のうち、図中、中央に位置する表示装置２１−５に所定の画像を表示させ、それと同時に、表示装置２１−５を囲むように配置されている表示装置２１−１乃至表示装置２１−４、および表示装置２１−６乃至表示装置２１−９のそれぞれに、表示装置２１−５に表示されている画像の一部分を拡大して表示させることができる。

図２では、表示装置２１−５には、表示装置２１−５の表示部の図中、右下に人４１乃至人４３が写っており（表示されており）、その背景に山４６、山４７、太陽４４、ヘリコプタ４５、および雲４８が写っている（表示されている）画像が表示されている。また、表示装置２１−１乃至表示装置２１−３のそれぞれには、表示装置２１−５に表示されている人４１乃至人４３のそれぞれが拡大された画像が表示されており、表示装置２１−４には、太陽４４が拡大された画像が表示されており、表示装置２１−６には、ヘリコプタ４５が拡大された画像が表示されている。さらに、表示装置２１−７には、表示装置２１−５に表示されている山４６が拡大された画像が表示されており、表示装置２１−８には、山４７が拡大された画像が表示されており、表示装置２１−９には、雲４８が拡大された画像が表示されている。

このように、複数の表示装置２１のうちの１台に所定の画像を表示させ、同時に、それ以外（残り）の８台の表示装置２１に、所定の画像の一部分を拡大して表示させることで、ユーザは、表示された所定の画像（すなわち、画像全体）を視聴するとともに、その画像の一部分が拡大された画像（すなわち、所定の画像の細部）も同時に視聴して楽しむことができる。

なお、図２では、表示装置２１−５が所定の画像（以下、全体画像とも称する）を表示して、表示装置２１−１乃至表示装置２１−４、および表示装置２１−６乃至表示装置２１−９のそれぞれが全体画像の一部分を拡大した画像（以下、ズーム画像とも称する）を表示させる例について説明したが、全体画像を表示する表示装置２１は、表示装置２１−５に限らず、他の表示装置２１としてもよく、複数の表示装置２１が全体画像を同時に表示させるようにしてもよい。同様に、複数の表示装置２１のうち、どの表示装置２１がズーム画像を表示してもよく、複数の表示装置２１が同一のズーム画像を表示するようにしてもよい。

図３は、図１のスケーラブルテレビジョンシステム１１の構成例を示すブロック図である。

スケーラブルテレビジョンシステム１１は、表示装置２１−１乃至表示装置２１−９（表示装置２１−３乃至表示装置２１−８は図示せず）のそれぞれを含むように構成され、それぞれの表示装置２１には、分配機７１、分配機７２、受信部７３、およびネットワークハブ７４が接続されている。

分配機７１は、図示せぬアンテナが受信した、テレビジョン放送番組を再生するための放送信号を表示装置２１−１乃至表示装置２１−９に供給する。分配機７２は、図示せぬ外部入力機器から供給された、映像（動画像）を再生するための映像信号を表示装置２１−１乃至表示装置２１−９に供給する。

また、例えば、ユーザが、図示せぬリモートコマンダを操作することにより、表示装置２１に対して所定の処理の実行を指示すると、リモートコマンダからはユーザの操作に応じた赤外線信号が送信される。受信部７３は、リモートコマンダから送信されてきた赤外線信号を受信（受光）して光電変換し、これにより得られたコマンド信号を表示装置２１−１乃至表示装置２１−９に供給する。ネットワークハブ７４は、表示装置２１−１乃至表示装置２１−９のそれぞれから供給された各種の信号を、他の表示装置２１に供給する。

表示装置２１は、分配機７１から供給された放送信号、または分配機７２から供給された映像信号を基に、テレビジョン放送番組や映像を再生する。また、それぞれの表示装置２１は、ネットワークハブ７４を介して互いに通信を行ったり、受信部７３から供給されたコマンド信号に応じて、所定の処理を行ったりする。

図４は、表示装置２１の機能の構成例を示すブロック図である。

表示装置２１は、制御情報通信部９１、入力部９２、中央処理部９３、信号取得部９４、画像処理部９５、表示部９６、および音声出力部９７を含むように構成される。

制御情報通信部９１は、ネットワークハブ７４に接続され、表示装置２１と他の表示装置２１との通信を制御する。制御情報通信部９１は、ネットワークハブ７４を介して、他の表示装置から送信されてきた各種の制御信号を受信し、中央処理部９３に供給する。また、制御情報通信部９１は、中央処理部９３から供給された各種の制御信号を、ネットワークハブ７４を介して他の表示装置２１に供給する。さらに、制御情報通信部９１は、受信部７３から供給されたコマンド信号を中央処理部９３に供給する。

入力部９２は、例えば、マウス、タブレット、ボタン、スイッチなどから構成され、ユーザの操作に応じた入力信号を中央処理部９３に供給する。中央処理部９３は、制御情報通信部９１から供給された制御信号、または入力部９２から供給された入力信号に応じて、表示装置２１全体を制御し、各種の処理を行う。

例えば、中央処理部９３は、画像処理部９５を制御して、表示部９６に画像を表示させる。また、中央処理部９３は、他の表示装置２１を制御するための制御信号を生成して、制御情報通信部９１に供給し、他の表示装置２１に送信させる。

さらに、中央処理部９３は、受信部７３または入力部９２から表示装置２１を特定するＩＤ（Identification）を示す信号が供給されると、その信号により示されるＩＤを記憶する。例えば、互いに接続されている表示装置２１は予め順序付けられており、それぞれの表示装置２１には、自分自身の順番を示すＩＤが割り振られる。例えば、表示装置２１は、表示装置２１−１乃至表示装置２１−９の順番で順序付けられており、表示装置２１−１のＩＤは、自分自身の順番が１番目である“１”とされる。なお、このＩＤは、中央処理部９３が予め記憶しておくようにしてもよく、ユーザにより変更できるようにしてもよい。

信号取得部９４は、例えば、チューナなどを含むように構成される。信号取得部９４は、中央処理部９３の制御の基に選局を行い、分配機７１から供給された放送信号から画像を表示させるための画像データ、および音声を再生させるための音声データを抽出する。また、信号取得部９４は、分配機７２から供給された映像信号から画像データおよび音声データを抽出する。信号取得部９４は、抽出した画像データを画像処理部９５に供給し、音声データを音声出力部９７に供給する。

画像処理部９５は、中央処理部９３の制御の基に、信号取得部９４から供給された画像データに基づく画像（全体画像）から肌色の領域を抽出して、その領域を拡大して表示させるための画像データを生成し、表示部９６に供給する。画像処理部９５は、領域決定部１１１、パラメータ決定部１１２、およびズーム処理部１１３を含むように構成される。

領域決定部１１１は、肌色領域検出部１２１を含むように構成される。領域決定部１１１の肌色領域検出部１２１は、信号取得部９４から供給された画像データに基づく画像（全体画像）から肌色の領域を検出する。領域決定部１１１は、肌色の領域の検出結果に基づき、全体画像のうちのズーム画像として表示させる領域（以下、ズーム領域とも称する）の候補となる領域を定める（選択する）。

パラメータ決定部１１２は、パラメータ保持部１２２を含むように構成され、領域決定部１１１により定められたズーム領域の候補となる領域の中心座標、およびその領域を拡大させるズーム倍率を算出する。パラメータ決定部１１２のパラメータ保持部１２２は、算出された中心座標およびズーム倍率を保持する。また、パラメータ決定部１１２は、過去に算出した所定の数の中心座標の重心（の座標）、およびズーム倍率の平均値を算出して、ズーム処理部１１３に供給する。

ズーム処理部１１３は、信号取得部９４から供給された画像データ、並びにパラメータ決定部１１２から供給された中心座標の重心（の座標）およびズーム倍率の平均値を基に、ズーム画像を表示させるための画像データを生成して表示部９６に供給する。

また、ズーム処理部１１３は、ズーム画像を表示させずに、全体画像を表示させる場合、信号取得部９４から供給された画像データをそのまま表示部９６に供給する。

表示部９６は、例えば、液晶ディスプレイ、CRT（Cathode Ray Tube）などから構成され、画像処理部９５から供給された画像データを基に画像を表示する。音声出力部９７は、例えば、スピーカなどから構成され、信号取得部９４から供給された音声データを基に音声を再生する。

スケーラブルテレビジョンシステム１１においては、全体画像を表示する表示装置２１と、ズーム画像を表示する表示装置２１とが予め定められているようにしてもよく、ユーザが、表示装置２１ごとに全体画像を表示させるか、またはズーム画像を表示させるかを設定できるようにしてもよい。

ユーザがリモートコマンダを操作して、表示装置２１に画像の表示を指示すると、受信部７３は、リモートコマンダから送信されてきた赤外線信号を受信して光電変換し、その結果得られるコマンド信号を表示装置２１に供給する。

表示装置２１の中央処理部９３は、制御情報通信部９１を介して受信部７３からのコマンド信号を受信すると、そのコマンド信号に応じて表示部９６に画像（全体画像またはズーム画像）を表示させる。

以下、図５のフローチャートを参照して、全体画像を表示する表示装置２１による、全体画像の表示処理について説明する。

ステップＳ１１において、信号取得部９４は、中央処理部９３の制御の基に、分配機７１から供給された放送信号、または分配機７２から供給された映像信号から、画像データおよび音声データを抽出する。そして、信号取得部９４は、抽出した画像データをズーム処理部１１３に供給し、音声データを音声出力部９７に供給する。

ステップＳ１２において、ズーム処理部１１３は、信号取得部９４から供給された画像データをそのまま表示部９６に供給して、表示部９６に全体画像を表示させる。

ステップＳ１３において、音声出力部９７は、信号取得部９４から供給された音声データを基に音声を再生する。

ステップＳ１４において、中央処理部９３は、処理を終了するか否かを判定する。例えば、中央処理部９３は、制御情報通信部９１を介して受信部７３から、全体画像の表示の終了を指示するコマンド信号が供給された場合、処理を終了すると判定する。

ステップＳ１４において、処理を終了しないと判定された場合、ステップＳ１５に進み、中央処理部９３は、ユーザの操作に応じた処理を行い、処理はステップＳ１１に戻る。例えば、ユーザがリモートコマンダを操作して、チャンネルの変更を指示した場合、中央処理部９３は、制御情報通信部９１を介して受信部７３から供給されたコマンド信号に応じて、信号取得部９４を制御して選局させる。

また、ステップＳ１４において、処理を終了すると判定された場合、中央処理部９３は、信号取得部９４および画像処理部９５を制御して、全体画像を表示させる処理を終了させて、全体画像の表示処理は終了する。

このようにして、全体画像を表示する表示装置２１は、ユーザの操作に応じて全体画像を表示する。

次に、図６のフローチャートを参照して、他の表示装置２１に表示されている全体画像の一部分を拡大して表示する表示装置２１による、ズーム画像の表示処理について説明する。このズーム画像の表示処理は、互いに接続されている他の表示装置２１による、全体画像の表示処理（図５）と独立に、かつ並行して行われる。

ステップＳ３１において、中央処理部９３は、ズーム画像の表示が指示されたか否かを判定する。例えば、ユーザが、リモートコマンダを操作して、リモートコマンダから受信部７３に、ズーム画像の表示を指示する赤外線信号が送信され、これに応じて、受信部７３から制御情報通信部９１を介して中央処理部９３に、ズーム画像の表示を指示するコマンド信号が供給された場合、中央処理部９３は、ズーム画像の表示が指示されたと判定する。

ステップＳ３１において、ズーム画像の表示が指示されたと判定された場合、ステップＳ３２に進み、画像処理部９５は、中央処理部９３の制御の基に、自動ズーム処理を行う。なお、自動ズーム処理の詳細は後述するが、自動ズーム処理において、画像処理部９５は、信号取得部９４から供給された画像データを基に、ズーム画像を表示させるための画像データを生成する。そして、画像処理部９５は、生成した画像データを表示部９６に供給して、他の表示装置２１に全体画像が表示されるのと同時に、表示部９６にズーム画像を表示させる。

ステップＳ３３において、中央処理部９３は、ズーム画像の表示を終了するか否かを判定する。例えば、ユーザにより、リモートコマンダが操作されて、リモートコマンダから受信部７３に、ズーム画像の表示の終了を指示する赤外線信号が送信され、これに応じて、受信部７３から、制御情報通信部９１を介して中央処理部９３に、ズーム画像の表示の終了を指示するコマンド信号が供給された場合、中央処理部９３は、ズーム画像の表示を終了すると判定する。

ステップＳ３３において、ズーム画像の表示を終了しないと判定された場合、ステップＳ３２に戻り、表示部９６には継続してズーム画像が表示される。

これに対して、ステップＳ３３において、ズーム画像の表示を終了すると判定された場合、ステップＳ３４に進む。ステップＳ３４において、中央処理部９３は、信号取得部９４および画像処理部９５を制御して、表示部９６へのズーム画像の表示を終了させ、処理はステップＳ３１に戻る。

また、ステップＳ３１において、ズーム画像の表示が指示されていないと判定された場合、ステップＳ３５に進み、中央処理部９３は、処理を終了するか否かを判定する。例えば、中央処理部９３は、制御情報通信部９１を介して受信部７３から、全体画像の表示の終了を指示するコマンド信号が供給された場合、処理を終了すると判定する。

ステップＳ３５において、処理を終了しないと判定された場合、ステップＳ３６に進み、中央処理部９３は、ユーザの操作に応じた処理を行い、処理はステップＳ３１に戻る。例えば、ユーザがリモートコマンダを操作して、チャンネルの変更を指示した場合、中央処理部９３は、制御情報通信部９１を介して受信部７３から供給されたコマンド信号に応じて、信号取得部９４を制御して選局させる。

また、ステップＳ３５において、処理を終了すると判定された場合、中央処理部９３は、表示装置２１が行っている処理を終了させて、ズーム画像の表示処理は終了する。

このようにして、表示装置２１は、他の表示装置２１に全体画像が表示されているときに、ユーザによりズーム画像の表示が指示されると、表示部９６にズーム画像を表示させる。

このように、全体画像が表示されるのと同時に、ズーム画像を表示させることにより、表示装置２１は、より効果的に画像を表示することができる。これにより、ユーザは、リモートコマンダまたは入力部９２を操作し、ズーム画像の表示を指示するという簡単な操作で、全体画像を見るとともに、全体画像の細部まで同時に観察して、画像の視聴を楽しむことができる。ユーザは、新しい画角で画像を見ることで、従来にはない視覚的効果を得ることができ、新しい発見をすることができる。しかもこの場合、ユーザは、拡大して表示させる領域（ズーム領域）をいちいち指定する必要がないので、画像の視聴に集中することができる。

次に、図７のフローチャートを参照して、図６のステップＳ３２の処理に対応する、自動ズーム処理について説明する。

ステップＳ６１において、画像処理部９５は肌色領域の検出処理を行う。なお、肌色領域の検出処理の詳細は後述するが、肌色領域の検出処理において、画像処理部９５の領域決定部１１１は、全体画像から肌色の領域を検出し、その検出結果に基づいて、全体画像のうちのズーム画像として表示させるズーム領域の候補を定める。そして、画像処理部９５のパラメータ決定部１１２は、定められたズーム領域の候補の中心座標およびズーム倍率を算出する。

ステップＳ６２において、パラメータ保持部１２２は、パラメータ決定部１１２により算出されたズーム領域の候補の中心座標およびズーム倍率を保持する。

ステップＳ６３において、パラメータ決定部１１２は、パラメータ保持部１２２に保持されている過去Ｎ個（但し、Ｎは自然数）の中心座標の重心（の座標）を求める。パラメータ保持部１２２には、過去のフレームの全体画像上において、ズーム領域の候補とされた領域の中心座標が保持されている。パラメータ決定部１１２は、パラメータ保持部１２２が保持している過去Ｎ個の中心座標の重心を求める。

例えば、パラメータ保持部１２２に保持されている中心座標のうち、最後からｉ番目（但し、ｉは自然数）に算出されたＸＹ空間上の中心座標を（Ｘｉ，Ｙｉ）とすると、パラメータ決定部１１２は、式（１）および式（２）を計算することによって、最後から１番目乃至Ｎ番目に算出された中心座標の重心の座標（Ｘｇ，Ｙｇ）を求める。

Ｘｇ＝（ΣＸｉ）／Ｎ ・・・（１）

Ｙｇ＝（ΣＹｉ）／Ｎ ・・・（２）

ここで、式（１）におけるΣは、Ｘｉのｉを１からＮまで変えて総和をとることを表わし、同様に、式（２）におけるΣは、Ｙｉのｉを１からＮまで変えて総和をとることを表す。また、Ｎの値は予め定められているものとする。

ステップＳ６４において、パラメータ決定部１１２は、パラメータ保持部１２２に保持されている過去Ｎ個（Ｎフレーム分）（但し、Ｎは自然数）のズーム倍率の平均値を算出する。例えば、パラメータ保持部１２２に保持されているズーム倍率のうち、最後からｉ番目（但し、ｉは自然数）に算出されたズーム倍率をＺｉとすると、パラメータ決定部１１２は、式（３）を計算することによって、最後から１番目乃至Ｎ番目に算出されたズーム倍率の平均値Ｚｇを算出する。

Ｚｇ＝（ΣＺｉ）／Ｎ ・・・（３）

ここで、式（３）におけるΣは、Ｚｉのｉを１からＮまで変えて総和をとることを表す。

パラメータ決定部１１２は、中心座標の重心（Ｘｇ，Ｙｇ）およびズーム倍率の平均値Ｚｇを算出すると、算出した中心座標の重心（の座標）およびズーム倍率の平均値をズーム処理部１１３に供給する。

ステップＳ６５において、ズーム処理部１１３は、信号取得部９４から供給された画像データ、並びにパラメータ決定部１１２から供給された中心座標の重心の座標およびズーム倍率の平均値を基に、ズーム画像の画像データを生成する。

例えば、図８に示すように、図中、右方向をＸ軸方向とし、下方向をＹ軸方向として、ＸＹ空間上における全体画像の領域を、０≦Ｘ≦Ｘｄの範囲と、０≦Ｙ≦Ｙｄの範囲とで囲まれる領域１５１とする。また、ズーム画像の中心座標を、式（１）および式（２）により求めた中心座標の重心（Ｘｇ，Ｙｇ）とし、ズーム倍率の平均値をＺｇとすると、ズーム領域のＸ方向の長さＷｘ、およびズーム領域のＹ方向の長さＨｙは、それぞれ式（４）および式（５）により求められる。なお、ここでは、説明を簡単にするため、全体画像の画素数と、表示装置２１における表示部９６の表示画面の画素数とが同一であるものとして説明する。

Ｗｘ＝Ｘｄ／Ｚｇ ・・・（４）

Ｈｙ＝Ｙｄ／Ｚｇ ・・・（５）

したがって、図８におけるズーム領域は、Ｘｇ−（Ｘｄ／（２Ｚｇ））≦Ｘ≦Ｘｇ＋（Ｘｄ／（２Ｚｇ））の範囲と、Ｙｇ−（Ｙｄ／（２Ｚｇ））≦Ｙ≦Ｙｇ＋（Ｙｄ／（２Ｚｇ））の範囲とで囲まれる領域１５２となる。ズーム処理部１１３は、例えば、信号取得部９４から供給された画像データに所定の画像変換処理を施して、全体画像のうちの領域１５２がズーム倍率Ｚｇ倍で拡大された画像（ズーム画像）を表示させるための画像データを生成する（ズーム画像を表示させる画像データに変換する）。

図７のフローチャートの説明に戻り、ステップＳ６６において、ズーム処理部１１３は、生成したズーム画像の画像データを表示部９６に供給し、表示部９６にズーム画像を表示させて、処理は図６のステップＳ３３に進む。

このようにして、画像処理部９５は、ズーム領域の候補となる領域の中心座標の重心、およびズーム倍率の平均値を求める。そして、これらを基にズーム領域を定めて画像データを生成し、ズーム画像を表示させる。

このように、ズーム領域の候補となる領域の中心座標の重心、およびズーム倍率の平均値を算出してズーム領域を定めることによって、全体画像上におけるズーム領域の位置が、フレームごとに大きく変化することを抑制することができる。

例えば、中心座標の重心、およびズーム倍率の平均値を求めるために用いる中心座標、およびズーム倍率の個数、すなわち式（１）乃至式（３）におけるＮの値を、１乃至１０程度の比較的小さい値とすると、ズーム領域の中心座標がフレームごとに大きく変化する（動く）場合がある。そのような場合、表示部９６に表示されるズーム画像（とされる全体画像上における領域）は、フレームごとに大きく変化するので、例えば、ズーム画像として表示される人の顔などがぶれてしまい、ユーザにとって見づらくなってしまう可能性がある。

そこで、例えば、スポーツなどのコンテンツの画像を表示させるときには、シーンの急激な変化や、表示されるスポーツ選手、ボールなどの速い動きに追従できるように、Ｎの値を比較的小さい値とし、対談番組などのコンテンツの画像を表示させるときには、動きの少ない対談者などが拡大された画像をより見やすくするために、Ｎの値を３０程度の比較的大きい値とすることができる。

このＮの値は、表示装置２１ごとに予め定めるようにしてもよく、また、表示される画像（コンテンツ）のシーンやユーザの好みに応じて、表示装置２１ごとにユーザが設定できるようにしてもよい。このように、Ｎの値を表示装置２１ごとに変化させると、ユーザは、複数の表示装置２１に表示されるズーム画像のうち、そのときの視聴条件にあったズーム画像を選択的に視聴することができる。

また、中心座標の重心、およびズーム倍率の平均値を求めずに、ステップＳ６１において定められたズーム領域の候補をそのままズーム領域とする（すなわち、Ｎを１とする）ようにしてもよく、最後に求められた中心座標、およびズーム倍率が、それよりも前に求められた過去（Ｎ−１）個の中心座標、およびズーム倍率と比較して、大きく異なる場合にだけ、定められたズーム領域の候補をそのままズーム領域とするようにしてもよい。

さらに、例えば、図８に示したズーム領域としての領域１５２の画像を、複数台の表示装置２１で表示させるようにしてもよい。この場合、例えば、互いに隣接して設置されている、予め定められたＮ×Ｎ台（横Ｎ台×縦Ｎ台）（但し、Ｎは自然数）の表示装置２１で１つのズーム画像（領域１５２の画像）を表示させる。

ここで、図８の領域１５２をズーム領域としてズーム画像を表示する表示装置２１のうち、図中、領域１５２の左上の端の領域を表示する表示装置２１を、左から１番目であり、かつ上から１番目である表示装置２１とし、領域１５２の右上の端の領域を表示する表示装置２１を、左からＮ番目であり、かつ上から１番目である表示装置２１とする。また、図中、領域１５２の左下の端の領域を表示する表示装置２１を、左から１番目であり、かつ上からＮ番目である表示装置２１とする。

そして、Ｘｇ−（Ｘｄ／（２Ｚｇ））＝Ｘｂとし、Ｘｇ＋（Ｘｄ／（２Ｚｇ））＝Ｘｅとし、Ｙｇ−（Ｙｄ／（２Ｚｇ））＝Ｙｂとし、Ｙｇ＋（Ｙｄ／（２Ｚｇ））＝Ｙｅとする。このとき、左からｉ番目（１≦ｉ≦Ｎ）であり、上からｊ番目（１≦ｊ≦Ｎ）である表示装置２１がズーム画像として表示する領域を、Ｘｉｂ≦Ｘ≦Ｘｉｅの範囲と、Ｙｊｂ≦Ｙ≦Ｙｊｅの範囲とで囲まれる領域とすると、Ｘｉｂ、Ｘｉｅ、Ｙｊｂ、およびＹｊｅのそれぞれの値は、式（６）乃至式（９）のそれぞれにより表わされる値となる。

Ｘｉｂ＝Ｘｂ＋（（ｉ−１）×（（Ｘｅ−Ｘｂ）／Ｎ）） ・・・（６）

Ｘｉｅ＝Ｘｂ＋（ｉ×（（Ｘｅ−Ｘｂ）／Ｎ）） ・・・（７）

Ｙｊｂ＝Ｙｂ＋（（ｊ−１）×（（Ｙｅ−Ｙｂ）／Ｎ）） ・・・（８）

Ｙｊｅ＝Ｙｂ＋（ｊ×（（Ｙｅ−Ｙｂ）／Ｎ）） ・・・（９）

したがって、左からｉ番目（１≦ｉ≦Ｎ）であり、上からｊ番目（１≦ｊ≦Ｎ）である表示装置２１は、図８の領域１５２のうち、Ｘｉｂ≦Ｘ≦Ｘｉｅの範囲と、Ｙｊｂ≦Ｙ≦Ｙｊｅの範囲とで囲まれる領域がズーム倍率Ｚｇ倍で拡大された画像（ズーム画像）を表示させるための画像データを生成して、表示部９６に画像を表示させる。これにより、互いに隣接して設置されているＮ×Ｎ台の表示装置２１により、領域１５２がズーム倍率Ｚｇ倍で拡大された画像（ズーム画像）が表示される。

このように、１つのズーム領域を複数の連続した領域に分割して、分割された１つの領域を１つの表示装置２１に表示させることにより、複数の表示装置２１により１つの画像を表示させることができる。その結果、より大きいズーム倍率でズーム画像を表示させることができ、ユーザは、全体画像のうちの一部の細部まで観察することができる。

なお、１つのズーム画像を表示する複数の表示装置２１は、予め定められているようにしてもよく、ユーザがリモートコマンダ、または入力部９２を操作して定めることができるようにしてもよい。

次に、図９のフローチャートを参照して、図７のステップＳ６１の処理に対応する、肌色領域の検出処理について説明する。上述したように、この肌色領域の検出処理において画像処理部９５は、全体画像から肌色の領域を検出し、ズーム領域の候補となる領域を定める（選択する）。

なお、全体画像上において、肌色の領域を検出する対象となる領域は、全体画像の全体としてもよく、全体画像のうちの一部の領域としてもよい。さらに、肌色の領域を検出する対象となる領域は、表示装置２１ごとに予め定めておくようにしてもよく、ユーザが設定できるようにしてもよい。

ステップＳ９１において、肌色領域検出部１２１は、信号取得部９４から供給された画像データの画像（全体画像）上における、肌色の領域を検出する対象となる領域の１つの画素を選択する。

ステップＳ９２において、肌色領域検出部１２１は、選択した画素の画素値を基に、HSV（Hue Saturation value Value）形式の色空間のＨ（Hue）の値を求める。

例えば、選択された画素の画素値の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの値をＲ、Ｇ、Ｂとする（但し、Ｒ、Ｇ、Ｂのそれぞれの値は、０以上１以下とされる）。また、Ｒ、Ｇ、Ｂのそれぞれの値のうちの最大の値をＭＡＸ（Ｒ，Ｇ，Ｂ）とし、Ｒ、Ｇ、Ｂのそれぞれの値のうちの最小の値をＭＩＮ（Ｒ，Ｇ，Ｂ）とする。さらに、Ｒ、Ｇ、Ｂのそれぞれの値が０である場合は、Ｈの値は定義できないものとする。

Ｒ、Ｇ、Ｂのそれぞれの値のうち、Ｒの値が最大である場合、肌色領域検出部１２１は、式（１０）を計算することによりＨの値を求める。

Ｈ＝６０×（Ｇ−Ｂ）／Ｄ ・・・（１０）

ここで、Ｄは、ＭＡＸ（Ｒ，Ｇ，Ｂ）と、ＭＩＮ（Ｒ，Ｇ，Ｂ）との差であり、式（１１）により表わされる。

Ｄ＝ＭＡＸ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ） ・・・（１１）

なお、式（１０）により求まるＨの値が０よりも小さい場合、すなわちＨの値が負の値となる場合には、肌色領域検出部１２１は、式（１０）ではなく、式（１２）を計算することによりＨの値を求める。

Ｈ＝（６０×（Ｇ−Ｂ）／Ｄ）＋３６０ ・・・（１２）

また、Ｒ、Ｇ、Ｂのそれぞれの値のうち、Ｇの値が最大である場合、肌色領域検出部１２１は、式（１３）を計算することによりＨの値を求め、Ｂの値が最大である場合、肌色領域検出部１２１は、式（１４）を計算することによりＨの値を求める。

Ｈ＝６０×（２＋（（Ｂ−Ｒ）／Ｄ）） ・・・（１３）

Ｈ＝６０×（４＋（（Ｒ−Ｇ）／Ｄ）） ・・・（１４）

このようにして求められるＨの値は、０以上、かつ３６０未満の値となる。ここで、図１０に、Ｒ、Ｇ、Ｂの各値を基に算出されたＨの値の一例を示す。例えば、Ｒの値が0.39であり、Ｇの値が0.78であり、Ｂの値が0.39である場合、Ｇの値が最も大きいので、式（１３）より、Ｈの値は、１２０（＝60×（2＋（（0.39−0.39）/0.39）））となる。また、Ｒの値が0.78であり、Ｇの値が0.39であり、Ｂの値が0.39である場合、Ｒの値が最も大きいので、式（１０）より、Ｈの値は、０（＝60×（0.39−0.39）/0.39）となる。

同様に、Ｒの値が0.39であり、Ｇの値が0.39であり、Ｂの値が0.78である場合、Ｂの値が最も大きいので、式（１４）より、Ｈの値は、２４０（＝60×（4＋（（0.39−0.39）/0.39）））となる。また、Ｒの値が0.78であり、Ｇの値が0.39であり、Ｂの値が0.78である場合、Ｒの値が最も大きく、式（１０）にＲ、Ｇ、Ｂのそれぞれの値を代入した値は、−６０（＝60×（0.39−0.78）/0.39）となり、負の値となるので、式（１２）より、Ｈの値は、３００（＝（60×（0.39−0.78）/0.39）+360）となる。

さらに、Ｒの値が0.78であり、Ｇの値が0.78であり、Ｂの値が0.39である場合、Ｒの値が最も大きいので、式（１０）より、Ｈの値は、６０（＝60×（0.78−0.39）/0.39））となり、Ｒの値が0.39であり、Ｇの値が0.78であり、Ｂの値が0.78である場合、Ｇの値が最も大きいので、式（１３）より、Ｈの値は、１８０（＝60×（2＋（（0.78−0.39）/0.39）））となる。

図９のフローチャートの説明に戻り、Ｈの値が求められると、ステップＳ９３において、肌色領域検出部１２１は、求めたＨの値が予め定められた所定の範囲内の値であるか否かを判定する。例えば、肌色領域検出部１２１は、Ｈの値が０より大きく、かつ６０より小さいか否かを判定する。また、選択された画素の画素値のＲ、Ｇ、Ｂの値のそれぞれが０であり、Ｈの値が定義されない場合には、ステップＳ９３において、所定の範囲内の値でないと判定される。

ステップＳ９３において、所定の範囲内の値であると判定された場合、ステップＳ９４に進み、肌色領域検出部１２１は、選択した画素を肌色の画素とする。例えば、肌色領域検出部１２１は、図１１に示すように、肌色の領域を検出する対象となる領域の画素ごとに、その画素が肌色の画素であるか否かのフラグを設定する。

図１１では、１つの四角形が１つの画素を表わしており、その四角形の中の“１”または“０”が、肌色の画素であるか否かのフラグを示している。四角形の中のフラグ“１”は、その画素が肌色の画素であることを示しており、四角形の中のフラグ“０”は、その画素が肌色の画素ではないことを示している。

肌色領域検出部１２１は、選択した画素が肌色の画素である場合、その画素のフラグに“１”を設定する（フラグをセットする）。図１１の例では、領域１８１に含まれる４つの画素、領域１８２に含まれる２つの画素、および領域１８３に含まれる３つの画素のそれぞれが、肌色の画素とされており、それ以外の画素は肌色ではない画素とされている。

図９のフローチャートの説明に戻り、ステップＳ９４において、選択した画素を肌色の画素とすると、ステップＳ９６に進む。

これに対して、ステップＳ９３において、所定の範囲内の値ではないと判定された場合、ステップＳ９５に進み、選択した画素を肌色以外の色の画素とする。例えば、肌色領域検出部１２１は、図１１に示したように、選択した画素のフラグに“０”を設定する（フラグをリセットする）。

ステップＳ９４において、選択した画素を肌色の画素とするか、またはステップＳ９５において、選択した画素を肌色以外の色の画素とすると、ステップＳ９６において、肌色領域検出部１２１は、肌色の領域を検出する対象となる領域の全ての画素を選択したか否かを判定する。

ステップＳ９６において、まだ全ての画素を選択していないと判定された場合、ステップＳ９１に戻り、次の画素を選択して、その画素が肌色の画素であるか否かを判定する処理を行う。

一方、ステップＳ９６において、全ての画素を選択したと判定された場合、ステップＳ９７に進み、領域決定部１１１は、全体画像上のズーム領域の候補となる領域を定める（選択する）。領域決定部１１１は、ズーム領域の候補となる領域を定めると、その領域を示す情報を生成し、パラメータ決定部１１２に供給する。

例えば、領域決定部１１１は、ＸＹ空間上における、全体画像上（肌色の領域を検出する対象となる領域）の肌色である画素のＸ座標のうちの最大値および最小値と、肌色である画素のＹ座標のうちの最大値および最小値とを算出して、全ての肌色の画素が含まれる領域を、ズーム領域の候補となる領域として定める。ここで、肌色である画素のＸ座標のうちの最大値および最小値をそれぞれXmax、Xminとし、肌色である画素のＹ座標のうちの最大値および最小値をそれぞれYmax、Yminとすると、領域決定部１１１は、ＸＹ空間上における、Xmin≦Ｘ≦Xmaxの範囲と、Ymin≦Ｙ≦Ymaxの範囲とで囲まれる領域が含まれる領域を、ズーム領域の候補となる領域として定める。なお、ズーム領域の候補となる領域は、表示部９６の表示画面と相似形（同じアスペクト比）となるように定められる。

また、領域決定部１１１が、肌色の領域を検出する対象となる領域上において、肌色の画素が連続する領域を検出して、検出された領域のうち、最も面積（画素数）の大きい領域をズーム領域の候補となる領域とするようにしてもよい。この場合、図１１に示した例では、肌色の画素が連続する領域として、領域１８１乃至領域１８３が検出され、最も面積の大きい領域１８１を含む領域が、ズーム領域の候補となる領域として定められる。

さらに、領域決定部１１１が、肌色の領域を検出する対象となる領域上において、肌色の画素が連続する領域を検出して、検出された領域のうち、最も全体画像の中心に近い領域を含む領域を、ズーム領域の候補となる領域とするようにしてもよい。

ズーム領域の候補となる領域が定められると、ステップＳ９８において、パラメータ決定部１１２は、ズーム領域の候補となる領域を示す情報を基に、ズーム領域の候補となる領域の中心座標を算出する。例えば、ズーム領域の候補となる領域が、ＸＹ空間上におけるXmin≦Ｘ≦Xmaxの範囲と、Ymin≦Ｙ≦Ymaxの範囲とで囲まれる領域であるとすると、パラメータ決定部１１２は、中心座標（Ｘｉ，Ｙｉ）のＸ座標ＸｉおよびＹ座標Ｙｉを、式（１５）および式（１６）により算出する。

Ｘｉ＝（Xmin＋Xmax）／２ ・・・（１５）

Ｙｉ＝（Ymin＋Ymax）／２ ・・・（１６）

ステップＳ９９において、パラメータ決定部１１２は、ズーム領域の候補となる領域のズーム倍率を算出し、処理は図７のステップＳ６２に進む。例えば、ＸＹ空間上における、ズーム領域の候補となる領域のＸ方向の長さ（画素数）をＸｉｄとし、表示部９６の表示画面のＸ方向の長さ（画素数）をＸｄとすると、パラメータ決定部１１２は、式（１７）によりズーム倍率Ｚｉを算出する。

Ｚｉ＝Ｘｄ／Ｘｉｄ ・・・（１７）

このようにして、画像処理部９５は、肌色の領域を検出し、その検出結果に基づいて、ズーム領域の候補となる領域を定める。

このように、肌色の領域を検出し、その検出結果を基にズーム領域の候補となる領域を定めることで、ユーザは、いちいちズーム領域を指定する必要がなくなり、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。

また、肌色の領域を検出して、ズーム領域の候補となる領域を定めることで、全体画像上において、ユーザに注目されることが多い、人（すなわち、肌色の領域）が含まれる領域を、ズーム画像として拡大し、効果的に表示することができる。

なお、肌色の領域の検出結果を基に、ズーム領域の候補となる領域を定める方法は、表示装置２１ごとに異なる方法としてもよい。例えば、表示装置２１−１は、全ての肌色の画素が含まれる領域を候補となる領域とし、表示装置２１−２は、肌色の画素が連続する領域のうち、最も面積の大きい領域が含まれる領域を、候補となる領域とするようにすることができる。

また、選択した画素が肌色の画素であるか否かの判定に用いられるＨの値の範囲も、表示装置２１ごとに変化させるようにしてもよい。これにより、表示装置２１には、肌色の領域でも、比較的明るい肌色の領域を検出させたり、比較的暗い肌色の領域を検出させたりすることができる。さらに、以上においては、全体画像から肌色の領域を検出すると説明したが、肌色以外の色の領域を検出してズーム領域としたり、HSV形式の色空間のＳまたはＶの値を算出して、全体画像上の画素のうち、ＳまたはＶの値に基づく所定の条件を満たす画素を含む領域を検出してズーム領域としたりしてもよい。

ところで、図７のフローチャートを参照して説明した自動ズーム処理では、ステップＳ６１（肌色領域の検出処理）において、肌色の領域を検出してズーム領域の候補となる領域を定めると説明したが、ステップＳ６１の処理において、全体画像から、いわゆる前景等となっているもの（例えば、物体や人など）の一部分（または全部）であるオブジェクトを検出し、検出されたオブジェクトを含む領域をズーム領域の候補となる領域とすることもできる。

そのような場合、表示装置は、例えば、図１２に示すように構成される。

表示装置２１１は、制御情報通信部９１、入力部９２、中央処理部９３、信号取得部９４、表示部９６、音声出力部９７、および画像処理部２３１を含むように構成される。なお、表示装置２１１の制御情報通信部９１、入力部９２、中央処理部９３、信号取得部９４、表示部９６、および音声出力部９７のそれぞれは、図４における場合と対応するため同一の符号を付してあり、その説明は省略する。

画像処理部２３１は、中央処理部９３の制御の基に、信号取得部９４から供給された画像データに基づく画像（全体画像）から所定のオブジェクトを検出して、そのオブジェクトを含む領域を拡大して表示させるための画像データを生成し、表示部９６に供給する。画像処理部２３１は、オブジェクト選択部２４１、パラメータ決定部１１２、およびズーム処理部１１３を含むように構成される。なお、パラメータ決定部１１２およびズーム処理部１１３は、図４における場合と対応するため同一の符号を付してあり、その説明は省略する。

オブジェクト選択部２４１は、信号取得部９４から供給された画像データに基づく画像（全体画像）からオブジェクトを検出する。オブジェクト選択部２４１は、検出したオブジェクトから、拡大して表示させるオブジェクトを選択し、そのオブジェクトを示す情報をパラメータ決定部１１２に供給する。オブジェクト選択部２４１は、検出部２５１および変数保持部２５２を含むように構成される。

オブジェクト選択部２４１の変数保持部２５２は、オブジェクトを検出するために必要な所定の変数を保持する。オブジェクト選択部２４１の検出部２５１は、変数保持部２５２に保持されている変数を用いて、全体画像からオブジェクトを検出する。

表示装置２１１は、図７を参照して説明した自動ズーム処理を行い、ステップＳ６１の処理において、オブジェクトを含む領域をズーム領域の候補となる領域として定める。以下、図１３のフローチャートを参照して、画像処理部２３１によるオブジェクト領域の検出処理について説明する。

ステップＳ１２１において、オブジェクト選択部２４１は、オブジェクト検出処理を行う。なお、オブジェクト検出処理の詳細は後述するが、オブジェクト検出処理において、オブジェクト選択部２４１は、全体画像からオブジェクトを検出する。

なお、全体画像上において、オブジェクトを検出する対象となる領域は、全体画像の全体としてもよく、全体画像のうちの一部の領域としてもよい。さらに、オブジェクトを検出する対象となる領域は、表示装置２１１ごとに予め定めておくようにしてもよく、ユーザが設定できるようにしてもよい。

ステップＳ１２２において、オブジェクト選択部２４１は、検出したオブジェクトから、ズーム画像として表示するオブジェクトの候補を選択する。

例えば、オブジェクト選択部２４１は、検出されたオブジェクトのうち、ある程度の大きさのオブジェクトは、拡大して表示しなくても十分な大きさで表示されているとして、比較的小さいオブジェクトを、表示するオブジェクトの候補として選択する。オブジェクト選択部２４１は、検出された各オブジェクトの面積（オブジェクトの画素数）を算出し、各オブジェクトのうち、オブジェクトの面積が、予め定められた所定の値以下であるオブジェクトを候補として選択する。

また、面積が１０画素程度であるオブジェクトはノイズであるとして、表示するオブジェクトの候補から除外するようにしてもよい。この場合には、オブジェクト選択部２４１は、検出されたオブジェクトのうち、面積が予め定められた所定の範囲内の値であるオブジェクトを候補として選択する。

さらに、オブジェクト選択部２４１は、検出されたオブジェクトから、面積が小さい順に、予め定められた所定の数だけオブジェクトを選択して、選択されたオブジェクトを表示するオブジェクトの候補としたり、検出されたオブジェクトの面積の平均値を求めて、求められた平均値の１０分の１よりも小さいオブジェクトを、表示するオブジェクトの候補として選択したりしてもよい。

ズーム画像として表示するオブジェクトの候補が選択されると、ステップＳ１２３において、オブジェクト選択部２４１は、選択したオブジェクトの候補から、ズーム画像として表示するオブジェクトを選択する。オブジェクト選択部２４１は、オブジェクトを選択すると、選択したオブジェクトを示す情報を生成してパラメータ決定部１１２に供給する。

オブジェクト選択部２４１は、候補として選択されたオブジェクトが１つである場合、そのオブジェクトをズーム画像として表示するオブジェクトとして選択する。また、候補として選択されたオブジェクトが複数ある場合には、オブジェクト選択部２４１は、複数の候補の中から１または複数のオブジェクトを、表示するオブジェクトとして選択する。

複数の候補の中からオブジェクトを選択する場合、例えば、オブジェクト選択部２４１は、オブジェクトの面積が小さい順に、所定の数のオブジェクトを選択したり、オブジェクトの位置が全体画像の中心に近い順に、所定の数のオブジェクトを選択したりする。また、オブジェクト選択部２４１が、複数の候補の中から、所定の色のオブジェクトをズーム画像として表示するオブジェクトとして選択するようにしてもよい。この場合には、例えば、複数の候補の中から肌色のオブジェクトを選択することによって、人の画像をズーム画像として表示させることができる。

さらに、例えば、オブジェクト選択部２４１が、候補として選択された全てのオブジェクトを、ズーム画像として表示するオブジェクトとして選択したり、複数の候補のうち、互いに隣接している複数のオブジェクトを、ズーム画像として表示する１つのオブジェクトとして選択したりするようにしてもよい。

このようにして、検出されたオブジェクトから、表示するオブジェクトの候補を選択し、さらに、その候補から、表示するオブジェクトを選択することで、所定の条件を満たすオブジェクトを選択することができる。

ズーム画像として表示するオブジェクトが選択されると、ステップＳ１２４において、パラメータ決定部１１２は、オブジェクト選択部２４１から供給された、ズーム画像として表示するオブジェクトを示す情報を基に、その情報により示されるオブジェクトを含む領域をズーム領域の候補となる領域とし、その領域の中心座標を算出する。

例えば、オブジェクト選択部２４１が、ズーム画像として表示するオブジェクトとして、１つのオブジェクトを選択した場合、パラメータ決定部１１２は、選択されたオブジェクトのＸＹ空間上における重心の座標を、中心座標として算出する。

ここで、オブジェクト選択部２４１により選択されたオブジェクトを構成するＮ個（但しＮは自然数）の画素のそれぞれを、画素Ｇｋ（１≦ｋ≦Ｎ）とし、ＸＹ空間上の画素Ｇｋの座標を（Ｘｋ，Ｙｋ）とすると、パラメータ決定部１１２は、中心座標（Ｘｉ，Ｙｉ）のＸ座標Ｘｉ、およびＹ座標Ｙｉを式（１８）および式（１９）により算出する。

Ｘｉ＝（ΣＸｋ）／Ｎ ・・・（１８）

Ｙｉ＝（ΣＹｋ）／Ｎ ・・・（１９）

ここで、式（１８）におけるΣは、Ｘｋのｋを１からＮまで変えて総和をとることを表わし、式（１９）におけるΣは、Ｙｋのｋを１からＮまで変えて総和をとることを表わす。

また、例えば、オブジェクト選択部２４１が、ズーム画像として表示するオブジェクトとして、複数のオブジェクトを選択した場合、パラメータ決定部１１２は、選択された複数のオブジェクトを含む領域を、ズーム領域の候補となる領域として、その領域のＸＹ空間上における中心の座標を中心座標として算出する。さらに、選択されたオブジェクトが１つである場合にも、そのオブジェクトを含む領域を、ズーム領域の候補となる領域として、その領域のＸＹ空間上における中心の座標を中心座標としてもよく、選択されたオブジェクトが複数である場合にも、選択されたそれぞれのオブジェクトを構成する画素のＸＹ空間上における重心の座標を、中心座標としてもよい。

ステップＳ１２５において、パラメータ決定部１１２は、ズーム領域の候補となる領域のズーム倍率を算出し、処理は図７のステップＳ６２に進む。例えば、パラメータ決定部１１２は、上述した式（１７）を計算することによって、ズーム倍率Ｚｉを算出する。

このようにして、画像処理部２３１は、全体画像からオブジェクトを検出し、検出されたオブジェクトのうち、所定の条件を満たすオブジェクトを含む領域をズーム領域の候補とする。これにより、表示部９６には、所定の条件を満たすオブジェクトが拡大された画像が、ズーム画像として表示される。

例えば、図１４Ａに示すように、全体画像２８１が、人２９１と背景としての山とが写っている（表示されている）画像であるとする。表示装置２１１（画像処理部２３１）は、全体画像２８１からオブジェクトを検出し、例えば、検出されたオブジェクトのうち、オブジェクトの面積が、予め定められた所定の値以下であるオブジェクトを、表示するオブジェクトの候補として選択し、さらにその候補から、１つのオブジェクトを選択する。

図１４Ｂに示すように、表示装置２１１がズーム画像として表示するオブジェクトとして、全体画像２８１に写っている（表示されている）人２９１の顔２９２の部分が選択されると、表示装置２１１は、表示部９６に図１４Ｃに示すズーム画像３０１を表示する。図１４Ｃでは、ズーム画像３０１には、選択されたオブジェクトとしての顔２９２が表示されている。

また、例えば、図１５Ａに示すように、全体画像３２１が、人３３１、飛行物体３３２、および背景としての山が写っている（表示されている）画像であるとする。表示装置２１１は、全体画像３２１からオブジェクトを検出し、例えば、検出されたオブジェクトのうち、オブジェクトの面積が、予め定められた所定の値以下であるオブジェクトを、表示するオブジェクトの候補として選択する。

その結果、例えば、図１５Ｂに示すように、全体画像３２１から、ズーム画像として表示するオブジェクトの候補として、人３３１の顔３４１、人３３１の胴体３４２、および飛行物体３３２が選択される。

表示装置２１１が、全ての候補をズーム画像として表示するオブジェクトとして選択する場合、表示装置２１１は、表示部９６に図１５Ｃに示すズーム画像３５１を表示する。図１５Ｃでは、ズーム画像３５１には、選択されたオブジェクトとしての人３３１の顔３４１および胴体３４２と、飛行物体３３２とが表示されている。

また、例えば、表示装置２１１が、互いに隣接している複数のオブジェクトを、ズーム画像として表示するオブジェクトとして選択する場合、表示装置２１１は、図１５Ｂの全体画像３２１上において、互いに隣接しているオブジェクトとしての人３３１の顔３４１および胴体３４２を選択し、表示部９６に図１５Ｄに示すズーム画像３５２を表示する。図１５Ｄでは、ズーム画像３５２には、選択されたオブジェクトとしての顔３４１および胴体３４２からなる人３３１が表示されている。

さらに、例えば、表示装置２１１が、最も面積が小さい候補をズーム画像として表示するオブジェクトとして選択する場合、表示装置２１１は、図１５Ｂの全体画像３２１上において、最も面積が小さいオブジェクトである飛行物体３３２を選択して、表示部９６に、図１５Ｅに示すズーム画像３５３を表示する。図１５Ｅでは、ズーム画像３５３には、最も面積が小さいオブジェクトとして選択された、オブジェクトとしての飛行物体３３２が表示されている。

このように、画像処理部２３１は、全体画像からオブジェクトを検出し、検出されたオブジェクトのうち、所定の条件を満たすオブジェクトを含む領域をズーム領域の候補とするので、ユーザはいちいちズーム領域を指定する必要がなくなり、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。

また、検出されたオブジェクトのうち、所定の条件を満たすオブジェクトを選択することで、ユーザの要望（ニーズ）に合ったオブジェクトを拡大して効果的に表示することができる。これによりユーザは、全体画像上の見たいと思うオブジェクトの細部まで観察することができる。

特に、本出願人が行ったアンケートでは、全体画像に表示されているオブジェクトのうち、拡大して表示させたいオブジェクトとして、人物以外の小さいオブジェクトと回答した人が多かったという結果が得られている。

したがって、上述したように、面積が予め定められた所定の値以下であるオブジェクトを候補として選択するなどして、検出されたオブジェクトのうち、比較的小さい（面積が小さい）オブジェクトをズーム画像のオブジェクトとすることにより、全体画像上のオブジェクトのうちの比較的小さいオブジェクトを自動的に検出し、拡大して表示することができる。これにより、全体画像上における、ユーザが拡大させて見たいと思うオブジェクトを、拡大してより見やすく表示することができる。ユーザは、自分が見たいと思うオブジェクトが拡大されて表示されるので、全体画像上における小さいオブジェクトを凝視する必要がなくなり、全体画像の視聴時におけるユーザのストレスも軽減される。

なお、ズーム画像のオブジェクトとして、小さいオブジェクトに限らず、予め定められた所定の値よりも大きいオブジェクトや、全体画像の中心に近いオブジェクトを選択するようにしてもよい。

次に、図１６のフローチャートを参照して、図１３のステップＳ１２１の処理に対応する、オブジェクト検出処理について説明する。上述したように、このオブジェクト検出処理においてオブジェクト選択部２４１は、全体画像からオブジェクトを検出する。

ステップＳ１５１において、検出部２５１は初期化処理を行う。例えば、検出部２５１は、オブジェクトを検出する対象となる領域に含まれている、全ての画素のオブジェクト番号を０とする。ここで、オブジェクト番号とは、全体画像上のオブジェクトを特定するための番号をいい、検出部２５１は、全ての画素に１以上の所定の数をオブジェクト番号として付して、オブジェクトに分類する。また、オブジェクト番号０は、その画素は、未だどのオブジェクトにも分類されていないことを示している。

例えば、図１７に示す領域３８１を、オブジェクトを検出する対象となる領域とすると、検出部２５１は、初期化処理において、領域３８１に含まれる全ての画素にオブジェクト番号０を付す。なお、図中、領域３８１に含まれる１つの四角形は、１つの画素を表わしている。

また、図中、一番左上の画素を基準として、右方向にｉ番目であり、下方向にｊ番目である画素を画素Ｇ（ｉ，ｊ）とし、画素Ｇ（ｉ，ｊ）のオブジェクト番号をObj（ｉ，ｊ）とする。検出部２５１は、初期化処理を行った後、画素Ｇ（ｉ，ｊ）を特定するための変数ｉ、および変数ｊを変化させて、領域３８１に含まれる全ての画素Ｇ（ｉ，ｊ）に対して、オブジェクト番号Obj（ｉ，ｊ）を付すことにより、画素Ｇ（ｉ，ｊ）を、オブジェクト番号Obj（ｉ，ｊ）により示されるオブジェクトに分類する。

なお、以下では、領域３８１の図中、一番右側の列の画素を画素Ｇ（ｗ，ｊ）とし、領域３８１の図中、一番下の行の画素を画素Ｇ（ｉ，ｈ）として説明する。したがって、図１７の例においては、ｗ＝６であり、ｈ＝４である。

図１６のフローチャートの説明に戻り、初期化処理が行われると、ステップＳ１５２において、検出部２５１は、変数保持部２５２が保持している変数ｉ、変数ｊ、および変数numを、それぞれｉ＝１、ｊ＝１、およびnum＝１とする。

ここで、変数ｉおよび変数ｊは、画素Ｇ（ｉ，ｊ）を特定するための変数であり、ｉ＝１、およびｊ＝１である状態においては、画素Ｇ（ｉ，ｊ）は、画素Ｇ（１，１）を示すものとする。したがって、図１７の例においては、ｉ＝１、およびｊ＝１である場合、画素Ｇ（ｉ，ｊ）とは、図中、一番左上の画素を示している。また、変数numは、各画素Ｇ（ｉ，ｊ）に付されるオブジェクト番号を示す変数である。

ステップＳ１５３において、検出部２５１は、オブジェクト番号Obj（ｉ，ｊ）＝０であるか否かを判定する。例えば、初期化処理が行われ、変数ｉ、変数ｊ、および変数numが、それぞれｉ＝１、ｊ＝１、およびnum＝１である場合、すなわち、ステップＳ１５２からステップＳ１５３に進んだ場合、まだ全ての画素のオブジェクト番号が０であり、オブジェクトに分類されていない。この場合、画素Ｇ（ｉ，ｊ）は、ｉ＝１、ｊ＝１であるからＧ（１，１）であり、Ｇ（１，１）のオブジェクト番号Obj（１，１）も０であるから、検出部２５１は、Obj（ｉ，ｊ）＝０であると判定する。

ステップＳ１５３において、Obj（ｉ，ｊ）＝０であると判定された場合、ステップＳ１５４に進み、検出部２５１は、Obj（ｉ，ｊ）＝numとする。例えば、変数保持部２５２が保持している変数ｉ、変数ｊ、および変数numが、それぞれｉ＝１、ｊ＝１、およびnum＝１である場合、検出部２５１は、Obj（１，１）＝１とする。

ステップＳ１５５において、検出部２５１は差分演算処理を行う。なお、差分演算処理の詳細は後述するが、差分演算処理において、検出部２５１は、変数保持部２５２が保持している変数ｉ、変数ｊにより特定される画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ，ｊ）に隣接する画素Ｇ（ｉ，ｊ−１）、画素Ｇ（ｉ−１，ｊ）、画素Ｇ（ｉ＋１，ｊ）、および画素Ｇ（ｉ，ｊ＋１）のそれぞれの画素値との差分を計算する。検出部２５１は、計算された差分の絶対値が、予め定められた閾値よりも小さい画素のオブジェクト番号に、画素Ｇ（ｉ，ｊ）のオブジェクト番号Obj（ｉ，ｊ）と同じ番号を付し、画素Ｇ（ｉ，ｊ）と同じオブジェクトに分類する。

ステップＳ１５６において、検出部２５１は、変数保持部２５２が保持している変数numをインクリメントし、ステップＳ１５７に進む。

また、ステップＳ１５３において、Obj（ｉ，ｊ）＝０でないと判定された場合、既に画素Ｇ（ｉ，ｊ）には、オブジェクト番号が付されており、オブジェクトに分類されているので、ステップＳ１５４の処理乃至ステップＳ１５６の処理はスキップされて、ステップＳ１５７に進む。

ステップＳ１５６において、変数numがインクリメントされるか、ステップＳ１５３において、Obj（ｉ，ｊ）＝０でないと判定されると、ステップＳ１５７において、検出部２５１は、変数保持部２５２が保持している変数ｉが、ｉ＝ｗであるか否かを判定する。例えば、オブジェクトを検出する対象となる領域が、図１７に示した領域３８１であり、変数ｉが、ｉ＝６である場合、検出部２５１はｉ＝ｗであると判定する。

ステップＳ１５７において、ｉ＝ｗでないと判定された場合、ステップＳ１５８に進み、検出部２５１は、変数保持部２５２が保持している変数ｉをインクリメントして、ステップＳ１５３に戻る。このように、検出部２５１は、ステップＳ１５７において、ｉ＝ｗであると判定されるまで、変数ｉを１からｗに変えて、それぞれの画素Ｇ（ｉ，ｊ）（ｊ行目の全ての画素）にオブジェクト番号を付し、オブジェクトに分類する。

また、ステップＳ１５７において、ｉ＝ｗであると判定された場合、ステップＳ１５９に進み、検出部２５１は、変数保持部２５２が保持している変数ｊが、ｊ＝ｈであるか否かを判定する。例えば、オブジェクトを検出する対象となる領域が、図１７に示した領域３８１であり、変数ｊが、ｊ＝４である場合、検出部２５１はｊ＝ｈであると判定する。

ステップＳ１５９において、ｊ＝ｈでないと判定された場合、まだ全ての画素をオブジェクトに分類していないので、ステップＳ１６０に進み、検出部２５１は、変数保持部２５２が保持している変数ｉを、ｉ＝１とする。

ステップＳ１６１において、検出部２５１は、変数保持部２５２が保持している変数ｊをインクリメントし、ステップＳ１５３に戻る。このように、検出部２５１は、ステップＳ１５９において、ｊ＝ｈであると判定されるまで、変数ｊを１からｈに変えて、それぞれの画素Ｇ（ｉ，ｊ）にオブジェクト番号を付し、オブジェクトに分類する。

また、ステップＳ１５９において、ｊ＝ｈであると判定された場合、全ての画素をオブジェクトに分類したので、処理は図１３のステップＳ１２２に進む。

このようにして、検出部２５１は、オブジェクトを検出する対象となる領域に含まれる全ての画素に、オブジェクト番号を付してオブジェクトに分類する。例えば、図１７に示した領域３８１からオブジェクトを検出する場合、検出部２５１は、図中、一番上の行の各画素を、一番左側の画素から一番右側の画素まで順番に選択してオブジェクトに分類し、順次、次の行の各画素を、一番左側の画素から一番右側の画素まで順番に選択してオブジェクトに分類して、一番上の行から一番下の行まで順番に、各画素をオブジェクトに分類していく。

ここで、オブジェクト番号が同一の画素は、同じオブジェクトに含まれる（オブジェクトを構成する）画素とされる。換言すれば、１つのオブジェクトは、そのオブジェクトを特定するオブジェクト番号が付された画素からなる全体画像上の領域とされる。

次に、図１８および図１９のフローチャートを参照して、図１６のステップＳ１５５の処理に対応する差分演算処理について説明する。

ステップＳ２０１において、検出部２５１は、画素Ｇ（ｉ，ｊ）と隣接する画素Ｇ（ｉ，ｊ−１）のオブジェクト番号が、Obj（ｉ，ｊ−１）＝０であるか否かを判定する。すなわち、検出部２５１は、画素Ｇ（ｉ，ｊ）と隣接する画素Ｇ（ｉ，ｊ−１）が、すでにオブジェクトに分類されているか否かを判定する。

ステップＳ２０１において、Obj（ｉ，ｊ−１）＝０であると判定された場合、画素Ｇ（ｉ，ｊ−１）は、まだオブジェクトに分類されていないので、ステップＳ２０２に進み、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ，ｊ−１）の画素値との差分を計算する。

例えば、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値、および画素Ｇ（ｉ，ｊ−１）の画素値を基に、画素Ｇ（ｉ，ｊ）の輝度値、および画素Ｇ（ｉ，ｊ−１）の輝度値を計算し、その結果得られた輝度値の差を求めることにより、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ，ｊ−１）の画素値との差分を計算する。

ステップＳ２０３において、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ，ｊ−１）の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。

ステップＳ２０３において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ，ｊ−１）は同じオブジェクトの画素であるとされて、ステップＳ２０４に進み、検出部２５１は、画素Ｇ（ｉ，ｊ−１）のオブジェクト番号を、Obj（ｉ，ｊ−１）＝numとする。例えば、変数保持部２５２に保持されている変数numが、num＝１である場合、検出部２５１は、Obj（ｉ，ｊ−１）＝１とする。

ステップＳ２０５において、検出部２５１は、変数保持部２５２に保持されている変数ｊをデクリメントする。

ステップＳ２０６において、検出部２５１は、差分演算処理を行う。なお、ステップＳ２０６における差分演算処理は、図１８および図１９を参照して説明する差分演算処理と同様であるので、その説明は省略する。

ステップＳ２０７において、検出部２５１は、変数保持部２５２に保持されている変数ｊをインクリメントし、処理はステップＳ２０８に進む。

また、ステップＳ２０３において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ，ｊ−１）は同じオブジェクトの画素ではないとされ、ステップＳ２０４の処理乃至ステップＳ２０７の処理はスキップされて、ステップＳ２０８に進む。

さらに、ステップＳ２０１において、Obj（ｉ，ｊ−１）＝０でないと判定された場合、画素Ｇ（ｉ，ｊ−１）は、すでにオブジェクトに分類されているので、ステップＳ２０２の処理乃至ステップＳ２０７の処理はスキップされて、ステップＳ２０８に進む。

ステップＳ２０１において、Obj（ｉ，ｊ−１）＝０でないと判定されるか、ステップＳ２０３において、差分の絶対値が、予め定められた閾値よりも小さくないと判定されるか、または、ステップＳ２０７において、変数ｊがインクリメントされると、ステップＳ２０８において、検出部２５１は、画素Ｇ（ｉ，ｊ）と隣接する画素Ｇ（ｉ−１，ｊ）のオブジェクト番号が、Obj（ｉ−１，ｊ）＝０であるか否かを判定する。

ステップＳ２０８において、Obj（ｉ−１，ｊ）＝０であると判定された場合、画素Ｇ（ｉ−１，ｊ）は、まだオブジェクトに分類されていないので、ステップＳ２０９に進み、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ−１，ｊ）の画素値との差分を計算する。

ステップＳ２１０において、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ−１，ｊ）の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。

ステップＳ２１０において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ−１，ｊ）は同じオブジェクトの画素であるとされて、ステップＳ２１１に進み、検出部２５１は、画素Ｇ（ｉ−１，ｊ）のオブジェクト番号を、Obj（ｉ−１，ｊ）＝numとする。

ステップＳ２１２において、検出部２５１は、変数保持部２５２に保持されている変数ｉをデクリメントする。

ステップＳ２１３において、検出部２５１は、差分演算処理を行う。なお、ステップＳ２１３における差分演算処理は、図１８および図１９を参照して説明する差分演算処理と同様であるので、その説明は省略する。

ステップＳ２１４において、検出部２５１は、変数保持部２５２に保持されている変数ｉをインクリメントし、処理はステップＳ２１５に進む。

また、ステップＳ２１０において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ−１，ｊ）は同じオブジェクトの画素ではないとされ、ステップＳ２１１の処理乃至ステップＳ２１４の処理はスキップされて、ステップＳ２１５に進む。

さらに、ステップＳ２０８において、Obj（ｉ−１，ｊ）＝０でないと判定された場合、画素Ｇ（ｉ−１，ｊ）は、すでにオブジェクトに分類されているので、ステップＳ２０９の処理乃至ステップＳ２１４の処理はスキップされて、ステップＳ２１５に進む。

ステップＳ２０８において、Obj（ｉ−１，ｊ）＝０でないと判定されるか、ステップＳ２１０において、差分の絶対値が、予め定められた閾値よりも小さくないと判定されるか、または、ステップＳ２１４において、変数ｉがインクリメントされると、ステップＳ２１５において、検出部２５１は、画素Ｇ（ｉ，ｊ）と隣接する画素Ｇ（ｉ＋１，ｊ）のオブジェクト番号が、Obj（ｉ＋１，ｊ）＝０であるか否かを判定する。

ステップＳ２１５において、Obj（ｉ＋１，ｊ）＝０であると判定された場合、画素Ｇ（ｉ＋１，ｊ）は、まだオブジェクトに分類されていないので、ステップＳ２１６に進み、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ＋１，ｊ）の画素値との差分を計算する。

ステップＳ２１７において、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ＋１，ｊ）の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。

ステップＳ２１７において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ＋１，ｊ）は同じオブジェクトの画素であるとされて、ステップＳ２１８に進み、検出部２５１は、画素Ｇ（ｉ＋１，ｊ）のオブジェクト番号を、Obj（ｉ＋１，ｊ）＝numとする。

ステップＳ２１９において、検出部２５１は、変数保持部２５２に保持されている変数ｉをインクリメントする。

ステップＳ２２０において、検出部２５１は、差分演算処理を行う。なお、ステップＳ２２０における差分演算処理は、図１８および図１９を参照して説明する差分演算処理と同様であるので、その説明は省略する。

ステップＳ２２１において、検出部２５１は、変数保持部２５２に保持されている変数ｉをデクリメントし、処理はステップＳ２２２に進む。

また、ステップＳ２１７において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ＋１，ｊ）は同じオブジェクトの画素ではないとされ、ステップＳ２１８の処理乃至ステップＳ２２１の処理はスキップされて、ステップＳ２２２に進む。

さらに、ステップＳ２１５において、Obj（ｉ＋１，ｊ）＝０でないと判定された場合、画素Ｇ（ｉ＋１，ｊ）は、すでにオブジェクトに分類されているので、ステップＳ２１６の処理乃至ステップＳ２２１の処理はスキップされて、ステップＳ２２２に進む。

ステップＳ２１５において、Obj（ｉ＋１，ｊ）＝０でないと判定されるか、ステップＳ２１７において、差分の絶対値が、予め定められた閾値よりも小さくないと判定されるか、または、ステップＳ２２１において、変数ｉがデクリメントされると、ステップＳ２２２において、検出部２５１は、画素Ｇ（ｉ，ｊ）と隣接する画素Ｇ（ｉ，ｊ＋１）のオブジェクト番号が、Obj（ｉ，ｊ＋１）＝０であるか否かを判定する。

ステップＳ２２２において、Obj（ｉ，ｊ＋１）＝０であると判定された場合、画素Ｇ（ｉ，ｊ＋１）は、まだオブジェクトに分類されていないので、ステップＳ２２３に進み、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ，ｊ＋１）の画素値との差分を計算する。

ステップＳ２２４において、検出部２５１は、画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ，ｊ＋１）の画素値との差分の絶対値が、予め定められた閾値よりも小さいか否かを判定する。

ステップＳ２２４において、差分の絶対値が、予め定められた閾値よりも小さいと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ，ｊ＋１）は同じオブジェクトの画素であるとされて、ステップＳ２２５に進み、検出部２５１は、画素Ｇ（ｉ，ｊ＋１）のオブジェクト番号を、Obj（ｉ，ｊ＋１）＝numとする。

ステップＳ２２６において、検出部２５１は、変数保持部２５２に保持されている変数ｊをインクリメントする。

ステップＳ２２７において、検出部２５１は、差分演算処理を行う。なお、ステップＳ２２７における差分演算処理は、図１８および図１９を参照して説明する差分演算処理と同様であるので、その説明は省略する。

ステップＳ２２８において、検出部２５１は、変数保持部２５２に保持されている変数ｊをデクリメントし、処理は図１６のステップＳ１５６に進む。

また、ステップＳ２２４において、差分の絶対値が、予め定められた閾値よりも小さくないと判定された場合、画素Ｇ（ｉ，ｊ）および画素Ｇ（ｉ，ｊ＋１）は同じオブジェクトの画素ではないとされ、ステップＳ２２５の処理乃至ステップＳ２２８の処理はスキップされて、処理は図１６のステップＳ１５６に進む。

さらに、ステップＳ２２２において、Obj（ｉ，ｊ＋１）＝０でないと判定された場合、画素Ｇ（ｉ，ｊ＋１）は、すでにオブジェクトに分類されているので、ステップＳ２２３の処理乃至ステップＳ２２８の処理はスキップされて、処理は図１６のステップＳ１５６に進む。

なお、ステップＳ２０１の処理、ステップＳ２０８の処理、ステップＳ２１５の処理、またはステップＳ２２２の処理において、画素Ｇ（ｉ，ｊ）に隣接する画素が、オブジェクトを検出する対象となる領域の画素ではない場合には、画素Ｇ（ｉ，ｊ）に隣接する画素のオブジェクト番号は、０ではないと判定される。

このようにして、検出部２５１は、変数保持部２５２が保持している変数ｉ、変数ｊにより特定される画素Ｇ（ｉ，ｊ）の画素値と、画素Ｇ（ｉ，ｊ）に隣接する画素の画素値との差分を計算する。そして、検出部２５１は、計算された差分の絶対値が、予め定められた閾値よりも小さい場合、画素Ｇ（ｉ，ｊ）と隣接する画素は、画素Ｇ（ｉ，ｊ）と同じオブジェクトに分類されるとして、その画素のオブジェクト番号に、画素Ｇ（ｉ，ｊ）のオブジェクト番号Obj（ｉ，ｊ）と同じ番号を付す。

このように、所定の画素の画素値と、その画素に隣接する画素の画素値との差分を計算し、その結果に基づいて、画素にオブジェクト番号を付すことによって、全体画像からオブジェクトを検出することができる。これにより、検出されたオブジェクトを含む領域をズーム領域の候補とすることができ、ユーザは、いちいちズーム領域を指定する必要がなくなるので、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。

ところで、スケーラブルテレビジョンシステム１１（図１）においては、スケーラブルテレビジョンシステム１１を構成する９台の表示装置２１のそれぞれが、全体画像上の予め定められた領域（またはユーザにより定められた領域）から、肌色の領域を検出して、ズーム領域の候補となる領域を定めると説明したが、それぞれの表示装置２１ごとに、肌色の領域を検出する対象となる領域を動的に決めるようにすることも可能である。

図４を参照して説明したように、互いに接続されている表示装置２１は予め順序付けられており、それぞれの表示装置２１（中央処理部９３）は、自分自身の順番を示すＩＤ（自分自身を特定するＩＤ）を記憶している。そこで、表示装置２１の順番に基づいて、肌色の領域を検出する対象となる領域を動的に決めることにより、それぞれの表示装置２１が、それぞれ異なる領域から、肌色の領域を検出することができるようになる。

例えば、表示装置２１に供給された画像データに基づく画像（全体画像）が、図２０Ａに示す画像４１１であるとすると、複数の表示装置２１は、画像４１１全体を肌色の領域を検出する対象として、画像４１１から、肌色の領域を検出する。

そして、図２０Ｂに示すように、画像４１１から肌色の領域４２１が検出され、ズーム領域の候補とされると、記憶しているＩＤにより示される順番が、１番目である表示装置２１は、この領域４２１をズーム領域として、ズーム画像を表示する。

これに対して、記憶しているＩＤにより示される順番が、１番目ではない表示装置２１（２番目以降の表示装置２１）は、図２０Ｃに示すように、画像４１１から領域４２１を除いた領域を、肌色の領域を検出する対象とし、再び肌色の領域を検出する。

その結果、図２０Ｄに示すように、画像４１１から領域４２１を除いた領域から、肌色の領域４２２が検出され、ズーム領域の候補とされると、記憶しているＩＤにより示される順番が、２番目である表示装置２１は、この領域４２２をズーム領域として、ズーム画像を表示する。

さらに、記憶しているＩＤにより示される順番が、１番目および２番目ではない表示装置２１（３番目以降の表示装置２１）は、図２０Ｅに示すように、画像４１１から領域４２１および領域４２２を除いた領域を、肌色の領域を検出する対象とし、さらに肌色の領域を検出する。

このように、表示装置２１は、肌色の領域を検出する対象となる領域から、すでに肌色が検出され、ズーム領域の候補とされた領域が除かれた領域を、新たに肌色の領域を検出する対象となる領域として、自分自身の順番となるまで、肌色の領域を検出する処理を繰り返し行う。

次に、肌色の領域を検出する対象となる領域を動的に決める場合において、表示装置２１が行う処理について説明する。スケーラブルテレビジョンシステム１１を構成する表示装置２１のうち、ズーム画像を表示する表示装置２１は、図６を参照して説明したズーム画像の表示処理を行う。そして、表示装置２１は、図６のステップＳ３２において、肌色の領域を検出する対象となる領域を動的に決めて、ズーム画像を表示する。

以下、図２１のフローチャートを参照して、肌色の領域を検出する対象となる領域を動的に決める場合に表示装置２１が行う、図６のステップＳ３２の処理に対応する自動ズーム処理について説明する。

ステップＳ２６１において、中央処理部９３は、記憶しているＩＤを参照して、自分自身の順番を定める。例えば、記憶しているＩＤにより示される順番が２番目である場合、中央処理部９３は、自分自身の順番を２番とする。

ステップＳ２６２において、画像処理部９５は、中央処理部９３の制御の基に、肌色領域の検出処理を行う。なお、ステップＳ２６２における肌色領域の検出処理は、図９のフローチャートを参照して説明した肌色領域の検出処理と同様であるため、その説明は省略する。また、肌色領域の検出処理において、画像処理部９５は、予め定められた領域、またはステップＳ２６４において設定された領域を、検出の対象となる領域として、肌色の領域を検出し、ズーム領域の候補となる領域を定める。

肌色の領域が検出されると、ステップＳ２６３において、中央処理部９３は、自分の順番であるか否かを判定する。例えば、ステップＳ２６１において定めた順番が２番目である場合、全体画像から、肌色の領域を２回検出したとき（肌色領域の検出処理を２回行ったとき）、中央処理部９３は、自分の順番であると判定する。

ステップＳ２６３において、自分の順番でないと判定された場合、継続して肌色の領域を検出するので、ステップＳ２６４に進み、画像処理部９５は、これまでズーム領域の候補とされた領域を除く領域を、肌色の領域の検出の対象となる領域として設定し、ステップＳ２６２に戻り、設定した領域から、肌色の領域を検出する。

例えば、図２０Ｄに示すように、画像（全体画像）４１１から、肌色の領域４２１（ズーム領域の候補となる領域）および領域４２２（ズーム領域の候補となる領域）が検出され、ステップＳ２６３において、自分の順番ではないと判定された場合、ステップＳ２６４において、画像処理部９５は、図２０Ｅに示したように、画像４１１から、領域４２１および領域４２２が除かれた領域を、次の肌色の領域を検出する対象となる領域として設定する。

一方、ステップＳ２６３において、自分の順番であると判定された場合、ステップＳ２６５に進む。なお、ステップＳ２６５の処理およびステップＳ２６６の処理は、図７のステップＳ６５の処理およびステップＳ６６の処理と同様であるので、その説明は省略する。ステップＳ２６６において、画像（ズーム画像）が表示されると、処理は図６のステップＳ３３に進む。

また、図７では、検出された肌色の領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにしたが、図２１を参照して説明した自動ズーム処理においては、ステップＳ２６２において定められたズーム領域の候補となる領域、すなわち、検出された肌色の領域を含む領域がそのままズーム領域とされ、その領域が拡大されて表示される。なお、図７における場合と同様に、検出された肌色の領域を含む領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにすることも勿論可能である。

このようにして、表示装置２１は、肌色の領域を検出する対象となる領域を動的に決めて、その領域から検出された肌色の領域を含む領域をズーム領域として、ズーム画像を表示する。

このように、それぞれの表示装置２１ごとに、肌色の領域を検出する対象となる領域を動的に決めるようにすることで、互いに接続されている表示装置２１ごとに、異なる領域から肌色の領域を検出することができ、その結果、表示装置２１ごとに異なるズーム画像をより効果的に表示させることができる。したがって、ユーザは、複数の表示装置２１のそれぞれに表示されたズーム画像から、自分が見たいズーム画像を選択的に視聴することができる。

なお、ステップＳ２６２において、肌色の領域を検出することにより、ズーム領域を定めると説明したが、表示装置を、図１２を参照して説明した構成とし、ステップＳ２６２において、図１３を参照して説明したオブジェクト領域の検出処理を行うようにしてもよい。この場合、表示装置２１１ごとに、オブジェクトを検出する対象となる領域が動的に決められ、その領域から検出されたオブジェクトを含む領域がズーム領域とされて、ズーム画像が表示される。

また、表示装置の機能の構成を、図４を参照して説明した機能、および図１２を参照して説明した機能を有する構成とし、ステップＳ２６２において、肌色領域の検出処理（図９）と、オブジェクト領域の検出処理（図１３）とを交互に行ったりするようにしてもよい。この場合、例えば、１回目にズーム領域を定める時には、ステップＳ２６２において、肌色領域の検出処理が行われ、次にズーム領域を定めるとき（２回目にステップＳ２６２の処理を行うとき）には、ステップＳ２６２において、オブジェクト領域の検出処理が行われる。

さらに、ステップＳ２６２において、肌色領域の検出処理を行うか、またはオブジェクト領域の検出処理を行うかをユーザが設定できるようにしたり、表示装置によって、肌色領域の検出処理を行うか、またはオブジェクト領域の検出処理を行うかが異なるようにしたりしてもよい。

さらに、また、表示装置の機能の構成を、図４を参照して説明した機能、および図１２を参照して説明した機能を有する構成とし、スケーラブルテレビジョンシステムを構成する複数の表示装置のうち、肌色領域の検出処理（図９）を行ってズーム画像を表示する表示装置の数と、オブジェクト領域の検出処理（図１３）を行ってズーム画像を表示する表示装置の数とを動的に変化させるようにしてもよい。

例えば、図２２Ａに示すように、全体画像４６１上において、肌色の領域が人４７１および人４７２の顔の部分だけである場合、２台の表示装置が、それぞれ人４７１および人４７２の顔の部分をズーム画像として表示させると、画像４６１上における肌色の領域は、全て拡大されて表示されることになる。

これに対して、図２２Ｂに示すように、全体画像４８１上において、肌色の領域が人４９１乃至人４９７の顔の部分である場合、人４９１乃至人４９７の顔の部分を、それぞれ１台の表示装置が表示するようにすると、肌色の領域を検出して表示する表示装置は、７台必要となる。

このように、全体画面上において、肌色の領域が大きい場合と、肌色の領域が小さい場合とでは、肌色の領域を表示するために必要となる表示装置の数は異なる。そこで、全体画面上における肌色の領域の面積によって、肌色の領域を検出して表示する表示装置の数と、オブジェクトを検出して表示する表示装置の数とを動的に変化させることによって、ズーム画像をより効果的に表示させることができる。

例えば、図２２Ａに示したように、全体画像４６１上において、肌色の領域が人４７１および人４７２の顔の部分だけであり、全体画像４６１上における肌色の領域の面積が、所定の値よりも小さい場合には、肌色領域の検出処理を行う表示装置を４台、オブジェクト領域の検出処理を行う表示装置を４台とし、図２２Ｂに示したように、全体画像４８１上において、肌色の領域が人４９１乃至人４９７の顔の部分であり、全体画像４８１上における肌色の領域の面積が、所定の値以上である場合には、肌色領域の検出処理を行う表示装置を７台、オブジェクト領域の検出処理を行う表示装置を１台とすることができる。

肌色の領域の面積によって、肌色領域の検出処理を行う表示装置の数と、オブジェクト領域の検出処理を行う表示装置の数とを動的に変化させる場合、表示装置は、例えば、図２３に示すように構成される。

表示装置５３１は、制御情報通信部９１、入力部９２、中央処理部９３、信号取得部９４、表示部９６、音声出力部９７、および画像処理部５４１を含むように構成される。なお、表示装置５３１の制御情報通信部９１、入力部９２、中央処理部９３、信号取得部９４、表示部９６、および音声出力部９７のそれぞれは、図４における場合と対応するため同一の符号を付してあり、その説明は省略する。

画像処理部５４１は、中央処理部９３の制御の基に、信号取得部９４から供給された画像データに基づく画像（全体画像）から、肌色の領域またはオブジェクトを検出して、検出された肌色の領域またはオブジェクトが含まれる領域を拡大して表示させるための画像データを生成し、表示部９６に供給する。画像処理部５４１は、領域決定部１１１、オブジェクト選択部２４１、パラメータ決定部１１２、およびズーム処理部１１３を含むように構成される。

なお、領域決定部１１１、パラメータ決定部１１２、およびズーム処理部１１３は、図４における場合と対応するため同一の符号を付してあり、その説明は省略する。また、オブジェクト選択部２４１は、図１２における場合と対応するため同一の符号を付してあり、その説明は省略する。

図２３に示す表示装置５３１では、信号取得部９４により抽出された画像データは、領域決定部１１１、オブジェクト選択部２４１、およびズーム処理部１１３に供給される。また、パラメータ決定部１１２には、領域決定部１１１およびオブジェクト選択部２４１が接続されている。

ユーザがリモートコマンダを操作して、表示装置５３１に画像の表示を指示すると、表示装置５３１は、図６を参照して説明したズーム画像の表示処理を行う。そして、表示装置５３１は、図６のステップＳ３２において、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決めて、ズーム画像を表示する。

以下、図２４のフローチャートを参照して、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決める場合に表示装置５３１が行う、図６のステップＳ３２の処理に対応する自動ズーム処理について説明する。

ステップＳ３０１において、肌色領域検出部１２１は、中央処理部９３の制御の基に、信号取得部９４から供給された画像データに基づく画像（全体画像）上における、肌色の領域の面積を算出する。例えば、肌色領域検出部１２１は、図９のフローチャートを参照して説明したように、各画素の画素値を基に、上述した式（１０）乃至式（１４）を適宜用いて、HSV形式の色空間のＨの値を求め、全体画像上の肌色の領域の面積を算出する。

ステップＳ３０２において、中央処理部９３は、肌色領域検出部１２１が算出した全体画像上の肌色の領域の面積が、予め定められた所定の値以上であるか否かを判定する。

ステップＳ３０２において、所定の値以上であると判定された場合、ステップＳ３０３に進み、中央処理部９３は、互いに接続された、ズーム画像を表示する８台の表示装置５３１のうち、肌色の領域をズーム領域とする表示装置５３１を５台とし、オブジェクトを含む領域をズーム領域とする表示装置５３１を３台とする。

これに対して、ステップＳ３０２において、所定の値以上でないと判定された場合、ステップＳ３０４に進み、中央処理部９３は、互いに接続された、ズーム画像を表示する８台の表示装置５３１のうち、肌色の領域をズーム領域とする表示装置５３１を３台とし、オブジェクトを含む領域をズーム領域とする表示装置５３１を５台とする。

ステップＳ３０３またはステップＳ３０４において、肌色の領域をズーム領域とする表示装置５３１の台数と、オブジェクトを含む領域をズーム領域とする表示装置５３１の台数を定めると、ステップＳ３０５に進み、中央処理部９３は、記憶しているＩＤを参照して、自分自身の順番を定める。

表示装置２１における場合と同様に、互いに接続されている表示装置５３１は、予め順序付けられており、それぞれの表示装置５３１（中央処理部９３）は、自分自身の順番を示すＩＤを記憶している。例えば、記憶しているＩＤにより示される順番が２番目である場合、中央処理部９３は、自分自身の順番を２番とする。

ステップＳ３０６において、中央処理部９３は、肌色の領域をズーム領域とするか否かを判定する。例えば、ズーム画像を表示する８台の表示装置５３１のそれぞれは、自分自身の順番が１番乃至８番のいずれかを示すＩＤを記憶している。そして、ステップＳ３０３において、肌色の領域をズーム領域とする表示装置５３１が５台とされ、オブジェクトを含む領域をズーム領域とする表示装置５３１が３台とされた場合、順番が１番乃至５番である表示装置５３１は、肌色の領域をズーム領域とすると判定し、順番が６番乃至８番である表示装置５３１は、肌色の領域をズーム領域としないと判定する。

また、ステップＳ３０４において、肌色の領域をズーム領域とする表示装置５３１が３台とされ、オブジェクトを含む領域をズーム領域とする表示装置５３１が５台とされた場合、順番が１番乃至３番である表示装置５３１は、肌色の領域をズーム領域とすると判定し、順番が４番乃至８番である表示装置５３１は、肌色の領域をズーム領域としないと判定する。

ステップＳ３０６において、肌色の領域をズーム領域とすると判定された場合、中央処理部９３は、画像処理部５４１に、肌色領域の検出処理の実行を指示して、処理はステップＳ３０７に進む。

ステップＳ３０７において、画像処理部５４１（領域決定部１１１およびパラメータ決定部１１２）は、肌色領域の検出処理を行い、ステップＳ３０９に進む。なお、肌色領域の検出処理は、図９のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

一方、ステップＳ３０６において、肌色の領域をズーム領域としないと判定された場合、オブジェクトを含む領域をズーム領域とするので、中央処理部９３は、画像処理部５４１に、オブジェクト領域の検出処理の実行を指示して、処理はステップＳ３０８に進む。

ステップＳ３０８において、画像処理部５４１（オブジェクト選択部２４１およびパラメータ決定部１１２）は、オブジェクト領域の検出処理を行い、ステップＳ３０９に進む。なお、オブジェクト領域の検出処理は、図１３のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

ステップＳ３０７において、肌色領域の検出処理が行われるか、またはステップＳ３０８において、オブジェクト領域の検出処理が行われると、処理はステップＳ３０９に進む。なお、ステップＳ３０９の処理およびステップＳ３１０の処理は、図７のステップＳ６５の処理およびステップＳ６６の処理と同様であるので、その説明は省略する。ステップＳ３１０において、画像（ズーム画像）が表示されると、処理は図６のステップＳ３３に進む。

また、図７では、検出された肌色の領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにしたが、図２４を参照して説明した自動ズーム処理においては、ステップＳ３０７またはステップＳ３０８において定められたズーム領域の候補となる領域がそのままズーム領域とされ、その領域が拡大されて表示される。なお、図７における場合と同様に、検出された肌色の領域を含む領域、またはオブジェクトを含む領域をズーム領域の候補とし、中心座標の重心およびズーム倍率の平均値を求めて、ズーム領域を定めるようにすることも勿論可能である。

このようにして、表示装置５３１は、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決めて、ズーム画像を表示する。

このように、それぞれの表示装置５３１ごとに、肌色の領域を含む領域をズーム領域とするか、またはオブジェクトを含む領域をズーム領域とするかを動的に決めるようにすることで、互いに接続されている表示装置５３１のうち、肌色の領域をズーム領域としてズーム画像を表示させるのに必要な表示装置５３１の台数を動的に決めることができ、ズーム画像をより効果的に表示させることができる。

なお、肌色の領域の面積が、予め定められた値以上であるか否かの判定を基に、肌色の領域をズーム領域とする表示装置５３１の台数を定めると説明したが、肌色の領域の面積に応じて、肌色の領域をズーム領域とする表示装置５３１の台数が、１台乃至７台まで連続的に変化するようにしてもよい。

ところで、本出願人が行ったアンケートでは、全体画像上において、拡大して表示させたい領域として、小さいオブジェクトの他に、目立つ領域（例えば、目立つオブジェクトを含む領域）と回答した人が多かったという結果が得られている。

ここで、全体画像上における目立つ領域とは、その領域の色、明るさ、鮮やかさ、その領域におけるエッジの量などが、全体画像上における他の領域と比較して顕著に異なる領域、すなわち全体画像上において、他の領域には少ない所定の特徴が集中して存在する領域ということができる。

そこで、全体画像から、他の領域と色、明るさ、鮮やかさ、その領域におけるエッジの量などが大きく異なる領域を検出することができれば、全体画像上において目立つ領域をズーム画像として拡大して表示することができる。

例えば、図２５Ａに示すように、全体画像５８１の図中、中央に、黄色の星の図形５９１が写っており（表示されており）、全体画像５８１の星の図形５９１以外の領域が白であるとする。このとき、星の図形５９１の色（黄色）と、他の領域の色（白）とは異なる色であるので、星の図形５９１（の領域）は、全体画像５８１の他の領域と比較して、特徴のある領域ということができる。つまり、星の図形５９１（の領域）は、目立つ領域であるということができる。

全体画像５８１から星の図形５９１の領域を検出するために、例えば、図２５Ｂに示すように、全体画像５８１の図中、中央の領域６０１と、全体画像５８１から領域６０１が除かれた領域とを比較する。領域６０１には、星の図形５９１の一部分が含まれており、また、全体画像５８１から領域６０１が除かれた領域にも、星の図形５９１の一部分が含まれているので、この場合には、領域６０１と、全体画像５８１から領域６０１が除かれた領域とから黄色い領域およびエッジが検出され、領域６０１は、全体画像５８１において特徴のある領域とはならない。

また、図２５Ｃに示すように、全体画像５８１の図中、左上の領域６０２と、全体画像５８１から領域６０２が除かれた領域とを比較する場合を考える。領域６０２には、星の図形５９１の一部分が含まれており、また、全体画像５８１から領域６０２が除かれた領域にも、星の図形５９１の一部分が含まれている。したがって、この場合も図２５Ｂの場合と同様に、領域６０２と、全体画像５８１から領域６０２が除かれた領域とから黄色い領域およびエッジが検出され、領域６０２は、全体画像５８１において特徴のある領域とはならない。

これに対して、図２５Ｄに示すように、全体画像５８１の図中、中央の領域６０３と、全体画像５８１から領域６０３が除かれた領域とを比較する場合を考える。領域６０３には、星の図形５９１が含まれており、全体画像５８１から領域６０３が除かれた領域には、星の図形５９１が含まれていない。したがって、領域６０３からは、黄色い領域およびエッジが検出されるが、全体画像５８１から領域６０３が除かれた領域からは、黄色い領域およびエッジは検出されないので、領域６０３は、全体画像５８１において特徴のある領域とすることができる。

このように、全体画像上の一部の領域と、その領域を除く、全体画像上の領域とを比較することによって、全体画像上において目立つ領域（特徴のある領域）を検出し、ズーム画像として表示することができる。

全体画像上において目立つ領域を検出し、ズーム画像として表示する場合、スケーラブルテレビジョンシステムを構成する表示装置は、例えば、図２６に示すように構成される。

表示装置６３１は、制御情報通信部９１、入力部９２、中央処理部９３、信号取得部９４、表示部９６、音声出力部９７、および画像処理部６４１を含むように構成される。なお、表示装置６３１の制御情報通信部９１、入力部９２、中央処理部９３、信号取得部９４、表示部９６、および音声出力部９７のそれぞれは、図４における場合と対応するため同一の符号を付してあり、その説明は省略する。

画像処理部６４１は、中央処理部９３の制御の基に、信号取得部９４から供給された画像データに基づく画像（全体画像）から目立つ領域を抽出して、その領域が含まれる領域を拡大して表示させるための画像データを生成し、表示部９６に供給する。画像処理部６４１は、抽出部６５１、パラメータ決定部１１２、およびズーム処理部１１３を含むように構成される。なお、パラメータ決定部１１２およびズーム処理部１１３は、図４における場合と対応するため同一の符号を付してあり、その説明は省略する。

抽出部６５１は、信号取得部９４から供給された画像データに基づく画像（全体画像）から目立つ領域を抽出する。抽出部６５１は、抽出した目立つ領域を示す情報をパラメータ決定部１１２に供給する。抽出部６５１は、生成部６６１、算出部６６２、および比較部６６３を含むように構成され、生成部６６１、算出部６６２、および比較部６６３は、互いにデータを授受することが可能とされている。

抽出部６５１の生成部６６１は、信号取得部９４から供給された画像データを基に、全体画像の一部の領域の画像（以下、部分画像とも称する）の画像データを生成する。

抽出部６５１の算出部６６２は、信号取得部９４から供給された画像データを基に、全体画像から部分画像が除かれた領域の画像（以下、比較画像とも称する）の特徴を示す特徴量を算出する。また、抽出部６５１の算出部６６２は、生成部６６１が生成した画像データを基に、部分画像の特徴を示す特徴量を算出する。

ここで、特徴量とは、画像の色、明るさ、鮮やかさ、その画像におけるエッジを構成する画素の割合などの、その画像の特徴を示す値をいう。

抽出部６５１の比較部６６３は、算出部６６２により算出された特徴量を基に、部分画像と比較画像とを比較して、全体画像から目立つ領域（特徴のある領域）を検出する。

ユーザがリモートコマンダを操作して、表示装置６３１に画像の表示を指示すると、表示装置６３１は、図６を参照して説明したズーム画像の表示処理を行う。そして、表示装置６３１は、ステップＳ３２の処理に対応する自動ズーム処理（図７）を行い、図７のステップＳ６１の処理において、目立つ領域をズーム領域の候補となる領域として選択する。以下、図２７のフローチャートを参照して、目立つ領域の検出処理について説明する。

ステップＳ３４１において、生成部６６１は、信号取得部９４から供給された画像データを基に、部分画像の画像データを生成する。ここで、部分画像とされる領域は、表示装置６３１ごとに予め定められているようにしてもよく、ユーザが、表示装置６３１ごとに設定することができるようにしてもよい。

例えば、図２８に示すように、全体画像７０１上の予め定められた領域７０２−１乃至領域７０２−８のそれぞれが部分画像とされる。スケーラブルテレビジョンシステムを構成する８台の表示装置６３１が、領域７０２−１乃至領域７０２−８のうちの、それぞれ異なる領域を部分画像としてもよく、また、１台の表示装置６３１が、領域７０２−１乃至領域７０２−８のそれぞれを部分画像として、領域７０２−１乃至領域７０２−８のそれぞれから目立つ領域を検出するようにしてもよい。

生成部６６１が部分画像の画像データを生成すると、ステップ３４２において、算出部６６２は、信号取得部９４から供給された画像データ、および生成部６６１が生成した画像データを基に、部分画像および比較画像の各画素の特徴を示す値を算出する。

ここで、各画素の特徴を示す値は、例えば、各画素の色味（色相）を示すHSV形式の色空間のＨの値、各画素の鮮やかさ（彩度）を示すHSV形式の色空間のＳ（Saturation value）の値、各画素の明るさ（明度）を示すHSV形式の色空間のＶ（Value）の値、各画素の画素値と、その画素に隣接する画素の画素値との差分などとすることができる。

例えば、図２８に示した領域７０２−１が部分画像とされ、各画素の特徴を示す値として、Ｈの値が算出される場合、算出部６６２は、領域７０２−１の各画素の画素値を基に、上述した式（１０）乃至式（１４）（図９のフローチャート参照）を適宜用いて、各画素のＨの値を算出する。さらに、算出部６６２は、領域７０２−２乃至領域７０２−８からなる領域の画像を比較画像として、比較画像の各画素の画素値を基に、上述した式（１０）乃至式（１４）を適宜用いて、各画素のＨの値を算出する。

また、例えば、各画素の特徴を示す値として、画素の画素値と、その画素に隣接する画素の画素値との差分が算出される場合、算出部６６２は、部分画像の各画素の画素値を基に各画素の輝度値を算出し、各画素の輝度値と、その画素に隣接する１つの画素の輝度値との差分を算出し、これを各画素の特徴を示す値とする。同様に、算出部６６２は、比較画像の各画素の画素値を基に各画素の輝度値を算出し、各画素の輝度値と、その画素に隣接する１つの画素の輝度値との差分を算出して、各画素の特徴を示す値とする。

さらに、算出部６６２が、所定の画素の輝度値と、その画素に隣接する４つの画素の輝度値のそれぞれとの差分の平均値を算出し、算出された平均値をその画素の特徴を示す値としてもよい。

各画素の特徴を示す値が算出されると、ステップＳ３４３において、算出部６６２は、各画素の特徴を示す値に基づいて、部分画像の特徴を示す特徴量、および比較画像の特徴を示す特徴量を算出する。

例えば、各画素の特徴を示す値として、Ｈの値が算出された場合、算出部６６２は、部分画像の各画素のＨの値を基に、図２９に示すヒストグラムを生成する。図２９において、横方向はＨの値を示しており、縦方向は、部分画像の画素のうち、Ｈの値が所定の範囲内である画素の数を示している。

例えば、部分画像の画素のうち、Ｈの値が０以上３０未満である画素は１４００個であり、Ｈの値が３０以上６０未満である画素は５００個であり、Ｈの値が６０以上９０未満である画素は６００個であり、Ｈの値が９０以上１２０未満である画素は５００個である。

また、部分画像の画素のうち、Ｈの値が１２０以上１５０未満である画素は６００個であり、Ｈの値が１５０以上１８０未満である画素は７００個であり、Ｈの値が１８０以上２１０未満である画素は８００個であり、Ｈの値が２１０以上２４０未満である画素は７００個である。さらに、Ｈの値が２４０以上２７０未満である画素は６００個であり、Ｈの値が２７０以上３００未満である画素は５００個であり、Ｈの値が３００以上３３０未満である画素は６００個であり、Ｈの値が３３０以上３６０未満である画素は８００個である。

図２９の例では、Ｈの値が０以上３０未満である画素が、他の範囲の画素（例えば、Ｈの値が３０以上６０未満である画素）と比べて多いことが分かる。算出部６６２は、各Ｈの値の範囲のうち、画素の数が一番多いＨの値の範囲を選択し、そのＨの値の範囲の画素の数に基づいて、部分画像の特徴量を算出する。

図２９の例においては、各Ｈの値の範囲のうち、Ｈの値が０以上３０未満である画素の数が一番多いので、算出部６６２は、Ｈの値が０以上３０未満である画素の数に基づいて、部分画像の特徴量を算出する。例えば、算出部６６２は、Ｈの値が０以上３０未満である画素の数を、部分画像の画素の数で割り算した値を特徴量として算出する。この場合、部分画像の特徴量は、部分画像の画素数に対する、Ｈの値が０以上３０未満である画素数の割合を示している。

部分画像における場合と同様に、算出部６６２は、比較画像の各画素のＨの値を基に、図２９に示したヒストグラムと同様のヒストグラムを生成する。そして、算出部６６２は、各Ｈの値の範囲のうち、部分画像のヒストグラムにおいて、画素の数が一番多いＨの値の範囲を選択し、選択したＨの値の範囲の画素の数（比較画像における画素の数）に基づいて、比較画像の特徴量を算出する。

図２９の例においては、部分画像の画素の各Ｈの値の範囲のうち、Ｈの値が０以上３０未満である画素の数が一番多いので、算出部６６２は、比較画像の画素のうちの、Ｈの値が０以上３０未満である画素の数に基づいて、比較画像の特徴量を算出する。例えば、算出部６６２は、比較画像の画素のうちの、Ｈの値が０以上３０未満である画素の数を、比較画像の画素の数で割り算した値を特徴量として算出する。

なお、各画素のＨの値を基にヒストグラムを生成して、各Ｈの値の範囲のうち、画素の数が一番多いＨの値の範囲を選択し、そのＨの値の範囲の画素の数に基づいて、部分画像の特徴量を算出すると説明したが、各画素のＨの値を基に、各Ｈの値の画素の数を示す分布図を生成して部分画像の特徴量を算出するようにしてもよい。

この場合、例えば、画素数の一番多いＨの値を中心とする所定のＨの値の範囲を定める。そして、その定められたＨの値の範囲の画素の数を、部分画像の画素の数で割り算した値が、特徴量として算出される。さらに、部分画像における場合と同様に、比較画像についても、各Ｈの値の画素の数を示す分布図が生成されて、比較画像の画素のうち、部分画像の特徴量の算出時に定められたＨの値の範囲の画素の数を、比較画像の画素の数で割り算した値が、特徴量として算出される。

また、各画素の特徴を示す値として、各画素のＳの値、またはＶの値が算出された場合においても、各画素の特徴を示す値として、各画素のＨの値が算出された場合と同様に、ヒストグラムを生成し、各Ｓの値（またはＶの値）の範囲のうち、画素の数が一番多いＳの値（またはＶの値）の範囲を選択して、部分画像および比較画像の特徴量を算出することができる。

さらに、例えば、各画素の特徴を示す値として、各画素の輝度値と、その画素に隣接する１つの画素の輝度値との差分が算出された場合、算出部６６２は、部分画像の画素のうち、各画素の画素値の差分の絶対値が、予め定められた閾値以上である画素の数を、部分画像の画素の数で割り算した値を、部分画像の特徴量として算出する。この場合、部分画像の特徴量は、部分画像の画素の数に対する、エッジを構成する画素の数（エッジの部分の画素の数）の割合を示している。

同様に、算出部６６２は、比較画像の画素のうち、各画素の画素値の差分の絶対値が、予め定められた閾値（部分画像における場合と同じ値の閾値）以上である画素の数を、比較画像の画素の数で割り算した値を、比較画像の特徴量として算出する。

このように、算出部６６２は、部分画像（または比較画像）の画素のうち、所定の条件を満たす画素の数に基づいて、部分画像（または比較画像）の特徴量を算出する。

図２７のフローチャートの説明に戻り、部分画像および比較画像の特徴量が算出されると、ステップＳ３４４において、比較部６６３は、算出された部分画像および比較画像の特徴量に基づいて、部分画像と比較画像とを比較する。

例えば、比較部６６３は、部分画像の特徴量と、比較画像の特徴量との差を求めて（部分画像の特徴量から、比較画像の特徴量を減算して）、求められた差が、予め定められた値以上であるとき、部分画像に特徴のある領域（目立つ領域）が含まれているとする。

なお、部分画像に目立つ領域が含まれていないとされた場合には、例えば、部分画像および比較画像の特徴量を他の方法で求めて（他の特徴を示す特徴量を求めて）、再び部分画像と比較画像とを比較するようにしてもよく、全体領域のうち、部分画像とされた領域とは異なる領域を新たな部分画像として、新たな部分画像と比較画像とを比較するようにしてもよい。

ステップＳ３４５において、抽出部６５１は、部分画像のうち、所定の条件を満たす画素を含む領域を目立つ領域として、部分画像から目立つ領域を抽出する。抽出部６５１は、抽出した目立つ領域を示す情報を生成してパラメータ決定部１１２に供給する。

例えば、図２９を参照して説明したように、Ｈの値が０以上３０未満である画素の数を基に、部分画像の特徴量が算出された場合、抽出部６５１は、Ｈの値が０以上３０未満である画素を、所定の条件を満たす画素とし、Ｈの値が０以上３０未満である画素を含む領域を目立つ領域として、部分画像から抽出する。

また、例えば、抽出部６５１は、部分画像のうち、所定の条件を満たす画素が連続する領域を目立つ領域として、部分画像から目立つ領域を抽出するようにしてもよい。このように所定の条件を満たす画素が連続する領域を目立つ領域とすると、部分画像からは、複数の目立つ領域が検出される場合がある。このような場合、抽出部６５１は、目立つ領域の面積が小さい順に、所定の数の目立つ領域を選択して抽出したり、目立つ領域の位置が全体画像の中心に近い順に、所定の数の目立つ領域を選択して抽出したりする。

さらに、抽出部６５１が、複数の目立つ領域の中から、所定の色の領域（目立つ領域）を選択するようにしてもよい。この場合には、例えば、複数の目立つ領域の中から肌色の領域を選択することによって、人の画像をズーム画像として表示させることができる。

部分画像から目立つ領域が抽出されると、ステップＳ３４６において、パラメータ決定部１１２は、抽出部６５１から供給された、抽出された目立つ領域を示す情報を基に、その情報により示される目立つ領域を含む領域をズーム領域の候補となる領域とし、その領域の中心座標を算出する。

例えば、パラメータ決定部１１２は、目立つ領域を構成する、所定の条件を満たす画素のＸＹ空間上における重心の座標を、中心座標として算出する。また、例えば、ズーム画像として表示する目立つ領域として、複数の目立つ領域が抽出された場合、パラメータ決定部１１２は、複数の目立つ領域を含む領域を、ズーム領域の候補となる領域として、その領域のＸＹ空間上における中心の座標を中心座標として算出する。

ステップＳ３４７において、パラメータ決定部１１２は、ズーム領域の候補となる領域のズーム倍率を算出し、処理は図７のステップＳ６２に進む。例えば、パラメータ決定部１１２は、上述した式（１７）を計算することによって、ズーム倍率Ｚｉを算出する。

このようにして、画像処理部６４１は、全体画像から目立つ領域を抽出（検出）し、抽出された目立つ領域を含む領域をズーム領域の候補とする。これにより、表示部９６には、抽出された目立つ領域が拡大された画像が、ズーム画像として表示される。

例えば、図３０Ａに示すように、全体画像７３１の図中、左上に赤色の太陽７４１が写っており（表示されており）、全体画像７３１における赤い領域が、太陽７４１の領域だけであるとする。図３０Ｂに示すように、表示装置６３１が、全体画像７３１（図３０Ａ）のうち、太陽７４１が含まれる領域７５１を部分画像とし、領域７５１（部分画像７５１）の画素の数に対する、赤い画素の数の割合を示す特徴量を算出して、目立つ領域を検出すると、比較画像（全体画像７３１から領域７５１が除かれた領域）には赤い領域はないので、太陽７４１が目立つ領域として検出される。

そして、表示装置６３１は、部分画像７５１から、太陽７４１が含まれる領域７５２を抽出して、領域７５２をズーム領域の候補とし、図３０Ｃに示すように、太陽７４１が含まれるズーム画像７６１を表示する。

また、図３１Ａに示すように、部分画像８０１に、太陽８０２、人の顔８０３、人の胴体８０４、および飛行物体８０５が写っており（表示されており）、表示装置６３１が目立つ領域を検出した結果、目立つ領域として、太陽８０２を含む領域８０６、人の顔８０３を含む領域８０７、人の胴体８０４を含む領域８０８、および飛行物体８０５を含む領域８０９が検出されたとする。

このように、部分画像８０１から、複数の目立つ領域が検出された場合、上述したように、表示装置６３１は、全ての目立つ領域が含まれる領域を、ズーム領域の候補となる領域としたり、複数の目立つ領域のうち、１つの目立つ領域が含まれる領域を、ズーム領域の候補となる領域としたりすることができる。

例えば、部分画像８０１から、目立つ領域として検出された領域８０６乃至領域８０９が含まれる領域をズーム領域の候補となる領域とすると、表示装置６３１は、図３１Ｂに示すように、目立つ領域として検出された領域に含まれる、太陽８０２、人の顔８０３、人の胴体８０４、および飛行物体８０５が含まれるズーム画像８１１を表示する。

また、例えば、図３１Ａに示した、目立つ領域として検出された領域８０６乃至領域８０９のうち、領域８０９が含まれる領域をズーム領域の候補となる領域とすると、表示装置６３１は、図３１Ｃに示すように、目立つ領域として検出された領域８０９に含まれる、飛行物体８０５が含まれるズーム画像８１２を表示する。

以上のように、表示装置６３１（画像処理部６４１）は、部分画像と比較画像とを比較して、全体画像から目立つ領域を抽出し、抽出された目立つ領域を含む領域をズーム領域の候補とするので、全体画像上における目立つ領域を、拡大してより見やすく表示することができる。これにより、ユーザはいちいちズーム領域を指定する必要がなくなり、より簡単な操作で、全体画像の細部まで観察して、画像の視聴を楽しむことができる。

また、ユーザは、目立つ領域が拡大されて表示されるので、全体画像上において、ユーザが気になる領域（目立つ領域）を凝視する必要がなくなり、全体画像の視聴時におけるユーザのストレスも軽減される。

以上においては、スケーラブルテレビジョンシステムを構成する表示装置が、ズーム領域を定めてズーム画像を表示すると説明したが、ユーザがズーム領域を指定して、表示装置にズーム画像を表示させることも可能である。

ズーム領域は、例えば、ユーザがリモートコマンダを操作して、表示部９６にズーム領域を示す枠などを表示させ、その枠の大きさを変化させたり、その位置を移動させたりすることにより定めることができる。また、ユーザにより指定されたズーム領域に基づいて、ズーム画像を表示させ、ユーザが実際に表示されたズーム画像を見ながら、ズーム領域の位置や大きさを調整できるようにしてもよい。

ユーザがズーム領域を指定してズーム画像を表示させる場合、スケーラブルテレビジョンシステム１１を構成する表示装置２１（図４）は、図６を参照して説明したズーム画像の表示処理を行う。ユーザによりズーム領域が指定されると、表示装置２１は、ステップＳ３２において、指定された領域をズーム領域としてズーム画像を表示する。

以下、図３２のフローチャートを参照して、ユーザによりズーム領域が指定される場合における自動ズーム処理について説明する。

ステップＳ３８１において、中央処理部９３（図４）は、ズーム領域を定める。例えば、ユーザがリモートコマンダを操作してズーム領域を指定すると、リモートコマンダからはユーザの操作に応じた赤外線信号が送信される。受信部７３（図３）は、リモートコマンダから送信されてきた赤外線信号を受信（受光）して光電変換し、コマンド信号を制御情報通信部９１を介して中央処理部９３に供給する。

中央処理部９３は、制御情報通信部９１から供給されたコマンド信号に基づいて、ユーザにより指定された領域をズーム領域として定める。中央処理部９３は、ズーム領域を示す情報を生成し、画像処理部９５に供給する。

ステップＳ３８２において、パラメータ決定部１１２は、中央処理部９３の制御の基に、中央処理部９３から供給されたズーム領域を示す情報により示されるズーム領域の中心座標を算出する。

ステップＳ３８３において、パラメータ決定部１１２は、上述した式（１７）を計算することによって、ズーム領域のズーム倍率Ｚｉを算出する。この場合、式（１７）において、Ｘｉｄは、ＸＹ空間上におけるズーム領域のＸ方向の長さ（画素数）とされる。

ズーム領域のズーム倍率が算出されると、その後、ステップＳ３８４の処理およびステップＳ３８５の処理が行われて、処理は図６のステップＳ３３に進むが、ステップＳ３８４の処理およびステップＳ３８５の処理は、図７のステップＳ６５の処理およびステップＳ６６の処理と同様であるので、その説明は省略する。

なお、ユーザによりズーム領域が指定されると、その後、ユーザにより新たにズーム領域が指定されるまでは、ユーザにより指定された領域を継続してズーム領域とする。この場合には、ズーム領域の中心座標およびズーム倍率は変化しないので、図６のステップＳ３３からステップＳ３２に戻ったとき、図３２のステップＳ３８１の処理乃至ステップＳ３８３の処理は省略される。

このようにして、表示装置２１は、ユーザにより指定されたズーム領域の画像を拡大してズーム画像を表示する。

以上のように、本発明においては、全体画像から肌色の領域を検出し、その検出結果に基づいて、ズーム画像を表示するようにしたので、ユーザは、より簡単な操作で、より効果的に画像を表示させることができる。

また、本発明においては、全体画像からオブジェクトを検出し、その検出結果に基づいて、ズーム画像を表示するようにしたので、ユーザは、より簡単な操作で、より効果的に画像を表示させることができる。

さらに、本発明においては、全体画像から目立つ領域を検出し、その検出結果に基づいて、ズーム画像を表示するようにしたので、ユーザは、より簡単な操作で、より効果的に画像を表示させることができる。

なお、上述したスケーラブルテレビジョンシステムにおいては、それぞれの表示装置が、ズーム領域を定めてズーム画像を表示する処理を独立して行うと説明したが、各表示装置が互いに通信を行って、ズーム領域を定めるようにしてもよい。そのような場合、表示装置は、互いに通信を行って、表示装置ごとに、肌色の領域を検出してズーム画像を表示するか、オブジェクトを検出してズーム画像を表示するか、または目立つ領域を検出してズーム画像を表示するかなどを定める。

また、以上においては、スケーラブルテレビジョンシステムが９台の表示装置により構成される例について説明したが、表示装置の台数は９台に限られるものではなく、例えば、４台、１６台などであってもよい。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図３３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ９０１の構成の例を示すブロック図である。CPU（Central Processing Unit）９１１は、ROM（Read Only Memory）９１２、または記録部９１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９１３には、CPU９１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９１１、ROM９１２、およびRAM９１３は、バス９１４により相互に接続されている。

CPU９１１にはまた、バス９１４を介して入出力インターフェース９１５が接続されている。入出力インターフェース９１５には、キーボード、マウス、マイクロホンなどよりなる入力部９１６、ディスプレイ、スピーカなどよりなる出力部９１７が接続されている。CPU９１１は、入力部９１６から入力される指令に対応して各種の処理を実行する。そして、CPU９１１は、処理の結果を出力部９１７に出力する。

入出力インターフェース９１５に接続されている記録部９１８は、例えばハードディスクからなり、CPU９１１が実行するプログラムや各種のデータを記録する。通信部９１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部９１９を介してプログラムを取得し、記録部９１８に記録してもよい。

入出力インターフェース９１５に接続されているドライブ９２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９３１、または、プログラムが一時的もしくは永続的に格納されるROM９１２や、記録部９１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部９１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したスケーラブルテレビジョンシステムの外観の構成例を示す図である。 表示装置に表示される画像の一例を示す図である。 スケーラブルテレビジョンシステムの構成例を示すブロック図である。 表示装置の機能の構成例を示すブロック図である。 全体画像の表示処理を説明するフローチャートである。 ズーム画像の表示処理を説明するフローチャートである。 自動ズーム処理を説明するフローチャートである。 ズーム領域を説明するための図である。 肌色領域の検出処理を説明するフローチャートである。 Ｒ、Ｇ、Ｂの各値を基に算出されたＨの値の一例を示す図である。 肌色の領域を説明するための図である。 表示装置の他の機能の構成例を示すブロック図である。 オブジェクト領域の検出処理を説明するフローチャートである。 ズーム画像として表示される画像の一例を示す図である。 ズーム画像として表示される画像の一例を示す図である。 オブジェクト検出処理を説明するフローチャートである。 オブジェクトを検出する対象となる領域を説明する図である。 差分演算処理を説明するフローチャートである。 差分演算処理を説明するフローチャートである。 肌色の領域を検出する対象となる領域を説明する図である。 自動ズーム処理を説明するフローチャートである。 全体画像の一例を示す図である。 表示装置の他の機能の構成例を示すブロック図である。 自動ズーム処理を説明するフローチャートである。 目立つ領域の検出を説明するための図である。 表示装置の他の機能の構成例を示すブロック図である。 目立つ領域の検出処理を説明するフローチャートである。 部分画像を説明するための図である。 部分画像の各画素の特徴を示すヒストグラムの一例を示す図である。 ズーム画像として表示される目立つ領域の一例を示す図である。 ズーム画像として表示される目立つ領域の一例を示す図である。 自動ズーム処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１１ スケーラブルテレビジョンシステム， ２１−１乃至２１−９，２１ 表示装置， ９３ 中央処理部， ９５ 画像処理部， ９６ 表示部， １１１ 領域決定部， １１２ パラメータ決定部， １１３ ズーム処理部， １２１ 肌色領域検出部， １２２ パラメータ保持部， ２１１ 表示装置， ２３１ 画像処理部， ２４１ オブジェクト選択部， ２５１ 検出部， ２５２ 変数保持部， ５３１ 表示装置， ５４１ 画像処理部， ６３１ 表示装置， ６４１ 画像処理部， ６５１ 抽出部， ６６１ 生成部， ６６２ 算出部， ６６３ 比較部， ９０１ パーソナルコンピュータ， ９１１ CPU， ９１２ ROM， ９１３ RAM， ９１８ 記録部， ９３１ リムーバブルメディア

Claims (6)

1. 第１の画像の画素の画素値を基に、その画素の色相を示す値を算出する算出手段と、
   前記第１の画像の画素のうち、前記色相を示す値が、所定の範囲内の値である画素を含む、前記第１の画像上の領域を選択する選択手段と、
   前記第１の画像の画素の画素値と、その画素に隣接する画素の画素値との差分を基に、前記第１の画像からオブジェクトを検出する検出手段と、
   前記色相を示す値が前記範囲内の値である前記第１の画像上の画素の数が、所定の値以上であるか否かを判定する判定手段と、
   前記判定手段による判定結果に応じて、選択された前記領域が含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御するか、または検出されたオブジェクトが含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御する表示制御手段と
   を備える画像処理装置。
2. 前記選択手段は、前記第１の画像上において、前記色相を示す値が前記範囲内の値である画素が連続する領域を検出し、検出された領域のうち、前記第１の画像の中心から最も近い領域を選択する
   請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記第１の画像および前記第２の画像が同時に表示されるように、前記第２の画像の表示を制御する
   請求項１に記載の画像処理装置。
4. 前記選択手段は、前記第１の画像上において、前記色相を示す値が前記範囲内の値である画素が連続する領域を検出し、検出された領域のうち、最も面積が大きい領域を選択する
   請求項１に記載の画像処理装置。
5. 第１の画像の画素の画素値を基に、その画素の色相を示す値を算出し、
   前記第１の画像の画素のうち、前記色相を示す値が、所定の範囲内の値である画素を含む、前記第１の画像上の領域を選択し、
   前記第１の画像の画素の画素値と、その画素に隣接する画素の画素値との差分を基に、前記第１の画像からオブジェクトを検出し、
   前記色相を示す値が前記範囲内の値である前記第１の画像上の画素の数が、所定の値以上であるか否かを判定し、
   前記判定の判定結果に応じて、選択された前記領域が含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御するか、または検出されたオブジェクトが含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御する
   ステップを含む画像処理方法。
6. 第１の画像の画素の画素値を基に、その画素の色相を示す値を算出する算出ステップと、
   前記第１の画像の画素のうち、前記色相を示す値が、所定の範囲内の値である画素を含む、前記第１の画像上の領域を選択する選択ステップと、
   前記第１の画像の画素の画素値と、その画素に隣接する画素の画素値との差分を基に、前記第１の画像からオブジェクトを検出する検出ステップと、
   前記色相を示す値が前記範囲内の値である前記第１の画像上の画素の数が、所定の値以上であるか否かを判定する判定ステップと、
   前記判定ステップにおける判定結果に応じて、選択された前記領域が含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御するか、または検出されたオブジェクトが含まれる前記第１の画像上の領域が拡大された第２の画像の表示を制御する表示制御ステップと
   をコンピュータに実行させるプログラム。

Images