JP4765540B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より簡単な操作で、より効果的に画像を表示させることができるようにした画像処理装置および方法、並びにプログラムに関する。

従来のテレビジョン受像機は、単体で放送局より放送されるテレビジョン信号を受信し、テレビジョン放送番組としての画像を表示するが、他のテレビジョン受像機と連携して動作しない。

近年、情報処理技術の向上とともに、テレビジョン受像機の多機能化も進み、単に、放送局より放送されるテレビジョン信号を受信し、テレビジョン放送番組としての画像を表示するだけでなく、様々な機能を有するようになってきている。

例えば、複数のテレビジョン受像機を互いに接続し、互いに連携して動作することにより、各テレビジョン受像機を単体で使用する場合よりも高機能を実現することができるようにする技術が提案されている（例えば、特許文献１参照。）

特許文献１の技術によれば、例えば、９台の表示装置のそれぞれに、互いに異なる画像を表示させることもでき、また、９台の表示装置からなる表示装置の集合体により１つの画像が表示されるようにすることができる。

このようなシステムにおいては、各表示装置を互いに連携させて動作させることにより、上述した以外にも、様々な画像表示方法が求められる。例えば、ある表示装置において表示されている画像（元画像）の一部分を拡大した拡大画像（ズーム画像）を他の表示装置に表示させる方法が考えられる。

特開２００３−１９８９８９号公報

しかしながら、そのような拡大画像を表示させる場合、ユーザは、元画像のどの部分の拡大画像を表示するかを設定しなければならず、その範囲の指定（ズーム位置やズーム量の指定）を入力しなければならず、煩雑な作業を必要とする恐れがあった。

特に、動画像を拡大表示させる場合、ユーザが拡大を希望する部分が常に元画像の同じ位置にあるとは限らず、場合によりその位置が移動することもある。その場合、ユーザは所望する拡大指定範囲の位置が繰り返し拡大の範囲の指定を行わなければならず、さらに煩雑な作業を必要とする恐れがある。

本発明は、このような状況に鑑みてなされたものであり、より簡単な操作で、より効果的に画像を表示させることができるようにするものである。

本発明の一側面は、画像データを処理する画像処理装置であって、処理対象の画素である注目画素と、前記注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分を算出する差分算出手段と、前記差分算出手段により算出される差分値に基づいて、前記注目画素が、前記周辺画素との画素値の差が大きい差分大画素であるか否かを判定する差分値判定手段と、前記差分値判定手段の判定結果に基づいて、前記差分大画素と判定される画素が連続する差分大領域を、全体画像に含まれる周囲の領域より目立つ部分として抽出し、前記差分大領域に関する情報を記憶する記憶手段と、前記記憶手段により抽出されて記憶される前記差分大領域の中から、ズーム領域の中心を設定するズーム領域中心設定手段と、前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲の大きさを設定するズーム領域範囲設定手段とを備える画像処理装置である。

前記周辺画素は、前記注目画素を中心にアレイ状に並ぶ、垂直方向に１１画素、および水平方向に１１画素の画素群であるようにすることができる。

前記差分値判定手段は、前記差分算出手段により算出された差分値の中の最大値を所定の閾値と比較し、その比較結果に基づいて前記注目画素が差分大画素であるか否かを判定するようにすることができる。

前記ズーム領域中心設定手段は、各差分大領域について、前記差分大領域を代表する代表画素を中心とする所定の範囲内に含まれる、前記差分大画素の割合である差分大画素率を算出する差分大画素率算出手段と、前記全体画像内において、前記差分大画素率算出手段により算出される前記差分大画素率が最大となる前記代表画素を特定し、前記ズーム領域の中心に設定する中心設定手段とを備えるようにすることができる。

前記ズーム領域範囲設定手段は、前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲を初期値に設定する初期値設定手段と、前記初期値設定手段により範囲が前記初期値に設定された前記ズーム領域に含まれる、前記差分大画素の割合である差分大画素率を算出する差分大画素率算出手段と、前記差分大画素率算出手段により算出された前記差分大画素率が所定の閾値以上であるか否かを判定する判定手段と、前記判定手段の判定結果に基づいて、前記差分大画素率が前記閾値以上である場合、前記ズーム領域の範囲を大きくするように更新する範囲更新手段とを備えるようにすることができる。

本発明の一側面は、また、画像データを処理する画像処理装置の画像処理方法であって、差分算出手段が、処理対象の画素である注目画素と、前記注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分を算出し、差分値判定手段が、算出される差分値に基づいて、前記注目画素が、前記周辺画素との画素値の差が大きい差分大画素であるか否かを判定し、記憶手段が、判定結果に基づいて、前記差分大画素と判定される画素が連続する差分大領域を、全体画像に含まれる周囲の領域より目立つ部分として抽出し、前記差分大領域に関する情報を記憶する記憶手段と、ズーム領域中心設定手段が、抽出されて記憶される前記差分大領域の中から、ズーム領域の中心を設定し、ズーム領域範囲設定手段が、中心が設定された前記ズーム領域の範囲の大きさを設定する画像処理方法である。

本発明の一側面は、さらに、画像データに関する処理を行うコンピュータを、処理対象の画素である注目画素と、前記注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分を算出する差分算出手段、前記差分算出手段により算出される差分値に基づいて、前記注目画素が、前記周辺画素との画素値の差が大きい差分大画素であるか否かを判定する差分値判定手段、前記差分値判定手段の判定結果に基づいて、前記差分大画素と判定される画素が連続する差分大領域を、全体画像に含まれる周囲の領域より目立つ部分として抽出し、前記差分大領域に関する情報を記憶する記憶手段、前記記憶手段により抽出されて記憶される前記差分大領域の中から、ズーム領域の中心を設定するズーム領域中心設定手段、前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲の大きさを設定するズーム領域範囲設定手段として機能させるプログラムである。

本発明の一側面においては、処理対象の画素である注目画素と、注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分が算出され、算出される差分値に基づいて、注目画素が、周辺画素との画素値の差が大きい差分大画素であるか否かが判定され、判定結果に基づいて、差分大画素と判定される画素が連続する差分大領域が、全体画像に含まれる周囲の領域より目立つ部分として抽出され、差分大領域に関する情報が記憶され、抽出されて記憶される差分大領域の中から、ズーム領域の中心が設定され、中心が設定されたズーム領域の範囲の大きさが設定される。

本発明の一側面によれば、画像を表示させることができる。特に、より簡単な操作で、より効果的に画像を表示させることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。

本発明の一側面の画像処理装置（例えば、図１の表示装置）は、全体画像の一部分を拡大して表示するために、前記全体画像に含まれる周囲の領域より目立つ部分をズーム領域（例えば、図２４Ｂのズーム領域）として設定するズーム領域設定手段（例えば、図１９のズーム領域設定部）を備える。

前記ズーム領域設定手段は、前記周囲の領域より目立つ部分を抽出する抽出手段（例えば、図１９の差分大領域抽出処理部）と、前記抽出手段により抽出される前記周囲の領域より目立つ部分の中から、ズーム領域の中心（例えば、図２４Ｂの中心画素）を設定するズーム領域中心設定手段（例えば、図１９のズーム領域中心設定部）と、前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲の大きさを設定するズーム領域範囲設定手段（例えば、図１９のズーム領域範囲設定部）とを備えるようにすることができる。

前記抽出手段は、処理対象の画素である注目画素と、前記注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分を算出する差分算出手段（例えば、図６の差分算出部）と、前記差分算出手段により算出される差分値に基づいて、前記注目画素が、前記周辺画素との画素値の差が大きい差分大画素であるか否かを判定する差分値判定手段（例えば、図６の差分判定部）と、前記差分値判定手段の判定結果に基づいて、前記差分大画素と判定される画素が連続する差分大領域を前記周囲の領域より目立つ部分として抽出し、前記差分大領域に関する情報を記憶する記憶手段（例えば、図６の記憶部）とを備えるようにすることができる。

前記周辺画素は、前記注目画素を中心にアレイ状に並ぶ、垂直方向に１１画素、および水平方向に１１画素の画素群（例えば、図２０の周辺画素）であるようにすることができる。

前記差分値判定手段は、前記差分算出手段により算出された差分値の中の最大値を所定の閾値と比較し、その比較結果に基づいて前記注目画素が差分大画素であるか否かを判定する（例えば、図１３のステップＳ５４）ようにすることができる。

前記ズーム領域中心設定手段は、各差分大領域について、前記差分大領域を代表する代表画素を中心とする所定の範囲内に含まれる、前記差分大画素の割合である差分大画素率を算出する差分大画素率算出手段（例えば、図２２の注目差分大画素率算出部）と、前記全体画像内において、前記差分大画素率算出手段により算出される前記差分大画素率が最大となる前記代表画素を特定し、前記ズーム領域の中心に設定する中心設定手段（例えば、図２２の設定部）とを備えるようにすることができる。

前記ズーム領域範囲設定手段は、前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲を初期値に設定する初期値設定手段（例えば、図２３の範囲初期値設定部）と、前記初期値設定手段により範囲が前記初期値に設定された前記ズーム領域に含まれる、前記差分大画素の割合である差分大画素率を算出する差分大画素率算出手段（例えば、図２３の差分大画素率算出部）と、前記差分大画素率算出手段により算出された前記差分大画素率が所定の閾値以上であるか否かを判定する判定手段（例えば、図２３の判定部）と、前記判定手段の判定結果に基づいて、前記差分大画素率が前記閾値以上である場合、前記ズーム領域の範囲を大きくするように更新する範囲更新手段（例えば、図２３の範囲更新部）とを備えるようにすることができる。

本発明の一側面の画像処理方法またはプログラムは、全体画像の一部分を拡大して表示するために、前記全体画像に含まれる周囲の領域より目立つ部分をズーム領域として設定するステップ（例えば、図２５のズーム領域設定処理）を含む。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明を適用したスケーラブルテレビジョンシステムの外観の構成例を示す図である。図１において、スケーラブルテレビジョンシステム１１は、９台の表示装置２１−１乃至２１−９、並びにそれらの表示装置が３×３のアレイ状に設置される設置台２２により構成されており、設置台２２に設置される表示装置２１−１乃至２１−９を互いに連携して、または互いに独立して動作させ、後述するように、表示装置２１−１乃至２１−９に画像を表示させるシステムである。

表示装置２１−１乃至２１−９は、それぞれ、画像を表示する表示部を有するディスプレイである。また、表示装置２１−１乃至２１−９は、それぞれ、選局機能（チューナ）を有しており、テレビジョン信号を、その放送局を選局して受信し、そのテレビジョン信号により放送される番組（画像）をそのディスプレイに表示する。

設置台２２に設置された表示装置２１−１乃至２１−９は、ネットワークを介して互いに接続される。表示装置２１−１乃至２１−９は、必要に応じて、このネットワークを介して互いに情報の授受を行う。なお、以下において表示装置２１−１乃至表示装置２１−９を互いに区別して説明する必要のない場合、表示装置２１と称する。

設置台２２は、表示装置２１−１乃至表示装置２１−９を着脱可能に設置する設置部材（ディスプレイスタンド）である。設置台２２には、表示装置２１−１乃至表示装置２１−９が、例えば、それらの各表示面が同一方向（図中手前方向）を向き略平面を形成するように、３×３のアレイ状に設置可能である。図示は省略するが、設置台２２は、外部電源より電力を取得し、設置されている表示装置２１に供給する電源供給機能を有する。また、設置台２２は、設置されている表示装置２１同士を互いに接続し、形成されるネットワークを管理するネットワーク機能も有する。さらに、設置台２２は、ユーザにより操作されるリモートコマンダより赤外光等を用いて供給される情報を取得するユーザ入力機能も有する。

ところで、スケーラブルテレビジョンシステム１１において、各表示装置２１は、互いに独立して動作し、互いに異なる画像を表示することができる。図２は、設置台２２に設置される表示装置２１−１乃至表示装置２１−９の画像表示例を示す図である。図２に示されるように、表示装置２１−１乃至表示装置２１−９は、互いに異なる画像を表示することができる。

また、スケーラブルテレビジョンシステム１１において、各表示装置２１は、他の表示装置に表示される画像の一部分を拡大した拡大画像を表示することもできる。図２の例の場合、９台の表示装置２１のうち、図中、中央に位置する表示装置２１−５が所定の画像を表示し、それと同時に、表示装置２１−１は、表示装置２１−５に表示されている画像の内、細かい絵柄が集中する部分である花４１の拡大画像を表示し、表示装置２１−２は、表示装置２１−５に表示されている画像の内、周囲の領域より目立つ絵柄である太陽４２の拡大画像を表示している。

また、このとき、表示装置２１−４は、表示装置２１−３に表示されている画像に含まれるボール４３の拡大画像を表示している。さらに、表示装置２１−７は、表示装置２１−６に表示されている画像に含まれる家４５の拡大画像を表示しており、表示装置２１−８は、表示装置２１−６に表示されている画像に含まれる月４４の拡大画像を表示しており、表示装置２１−９は、表示装置２１−６に表示されている画像に含まれる山４６の拡大画像を表示している。

このように、スケーラブルテレビジョンシステム１１は、設置台２２に設置されている任意の表示装置２１により表示されている画像の拡大画像を、設置台２２に設置されている任意の表示装置２１に表示させることができる。なお、スケーラブルテレビジョンシステム１１は、複数の表示装置を使って１枚の拡大画像を表示することもできるし、複数の表示装置を使って表示されている１枚の画像より抽出した拡大画像を１つまたは複数の表示装置に表示させることもできる。

スケーラブルテレビジョンシステム１１は、以上のように拡大画像を表示させる場合、その拡大画像をユーザによる範囲指定無しに自動で作成する。例えば、ユーザが、表示装置２１−５に表示されている画像の拡大画像を表示装置２１−１に表示させることを指示すると、スケーラブルテレビジョンシステム１１の表示装置２１−１は、表示装置２１−５に表示されている元画像から、細かい画像が集中する部分や周囲に対して目立つ部分を特定し、その特定した部分の画像を拡大して表示する。

このようにすることにより、スケーラブルテレビジョンシステム１１のユーザは、範囲指定等の煩雑な作業を伴わずに、容易に拡大画像を表示させることができ、コンテンツの視聴をより楽しむことができる。換言すると、スケーラブルテレビジョンシステム１１は、より簡単なユーザ操作で、より効果的に画像を表示させることができる。

図３は、図１のスケーラブルテレビジョンシステム１１の構成例を示すブロック図である。

スケーラブルテレビジョンシステム１１は、ユーザからの指示入力を受け付ける指示受付装置６１、表示装置２１−１乃至表示装置２１−９が接続されるネットワークハブ６２、および、表示装置２１−１乃至表示装置２１−９に外部より入力されたコンテンツを分配するコンテンツ分配装置６３を有している。

指示受付装置６１は、図示せぬリモートコマンダより供給される赤外光を受光する受光部７１と受光部７１において受光された赤外光に含まれるコマンドを抽出するコマンド処理部７２を有している。

受光部７１は、赤外光を受光し、その受光した赤外光を媒体として供給される信号を電気信号に変換する部材である。ユーザに操作された図示せぬリモートコマンダは、そのユーザ操作に対応するコマンドを含む信号を赤外光の点滅により出力する。受光部７１は、その赤外光を受光し、赤外光の点滅を電気信号に変換し、それをコマンド処理部７２に供給する。コマンド処理部７２は、供給された信号よりユーザ指示に対応するコマンド情報を抽出し、そのコマンドを、コマンドの内容に基づいて、ネットワークハブ６２が形成するネットワークを介して、適切な表示装置２１やコンテンツ分配装置６３に供給する。

ネットワークハブ６２は、端末を互いに接続し、ネットワークを構築するための集線装置である。図３において、ネットワークハブ６２には、指示受付装置６１、コンテンツ分配装置６３、並びに、設置台２２に設置された表示装置２１（表示装置２１−１乃至表示装置２１−９）が接続されており、それらの装置間のデータのやりとりを中継する。

コンテンツ分配装置６３は、図示せぬアンテナを介して受信したテレビジョン信号や、外部装置より供給され、外部入力端子を介して取得したコンテンツデータ（画像データや音声データを含むデータ）を、指示受付装置６１より供給されるコマンド（ユーザ指示）に基づいて、表示装置２１−１乃至表示装置２１−９に供給する。

表示装置２１−１乃至表示装置２１−９は、ネットワークハブ６２を介して指示受付装置６１より供給されるコマンド（ユーザ指示）に基づいて、コンテンツ分配装置６３より供給されるテレビジョン信号やコンテンツデータに対応する画像を表示する。

図４は、表示装置２１の内部の構成例を示すブロック図である。

図４において、表示装置２１は、制御部８１、コンテンツ取得部８２、画像処理部８３、画像出力部８４、音声処理部８５、および音声出力部８６を有している。

制御部８１は、表示装置２１全体の制御を行う処理部であり、例えば、ネットワークハブ６２を介して指示受付装置６１や他の表示装置とコマンド情報の授受を行ったり、取得したコマンド情報に基づいて、コンテンツ取得部８２、画像処理部８３、および音声処理部８５を制御し、画像表示や音声出力を制御したりする。

コンテンツ取得部８２は、図示せぬテレビジョン信号用チューナやデコーダを有しており、コンテンツ分配装置６３より供給されるコンテンツデータやテレビジョン信号を取得し、それらから画像データや音声データを抽出し、それぞれ画像処理部８３や音声処理部８５に供給する。

画像処理部８３は、供給された画像データに、ズーム処理等の画像処理を施し、処理後の画像データを画像出力部８４に供給する。画像出力部８４は、供給された画像データの画像をディスプレイに表示する。音声処理部８５は、コンテンツ取得部８２より供給される音声データに、エフェクト処理やサラウンド処理等の音声処理を施し、処理後の音声データを音声出力部８６に供給する。音声出力部８６は、供給された音声データに対応する音声をスピーカより出力する。

図５は、画像処理部８３の詳細な構成例を示すブロック図である。

図５において、画像処理部８３は、フレームメモリ１０１、ズーム領域設定部１０２、およびズーム処理部１０３を有している。フレームメモリ１０１は、半導体メモリ等により構成される記憶領域を有しており、その記憶領域に、フレーム単位（またはフィールド単位）で供給されるフレーム画像データを一時的に保持する保持部である。フレームメモリ１０１は、所定のタイミングで、保持している画像データを画素毎にズーム領域設定部１０２に供給する。また、フレームメモリ１０１は、保持している画像データを、所定のタイミングでズーム処理部１０３に供給する。

ズーム領域設定部１０２は、フレームメモリ１０１より供給される画像データの画像から、拡大表示する部分領域（ズーム領域）を設定し、その情報をズーム処理部１０３に供給する。ズーム領域設定部１０２は、フレーム画像内の細かい絵柄が集中する部分をズーム領域として設定する。ズーム領域設定部１０２は、差分大領域抽出処理部１１１、フレーム内最大領域抽出処理部１１２、判定部１１３、更新部１１４、設定部１１５、およびズーム領域情報記憶部１１６を有している。

差分大領域抽出処理部１１１は、供給されるフレーム画像データのフレーム画像から、周辺の画素（隣接画素）との画素値の差分が大きい画素が連続する領域である差分大領域を抽出する処理を行う。後述するように、隣接画素との画素値の差分が大きい画素が連続する差分大領域は、画素値が画素毎に大幅に変化し続ける領域であり、換言すると、細かい絵柄が集中する領域である。差分大領域抽出処理部１１１は、そのような差分大領域に関する情報である差分大領域情報をフレーム内最大領域抽出処理部１１２に供給する。

フレーム内最大領域抽出処理部１１２は、供給される差分大領域情報から、フレーム内で最も大きな差分大領域を特定し、その領域をフレーム内最大領域として抽出する。フレーム内最大領域抽出処理部１１２は、そのフレーム内最大領域の情報であるフレーム内最大領域情報を判定部１１３に供給する。

判定部１１３は、既にズーム領域が設定されているか否かを判定し、設定されている場合は、更新部１１４にフレーム内最大領域情報を供給し、ズーム領域の設定の更新処理を行わせ、設定されていない場合は、設定部１１５にフレーム内最大領域情報を供給し、新たなズーム領域の設定を行わせる。

ズーム領域情報記憶部１１６は、更新部１１４により更新されたズーム領域情報、または設定部１１５により新たに設定されたズーム領域情報を記憶する。ズーム領域情報記憶部１１６は、所定のタイミングでそのズーム領域情報をズーム処理部１０３に供給する。

ズーム処理部１０３は、ズーム領域設定部１０２より供給されるズーム領域情報に基づいて、フレームメモリ１０１より供給されるフレーム画像から拡大画像（ズーム画像）を生成し（フレーム画像のズーム領域の部分を切り出し）、そのズーム画像データを画像出力部８４に供給し、拡大画像を拡大表示させる。

図６は、図５の差分大領域抽出処理部１１１の詳細な構成例を示すブロック図である。

差分大領域抽出処理部１１１は、バッファメモリ１３１、差分算出部１３２、差分値判定部１３３、変数管理部１３４、記憶部１３５、および差分大領域情報供給部１３６を有している。

バッファメモリ１３１は、供給される画像データを一時的に保持する保持部である。バッファメモリ１３１は、後述するように、処理対象の注目画素とその注目画素に隣接する隣接画素（周辺画素）の数画素分の画像データを、FIFO（First-In First-Out）方式のように管理する。

差分算出部１３２は、バッファメモリ１３１に保持されている画像データ（画素データ）を用いて、注目画素とその隣接画素との画素値の差分を算出し、その差分値を差分値判定部１３３に供給する。差分値判定部１３３は、供給された差分値の中に閾値より大きい差分値が存在するか否かを判定する。閾値より大きな差分値が存在する場合、差分値判定部１３３は、その注目画素を差分大画素と判定し、その旨を変数管理部１３４や記憶部１３５に通知する。また、閾値より大きな差分値が存在しない場合、差分値判定部１３３は、その注目画素を差分小画素と判定し、その旨を変数管理部１３４や記憶部１３５に通知する。

変数管理部１３４は、差分大画素が画像の水平方向に連続する量をカウントするための変数である差分大連続量１４１や、差分小画素が画像の水平方向に連続する量をカウントするための変数である差分小連続量１４２の値を管理する。また、変数管理部１３４は、その差分大連続量１４１の値を記憶部１３５に供給したり、差分大連続量１４１や差分小連続量１４２の更新が終了した旨をバッファメモリ１３１に通知したりする。

記憶部１３５は、差分値判定部１３３の判定結果に基づいて、差分大領域の終端の座標である座標情報１４３と差分大連続量１４１を関連付けて差分大領域情報として記憶する。差分大領域情報供給部１３６は、記憶部１３５に記憶されている差分大領域情報（互いに関連付けられた座標情報１４３と差分大連続量１４１との集合）を取得し、図５のフレーム内最大領域抽出処理部１１２に供給する。

図７を参照して、この差分大領域抽出処理部１１１の各部の動作について説明する。

図５のフレームメモリ１０１からは、画像データが、画面の左上の画素から右下の画素まで順番に１画素分ずつ供給される。すなわち、図６のバッファメモリ１３１には、画面水平方向（ライン方向）に左端の画素から右端の画素まで１つずつ進み、次に、画面垂直方向にそのラインの１段下のライン（行）の左端に進む順番で、フレーム画像データが画素毎に供給される。

バッファメモリ１３１は、例えば、図７Ａに示されるように、そのように供給される最近の６画素分の画像データ（画素データ１５１乃至画素データ１５６）をFIFO方式のように保持する。画素データ１５１が、バッファメモリ１３１に保持されている画素データの中で最も新しい画素データ（直前に供給された画素データ）であり、画素データ１５６がバッファメモリ１３１に保持されている画素データの中で最も古い画素データ（最も長く保持されている画素データ）である。なお、図７Ａにおいて、丸で示される画素データ１５１乃至画素データ１５６の中の数字は、それぞれの値（画素値）を示している。

この図７Ａにおいて、バッファメモリ１３１は、最も新しい画素データ１５１を、処理の対象となる注目画素とし、残りの画素データ１５２乃至画素データ１５６を、その注目画素（画素データ１５１）の隣接画素（周辺画素）とする。つまり、隣接画素は、注目画素の水平方向左側に連続的に隣接する複数の画素であり、その数は最大５画素である。なお、隣接画素は、実際に画面領域内に存在する画素である。従って、画面領域の左端から５画素以内においては、隣接画素の数は５画素よりも少なくなる。

バッファメモリ１３１は、このような画素データを、図７Ｂに示されるようにFIFO方式のように管理する。つまり、図７Ｂに示されるように、新たな画素データ１５７（新規画素）がフレームメモリ１０１より供給されると、バッファメモリ１３１は、最も古い画素データ１５６を破棄し、その他の画素データ１５１乃至画素データ１５５の位置を１つずつ左にずらし、右端に、最新の画素データ１５７を注目画素として保持する。このようにバッファメモリ１３１は、新たに画素データを供給されると、それを保持するために、ところてん方式で古い画素データから順に破棄していく。

差分算出部１３２は、このようにバッファメモリ１３１に保持されている画素データを用いて、図７Ｃに示されるように、注目画素と各隣接画素との差分を算出する（差分演算を行う）。差分値判定部１３３は、得られた差分値の絶対値と、予め定められている閾値とを比較し、この閾値より大きい差分値（絶対値）を探索する。仮に、差分値（絶対値）の中に閾値より大きなものが存在する場合、その注目画素は差分大画素であると判定され、逆に、閾値より大きな差分値が存在しない場合、その注目画素は差分小画素であると判定される。

変数管理部１３４は、差分大連続量１４１と差分小連続量１４２の２つの変数を用いて、この差分大画素と差分小画素の連続量をカウントし、記憶部１３５は、その差分大画素が連続する連続量（差分大連続量１４１）とその連続する部分（差分大領域）の終端座標（右端の座標情報１４３）を関連付けて記憶する。差分大領域は、水平方向に連続して並ぶ差分大画素群（つまりラインの一部）を示す。差分大領域情報供給部１３６は、そのように関連付けられた座標情報１４３および差分大連続量１４１の１フレーム分の集合を差分大領域情報として、図５のフレーム内最大領域抽出処理部１１２に供給する。

なお、図７に示されるバッファメモリ１３１の構成は、模式的に示したものであり、各画素データが同様に管理されるのであれば、実際にはどのように構成されていてもよい。例えば、バッファメモリ１３１が画素データを保持するアドレスは任意であり、実際に使用されるアドレスが、図７Ａに示されるように供給される順番どおりに並んでいなくてもよい。また、画素データを更新する際に、バッファメモリ１３１は、図７Ｂに示されるように、画素データ１５１乃至画素データ１５５のアドレスを実際に変更しなくてもよい。

また、隣接画素として保持される画素数は、いくつであってもよく、４画素以下であってもよいし、６画素以上としてもよい。また、隣接画素は、全てが連続する画素（隣り合う画素）でなくてもよく、例えば、１つおきに並ぶ画素であってもよいし、隣り合う１０画素中の任意の５画素等であってもよい。さらに、差分値判定部１３３が使用する閾値の値はいくつであってもよく、予め定められた所定の定数であってもよいし、条件等に応じて変化する変数であってもよい。例えば、差分値判定部１３３は、前フレームの全画素の画素値の平均値等を用いて算出される値を閾値としてもよい。

さらに、記憶部１３５は、差分大連続量１４１に差分大領域の終端画素の座標情報１４３を関連付けるように説明したが、この座標情報１４３は、差分大領域の位置を示すものであればどの画素の座標情報であってもよく、例えば、差分大領域が開始される画素（左端の画素）であってもよいし、差分大領域の中心の画素であってもよい。

図８は、図５のフレーム内最大領域抽出処理部１１２の詳細な構成例を示すブロック図である。

図８において、フレーム内最大領域抽出処理部１１２は、注目差分大領域情報設定部１７１、比較部１７２、判定部１７３、最大連続量更新部１７４、最大差分大領域座標更新部１７５、フレーム内最大領域設定部１７６、並びに変数記憶部１７７を有している。

注目差分大領域情報設定部１７１は、図５の差分大領域抽出処理部１１１より供給される差分大領域情報を取得し、その中から処理対象として注目する差分大領域（注目差分大領域）を設定する。注目差分大領域情報設定部１７１は、注目差分大領域の連続量と座標情報を差分大領域情報より抽出し、それらを、注目差分大領域情報の注目連続量１８１および注目座標１８２として設定する。注目差分大領域情報設定部１７１は、その注目連続量１８１および注目座標１８２を変数記憶部１７７に供給し、記憶させる。

比較部１７２は、注目差分大領域情報設定部１７１が設定した注目連続量１８１の値と、変数記憶部１７７が記憶し管理する、フレーム内で最も大きい差分大領域の候補の連続量を示す変数である最大連続量１８３の値とを比較する。判定部１７３は、その比較結果に基づいて、いずれの値が大きいかを判定する。

最大連続量更新部１７４は、その判定結果に基づいて、注目連続量１８１の値が最大連続量１８３の値より大きい場合、注目連続量１８１の値を用いて最大連続量１８３の値を更新する。また、最大差分大領域座標更新部１７５は、判定部１７３の判定結果に基づいて、注目連続量１８１の値が最大連続量１８３の値より大きい場合、注目座標１８２の値を用いて最大差分大領域座標１８４の値を更新する。つまり、最大連続量更新部１７４および最大差分大領域座標更新部１７５は、最大領域の候補を変更する。

フレーム内の全ての差分大領域について比較が終了すると、フレーム内最大領域設定部１７６は、そのときの最大連続量１８３および最大差分大領域座標１８４により示される差分大領域をフレーム内最大領域に設定し、最大連続量１８３および最大差分大領域座標１８４をフレーム内最大領域情報として図５の判定部１１３に供給する。

変数記憶部１７７は、注目差分大領域の情報である注目画素１８１および注目座標１８２、並びに、フレーム内最大領域の候補に関する情報である最大連続量１８３および最大差分大領域座標１８４を記憶し、適宜各処理部に供給する。

以上のように生成されたフレーム内最大領域情報を供給されると、図５の判定部１１３は、ズーム領域が既に設定されているか否かを判定し、設定されていない場合は、フレーム内最大領域情報を設定部１１５に供給し、新たなズーム領域の設定を行わせる。他方、ズーム領域が設定されている場合、判定部１１３は、フレーム内最大領域情報を更新部１１４供給し、ズーム領域の更新処理を行わせる。

図９は、更新部１１４の詳細な構成例を示すブロック図である。

図９において、更新部１１４は、比較部２０１、座標判定部２０２、ズーム領域候補設定部２０３、同座標連続フレーム管理部２０４、ズーム領域設定部２０５、および記憶部２０６を有している。

比較部２０１は、ズーム領域の更新に用いられる領域の候補（更新候補）であるズーム領域候補の座標と、取得したフレーム内最大領域に含まれる座標とを比較する。ズーム領域候補は、１つ前のフレームまでにズーム領域の更新候補として上げられたフレーム内最大領域である。このズーム領域候補の連続量および座標は、ズーム領域候補情報２１１として記憶部２０６に記憶されている。つまり、比較部２０１は、新たなフレームのフレーム内最大領域情報を取得すると、そのフレーム（現フレーム）のフレーム内最大領域の座標と、これまでにズーム領域の更新候補として挙げられている、過去のフレームのフレーム内最大領域（ズーム領域候補）の座標とを比較する。

座標判定部２０２は、その比較結果（すなわち、ズーム領域候補に対する現フレームのフレーム内最大領域の座標変動）に基づいて、ズーム領域候補を更新するか否かを判定する。現フレームのフレーム内最大領域の位置（座標）が、ズーム領域候補の位置（座標）に対してあまり変動しない場合（例えば、変動量が１０画素以内の場合）、ズーム領域候補の更新を行わないとし、現フレームのフレーム最大領域情報を破棄する。逆に、現フレームのフレーム内最大領域の位置（座標）が、ズーム領域候補の位置（座標）に対して大きく変動する場合（例えば、変動量が１０画素より大きい場合）、ズーム領域候補設定部２０３にズーム領域候補の更新を行わせる。

ズーム領域候補設定部２０３は、座標判定部２０２の判定結果に基づいて、ズーム領域候補の位置（座標）に対して大きく変動する場合（例えば、変動量が１０画素より大きい場合）、現フレームのフレーム最大領域情報を用いてズーム領域候補を更新する。つまり、ズーム領域候補設定部２０３は、フレーム内最大領域情報を用いてズーム領域候補情報２１１を更新する（連続量および座標を更新する）。

同座標連続フレーム管理部２０４は、記憶部２０６に記憶される変数である同座標連続フレーム２１２を用いて、フレーム毎に、ズーム領域候補の座標が変動しなかった回数をカウントする。すなわち、同座標連続フレーム管理部２０４は、ズーム領域候補設定部２０３によりズーム領域が更新されなかった場合、記憶部２０６の同座標連続フレーム２１２の値に「＋１」を加算する。また、同座標連続フレーム管理部２０４は、ズーム領域候補が更新された場合、同座標連続フレーム２１２の値を初期値（例えば、「０」）にリセットする。そして、同座標連続フレーム管理部２０４は、記憶部２０６の同座標連続フレーム２１２の値が「５」に達したか否かを管理し、「５」に達した場合、ズーム領域設定部２０５にズーム領域の更新を行わせる。

ズーム領域設定部２０５は、同座標連続フレーム２１２の値が「５」に達すると、ズーム領域候補情報２１１を用いてズーム領域の設定を行い、そのズーム領域の情報をズーム領域情報として図５のズーム領域情報記憶部１１６に供給し、記憶させる。

記憶部２０６は、ズーム領域候補情報２１１や同座標連続フレーム２１２を記憶し、必要に応じて各処理部にそれらの値を供給する。

図１０を参照して、ズーム領域設定部２０５によるズーム領域の設定方法の例を説明する。

例えば、図１０Ａに示されるように、画像データの画像領域２２１においてズーム領域候補２２２が設定されている場合、ズーム領域候補情報２１１は、連続量２２３（ズーム領域候補２２２の水平方向の長さ）と、終端座標２２４（ズーム領域候補２２２の右端の画素の座標）により構成される。ズーム領域設定部２０５は、図１０Ｂに示されるように、このズーム領域候補２２２と左右端の画素が等しく、かつ、ズーム領域候補２２２が垂直方向の中心となるようなズーム領域２２５を設定する。つまり、ズーム領域設定部２０５は、ズーム領域候補２２２を上側と下側に均等に太らせた領域をズーム領域２２５として設定する。このズーム領域２２５の垂直方向の長さは、画像領域２２１のアスペクト比に基づいて決定される。

例えば、図１０Ｂに示されるように、画像領域２２１のアスペクト比（横：縦）がｍ：ｎであるとき、ズーム領域２２５の垂直方向の長さは、連続量２２３のｎ／ｍ倍に設定される。つまり、ズーム領域２２５は、その左右端の座標がズーム領域候補２２２の左右端の座標と等しく、ズーム領域候補２２２が垂直方向の中心に位置し、かつ、アスペクト比が画像領域２２１のアスペクト比と同じｍ：ｎの領域である。

図５のズーム処理部１０３は、例えばユーザ指示に基づいて、このように設定されたズーム領域の画像を元画像より切り出し、画像出力部８４に拡大表示させる。

次に、各処理部による具体的な処理の流れについて説明する。

最初に、図１１のフローチャートを参照して、図４の制御部８１による表示装置２１の制御処理の流れを説明する。表示装置２１は、ユーザ指示に基づいて、例えば、上述したような画像の拡大表示（ズーム処理）のように、画像表示に関する各処理を行う。

表示装置２１の制御部８１は、制御処理を実行し、ユーザからの指示に基づいて、各部の動作を制御する。

最初に、制御部８１は、ステップＳ１において、コマンド情報の入力を受け付け、ステップＳ２において、コマンド情報を受信したか否かを判定する。コマンド情報を受信していないと判定した場合、制御部８１は、処理をステップＳ１に戻し、それ以降の処理を繰り返す。また、ステップＳ２において、指示受付装置６１を介してユーザ指示に対応するコマンド情報を受信したと判定した場合、制御部８１は、処理をステップＳ３に進め、その受信したコマンド情報に含まれるコマンドの内容を確認する。

ステップＳ４において制御部８１は、取得したコマンドが終了指示であるか否かを判定し、制御処理の終了指示では無いと判定した場合、処理をステップＳ５に進める。ステップＳ５において、制御部８１は、さらに、取得したコマンドが動作モードの切り替えを指示する動作モード切替指示であるか否かを判定する。動作モード切替指示であると判定した場合、制御部８１は、処理をステップＳ６に進める。ステップＳ６において、ズームモード選択指示制御部８１は、取得したコマンドがズームモード選択指示であるか否かを判定し、ズームモード選択指示であると判定した場合、制御部８１は、処理をステップＳ７に進め、コンテンツ取得部８２、画像処理部８３、および音声処理部８４を制御し、動作モードをズームモードに切り替える。動作モードをズームモードに切り替えると制御部８１は、処理をステップＳ１に戻し、それ以降の処理を繰り返す。

また、ステップＳ６において、取得したコマンドがズームモード選択指示ではないと判定した場合、制御部８１は、処理をステップＳ８に進め、コンテンツ取得部８２、画像処理部８３、および音声処理部８４を制御し、動作モードを指定されたモードに切り替える。ステップＳ８の処理を終了すると、制御部８１は、処理をステップＳ１に戻し、それ以降の処理を繰り返す。

さらに、ステップＳ５において、取得したコマンドが動作モード切替指示ではないと判定した場合、制御部８１は、処理をステップＳ９に進め、各処理部を制御し、操作に応じた処理を行う。ステップＳ９の処理を終了すると、制御部８１は、処理をステップＳ１に戻し、それ以降の処理を繰り返す。

また、ステップＳ４において、制御処理の終了指示を取得したと判定した場合、制御部８１は、処理をステップＳ１０に進め、電源を切断したり、サスペンド状態にしたりする等の終了処理を行い、制御処理を終了する。

以上のように制御部８１は、表示装置２１の各部の動作を制御する。例えば、上述したような制御処理により動作モードがズームモードに切り替えられると、画像処理部８３の図５に示されるような構成により、元画像の部分画像を抽出して拡大表示する自動ズームに関する処理が行われる。

このときに、ズーム領域設定部１０２が実行するズーム領域設定処理の流れの例を図１２のフローチャートを参照して説明する。

ズームモードになると、ズーム領域設定部１０２は、ズーム領域の設定や更新を行うためのズーム領域設定処理を開始する。ズーム領域設定処理が開始されると、最初に差分大領域抽出処理部１１１は、ステップＳ３１において差分大領域を抽出する。差分大領域抽出処理の詳細については後述する。差分大領域の抽出が終了すると、フレーム内最大領域抽出処理部１１２は、ステップＳ３２において、フレーム内最大領域を抽出する。フレーム内最大領域抽出処理の詳細については後述する。フレーム内最大領域が抽出されると、判定部１１３は、ステップＳ３３において、設定済みズーム領域が存在するか否かを判定し、存在すると判定した場合、処理をステップＳ３４に進める。ステップＳ３４において、更新部１１４は、ズーム領域の更新処理を行う。ズーム領域更新処理の詳細については後述する。ズーム領域の更新処理が終了すると、更新部１１４は、処理をステップＳ３６に進める。またステップＳ３３において、ズーム領域が設定されていないと判定した場合、判定部１１３は、処理をステップＳ３５に進める。ステップＳ３５において、設定部１１５は、フレーム内最大領域を用いてズーム領域の設定を行う。ズーム領域の設定が終了すると、設定部１１５は、処理をステップＳ３６に進める。

ステップＳ３６において、ズーム領域情報記憶部１１６は、設定されたズーム領域を記憶する。ズーム領域が記憶されると、差分大領域抽出処理部１１１は、ステップＳ３７においてズーム領域設定処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ３１に戻し、それ以降の処理を繰り返す。また、ステップＳ３７において、ズーム領域設定処理を終了すると判定した場合、差分大領域抽出処理部１１１は、処理をステップＳ３８に進め、終了処理を行い、ズーム領域設定処理を終了する。

次に、図１２のステップＳ３１において実行される差分大領域抽出処理の詳細な流れの例について、図１３および図１４のフローチャートを参照して説明する。

図１３のステップＳ５１において、バッファメモリ１３１は、供給された画像データ（画素データ）を取得し、それを所定のアドレスに格納すること等により、注目画素をセットする。そして、バッファメモリ１３１は、その注目画素について、ステップＳ５２において、注目画素が画像領域内であるか否かを判定する。注目画素が画像領域内の、フレーム画像として有効な画素であると判定した場合、バッファメモリ１３１は、処理をステップＳ５３に進める。

ステップＳ５３において、差分算出部１３２は、その注目画素について、隣接画素との画素値の差分を算出する。差分値判定部１３３は、ステップＳ５４において、差分値算出部１３２により算出されたその差分値群の中に、予め保持している閾値以上の絶対値の差分値が存在するか否かを判定し、閾値以上の絶対値の差分値が存在すると判定した場合、その注目画素を差分大画素とし、処理をステップＳ５５に進める。ステップＳ５５において、変数管理部１３４は、差分大連続量１４１の値に「＋１」を加算し、差分小連続量１４２の値を「０」にリセットすることにより、差分大領域をカウントし、差分小領域のカウントをリセットする。ステップＳ５５の処理を終了すると、変数管理部１３４は、処理を図１４のステップＳ７４に進める。

また、図１３のステップＳ５４において、閾値以上の絶対値の差分値が存在しないと判定した場合、差分値判定部１３３は、その注目画素を差分小画素とし、処理をステップＳ５６に進める。ステップＳ５６において、変数管理部１３４は、差分小連続量１４２の値に「＋１」を加算することにより、差分小領域をカウントする。

ステップＳ５７において、変数管理部１３４は、差分小連続量１４２の値が「１０」より大きいか否かを判定する。差分大領域抽出処理部１１１は、連続していない差分小画素（差分小連続量１４２の値が十分に小さい場合）は、ノイズ成分と判定し、差分小領域として認めない。変数管理部１３４は、差分小連続量１４２の値が「１０」以下である場合、まだ差分大領域が継続するとし、差分大連続量１４１の値をリセットせずに、処理を図１４のステップＳ７４に進める。

また、図１３のステップＳ５７において、差分小連続量１４２の値が「１０」より大きいと判定した場合、変数管理部１３４は、注目画素が差分小領域内の画素であると認め、処理をステップＳ５８に進める。ステップＳ５８において、変数管理部１３４は、差分大連続量１４１の値が「１」以上であるか否かを判定する。差分大連続量１４１の値が「０」であると判定した場合、つまり、差分小領域が継続中であり、差分大連続量１４１は既にリセットされていると判定した場合、変数管理部１３４は、処理を図１４のステップＳ７４に進める。

また、図１３のステップＳ５８において、差分大連続量１４１の値が「１」以上であり、まだリセットされていないと判定した場合、変数管理部１３４は、処理をステップＳ５９に進める。この場合、差分小画素の連続量が１０画素に達したことにより、注目画素が差分小領域内の画素であることが認められ、直前の差分大領域が終了したとみなされる。すなわち、記憶部１３５は、ステップＳ５９において、注目画素の座標と差分小連続量１４２より、その直前の差分大領域の終端画素の座標を求め、差分大連続量１４１の値と直前の差分大領域の終端画素の座標を関連付けて記憶する。そして、変数管理部１３４は、ステップＳ６０において、差分大連続量１４１の値を「０」にリセットし、処理を図１４のステップＳ７４に進める。

また、図１３のステップＳ５２において、注目画素が有効な画像領域内に存在しないと判定した場合、バッファメモリ１３１は、処理を図１４のステップＳ７１に進める。差分大領域の検出はライン毎に（水平方向に）行われるので、例えば注目画素が画像領域の右端外に出ると、領域の抽出処理（に関する変数）が一度リセットされ、処理対象が次のラインに移行する。また、画像領域の一番下のラインにおいて、注目画素が画像領域の右端外に出ると、そのフレーム画像に対する差分大領域の抽出処理が終了するので、各変数がリセットされる。

図１４のステップＳ７１において、変数管理部１３４は、差分大連続量１４１の値が「１」以上であるか否かを判定し、「１」以上であると判定した場合、すなわち、現在の領域が差分大領域（連続量が十分に大きくない差分小画素も含む）であり、その差分大領域についての情報を記憶部１３５に記憶していないと判定した場合、処理をステップＳ７２に進める。ステップＳ７２において、記憶部１３５は、そのときの差分大連続量１４１の値と注目画素の１つ前の画素（画像領域の右端の画素）の座標（座標情報１４３）とを関連付けて記憶する。ステップＳ７２の処理を終了すると、記憶部１３５は、処理をステップＳ７３に進める。また、ステップＳ７１において、差分大連続量１４１の値が「０」であると判定した場合、すなわち、現在の領域が差分小領域であり、その１つ前の差分大領域についての情報は、既に記憶部１３５に記憶されていると判定した場合、変数管理部１３４は、ステップＳ７２の処理を省略し、ステップＳ７３に処理を進める。

ステップＳ７３において、変数管理部１３４は、差分大連続量１４１と差分小連続量１４２の値を、いずれも「０」にリセットする。変数をリセットすると変数管理部１３４は、処理をステップＳ７４に進める。

ステップＳ７４において、バッファメモリ１３１は、差分大領域抽出処理を終了するか否かを判定し、現在のフレーム画像データの供給が継続しており、差分大領域抽出処理を終了しないと判定した場合、処理を図１３のステップＳ５１に戻し、それ以降の処理を繰り返す。また、図１４のステップＳ７４において、注目画素が画像領域の右下隅の画素に達し、現在のフレーム画像データの供給が終了し、差分大領域抽出処理を終了すると判定した場合、バッファメモリ１３１は、処理をステップＳ７５に進める。ステップＳ７５において、差分大領域情報供給部１３６は、記憶部１３５に記憶されている差分大領域情報をフレーム内最大領域抽出部１１２に供給する。差分大領域情報を供給すると、差分大領域情報供給部１３６は、差分大領域抽出処理を終了し、図１２のステップＳ３１に処理を戻し、ステップＳ３２以降の処理を実行させる。

以上において、差分小領域の最小条件となる差分小連続量１４２の値を１０画素とするように説明したが、この差分小領域の最小条件としての差分小連続量１４２の値はいくつであってもよいが、最適な値とするのが望ましい。ズーム領域設定部１０２は、後述するように、細かい絵柄が集合する部分をズーム領域として設定する。従って、例えば、この最小条件の値を小さくしすぎると、拡大画像の拡大率が大きすぎて見づらいものとなってしまう恐れがあり、逆に、最小条件の値を大きくしすぎると、拡大画像の拡大率が小さすぎて拡大の効果を十分に得られない恐れがある。なお、この最小条件は、予め定められた所定の定数であっても良いが、例えば、過去や現在の画像の内容などに基づいて決定される変数であってもよい。

差分大領域情報が供給されると、図５のフレーム内最大領域抽出処理部１１２は、その差分大領域情報に含まれる差分大領域の中から、フレーム内において最大の差分大領域（フレーム内最大領域）を抽出するフレーム内最大領域抽出処理を実行する。図１５のフローチャートを参照して、フレーム内最大領域抽出処理の流れの例を説明する。

フレーム内最大領域抽出処理が開始されると、図８の注目差分大領域情報設定部１７１は、ステップＳ９１において、供給される差分大領域情報の差分大領域の中から処理対象となる注目差分大領域を設定（セット）し、その差分大領域に関する情報である連続量と終端座標を、それぞれ、注目連続量１８１および注目座標１８２として変数記憶部１７７に供給して記憶させる。

ステップＳ９２において、比較部１７２は、変数記憶部１７７に記憶されている注目連続量１８１と最大連続量１８３とを比較する。判定部１７３は、ステップＳ９３において、その比較結果に基づいて、注目連続量１８１の値が最大連続量１８３の値より大きいか否かを判定する。すなわち、判定部１７３は、比較結果から、注目差分大領域がフレーム内最大領域となり得るか否か（現時点において最大か否か）を検討する。注目連続量１８１の値が最大連続量１８３の値より大きいと判定した場合、判定部１７３は、処理をステップＳ９４に進める。

ステップＳ９４において、最大連続量更新部１７４は、注目連続量１８１を用いて最大連続量１８３を更新する。ステップＳ９５において、最大差分大領域座標更新部１７５は、注目座標１８２を用いて最大差分大領域座標１８４を更新する。ステップＳ９５の処理が終了すると、最大差分大領域座標更新部１７５は、処理をステップＳ９６に進める。

また、ステップＳ９３において、注目連続量１８１の値が最大連続量１８３の値より大きくなく、注目差分大領域がフレーム内最大領域となり得ないと判定した場合、判定部１７３は、ステップＳ９４およびステップＳ９５の処理を省略し、ステップＳ９６に処理を進める。

ステップＳ９６において、最大差分大領域座標更新部１７５は、フレーム内最大領域抽出処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ９１に戻し、それ以降の処理を繰り返し実行させる。また、ステップＳ９６において、全ての差分大領域について処理が終了し、フレーム内最大領域を決定し、フレーム内最大領域抽出処理を終了すると判定した場合、最大差分大領域座標更新部１７５は、処理をステップＳ９７に進める。ステップＳ９７において、フレーム内最大領域設定部１７６は、変数記憶部１７７に記憶されている最大連続量１８３および最大差分大領域座標１８４をフレーム内最大領域情報として、図５の判定部１１３に供給し、フレーム内最大領域抽出処理を終了し、図１２のステップＳ３２に処理を戻し、ステップＳ３３以降の処理を実行させる。

なお、以上においては、ズーム領域を設定するためにフレーム内最大領域を抽出するように説明したが、ズーム領域は、フレーム内最大領域以外に基づいて設定するようにしてもよい。例えば、フレーム内において、連続量が平均値である差分大領域（フレーム内の全差分大領域の連続量の平均値に最も近い連続量の差分大領域）に基づいてズーム領域が設定されるようにしてもよい。また、連続量が、予め定められた所定の定数である差分大領域に基づいてズーム領域が設定されるようにしてもよい。さらに、ズーム領域候補より設定されるズーム領域の、ズーム領域候補に対する相対位置および領域の大きさは、任意である。つまり、ズーム領域は、ズーム領域候補に対してどのような位置にどのような範囲で設定するようにしてもよい。

新たに供給されたフレーム内最大領域に対してズーム領域が既に設定されている場合、図５の更新部１１４は、ズーム領域更新処理を実行し、所定の条件を満たす場合のみズーム領域の更新を行う。

図１６のフローチャートを参照して、ズーム領域更新処理の流れの例を説明する。

ステップＳ１１１において、比較部２０１は、供給されたフレーム内最大領域情報に含まれる、現フレームのフレーム内最大領域の座標と、記憶部２０６に記憶されているズーム領域候補情報２１１に含まれる、ズーム領域候補の座標を比較する。座標判定部２０２は、その比較結果に基づいて、ステップＳ１１２において、縦座標変化量が１０画素以内であるか否かを判定する。つまり、座標判定部２０２は、現フレームのフレーム内最大領域の座標の、ズーム領域候補の座標に対する、画像領域の縦方向（垂直方向）の「ずれ幅」が、１０画素以下であるか否かを判定する。そして、この「ずれ幅」が１０画素以内であると判定した場合（「大きくずれていない」と判定した場合）、座標判定部２０２は、ステップＳ１１３に処理を進め、次に、横座標変化量が１０画素以内であるか否かを判定する。つまり、座標判定部２０２は、現フレームのフレーム内最大領域の座標の、ズーム領域候補の座標に対する、画像領域の横方向（水平方向）の「ずれ幅」が、１０画素以下であるか否かを判定する。そして、この「ずれ幅」が１０画素以内であると判定した場合（「大きくずれていない」と判定した場合）、座標判定部２０２は、座標変化量が少ないので（ズーム領域候補も、現フレームのフレーム内最大領域もほぼ同じ位置にあるので）、ズーム領域候補を更新する必要が無いと判定し、ステップＳ１１４に処理を進める。

ステップＳ１１４において、同座標連続フレーム管理部２０４は、記憶部２０６に記憶されている変数である同座標連続フレーム２１２の値に「＋１」を加算する。ステップＳ１１５において、同座標連続フレーム管理部２０４は、同座標連続フレーム２１２の値が「５」より大きいか否かを判定し、大きいと判定した場合、処理をステップＳ１１６に進める。

ステップＳ１１６において、ズーム領域設定部２０５は、ズーム領域候補情報２１１および画面領域のアスペクト比を用いてズーム領域を設定し、そのズーム領域に関するズーム領域情報をズーム領域情報記憶部１１６に供給して記憶させ、ズーム領域更新処理を終了し、処理を図１２のステップＳ３４に戻し、ステップＳ３６以降の処理を実行させる。つまり、ズーム領域候補が６フレーム以上の間更新されない場合、そのズーム領域候補を用いてズーム領域が更新される。

なお、例えば、ズーム領域候補（フレーム内最大領域）が画像領域の１番上のラインであったり、一番下のラインであったりして、その領域周辺に十分なスペースが存在せず、そのズーム領域候補とアスペクト比に基づいて、図１０を参照して説明したような方法で画像領域内にズーム領域を設定することが不可能である場合、ズーム領域設定部２０５は、ズーム領域を、画像領域内に収まるように、本来の位置よりずらして設定する。

例えば、ズーム領域候補が画像領域の上端付近のラインに存在し、ズーム領域候補の上側に、ズーム領域の設定に必要なスペースが存在しない場合、つまり、左右端の水平方向の位置が、ズーム領域候補の左右端の水平方向の位置と等しく、そのアスペクト比が画像領域のアスペクト比と等しく、さらに、ズーム領域候補によって垂直方向に２等分されるズーム領域を設定すると、そのズーム領域の一部が画像領域上端よりはみ出してしまう場合、ズーム領域設定部２０５は、そのズーム領域を本来の位置より画像領域の下方向にずらし、画像領域内に収まるように設定する。つまり、この場合、ズーム領域候補は、ズーム領域の垂直方向の中心とならない。さらに付言すると、例えば、ズーム領域候補が画像領域の１番上のラインである場合、ズーム領域は、ズーム領域候補が領域の一番上のラインとなるように、ズーム領域候補の下側に設定される。

なお、ズーム領域候補が画像領域の下端付近のラインに存在し、ズーム領域候補の下側に、ズーム領域の設定に必要なスペースが存在しない場合、ズーム領域は、上述した上側の場合と逆に、本来の位置より画像領域の下方向にずらして設定される。例えば、ズーム領域候補が画像領域の１番下のラインである場合、ズーム領域は、ズーム領域候補が領域の一番下のラインとなるように、ズーム領域候補の上側に設定される。

以上のようにズーム領域設定部２０５は、ステップＳ１１６において、ズーム領域候補およびアスペクト比を用いて、ズーム領域を、画像領域内に収まるように設定する。

これに対して、ズーム領域候補が更新されてから５フレーム以内である場合、すなわち、ステップＳ１１５において、同座標連続フレーム２１２の値が「５」以下であると判定した場合、同座標連続フレーム管理部２０４は、このフレームにおいてズーム領域の更新を行わないようにステップＳ１１６の処理を省略し、ズーム領域更新処理を終了し、処理を図１２のステップＳ３４に戻し、ステップＳ３６以降の処理を実行させる。

また、ステップＳ１１２において縦座標変化量が１０画素より大きいと判定した場合、または、ステップＳ１１３において横座標変化量が１０画素より大きいと判定した場合、すなわち、現フレームのフレーム内最大領域がズーム領域候補に対して大きくずれていると判定した場合、座標判定部２０２は、処理をステップＳ１１７に進める。

ステップＳ１１７において、ズーム領域候補設定部２０３は、現フレームのフレーム内最大領域を新たなズーム領域候補とするように、ズーム領域候補を更新する。同座標連続フレーム管理部２０４は、同座標連続フレーム２１２の値を「０」にリセットし、ズーム領域更新処理を終了し、処理を図１２のステップＳ３４に戻し、ステップＳ３６以降の処理を実行させる。

なお、座標判定部２０２によるステップＳ１１２およびステップＳ１１３の処理において、変化量の条件を１０画素として説明したが、この条件は何画素であってもよい。また、縦方向と横方向で互いに異なる条件としても良い。また、ステップＳ１１５の処理において、ズーム領域の更新のためには、ズーム領域候補が６フレーム以上の間、同座標を保つ必要があるように説明したが、この条件は何フレームであってもよい。

上述したように、差分大領域は細かい絵柄が集中する部分であり、フレーム内最大領域やズーム領域候補も同様である。従って、これらの領域の座標や連続量はフレーム間で（時系列上で）変化しやすい。この細かい変化に基づいて逐一ズーム領域を更新するようにすると、ノイズ成分等による不要なズーム領域の変動を招く恐れがあり、拡大画像が不自然に変化し（例えば微小振動を繰り返したりして）、見づらくなってしまう恐れがある。

更新部１１４は、以上のようなズーム領域更新処理を実行して、各条件を設けることにより、ズーム領域の変化の高周波成分を除去し、ズーム領域の拡大画像をより安定させることができる。

図５のズーム処理部１０３は、ズーム領域設定部１０２が以上のように設定したズーム領域の画像を拡大表示させる。ズーム処理部１０３により実行されるズーム処理の流れの例を、図１７のフローチャートを参照して説明する。

最初に、ステップＳ１３１において、ズーム処理部１０３は、ズーム領域情報記憶部１１６を参照し、ズーム領域が設定されているか否かを判定する。ズーム領域が設定されていると判定した場合、ズーム処理部１０３は、ズーム領域情報記憶部１１６よりズーム領域情報を取得し、さらにフレームメモリ１０１よりフレーム画像データを取得し、ズーム画像データを生成して画像出力部８４に供給し、設定されているズーム領域を拡大表示させ、処理をステップＳ１３４に進める。

また、ステップＳ１３１において、ズーム領域が設定されていないと判定した場合、ズーム処理部１０３は、処理をステップＳ１３３に進め、エラーメッセージを画像出力部８４に表示させる等のエラー処理を行い、処理をステップＳ１３４に進める。

ステップＳ１３４において、ズーム処理部１０３は、ズーム処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１３１に戻し、それ以降の処理を繰り返す。また、ステップＳ１３４において、ズーム処理を終了すると判定した場合、ズーム処理部１０３は、ズーム処理を終了する。

以上のような各処理により、例えば図２に示されるように、表示装置２１−１は、表示装置２１−５に表示される元画像において細かい絵柄が集中する部分である花４１の部分を、ユーザの設定無しに自動的にズーム領域に設定し、拡大表示することができる。

つまり、表示装置２１は、全体画像（元画像）において細かい絵柄が集中する部分はユーザにとって画像が複雑で見づらい部分であるから、その部分をユーザが拡大を所望する部分であるとしてズーム領域に設定し拡大表示する。このようにすることにより、ユーザは、より簡単な操作で、より効果的な画像（細かい絵柄が集中する部分の拡大画像）を表示させることができる。

なお、拡大画像や元画像の表示方法は任意であり、例えば、図１８に示されるように１つの表示装置２１にそれらの両方を表示させるようにしてもよい。図１８の例の場合、画面全体に拡大画像２３１が表示され、その一部分に拡大画像の元画像である全体画像２３２が重畳されて表示されている。さらに、その全体画像２３２には、拡大画像に対応するズーム領域の位置（範囲）を示すズーム枠２３３を、例えば点線で表示するようにしてもよい。図１８に示されるように、全体画像２３２は、人物２３４の画像を含む画像であり、ズーム枠２３３は、その人物２３４の顔の部分に設定されている。拡大画像２３１は、このズーム枠２３３により設定される範囲の拡大画像であり、人物２３４の顔の部分が拡大表示されている。

このように表示することにより、ユーザは、拡大画像が元画像のどの部分を拡大したものであるかを容易に把握することができる。

なお、以上において、表示装置２１は、画像領域の中の細かい絵柄が集中する部分を拡大表示するように説明したが、これに限らず、例えば、周囲に対して目立つ部分を拡大表示するようにしてもよい。

図１９は、その場合の画像処理部８３の詳細な構成例を示すブロック図である。

図１９において、画像処理部８３は、図５のズーム領域設定部１０２の代わりにズーム領域設定部３０２を有している。ズーム領域設定部３０２は、差分大領域抽出処理部３１１、ズーム領域中心設定部３１２、ズーム領域範囲設定部３１３、およびズーム領域情報記憶部１１６を有している。

差分大領域抽出処理部３１１は、フレームメモリ１０１より供給される画像データに基づいて、フレーム画像の差分大領域を抽出し、差分大領域情報としてズーム領域中心設定部３１２に供給する。差分大領域抽出処理部３１１の詳細な構成は、図６に示される差分大領域抽出処理部１１１と同様であるので、図６の説明を差分大領域抽出処理部３１１にも適用することができる。ただし、隣接画素の設定方法は、差分大領域抽出処理部１１１と異なる。

この場合、差分大領域抽出処理部３１１のバッファメモリ１３１は、隣接画素の代わりに、図２０に示されるように、注目画素を中心として縦１１画素および横１１画素を注目画素３２１の周辺画素として設定し、各周辺画素と注目画素との差分を演算する。

この場合の、バッファメモリ１３１は、フレームメモリとして画像領域の全画素データを保持するようにしてもよいが、図２１Ａに示されるように、少なくとも１２（１１＋１）ライン以上の画素データを保持することができる。注目画素３２１とその周辺画素の範囲である周辺画素範囲３２２は、バッファメモリ１３１に新規画素が追加される度に、１つずつ左に移動する。周辺画素範囲３２２は、追加された新規画素が右下隅の画素となるように１１画素×１１画素の範囲で設定される。注目画素３２１は、この周辺画素範囲３２２の中心の画素（新規追加された画素の左側に５画素、上側に５画素の位置にある画素）である。

注目画素３２１が画像領域の左右端付近に位置する場合、その注目画素３２１に対する周辺画素範囲３２２は、１１画素×１１画素を保つことができないが、その場合、確保可能な限りの範囲で設定される。ただし注目画素は必須である。例えば、周辺画素範囲３２２の右端が画素領域の右端に達すると、そのあとは、注目画素３２１の右側の領域が、注目画素３２１が右に移動する度に減少する。その間、新規画素の追加は続けられ、次のラインの左端から順に追加される。注目画素３２１が画像領域の右端に達すると、バッファメモリ１３１は、図２１Ｃに示されるように、古い方から１ライン分画素データを破棄し、注目画素３２１および周辺画素範囲３２２を１ライン分下にずらす。

差分算出部１３２は、このように設定される周辺画素範囲３２２内の周辺画素と注目画素の差分値をそれぞれ算出する。差分値判定部１３３は、この差分値群の中に閾値以上の差分値が存在するか否かを判定する。

なお、バッファメモリ１３１の容量はいくつであってもよい。

差分大領域抽出部３１１は、差分大領域情報の他に、各注目画素において算出された差分値（絶対値）の最大値をフレーム（画像領域）毎に画像としてまとめた周辺画素差分値画像もズーム領域中心設定部３１２に供給する。つまり、この周辺画素差分値画像の各画素は元画像の各画素に対応しており、各画素の画素値は、それぞれ、図２０に示されるように、元画像においてその画素を注目画素としたときに得られる、１２０（１１×１１−１）個の周辺画素との差分値の中で絶対値の最大値を示している。

図２２は、図１９のズーム領域中心設定部３１２の詳細な構成例を示すブロック図である。

図２２において、ズーム領域中心設定部３１２は、注目画素設定部３７１、注目差分大画素率算出部３７２、判定部３７３、最大差分大画素率更新部３７４、最大座標更新部３７５、ズーム領域中心設定部３７６、並びに変数記憶部３７７を有している。

差分大領域情報や周辺画素差分値画像を供給されると、注目画素設定部３７１は、まず、変数記憶部３７７に、供給された周辺画素差分値画像３８１を供給し、記憶させる。次に、注目画素設定部３７１は、差分大領域情報より未処理の差分大領域を１つ選択し、その差分大領域の中央の画素の座標を算出する。差分大領域が２等分される場合は、その中心点の右側の画素を中央の画素としても良いし、左側の画素を中央の画素としてもよい。注目画素設定部３７１は、その中央の画素を処理対象として注目画素に設定し、その画素の座標を注目座標３８２として供給し、記憶させる。

注目差分大画素率算出部３７２は、周辺画素差分値画像３８１において、注目画素の周辺領域（例えば１１画素×１１画素）に含まれる、差分大画素（所定の閾値より大きな画素値を有する画素）の割合（差分大画素率）を示す注目差分大画素率を算出する。算出された注目差分大画素率３８３は、変数記憶部３７７に供給されて記憶される。なお、この閾値は、予め定められた定数であっても良いし、状況に応じて設定される変数であってもよく、差分大領域抽出処理部３１１において、注目画素が差分大画素か否かを判定するのに使用される閾値と同じであってもよいし、互いに独立して設定される値であってもよい。

判定部３７３は、注目差分大画素率３８３が変数記憶部３７７に記憶されている最大差分大画素率３８５の値より大きいか否かを判定する。最大差分大画素率３８５は、最大座標３８４とともに、ズーム領域の中心となる画素の候補に関する情報である。最大座標３８４は、その候補の座標情報であり、最大差分大画素率３８５は、その候補を注目画素とするときの差分大画素率である。ズーム領域の中心は、差分大領域内の画素の中で、この差分大画素率がフレーム内（画像領域内）において最大となる画素に設定される。従って、判定部３７３は、最大差分大画素率３８５と注目差分大画素率３８３とで値の大きさを比較し、その大小関係に基づいて、注目画素がズーム領域の中心の候補として、現在の候補よりもふさわしいか否かを判定する。

最大差分大画素率更新部３７４は、判定部３７３の判定結果に基づいて、最大差分大画素率３８５の値を更新する。つまり、最大差分大画素率更新部３７４は、注目画素をズーム領域の中心の新たな候補とする場合、変数記憶部３７７に記憶されている注目差分大画素率３８３の値を用いて、同じく変数記憶部３７７に記憶されている最大差分大画素率３８５の値を更新する。

最大座標更新部３７５は、判定部３７３の判定結果に基づいて、変数記憶部３７７に記憶されている最大座標３８４を、変数記憶部３７７に記憶されている注目画素３８２を用いて更新する。

設定部３７６は、以上のような処理が繰返し実行されて決定された、フレーム内において差分大画素率が最も高い画素である最大座標３８４に示される座標の画素を、ズーム領域の中心画素の候補として設定し、そのときの最大座標３８４および最大差分大画素率３８５を、ズーム領域中心情報としてズーム領域範囲設定部３１３に供給する。なお、設定部３７６は、周辺画素差分値画像３８１もズーム領域範囲設定部３１３に供給する。

変数記憶部３７７は、半導体メモリ等の所定の記憶領域を有し、その記憶領域を用いて、周辺画素差分値画像３８１、注目座標３８２、注目差分大画素率３８３、最大座標３８４、および最大差分大画素率３８５等を記憶し、必要に応じて、それらの値を各処理部に供給する。

図２３は、図１９のズーム領域範囲設定部３１３の詳細な構成例を示すブロック図である。

図２３において、ズーム領域範囲設定部３１３は、範囲初期値設定部３９１、差分大画素率算出部３９２、判定部３９３、範囲更新部３９４、および範囲決定部３９５を有している。

範囲初期値設定部３９１は、ズーム領域中心設定部３１２より供給されたズーム領域中心情報に基づいて、そのズーム領域の中心を中心とするズーム領域を、予め定められた所定の初期値で設定する。つまり、範囲初期値設定部３９１は、ズーム領域の範囲を初期値に設定する。

差分大画素率算出部３９２は、周辺画素差分値画像を用いて、現在設定されているズーム領域内に含まれる差分大画素率を算出する。判定部３９３は、その差分大画素率の値が所定の閾値以上であるか否かを判定し、差分大画素率の値が閾値以上である場合、範囲更新部３９４にズーム領域の範囲を更新させ、差分大画素率の値が閾値より小さい場合、範囲決定部３９５に範囲を決定させる。

範囲更新部３９４は、所定の割合だけズーム領域を広げるように、ズーム領域の範囲の設定を更新し、その新たな設定を差分大画素率算出部３９２に供給する。差分大画素率算出部３９２は、新たな範囲内において、差分大画素率を算出する。このように、差分大画素率算出部３９２乃至範囲更新部３９４は、ズーム領域内の差分大画素率が閾値より低くなるまで、繰返し処理を行い、ズーム領域の範囲を広げていく。

範囲決定部３９５は、ズーム領域の範囲をそのときの値に決定し、ズーム領域の中心の画素の座標に関するズーム領域中心情報と、ズーム領域の範囲の大きさに関するズーム領域範囲情報をズーム領域情報としてズーム領域情報記憶部１１６に供給し、記憶させる。

図２４にズーム領域設定部３０２によるズーム領域の設定方法の具体例を示す。

ズーム領域設定部３０２の差分大領域抽出処理部３１１は、注目画素の周囲の１１画素×１１画素を周辺画素として差分大領域を抽出し、図２４Ａに示されるような周辺画素差分値画像４０１を生成する。差分大画素群４０２（図中、網掛けの楕円部分）は、ライン毎の領域である差分大領域の集合の例を示している。ズーム領域中心設定部３１２は、図２４Ａに示される周辺領域４０３乃至周辺領域４０５のように、各差分大領域の中心画素を注目画素とし、その注目画素毎に周辺領域（例えば１１画素×１１画素）内の差分大画素（差分大画素群４０２）の割合である差分大画素率（網掛けの部分の割合）を算出し、その割合が最大となるものを求める。図２４Ａの場合、周辺領域４０５の差分大画素率が最大となり、その中心画素４０６がズーム領域の中心として設定される。

ズーム領域範囲設定部３１３は、図２４Ｂに示されるように、その中心画素４０６を中心とする、範囲の大きさが初期値のズーム領域４０７を設定する。そして、ズーム領域範囲設定部３１３は、そのズーム領域内の差分大画素率が所定の割合より低くなるまで、ズーム領域の範囲を広げていき、最終的なズーム領域４０８を決定する。

以上のようなズーム領域設定部３０２により実行されるズーム領域設定処理の流れの例を図２５のフローチャートを参照して説明する。

最初に、差分大領域抽出処理部３１１は、ステップＳ１５１において、差分大領域を抽出し、処理をステップＳ１５２に進める。なお、差分大領域抽出処理の詳細は、図１３および図１４のフローチャートを参照して説明した場合と同様であるのでその説明を省略する。ステップＳ１５２において、ズーム領域中心設定部３１２は、ズーム領域の中心を設定し、ステップＳ１５３に処理を進める。ステップＳ１５３において、ズーム領域範囲設定部３１３は、ズーム領域の範囲を設定し、処理をステップＳ１５４に進める。ステップＳ１５４において、ズーム領域情報記憶部１１６は、設定されたズーム領域を記憶し、処理をステップＳ１５５に進める。

ステップＳ１５５において、差分大領域抽出処理部３１１は、ズーム領域設定処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１５１に戻し、それ以降の処理を繰り返す。また、ステップＳ１５５において、ズーム領域設定処理を終了すると判定した場合、差分大領域抽出処理部３１１は、ステップＳ１５６に処理を進め、終了処理を行い、ズーム領域設定処理を終了する。

次に、図２５のステップＳ１５２において実行されるズーム領域中心設定処理の詳細な流れを図２６のフローチャートを参照して説明する。

ズーム領域中心設定処理が開始されると、注目画素設定部３７１は、ステップＳ１７１において、処理対象とする注目画素をセットし、処理をステップＳ１７２に進める。ステップＳ１７２において、注目差分大画素算出部３７２は、その注目画素について注目差分大画素率を算出し、処理をステップＳ１７３に進める。ステップＳ１７３において、判定部３７３は、注目差分大画素率が最大差分大画素率より大きいか否かを判定し、大きいと判定した場合、ステップＳ１７４に処理を進める。ステップＳ１７４において、最大差分大画素率更新部３７４は、注目差分大画素率を用いて最大差分大画素率を更新し、ステップＳ１７５において、最大座標更新部３７５は、注目座標を用いて最大座標を更新し、処理をステップＳ１７６に進める。

また、ステップＳ１７３において、注目差分大画素率が最大差分大画素率より大きくないと判定した場合、判定部３７３は、処理をステップＳ１７６に進める。ステップＳ１７６において、最大座標更新部３７５は、ズーム領域中心設定処理を終了するか否かを判定し、終了しないと判定した場合、処理をステップＳ１７１に戻し、それ以降の処理を繰り返させる。また、ステップＳ１７６において、ズーム領域中心設定処理を終了すると判定した場合、最大座標更新部３７５は、処理をステップＳ１７７に進める。

ステップＳ１７７において、設定部３７６は、最大座標をズーム領域中心として設定し、ズーム領域中心設定処理を終了し、処理を図２５のステップＳ１５２に戻し、ステップＳ１５３以降の処理を実行させる。

次に、図２５のステップＳ１５３において実行されるズーム領域範囲設定処理の詳細な流れの例を図２７のフローチャートを参照して説明する。

ズーム領域範囲設定処理が開始されると、範囲初期値設定部３９１は、ズーム領域の範囲を初期値に設定し、ステップＳ１９２に処理を進める。ステップＳ１９２において、差分大画素率算出部３９２は、ズーム領域内の差分大画素率を算出し、ステップＳ１９３に処理を進める。ステップＳ１９３において、判定部３９３は、差分大画素率が閾値以上であるか否かを判定し、閾値以上であると判定した場合、ステップＳ１９４に処理を進める。ステップＳ１９４において、範囲更新部３９４は、ズーム領域の範囲を所定の割合だけ広げ、処理をステップＳ１９２に戻し、それ以降の処理を繰り返させる。すなわち、差分大画素率算出部３９２乃至範囲更新部３９４は、ズーム領域内の差分大画素率が閾値より小さくなるまで、ステップＳ１９２乃至ステップＳ１９４の処理を繰り返すことにより、ズーム領域の範囲を広げていく。そして、ステップＳ１９３において、差分大画素率が閾値より小さいと判定した場合、判定部３９３は、処理をステップＳ１９５に進める。

ステップＳ１９５において、範囲決定部３９５は、ズーム領域の範囲を現在の設定に決定し、ズーム領域範囲設定処理を終了し、処理を図２５のステップＳ１５３に戻し、ステップＳ１５４以降の処理を実行させる。

以上のように、注目画素の周囲の１１画素×１１画素を周辺画素とし、注目画素との差分を求めるようにし、その差分値から、ズーム領域の設定を行うようにしたので、ズーム領域設定部３０２は、周囲の領域より目立つ絵柄の部分をズーム領域に設定することができる。

例えば図２に示されるように、表示装置２１−２は、表示装置２１−５に表示される元画像において周囲の領域より目立つ絵柄である太陽４２の部分を、ユーザの設定無しに自動的にズーム領域に設定し、拡大表示することができる。

全体画像（元画像）において周囲の領域より目立つ絵柄の部分は、一般的に、その全体画像の特徴的な部分であり、全体画像の重要な部分である場合が多く、ユーザが注目したくなる部分であることが多い。例えば、被写体と無地の背景からなる画像の場合、ユーザは、一般的に、無地の背景の一部分よりも、被写体の拡大表示を望むことの方が多い。

しかしながら、ズーム領域設定部１０２のように、細かい絵柄が集中する部分を検出する方法では、図２の花４１をズーム領域に設定することはできても、無地の部分が所定の範囲に広がる太陽４２のような部分は、その周囲との境目（エッジ部分）しか検出することができず、ズーム領域に設定することができない恐れがある。

これに対して、ズーム領域設定部３０２は、水平方向だけでなく垂直方向にも広く周辺領域を設定し、差分値を算出するので、無地の部分が所定の範囲に広がる太陽４２のような部分の内側の画素も差分大画素として検出することができる。さらに、ズーム領域設定部１０２は、図２４を参照して説明したように設定を行い、なるべく、差分大画素群４０２全体を含むようにズーム領域を設定するので、図２の無地の部分が所定の範囲に広がる太陽４２のような部分全体をズーム領域として設定することができる。

このように、ズーム領域設定部３０２は、周囲の領域より目立つ絵柄の部分をユーザの設定無しに自動的にズーム領域に設定し、拡大表示することができる。これにより、ユーザは、より簡単な操作で、より効果的な画像（周囲の領域より目立つ部分の拡大画像）を表示させることができる。

なお、ズーム領域設定部３０２によるズーム領域の設定においても、上述したズーム領域設定部１０２によるズーム領域の設定の場合と同様に、ズーム領域の変動を安定させるために、更新候補の座標が５フレーム以上安定した場合のみズーム領域を更新させる等、ズーム領域の更新条件を設けるようにしてもよい。

また、拡大画像の表示方法も、細かい絵柄が集中する部分を拡大表示する場合と同様であり、任意である。例えば、図１８に示されるように、元画像と拡大画像を重畳させて１つの表示装置２１に表示させるようにしてもよい。

以上において、表示装置２１（スケーラブルテレビジョンシステム）の構成として説明したが、本発明は、これに限らず、元画像の画像データから、元画像の部分画像である拡大画像を生成する処理を行う画像処理を実行可能な装置であれば、どのような装置にも適用することができる。なお、以上において、スケーラブルテレビジョンシステムが９台の表示装置２１を有するように説明したが、スケーラブルテレビジョンシステムにおける表示装置２１の台数はいくつであってもよい。

また、以上においては、１つの画像領域において、ズーム領域を１つ設定する場合について説明したが、ズーム領域の数は複数であってもよい。その場合、得られた複数のズーム領域のそれぞれについて拡大画像が得られるが、その複数の拡大画像を１つの表示装置に表示させるようにしてもよいし、複数の表示装置２１を用いて、各画像を互いに異なる表示装置２１に表示させるようにしてもよい。その場合、各表示装置２１において、互いに異なる領域を拡大画像とするように（ズーム領域の設定に用いるズーム領域候補が重複しないように）、予めズーム領域の設定方法が互いに異なるようにしてもよいし、ズーム領域設定の際に、ズーム領域候補の重複を回避するのに必要な情報を交換するようにしてもよい。

さらに、表示装置２１が、上述した複数の方法を併用し、１つの画像領域において、細かい絵柄が集中する部分の拡大画像と、周囲の領域より目立つ絵柄の部分の拡大画像を同時に生成するようにしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、画像処理部８３は、図２８に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２８において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したスケーラブルテレビジョンシステムの外観の構成例を示す図である。 画像表示例を示す図である。 図１のスケーラブルテレビジョンシステムの構成例を示すブロック図である。 図３の表示装置の内部の構成例を示すブロック図である。 図４の画像処理部の詳細な構成例を示すブロック図である。 図５の差分大領域抽出処理部の詳細な構成例を示すブロック図である。 差分大領域抽出処理の様子の例を説明する模式図である。 図５のフレーム内最大領域抽出処理部の詳細な構成例を示すブロック図である。 図５の更新部の詳細な構成例を示すブロック図である。 ズーム領域の設定方法の例を説明する模式図である。 制御処理の流れの例を説明するフローチャートである。 ズーム領域設定処理の流れの例を説明するフローチャートである。 差分大領域抽出処理の詳細な流れの例を説明するフローチャートである。 差分大領域抽出処理の詳細な流れの例を説明する、図１３に続くフローチャートである。 フレーム内最大領域抽出処理の流れの例を説明するフローチャートである。 ズーム領域更新処理の流れの例を説明するフローチャートである。 ズーム処理の流れの例を説明するフローチャートである。 拡大画像の表情方法の例を示す図である。 図４の画像処理部の詳細な他の構成例を示すブロック図である。 注目画素と周辺画素の構成例を示す模式図である。 バッファメモリの動作の例を示す模式図である。 図１９のズーム領域中心設定部の詳細な構成例を示すブロック図である。 図１９のズーム領域範囲設定部の詳細な構成例を示すブロック図である。 ズーム領域の設定方法の具体例を示す模式図である。 ズーム領域設定処理の流れの他の例を説明するフローチャートである。 ズーム領域中心設定処理の詳細な流れの例を説明するフローチャートである。 ズーム領域範囲設定処理の詳細な流れの例を説明するフローチャートである。 本発明の一実施形態を適用したパーソナルコンピュータの構成例を示す図である。

符号の説明

１１ スケーラブルテレビジョンシステム， ２１ 表示装置， ２２ 設置台， １０２ ズーム領域設定部， １０３ ズーム処理部， １１１ 差分大領域抽出処理部， １１２ フレーム内最大領域抽出処理部， １１４ 更新部， １１６ ズーム領域情報記憶部， １３１ バッファメモリ， １３２ 差分算出部， １３３ 差分値判定部， １３４ 変数管理部， １３５ 記憶部， １４１ 差分大連続量， １４２ 差分小連続量， １４３ 座標情報， １７４ 最大連続量更新部， １７５ 最大差分大領域座標更新部， １７６ フレーム内最大領域設定部， １８３ 最大連続量， １８４ 最大差分大領域座標， ２０２ 座標判定部， ２０３ ズーム領域候補設定部， ２０４ 同座標連続フレーム管理部， ２０５ ズーム領域設定部， ２１１ ズーム領域候補情報， ２１２ 同座標連続フレーム， ３０２ ズーム領域設定部， ３１１ 差分大領域抽出処理部， ３１２ ズーム領域中心設定部， ３１３ ズーム領域範囲設定部， ３７２ 注目差分大画素率算出部， ３７４ 最大差分大画素率更新部， ３７５ 最大座標更新部， ３８１ 周辺画素差分値画像， ３８２ 注目座標， ３８３ 注目差分大画素率， ３８４ 最大座標， ３８５ 最大差分大画素率， ３９１ 範囲初期値設定部， ３９２ 差分大画素率算出部， ３９３ 判定部， ３９４ 範囲更新部， ３９５ 範囲決定部

Claims (7)

1. 画像データを処理する画像処理装置であって、
   処理対象の画素である注目画素と、前記注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分を算出する差分算出手段と、
   前記差分算出手段により算出される差分値に基づいて、前記注目画素が、前記周辺画素との画素値の差が大きい差分大画素であるか否かを判定する差分値判定手段と、
   前記差分値判定手段の判定結果に基づいて、前記差分大画素と判定される画素が連続する差分大領域を、全体画像に含まれる周囲の領域より目立つ部分として抽出し、前記差分大領域に関する情報を記憶する記憶手段と、
   前記記憶手段により抽出されて記憶される前記差分大領域の中から、ズーム領域の中心を設定するズーム領域中心設定手段と、
   前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲の大きさを設定するズーム領域範囲設定手段と
   を備える画像処理装置。
2. 前記周辺画素は、前記注目画素を中心にアレイ状に並ぶ、垂直方向に１１画素、および水平方向に１１画素の画素群である
   請求項１に記載の画像処理装置。
3. 前記差分値判定手段は、前記差分算出手段により算出された差分値の中の最大値を所定の閾値と比較し、その比較結果に基づいて前記注目画素が差分大画素であるか否かを判定する
   請求項１に記載の画像処理装置。
4. 前記ズーム領域中心設定手段は、
   各差分大領域について、前記差分大領域を代表する代表画素を中心とする所定の範囲内に含まれる、前記差分大画素の割合である差分大画素率を算出する差分大画素率算出手段と、
   前記全体画像内において、前記差分大画素率算出手段により算出される前記差分大画素率が最大となる前記代表画素を特定し、前記ズーム領域の中心に設定する中心設定手段と
   を備える請求項１に記載の画像処理装置。
5. 前記ズーム領域範囲設定手段は、
   前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲を初期値に設定する初期値設定手段と、
   前記初期値設定手段により範囲が前記初期値に設定された前記ズーム領域に含まれる、前記差分大画素の割合である差分大画素率を算出する差分大画素率算出手段と、
   前記差分大画素率算出手段により算出された前記差分大画素率が所定の閾値以上であるか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記差分大画素率が前記閾値以上である場合、前記ズーム領域の範囲を大きくするように更新する範囲更新手段と
   を備える請求項１に記載の画像処理装置。
6. 画像データを処理する画像処理装置の画像処理方法であって、
   差分算出手段が、処理対象の画素である注目画素と、前記注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分を算出し、
   差分値判定手段が、算出される差分値に基づいて、前記注目画素が、前記周辺画素との画素値の差が大きい差分大画素であるか否かを判定し、
   記憶手段が、判定結果に基づいて、前記差分大画素と判定される画素が連続する差分大領域を、全体画像に含まれる周囲の領域より目立つ部分として抽出し、前記差分大領域に関する情報を記憶する記憶手段と、
   ズーム領域中心設定手段が、抽出されて記憶される前記差分大領域の中から、ズーム領域の中心を設定し、
   ズーム領域範囲設定手段が、中心が設定された前記ズーム領域の範囲の大きさを設定する
   画像処理方法。
7. 画像データに関する処理を行うコンピュータを、
   処理対象の画素である注目画素と、前記注目画素を中心とする所定の範囲の周辺画素のそれぞれとの画素値の差分を算出する差分算出手段、
   前記差分算出手段により算出される差分値に基づいて、前記注目画素が、前記周辺画素との画素値の差が大きい差分大画素であるか否かを判定する差分値判定手段、
   前記差分値判定手段の判定結果に基づいて、前記差分大画素と判定される画素が連続する差分大領域を、全体画像に含まれる周囲の領域より目立つ部分として抽出し、前記差分大領域に関する情報を記憶する記憶手段、
   前記記憶手段により抽出されて記憶される前記差分大領域の中から、ズーム領域の中心を設定するズーム領域中心設定手段、
   前記ズーム領域中心設定手段により中心が設定された前記ズーム領域の範囲の大きさを設定するズーム領域範囲設定手段
   として機能させるプログラム。

Images