JP4702591B2 - 情報処理装置及び方法 - Google Patents

Description

本発明は、情報処理装置及び方法に関し、例えばズーム機能が搭載されたテレビジョン受像機に適用して好適なものである。

フォーマットまたは画像サイズを変換するためには、入力画像信号の画素データとは異なった位相の画素データを求めて出力画像信号を得る必要がある。この場合、変換後のフォーマットまたは画像サイズによって、入力画像信号の画素に対する出力画像信号の画素の位相関係が一義的に決まる。

フォーマット変換の例として、入力画像信号が５２５ｉ信号であって出力画像信号が１０８０ｉ信号である場合を説明する。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０８０ｉ信号は、ライン数が１０８０本でインタレース方式の画像信号を意味する。図２８は、５２５ｉ信号と１０８０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０８０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

５２５ｉ信号を１０８０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の各４×４の画素ブロックに対応して１０８０ｉ信号の９×９の画素ブロックを得る必要がある。

図２９は、５２５ｉ信号と１０８０ｉ信号の画素の垂直方向の位相関係を示している。図中の１０８０ｉ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの垂直方向の最短距離を示している。この場合、５２５ｉ信号の垂直方向の画素間隔は１６とされている。このように１０８０ｉ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する垂直方向の位相情報を示すものとなる。

なお、この位相情報は、１０８０ｉ信号の画素が５２５ｉ信号の画素（最短距離にある画素）より上方向にある場合は負の値とされ、逆に下方向にある場合は正の値とされる。これは、後述するＸＧＡ信号と５２５ｉ信号の垂直方向の位相関係を示す図においても同様である。

図３０は、５２５ｉ信号と１０８０ｉ信号の画素の水平方向の位相関係を示している。図中の１０８０ｉ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの水平方向の最短距離を示している。この場合、５２５ｉ信号の水平方向の画素間隔は８とされている。このように１０８０ｉ信号の画素にそれぞれ付された数値は、当該画素の５２５ｉ信号の画素に対する水平方向の位相情報を示すものとなる。

なお、この位相情報は、１０８０ｉ信号の画素が５２５ｉ信号の画素（最短距離にある画素）より左方向にある場合は負の値とされ、逆に右方向にある場合は正の値とされる。これは、後述するＸＧＡ信号と５２５ｉ信号の水平方向の位相関係を示す図においても同様である。

次に、フォーマット変換の例として、入力画像信号が５２５ｉ信号であって出力画像信号がＸＧＡ信号である場合を説明する。ＸＧＡ信号は解像度１０２４×７６８ドットの表示を行うためのプログレッシブ方式（ノンインタレース方式）の画像信号である。図３１は、５２５ｉ信号とＸＧＡ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットがＸＧＡ信号の画素である。また、５２５ｉ信号に関しては、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

５２５ｉ信号をＸＧＡ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の各５×５の画素ブロックに対応して１０８０ｉ信号の８×１６の画素ブロックを得る必要がある。

図３２は、５２５ｉ信号とＸＧＡ信号の画素の垂直方向の位相関係を示している。図中のＸＧＡ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの垂直方向の最短距離を示している。この場合、５２５ｉ信号の垂直方向の画素間隔は１６とされている。このようにＸＧＡ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する垂直方向の位相情報を示すものとなる。

図３３は、５２５ｉ信号とＸＧＡ信号の画素の水平方向の位相関係を示している。図中のＸＧＡ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの水平方向の最短距離を示している。この場合、５２５ｉ信号の水平方向の画素間隔は８とされている。このようにＸＧＡ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する水平方向の位相情報を示すものとなる。

画像サイズ変換の例は特に示さないが、上述したフォーマット変換の場合と同様に、入力画像信号の画素に対する出力画像信号の画素の位相関係が一意的に決まる。例えば、画像サイズ（表示画像の拡大倍率）を垂直、水平とも９／４倍にする場合の位相関係は上述した５２５ｉ信号と１０８０ｉ信号の画素の位相関係と同じくなる。

ところで、従来、フォーマットまたは画像サイズを変換するために入力画像信号の画素データより出力画像信号の画素データを得る際に、入力画像信号の画素に対する出力画像信号の画素の各位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって出力画像信号の画素データを求めることが提案されている。

しなしながら、上述したように、変換後のフォーマットまたは画像サイズが異なれば、入力画像信号の画素に対する出力画像信号の画素の位相関係は異なったものとなる。そのため、推定式の係数データをメモリに格納しておくものにあっては、種々のフォーマットまたはサイズへの変換を行う場合、それぞれのフォーマットまたはサイズに対応して係数データをメモリに格納しておく必要がある。従って、その場合には、大量の係数データを格納しておくメモリが必要となり、変換装置が高価なものとなる等の不都合がある。

そこで、近年、本願特許出願人により、複数の情報データからなる第１の情報信号を複数の情報データからなる第２の情報信号に変換する際に、外部から与えられるフォーマット又はサイズの変換情報から第２の情報信号に係る注目点の位相情報を得、この位相情報に基づいて、予め与えられた所定の係数種データを用いて推定式の係数データを生成し、この係数データを使用して第２の情報信号に係る注目点の情報データを求めることによって、第１の情報信号を種々のフォーマット又はサイズの第２の情報信号に変換する場合にあっても大量の係数データを格納しておくためのメモリを不要とし得るようになされた情報信号処理装置及び方法等が提案されている（例えば特許文献１参照）。
特開２００２−１９６７３７号公報

ところで、かかる特開２００２−１９６７３７号公報においては、上述のように、画像サイズの変換機能（すなわちズーム機能）が搭載されたテレビジョン受像機における入力画像信号の処理方法は開示されているものの、ズーム機能に関する具体的なユーザインタフェースについては言及されていない。

この場合において、かかるユーザインタフェースとしては、例えば図３４に示すような画像内のズームすべき位置（以下、これをズーム位置と呼ぶ）及びそのときの倍率（以下、これをズーム率と呼ぶ）を設定するための枠（以下、これをズーム枠と呼ぶ）２００を、そのとき画面表示されている画像に重畳して表示するものが考えられる。

具体的には、かかるユーザインタフェースにおいては、ユーザがリモートコントローラ２０１を操作してズーム機能を起動させたときに、画面上のデフォルト位置（例えば画面の中心）にデフォルトの大きさでズーム枠２００を表示し、ユーザによるリモートコントローラ２０１の操作に応動させてこのズーム枠の表示位置を指定された方向に移動させたり、その大きさを拡大縮小させる。そして、ユーザによるリモートコントローラ２０１の操作によりズーム位置及びズーム率が決定されたときには、その後そのときのズーム枠内の範囲の画像部分を拡大して全画面表示させるものである。

しかしながら、ユーザが所望するズーム対象がズーム枠２００のデフォルト位置に表示されていることは少なく、またそのとき表示されているズーム対象の大きさがズーム枠２００のデフォルトの大きさに適した大きさであることは少ないと考えられる。

従って、上述のようなユーザインタフェースでは、ユーザが所望するズーム対象を拡大表示させるために、ズーム機能を起動してズーム枠２００を表示させ、このズーム枠２００を当該ズーム対象上に移動させ、この後ズーム枠２００の大きさを調整するといった煩雑な操作が必要となって使い勝手が悪く、またユーザがかかる操作を行っているうちに所望する瞬間を見逃してしまうといった問題もある。

本発明は以上の点を考慮してなされたもので、使い勝手を向上させ得る情報処理装置及び方法を提案しようとするものである。

かかる課題を解決するため本発明においては、ユーザによる表示画像の一部を拡大表示するズーム機能の起動操作に応じて、拡大表示すべき表示画像の位置と、拡大表示する際の倍率とを示すズーム設定を初期状態で表示すると共に、ユーザの操作に応じてズーム設定を更新しながら、現在のズーム設定を表示する表示手段と、拡大表示の対象の動きの大きさ、色成分及び画像の複雑さの項目それぞれに関する特徴量を含み、表示画像の特徴を表す画像情報を取得する取得手段と、ズーム設定が決定されたときの当該ズーム設定と、そのとき取得手段が取得した画像情報とを対応付けたサンプルを蓄積する蓄積手段と、蓄積手段に蓄積されたサンプルにおける各項目の特徴量の組合せパターンを、当該各項目の特徴量が予め定められた複数の区分のうちのどの区分に属するかを判定することにより分類すると共に、組合せパターンに分類された全てのサンプルにおける倍率の合計値をその出現頻度で除算して当該組合せパターンにおける平均的なズーム率である平均倍率を算出して当該組合せパターンと対応付けることにより、過去の拡大表示の対象に対する解析結果を記憶する記憶手段と、表示画像における所定の探索位置において取得手段が取得した画像情報における特徴量の組合せパターンが、記憶手段に記憶された解析結果におけるいずれかの組合せパターンと類似する箇所が存在するか否かを、取得した特徴量である検出特徴量と、記憶された特徴量である参照特徴量との距離を項目ごとにそれぞれ算出し、当該距離が所定の閾値以下である項目の数が予め定められた所定数以上であるか否かを判定することにより探索し、存在する場合当該組合せパターンにおける平均ズーム率をズーム設定の倍率の初期状態として設定すると共に、そのときの探索位置をズーム設定の表示画像の位置の初期状態として設定することにより、ユーザが所望するであろうズーム設定を推定する推定手段とを設けるようにした。

この結果この情報処理装置によれば、ズーム機能の起動時にユーザが所望するであろう状態でズーム設定が表示されるため、固定のデフォルトでズーム設定が表示される場合に比して、その後のユーザによるズーム設定の調整作業の負担を軽減させることができる。

また本発明によれば、ユーザによる表示画像の一部を拡大表示するズーム機能の起動操作に応じて、拡大表示すべき表示画像の位置と、拡大表示する際の倍率とを示すズーム設定を初期状態で表示すると共に、ユーザの操作に応じてズーム設定を更新しながら、現在のズーム設定を表示する第１のステップと、ズーム設定が決定されたときの当該ズーム設定と、そのときの拡大表示の対象の動きの大きさ、色成分及び画像の複雑さの項目それぞれに関する特徴量を含み、表示画像の特徴を表す画像情報とを対応付けたサンプルを蓄積する第２のステップと、蓄積されたサンプルにおける各項目の特徴量の組合せパターンを、当該各項目の特徴量が予め定められた複数の区分のうちのどの区分に属するかを判定することにより分類すると共に、組合せパターンに分類された全てのサンプルにおける倍率の合計値をその出現頻度で除算して当該組合せパターンにおける平均的なズーム率である平均倍率を算出して当該組合せパターンと対応付けることにより、過去の拡大表示の対象に対する解析結果を記憶する第３のステップと、表示画像における所定の探索位置において取得した画像情報における特徴量の組合せパターンが、記憶された解析結果におけるいずれかの組合せパターンと類似する箇所が存在するか否かを、取得した特徴量である検出特徴量と、記憶された特徴量である参照特徴量との距離を項目ごとにそれぞれ算出し、当該距離が所定の閾値以下である項目の数が予め定められた所定数以上であるか否かを判定することにより探索し、存在する場合当該組合せパターンにおける平均ズーム率をズーム設定の倍率の初期状態として設定すると共に、そのときの探索位置をズーム設定の表示画像の位置の初期状態として設定することにより、ユーザが所望するであろうズーム設定を推定する第４のステップとを設けるようにした。

この結果この情報処理方法によれば、ズーム機能の起動時にユーザが所望するであろう状態でズーム設定が表示されるため、固定のデフォルトでズーム設定が表示される場合に比して、その後のユーザによるズーム設定の調整作業の負担を軽減させることができる。

本発明によれば、ユーザによる表示画像の一部を拡大表示するズーム機能の起動操作に応じて、拡大表示すべき表示画像の位置と、拡大表示する際の倍率とを示すズーム設定を初期状態で表示すると共に、ユーザの操作に応じてズーム設定を更新しながら、現在のズーム設定を表示する表示手段と、拡大表示の対象の動きの大きさ、色成分及び画像の複雑さの項目それぞれに関する特徴量を含み、表示画像の特徴を表す画像情報を取得する取得手段と、ズーム設定が決定されたときの当該ズーム設定と、そのとき取得手段が取得した画像情報とを対応付けたサンプルを蓄積する蓄積手段と、蓄積手段に蓄積されたサンプルにおける各項目の特徴量の組合せパターンを、当該各項目の特徴量が予め定められた複数の区分のうちのどの区分に属するかを判定することにより分類すると共に、組合せパターンに分類された全てのサンプルにおける倍率の合計値をその出現頻度で除算して当該組合せパターンにおける平均的なズーム率である平均倍率を算出して当該組合せパターンと対応付けることにより、過去の拡大表示の対象に対する解析結果を記憶する記憶手段と、表示画像における所定の探索位置において取得手段が取得した画像情報における特徴量の組合せパターンが、記憶手段に記憶された解析結果におけるいずれかの組合せパターンと類似する箇所が存在するか否かを、取得した特徴量である検出特徴量と、記憶された特徴量である参照特徴量との距離を項目ごとにそれぞれ算出し、当該距離が所定の閾値以下である項目の数が予め定められた所定数以上であるか否かを判定することにより探索し、存在する場合当該組合せパターンにおける平均ズーム率をズーム設定の倍率の初期状態として設定すると共に、そのときの探索位置をズーム設定の表示画像の位置の初期状態として設定することにより、ユーザが所望するであろうズーム設定を推定する推定手段とを設けるようにしたことにより、ズーム機能の起動後におけるズーム設定の調整作業の負担を軽減させることができ、かくして使い勝手を向上させ得る情報処理装置を実現できる。

また本発明によれば、ユーザによる表示画像の一部を拡大表示するズーム機能の起動操作に応じて、拡大表示すべき表示画像の位置と、拡大表示する際の倍率とを示すズーム設定を初期状態で表示すると共に、ユーザの操作に応じてズーム設定を更新しながら、現在のズーム設定を表示する第１のステップと、ズーム設定が決定されたときの当該ズーム設定と、そのときの拡大表示の対象の動きの大きさ、色成分及び画像の複雑さの項目それぞれに関する特徴量を含み、表示画像の特徴を表す画像情報とを対応付けたサンプルを蓄積する第２のステップと、蓄積されたサンプルにおける各項目の特徴量の組合せパターンを、当該各項目の特徴量が予め定められた複数の区分のうちのどの区分に属するかを判定することにより分類すると共に、組合せパターンに分類された全てのサンプルにおける倍率の合計値をその出現頻度で除算して当該組合せパターンにおける平均的なズーム率である平均倍率を算出して当該組合せパターンと対応付けることにより、過去の拡大表示の対象に対する解析結果を記憶する第３のステップと、表示画像における所定の探索位置において取得した画像情報における特徴量の組合せパターンが、記憶された解析結果におけるいずれかの組合せパターンと類似する箇所が存在するか否かを、取得した特徴量である検出特徴量と、記憶された特徴量である参照特徴量との距離を項目ごとにそれぞれ算出し、当該距離が所定の閾値以下である項目の数が予め定められた所定数以上であるか否かを判定することにより探索し、存在する場合当該組合せパターンにおける平均ズーム率をズーム設定の倍率の初期状態として設定すると共に、そのときの探索位置をズーム設定の表示画像の位置の初期状態として設定することにより、ユーザが所望するであろうズーム設定を推定する第４のステップとを設けるようにしたことにより、ズーム機能の起動後のズーム設定の調整作業の負担を軽減させることができ、かくして機器の使い勝手を向上させ得る情報処理方法を実現できる。

以下図面について、本発明の一実施の形態を詳述する。

（１）本実施の形態によるテレビジョン受像機の全体構成
図１において、１は全体として本実施の形態によるテレビジョン受像機を示し、テレビジョン放送信号から５２５ｉ信号を得、その５２５ｉ信号を１０８０ｉ信号又はＸＧＡ信号に変換して、その１０８０ｉ信号又はＸＧＡ信号に基づく画像を表示し得るようになされている。

またこのテレビジョン受像機１においては、リモートコントローラ２を操作してズーム機能を起動することによって、図２に示すように、そのとき表示されている画像に重畳させてズーム枠３を表示させることができるようになされている。さらにテレビジョン受像機１においては、この状態でリモートコントローラ２を操作することによって、そのズーム枠３を所望位置に移動させたり、そのズーム枠３を所望の大きさに拡大又は縮小させることができ、その後リモートコントローラを操作してズームの実行命令を入力することによって、そのときのズーム枠３により指定された範囲内の画像を拡大して全画面表示させることができるようになされている。

実際上、このテレビジョン受像機１においては、ユーザ操作に応じてリモートコントローラ２から送信されるリモコン信号Ｓ１を受信するためのリモコン信号受信部１０がその前面部に設けられている。そしてリモコン信号受信部１０は、リモコン信号Ｓ１を受信すると、これに応じた操作信号Ｓ２をシステムコントローラ１１に送出する。

システムコントローラ１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を有するマイクロコンピュータ構成でなり、供給される操作信号Ｓ２に基づき必要に応じてチューナ１３、スイッチャ１４及び画像処理部１６を制御する。

チューナ１３は、システムコントローラ１１の制御のもとに、アンテナ１２を介して得られる各チャンネルのテレビジョン放送信号（ＲＦ変調信号）Ｓ３の中からユーザにより指定されたチャンネルのテレビジョン放送信号Ｓ３を受信すると共に、このテレビジョン放送信号Ｓ３に対して中間周波増幅処理及び検波処理等の所定の信号処理を施し、かくして得られた５２５ｉ信号Ｓ４をスイッチャ１４に送出する。

このときスイッチャ１４には、チューナ１３から与えられる５２５ｉ信号Ｓ４のほか、ＤＶＤプレーヤなどの外部機器から図示しない外部入力端子を介して供給された５２５ｉ信号Ｓ５が与えられる。かくしてスイッチャ１４は、システムコントローラの制御のもとに、これらチューナ１３からの５２５ｉ信号Ｓ４及び外部機器からの５２５ｉ信号Ｓ５のうちのユーザにより指定された一方を選択し、これを入力画像信号Ｓ６としてバッファメモリ１５に送出する。

バッファメモリ１５は、例えばＦＩＦＯ（First-In First-Out）等から構成される一時保存用メモリであり、供給される入力画像信号Ｓ６を一時的に記憶保持し、その後これを画像信号処理部１６に送出する。

画像信号処理部１６は、システムコントローラ１１の制御のもとに、５２５ｉ信号でなる入力画像信号Ｓ６を、ユーザ設定に応じて、１０８０ｉ信号若しくはＸＧＡ信号に変換し、又はその入力画像信号Ｓ６をその画像の一部を拡大表示（ズーム表示）するための新たな５２５ｉ信号に変換する。そして画像信号処理部１６は、このようにして得られた１０８０ｉ信号若しくはＸＧＡ信号又は新たな５２５ｉ信号を出力画像信号Ｓ７として画像信号合成部１７を介してディスプレイ部１８に送出する。

ディスプレイ部１８は、例えばＣＲＴ（Cathode-Ray Tube）ディスプレイ又はＬＣＤ（Liquid Crystal Display）等のフラットディスプレイにより構成され、画像信号処理部１６から与えられる出力画像信号Ｓ７に基づく画像を表示する。

一方、バッファメモリ１５に一時保存された入力画像信号Ｓ６は、表示最適化部１９にも与えられる。また表示最適化部１９には、テレビジョン放送信号Ｓ３から抽出された電子番組ガイド（ＥＰＧ：Electronic Program Guide）のデータがＥＰＧ情報信号Ｓ８としてチューナ１３から供給される。さらに表示最適化部１９には、ユーザがリモートコントローラ２を用いて放送又はＤＶＤなどの入力源又はチャンネルを切り換えや、ズーム位置及びズーム率を変更し又は決定するなどの何らかの操作を行ったときに、その操作内容を表す操作内容情報信号Ｓ９がシステムコントローラ１１から与えられる。

そして表示最適化部は、これら５２５ｉ信号Ｓ６、ＥＰＧ情報信号Ｓ８及び操作内容情報信号Ｓ９に基づいて、ユーザがズームの実行命令を入力するごとに、そのときの時刻、ズーム位置及びズーム率をユーザ操作情報Ｄ１として記憶し蓄積する一方、そのときユーザが視聴していた映像音声の入力源及び当該入力源が『放送』であった場合のその番組のジャンル（スポーツ、ドラマ又はニュース等）などのその映像音声の属性をユーザ視聴情報Ｄ２として記憶し蓄積する。

さらに表示最適化部１９は、そのときのズーム対象の動きの大きさ、主な色成分、色の割合、画像の複雑さ（以下、これをアクティビティと呼ぶ）、割合の高い上位２種類のアクティビティなどのズーム対象の表示画像の特徴を表す予め定められた複数種類の項目についてのパラメータ値（以下、これを特徴量と呼ぶ）をそれぞれ演算等により取得し、これら特徴量をユーザ視聴画像情報Ｄ３として記憶し蓄積する。なお、以下においては、適宜、ユーザ操作情報Ｄ１、ユーザ視聴情報Ｄ２及びユーザ視聴画像情報Ｄ３をまとめてズーム情報Ｄ４と呼ぶものとする。

このときデータ解析部２０は、表示最適化部１９に蓄積された過去数回分のズーム情報Ｄ４を所定のタイミングで読み出し、これらズーム情報Ｄ４に基づいて過去のズーム対象に対する所定の解析処理を実行し、かくして得られた解析結果を表示最適化部１９に送出する。

かくして表示最適化部１９は、この解析結果を記憶保持し、この後ユーザによるズーム機能の起動操作に応じてかかる記憶保持したデータ解析部２０の解析結果と、このときＥＰＧ情報信号Ｓ８及び入力画像信号Ｓ６に基づき得られたユーザ視聴情報Ｄ２及びユーザ視聴画像情報Ｄ３とに基づいて、そのときディスプレイ部１８に表示されていた画像内のユーザが所望するであろうズーム対象（ズーム位置）と、そのズーム対象に対してユーザが所望するであろうズーム率とを推定し、推定結果をズーム位置及び率推定信号Ｓ１０としてシステムコントローラ１１に送出する。

システムコントローラ１１は、表示最適化部１９からズーム位置及び率推定信号Ｓ１０が与えられると、これに応じてズーム位置及び率表示部２１を制御する。かくしてズーム位置及び率表示部２１は、このシステムコントローラ１１の制御のもとに、かかるズーム位置及び率推定信号Ｓ１０に基づき得られる表示最適化部１９の推定結果に応じた位置及び大きさを初期状態としてズーム枠３（図２）を表示させるための画像信号Ｓ１１を生成し、これを画像信号合成部１７に送出する。この結果、この画像信号Ｓ１１が画像信号合成部１７において画像信号処理部１６から出力される出力画像信号Ｓ７と合成されてディスプレイ部１８に送出され、かくしてズーム位置及び率表示部２１において生成された画像信号Ｓ１１に基づくズーム枠３が、表示最適化部１９が推定した位置に当該表示最適化部１９が推定したズーム率に応じた大きさで出力画像信号Ｓ７に基づく画像上に重畳された状態でディスプレイ部１８に表示される。

またシステムコントローラ１１は、この後リモコン信号受信部１０から与えられる操作信号Ｓ２に基づいて、ユーザがズーム枠３の位置を移動させ又はズーム枠３の大きさを拡大若しくは縮小させるような操作を行ったことを認識すると、これに応じてズーム位置及び率表示部２１を制御する。かくしてこのときズーム位置及び率表示部２１は、このシステムコントローラ１１の制御のもとに、ユーザ操作に応じた画像信号Ｓ１１を生成して画像信号合成部１７に送出する。この結果、ディスプレイ部１８に表示されたズーム枠３が、ユーザによるリモートコントローラ２の操作に応動して指定された方向に移動し又は拡大若しくは縮小するように表示される。

さらにシステムコントローラ１１は、ディスプレイ部１８にズーム枠３が表示された状態において、リモコン信号受信部１０から与えられる操作信号Ｓ２に基づいて、ユーザがズーム位置及びズーム率を決定したことを認識すると、これに応じて画像信号処理部１６を制御する。かくしてこのとき画像信号処理部１６は、システムコントローラ１１の制御のもとに、そのとき表示されていたズーム枠３の位置及び大きさに応じて画像を拡大表示するための新たな５１５ｉ信号を生成し、これを出力画像信号Ｓ７として画像信号合成部１７を介してディスプレイ部１８に送出する。この結果、この新たな５２５ｉ信号に基づいて、ズーム位置及びズーム率を決定した瞬間のズーム枠内の範囲の画像部分がディスプレイに全画面表示される。

さらにシステムコントローラ１１は、これと並行してズーム位置及び率表示部２１を制御する。かくしてこのときズーム位置及び率表示部２１は、このシステム制御部の制御のもとに、ズーム枠３を表示するための画像信号Ｓ１１の生成を停止する。この結果、ディスプレイ部１８の画面上からズーム枠３が消去される。

このようにしてこのテレビジョン受像機１においては、ズーム機能が起動されたときに、ユーザの過去のズームの利用時に取得した各種情報に基づいて、そのときユーザが所望するであろう位置に、所望するであろう大きさのズーム枠３を表示し得るようになされている。

（２）テレビジョン受像機１の詳細構成
（２−１）ズーム情報Ｄ４の取得及び蓄積に関する表示最適化部１９の詳細
ここで表示最適化部１９においては、図３に示すように、視聴情報取得部３０、蓄積部３１及びズーム位置及び率候補推定部３２から構成されている。

この場合、視聴情報取得部３０には、上述のようにバッファメモリ１５（図１）から供給される入力画像信号Ｓ６と、チューナ１３（図１）からのＥＰＧ情報信号Ｓ８と、システムコントローラ１１からの操作内容情報信号Ｓ９とが与えられる。

そして視聴情報取得部３０は、ユーザが視聴している映像音声の入力源と、当該入力源が『放送』であった場合のその番組のジャンルとをＥＰＧ情報信号Ｓ８及び操作内容情報信号Ｓ９に基づいて常時監視し、操作内容情報信号Ｓ９に基づいてユーザがズーム位置及びズーム率を決定したことを認識したときには、操作内容情報信号Ｓ９に基づき認識される、このときの時刻、ズーム位置及びズーム率をユーザ操作情報Ｄ１として蓄積部３１に送出する。また視聴情報取得部３０は、これと併せて操作内容情報信号Ｓ９に基づき認識される、そのときユーザが視聴している映像音声の入力源及びジャンルをユーザ視聴情報Ｄ２として蓄積部３１に送出する。

さらに視聴情報取得部３０は、このときのズーム中心を中心とする図４において斜線で示すｍ_０×ｎ_０画素分の範囲３３内において、動きの大きさ等の予め定められたいくつかの項目の各特徴量をそれぞれ取得する。

具体的に視聴情報取得部３０は、入力画像信号Ｓ６に基づいて当該入力画像信号Ｓ６に基づく画像内の各画素の動きをブロックマッチング法や勾配法などによって常時算出しており、ユーザがズーム位置及びズーム率を決定した瞬間のズーム中心の点の動きの水平成分をｖ_ｘ、垂直成分をｖ_ｙとして、次式

で与えられる当該点の動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）の大きさをそのときのズーム対象の『動きの大きさ』を表す特徴量として取得する。

また視聴情報取得部３０は、各画素が輝度成分（Ｙ）、第１の色差成分（Ｕ）及び第２の色差成分（Ｖ）で表現されているものとして、ユーザがズーム位置を決定した瞬間のズーム中心の点の画素の輝度成分、第１の色差成分及び第２の色差成分をズーム対象の『主な色成分』を表す特徴量として取得すると共に、図４について上述した斜線の範囲３３内の全画素に占めるズーム中心の画素の色と類似する色の画素数の割合をズーム対象の『色の割合』を表す特徴量として算出する。

さらに視聴情報取得部３０は、各画素ごとの輝度成分の分散値又は次式

で与えられる注目画素Ｙ（ｘ，ｙ）とその周辺８画素Ｙ（ｘ＋ｉ，ｙ＋ｉ）との間における輝度成分の差分絶対値和の平均値を各画素ごとに常時算出しており、ユーザがズーム位置を決定した瞬間のズーム中心の点の画素を注目画素とする（２）式の演算結果をそのときのズーム対象の『アクティビティ』を表す特徴量として算出する。また視聴情報取得部３０は、これと併せて図４の斜線で示す範囲３３内の全画素についてのアクティビティの頻度分布を作成した場合における全体に占める割合の高い上位２種類のアクティビティをそれぞれズーム対象の『上位２種類のアクティビティ』として算出する。

そして視聴情報取得部３０は、このようにして得られたズーム中心を中心としたズーム対象の動きの大きさ等を表す各特徴量をユーザ視聴画像情報Ｄ３として蓄積部３１に送出する。

蓄積部３１においては、図５に示すように、例えばハードディスク装置やフラッシュＲＯＭ等の不揮発性メモリからなる蓄積装置３１Ａと、同様の不揮発性メモリからなるテーブル保持部３１Ｂとから構成されており、視聴情報取得部３０から供給されるユーザ操作情報Ｄ１、ユーザ視聴情報Ｄ２及びユーザ視聴画像情報Ｄ３からなるズーム情報Ｄ４を例えば図６に示すような所定フォーマットで蓄積装置３１Ａに順次蓄積する。

（２−２）データ解析部２０の詳細
一方、データ解析部２０は、表示最適化部１９の蓄積部３１内の蓄積装置３１Ａにｎサンプル分のズーム情報Ｄ４が蓄積されると、これらズーム情報Ｄ４に基づき、図７に示すデータ解析処理手順ＲＴ１に従って、ユーザが過去に設定したズーム対象（ズーム位置）及びそのズーム対象に対するズーム率を解析することにより、ズーム設定に関するユーザの傾向を検出する。

すなわちデータ解析部２０は、かかる蓄積装置３１Ａにｎサンプル分のズーム情報Ｄ４が蓄積されると、このデータ解析処理手順ＲＴ１をステップＳＰ０において開始し、続くステップＳＰ１において、サンプル数のカウント値ｉを「０」にセット（リセット）する。

続いてデータ解析部２１は、ステップＳＰ２に進んで、かかる蓄積装置３１Ａから１サンプル分のデータ、すなわち１回分のズーム情報Ｄ４を読み込み、この後ステップＳＰ３に進んで、この読み込んだズーム情報Ｄ４のうちのユーザ視聴情報Ｄ２に基づいて、そのサンプルの入力源及びジャンルと、そのとき得られた各項目の特徴量の組合せパターン（以下、これを特徴量組合せパターンと呼ぶ）とをそれぞれ分類（判定）し、該当する入力源及びジャンルの該当する特徴量組合せパターンに対するカウント値を「１」だけカウントアップする。

ここで、このような１サンプル分のデータの分類処理は、図８に示すデータ分類処理手順ＲＴ２に従って行われる。実際上、データ解析部２１は、データ解析処理手順ＲＴ１のステップＳＰ３（図７）に進むと、このデータ分類処理手順ＲＴ２をステップＳＰ１０において開始し、続くステップＳＰ１１〜ステップＳＰ１３において、そのサンプルの入力源、ジャンル及び特徴量組合せパターンを順次階層的に分類する。

この際、ステップＳＰ１３における特徴量組合せパターンの分類は、そのサンプルの各項目の特徴量について、その特徴量が当該特徴量について予め定められたいくつかの区分のうちのどの区分に属するかをそれぞれ判定し、その区分の組合せパターンに基づいて判断するようにして行われる。

例えば『動きの大きさ』という項目の特徴量が一定間隔でＳ_１個の区分に分割されている場合、動きの大きさを｜Ｍ_ｖ｜として、各区分はそれぞれＴＨ_Ｍｖ（０）≦｜Ｍ_ｖ｜＜ＴＨ_Ｍｖ（１）、ＴＨ_Ｍｖ（１）≦｜Ｍ_ｖ｜＜ＴＨ_Ｍｖ（２）、……、ＴＨ_Ｍｖ（Ｓ_１−１）≦｜Ｍ_ｖ｜＜ＴＨ_Ｍｖ（Ｓ_１）（ただし、ＴＨ_Ｍｖ（０）＝０）のように固定の閾値ＴＨ_Ｍｖ（０）〜ＴＨ_Ｍｖ（ｓ）を用いて定義される。従って、対象とするサンプルの『動きの大きさ』という項目の特徴量を閾値ＴＨ_Ｍｖ（０）〜ＴＨ_Ｍｖ（ｓ）と比較することによって、当該サンプルの『動きの大きさ』という項目の特徴量が属する区分を判定することができる。特徴量がスカラー量である場合にも、同様にその特徴量が属する区分を判定することができる。

またある項目の特徴量が２次元以上であっても、同じ次元の閾値を用いることで同様にその項目の特徴量が属する区分を判定することができる。例えば３次元のベクトル値で与えられる『主要な色成分』という項目の特徴量の各成分Ｙ、Ｕ及びＶがそれぞれ一定間隔でＳ_Ｙ個、Ｓ_Ｕ個又はＳ_Ｖ個の範囲に分けられている場合、『主要な色成分』という項目では特徴量が各成分の分割数を乗算した次式

で与えられるＳ_２個の区分に分けられることになる。

この場合には、対象とするサンプルの『主要な色成分』という項目の特徴量を構成する各成分の値を、それぞれその成分について予め一定間隔で定められたＳ_Ｙ個の固定の閾値ＴＨ_{Ｃｏｌ（Ｙ）}（０）〜ＴＨ_{Ｃｏｌ（Ｙ）}（Ｓ_Ｙ）（ただし、ＴＨ_{Ｃｏｌ（Ｙ）}（０）＝０）、Ｓ_Ｕ個の固定の閾値ＴＨ_{Ｃｏｌ（Ｕ）}（０）〜ＴＨ_{Ｃｏｌ（Ｕ）}（Ｓ_Ｕ）（ただし、ＴＨ_{Ｃｏｌ（Ｕ）}（０）＝０）又はＳ_Ｖ個の固定の閾値ＴＨ_{Ｃｏｌ（Ｖ）}（０）〜ＴＨ_{Ｃｏｌ（Ｖ）}（Ｓ_Ｖ）（ただし、ＴＨ_{Ｃｏｌ（Ｖ）}（０）＝０）と比較することによって各成分がそれぞれ属する範囲を判定し、さらにこれら判定した各成分の範囲の組合せが上述したＳ_２個の区分のうちのどの区分に該当するかを判断することによって、当該サンプルの『主要な色成分』という項目の特徴量が属する区分を判定することができる。

そして項目の番号をｍ、番号がｍの項目の特徴量の区分数をｄ（ｍ）とすると、特徴量組合せパターンの総数は、次式

となるため、対象とするサンプルの各項目の特徴量の区分をそれぞれ判定し、その組合せパターンがこのＤ個の特徴量組合せパターンのうちのいずれに該当するかを判断することで、そのサンプルの特徴量組合せパターンを分類することができる。

かくしてデータ解析部２１は、ステップＳＰ１３において、サンプルの各項目の特徴量の区分をそれぞれ判定し、得られたそのサンプルの各項目の特徴量の区分の組み合せパターンに基づいて当該サンプルの特徴量組合せパターンを分類する。

またデータ解析部２１は、この後ステップＳＰ１４に進んで、該当する入力源及びジャンルの該当する特徴量組合せパターンのカウント値を「１」だけカウントアップする一方、これと併せてそのときまでに同じカテゴリに分類された全てのサンプルにおけるズーム率の合計値を算出する。

そしてデータ解析部２１は、この後ステップＳＰ１５に進んでこのデータ分類処理手順ＲＴ２を終了してデータ解析処理手順ＲＴ１（図７）に戻り、この後このデータ解析処理手順ＲＴ１のステップＳＰ４に進んで、サンプル数のカウント値が「ｎ」となったか否かを判断する。さらにデータ解析部２１は、このステップＳＰ４において否定結果を得るとステップＳＰ２に戻って、この後ステップＳＰ４において肯定結果を得るまでステップＳＰ２〜ステップＳＰ４のループを繰り返す。このようにしてデータ解析部２１は、かかる蓄積装置３１Ａ（図５）に蓄積されたｎ回分のサンプルに基づいて、入力源及びジャンルごとの特徴量組合せパターンの頻度分布を検出する。

さらにデータ解析部２１は、この後かかる蓄積装置３１Ａに蓄積されたｎ回分のサンプルに対する上述のような分類処理を終了することによりステップＳＰ４において肯定結果を得ると、ステップＳＰ５に進んで、かかる入力源及びジャンルごとの各特徴量組合せパターンのカウント値に基づいて、入力源及びジャンルごとに出現頻度が高い上位ｋ種類の特徴量組合せパターンをそれぞれ選択する。またデータ解析部１９は、選択した各特徴量組合せパターンについて、ステップＳＰにおいて算出しているその特徴量組合せパターンに分類された全てのサンプルにおけるズーム率の合計値をその出現頻度で除算することにより、当該特徴量組合せパターンにおける平均的なズーム率（以下、これを平均ズーム率と呼ぶ）を算出する。

そしてデータ解析部２１は、かかる選択結果に基づいて、例えば図９に示すような、入力源及びジャンルごとに出現頻度の高い上位ｋ種類の特徴量組合せパターンの各項目の特徴量及びその特徴量組合せパターンの平均ズーム率を、出現頻度の高い特徴量組合せパターンの順番で、かつ出現頻度の高いものほど高い優先度（図では優先度が高いほど数値が小さい）を対応付けて記述した特徴量テーブル３４を作成する。なお、図９において、ｉは入力源の種類、ｊはジャンル、ｐは優先度、ｍは項目（特徴量）の番号をそれぞれ示し、Ｆ（ｉ，ｊ，ｍ，ｐ）はその項目の特徴量の大きさ（スカラー又はベクトル）を示す。

そしてデータ解析部２１は、この後このようにして得られた特徴量テーブル３４のデータを表示最適化部１９の蓄積部３１のテーブル保持部３１Ｂに書き込み、この後ステップＳＰ６に進んでこのデータ解析処理手順ＲＴ１を終了する。

またデータ解析部２１は、この後表示最適化部１９のかかる蓄積装置３１Ａに１サンプル分のズーム情報Ｄ４が蓄積されるごとに、そのズーム情報Ｄ４を読み込み、このサンプルのデータ分類及び該当する特徴量組合せパターンのカウント値のカウントアップを累積的にデータ解析処理手順ＲＴ１のステップＳＰ３と同様に行う。

さらにデータ解析部２１は、この後このようにして得られた入力源及びジャンルごとの各特徴量組合せパターンの累積的なカウント値に基づいて、データ解析処理手順ＲＴ１のステップＳＰ５と同様に、入力源及びジャンルごとに出現頻度が高い上位ｋ種類の特徴量組合せパターンをそれぞれ選択し、これら選択した入力源及びジャンルごとのｋ種類の特徴量組合せパターンに関する図９について上述した新たな特徴量テーブル３４を作成し、そのデータを表示最適化部１９のかかるテーブル保持部３１Ｂ（図５）に書き込む。

このようにしてデータ解析部は、表示最適化部１９の蓄積部３１の蓄積装置３１Ａに蓄積された過去のズーム情報Ｄ４に基づいてユーザが過去に選択したズーム対象（ズーム位置）及びそのズーム対象に対するズーム率をリアルタイムで順次解析し、解析結果に基づく特徴量テーブル３４を作成する一方、その後のユーザによるズーム操作に応じて当該特徴量テーブル３４を適宜更新し得るようになされている。

（２−３）ズーム位置及び率候補推定処理に関する表示最適化部１９の詳細
他方、表示最適化部１９のズーム位置及び率候補推定部３２は、システムコントローラ１１から供給される操作内容情報信号Ｓ９に基づいてユーザがリモートコントローラ２を用いてズーム機能の起動操作を行ったことを認識すると、蓄積部３１のテーブル保持部３１Ｂに記憶保持された特徴量テーブル３４と、このとき得られる入力画像信号Ｓ６及びユーザ視聴情報Ｄ２とに基づいて、現在ユーザが視聴している画像内のユーザが選択するであろうズーム対象（ズーム位置）と、そのズーム対象に対してユーザが所望するであろうズーム率とを推定する。

この場合このようなズーム位置及びズーム率候補の推定処理は、ユーザによりズーム機能の起動操作が行われた瞬間の１フレーム分の画像内で、その部分における特徴量組合せパターンが特徴量テーブル３４中のいずれかの特徴量組合せパターンと類似する箇所が存在するかどうかを探索するようにして行われる。

実際上、ズーム位置及び率候補推定部３２は、図１０に示すように、図４について上述した視聴情報取得部３０（図３）がズーム対象についての『動きの大きさ』及び『主要な色成分』等の画像情報を取得する範囲３３と同じ大きさ（ｍ_０×ｎ_０画素）の範囲３５を１回分の探索範囲として設定し、この探索範囲について、視聴情報取得部３０が特徴量を検出する画像情報と同じ項目の各特徴量を、視聴情報取得部３０から供給される入力画像信号Ｓ６に基づき当該視聴情報取得部３０と同様の処理によりそれぞれ検出する。

またズーム位置及び率候補推定部３２は、そのとき得られた特徴量の組み合わせが特徴量テーブル３４に登録されたいずれかの特徴量組合せパターンと類似するかを優先度の高いものから順番に比較しながら順次判定する。

そしてズーム位置及び率候補推定部３２は、このような判定処理を、探索範囲を画像の左上から水平方向にｌ_ｈ画素分、垂直方向にｌ_ｖ画素分ずつずらしながら画像全面に渡って水平方向の走査を順次行い、かくして得られた探索結果に基づいてユーザが所望するであろうズーム対象（ズーム位置）及びズーム率を推定する。

ここで、このようなズーム位置及び率候補の推定処理は、図１１に示すズーム位置及び率推定処理手順ＲＴ３に従って行われる。

すなわちズーム位置及び率候補推定部３２は、システムコントローラ１１から与えられる操作内容情報信号Ｓ９に基づいて、ユーザがズーム機能の起動操作を行ったことを認識すると、このズーム位置及び率候補推定処理手順ＲＴ３をステップＳＰ２０において開始し、続くステップＳＰ２１において、ユーザ視聴情報Ｄ２を取得し、当該ユーザ視聴情報Ｄ２に基づいて現在ユーザが視聴している映像音声の入力源及びジャンルを検出する。

続いてズーム位置及び率候補推定部３２は、ステップＳＰ２２に進んで、探索位置として画像内の左上を初期設定すると共に、特徴量テーブル３４内の比較対象とすべき特徴量組合せパターンの優先度として「１」を初期設定する。

続いてズーム位置及び率候補推定部３２は、ステップＳＰ２３に進んで、そのとき設定されている探索位置（この段階では初期設定されている画像の左上）を中心としたｍ_０×ｎ_０画素分の探索範囲について、視聴情報取得部３０（図３）が特徴量を取得する各項目（動きの大きさ、主な色成分、色の割合、アクティビティ、上位２種類のアクティビティ）と同じ項目の各特徴量をそれぞれ視聴情報取得部３０と同様の処理を実行するようにして検出する。

またズーム位置及び率候補推定部３２は、続くステップＳＰ２４において、特徴量テーブル３４に登録された該当する入力源及びジャンルの上位ｋ種類の特徴量組合せパターンのうち、そのとき設定されている優先度（この段階では初期設定されている「１」）の特徴量組合せパターンのデータ（その特徴量組合せパターンを構成する各項目の特徴量）をそれぞれ読み出す。

そしてズーム位置及び率候補推定部３２は、この後ステップＳＰ２５に進んで、ステップＳＰ２３において検出した各項目の特徴量の組合せパターンがステップＳＰ２４において特徴量テーブル３４から読み出した特徴量組合せパターンと類似するか否かを判断する。

この場合ズーム位置及び率候補推定部３２は、このような特徴量組合せパターン同士の類比を判断する手法として、各特徴量について、その探索位置で検出されたある項目の特徴量（以下、これを検出特徴量と呼ぶ）を次式

とし、特徴量テーブルから読み出した対応する項目の特徴量（以下、これを参照特徴量と呼ぶ）を次式

として、各項目について次式

で与えられる演算を実行することにより、検出特徴量と参照特徴量との距離Distance（ｉ，ｊ，ｍ，ｐ）を項目ごとにそれぞれ算出する。ただし、（５）式において、ｎは特徴量の成分の次元数、ｍは特徴量の番号をそれぞれ表し、（６）式においてｉは入力源、ｊはジャンル、ｐは優先度を表す。

そしてズーム位置及び率候補推定部３２は、このようにして得られた項目ごとの距離Distance（ｉ，ｊ，ｍ，ｐ）について、その大きさがその項目について経験的に予め定められた閾値ＴＨ_{Distance（ｉ，ｊ，ｍ，ｐ）}以下であるか否かを項目ごとにそれぞれ判定する。

そしてズーム位置及び率候補推定部３２は、かかる判定の結果、算出した距離Distance（ｉ，ｊ，ｍ，ｐ）が閾値ＴＨ_{Distance（ｉ，ｊ，ｍ，ｐ）}以下である項目の数が予め定められた所定数以上であった場合には、その探索位置において検出した各項目の特徴量の組合わせパターンが特徴量テーブル３４に登録されている特徴量組合せパターンのうちの現在比較対象としている特徴量組合せパターンと類似すると判断する。

かくしてこのときズーム位置及び率候補推定部３２は、ステップＳＰ２６に進んで、図１２に示すように、特徴量テーブル３４におけるその参照特徴量の組合せパターンの優先度と、そのときの探索位置と、特徴量テーブル３４に登録されているその特徴量組合せパターンでの平均ズーム率と、評価値とを候補リスト３６に登録する。なお、この場合における評価値とは、距離Distance（ｉ，ｊ，ｍ，ｐ）が閾値ＴＨ_{Distance（ｉ，ｊ，ｍ，ｐ）}以下であった特徴量の数である。

これに対してズーム位置及び率候補推定部３２は、ステップＳＰ２５において、距離Distance（ｉ，ｊ，ｍ，ｐ）が閾値ＴＨ_{Distance（ｉ，ｊ，ｍ，ｐ）}以下である項目の数がかかる所定数よりも少なかった場合には、その探索位置において検出した各項目の特徴量の組合せパターンが特徴量テーブル３４に登録されている各特徴量組合せパターンのうちの現在比較対象としている特徴量組合せパターンと類似しないと判断してステップＳＰ２７に進む。

そしてズーム位置及び率候補推定部３２は、ステップＳＰ２７に進むと、特徴量テーブル３４に登録された該当する入力源・ジャンルの上位ｋ種類の特徴量組合せパターン全てについて同様の処理を行ったか否かを判断し、否定結果を得ると、特徴量テーブル３４内の比較対象とすべき特徴量組合せパターンの優先度を１つ下げた後にステップＳＰ２４に戻り、この後ステップＳＰ２７において肯定結果を得るまでステップＳＰ２４〜ステップＳＰ２７について同様の処理を繰り返す。このようにしてズーム位置及び率候補推定部３２は、特徴量テーブル３４に登録された該当する入力源・ジャンルの上位ｋ種類の全ての特徴量組合せパターンについて、その探索位置において取得した各項目の特徴量の組合わせパターンと類似するものが存在するか否かを検証する。

そしてズーム位置及び率候補推定部３２は、やがてその探索位置におけるかかる検証処理を終了することによりステップＳＰ２７において肯定結果を得ると、ステップＳＰ２８に進んで、全ての探索位置において（画像の全面に渡って）かかる処理を終了したか否かを判断する。

そしてズーム位置及び率候補推定部３２は、このステップＳＰ２８において否定結果を得ると、探索位置を水平方向にｌ_ｈ画素分だけずらし又は垂直方向にｌ_ｖ画素分ずらす設定を行った後にステップＳＰ２３に戻り、この後ステップＳＰ２８において肯定結果を得るまでステップＳＰ２３〜ステップＳＰ２８について同様の処理を繰り返す。

さらにズーム位置及び率候補推定部３２は、やがて全ての探索位置において（画像全体に渡って）同様の処理を終えることによりステップＳＰ２８において肯定結果を得ると、ステップＳＰ２９に進んで、上述のような処理によって候補リスト３６に登録された、特徴量テーブル３４内の上位ｋ種類の特徴量組合せパターンのいずれかと類似する特徴量の組合せパターンが得られたいくつかの探索位置の中から１つの探索位置を、ユーザが所望するであろうズーム位置の推定結果として選択する。

この場合、上述のように『評価値』は、距離Distance（ｉ，ｊ，ｍ，ｐ）が閾値ＴＨ_{Distance（ｉ，ｊ，ｍ，ｐ）}以下である（換言すれば類似と判断された）特徴量の数を表すため、この値が大きいほど過去にユーザが決定したズーム対象と類似するものがその探索範囲内に表示されているということができる。

そこでズーム位置及び率候補推定部３２は、かかる候補リスト３６に登録された探索位置の中からなるべく優先度が高くかつ評価値が高い探索位置を選択する。例えば図１２の例では、優先度が最も高い「１」である候補が３つ存在するが、このときのこれら３つの各候補の評価値eval_１〜eval_３が次式

の関係がある場合には、最も評価値が高い探索位置（ｘ_２，ｙ_２）が選択されることとなる。

かくしてズーム位置及び率候補推定部３２は、このように探索位置を１つ選択すると、その探索位置及びこれに対応する平均ズーム率をそれぞれズーム位置及びズーム率としたズーム位置及び率推定情報をシステムコントローラ１１に送出し、この後ステップＳＰ３０に進んでこのズーム位置及び率候補推定処理手順ＲＴ３を終了する。

このようにして表示最適化部１９は、データ解析部２０の解析結果と、このとき得られたユーザ視聴情報Ｄ２及びユーザ視聴画像情報Ｄ３とに基づいて、そのときディスプレイ部１８に表示されていた画像内のユーザが所望するであろうズーム対象（ズーム位置）と、そのズーム対象に対してユーザが所望するであろうズーム率とを推定し得るようになされている。

なおこの実施の形態の場合、ズーム位置及び率候補推定部３２は、データ解析部２０により特徴量テーブル３４のデータが蓄積部３１のテーブル保持部３１Ｂに格納される間での間は、ズーム位置及びズーム率の推定結果としてデフォルト値（例えばズーム位置については画面中心、ズーム率については等倍）をズーム位置及び率推定情報としてシステムコントローラ１１に送出するようになされている。

（２−４）画像信号処理部１６の詳細
次に、画像信号処理部１６の詳細を説明する。画像信号処理部１６は、図１３に示すように、バッファメモリ１５（図１）に記憶されている入力画像信号Ｓ６より、出力画像信号Ｓ７を構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する複数の画素データを選択的に取り出して出力する第１〜第３のタップ選択回路４０〜４２を有している。

第１のタップ選択回路４０は、予測に使用する画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路４１は、空間クラス分類に使用する画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路４２は、動きクラス分類に使用する画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。

また、画像信号処理部１６は、第２のタップ選択回路４１で選択的に取り出される空間クラスタップのデータ（複数個）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路４３を有している。

空間クラス検出回路４３では、例えば、空間クラスタップのデータを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路４３からは、空間クラスタップのデータにそれぞれ対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。

本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータの最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータｋｉに対して、次式

の演算により、圧縮データとしての再量子化コードＱｉが得られる。ただし、（９）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。

また、画像信号処理部１６は、第３のタップ選択回路４２で選択的に取り出される動きクラスタップのデータ（複数個）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路４４を有している。

この動きクラス検出回路４４では、第３のタップ選択回路４２で選択的に取り出される動きクラスタップのデータからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路４４では、次式

によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路４２で、例えばクラスタップのデータとして、６個の画素データｍ１〜ｍ６とその１フレーム前の６個の画素データｎ１〜ｎ６が取り出されるとき、（１０）式におけるＮｂは６である。

そして、動きクラス検出回路４４では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。

また、画像信号処理部１６は、空間クラス検出回路４３より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路４４より出力される動きクラスのクラス情報ＭＶに基づき、作成すべき出力画像信号Ｓ７を構成する単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路４５を有している。

このクラス合成回路４５では、次式

によって、クラスコードＣＬの演算が行われる。なお、（１１）式において、Ｎａは空間クラスタップのデータの個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。

また、画像信号処理部１６は、レジスタ５０〜５３と、係数メモリ５４とを有している。後述する後処理回路４８は、出力画像信号Ｓ７として、１０８０ｉ信号を出力する場合と、ＸＧＡ信号を出力する場合と、５２５ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ５０は、後処理回路４８の動作を指定する動作指定情報を格納するものである。後処理回路４８は、レジスタ５０より供給される動作指定情報に従った動作をする。

レジスタ５１は、第１のタップ選択回路４０で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路４０は、レジスタ５１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタップ位置情報においても同様である。

レジスタ５２は、第２のタップ選択回路４１で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路４１は、レジスタ５２より供給されるタップ位置情報に従って空間クラスタップを選択する。

ここで、レジスタ５２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路４１に供給するかは、動きクラス検出回路４４より出力される動きクラスのクラス情報ＭＶによって選択される。

すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路４１に供給され、この第２のタップ選択回路４１で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路４１に供給され、この第２のタップ選択回路４１で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内の画素のみとされる。

なお、上述したレジスタ５１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路４０に供給されるタップ位置情報が動きクラス検出回路４４より出力される動きクラスのクラス情報ＭＶによって選択されるようにしてもよい。

レジスタ５３は、第３のタップ選択回路４２で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路４２は、レジスタ５３より供給されるタップ位置情報に従って動きクラスタップを選択する。

さらに、係数メモリ５４は、後述する推定予測演算回路４６で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、５２５ｉ信号を１０８０ｉ信号またはＸＧＡ信号に変換し、あるいはその５２５ｉ信号をその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換するための情報である。係数メモリ５４には上述したクラス合成回路４５より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ５４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路４６に供給されることとなる。

また、画像信号処理部１６は、情報メモリバンク５５を有している。この情報メモリバンク５５には、レジスタ５０に格納するための動作指定情報と、レジスタ５１〜５３に格納するためのタップ位置情報が予め蓄えられている。

ここで、レジスタ５０に格納するための動作指定情報として、情報メモリバンク５５には、後処理回路４８を１０８０ｉ信号を出力するように動作させるための第１の動作指定情報と、後処理回路４８をＸＧＡ信号を出力するように動作させるための第２の動作指定情報と、後処理回路４８を５２５ｉ信号を出力するように動作させるための第３の動作指定情報とが予め蓄えられている。

ユーザはリモートコントローラ２を操作することで、１０８０ｉ信号を出力する第１の変換方法か、ＸＧＡ信号を出力する第２の変換方法か、さらには５２５ｉ信号を出力する第３の変換方法かを選択できる。なお、第３の変換方法を選択するとき、ユーザは、さらに表示画像の倍率（すなわち上述のズーム率）を指定できる。情報メモリバンク５５にはシステムコントローラ１１よりその変換方法の選択情報が供給され、この情報メモリバンク５５よりレジスタ５０にはその選択情報に従って第１、第２または第３の動作指定情報がロードされる。

また、情報メモリバンク５５には、レジスタ５１に格納するための予測タップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報が予め蓄えられている。この情報メモリバンク５５よりレジスタ５１には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。

なお、情報メモリバンク５５に、第３の変換方法に対応する第３のタップ位置情報として、表示画像のズーム率に対応したタップ位置情報を予め蓄えておき、第３の変換方法が選択された場合に、併せて指定されたズーム率に対応したタップ位置情報を情報メモリバンク５５よりレジスタ５１にロードするようにしてもよい。このことは、後述するレジスタ５２，５３へのタップ情報のロードにおいても同様である。

また、情報メモリバンク５５には、レジスタ５２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報とが予め蓄えられている。第１、第２および第３のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク５５よりレジスタ５２には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。

また、情報メモリバンク５５には、レジスタ５３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報とが予め蓄えられている。この情報メモリバンク５５よりレジスタ５３には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。

また、情報メモリバンク５５には、各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ５４に格納するための係数データを生成するための、位相情報をパラメータとする生成式の係数データである。

後述する推定予測演算回路４６では、予測タップのデータｘｉと、係数メモリ５４より読み出される係数データＷｉとから、次式

で与えられる推定式によって、作成すべき画素データｙが演算される。第１のタップ選択回路４０で選択される予測タップが１０個であるとき、（１２）式におけるｎは１０となる。

そして、この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、例えば次式

で示されるように、位相情報ｈ，ｖをパラメータとする生成式によって生成される。情報メモリバンク５５には、この生成式の係数データである係数種データｗ10〜ｗn9が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。

また、画像信号処理部１６は、各クラスの係数種データおよび位相情報ｈ，ｖの値とを用い、（１３）式によって、クラス毎に、位相情報ｈ，ｖの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路５６を有している。この係数生成回路５６には、情報メモリバンク５５より、各クラスの係数種データがロードされると共に、後述する位相情報発生回路５９で発生される出力画像信号Ｓ７を構成する単位画素ブロック内の各画素の水平方向、垂直方向の位相情報ｈ，ｖが供給される。この係数生成回路５６で生成される各クラスの各位相情報ｈ，ｖに対応した係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ５４に格納される。

また、画像信号処理部１６は、システムコントローラ１１より供給される、変換方法の選択情報および倍率の指定情報に対応した入力画像信号Ｓ６と出力画像信号Ｓ７における垂直方向、水平方向の各フィールドにおける画素数の対応関係情報ｎ／ｍに基づいて、出力画像信号Ｓ７を構成する単位画素ブロック内の各画素の水平方向、垂直方向の位相情報ｈ，ｖを発生させる位相情報発生回路５９を有している。この位相情報発生回路５９は例えばＲＯＭテーブルで構成される。

この位相情報発生回路５９で発生される各画素の水平方向、垂直方向の位相情報ｈ，ｖは、それぞれ画素番号（タップ番号）と関連付けられて、係数生成回路５６に供給される。なお、位相情報発生回路５９からは、入力画像信号Ｓ６の奇数、偶数のフィールドのそれぞれに対応して位相情報ｈ，ｖが発生される。

例えば、第１の変換方法（１０８０ｉ）が選択される場合、垂直方向に関してｎ／ｍ＝９／４であり、水平方向に関してｎ／ｍは９／４である（図２６参照）。そのため、入力画像信号Ｓ６としての５２５ｉ信号の４×４の画素ブロックに対して出力画像信号Ｓ７としての１０８０ｉ信号の９×９の画素ブロックが対応したものとなる。この場合、出力画像信号Ｓ７を構成する単位画素ブロックは９×９の画素ブロックということになる。

この場合、位相情報発生回路５９では、この９×９の単位画素ブロック内の各画素について、上述した５２５ｉ信号の４×４の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。本実施の形態においては、５２５ｉ信号の垂直方向の画素間隔が１６、水平方向の画素間隔が８とされて、上述の位相情報ｈ，ｖが求められる。これは、第２、第３の変換方法が選択される場合も同様である。

ここで、位相情報ｖに関しては、９×９の単位画素ブロック内の対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が上述の最短画素より下方に位置するときは正の値とされる。また、位相情報ｈに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。これは、第２、第３の変換方法が選択される場合も同様である。

このように、第１の変換方法（１０８０ｉ）が選択される場合、位相情報発生回路５９では、奇数、偶数のフィールドのそれぞれに対応して、９×９の単位画素ブロックを構成する８１個の画素のそれぞれついての位相情報ｈ，ｖが発生される。

また例えば、第２の変換方法（ＸＧＡ）が選択される場合、垂直方向に関してｎ／ｍ＝１６／５であり、水平方向に関してｎ／ｍは８／５である（図２９参照）。そのため、入力画像信号Ｓ６としての５２５ｉ信号の５×５の画素ブロックに対して出力画像信号Ｓ７としてのＸＧＡ信号の８×１６の画素ブロックが対応したものとなる。この場合、出力画像信号Ｓ７を構成する単位画素ブロックは８×１６の画素ブロックということになる。

この場合、位相情報発生回路５９では、この８×１６の単位画素ブロック内の各画素について、上述した５２５ｉ信号の５×５の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。

このように、第２の変換方法（ＸＧＡ）が選択される場合、位相情報発生回路５９では、奇数、偶数のフィールドのそれぞれに対応して、８×１６の単位画素ブロックを構成する１２８個の画素のそれぞれついての位相情報ｈ，ｖが発生される。

また例えば、第３の変換方法（５２５ｉ）が選択される場合、指定された表示画像のズーム率（画像サイズ）に応じて垂直方向および水平方向に関するｎ／ｍが一意的に決まる。垂直方向に関してｎ／ｍ＝ｎv／ｍv、水平方向に関してｎ／ｍ＝ｎh／ｍhであるとすると、入力画像信号Ｓ６としての５２５ｉ信号のｍh×ｍvの画素ブロックに対して出力画像信号Ｓ７としての５２５ｉ信号のｎh×ｎvの画素ブロックが対応したものとなる。この場合、出力画像信号Ｓ７を構成する単位画素ブロックはｎh×ｎvの画素ブロックということになる。

この場合、位相情報発生回路５９では、このｎh×ｎvの単位画素ブロック内の各画素について、上述した入力画像信号Ｓ６としての５２５ｉ信号のｍh×ｍvの画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。

このように、第３の変換方法（５２５ｉ）が選択される場合、位相情報発生回路５９では、奇数、偶数のフィールドのそれぞれに対応して、ｎh×ｎvの単位画素ブロックを構成する各画素についての位相情報ｈ，ｖが発生される。

また、画像信号処理部１６は、係数生成回路５６で生成される各クラスの各位相情報ｈ，ｖの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、次式

によって演算する正規化係数生成回路５７と、ここで生成された正規化係数Ｓを、クラス毎に格納する正規化係数メモリ５８を有している。正規化係数メモリ５８には上述したクラス合成回路４５より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ５８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路４７に供給されることとなる。

また、画像信号処理部１６は、第１のタップ選択回路４０で選択的に取り出される予測タップのデータｘｉと、係数メモリ５４より読み出される係数データＷｉとから、出力画像信号Ｓ７を構成する単位画素ブロック内の各画素のデータを演算する推定予測演算回路４６を有している。

この推定予測演算回路４６では、出力画像信号Ｓ７を構成する画素データが単位画素ブロック毎に生成される。すなわち、この推定予測演算回路４６には、第１のタップ選択回路４０より単位画素ブロック内の各画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ５４よりその単位画素ブロックを構成する各画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する各画素のデータは、それぞれ個別に上述した（１２）式の推定式で演算される。

例えば、推定予測演算回路４６では、第１の変換方法（１０８０ｉ）が選択されている場合には、単位画素ブロックを構成する８１個の画素のデータが同時的に生成され、第２の変換方法（ＸＧＡ）が選択されている場合には、単位画素ブロックを構成する１２８個の画素のデータが同時的に生成され、さらに第３の変換方法（５２５ｉ）が選択されている場合には、単位画素ブロックを構成する（ｎh×ｎv）個（ｎh，ｎvは、表示画像の指定ズーム率によって変化する）の画素データが同時的に生成される。

また、画像信号処理部１６は、推定予測演算回路４６より順次出力される出力画像信号Ｓ７を構成する単位画素ブロック内の各画素のデータｙ1〜ｙP（Ｐは単位ブロックを構成する画素の個数）を、正規化係数メモリ５８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路４７を有している。上述せずも、係数生成回路５６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路４６で演算される各画素のデータｙ1〜ｙPは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路４７で正規化することで、その変動を除去できる。

また、画像信号処理部１６は、正規化演算回路４７で正規化されて順次供給される単位画素ブロック内の画素のデータｙ1′〜ｙP′を、第１〜第３の変換方法によって特定されるフォーマットで出力して、出力画像信号Ｓ７を得る後処理回路４８を有している。すなわち、この後処理回路４８からは、第１の変換方法が選択されている場合には１０８０ｉ信号が出力され、第２の変換方法が選択されている場合にはＸＧＡ信号が出力され、さらに第３の変換方法が選択されている場合には５２５ｉ信号が出力される。この後処理回路４８の動作指定情報は、上述したようにレジスタ５０より供給される。

次に、画像信号処理部１６の動作を説明する。バッファメモリ１５（図１）に記憶されている入力画像信号Ｓ６としての５２５ｉ信号より、第２のタップ選択回路４１で、作成すべき出力画像信号Ｓ７を構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する空間クラスタップのデータ（画素データ）が選択的に取り出される。この場合、第２のタップ選択回路４１では、レジスタ５２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路４４で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第２のタップ選択回路４１で選択的に取り出される空間クラスタップのデータは空間クラス検出回路４３に供給される。この空間クラス検出回路４３では、空間クラスタップのデータとしての各画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（９）式参照）。

また、バッファメモリ１５に記憶されている入力画像信号Ｓ６としての５２５ｉ信号より、第３のタップ選択回路４２で、作成すべき出力画像信号Ｓ７を構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する動きクラスタップのデータ（画素データ）が選択的に取り出される。この場合、第３のタップ選択回路４２では、レジスタ５３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。

この第３のタップ選択回路４２で選択的に取り出される動きクラスタップのデータは動きクラス検出回路４４に供給される。この動きクラス検出回路４４では、動きクラスタップのデータとしての各画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。

この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路４５に供給される。このクラス合成回路４５では、これら動き情報ＭＶと再量子化コードＱｉとから、作成すべき出力画像信号Ｓ７を構成する単位画素ブロック毎にその単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードＣＬが順次得られる（（１１）式参照）。そして、このクラスコードＣＬは、係数メモリ５４および正規化係数メモリ５８に読み出しアドレス情報として供給される。

係数メモリ５４には、位相情報発生回路５９で発生された出力画像信号Ｓ７を構成する単位画素ブロック内の各画素の位相情報ｈ，ｖに対応した各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が係数生成回路５６で生成されて格納される。また、正規化係数メモリ５８には、上述したように係数生成回路５６で生成された各クラスおよび各位相情報の係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数生成回路５７で生成されて格納される。

係数メモリ５４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ５４からクラスコードＣＬに対応した各位相情報における係数データＷｉが読み出されて推定予測演算回路４６に供給される。また、バッファメモリ１５に記憶されている入力画像信号Ｓ６としての５２５ｉ信号より、第１のタップ選択回路４０で、作成すべき出力画像信号Ｓ７を構成する単位画素ブロック内の各画素（注目画素）の周辺に位置する予測タップのデータ（画素データ）が選択的に取り出される。この場合、第１のタップ選択回路４０では、レジスタ５１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路４０で選択的に取り出される予測タップのデータｘｉは推定予測演算回路４６に供給される。

推定予測演算回路４６では、予測タップのデータｘｉと、係数メモリ５４より読み出される各位相情報における係数データＷｉとから、作成すべき出力画像信号Ｓ７を構成する単位画素ブロック内の各画素のデータｙ1〜ｙPが同時的に演算される（（１２）式参照）。そして、この推定予測演算回路４６より順次出力される出力画像信号Ｓ７を構成する単位画素ブロック内の各画素のデータｙ1〜ｙPは正規化演算回路４７に供給される。

正規化係数メモリ５８には上述したようにクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ５８からはクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路４６より出力されるデータｙ1〜ｙPの演算に使用された係数データＷｉに対応した正規化係数Ｓが読み出されて正規化演算回路４７に供給される。正規化演算回路４７では、推定予測演算回路４６より出力されるデータｙ1〜ｙPがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（１３）式参照）で推定式（（１２）式参照）の係数データを求める際の丸め誤差によるデータｙ1〜ｙPのレベル変動が除去される。

このように正規化演算回路４７で正規化されて順次出力される単位画素ブロック内の各画素のデータｙ1′〜ｙP′は後処理回路４８に供給される。この後処理回路４８では、データｙ1′〜ｙP′が第１〜第３の変換方法によって特定されるフォーマットで出力され、出力画像信号Ｓ７として、第１の変換方法が選択されている場合には１０８０ｉ信号が出力され、第２の変換方法が選択されている場合にはＸＧＡ信号が出力され、さらに第３の変換方法が選択されている場合には５２５ｉ信号が出力される。

上述したように、係数生成回路５６で、情報メモリバンク５５よりロードされる各クラスの係数種データおよび位相情報発生回路５９で発生される位相情報ｈ，ｖの値とを用い、クラス毎に、位相情報ｈ，ｖの値に対応した推定式の係数データＷｉが生成され、これが係数メモリ５４に格納される。そして、この係数メモリ５４より、クラスコードＣＬに対応して読み出される各位相情報における係数データＷｉを用いて推定予測演算回路４６で、出力画像信号Ｓ７を構成する単位画素ブロック内の各画素のデータｙ1〜ｙPが演算される。したがって、１０８０ｉ信号やＸＧＡ信号へのフォーマット変換、さらには種々の画像サイズへの変換を行う場合に大量の係数データを格納しておくメモリを不要とできる。

上述したように、情報メモリバンク５５には、係数種データが、クラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。

まず、この生成方法の一例について説明する。（１３）式の生成式における係数データである係数種データｗ10〜ｗn9を求める例を示すものとする。ここで、以下の説明のため、次式

のように、ｔｉ（ｉ＝０〜９）を定義する。

この（１５）式を用いると、（１３）式は、次式

のように書き換えられる。

最終的に、学習によって未定係数ｗxyを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（１２）式および（１３）式を用いて、Ｅは次式

で表される。ここで、ｘikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応する教師画像のｋ番目の画素データを表している。

最小二乗法による解法では、（１７）式のｗxyによる偏微分が０になるようなｗxyを求める。これは、次式

で示される。

以下、次式

のように、Ｘipjq、Ｙipを定義すると、（１８）式は、行列を用いて次式

のように書き換えられる。

この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗxyについて解かれ、係数種データが算出される。

図１４は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。

図１５は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

このＳＤ信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、８×２＝１６種類のＳＤ信号ＳＤ1〜ＳＤ16を生成する。図１６は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。

Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。

図１７は、水平方向への４段階の位相シフト状態Ｈ１〜Ｈ４を示している。ここでは、ＳＤ信号の水平方向の画素間隔は８であり、右方向が正の方向とされている。

Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０，−４の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、３，−１の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２，−２の位相を持つようになる。さらに、Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１，−３の位相を持つようになる。

図１８は、上述したように垂直方向に８段階、水平方向に４段階にシフトさせて得られた３２種類のＳＤ信号に関し、ＳＤ信号の画素を中心にした場合のＨＤ信号の画素の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は、図中の●で示す位相を持つようになる。

図１４に戻って、上述したように垂直方向に８段階、水平方向に４段階にシフトさせて得られた合計３２種類のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。

図１９は、上述した概念で係数種データを生成する係数種データ生成装置６０の構成を示している。この係数種データ生成装置６０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子６１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、入力信号としてのＳＤ信号を得るＳＤ信号生成回路６２Ａと、このＳＤ信号の位相を垂直方向に８段階、水平方向に４段階にシフトさせて、合計３２種類のＳＤ信号ＳＤ1〜ＳＤ32を得るための位相シフト回路６２Ｂとを有している。この位相シフト回路６２Ｂには、垂直方向および水平方向への位相シフト値を指定するパラメータＨ，Ｖが入力される。この位相シフト回路６２Ｂは、例えばsinｘ／ｘの特性のフィルタで構成されるが、その他の位相シフトが可能な別のフィルタを用いてもよい。他のフィルタ例として、オーバーサンプリングフィルタから欲しい位相だけ抜き出す方法等が挙げられる。

また、係数種データ生成装置６０は位相シフト回路６２Ｂより出力されるＳＤ信号ＳＤ1〜ＳＤ32より、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。

これら第１〜第３のタップ選択回路６３〜６５は、上述した画像信号処理部１６の第１〜第３のタップ選択回路４０〜４２と同様に構成される。これら第１〜第３のタップ選択回路６３〜６５で選択されるタップは、タップ選択制御回路６６からのタップ位置情報によって指定される。また、タップ選択制御回路６６には後述する動きクラス検出回路６８より出力される動きクラスのクラス情報ＭＶが供給される。これにより、第２のタップ選択回路６４に供給されるタップ位置情報が動きが大きいか小さいかによって異なるようにされる。

また、係数種データ生成装置６０は、第２のタップ選択回路６４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路６７は、上述した画像信号処理部１６の空間クラス検出回路４３と同様に構成される。この空間クラス検出回路６７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードＱｉが空間クラスを示すクラス情報として出力される。

また、係数種データ生成装置６０は、第３のタップ選択回路６５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路６８を有している。この動きクラス検出回路６８は、上述した画像信号処理部１６の動きクラス検出回路４４と同様に構成される。この動きクラス検出回路６８では、第３のタップ選択回路６５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。

また、係数種データ生成装置６０は、空間クラス検出回路６７より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路６８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）に係る注目画素が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路６９を有している。このクラス合成回路６９も、上述した画像信号処理部１６のクラス合成回路４５と同様に構成される。

また、係数種データ生成装置６０は、入力端子６１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路６３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路６９より出力されるクラスコードＣＬと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、各クラス毎に、係数種データｗ10〜ｗn9を得るための正規方程式（（２１）式参照）を生成する正規方程式生成部７０を有している。

この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、位相シフト回路６２ＢへのパラメータＨ，Ｖが順次変更されていって水平および垂直の位相シフト値が段階的に変化した３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていき、これにより正規方程式生成部７０では多くの学習データが登録された正規方程式が生成される。このようにＳＤ信号ＳＤ1〜ＳＤ32を順次生成して学習データを登録することで、任意位相の画素データを得るための係数種データを求めることが可能となる。

なお、図示せずも、第１のタップ選択回路６３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路６３から正規方程式生成部７０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。

また、係数種データ生成装置６０は、正規方程式生成部７０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10〜ｗn9を求める係数種データ決定部７１と、この求められた係数種データｗ10〜ｗn9を記憶する係数種メモリ７２とを有している。係数種データ決定部７１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ10〜ｗn9が求められる。

図１９に示す係数種データ生成装置６０の動作を説明する。入力端子６１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路６２Ａで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。また、このＳＤ信号が位相シフト回路６２Ｂに供給され、このＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされて（図１６，図１７参照）、３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていく。

これらＳＤ信号ＳＤ1〜ＳＤ32より、第２のタップ選択回路６４で、ＨＤ信号に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路６４では、タップ選択制御回路６６より供給される、動きクラス検出回路６８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第２のタップ選択回路６４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路６７に供給される。この空間クラス検出回路６７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（９）式参照）。

また、位相シフト回路６２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第３のタップ選択回路６５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路６５では、タップ選択制御回路６６より供給されるタップ位置情報に基づいて、タップの選択が行われる。

この第３のタップ選択回路６５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路６８に供給される。この動きクラス検出回路６８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。

この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路６９に供給される。このクラス合成回路６９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（１１）式参照）。

また、位相シフト回路６２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第１のタップ選択回路６３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路６３では、タップ選択制御回路６６より供給されるタップ位置情報に基づいて、タップの選択が行われる。

そして、入力端子６１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路６３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路６９より出力されるクラスコードＣＬと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、正規方程式生成部７０では、各クラス毎に、係数種データｗ10〜ｗn9を生成するための正規方程式（（２１）式参照）が生成される。

そして、係数種データ決定部７１でその正規方程式が解かれ、各クラス毎の係数種データｗ10〜ｗn9が求められ、その係数種データｗ10〜ｗn9はクラス別にアドレス分割された係数種メモリ７２に記憶される。

次に、係数種データの生成方法の他の例について説明する。この例においても、上述した（１３）式の生成式における係数データである係数種データｗ10〜ｗn9を求める例を示すものとする。

図２０は、この例の概念を示している。上述した係数種データの生成方法の一例と同様に、パラメータＨ，Ｖによって垂直方向に８段階、水平方向に４段階にシフトさせて３２種類のＳＤ信号を順次生成する。そして、各ＳＤ信号とＨＤ信号との間で学習を行って、（１２）式の推定式の係数データＷｉを生成する。そして、各ＳＤ信号に対応して生成された係数データＷｉを使用して係数種データを生成する。

まず、推定式の係数データの求め方を説明する。ここでは、（１２）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、次式

で与えられる観測方程式を考える。この（２２）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。

（２２）式の観測方程式により収集されたデータに最小二乗法を適用する。この（２２）式の観測方程式をもとに、次式

で与えられる残差方程式を考える。

（２３）式の残差方程式から、各Ｗiの最確値は、次式

のｅ2を最小にする条件が成り立つ場合と考えられる。すなわち、次式

の条件を考慮すればよいわけである。

つまり、（２５）式のｉに基づくｎ個の条件を考え、これを満たす、Ｗ1，Ｗ2，・・・，Ｗnを算出すればよい。そこで、（２３）式の残差方程式から、次式

が得られる。さらに、（２６）式と（２２）式とから、次式

が得られる。

そして、（２３）式と（２７）式とから、次式

の正規方程式が得られる。

（２８）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。

次に、各ＳＤ信号に対応して生成された係数データを使用しての係数種データの求め方を説明する。パラメータＨ，Ｖに対応したＳＤ信号を用いた学習による、あるクラスの係数データが、ｋvhiとなったとする。ここで、ｉは予測タップの番号である。このｋvhiから、このクラスの係数種データを求める。

各係数データＷｉ（ｉ＝１〜ｎ）は、係数種データｗ10〜ｗn9を使って、上述した（１３）式で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、次式

で表される。

ここで、ｔjは、上述の（１５）式に示されている。（２９）式に最小二乗法を作用させると、次式

が得られる。

ここで、Ｘjk，Ｙjをそれぞれ次式

のように定義すると、（３０）式は次式

のように書き換えられる。この（３３）式も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数種データｗ10〜ｗn9を算出することができる。

図２１は、図１９に示す概念に基づいて係数種データを生成する係数種データ生成装置６０′の構成を示している。この図２１において、図１９と対応する部分には同一符号を付し、その詳細説明は省略する。

係数種データ生成装置６０′は、入力端子６１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路６３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路６９より出力されるクラスコードＣＬとから、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２８）式参照）を生成する正規方程式生成部８０を有している。

この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、位相シフト回路６２ＢへのパラメータＨ，Ｖが順次変更されていって３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていき、ＨＤ信号と各ＳＤ信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部８０では、各ＳＤ信号のそれぞれに対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。

また、係数種データ生成装置６０′は、正規方程式生成部８０で生成された正規方程式のデータが供給され、その正規方程式を解いて、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉを求める係数データ決定部８１と、この各ＳＤ信号に対応した各クラスの係数データＷｉを使用して、クラス毎に、係数種データｗ10〜ｗn9を得るための正規方程式（（３３）式参照）を生成する正規方程式生成部８２とを有している。

また、係数種データ生成装置６０′は、正規方程式生成部８２でクラス毎に生成された正規方程式のデータと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ10〜ｗn9を求める係数種データ決定部８３と、この求められた係数種データｗ10〜ｗn9を記憶する係数種メモリ７２とを有している。

図２１に示す係数種データ生成装置６０′のその他は、図１９に示す係数種データ生成装置６０と同様に構成される。図２１に示す係数種データ生成装置６０′の動作を説明する。入力端子６１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路６２Ａで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。また、このＳＤ信号が位相シフト回路６２Ｂに供給され、このＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされて（図１６，図１７参照）、３２種類のＳＤ信号ＳＤ1〜ＳＤ32が順次生成されていく。

これらＳＤ信号ＳＤ1〜ＳＤ32より、第２のタップ選択回路６４で、ＨＤ信号（１０５０ｉ信号）に係る注目画素の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路６４では、タップ選択制御回路６６より供給される、動きクラス検出回路６８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第２のタップ選択回路６４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路６７に供給される。この空間クラス検出回路６７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードＱｉが得られる（（９）式参照）。

また、位相シフト回路６２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第３のタップ選択回路６５で、ＨＤ信号に係る注目画素の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路６５では、タップ選択制御回路６６より供給されるタップ位置情報に基づいて、タップの選択が行われる。

この第３のタップ選択回路６５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路６８に供給される。この動きクラス検出回路６８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。

この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路６９に供給される。このクラス合成回路６９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（１１）式参照）。

また、位相シフト回路６２Ｂで得られるＳＤ信号ＳＤ1〜ＳＤ32より、第１のタップ選択回路６３で、ＨＤ信号に係る注目画素の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路６３では、タップ選択制御回路６６より供給されるタップ位置情報に基づいて、タップの選択が行われる。

そして、入力端子６１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路６３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路６９より出力されるクラスコードＣＬとから、正規方程式生成部８０では、ＳＤ信号生成回路１５２で生成される各ＳＤ信号にそれぞれ対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２０）式参照）が生成される。

そして、係数データ決定部８１でその正規方程式が解かれ、各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉが求められる。正規方程式生成部８２では、この各ＳＤ信号にそれぞれ対応した各クラスの係数データＷｉと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、クラス毎に、係数種データｗ10〜ｗn9を得るための正規方程式（（３３）式参照）が生成される。

そして、係数種データ決定部８３でその正規方程式が解かれ、各クラスの係数種データｗ10〜ｗn9が求められ、その係数種データｗ10〜ｗn9はクラス別にアドレス分割された係数種メモリ７２に記憶される。

このように、図２１に示す係数種データ生成装置６０′においても、図１３の画像信号処理部１６の情報メモリバンク５５に記憶される各クラスの係数種データｗ10〜ｗn9を生成することができる。

なお、図１３の画像信号処理部１６では、係数データＷｉ（ｉ＝１〜ｎ）を生成するために（１３）式の生成式を使用したが、例えば、次式

や、次式

などを使用してもよく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。

なお、図１３の画像信号処理部１６における処理を、例えば図２２に示すような画像信号処理装置９０によって、ソフトウェアで実現することも可能である。

まず、図２２に示す画像信号処理装置９０について説明する。この画像信号処理装置９０は、装置全体の動作を制御するＣＰＵ９１と、このＣＰＵ９１の動作プログラムや係数種データ等が格納されたＲＯＭ（read only memory）９２と、ＣＰＵ９１の作業領域を構成するＲＡＭ（random access memory）９３とを有している。これらＣＰＵ９１、ＲＯＭ９２およびＲＡＭ９３は、それぞれバス９４に接続されている。

また、画像信号処理装置９０は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）９５と、フロッピー（登録商標）ディスク９６をドライブするフロッピー（登録商標）ディスクドライブ（ＦＤＤ）９７とを有している。これらドライブ９５，９７は、それぞれバス９４に接続されている。

また、画像信号処理装置９０は、インターネット等の通信網１１０に有線または無線で接続する通信部９９を有している。この通信部９９は、インタフェース９９を介してバス９４に接続されている。

また、画像信号処理装置９０は、ユーザインターフェース部を備えている。このユーザインタフェース部は、リモートコントローラ１１１からのリモコン信号Ｓ２０を受信するリモコン信号受信信号１００と、ＬＣＤ（liquid crystal display）等からなるディスプレイ１０１とを有している。リモコン信号受信回路１００はインタフェース１０２を介してバス９４に接続され、同様にディスプレイ１０１はインタフェース１０３を介してバス９４に接続されている。

また、画像信号処理装置９０は、入力画像信号Ｓ６としての５２５ｉ信号を入力するための入力端子１０４と、出力画像信号Ｓ７を出力するための出力端子１０５とを有している。入力端子１０４はインタフェース３１６を介してバス９４に接続され、同様に出力端子１０５はインタフェース３１７を介してバス９４に接続される。

ここで、上述したようにＲＯＭ９２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網１１０より通信部９９を介してダウンロードし、ハードディスクやＲＡＭ９３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー（登録商標）ディスク９６で提供するようにしてもよい。

また、入力画像信号Ｓ６としての５２５ｉ信号を入力端子１０４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網１１０より通信部９９を介してダウンロードしてもよい。また、出力画像信号Ｓ７を出力端子１０５に出力する代わり、あるいはそれと並行してディスプレイ１０１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部９９を介してインターネットなどの通信網１１０に送出するようにしてもよい。

図２３の画像信号処理手順ＲＴ４を参照して、図２２に示す画像信号処理装置９０における、入力画像信号Ｓ６より出力画像信号Ｓ７を得るため処理手順を説明する。

まず、ステップＳＰ４０で、処理を開始し、ステップＳＰ４１で、入力画像信号Ｓ６をフレーム単位またはフィールド単位で入力する。この入力画像信号Ｓ６が入力端子１０４より入力される場合には、この入力画像信号Ｓ６を構成する画素データをＲＡＭ９３に一時的に格納する。また、この入力画像信号Ｓ６がハードディスクに記録されている場合には、ハードディスクドライブ３０７でこの入力画像信号Ｓ６を読み出し、この入力画像信号Ｓ６ を構成する画素データをＲＡＭ９３に一時的に格納する。そして、ステップＳＰ４２で、入力画像信号Ｓ６の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＰ４３で、処理を終了する。一方、処理が終わっていないときは、ステップＳＰ４４に進む。

このステップＳＰ４４では、ユーザがリモートコントローラ２を操作して選択した変換方法（表示画像の倍率も含む）に対応するｎ／ｍの値を用いて、出力画像信号Ｓ７を構成する単位画素ブロック内の各画素の位相情報ｈ，ｖを発生する。そして、ステップＳＰ４５で、単位画素ブロック内の各画素の位相情報ｈ，ｖおよび各クラスの係数種データを使用して、生成式（例えば（１３）式）によって、単位画素ブロック内の各画素にそれぞれ対応して、各クラスの推定式（（１２）式参照）の係数データＷｉを生成する。

次に、ステップＳＰ４６で、ステップＳＰ４１で入力された入力画像信号Ｓ６の画素データより、生成すべき出力画像信号Ｓ７を構成する単位画素ブロック内の画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＰ４７で、入力された入力画像信号Ｓ６の画素データの全領域において出力画像信号Ｓ７の画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＰ４１に戻り、次のフレームまたはフィールドの入力画像信号Ｓ６の入力処理に移る。一方、処理が終了していないときは、ステップＳＰ４８に進む。

このステップＳＰ４８では、ステップＳＰ４６で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＰ４９で、そのクラスコードＣＬに対応した係数データと予測タップのＳＤ画素データを使用して、推定式により、出力画像信号Ｓ７を構成する単位画素ブロック内の各画素のデータを生成し、その後にステップＳＰ４６に戻って、上述したと同様の処理を繰り返す。

このように、図２３に示す画像信号処理手順ＲＴ４に沿って処理をすることで、入力された入力画像信号Ｓ６の画素データを処理して、出力画像信号Ｓ７の画素データを得ることができる。上述したように、このように処理して得られた出力画像信号Ｓ７は出力端子１０５に出力されたり、ディスプレイ１０１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ９５に供給されてハードディスクに記録されたりする。

また、処理装置の図示は省略するが、図１９の係数種データ生成装置６０における処理を、ソフトウェアで実現することも可能である。

図２４に示す係数種データ生成処理手順ＲＴ５を参照して、係数種データを生成するための処理手順を説明する。まず、ステップＳＰ５０で、処理を開始し、ステップＳＰ５１で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータＨ，Ｖで特定される）を選択する。そして、ステップＳＰ５２で、全ての位相シフト値に対して学習が終わったか否かを判定する。全ての位相シフト値に対して学習が終わっていないときは、ステップＳＰ５３に進む。

このステップＳＰ５３では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＰ５４で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了したときは、ステップＳＰ５１に戻って、次の位相シフト値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＰ５５に進む。

このステップＳＰ５５では、ステップＳＰ５３で入力されたＨＤ画素データより、ステップＳＰ５１で選択された位相シフト値だけ位相シフトされたＳＤ画素データを生成する。そして、ステップＳＰ５６で、ステップＳＰ５５で生成されたＳＤ画素データより、ステップＳＰ５３で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＰ５７で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＰ５３に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＰ５８に進む。

このステップＳＰ５８では、ステップＳＰ５６で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＰ５９で、正規方程式（（２１）式参照）を生成する。その後に、ステップＳＰ５６に戻る。

また、ステップＳＰ５２で、全ての位相シフト値に対して学習が終わったときは、ステップＳＰ６０に進む。このステップＳＰ６０では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＰ６１で、その係数種データをメモリに保存し、その後にステップＳＰ６２で、処理を終了する。

このように、図２４に示す係数種データ生成処理手順ＲＴ５に沿って処理をすることで、図１９に示す係数種データ生成装置６０と同様の手法によって、各クラスの係数種データを得ることができる。

また、処理装置の図示は省略するが、図２１の係数種データ生成装置６０′における処理も、ソフトウェアで実現可能である。

図２５の係数種データ生成処理手順ＲＴ６を参照して、係数種データを生成するための処理手順を説明する。まず、ステップＳＰ７０で、処理を開始し、ステップＳＰ７１で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータＨ，Ｖで特定される）を選択する。そして、ステップＳＰ７２で、全ての位相シフト値に対する係数データの算出処理が終了したか否かを判定する。終了していないときは、ステップＳＰ７３に進む。

このステップＳＰ７３では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＰ７４で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了していないときは、ステップＳＰ７５で、ステップＳＰ７３で入力されたＨＤ画素データより、ステップＳＰ７１で選択された位相シフト値だけ位相シフトされたＳＤ画素データを生成する。

そして、ステップＳＰ７６で、ステップＳＰ７５で生成されたＳＤ画素データより、ステップＳＰ７３で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＰ７７で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＰ７３に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＰ７８に進む。

このステップＳＰ７８では、ステップＳＰ７６で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＰ７９で、係数データを得るための正規方程式（（２８）式参照）を生成する。その後に、ステップＳＰ７６に戻る。

上述したステップＳＰ７４で、全てのＨＤ画素データについて処理が終了したときは、ステップＳＰ８０で、ステップＳＰ７９で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップＳＰ７１に戻って、次の位相シフト値を選択して、上述したと同様の処理を繰り返し、次の位相シフト値に対応した、各クラスの係数データを求める。

また、上述のステップＳＰ７２で、全ての位相シフト値に対する係数データの算出処理が終了したときは、ステップＳＰ８１に進む。このステップＳＰ８１では、全ての位相シフト値に対する係数データから、係数種データを求めるための正規方程式（（３３）式参照）を生成する。

そして、ステップＳＰ８２で、ステップＳＰ８１で生成された正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＰ８３で、その係数種データをメモリに保存し、その後にステップＳＰ８４で、処理を終了する。

このように、図２５に示す係数種データ生成処理手順ＲＴ６に沿って処理をすることで、図２１に示す係数種データ生成装置６０′と同様の手法によって、各クラスの係数種データを得ることができる。

（３）本実施の形態の動作及び効果
以上の構成において、このテレビジョン受像機１では、ズーム機能が起動されると、図２６に示すズーム処理手順ＲＴ７に従って、まずそのときのユーザが視聴している画像の入力源及びジャンルをユーザ視聴情報として取得する（ステップＳＰ９１）。

次いで、このユーザ視聴情報Ｄ２に従って特徴量テーブル３４（図９）を参照しながら、そのときユーザが見ていた画像内を探索して、特徴量テーブル３４に登録されたいずれかの特徴量組合せパターンと類似する特徴量組合せパターンを有する箇所を順次検出し、その位置等を候補リスト３６（図１２）に順次登録する（ステップＳＰ９２）。

その後候補リスト３６に登録された、いくつかの探索位置の中から１つをユーザが所望するであろうズーム位置、対応する平均ズーム率をユーザが所望するであろうズーム率と推定し、その位置にそのズーム率に応じた大きさのズーム枠３を表示する（ステップＳＰ９３）。

そしてテレビジョン受像機１は、この後ズーム位置及びズーム率が決定（ズーム設定）されるのを待ち受け（ステップＳＰ９４）、この間ユーザ操作によってズーム位置又はズーム率を変更するような入力があったときにはこれに応じてズーム枠３の位置又は大きさを変更する（ステップＳＰ９５）。

テレビジョン受像機１は、やがてユーザ操作によってズーム位置又はズーム率を決定する入力があったときには、そのときの時刻、ズーム位置及びズーム率をユーザ操作情報Ｄ１、そのときディスプレイ部１８に表示していた画像の入力源及びジャンルをユーザ視聴情報Ｄ２、当該画像の各種項目の特徴量をユーザ視聴画像情報Ｄ３として、表示最適化部１９の蓄積装置３１Ａ（図５）に蓄積する（ステップＳＰ９６）。

この後データ解析部２０によってこの蓄積装置３１Ａに蓄積された１回分のズーム情報Ｄ４（ユーザ操作情報Ｄ１、ユーザ視聴情報Ｄ２及びユーザ視聴画像情報）を読み出し（ステップＳＰ９７）、データ解析部２０において記憶保持された各特徴量組合せパターンに対する各カウント値のうちの該当する特徴量組合せパターンに対応するカウント値がカウントアップする（ステップＳＰ９８）。さらにこの後この結果に基づいて、必要に応じて表示最適化部１９に保持された特徴量テーブル３４を更新する（ステップＳＰ９９）。

従って、このテレビジョン受像機１では、ユーザがリモートコントローラ２を操作してズーム機能を起動したときに、固定のデフォルト位置及び大きさでズーム枠３が表示される場合に比して、そのときユーザがズームを望む位置にユーザが望む大きさでズーム枠３が表示される可能性が高く、その分ズーム機能の起動後のズーム位置及びズーム率に対する煩雑な調整作業を軽減させることができる。

以上の構成によれば、上述のようなユーザの過去のズーム設定時のユーザ操作情報Ｄ１、ユーザ視聴情報Ｄ２及びユーザ視聴画像情報Ｄ３を順次蓄積すると共に、これらユーザ操作情報Ｄ１、ユーザ視聴情報Ｄ２及びユーザ視聴画像情報Ｄ３に基づいてズームに関するユーザの傾向を解析し、その後ズーム機能が起動されたときに、この解析結果に基づいてユーザが所望するであろう位置に所望するであろう大きさでズーム枠３を表示するようにしたことにより、ズーム機能の起動後のズーム位置及びズーム率に対する煩雑な調整作業を軽減させることができ、かくして使い勝手を格段的に向上させ得るテレビジョン受像機を実現できる。

（４）他の実施の形態
なお上述の実施の形態においては、ズーム機能の起動時に、ユーザが所望するであろうズーム位置及びズーム率の推定結果に基づくズーム枠３を１つだけ表示するようにした場合について述べたが、本発明はこれに限らず、例えば候補リストに登録された各探索位置の中から複数の探索位置をユーザが所望するであろうズーム位置の推定結果として、図２７に示すように、その位置及び対応するズーム率をそれぞれ初期状態として複数のズーム枠３Ａ〜３Ｃを表示するようにしても良い。またこの場合において、これらズーム枠３Ａ〜３Ｃを優先度をつけて表示するようにしても良い。なおこの場合における優先度は、例えば候補リストに登録された対応する探索位置の対応する評価値に基づいてつけることができる。

また上述の実施の形態においては、そのときの表示画像の特徴を表す画像情報として、ズーム対象の動きの大きさ、主な色成分、色の割合、アクティビティ、割合の高い上位２種類のアクティビティなどのパラメータ値（特徴量）を取得するようにした場合について述べたが、本発明はこれに限らず、これらに加え又は代えて例えばズーム対象の動きの向きなどの他の項目のパラメータ値（特徴量）を取得するようにしても良い。

さらに上述の実施の形態においては、表示最適化部１９の視聴情報取得部３０が、（１）式で与えられるユーザがズーム位置及びズーム率を決定した瞬間のズーム中心の点の動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）の大きさをそのときのズーム対象の『動きの大きさ』を表す特徴量として取得するようにした場合について述べたが、本発明はこれに限らず、当該動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）の大きさを誤って算出する可能性があることを考慮して、例えばズーム中心の点とその周辺８点の動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）から多数決によって主要な動きを決定し、その動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）の大きさを、そのときのズーム対象の『動きの大きさ』を表す特徴量として取得するようにしても良い。このようにすることによって、ズーム対象の『動きの大きさ』として、統計的に確からしい動きの大きさを用いることができる。

また入力画像信号Ｓ６に基づく画像内の全ての画素の動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）を算出することなく、あるサンプリング間隔（水平α画素、垂直β画素、α及びβは共に整数）ごとに動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）を常時算出し、ユーザが決定したズーム中心の点がサンプル点上にある場合にはそのサンプル点の動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）、ない場合には最も近いサンプル点の動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）をそのときのズーム対象の『動きの大きさ』を表す特徴量として取得するようにしても良い。

さらに表示最適化部１９の蓄積部３１における蓄積装置３１Ａの容量が十分ある場合には、図４において斜線で示す範囲３３内の全画素の動きベクトルＭ_ｖ（ｖ_ｘ，ｖ_ｙ）をそのときのズーム対象の『動きの大きさ』を表す特徴量として取得するようにしても良い。

さらに上述の実施の形態においては、表示最適化部１９の視聴情報取得部３０が、ユーザがズーム位置を決定した瞬間のズーム中心の点の画素の輝度成分、第１の色差成分及び第２の色差成分をズーム対象の『主な色成分』を表す特徴量として取得するようにした場合について述べたが、本発明はこれに限らず、ズーム対象の『主な色成分』を表す特徴量として、次式

で計算される注目画素（例えばズーム中心の画素）及びその周辺８画素の輝度成分、第１の色差成分及び第２の色差成分の各平均値の組み合わせをズーム対象の『主な色成分』を表す特徴量として取得するようにしても良く、このようにすることによって暴れをなくすことができる。なおこの（３６）式において、ｉ、ｊは整数であり、（ｘ，ｙ）は注目画素の位置を示し、Ｙ（ｘ，ｙ）、Ｕ（ｘ，ｙ）及びＶ（ｘ，ｙ）はそれぞれ当該画素の輝度成分、第１の色差成分又は第２の色差成分の値を示す。

また表示最適化部１９の蓄積部３１における蓄積装置３１Ａの容量が十分ある場合には、図４において斜線で示す範囲３３内の全ての画素の輝度成分、第１の色差成分及び第２の色差成分をそのときのズーム対象の『主な色成分』を表す特徴量として取得するようにしても良い。

さらに上述の実施の形態においては、聴情報取得部３０が、各画素ごとの輝度成分の分散値又はユーザがズーム位置を決定した瞬間のズーム中心の点の画素を注目画素とする（２）式の演算結果をそのときのズーム対象の『アクティビティ』を表す特徴量として算出するようにした場合について述べたが、本発明はこれに限らず、表示最適化部１９の蓄積部３１における蓄積装置３１Ａの容量が十分ある場合には、図４において斜線で示す範囲３３内の全画素のアクティビティの頻度分布の結果をそのときのズーム対象の『アクティビティ』を表す特徴量として取得するようにしても良い。

さらに上述の実施の形態においては、データ解析部２０が特徴量テーブル３４を作成する際に、表示最適化部１９の蓄積部３１における蓄積装置３１Ａに蓄積されたズーム情報Ｄ４（ユーザ操作情報Ｄ１、ユーザ視聴情報Ｄ２及びユーザ視聴画像情報Ｄ３）を累積的に使用して図７について上述したデータ解析処理を行うようにした場合について述べたが、本発明はこれに限らず、ユーザ操作情報Ｄ１に含まれるユーザがズーム位置及びズーム率を決定した瞬間の時刻の情報を用いて、最新の所定数個のズーム情報Ｄ４を用いてデータ解析処理を行うようにしても良い。このようにすることによって、ユーザの嗜好の変化に機動的に対応しながらのデータ解析処理を行うことができる。

さらに上述の実施の形態においては、表示最適化部１９が、図１２について上述した候補リスト３６に登録された探索位置の中から１つの探索位置をユーザが所望するであろうズーム位置の推定結果として選択する際に、なるべく優先度が高くかつ評価値が高い探索位置を選択するようにした場合について述べたが、本発明はこれに限らず、例えば優先度に応じた重み付けを掛けた評価値が全体の中で最大のものを選択するようにしても良い。なお、この場合の重みの係数としては、例えば優先度の逆比を利用するようにしても良い。

さらに上述の実施の形態においては、表示最適化部１９が（７）式で与えられる演算を実行することにより、検出特徴量と参照特徴量との距離Distance（ｉ，ｊ，ｍ，ｐ）を項目ごとにそれぞれ算出し、算出した距離Distance（ｉ，ｊ，ｍ，ｐ）がその項目について予め定められた閾値ＴＨ_{Distance（ｉ，ｊ，ｍ，ｐ）}以下である項目の数が予め定められた所定数以上であった場合に、その探索位置において検出した各項目の特徴量の組合わせパターンが特徴量テーブル３４に登録されている特徴量組合せパターンのうちの現在比較対象としている特徴量組合せパターンと類似すると判断するようにした場合について述べたが、本発明はこれに限らず、例えば次式

で表される各項目０〜ｍの特徴量の距離Distance（ｉ，ｊ，ｍ，ｐ）の線形和を評価値Eval（ｉ，ｊ，ｐ）とし、その値が経験的に得られた固定の閾値ＴＨ_{Eval（ｉ，ｊ，ｍ）}以下のときにその探索位置において検出した各項目の特徴量の組合わせパターンが特徴量テーブル３４に登録されている特徴量組合せパターンのうちの現在比較対象としている特徴量組合せパターンと類似すると判断するようにしても良い。なおこの（３７）式において、ｗ_ｍ（ｍ＝０，１，２，……，ｍ）は重み付け係数であり、これらの値は経験的に得られた固定値であっても良いし、特徴量が全体に占める割合をそのまま係数としても良い。

この場合、かかる評価値Eval（ｉ，ｊ，ｐ）は各項目０〜ｍの特徴量の距離Distance（ｉ，ｊ，ｍ，ｐ）の線形和であり、小さいほど確からしいと判断することができることから、候補リスト３６に登録された探索位置の中から１つの探索位置をユーザが所望するであろうズーム位置の推定結果として選択する際に、なるべく優先度が高くかつ評価値が小さい探索位置を選択するようにする。例えば図１２の例では、優先度が最も高い「１」である候補が３つ存在するが、このときのこれら３つの各候補の評価値Eval_１〜Eval_３が（８）式の関係がある場合には、最も評価値が小さい探索位置（ｘ_０，ｙ_０）が選択されることとなる。

またこの例では優先度が高いものから選択していたのに対し、優先度に応じた重み付けを掛けた評価値が全体の中で小さいものを選択するようにしても良い。このときの重みの係数としては、例えば優先度をそのまま用いることができる。

さらに上述の実施の形態においては、データ解析部２０がテレビジョン受像機１の内部に設けられ、かかるデータ解析処理をオフラインでリアルタイムにテレビジョン受像機１の内部において行うようにした場合について述べたが、本発明はこれに限らず、例えば表示最適化部１９の蓄積装置３１Ａにある程度のズーム情報Ｄ４が蓄積された段階で蓄積部３１をテレビジョン受像機１から取り出し、かかるデータ解析処理をテレビジョン受像機１の外部において行い、かくして得られた特徴量テーブル３４を蓄積部３１のテーブル保持部３１Ｂに格納してから、この蓄積部３１をテレビジョン受像機１に戻すようにしても良い。

また蓄積装置３１Ａだけでなく、表示最適化部１９全体をテレビジョン受像機１から取り出し、かかるデータ解析処理をテレビジョン受像機１の外部において行い、不必要と考えられる特徴量について処理（収集及び蓄積）を削除すると共に、新たに必要と考えられる新たな特徴量についての処理を追加してから、この表示最適化部１９をテレビジョン受像機１に戻すようにしても良い。

さらにテレビジョン受像機１をオンラインで外部機器と接続することによって、蓄積部３１の蓄積装置３１Ａに蓄積されたズーム情報Ｄ４をネットワークを介して外部装置に転送できるようにテレビジョン受像機１を構築し、当該ネットワークを介して転送されるズーム情報Ｄ４に基づいて外部機器がリアルタイム又は非リアルタイムでデータ解析を行い、かくして得られた特徴量テーブル３４を外部機器がネットワークを介してテレビジョン受像機１の蓄積部３１のテーブル保持部３１Ｂに書き込むことができるようにしても良い。

本発明は、ズーム機能を有するテレビジョン受像機のほか、ズーム機能を有する種々の画像表示装置に広く適用することができる。

本実施の形態によるテレビジョン受像機の構成を示すブロック図である。 画面上に表示されるズーム枠の説明に供する略線図である。 表示最適化部の構成を示すブロック図である。 視聴情報取得部における画像情報の取得範囲の説明に供する略線図である。 蓄積部の具体的構成を示すブロック図である。 蓄積装置におけるズーム情報の蓄積フォーマットを示す概念図である。 データ解析処理手順を示すフローチャートである。 データ分類処理手順を示すフローチャートである。 特徴量テーブルの説明に供する概念図である。 ズーム位置及び率表示部２１におけるズーム位置の探索処理の説明に供する略線図である。 ズーム位置及び率候補推定処理手順を示すフローチャートである。 候補リストの説明に供する概念図である。 画像信号処理部の構成を示すブロック図である。 係数種データの生成方法の一例の概念を示す概念図である。 ５２５ｉ信号（ＳＤ信号）と１０５０ｉ信号（ＨＤ信号）の画素位置関係を示す概念図である。 垂直方向への８段階の位相シフトを説明するための概念図である。 水平方向への４段階の位相シフトを説明するための概念図である。 ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す概念図である。 係数種データ生成装置の構成例を示すブロック図である。 係数種データの生成方法の他の例の概念を示す概念図である。 係数種データ生成装置の他の構成例を示すブロック図である。 ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。 画像信号処理手順を示すフローチャートである。 係数種データ生成処理手順（１）を示すフローチャートである。 係数種データ生成処理手順（２）を示すフローチャートである。 本実施の形態のテレビジョン受像機におけるズーム機能に関する処理内容を示すフローチャートである。 他の実施の形態を示す概念図である。 ５２５ｉ信号と１０８０ｉ信号の画素位置関係を示す図である。 ５２５ｉ信号と１０８０ｉ信号の画素の垂直方向の位相関係を示す図である。 ５２５ｉ信号と１０８０ｉ信号の画素の水平方向の位相関係を示す図である。 ５２５ｉ信号とＸＧＡ信号の画素位置関係を示す図である。 ５２５ｉ信号とＸＧＡ信号の画素の垂直方向の位相関係を示す図である。 ５２５ｉ信号とＸＧＡ信号の画素の水平方向の位相関係を示す図である。 ユーザインタフェース例を示す略線図である。

符号の説明

１……テレビジョン受像機、２……リモートコントローラ、１１……システムコントローラ、１６……画像信号処理部、１７……画像信号合成部、１８……ディスプレイ部、１９……表示最適化部、２０……データ解析部、２１……ズーム位置及び率表示部、３０……視聴情報取得部、３１……蓄積部、３１Ａ……蓄積装置、３１Ｂ……テーブル保持部、３２……ズーム位置及び率候補推定部、３４……特徴量テーブル、Ｓ６……入力画像信号、Ｓ７……出力画像信号、Ｓ８……ＥＰＧ情報信号、Ｓ９……操作内容情報信号、Ｓ１０……ズーム位置及び率推定信号、Ｓ１１……画像信号、Ｄ１……ユーザ操作情報、Ｄ２……ユーザ視聴情報、Ｄ３……ユーザ視聴画像情報、Ｄ４……ズーム情報、ＲＴ１……データ解析処理手順、ＲＴ２……データ分類処理手順、ＲＴ３……ズーム位置及び率候補推定処理手順。

Claims (14)

1. ユーザによる表示画像の一部を拡大表示するズーム機能の起動操作に応じて、拡大表示すべき上記表示画像の位置と、拡大表示する際の倍率とを示すズーム設定を初期状態で表示すると共に、上記ユーザの操作に応じて上記ズーム設定を更新しながら、現在の上記ズーム設定を表示する表示手段と、
   拡大表示の対象の動きの大きさ、色成分及び画像の複雑さの項目それぞれに関する特徴量を含み、上記表示画像の特徴を表す画像情報を取得する取得手段と、
   上記ズーム設定が決定されたときの当該ズーム設定と、そのとき上記取得手段が取得した上記画像情報とを対応付けたサンプルを蓄積する蓄積手段と、
   上記蓄積手段に蓄積された上記サンプルにおける各上記項目の上記特徴量の組合せパターンを、当該各項目の特徴量が予め定められた複数の区分のうちのどの区分に属するかを判定することにより分類すると共に、上記組合せパターンに分類された全ての上記サンプルにおける上記倍率の合計値をその出現頻度で除算して当該組合せパターンにおける平均的なズーム率である平均倍率を算出して当該組合せパターンと対応付けることにより、過去の上記拡大表示の対象に対する解析結果を記憶する記憶手段と、
   上記表示画像における所定の探索位置において上記取得手段が取得した上記画像情報における上記特徴量の上記組合せパターンが、上記記憶手段に記憶された上記解析結果におけるいずれかの上記組合せパターンと類似する箇所が存在するか否かを、取得した上記特徴量である検出特徴量と、記憶された上記特徴量である参照特徴量との距離を上記項目ごとにそれぞれ算出し、当該距離が所定の閾値以下である項目の数が予め定められた所定数以上であるか否かを判定することにより探索し、存在する場合当該組合せパターンにおける上記平均ズーム率を上記ズーム設定の上記倍率の上記初期状態として設定すると共に、そのときの上記探索位置を上記ズーム設定の上記表示画像の位置の上記初期状態として設定することにより、上記ユーザが所望するであろう上記ズーム設定を推定する推定手段と
   を有する情報処理装置。
2. 上記取得手段は、
   上記表示画像の上記画像情報と併せて当該表示画像の属性を表す属性情報を取得し、
   上記蓄積手段は、
   上記画像情報と対応付けて上記属性情報を蓄積し、
   上記記憶手段は、
   上記蓄積手段に蓄積された上記サンプルにおける上記ズーム設定、上記画像情報及び上記属性情報に基づき得られる過去の上記拡大表示の対象に対する、上記属性ごとに頻度に応じて優先度が付された複数の組合せパターンでなる上記解析処理の上記解析結果を記憶し、
   上記推定手段は、
   上記記憶手段に記憶された上記解析結果における上記優先度が高い所定の上位数種類の上記組合せパターンについて、そのとき上記取得手段が取得した上記画像情報及び上記属性情報における組合せパターンと類似する箇所が存在するか否かを判定することにより、上記ユーザが所望するであろう上記ズーム設定を推定し、推定結果を上記ズーム設定の上記初期状態として設定する
   請求項１に記載の情報処理装置。
3. 上記属性情報は、
   上記表示画像の入力源及び番組のジャンルである
   請求項２に記載の情報処理装置。
4. 上記蓄積手段に蓄積された過去の上記ズーム設定及び上記画像情報に基づいて過去の上記拡大表示の対象に対する上記解析処理をリアルタイムで実行し、得られた上記解析結果に基づいて、上記ユーザの操作に応じて上記記憶手段が記憶している上記解析結果を更新する解析手段
   を有する請求項１に記載の情報処理装置。
5. 上記記憶手段に記憶された上記解析結果は、
   上記蓄積手段に蓄積された上記サンプルにおける上記ズーム設定及び上記画像情報に基づく過去の上記拡大表示の対象に対する上記解析処理を外部において実行することにより得られる
   請求項１に記載の情報処理装置。
6. 上記取得手段は、
   複数種類の上記画像情報を取得し、
   上記記憶手段に記憶された上記解析結果は、
   頻度に応じて優先度が付された複数の上記画像情報の組合せパターンである
   請求項１に記載の情報処理装置。
7. 上記推定手段は、
   上記ユーザが所望するであろう上記ズーム設定を複数推定し、各上記推定結果を上記ズーム設定の初期状態としてそれぞれ設定し、
   上記表示手段は、
   設定された複数の上記ズーム設定の各上記初期状態を表示する
   請求項１に記載の情報処理装置。
8. ユーザによる表示画像の一部を拡大表示するズーム機能の起動操作に応じて、拡大表示すべき上記表示画像の位置と、拡大表示する際の倍率とを示すズーム設定を初期状態で表示すると共に、上記ユーザの操作に応じて上記ズーム設定を更新しながら、現在の上記ズーム設定を表示する第１のステップと、
   上記ズーム設定が決定されたときの当該ズーム設定と、そのときの拡大表示の対象の動きの大きさ、色成分及び画像の複雑さの項目それぞれに関する特徴量を含み、上記表示画像の特徴を表す画像情報とを対応付けたサンプルを蓄積する第２のステップと、
   蓄積された上記サンプルにおける各上記項目の上記特徴量の組合せパターンを、当該各項目の特徴量が予め定められた複数の区分のうちのどの区分に属するかを判定することにより分類すると共に、上記組合せパターンに分類された全ての上記サンプルにおける上記倍率の合計値をその出現頻度で除算して当該組合せパターンにおける平均的なズーム率である平均倍率を算出して当該組合せパターンと対応付けることにより、過去の上記拡大表示の対象に対する解析結果を記憶する第３のステップと、
   上記表示画像における所定の探索位置において取得した上記画像情報における上記特徴量の上記組合せパターンが、記憶された上記解析結果におけるいずれかの上記組合せパターンと類似する箇所が存在するか否かを、取得した上記特徴量である検出特徴量と、記憶された上記特徴量である参照特徴量との距離を上記項目ごとにそれぞれ算出し、当該距離が所定の閾値以下である項目の数が予め定められた所定数以上であるか否かを判定することにより探索し、存在する場合当該組合せパターンにおける上記平均ズーム率を上記ズーム設定の上記倍率の上記初期状態として設定すると共に、そのときの上記探索位置を上記ズーム設定の上記表示画像の位置の上記初期状態として設定することにより、上記ユーザが所望するであろう上記ズーム設定を推定する第４のステップと、
   を有する情報処理方法。
9. 上記第２のステップでは、
   上記表示画像の上記画像情報と併せて当該表示画像の属性を表す属性情報を取得すると共に、上記画像情報と対応付けて上記属性情報を蓄積し、
   上記第３のステップでは、
   蓄積した上記サンプルにおける上記ズーム設定、上記画像情報及び上記属性情報に基づき得られる過去の上記拡大表示の対象に対する、上記属性ごとに頻度に応じて優先度が付された複数の組合せパターンでなる上記解析処理の上記解析結果を記憶し、
   上記第４のステップでは、
   記憶した上記解析結果における上記優先度が高い所定の上位数種類の上記組合せパターンについて、そのとき取得した上記画像情報及び上記属性情報における組合せパターンと類似する箇所が存在するか否かを判定することにより、上記ユーザが所望するであろう上記ズーム設定を推定し、推定結果を上記ズーム設定の上記初期状態として設定する
   請求項８に記載の情報処理方法。
10. 上記属性情報は、
    上記表示画像の入力源及び番組のジャンルである
    請求項９に記載の情報処理方法。
11. 上記第３のステップでは、
    蓄積された過去の上記ズーム設定及び上記画像情報に基づいて過去の上記拡大表示の対象に対する上記解析処理をリアルタイムで実行し、得られた上記解析結果に基づいて、上記ユーザの操作に応じて記憶している上記解析結果を更新する
    請求項８に記載の情報処理方法。
12. 上記第３のステップにおいて記憶する上記解析結果は、
    上記第２のステップにおいて蓄積した上記サンプルにおける上記ズーム設定及び上記画像情報に基づく過去の上記拡大表示の対象に対する上記解析処理を外部において実行することにより得られる
    請求項８に記載の情報処理方法。
13. 上記第２のステップでは、
    複数種類の上記画像情報を蓄積し、
    上記第３のステップにおいて記憶する上記解析結果は、
    頻度に応じて優先度が付された複数の上記画像情報の組合せパターンである
    請求項８に記載の情報処理方法。
14. 上記第４のステップでは、
    上記ユーザが所望するであろう上記ズーム設定を複数推定し、各上記推定結果を上記ズーム設定の初期状態としてそれぞれ設定し、
    上記第１のステップでは、
    設定された複数の上記ズーム設定の各上記初期状態を表示する
    請求項８に記載の情報処理方法。

Images