WO2004055775A1

WO2004055775A1 - 画像信号処理装置、画像信号処理方法、その方法を実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な媒体

Info

Publication number: WO2004055775A1
Application number: PCT/JP2003/015977
Authority: WO
Inventors: Tetsujiro Kondo; Nobuyuki Asakura; Takeharu Nishikata; Takuo Morimura; Kei Hiraizumi; Hirosuke Nagano; Sakon Yamamoto
Original assignee: Sony Corporation
Priority date: 2002-12-13
Filing date: 2003-12-12
Publication date: 2004-07-01
Also published as: JP2004191856A; KR101024960B1; US7385650B2; EP1587058A1; KR20050085293A; US20060038920A1; JP4026491B2; EP1587058A4; CN1726529A; CN100407755C

Description

明細書画像信号処理装置、画像信号処理方法、その方法を実行するためのプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な媒体技術分野

この発明は、画像の拡大率（画像サイズ）を連続的に変化させた画像（ズーム画像）を表示する際に適用して好適な画像信号処理装置、画像信号処理方法、その方法を実行するためのプログラム、およびそのプログラムを記録したコンビュータ読み取り可能な媒体に関する。

詳しくは、この発明は、出力画像信号による画像の画質を少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整することによって、ズーム画像の画質向上を図るようにした画像信号処理装置等に係るものである。背景技術

画像の拡大率を変換するためには、入力画像信号の画素データとは異なった位相の画素データを求めて出力画像信号を得る必要がある。この場合、変換後の画像の拡大率によって、入力画像信号の画素に対する出力画像信号の画素の位相関係が一義的に決まる。

従来、画像の拡大率を変換するために入力画像信号の画素データより出力画像信号の画素データを得る際に、入力画像信号の画素に対する出力画像信号の画素の各位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって出力画像信号の画素データを求めることが提案されている。

変換後の画像の拡大率が異なれば、入力画像信号の画素に対する出力画像信号の画素の位相関係は異なったものとなる。そのため、推定式の係数データをメモリに格納しておくものにあっては、種々の拡大率への変換を行う場合、それぞれの拡大率に対応して係数データをメモリに格納しておく必要がある。したがって、その場合には、大量の係数データを格納しておくメモリが必要となり、変換装置が高価なものとなる等の不都合がある。

そこで、本出願人は、先に、位相情報に基づいて係数種データより推定式で用いられる係数データを生成することで、種々の拡大率への変換をするために大量の係数データを格納しておくメモリを不要とできる装置を提案した（特開 2 0 0 2 - 1 9 6 7 3 7号公報参照）。

例えば、画像の拡大率を連続して変化させていくことで、電子ズームを実現できる。この電子ズームには、静止画を拡大した場合画像全体にボケが生じる、動画を拡大した場合、静動の切り替わり目において折り返し歪みが発生する、さらに入力画像信号にノィズがある場合拡大した画像においてノイズが目立つという問題があった。また他にも、ズーム時の画像の拡大率の変化速度が大きい場合、入力画像信号の処理領域の時間的な変動が大きく、視覚的に滑らかなズーム画像を達成できないといつた問題があつた。発明の開示

この発明の目的は、画像の拡大率を連続的に変化させて得られるズーム画像の画質向上を図ることにある。

この発明に係る画像信号処理装置は、複数の画素データからなる第 1の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第 2の画像信号を生成する画像信号処理装置であって、各拡大率に対応した、第 2の画像信号における注目位置の位相情報を発生させる位相情報発生手段と、この位相情報発生手段で発生された位相情報に対応して、第 2の画像信号における注目位置の画素データを生成する画素データ生成手段と、第 2の画像信号による画像の画質を、少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整する画質調整手段とを備えるものである。

また、この発明に係る画像信号処理方法は、複数の画素データからなる第 1の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第 2の画像信号を生成する画像信号処理方法であって、各拡大率に対応した、第 2の画像信号における注目位置の位相情報を発生させるステップと、この位相情報に対応して、上記第 2の画像信号における注目位置の画素データを生成するステツプと、第 2の画像信号による画像の画質を、少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整するステップとを備えるものである。

また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。

この発明においては、各拡大率に対応した、第 2の画像信号における注目位置の位相情報が発生される。この位相情報に対応して、第 2の画像信号における注目位置の画素データが生成される。この画素データの生成は、例えば推定式を用いて行われる。すなわち、位相情報に対応した推定式で用いられる係数データが発生されると共に、第 1の画像信号に基づいて、第 2の画像信号における注目位置の周辺に位置する複数の画素データが選択され、これら係数データおょぴ複数の画素データを用いて、推定式に基づいて第 2の画像信号における注目位置の画素データが算出される。

このように推定式を用いて画素データを生成するものにあっては、第 2の画像信号に対応した教師信号と第 1の画像信号に対応した生徒信号とを用いた学習処理によつて得られた係数データを用いることで、第 2の画像信号における注目位置の画素データとして、線形捕間等で得るものと比べて精度の良いものを得ることができる。

例えば、係数データは以下のようにして発生される。すなわち、記憶手段に、推定式で用いられる係数データを生成する、位相情報をパラメータとして含む生成式における係数データである係数種データが格納されている。この係数種データと位相情報とが用いられて、生成式に基づいて推定式で用いられる係数データが生成される。この場合、各拡大率に対応した係数データをメモリに格納しておくものではなく、大量の係数データを格納しておくメモリが不要となる。

また例えば、係数データは以下のようにして発生される。すなわち、記憶手段に、位相情報発生手段で発生し得る位相情報毎に推定式で用いられる係数データが格納されている。この記憶手段より、位相情報に対応する係数データが読み出される。ここで、第 1の画像信号に基づいて、第 2の画像信号における注目位置の周辺に位置する複数の画素データを選択し、この複数の画素データに基づいて、第 2 の画像信号における注目位置の画素データが属するクラスを検出し、位相情報だけでなく、この検出されたクラスにも対応した係数データが発生されるようにすることで、第 2の画像信号における注目位置の画素データの精度をさらに高めることができる。

また、第 2の画像信号による画像の画質が、少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整される。ここで、画像の画質は、例えば解像度、ノイズ抑圧度である。画像の拡大率に係る情報は、例えば画像の拡大率の変化速度、画像の拡大率等である。

さらに、第 2の画像信号における注目位置の周辺に位置する第 1の画像信号の複数の画素データから抽出される特徴情報に基づいて発生した画質調整情報により、第 2の画像信号における注目位置の画素データによる画像の画質が調整される。ここで特徴情報は、例えば動き情報、ダイナミックレンジ、空間波形情報等である。

例えば、画像の拡大率の変化速度（ズーム速度）が大きくなるほど、角率像度おょぴノイズ抑圧度が低下するように調整される。これにより、ズーム時に、視覚的に滑らかなズーム画像を達成できる。

また例えば、画像の拡大率（ズーム拡大率）が大きくなるほど、ノイズ抑圧度が増加するように調整される。これにより、拡大した画像においてノイズが目立つことを抑制できる。

また例えば、画像の拡大率（ズーム拡大率）が大きくなるほど、静止画では解像度が増加するようにされ、一方動画では解像度が低下するようにされる。これにより、静止画を拡大した場合、画像全体にボケが生じることを抑制でき、また動画を拡大した場合、静動の切り替わり目において折り返し歪みが発生することを防止できる。

第 2の画像信号における画質の調整は、第 2の画像信号における注目位置の画素データを生成する際に行ってもよく、また画素データを生成した後に、高域を強調するェンハンサ、ノィズを除去するノィズ除去回路等を用いて行ってもよい。画素データを生成する際に画質調整を行う場合には、画質調整情報に対応した係数データを用いることで行うことができる。例えば、係数データを位相情報をパラメータとして含む生成式により生成する場合には、その生成式にさらに画質調整情報をパラメータとして含むようにし、位相情報および画質調整情報に対応した係数データを得るようにすればよい。また例えば、係数データを記憶手段より読み出すものにあっては、この記憶手段より位相情報および画質調整情報に対応した係数データを読み出すようにすればよい。図面の簡単な説明

図 1は、実施の形態としてのテレビ受信機の構成を示すブロック図である。図 2は、入力画像信号 V inの処理領域 R Gと出力画像との関係を示す図である。図 3 A，図 3 B及び図 3 Cは、ズーム中心点 P 0と処理領域 R Gとの関係を示す図である。

図 4は、 2 . 5倍ズーム時の入力と出力の画素位置関係を示す図である。

図 5は、 1 . 2 5倍ズーム時の入力と出力の画素位置関係を示す図である。図 6 A, 図 6 B及ぴ図 6 Cは、拡大率 T、変化速度 Κと画質調整情報 f , gとの関係を示す図である。

図 7 A, 図 7 B及び図 7 Cは、拡大率 Tと画質調整情報 f , gとの関係を示す図である。

図 8 A, 図 8 B及ぴ図 8 Cは、変化速度 Kと画質調整情報 f， gとの関係を示す図である。

図 9は、係数種データの生成方法の一例を示す図である。

図 1 0は、 5 2 5 i信号（S D信号）と 1 0 5 0 i信号（H D信号）の画素位置関係を示す図である。

図 1 1は、垂直方向への 8段階の位相シフトを説明するための図である。

図 1 2は、水平方向への 8段階の位相シフトを説明するための図である。

図 1 3は、 S D信号（ 5 2 5 i信号）と H D信号（ 1 0 5 0 i信号）との位相関係を示す図である。

図 1 4は、係数種データの生成方法の一例を示す図である。図 1 5は、係数種データ生成装置の構成例を示すプロック図である。

図 1 6は、ソフトウエアで実現するための画像信号処理装置の構成例を示すブ口ック図である。

図 1 7は、画像信号の処理手順を示すフローチヤ一トである。

図 1 8は、係数種データ生成処理を示すフローチャートである。発明を実施するための最良の形態

以下、図面を参照しながら、この発明の実施の形態について説明する。図 1は、実施の形態としてのテレビ受信機 1 0 0の構成を示している。このテレビ受信機 1 0 0は、放送信号より得られた 5 2 5 i信号（入力画像信号 Vin) に基づいて出力画像信号 Voutを生成し、この出力画像信号 Voutによる画像を表示するものである。

テレビ受信機 1 0 0は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ 1 0 1と、リモートコントロール信号を受信するリモコン信号受信回路 1 0 2とを有している。リモコン信号受信回路 1 0 2は、システムコントローラ 1 0 1に接続され、リモコン送信機 2 0 0よりユーザの操作に応じて出力されるリモートコントロール信号 RMを受信し、その信号 RMに対応する操作信号をシステムコントローラ 1 0 1に供給するように構成されている。

また、テレビ受信機 1 0 0は、受信アンテナ 1 0 5と、この受信アンテナ 1 0 5で捕らえられた放送信号（R F変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って 5 2 5 i信号を得るチューナ 1 0 6と、このチューナ 1 0 6より出力される 5 2 5 i信号を一時的に保存するためのパッファメモリ 1 0 9とを有している。ここで、 5 2 5 i信号は、ライン数が 5 2 5本でインタレース方式の画像信号を意味している。

また、テレビ受信機 1 0 0は、バッファメモリ 1 0 9に一時的に保存される 5 2 5 i信号を入力画像信号 Vinとし、この入力画像信号 Vinに基づいて、出力画像信号 Voutとしての新たな 5 2 5 i信号を生成して出力する画像信号処理部 1 1 0と、この画像信号処理部 1 1 0の出力画像信号 Voutによる画像を表示するディスプレイ部 1 1 1とを有している。ディスプレイ部 1 1 1は、例えば C R T

(Cathode-Ray Tube) ディスプレイ、あるいは L C D (Liquid Crystal

Display) 等のフラットパネルディスプレイで構成されている。

図 1に示すテレビ受信機 1 0 0の動作を説明する。

チューナ 1 0 6より出力される 5 2 5 i信号は、バッファメモリ 1 0 9に供給されて一時的に記憶される。そして、このバッファメモリ 1 0 9に一時的に記憶された 5 2 5 i信号は入力画像信号 Vinとして画像信号処理部 1 1 0に入力される。

この画像信号処理部 1 1 0では、入力画像信号 V inに基づいて、出力画像信号 Voutとしての新たな 5 2 5 i信号が生成される。この場合、ユーザのリモコン送信機 2 0 0の操作による設定に応じて、通常モードと、ズームモードとを切り換えることができる。通常モードの場合、入力画像信号 Vinの全領域が処理領域となり、画像の拡大率が 1である画像を表示するための出力画像信号 Voutが生成される。ズームモードの場合、ユーザによって指定される任意の点（ズーム中心点 P 0 ) を中心として画像の拡大率が連続的に変化したズーム画像を表示するための出力画像信号 Voutが生成される。このズームモードの場合、画像の拡大率に応じて入力画像信号 Vinの処理領域 R Gが変化する。

ズームモードの場合、さらに画像の拡大率の変化を、ユーザの操作子の操作によって行うマニュアルモードと、自動的に行うォートモ一ドとを切り換えることができる。マニュアルモードの場合、ユーザが操作子を操作することで、予め設定されている変化速度で画像の拡大率が変換していく。オートモードの場合、初期状態の拡大率が 1であるときは、予め設定された変化時間内に、設定された目標拡大率となるように画像の拡大率が変換していき、逆に初期状態の拡大率が目標拡大率にあるときは、予め設定された変化時間内に、拡大率が 1となるように画像の拡大率が変化していく。なお、マニュアルモードにおける変化速度、ォートモードにおける変化時間、目標拡大率は、ユーザのリモコン送信機 2 0 0による操作で設定できる。

この画像信号処理部 1 1 0より出力される出力画像信号 Voutはディスプレイ部 1 1 1に供給され、このディスプレイ部 1 1 1の画面上にはその出力画像信号 V outによる画像が表示される。ディスプレイ部 1 1 1には、通常モードの場合には画像の拡大率が 1である通常画像が表示され、ズームモードの場合には任意の点を中心として画像の拡大率が連続的に変化したズーム画像が表示される。

次に、画像信号処理部 1 1 0の詳細を説明する。この画像信号処理部 1 1 0は、ノッファメモリ 1 0 9に記憶されている 5 2 5 i信号より、出力画像信号 Voutを構成する各単位画素プロック毎に、その単位画素プロック内に存在する各画素

(注目画素）に対応した位置、つまり出力画像信号 Voutにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第 1〜第 3のタップ選択回路 1 2 1〜 1 2 3を有している。

第 1のタップ選択回路 1 2 1は、予測に使用する画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第 2のタップ選択回路 1 2 2は、空間クラス分類に使用する画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第 3のタップ選択回路 1 2 3は、動きクラス分類に使用する画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。

また、画像信号処理部 1 1 0は、第 2のタップ選択回路 1 2 2で選択的に取り出される空間クラスタップのデータ（複数個）のレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路 1 2 4を有している。

空間クラス検出回路 1 2 4では、例えば、空間クラスタップのデータを、 8ビットデータから 2ビットデータに圧縮するような演算が行われる。この空間クラス検出回路 1 2 4では、例えば、 AD R C (Adaptive Dynamic Range Coding) を用いる。 AD R Cでは、空間クラスタップのデータの最大値を MA X、その最小値を M I N、空間クラスタップのデータのダイナミックレンジを D R (MAX— M I N + 1 ) 、再量子化ビット数を Pとすると、空間クラスタップのデータ k i に対して、（1 ) 式の演算により、再量子化コード Q iが得られる。ただし、

( 1 ) 式において、 [ ]は切り捨て処理を意味している。空間クラスタップのデータとして、 N a個の画素データがあるとき、 i = l〜N aである。 Q i = [ (k i一 MI N+ 0. 5) X 2^P÷DR] · · · (1) また、画像信号処理部 1 1 0は、第 3のタップ選択回路 1 23で選択的に取り出される動きクラスタップのデータ（複数個）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路 1 25を有している。

この動きクラス検出回路 1 25では、例えば以下の手法で動きクラスを検出する。第 3のタップ選択回路 1 23で選択的に取り出される動きクラスタップのデータからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路 1 25では、（2) 式によって、差分の絶対値の平均値 AV が算出される。第 3のタップ選択回路 1 23で、例えばクラスタップのデータとして、 6個の画素データ ml〜m 6とその 1フレーム前の 6個の画素データ n 1 〜！ 16が取り出されるとき、（2) 式における Nbは 6である。

Nb

∑ I m i— n i I

AV= ' ¹ _M · . · (2)

N b

そして、動きクラス検出回路 1 25では、上述したように算出された平均値 A Vが 1個または複数個のしきい値と比較されて動きクラスのクラス情報 MVが得られる。例えば、 3個のしきい値 t h l， t h 2, t h 3 (t h l < t h 2< t h 3) が用意され、 4つの動きクラスを検出する場合、 ¥≤ 1: 111のときは]^ V=0、 t h 1 < AV≤ t h 2のときは MV= 1、 t h 2 < AV≤ t h 3のときは MV=2、 t h 3 <AVのときは MV= 3となる。

また、画像信号処理部 1 1 0は、空間クラス検出回路 1 24より出力される空間クラスのクラス情報としての再量子化コード Q iと、動きクラス検出回路 1 2 5より出力される動きクラスのクラス情報 MVに基づき、作成すべき出力画像信号 Voutを構成する各単位画素ブロック毎に、その単位画素プロック内に存在する各画素（注目画素）が属するクラスを示すクラスコード CLを得るためのクラス合成回路 1 26を有している。

このクラス合成回路 1 26では、（3) 式によって、クラスコード CLの演算が行われる。なお、（3) 式において、 N aは空間クラスタップのデータの個数、 Pは ADRCにおける再量子化ビット数を示している。

C L= ∑ Qi (2^P)^i_1+MV X (2^P)^Na · · . (3)

i =1

また、画像信号処理部 110は、レジスタ 131〜 133と、係数メモリ 13 4とを有している。レジスタ 131は、第 1のタップ選択回路 121で選択される予測タップのタップ位置情報を格納するためのものである。第 1のタップ選択回路 121は、レジスタ 131より供給されるタップ位置情報に従って予測タツプを選択する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタツプ位置情報においても同様である。

レジスタ 132は、第 2のタップ選択回路 122で選択される空間クラスタツプのタップ位置情報を格納するものである。第 2のタップ選択回路 122は、レジスタ 132より供給されるタップ位置情報に従って空間クラスタップを選択する。

ここで、レジスタ 132には、動きが比較的小さい場合のタップ位置情報 Aと、動きが比較的大き V、場合のタップ位置情報 Bとが格納される。これらタツプ位置情報 A, Bのいずれを第 2のタップ選択回路 122に供給するかは、動きクラス検出回路 125より出力される動きクラスのクラス情報 MVによって選択される。すなわち、動きがないか、あるいは動きが小さいために MV=0または MV== 1であるときは、タップ位置情報 Aが第 2のタップ選択回路 122に供給される。そして、この第 2のタップ選択回路 122で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいために MV= 2または MV- 3であるときは、タップ位置情報 Bが第 2のタップ選択回路 122に供給される。そして、この第 2のタップ選択回路 122で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内の画素のみとされる。なお、上述したレジスタ 131にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第 1のタップ選択回路 121に供給されるタップ位置情報が動きクラス検出回路 125より出力される動きクラスのクラス情報 MVによって選択されるようにしてもよい。レジスタ 1 3 3は、第 3のタップ選択回路 1 2 3で選択される動きクラスタツプのタップ位置情報を格納するものである。第 3のタップ選択回路 1 2 3は、レジスタ 1 3 3より供給されるタップ位置情報に従って動きクラスタップを選択する。

さらに、係数メモリ 1 3 4は、後述する推定予測演算回路 1 2 7で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、 5 2 5 i信号を、出力画像信号 Voutとしての新たな 5 2 5 i信号に変換するための情報である。係数メモリ 1 3 4には上述したクラス合成回路 1 2 6より出力されるクラスコード C Lが読み出しアドレス情報として供給され、この係数メモリ 1 3 4からはクラスコード C Lに対応した係数データが読み出され、推定予測演算回路 1 2 7に供給される。

また、画像信号処理部 1 1 0は、情報メモリバンク 1 3 5を有している。この情報メモリバンク 1 3 5には、レジスタ 1 3 1〜1 3 3に格納するためのタップ位置情報が予め蓄えられている。この場合、情報メモリパンク 1 3 5には、画像の拡大率や変化速度に対応したタップ位置情報が予め蓄えられている。システムコントローラ 1 0 1の制御により、画像の拡大率や変化速度に対応したタップ位置情報が、情報メモリパンク 1 3 5よりレジスタ 1 3 1〜1 3 3にロードされる。上述したように、ユーザのリモコン送信機 2 0 0の操作により、通常モードとズームモードとの切り換えが行われる。通常モードの場合、画像の拡大率は 1である。また、ズームモードの場合、画像の拡大率は、ユーザの操作子の操作に応じて（マニュアルモード）、あるいは自動的に変化していく（オートモード）。また、情報メモリパンク 1 3 5には、各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ 1 3 4に格納するための係数データを生成するための、位相情報 h , Vおよび画質調整情報 f， gをパラメ一タとする生成式の係数データである。

後述する推定予測演算回路 1 2 7では、予測タップのデータ X iと、係数メモリ 1 3 4より読み出される係数データ W iとから、（4 ) 式の推定式によって、作成すべき画素データ yが演算される。第 1のタップ選択回路 1 2 1で選択される予測タップが 10個であるとき、（4) 式における nは 10となる。

n

y = X Wi ■ x i · · · (4)

i =1

そして、この推定式の係数データ Wi ( i = l〜n) は、例えば（5) 式で示されるように、位相情報 h， Vおよび画質調整情報 f， gをパラメータとする生成式によって生成される。ここで、位相情報 hは水平方向の位相情報であり、位相情報 Vは垂直方向の位相情報である。また、画質調整情報 f は解像度を調整するための画質調整情報であり、画質調整情報 gはノィズ抑圧度を調整するための画質調整情報である。

情報メモリバンク 135には、この生成式の係数データである係数種データ w _i0〜w_i3。（i =l〜n) が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。

Wi wjo+Wj f +w_i2g + w_i3f ²+w_i4f g+w_i5g² + w_i6f³+w_i7f ²g

+ W_j8f g^Z + Wj₉g^,J + Wi₁oV+W_mV f +w_i12v g

+w_i13v f²+w_i14v f g+w_i15v g²+Wj_l6h+w_i17h f +w_j18h g+w_i19h f ²+w_i20h f g+w_i21h g²+w_i22v²

+ W_i23V² f +Wj₂4V^ g+W_i25 h +W_|26 h f

+ w_i27v h g+w_i28h +w_i2gh f +w_i30h g

• · · (5) また、画像信号処理部 1 10は、各クラスの係数種データおよび位相情報 h， v、画質調整情報 f， gの値とを用い、（5) 式によって、クラス毎に、位相情報 h， Vおよび画質調整情報 f， gの値に対応した推定式の係数データ Wi (i ==l〜n) を生成する係数生成回路 136を有している。

係数生成回路 136には、情報メモリバンク 135より、各クラスの係数種データがロードされる。また、この係数生成回路 136には、作成すべき出力画像信号 Voutを構成する各単位画素プロック毎に、後述する位相情報発生回路 139 で発生される、その単位画素プロック内に存在する各画素の位相情報 h , Vが供給される。さらに、この係数生成回路 1 3 6には、各単位画素ブロック毎に、後述する画質調整情報発生回路 1 4 0で発生される画質調整情報 f ' gが供給される。

この係数生成回路 1 3 6で各単位画素ブロック毎に生成される各クラスの、各位相情報 h， Vおよび画質調整情報 f , gに対応した係数データ W i ( i = 1〜 n ) は、上述した係数メモリ 1 3 4に格納される。

また、画像信号処理部 1 1 0は、位相情報発生回路 1 3 9を有している。この位相情報発生回路 1 3 9には、システムコントローラ 1 0 1より、画像の拡大率に対応した入力画像信号 V inと出力画像信号 Voutにおける垂直方向、水平方向の各フィールドにおける画素数の対応情報 n Zmが供給される。さらに、ズームモ一ドの場合にはズーム中心点 P 0の情報 pも供給される。

位相情報発生回路 1 3 9は、これら対応情報 n Zmおよびズーム中心点 P 0の情報 Pに基づいて、出力画像信号 Voutを構成する各単位画素ブロック毎に、その単位プロック内の各画素の位相情報 h , Vを発生する。この位相情報発生回路 1 3 9は例えば R OMテーブルで構成される。

この位相情報発生回路 1 3 9で出力画像信号 Voutを構成する各単位画素プロック毎に発生される各画素の位相情報 h， Vは、それぞれ画素番号（タップ番号）と関連付けられて、係数生成回路 1 3 6に供給される。なお、位相情報発生回路 1 3 9は、入力画像信号 Vinの奇数、偶数のフィールドのそれぞれに対応して位相情報 h , Vを発生する。

ここで、出力画像信号 Voutを構成する単位画素プロックについて説明する。画像の拡大率（画像サイズ）に応じて、出力画像信号 Voutを生成するための入力画像信号 Vinの処理領域 R Gが変化する。入力画像信号 Vinの全体領域を 1とするとき、例えば画像の拡大率が 1であるとき入力画像信号 Vinの処理領域 R G は 1であり、画像の拡大率が 2であるとき入力画像信号 Vinの処理領域 R Gは 1 2となる。一般に、画像の拡大率が Tであるとき、入力画像信号 Vinの処理領域 R Gは 1 ZTとなる。

通常モードの場合には、画像の拡大率は 1であるので、入力画像信号 Vinの処理領域 RGは 1のまま固定である。ズームモードの場合、画像の拡大率が連続的に変化するので、入力画像信号 Vinの処理領域 RGも連続的に変化する。図 2は、ズームモードの場合にあって、画像の拡大率が順次大きくなつていくときの、入力画像信号 Vinの処理領域 RGと出力画像信号 Voutによる画像（出力画像）の表示範囲との関係を示している。この場合、入力画像信号 Vinの処理領域 RGは順次小さくなるが、出力画像の表示範囲は常に一定である。なお、図示せずも、ズームモードの場合にあって、画像の拡大率が順次小さくなつていくときは、図 2 とは逆の変化となる。

また、ズームモードの場合、ユーザによって指定される任意の点（ズーム中心点 P 0) を中心として画像の拡大率が連続的に変化したズーム画像を表示する。この場合、入力画像信号 Vinの処理領域 RGを、ズーム中心点 P 0に応じて可変する。

具体的には、入力画像信号 Vinの全体領域に対して実際の処理領域 RGは上述したように画像の拡大率に応じて変化する。この処理領域 RGは、常に上述したズーム中心点 P 0を含み、そのズーム中心点 P 0の水平、垂直の内分比が、入力画像信号 Vinの全体領域におけるそのズーム中心点 P 0の水平、垂直の内分比と同一となるように設定される。

図 3 A〜図 3 Cは、画像の拡大率が 2 (2倍ズーム）である場合におけるズーム中心点 P 0と処理領域 RGとの関係例を示している。この図 3 A〜図 3 Cにおいて、数字は内分比を表している。

出力画像信号 Voutを構成する各単位画素プロックは、上述した処理領域 RG内に複数個、碁盤の目状に整然と並んでいる。単位画素プロックの大きさは、画像の拡大率により変化し、入力画像信号 Vinの mXmの画素に対して出力画像信号 Voutの n X nの画素が対応しているときは、 nXnということになる。そして、この単位画素ブロックは、入力画像信号 Vinの mXmの画素に対応していることになる。

例えば、拡大率として 2. 5倍が選択されている場合、図 4に示すように、垂直方向に関して n/m= 5/2であり、水平方向に関して n Zmは 5ノ 2である。そのため、入力画像信号 Vinとしての 525 i信号の 2 X 2の画素プロックに対して出力画像信号 Voutとしての 5 2 5 i信号の 5 X 5の画素ブロックが対応したものとなる。この場合、出力画像信号 Voutを構成する単位画素プロックは 5 X 5 の画素ブロックということになる。なお、図 4では、大きなドットが入力画像信号 Vinの画素であり、小さなドットが出力画像信号 Voutの画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

この場合、位相情報発生回路 1 3 9では、この 5 X 5の単位画素ブロック内の各画素について、上述した 5 2 5 i信号の 2 X 2の画素ブロック内の画素のうち、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報 h とすると共に、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報 Vとする。本実施の形態においては、 5 2 5 ί信号の水平方向、垂直方向の画素間隔が 1 6とされて、上述の位相情報 h , Vが求められる。

ここで、位相情報 hに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。同様に、位相情報 Vに関しては、対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が梟短画素より下方に位置するときは正の値とされる。

また例えば、拡大率として 1 . 2 5倍が選択されている場合、図 5に示すように、垂直方向に関して n Zm= 5 Z 4であり、水平方向に関して n /mは 5ノ 4 である。そのため、入力画像信号 Vinとしての 5 2 5 i信号の 4 X 4の画素ブロックに対して出力画像信号 Voutとしての 5 2 5 i信号の 5 X 5の画素ブロックが対応したものとなる。この場合、出力画像信号 Voutを構成する単位画素ブロックは 5 X 5の画素ブロックということになる。なお、図 5では、大きなドットが入力画像信号 Vinの画素であり、小さなドットが出力画像信号 Voutの画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

この場合、位相情報発生回路 1 3 9では、この 5 X 5の単位画素プロック内の各画素について、上述した 5 2 5 i信号の 4 X 4の画素ブロック内の画素のうち、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報 h とすると共に、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報 Vとする。

なお、位相情報発生回路 1 3 9からは、ズームモードの場合、ズーム中心点 P 0の情報 pに基づいて、ズーム中心点 P 0に対応した生成画素位相が常に同じ、例えば h = 0、 v == 0となるように、位相情報 h , Vが発生される。

また、図 1に戾つて、画像信号処理部 1 1 0は、画質調整情報 f , gを発生する画質調整情報発生回路 1 4 0を有している。この画質調整情報発生回路 1 4 0 には、システムコントローラ 1 0 1より、画像の拡大率に係る情報として、拡大率 Tおよびその変化速度 Kが供給される。また、動きクラス検出回路 1 2 5から動きクラスのクラス情報 MVが供給されると共に、空間クラス検出回路 1 2 4力、らダイナミックレンジ D Rが供給される。これらクラス情報 MVおよびダイナミックレンジ D Rは、それぞれ、出力画像信号 Voutにおける注目位置の周辺に位置する入力画像信号 Vinの複数の画素データから抽出された特徴情報である。

画質調整情報発生回路 1 4 0は、これら拡大率 T、変化速度 Κ：、クラス情報 Μ Vおよびダイナミックレンジ D Rに基づいて、画質調整情報 f , gを発生する。この画質調整情報発生回路 1 4 0は例えば R OMテーブルで構成される。上述したように、画質調整情報 f は解像度を調整するためのものであり、画質調整情報 gはノイズ抑圧度を調整するためのものである。例えば、情報 gはそれぞれ 0〜8の範囲の値をとるようにされ、 f = 0のとき解像度弱め、 f = 8のとき解像度強め、 g = 0のときノイズ抑圧なし、 g = 8のときノイズ抑圧強め、のようになる。

図 6 Aは、 MV = 0であって注目位置が静止画である場合における拡大率 T、変化速度 Κと解像度調整情報 f との関係を示している。図 6 Bは、 MV = 1〜3 であって注目位置が動画である場合における拡大率 T、変化速度 Kと解像度調整情報 f との関係を示している。図 6 Cは、拡大率 T、変化速度 Κとノイズ抑圧度調整情報 gとの関係を示している。

図 7 A〜図 7 Cは、それぞれ図 6 A〜図 6 Cを拡大率 Tの軸側で見たものである。図 7 Aに示すように、静止画では、拡大率 Tが上がるに従って解像度調整情報 f の値が大きく、つまり解像度を上げる方向に設定される。これにより、静止画を拡大した場合に生じる画像のボケを抑制できる。

また、図 7 Bに示すように、動画では、拡大率 Tが上がるに従って解像度調整情報 f の値が小さく、つまり解像度を下げる方向に設定される。これにより、動画を拡大した場合、動きクラスの切り替わり目における折り返し歪みが目立たないようにできる。

また、図 7 Cに示すように、拡大率 Tがある値、例えば 2を越えた範囲では、拡大率 Tが上がるに従ってノィズ抑圧度情報 gの値が大きく、つまりノィズ抑圧を強める方向に設定される。これにより、画像を拡大した場合にノイズが目立つことを抑制できる。

なお、図 7 Aに示すように、静止画における解像度調整情報 f の値は、さらにダイナミックレンジ D Rが大きくなる程大きく、つまり解像度を上げる方向に設定される。これは、ダイナミックレンジ D Rが大きくなる程エッジのボケが大きくなるが、それを抑制するためである。また、図 7 Bに示すように、動画における解像度調整情報 f の値は、さらにダイナミックレンジ D Rが大きくなる程小さく、つまり解像度を下げる方向に設定される。これは、ダイナミックレンジ D R が大きくなる程ェッジの動きが目立つようになるが、それを抑制するためである。また、図 7 Cに示すように、ノイズ抑圧度調整情報 gは、さらにダイナミックレンジ D Rが大きくなる程小さく、つまりノイズ抑圧度を下げる方向に設定する。これは、ダイナミックレンジ D Rが大きな部分ではノイズが目立ちにくく、ノィズを抑圧することによる解像度の低下を抑制するためである。

図 8 A〜図 8 Cは、それぞれ図 6 A〜図 6 Cを変化速度 Kの軸画で見たものである。図 8 Aに示すように、静止画では、変化速度 Kが上がるに従って解像度調整情報 f の値が小さく、つまり解像度を下げる方向に設定される。これにより、静止画を拡大する場合、変化速度が速くなって入力画像信号 V inの処理領域の時間変動が大きくなつても、解像度が下がるので、視覚的に滑らかなズーム画像を得ることができる。

また、図 8 Bに示すように、動画でも、変化速度 Kが上がるに従って解像度調整情報 f の値が小さく、つまり解像度を下げる方向に設定される。ただし、動画の場合、静止画よりも画像の時間的変化が大きいため、静止画の場合に比べて、解像度を下げる割合が大きくされる。これにより、静止画を拡大する場合、変化速度が速くなって入力画像信号 Vinの処理領域の時間変動が大きくなつても、解像度が下がるので、視覚的に滑らかなズーム画像を得ることができる。

また、図 8 Cに示すように、変化速度 Kがある値を越えた範囲では、変化速度 Kが上がるに従ってノイズ抑圧度情報 gの値が大きく、つまりノイズ抑圧を強める方向に設定される。これにより、変化速度が大きくなつた場合に目立つノイズを良好に抑制できる。

なお、図 8 Aに示すように、静止画における解像度調整情報 f の値は、さらにダイナミックレンジ D Rが大きくなる程小さく、つまり解像度を下げる方向に設定される。これは、静止画においても変化速度 Kが大きくなる程動画的になるが、その場合にダイナミックレンジ D Rが大きくなる程エッジが目立つようになるため、それを抑制するためである。また、図 8 Bに示すように、動画における解像度調整情報 f の値は、さらにダイナミックレンジ D Rが大きくなる程小さく、つまり解像度を下げる方向に設定される。この理由は、上述した静止画の場合と同様である。また、図 8 Cに示すように、ノイズ抑圧度調整情報 gは、さらにダイナミックレンジ D Rが大きくなる程小さく、つまりノイズ抑圧度を下げる方向に設定する。これは、ダイナミックレンジ D Rが大きな部分ではノイズが目立ちにくく、ノイズを抑圧することによる解像度の低下を抑制するためである。

なお、図 6 A〜図 6 Cに示すような関係を複数種類用意しておき、ユーザが例えばリモコン送信機 2 0 0の操作で、実際に使用する関係を選択できるようにしてもよい。

また、図 1に戻って、画像信号処理部 1 1 0は、正規化係数生成回路 1 3 7と、正規化係数メモリ 1 3 8とを有している。上述したように、係数生成回路 1 3 6 は、出力画像信号 Voutを構成する各単位画素ブロックのそれぞれにっき、その単位画素ブロック内に存在する各画素の係数データ W i ( i = l〜n ) を、クラス毎に生成する。正規化係数生成回路 1 3 7は、単位画素ブロック毎に、（6 ) 式によって、各クラスの正規化係数 Sをそれぞれ演算する。正規化係数メモリ 1 3 8は、この正規化係数 Sをクラス毎に格納する。

この正規化係数メモリ 1 3 8には上述したクラス合成回路 1 2 6より出力されるクラスコード CLが読み出しァドレス情報として供給され、この正規化係数メモリ 138からはクラスコード CLに対応した正規化係数 Sが読み出され、後述する正規化演算回路 128に供給される。

n

s = T W i ■ · ■ ( 6 )

i=1

また、画像信号処理部 1 10は、推定予測演算回路 127を有している。この推定予測演算回路 1 27は、第 1のタップ選択回路 121で選択的に取り出される予測タップのデータ x i (i = l〜n) と、係数メモリ 134より読み出される係数データ Wi (i = l〜n) と力ら、出力画像信号 Voutを構成する単位画素ブロック内の各画素のデータを演算する。

この推定予測演算回路 1 27では、出力画像信号 Voutを構成する画素データが単位画素ブロック毎に生成される。すなわち、この推定予測演算回路 127には、第 1のタップ選択回路 121より単位画素ブロック内の各画素（注目画素）に対応した予測タップのデータ X iと、係数メモリ 134よりその単位画素プロックを構成する各画素に対応した係数データ Wiとが供給される。そして、単位画素ブロックを構成する各画素のデータが、それぞれ個別に上述した（4) 式の推定式で演算される。

例えば、図 4に示すように画像の拡大率が 2. 5倍（n/m-572) のとき、単位画素プロックを構成する各画素の画素データとして、 25個の画素データが生成される。また、図示せずも、画像の拡大率が 1· 75倍（！！！！！ァノ）のとき、単位画素ブロックを構成する各画素の画素データとして、 49個の画素データが生成される。

また、画像信号処理部 1 10は、正規化演算回路 128を有している。この正規化演算回路 128は、推定予測演算回路 127より順次出力される出力画像信号 Voutを構成する単位画素ブロック内の各画素のデータ y ₁〜y_P (Pは単位プロックを構成する画素の個数）を、正規化係数メモリ 138から読み出される、それぞれの生成に使用された係数データ W i ( i = 1〜n) に対応した正規化係数 Sで除算して正規化する。

上述せずも、係数生成回路 136で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データ W i ( i = l〜n ) の総和が 1 . 0になることは保証されない。そのため、推定予測演算回路 1 2 7で演算される各画素のデータ y i〜y _Pは、丸め誤差によつてレベル変動したものとなる。上述したように、正規化演算回路 1 2 8で正規化することで、その変動を除去できる。

また、画像信号処理部 1 1 0は、後処理回路 1 2 9を有している。この後処理回路 1 2 9は、正規化演算回路 1 2 8で正規化されて順次供給される各単位画素プロック内の画素のデータ _y 〜y から 5 2 5 i信号を構成し、この 5 2 5 i信号を出力画像信号 Voutとして出力する。この後処理回路 1 2 9は、各単位画素プロック内の画素データ y 〜y / を 1フイー^^ド分まとめてからラスタースキャン順に出力することで 5 2 5 i信号とする。

次に、画像信号処理部 1 1 0の動作を説明する。

バッファメモリ 1 0 9に記憶されている入力画像信号 V inとしての 5 2 5 i信号より、第 2のタップ選択回路 1 2 2で、作成すべき出力画像信号 Voutにおける注目位置の周辺に位置する空間クラスタップのデータ（画素データ）が選択的に取り出される。この場合、第 2のタップ選択回路 1 2 2では、レジスタ 1 3 2より供給される、動きおよび画像の拡大率に対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 2のタップ選択回路 1 2 2で選択的に取り出される空間クラスタップのデータは空間クラス検出回路 1 2 4に供給される。この空間クラス検出回路 1 2 4では、空間クラスタップのデータとしての各画素データに対して AD R C処理が施されて空間クラスのクラス情報としての再量子化コード Q iが得られる ( ( 1 ) 式参照）。

また、バッファメモリ 1 0 9に記憶されている入力画像信号 V inとしての 5 2 5 i信号より、第 3のタップ選択回路 1 2 3で、作成すべき出力画像信号 Voutにおける注目位置の周辺に位置する動きクラスタップのデータ（画素データ）が選択的に取り出される。この場合、第 3のタップ選択回路 1 2 3では、レジスタ 1 3 3より供給される、画像の拡大率に対応したタップ位置情報に基づいて、タツプの選択が行われる。この第 3のタップ選択回路 1 2 3で選択的に取り出される動きクラスタップのデータは動きクラス検出回路 1 2 5に供給される。この動きクラス検出回路 1 2 5では、動きクラスタップのデータとしての各画素データより動きクラスのクラス情報 MVが得られる。

この動き情報 MVと上述した再量子化コード Q iはクラス合成回路 1 2 6に供給される。このクラス合成回路 1 2 6では、これら動き情報 MVと再量子化コ一ド Q iと力ら、作成すべき出力画像信号 Voutを構成する単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコード C Lが順次得られる

( ( 3 ) 式参照）。そして、このクラスコード C Lは、係数メモリ 1 3 4および正規化係数メモリ 1 3 8に読み出しアドレス情報として供給される。

係数メモリ 1 3 4には、位相情報発生回路 1 3 9で発生された出力画像信号 V outを構成する単位画素プロック内の各画素の位相情報 h , Vに対応した各クラスの推定式の係数データ W i ( i == l〜n ) が、係数生成回路 1 3 6で生成されて格納される。また、正規化係数メモリ 1 3 8には、上述したように係数生成回路 1 3 6で生成された各クラスおよび各位相情報の係数データ W i ( i = 1〜！ 1 ) に対応した正規化係数 Sが正規化係数生成回路 1 3 7で生成されて格納される。係数メモリ 1 3 4に上述したようにクラスコード C Lが読み出しァドレス情報として供給されることで、この係数メモリ 1 3 4からクラスコード C Lに対応した各位相情報 h， Vにおける係数データ W iが読み出されて推定予測演算回路 1 2 7に供給される。

また、バッファメモリ 1 0 9に記憶されている入力画像信号 V inとしての 5 2 5 i信号より、第 1のタップ選択回路 1 2 1で、作成すべき出力画像信号 Voutにおける注目位置の周辺に位置する予測タップのデータ（画素データ）が選択的に取り出される。この場合、第 1のタップ選択回路 1 2 1では、レジスタ 1 3 1より供給される、画像の拡大率に対応したタップ位置情報に基づいて、タップの選択が行われる。この第 1のタップ選択回路 1 2 1で選択的に取り出される予測タップのデータ _x iは推定予測演算回路 1 2 7に供給される。

推定予測演算回路 1 2 7では、予測タップのデータ X iと、係数メモリ 1 3 4 より読み出される各位相情報における係数データ W iとから、作成すべき出力画像信号 Voutを構成する単位画素プロック内の各画素のデータ y i〜y Pが同時的に演算される（（4 ) 式参照）。そして、この推定予測演算回路 1 2 7より順次出力される出力画像信号 Voutを構成する単位画素プロック内の各画素のデータ y 1 〜y _Pは正規ィ匕演算回路 1 2 8に供給される。

正規化係数メモリ 1 3 8には上述したようにクラスコード C Lが読み出しァドレス情報として供給され、この正規化係数メモリ 1 3 8からはクラスコード C L に対応した正規化係数 S、つまり推定予測演算回路 1 2 7より出力されるデータ _{7 1}〜_{Υ Ρ}の演算にそれぞれ使用された係数データ W iに対応した正規化係数 Sが読み出されて正規化演算回路 1 2 8に供給される。正規化演算回路 1 2 8では、推定予測演算回路 1 2 7より出力されるデータ _{y i}〜y _Pがそれぞれ対応する正規ィ匕係数 Sで除算されて正規化される。これにより、係数種データを用いて生成式 ( ( 5 ) 式参照）で推定式（（4 ) 式参照）の係数データを求める際の丸め誤差によるデータ y 〜 y pのレベル変動が除去される。

このように正規化演算回路 1 2 8で正規化されて順次出力される単位画素プロック内の各画素のデータ〜 , は後処理回路 1 2 9に供給される。このような動作は、出力画像信号 Voutの各フィールドにおいて、そのフィールド内の複数の単位画素ブロックについて行われる。後処理回路 1 2 9では、各フィールドにおいて、データ y 〜γ _Ρ' が 1フィールド分まとめてから、ラスタースキヤン順に出力する。これにより、後処理回路 1 2 9から、出力画像信号 Voutとして 5 2 5 i信号が得られる。

ここで、画像の拡大率（画像サイズ）に応じて、出力画像信号 Voutを生成するための入力画像信号 V inの処理領域 R Gが変化するようにされる。また、この処理領域 R Gは、常にズーム中心点 P 0を含み、その X—ム中心点 P 0の水平、垂直の内分比が、入力画像信号 Vinの全体領域におけるズーム中心点 P 0の水平、垂直の内分比と同一となるように設定される。また、位相情報発生回路 1 3 9力らは、この処理領域 R G内の各単位画素ブロックについて、その単位画素プロック内に存在する各画素の位相情報 h， Vが発生される。

これにより、通常モードの場合には、画像の拡大率が 1で固定であることから、ディスプレイ部 1 1 1には拡大率が 1である通常画像が表示される。また、ズームモードの場合には、画像の拡大率が順次変化していくことから、部 1 1 1には、ユーザが指定したズーム中心点 P 0を中心として、画像の拡大率が連続的に変化したズーム画像が表示される。

上述したように、係数生成回路 1 3 6で、情報メモリバンク 1 3 5よりロードされる各クラスの係数種データおょぴ位相情報発生回路 1 3 9で発生される位相情報 h , Vの値とを用い、クラス毎に、位相情報 h， Vの値に対応した推定式の係数データ W iが生成され、これが係数メモリ 1 3 4に格納される。そして、この係数メモリ 1 3 4より、クラスコード C Lに対応して読み出される各位相情報における係数データ W iを用いて推定予測演算回路 1 2 7で、出力画像信号 Vou tを構成する単位画素ブロック内の各画素のデータ _{y i}〜y _Pが演算される。したがつて、各拡大率に対応した係数データをメモリに格納しておくものではなく、大量の係数データを格納しておくメモリが不要となる。

また、画質調整回路 1 4 0から、画像の拡大率 T、その変化速度 Κ：、動きクラス情報 MVおよびダイナミックレンジ D Rに対応して、画質調整情報 f , gが発生され、この画質調整情報 f， gが係数生成回路 1 3 6に供給される。そして、係数生成回路 1 3 6では、この画質調整情報 f , gに対応して係数データ W iが生成され、画質調整が行われる。これにより、ズーム画像の画質を向上させることができる。

例えば、画像の拡大率の変化速度が大きくなるほど、解像度およびノイズ抑圧度が低下するように調整され、ズーム時に、滑らかなズーム画像を得ることができる。また例えば、画像の拡大率が大きくなるほど、ノイズ抑圧度が増加するように調整され、拡大した画像においてノイズが目立つことを抑制される。また例えば、画像の拡大率が大きくなるほど、静止画では解像度が増加するようにされ、一方動画では解像度が低下するようにされ、静止画を拡大した場合画像全体にポケが生じることが抑制され、また動画を拡大した場合動きクラスの切り替わり目において折り返し歪みが発生することが防止される。

なお、画質調整情報 f， gによる画質調整は、必ずしも、係数データ W iを生成する際に行う必要はない。推定予測演算回路 1 2 7で出力画像信号 Voutの画素データを生成した後に、高域を強調するェンハンサ、ノイズを除去するノイズ除去回路等を用いて行ってもよい。

上述したように、情報メモリバンク 135には、係数種データが、クラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。まず、この生成方法の一例について説明する。（5) 式の生成式における係数データである係数種データ W i。〜_{Wi 3}。を求める例を示すものとする。

ここで、以下の説明のため、（7) 式のように、 tj ( j =0~30) を定義する。

t 0= 1 , t l= f， t 2= g , t 3 = f t 4 = f g , t 5 = g ², te= f ³， t 7 = f ² g , t 8 = f g t 9 = g ³, t 10 = V , t 11 = V f , t 12 = V g , t 13 = V f ², t ! 4= V f g , t 15 = V g ², t 16 = h, t 17= h f ,

t 18= h g , t 19 = h f ², t 20= tl f g , t 21 = h g ², t 22= V ², t 23= V ² f , t 24= V g , t 25 = V h , t 26 = V h f , t 27 = V ll g , t 28= h ², t 29= h ² f , t 30= h ² g

• · · (7) この（7) 式を用いると、（5) 式は、（8) 式のように書き換えられる。

30

最終的に、学習によって未定係数 wuを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数を m、 k (1≤ k≤m) 番目の学習データにおける残差を e_k、二乗誤差の総和を Eとすると、 (4) 式および（5) 式を用いて、 Eは（9) 式で表される。ここで、 x_ikは生徒画像の i華目の予測タップ位置における k番目の画素データ、 y_kはそれに対応する教師画像の k番目の画素データを表している。 2

E = 2. ^ek

k=1

m

=∑ [Vk XI K +W2 X2K + · · · +W_n X_nK ) ]

k=1

=∑ {y_k + W" + · · ·+ t30 W

k=1 2

+ ( toWnO + ti W_nl +· · · Xnk] }

• · · (9) 最小二乗法による解法では、（9) 式のによる偏微分が 0になるような w uを求める。これは、 (10) 式で示される。

6 E m / a一，ヽ m

=∑2 Λ ek = -∑2tjx-,ke_k = 0

d W:

I J k=1 9w_u / k=1

(1 0) 以下、 (1 1) 式、 (1 2) 式のように、 X_iPiq、 Yi_Pを定義すると、 (1 0) 式は、行列を用いて（13) 式のように書き換えられる。

m

ipjq ⁼ 1. ^xiktp Xjktq · * · ( ■】 I ) k=1

Yip = ∑ iktpyk (1 2) k=1

X1010 X1011 X1012 · ' ' · Χ10130 Χ1020 *•

λ1110 1111 1112 · ' 11130 1120

Χ1210 Χ1211 Χ1212 · ' · Χ12130 1220 · •

Χ13010 Χ13011 Χ13012· ' , · Χ130130Χ13020· •

Χ2010 2011 Χ2012 · ' ' · 20130 Χ2020 · •

Χη301θΧη3011 Χη3012· ' · Χη3013θ η3020· •

(13) この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss- Jordanの消去法）等を用いて、 w_uについて解かれ、係数種データが算出される。

図 9は、上述した係数種データの生成方法の概念を示している。教師信号としての HD信号（1050 i信号）から生徒信号としての SD信号（525 i信号) を生成する。 1050 i信号は、ライン数が 1050本でィンタレース方式の画像信号を意味している。

図 10は、 525 i信号と 1050 i信号の画素位置関係を示している。ここで、大きなドットが 525 i信号の画素であり、小さなドットが 1050 i信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。

この SD信号の位相を垂直方向に 8段階、水平方向に 8段階にシフトさせて、 8 X 8 = 64種類の SD信号 SD₁ SD₆₄を生成する。図 1 1は、垂直方向への 8段階の位相シフト状態 VI V 8を示している。ここでは、 SD信号の垂直方向の画素間隔は 16であり、下方向が正の方向とされている。また、「oJ は奇数フィールドを、「e」は偶数フィールドを表している。

VIの状態は SD信号のシフト量が 0とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 4， 0, -4, 一 8の位相を持つようになる。 V 2の状態は SD信号のシフト量が 1とされたものであり、この場合、 H D信号の画素は、 SD信号の画素に対して、 7， 3, 一 1，一 5の位相を持つようになる。 V 3の状態は SD信号のシフト量が 2とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 6， 2, — 2，一 6の位相を持つようになる。 V 4の状態は SD信号のシフト量が 3とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 5, 1， -3, 一 7の位相を持つようになる。

V 5の状態は SD信号のシフト量が 4とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 4， 0, —4，一8の位相を持つようになる。 V 6の状態は SD信号のシフト量が 5とされたものであり、この場合、 H D信号の画素は、 SD信号の画素に対して、 7, 3, —1, —5の位相を持つようになる。 V 7の状態は SD信号のシフト量が 6とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 6, 2, —2， —6の位相を持つようになる。 V 8の状態は SD信号のシフト量が 7とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 5, 1, — 3, _ 7の位相を持つようになる。

図 12は、水平方向への 8段階の位相シフト状態 HI〜H 8を示している。ここでは SD信号の水平方向の画素間隔は 16であり、右方向が正の方向とされてヽる。

HIの状態は SD信号のシフト量が 0とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 0, —8の位相を持つようになる。 H2 の状態は SD信号のシフト量が 1とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 7, — 1の位相を持つようになる。 H3の状態は SD信号のシフト量が 2とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 6，一 2の位相を持つようになる。 114の状態は30 信号のシフト量が 3とされたものであり、この場合、 HD信号の画素は、 SD信号の画素に対して、 5，一3の位相を持つようになる。

H 5の状態は SD信号のシフト量が 4とされたものであり、この場合、 HD信号の画素は、 S D信号の画素に対して、 4，一4の位相を持つようになる。 H 6 の状態は S D信号のシフト量が 5とされたものであり、この場合、 H D信号の画素は、 S D信号の画素に対して、 3，一 5の位相を持つようになる。 H 7の状態は S D信号のシフト量が 6とされたものであり、この場合、 H D信号の画素は、 S D信号の画素に対して、 2 , —6の位相を持つようになる。 11 8の状態は3 0 信号のシフト量が 7とされたものであり、この場合、 H D信号の画素は、 S D信号の画素に対して、 1，一 7の位相を持つようになる。

図 1 3は、上述したように垂直方向に 8段階、水平方向に 8段階にシフトさせて得られた 6 4種類の S D信号に関し、 S D信号の画素を中心とした場合の H D 信号の位相を示している。すなわち、 S D信号の画素に対して、 H D信号の画素は図中の秦で示す位相を持つようになる。

ここでは、位相シフトの方法の例として、オーバーサンプリングフィルタから欲しい位相だけを抜き出す方法をあげる。上述した画質調整として、ここでは解像度調整、ノイズ抑圧度調整を例にあげると、このオーバーサンプリングフィルタの周波数特性を変えることにより解像度の異なる生徒画像を作成することができる。そして、解像度の異なる生徒画像によって、解像度を上げる効果の異なる係数を作成できる。例えばボケ具合の大きい生徒画像とボケ具合の小さい生徒画像があった場合、ボケ具合の大きい生徒画像による学習で、解像度を上げる効果の強い係数が生成され、ボケ具合の小さい生徒画像による学習で、解像度を上げる効果の弱い係数が生成される。

さらに、解像度の異なる生徒画像の各々に対してノイズを加えることでノイズの加わった生徒画像を作成することができる。ノイズを加える量を可変することでノィズの量が異なる生徒画像が生成され、それによつてノィズ抑圧効果の異なる係数が生成される。例えばノイズをたくさん加えた生徒画像とノィズを少し加えた生徒画像があった場合、ノイズをたくさん加えた生徒画像による学習でノィズ抑圧効果の強い係数が作成され、ノィズを少し加えた生徒画像による学習でノィズ抑圧効果の弱い係数が作成される。

ノイズを加える量としては、例えば（1 4 ) 式のように、生徒画像の画素値 X に対して、ノイズ nを加えてノイズの加わった生徒画像の画素値 x ' を生成する場合、 Gを可変することでノイズ量を調整する。

χ ' = + G · η · · · ( 1 4 ) 図 1 4は、最終的な学習対の概念を示している。ここでは例として、異なるォ一パーサンプリングフィルタの周波数特性を 8段階とし、ノイズ加算量も 8段階とする。個々の周波数特性による生徒画像での学習により、解像度調整に対応する係数データが作成され、さらに個々のノィズ加算された生徒画像での学習により、ノイズ抑圧度調整に対応する係数データが作成ざれる。さらに個別の周波数特性、ノイズ加算量に対し、位相の異なる生徒画像で学習することで、異なる位相に対応する画素を生成する係数データが作成される。

図 1 5は、上述した概念で係数種データを生成する係数種データ生成装置 1 5 0の構成を示している。

この係数種データ生成装置 1 5 0は、教師信号としての HD信号（1 0 5 0 i 信号）が入力される入力端子 1 5 1と、この HD信号に対して、水平および垂直方向にオーバーサンプリングフィルタをかけ、欲しい位相を抜き出して S D信号を得る位相シフト回路 1 5 2 Aと、この S D信号に対し、ノイズを加算するノィズ加算回路 1 5 2 Bとを有している。

位相シフト回路 1 5 2 Aにはオーバーサンプリングフィルタの周波数特性を指定するパラメータ f 、および水平方向、垂直方向への位相シフト量を指定するパラメータ h， Vが入力される。ノイズ加算回路 1 5 2 Bにはノイズの加算割合を指定するパラメータ gが入力される。ここで、パラメータ f は図 1の画像信号処理部 1 1 0における解像度調整情報 f に対応し、パラメータ h， Vは図 1の画像信号処理部 1 1 0における位相情報 h， Vに対応し、パラメータ gは図 1の画像信号処理部 1 1 0におけるノイズ抑圧度調整情報 gに対応するものである。また、係数種データ生成装置 1 5 0は、ノィズ加算回路 1 5 2 Bより出力される S D信号より、 H D信号おける注目位置の周辺に位置する複数の S D画素のデータを選択的に取り出して出力する第 1〜第 3のタップ選択回路 1 5 3〜1 5 5 を有している。

これら第 1〜第 3のタップ選択回路 1 5 3〜： L 5 5は、上述した画像信号処理部 1 1 0の第 1〜第 3のタップ選択回路 1 2 1〜1 2 3と同様に構成される。これら第 1〜第 3のタップ選択回路 1 5 3〜1 5 5で選択されるタップは、タップ選択制御回路 1 5 6からのタップ位置情報によって指定される。また、タップ選択制御回路 1 5 6には後述する動きクラス検出回路 1 5 8より出力される動きクラスのクラス情報 MVが供給される。

また、係数種データ生成装置 1 5 0は、空間クラス検出回路 1 5 7、動きクラス検出回路 1 5 8、クラス合成回路 1 5 9を有しているが、これらは上述した画像信号処理部 1 1 0における空間クラス検出回路 1 2 4、動きクラス検出回路 1 2 5、クラス合成回路 1 2 6と同様である。空間クラス検出回路 1 5 7、動きクラス検出回路 1 5 8はそれぞれ第 2、第 3のタップ選択回路から取り出されるタップデータ（画素データ）を入力とする。

また、係数種データ生成装置 1 5 0は正規方程式生成部 1 6 0を有している。この正規方程式生成部 1 6 0は、入力端子 1 5 1に供給される HD信号より得られる注目画素データとしての各 HD画素データ yと、この各 HD画素データ yにそれぞれ対応して第 1のタップ選択回路 1 5 3で選択的に取り出される予測タツプのデータ X iと、各 HD画素データ yにそれぞれ対応してクラス合成回路 1 5 9より出力されるクラスコード C Lと、パラメータ f ， g， h， Vとから、クラス毎に係数種データ w i。〜w _{i 3}。（i == l〜n ) を得るための正規方程式（（1 3 ) 式参照）を生成する。

ここで、上述したように、パラメータ f はオーバーサンプリングフィルタの周波数特性を指定するものであり、パラメータ h， Vはそれぞれ水平方向、垂直方向への位相シフト量を指定するものであり、パラメータ gはノイズの加算割合を指定するものである。

この場合、一個の HD画素データ yとそれに対応する n個の予測タップ画素データとの組み合わせで学習データが生成される。位相シフト回路 1 5 2 Aへのパラメータ f , h , v、およびノイズ加算回路 1 5 2 Bへのパラメータ gが順次変更されていき、それに応じた S D信号が順次生成される。これによつて、正規方程式生成部 1 6 0では、多くの学習データが登録された正規方程式が生成される。このように S D信号を順次作成して学習データを登録することで、任意の解像度、ノイズ抑圧度、および水平、垂直の位相の画素データを得るための係数種データを求めることが可能となる。

また、係数種生成装置 1 5 0は、正規方程式生成部 1 6 0でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データ W i。〜w i ₃。を求める係数種データ決定部 1 6 1と、この求められた係数種データ Λ^。〜ΛΜ ₃。を記憶する係数種メモリ 1 6 2とを有している。図 1 5に示す係数種データ生成装置 1 5 0の動作を説明する。入力端子 1 5 1 には教師信号としての HD信号（1 0 5 0 i信号）が入力される。この HD信号に対して、位相シフト回路 1 5 2 Aでは、水平おょぴ垂直方向にオーバーサンプリングフィルタがかけられ、欲しい位相が抜き出されて S D信号が得られる。この場合、 S D信号として垂直方向に 8段階、水平方向に 8段階にシフトされたものが順次生成される。

また、各位相の S D信号に対して、位相シフト回路 1 5 2 Aに入力されるパラメータ fおよびノイズ加算回路 1 5 2 Bに入力されるパラメータ gが順次変更されていき、それに応じた S D信号が順次生成される。

ノイズ加算回路 1 5 2 Bより出力される各 S D信号より、第 2のタップ選択回路 1 5 4で、 HD信号における注目位置の周辺に位置する空間クラスタップのデータ（S D画素データ）が選択的に取り出される。この第 2のタップ選択回路 1 5 4では、タップ選択制御回路 1 5 6より供給される、動きクラス情報 MVに対応したタップ位置情報に基づいて、タップの選択が行われる。

この第 2のタップ選択回路 1 5 4で選択的に取り出される空間クラスタップのデータ（S D画素データ）は空間クラス検出回路 1 5 7に供給される。この空間クラス検出回路 1 5 7では、空間クラスタップのデータとしての各 S D画素データに対して AD R C処理が施されて空間クラスのクラス情報としての再量子化コード Q iが得られる（（1 ) 式参照）。

また、ノイズ加算回路 1 5 2 Bより出力される各 S D信号より、第 3のタップ選択回路 1 5 5で、 HD信号における注目位置の周辺に位置する動きクラスタツプのデータ（S D画素データ）が選択的に取り出される。この場合、第 3のタツプ選択回路 1 5 5では、タップ選択制御回路 1 5 6より供給されるタップ位置情報に基づいて、タップの選択が行われる。この第 3のタップ選択回路 1 5 5で選択的に取り出される動きクラスタップのデータ（S D画素データ）は動きクラス検出回路 1 5 8に供給される。この動きクラス検出回路 1 5 8では、動きクラスタップのデータとしての各 S D画素データより動きクラスのクラス情報 MVが得られる。

この動き情報 MVと上述した再量子化コ一ド Q iはクラス合成回路 1 5 9に供給される。このクラス合成回路 1 5 9では、これら動き情報 MVと再量子化コード Q iと力ら、 HD信号に係る注目画素が属するクラスを示すクラスコード C L が得られる（（3 ) 式参照）。

また、ノイズ ¾1算回路 1 5 2 Bより出力される各 S D信号より、第 1のタップ選択回路 1 5 3で、 HD信号における注目位置の周辺に位置する予測タップのデータ（S D画素データ）が選択的に取り出される。この場合、第 1のタップ選択回路 1 5 3では、タップ選択制御回路 1 5 6より供給されるタップ位置情報に基づいて、タップの選択が行われる。

そして、入力端子 1 5 1に供給される HD信号より得られる注目画素データとしての各 HD画素データ yと、この各 HD画素データ yにそれぞれ対応して第 1 のタップ選択回路 1 5 3で選択的に取り出される予測タップのデータ（S D画素データ） X iと、各 HD画素データ yにそれぞれ対応してクラス合成回路 1 5 9 より出力されるクラスコード C Lと、パラメータ f , h , v , gとから、正規方程式生成部 1 6 0では、クラス毎に、係数種データ W i。〜w _{i 3}。（i = l〜！ 1 ) を得るための正規方程式が生成される。

そして、係数種データ決定部 1 6 1でその正規方程式が解かれ、各クラスの係数種データ W i。〜W i 3。が求められ、その係数種データ W ί。〜W i 3。はクラス別にアドレス分割された係数種メモリ 1 6 2に記憶される。

このように、図 1 5に示す係数種データ生成装置 1 5 0においては、図 1の画像信号処理部 1 1 0の情報メモリパンク 1 3 5に記憶される、各クラスの係数種データ W i 0〜 W i ₃₀を生成することができる。

なお、図 1 5に示す係数種生成装置 1 5 0は、オーバーサンプリングフィルタの周波数特性を指定するパラメータ f 、ノイズの加算割合を指定するパラメータ g、および水平方向、垂直方向への位相シフト量を指定するパラメータ h , Vを順次変更していき、多くの学習データが登録された正規方程式を作成し、各クラスの係数種データ W i。〜W i 3。を一度に求めている。

係数種データ w_i0〜w_i3。を求める別の方法としては、パラメータ f ， g, h, vの各組み合わせによって生成される SD信号の各々について学習を行い、パラメータ f , g, h, vの各組み合わせに対応した係数データ Wiをまず個別に求める。そして個別に求まった係数データ Wiを教師データとし、（5) 式の関係を満たすように（7) 式を変数として最小二乗法を用いることで係数種データ w i O〜W i 3。を求めてもよい。

なお、図 1の画像信号処理部 1 10における処理を、例えば図 16に示すような画像信号処理装置 300によって、ソフトウエアで実現することも可能である。まず、図 16に示す画像信号処理装置 300について説明する。この画像信号処理装置 300は、装置全体の動作を制御する CPU301と、この CPU30 1の動作プログラムや係数種データ等が格納された ROM (Read Only Memory) 302と、 CPU301の作業領域を構成する RAM (Random Access Memory) 303とを有している。これら CPU301、 ROM302および RAM303 は、それぞれバス 304に接続されている。

また、画像信号処理装置 300は、外部記憶装置としてのハードディスクドライブ (HDD) 305と、フロッピー (R) ディスク 306をドライブするフロッピー（R) ディスクドライブ（FDD) 307とを有している。これらドライブ 305， 307は、それぞれバス 304に接続されている。

また、画像信号処理装置 300は、インターネット等の通信網 400に有線または無線で接続する通信部 308を有している。この通信部 308は、ィンタフエース 309を介してパス 304に接続されている。

また、画像信号処理装置 300は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機 200からのリモコン信号 RMを受信するリモコン信号受信回路 310と、 LCD (Liquid Crystal Display) 等からなるディスプレイ 31 1とを有している。受信回路 310はインタフェース 312を介してパス 304に接続され、同様にディスプレイ 31 1はインタフエース 313を介してパス 304に接続されている。また、画像信号処理装置 3 0 0は、入力画像信号 V inとしての 5 2 5 i信号を入力するための入力端子 3 1 4と、出力画像信号 Voutを出力するための出力端子 3 1 5とを有している。入力端子 3 1 4はインタフェース 3 1 6を介してバス 3 0 4に接続され、同様に出力端子 3 1 5はインタフェース 3 1 7を介してパス 3 0 4に接続される。

ここで、上述したように R OM 3 0 2に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばィンターネットなどの通信網 4 0 0より通信部 3 0 8を介してダウンロードし、ハードディスクや R AM 3 0 3に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー (R) ディスク 3 0 6で提供するようにしてもよい。

また、入力画像信号 Vinとしての 5 2 5 i信号を入力端子 3 1 4より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網 4 0 0より通信部 3 0 8を介してダウンロードしてもよい。また、出力画像信号 Voutを出力端子 3 1 5に出力する代わり、あるいはそれと並行してデイスプレイ 3 1 1に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部 3 0 8を介してインターネットなどの通信網 4 0 0に送出するようにしてもよい。

図 1 7のフローチャートを参照して、図 1 6に示す画像信号処理装置 3 0 0における、入力画像信号 Vinより出力画像信号 Voutを得るため処理手順を説明する。まず、ステップ S T 1で、処理を開始し、ステップ S T 2で、入力画像信号 V inを所定フレーム分または所定フィールド分入力する。この入力画像信号 Vinが入力端子 3 1 4より入力される場合には、この入力画像信号 Vinを構成する画素データを R AM 3 0 3に一時的に格納する。また、この入力画像信号 V inがハードディスクに記録されている場合には、ハードディスクドライブ 3 0 5でこの人力画像信号 Vinを読み出し、この入力画像信号 Vinを構成する画素データを R A M 3 0 3に一時的に格納する。そして、ステップ S T 3で、入力面像信号 Vinの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップ S T 4で、処理を終了する。一方、処理が終わつていないときは、ステップ S T 5に進む。このステップ S T 5では、画像の拡大率に応じた入力画像信号 V inと出力画像信号 Voutにおける垂直方向、水平方向の各フィールドにおける画素数の対応情報 n Zmの値を用いて、出力画像信号 Voutを構成する各単位画素プロック内の各画素の位相情報 h， Vを発生する。この位相情報 h , Vは、例えば R OM 3 0 2に記憶されているテーブルを用いて発生される。

こで、ユーザのリモコン送信機 2 0 0の操作によって通常モードまたはズームモードが設定される。通常モードの場合には、各フィールドにおける画像の拡大率は 1倍に固定される。

これに対して、ズームモードの場合には、画像の拡大率が所定の変化速度で各フレームまたは各フィールドで連続的に変換していき、それに伴って入力画像信号 Vinの処理領域 R Gも変化していく。この処理領域 R Gは、常に上述したズーム中心点 P 0を含み、そのズーム中心点 P 0の水平、垂直の内分比が、入力画像信号 Vinの全体領域におけるそのズーム中心点 P 0の水平、垂直の内分比と同一となるように設定される。出力画像信号 Voutの単位画素プロックは、処理領域 R G内に複数個、碁盤の目状に整然と並んでいる。またこのズームモードの場合、各フレームまたは各フィールドにおいて、ズーム中心点 P 0に対応した生成画素位相が常に同じになるように、位相情報 h， Vが発生される。

さらに、ステップ S T 5では、例えば出力画像信号 Voutの各単位画素ブロック毎に、それぞれその単位画素プロックの周辺に位置する入力画像信号 Vinの複数の画素データに基づいて、動き情報おょぴダイナミックレンジを得、これらの情報と画像の拡大率およびその変化速度とに基づいて、画質調整情報 f， gを発生する（図 6 A〜図 8 C参照）。この画質調整情報 f， gは、例えば R OM 3 0 2 に記憶されているテーブルを用いて発生される。

そして、ステップ S T 6で、単位画素プロック内の各画素の位相情報 h， v、単位画素ブロックに対応した画質調整情報 f， gおよび各クラスの係数種データを使用して、生成式（例えば（5 ) 式）によって、単位画素ブロック内の各画素にそれぞれ対応して、各クラスの推定式（（4 ) 式参照）の係数データ W iを生成する。

次に、ステップ S T 7で、ステップ S T 2で入力された入力画像信号 Vinの画素データより、作成すべき出力画像信号 Voutを構成する単位画素プロックに対応して、クラスタップおょぴ予測タップの画素データを取得する。そして、ステツプ S T 8で、ステップ S T 2で入力された入力画像信号 Vinの各フィールドに関して、その処理領域における処理が終了したか否かを判定する。終了しているときは、ステップ S T 2に戻り、次の所定フレームまたは所定フィールドの入力画像信号 Vinの入力処理に移る。一方、終了していないときは、ステップ S T 9に進む。

このステップ S T 9では、ステップ S T 7で取得されたクラスタツプの画素データからクラスコード C Lを生成する。そして、ステップ S T 1 0で、そのクラスコード C Lに対応した係数データ W iと予測タップの画素データを使用して、推定式により、出力画像信号 Voutを構成する単位画素プロック内の各画素のデータを生成し、その後にステップ S T 6に戻って、次の単位画素ブロックについての処理に移る。

このように、図 1 7に示すフローチャートに沿って処理をすることで、入力された入力画像信号 Vinの画素データを処理して、出力画像信号 Voutの画素データを得ることができる。上述したように、このように処理して得られた出力画像信号 Voutは出力端子 3 1 5に出力されたり、ディスプレイ 3 1 1に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ 3 0 5に供給されてハードディスクに記録されたりする。

また、処理装置の図示は省略するが、図 1 5の係数種データ生成装置 1 5 0における処理を、ソフトウェアで実現することも可能である。

図 1 8のフローチャートを参照して、係数種データを生成するための処理手順を説明する。

まず、ステップ S T 2 1で、処理を開始し、ステップ S T 2 2で、学習に使われる、 S D信号の位相シフト値（例えば、パラメータ h， Vで特定される）およぴ画質調整値（例えば、パラメータ f， gで特定される）を選択する。そして、ステップ S T 2 3で、位相シフト値および画質調整値の全ての組み合わせに対して学習が終わったか否かを判定する。全ての組み合わせに対して学習が終わっていないときは、ステップ S T 2 4に進む。このステップ ST 24では、既知の HD信号を 1フレーム分または 1フィールド分入力する。そして、ステップ ST 25で、全てのフレームまたはフィールドの HD信号について処理が終了したか否かを判定する。終了したときは、ステツプ ST22に戻って、次の位相シフト値および画質調整値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップ ST 26に進む。

このステップ ST 26では、ステップ ST 24で入力された HD信号より、ステツプ S T 22で選択された位相シフト値だけ位相シフトされ、また画質調整値に対応して画質調整（解像度、ノイズの調整）された SD信号を生成する。そして、ステップ ST 27で、ステップ ST 26で生成された SD信号より、 HD画素データに対応して、クラスタツプおよび予測タップの画素データを取得する。そして、ステップ ST 28で、ステップ ST 24で入力された HD信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップ ST 24に戻って、次の 1フレーム分または 1フィールド分の H D信号の入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップ ST 29に進む。

このステップ S T 29では、ステップ S T 27で取得されたクラスタップの S D画素データからクラスコード CLを生成する。そして、ステップ ST 30で、正規方程式 ( (13) 式参照) を生成する。その後に、ステップ ST27に戻る。また、ステップ ST 23で、位相シフト値およぴ画質調整値の全の組み合わせに対して学習が終わったときは、ステップ ST 31に進む。このステップ ST 31では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップ ST 32で、その係数種データをメモリに保存し、その後にステップ ST 33で、処理を終了する。

このように、図 18に示すフローチャートに沿って処理をすることで、図 15 に示す係数種データ生成装置 150と同様の手法によって、各クラスの係数種データを得ることができる。

なお、上述実施の形態においては、出力画像信号 Voutにおける注目位置の周辺に位置する入力画像信号 Vinの複数の画素データから抽出された特徴情報としてクラス情報 MVおよびダイナミックレンジ D Rを使用したものであるが、これとは別に、あるいはこれと一緒に、他の特徴情報を用いることも考えられる。他の特徴情報としては、入力画像信号 V inの複数の画素データについて AD R C処理をして得られる空間波形情報（上述のクラスコード Q iに相当）、入力画像信号 Vinの複数の画素データを処理して得られるアクティビティ情報、さらには入力画像信号 V inの複数の画素データの平均値等も考えられる。例えば動きクラス情報 MVおよびクラスコード Q iを使用する場合には、画質調整情報発生回路 1 4 0には、クラス合成回路 C Lを供給することが考えられる。

また、上述実施の形態においては、情報メモリバンク 1 3 5に係数種データを記憶しておき、係数生成回路 1 3 6では、この係数種データを用いて、（5 ) 式の生成式に基づき、位相情報発生回路 1 3 9より出力される位相情報 h， Vおよび画質調整情報発生回路 1 4 0で発生される画質調整情報 f ， gに対応した係数データ W iを生成して使用するものを示した。

しかし、情報メモリバンク 1 3 5に位相情報 h , Vおよび画質調整情報 f , g の全ての組み合わせについての係数データを記憶しておき、位相情報発生回路 1 3 9より出力される位相情報 h , Vおよび画質調整情報発生回路 1 4 0で発生される画質調整情報 f ， gに対応した係数データ W iを読み出して使用するようにしてもよい。

この場合、情報メモリパンク 1 3 5に記憶される位相情報 h， Vおよび画質調整情報 f ， gの各組み合わせの係数データ W iは、パラメータ f ， g , h，の各組み合わせで得られる S D信号のそれぞれについて学習を行うことで求めることができる。

また、上述実施の形態においては、出力画像信号 Voutの画素データを生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。また、上述実施の形態においては、クラスコード C Lを検出し、推定予測演算ではこのクラスコードに応じた係数データ W iを使用するものを示したが、クラスコード C Lの検出部分を省略したものも考えられる。その場合には、情報メモリパンク 1 3 5に格納される係数種データは 1種類のみとなる。また、上述実施の形態においては、画像信号処理部 1 1 0より出力される出力画像信号 Voutをディスプレイ部 1 1 1に供給して、その出力画像信号 Voutによる画像を表示するものを示したが、この出力画像信号 Voutをビデオテープレコーダなどの記録装置に供給して記録するようにしてもよい。その場合、後処理回路 1 2 9の部分で、さらに記録に最適なデータ構造となるように処理してもよい。この発明によれば、第 1の画像信号を処理して画像の拡大率（画像サイズ）を連続的に変化させた画像を表示するための第 2の画像信号を得るものにあって、第 2の画像信号による画像の画質を少なくとも画像の拡大率に係る情報に基づいて発生された画質調整情報により調整するものであり、ズーム画像の画質の向上を図ることができる。産業上の利用可能性

この発明に係る画像信号処理装置等は、拡大率に係る情報に基づいて画質調整を行ってズーム画像の画質向上を図るものであり、画像の拡大率を連続的に変化させたズーム画像を表示し得るテレビ受信機等の画像表示装置に適用できる。

Claims

請求の範囲

1 . 複数の画素データからなる第 1の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第 2の画像信号を生成する画像信号処理装置であって、

各拡大率に対応した、上記第 2の画像信号における注目位置の位相情報を発生させる位相情報発生手段と、

上記位相情報発生手段で発生された位相情報に対応して、上記第 2の画像信号における注目位置の画素データを生成する画素データ生成手段と、

上記第 2の兩像信号による画像の画質を、少なくとも上記画像の拡大率に係る情報に基づいて発生した画質調整情報により調整する画質調整手段と

を備えることを特徴とする画像信号処理装置。

2 . 上記画像の画質は、解像度である

ことを特徴とする請求の範囲第 1項に記載の画像信号処理装置。

3 . 上記画像の画質は、ノイズ抑圧度である

4 . 上記画像の拡大率に係る情報は、上記拡大率の変化速度である

5 . 上記画像の拡大率に係る情報は、上記画像の拡大率である

6 . 上記画質調整手段は、さらに、

第 2の画像信号における注目位置の周辺に位置する上記第 1の画像信号の複数の画素データから抽出される特徴情報に基づいて発生した画質調整情報により、上記第 2の画像信号における注目位置の画素データによる画像の画質を調整することを特徴とする請求の範囲第 1項に記載の画像信号処理装置。

7 . 上記特徴情報は、上記第 1の画像信号の複数の画素データの最大値と最小値との差分であるダイナミックレンジである

ことを特徴とする請求の範囲第 6項に記載の画像信号処理装置。

8 . 上記特徴情報は、上記第 1の画像信号の複数の画素データのうち時間方向に離れた位置にある画素データどうしの差分を用いて得られた動き情報であることを特徴とする請求の範囲第 6項に記載の画像信号処理装置。

9 . 上記特徴情報は、上記第 1の画像信号の複数の画素データのレベル分布を示す空間波形情報である

1 0 . 上記画素データ生成手段は、

上記位相情報発生手段で発生された位相情報に対応した、推定式で用いられる係数データを発生する係数データ発生手段と、

上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の画素データを選択する第 1のデータ選択手段と、

上記係数データ発生手段で発生された係数データおよび上記第 1のデータ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第 2の画像信号における注目位置の画素データを算出して得る演算手段とを有することを特徴とする請求の範囲第 1項に記載の画像信号処理装置。

1 1 . 上記第 1の画像信号に基づいて、上記第 2の画像信号における注目位置の周辺に位置する複数の画素データを選択する第 2のデータ選択手段と、

上記第 2のデータ選択手段で選択された複数の画素データに基づいて、上記第 2の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに有し、上記係数データ発生手段は、さらに、上記クラス検出手段で検出されたクラスに対応した上記推定式で用いられる係数データを発生する

ことを特徴とする請求の範囲第 1 0項に記載の画像信号処理装置。

1 2 . 上記係数データ発生手段は、

上記推定式で用いられる係数データを生成する、上記位相情報をパラメータとして含む生成式における係数データである係数種データを格納する記憶手段と、上記記憶手段に格納されている係数種データと上記位相情報発生手段で発生された位相情報とを用いて、上記生成式に基づいて上記推定式で用いられる係数データを生成する係数データ生成手段とを有する

1 3 . 上記生成式は、さらに、上記画質調整情報をパラメータとして含み、上記係数データ生成手段は、さらに、上記画質調整情報を用いて、上記生成式に基づいて上記推定式で用いられる係数データを生成する

ことを特徴とする請求の範囲第 1 2項に記載の画像信号処理装置。

1 4 . 上記係数データ発生手段は、

上記位相情報発生手段で発生し得る位相情報毎に上記推定式で用いられる係数データを格納する記憶手段と、

上記記憶手段より上記位相情報発生手段で発生された位相情報に対応する係数データを読み出す係数データ読み出し手段とを有する

1 5 . 上記記憶手段は、さらに、上記位相情報発生手段で発生し得る位相情報および上記画質調整手段で発生し得る画質調整情報の組み合わせ毎に上記推定式で用いられる係数データを格納し、

上記係数データ読み出し手段は、上記記憶手段より、上記位相情報発生手段で発生された位相情報およぴ上記画質調整手段で発生された画質調整情報に対応する係数データを読み出す

ことを特徴とする請求の範囲第 1 4項に記載の画像信号処理装置。

1 6 . 複数の画素データからなる第 1の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第 2の画像信号を生成する画像信号処理方法であって、

各拡大率に対応した、上記第 2の画像信号における注目位置の位相情報を発生させるステップと、

上記発生された位相情報に対応して、上記第 2の画像信号における注目位置の画素データを生成するステップと、

上記第 2の画像信号による画像の画質を、少なくとも上記画像の拡大率に係る情報に基づいて発生した画質調整情報により調整するステツプと

を備えることを特徴とする画像信号処理方法。

1 7 . 複数の画素データからなる第 1の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第 2の画像信号を生成するために、各拡大率に対応した、上記第 2の画像信号における注目位置の位相情報を発生させるステップと、

を備える画像信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。

1 8 . 複数の画素データからなる第 1の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第 2の画像信号を生成するために、各拡大率に対応した、上記第 2の画像信号における注目位置の位相情報を発生させるステップと、上記発生された位相情報に対応して、上記第 2の画像信号における注目位置の画素データを生成するステップと、

上記第 2の画像信号による画像の画質を、少なくとも上記画像の拡大率に係る情報に基づいて発生した画質調整情報により調整するステップと

を備える画像信号処理方法をコンピュータに実行させるためのプログラム。