JP4223576B2 - 画像信号変換装置および方法 - Google Patents
画像信号変換装置および方法 Download PDFInfo
- Publication number
- JP4223576B2 JP4223576B2 JP24266196A JP24266196A JP4223576B2 JP 4223576 B2 JP4223576 B2 JP 4223576B2 JP 24266196 A JP24266196 A JP 24266196A JP 24266196 A JP24266196 A JP 24266196A JP 4223576 B2 JP4223576 B2 JP 4223576B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- class
- digital image
- tap
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１１に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１２および図１３に示す。
【０００４】
図１２に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１３に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数が予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成する処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
【発明が解決しようとする課題】
このようにクラス分類適応処理によって一般に、予測係数は、学習対象画像の平均的な特性を反映した値となる。そのため、処理の対象となる画像が特殊条件の場合では、対応できなくなり、画質劣化が生じる。すなわち、背景画像の前を非常に明るい物体が高速で移動する場合などは、予測演算値が背景画像の画素値に比べ非常に大きくなる。このとき残像のような尾引き画像となり非常に見苦しくなる。さらに、注目するＳＤ画素の空間内近傍画素値が背景画素値のみによる予測値であるとき、背景画像領域と高速移動物体領域の組み合わせにより網目状の残像となり大きな画質劣化を引き起こす。この現象は、移動物体の形状、移動速度、物体画素値、背景画素値などの組み合わせにより画質劣化の程度は異なるが、目立つ場合には強い違和感が残り大きな画質劣化となる。
【００１０】
従って、この発明は、入力ＳＤ信号のクラス分類結果に対応し選択された予測タップの画素の信号特性を評価し、上述したような特殊条件の場合には、再度、クラスタップおよび予測タップを選択しなおすことによって、画質劣化を防止することができる画像信号変換装置および方法の提供を目的とする。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換装置において、第１のディジタル画像信号の注目画素を中心としたフィールド内の複数の画素からなる第１のタップを生成し、生成された第１のタップの複数の画素から第１のクラスを生成する第１のクラス生成手段と、第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを生成し、生成された第２のタップの複数の画素から第２のクラスを生成する第２のクラス生成手段と、第２のディジタル画像信号の画素を生成するために、第２のタップとは異なる第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第３のタップを、生成された第２のクラスに応じて検出する第３のタップ検出手段と、第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出手段と、動き検出手段で検出された動き量を記憶する動き量記憶手段と、動き量記憶手段から第３のタップに対応した動き量を読み出し、読み出された動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価手段と、評価手段の評価結果から動きの存在が当該フィールドのみであると評価されると、第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、第２のクラスを選択するクラス選択手段と、第２のディジタル画像信号の画素を生成するために、選択された第１または第２のクラスに基づいて、第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択手段と、第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶され、選択された第１または第２のクラスに応じて予測係数が読み出される記憶手段と、選択された画素と、読み出された予測係数とを演算し、第２のディジタル画像信号の画素を生成する演算手段とからなることを特徴とする画像信号変換装置である。
【００１２】
さらに、請求項７に記載の発明は、第１のディジタル画像信号を第２のディジタル画像信号に変換する画像信号変換装置において、第１のディジタル画像信号の特徴に基づきクラスに分類されるクラス分類手段と、第１のディジタル画像信号の特徴に基づき特殊条件時の特殊クラスに分類される特殊クラス分類手段と、クラスに応じて予測タップを検出する予測タップ検出手段と、第１のディジタル画像信号から動き量を検出する動き量検出手段と、動き量および／または予測タップによって第１のディジタル画像信号を判定する判定手段と、クラスまたは特殊クラスから判定に応じて１つのクラスを選択する選択手段と、選択された１つのクラスに応じて予測タップが再選択される予測タップ再選択手段と、予め学習により獲得され、メモリに記憶された予測係数が、選択された１つのクラスに応じて読み出される予測係数記憶手段と、読み出された予測係数と、予測タップとから予測演算を実行する予測演算手段とからなることを特徴とする画像信号変換装置である。
【００１３】
また、請求項６に記載の発明は、第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換方法において、第１のディジタル画像信号の注目画素を中心としたフィールド内の複数の画素からなる第１のタップを生成し、生成された第１のタップの複数の画素から第１のクラスを生成する第１のクラス生成ステップと、第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを生成し、生成された第２のタップの複数の画素から第２のクラスを生成する第２のクラス生成ステップと、第２のディジタル画像信号の画素を生成するために、第２のタップとは異なる第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第３のタップを、生成された第２のクラスに応じて検出する第３のタップ検出ステップと、第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出ステップと、動き検出ステップで検出された動き量を動き量記憶手段に記憶するステップと、動き量記憶手段から第３のタップに対応した動き量を読み出し、読み出された動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価ステップと、評価ステップの評価結果から動きの存在が当該フィールドのみであると評価されると、第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、第２のクラスを選択するクラス選択ステップと、第２のディジタル画像信号の画素を生成するために、選択された第１または第２のクラスに基づいて、第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択ステップと、第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶手段に記憶され、選択された第１または第２のクラスに応じて予測係数を読み出すステップと、選択された画素と、読み出された予測係数とを演算し、第２のディジタル画像信号の画素を生成する演算ステップとからなることを特徴とする画像信号変換方法である。
【００１４】
入力ＳＤ信号に対してクラス分類を行い、そのクラスに応じた予測タップを検出し、特殊条件での画質劣化の発生しないクラスを入力ＳＤ信号から検出する。さらに、入力ＳＤ信号から動き量（動き特性）の検出を行い、動き量に応じて予測タップおよび予測係数を切り換えることによって、特殊条件に対する例外処理を施すことができ画質劣化を防止することができる。
【００１５】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いたアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００１６】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（◎）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００１７】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００１８】
１）ＰＣＭデータを直接使用する。
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００１９】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２０】
【数１】
ｙ´：推定ＨＤ画素値
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２１】
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。このクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測タップ選択部３および予測係数ＲＯＭ４へ供給される。
【００２２】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして応答する予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、供給されたクラスに応じて入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２３】
この例では、mode１〜mode４のＨＤ画素を予測するために、図１Ａに示す７画素からなるクラスタップを共用しているが、mode１〜mode４毎にクラスタップを変えても良い。同様に、図１Ｂに示す１３画素からなる予測タップを共用しているが、上述したように供給されるクラスに基づいて予測タップを変えることも可能であり、またmode１〜mode４毎に予測タップを変えることも可能である。
【００２４】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００２５】
観測方程式：ＸＷ＝Ｙ （２）
【数２】
【００２６】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００２７】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【数３】
【００２８】
式（４）の残差方程式から、各ｗi の最確値は、
【数４】
を最小にする条件が成り立つ場合と考えられる。すなわち、式（５）の条件を考慮すれば良いわけである。
【００２９】
【数５】
【００３０】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３１】
【数６】
【００３２】
式（５）および式（６）により式（７）が得られる。
【数７】
【００３３】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【数８】
【００３４】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００３５】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００３６】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測演算方式によるクラス分類適応処理の概要である。
【００３７】
上述したクラス分類適応処理を用いたアップコンバータの一例を図４および図５に示す。この図４および図５は、上述した図１２および図１３のアップコンバータに対応した構成であり、図１１に示すＳＤ画素とＨＤ画素の関係に基づいてＨＤ画素データを生成するものである。入力端子１０から供給される入力ＳＤ信号は、予測タップ選択部１１およびクラス分類部１２へ供給される。クラス分類部１２では、上述した図１Ａに示すクラスタップのようにクラスｄ０が生成され、生成されたクラスｄ０は、アドレスとして予測係数ＲＯＭ１３へ供給される。予測タップ選択部１１では、上述した図１Ｂに示すような予測タップが選択される。選択された予測タップは、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。
【００３８】
予測係数ＲＯＭ１３では、上述したように予め学習により獲得された予測係数からクラスｄ０に対応したものが読み出される。読み出された予測係数は、ｄ５として、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。mode１予測演算部１４では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、mode１のＨＤ画素ｄ１が生成され、生成されたＨＤ画素ｄ１は、選択部１８に供給される。同様に、予測演算部１５、１６および１７では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、ＨＤ画素ｄ２、ｄ３、ｄ４が生成され、選択部１８へ供給される。
【００３９】
このとき、各予測演算部１４、１５、１６、１７では、予測タップ選択部１１からの予測タップと予測係数ｄ５との積和演算が行われる。この積和演算の際にmodeに応じて予測係数の符号が変更される。mode１予測演算部１４とmode２予測演算部１５の間では、積和演算を実行するときに、例えば予測係数ｄ５の符号を正負の逆とし、同様にmode３予測演算部１６とmode４予測演算部１７の間でも、予測係数ｄ５の符号を正負の逆とし、積和演算を実行する。また、mode１予測演算部１４とmode３予測演算部１６の間では、例えば注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、予測係数ｄ５と積和演算を実行し、同様にmode２予測演算部１５とmode４予測演算部１７とでも、注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、積和演算を実行する。
【００４０】
選択部１８では、注目ＳＤ画素から生成されたＨＤ画素を所望の時系列に並び換え、出力端子１９を介してＨＤ画素が出力される。この選択部１８には、並び換えに必要なメモリも含まれる。以上が２次元ノンセバラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００４１】
一方、図５は、垂直／水平セパラブル構成の予測演算を行う場合のクラス分類適応処理の構成例を示す。入力端子２０から入力ＳＤ信号が供給され、入力ＳＤ信号は、予測タップ選択部２１およびクラス分類部２２へ供給される。クラス分類部２２では、上述した図１Ａに示すクラスタップのようにクラスｄ１１が生成され、生成されたクラスｄ１１は、アドレスとして垂直係数ＲＯＭ２３および水平係数ＲＯＭ２４へ供給される。予測タップ選択部２１において選択された予測タップは、垂直予測演算部２５および２６へ供給される。
【００４２】
垂直係数ＲＯＭ２３では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、垂直予測係数ｄ１６として、垂直予測演算部２５および２６へ供給される。水平係数ＲＯＭ２４では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、水平予測係数ｄ１７として、水平予測演算部２７および２８へ供給される。
【００４３】
垂直予測演算部２５では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値が生成される。この垂直推定値は、ＨＤ画素の位置に生成されるものである。次に、この垂直推定値を使用して水平方向のクラス分類適応予測を行い、それによってＨＤ画素値を生成する。生成された垂直推定値は、ｄ１２として水平予測演算部２７へ供給される。同様に、垂直予測演算部２６では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値ｄ１３が生成され、水平予測演算部２８へ供給される。
【００４４】
水平予測演算部２７では、供給された垂直推定値ｄ１２を記憶するメモリを有し、記憶された垂直推定値から予測タップが選択され、選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１４として選択部２９へ供給される。同様に、水平予測演算部２８では、メモリから選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１５として選択部２９へ供給される。上述した予測演算部２５、２６、２７および２８では、modeに応じて予測係数の符号および／またはタップの入れ換えがなされる。
【００４５】
この垂直および水平予測演算部２５〜２８では、mode１、mode２の走査線用と、mode３、mode４の走査線用の２種類に分かれ、予測演算部２５および２７が前者を示し、予測演算部２６および２８が後者を示す。選択部２９では、供給されたＨＤ画素ｄ１４およびｄ１５を最適な並び換えにより最終的に出力端子３０を介してＨＤ画素が出力される。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００４６】
以上のクラス分類適応処理は、式（１）の例で示されるような予測演算を使用する予測演算方式と呼ばれる手法である。この他に重心法を用いたクラス分類適応処理がある。重心法は、予測演算値を出力する予測演算方式ではなく、各クラスに対応する目標信号分布の平均値を出力値とする手法である。予測演算方式は、予め学習により各クラスに対応する予測係数を生成しておくが、重心法では、予め学習により各クラスに対応する出力値を生成しておく。よって、重心法の基本構成は、クラス分類部と予測値ＲＯＭを直列接続した簡素なものとなる。重心法は、予測演算方式に比べ予測自由度が少ないため、全体の性能では予測演算方式より劣ることが多いが、ハード量が非常に少ないという利点がある。このため、これらは、用途によって使い分けられる。
【００４７】
この発明は、上述のクラス分類適応処理を用いたアップコンバータにおいて、まれに発生する画質劣化を抑圧するものである。その画質劣化の発生メカニズムについて図６を用いて説明する。まず、図６Ａは、時間方向の画素配置図であり、図６Ｂは、各フィールドの対応する動き量を表示する。この図６Ａの一例は、◎で示す注目ＳＤ画素ａよりＨＤ画素値を予測する場合を示す。この図は、◎の注目ＳＤ画素ａを含む垂直断面に関し、時間方向の流れを表現する。ここでは、空間位置を固定とした連続する６フィールド（＃（ｎ−４）、＃（ｎ−３）、・・・、＃（ｎ＋１））の時間方向の画素配置が示されている。図６Ｂには、各フィールドの動き量を示す。
【００４８】
注目ＳＤ画素ａは、＃ｎフィールドに属する。ＨＤ画素値の予測に図１Ｂに示すフレーム内１３タップの予測タップを使用すると、図６Ａ中の台形で囲まれた範囲に含まれる、◎の注目ＳＤ画素ａを含む垂直５ラインが予測タップの対象画素となる。＃ｎフィールドの直前の＃（ｎ−１）フィールドを高速物体が横切るような特殊条件を考える。図６の例は、背景画像の前を高速物体が移動し、図６Ｂからわかるように、＃（ｎ−１）フィールドのみに動きが存在するような場合を示す。
【００４９】
一般にクラス分類適応処理に用いられる予測係数は、学習対象画像の平均的な特性を反映した値となる。そのため、このような特殊条件は例外となり、一般的には対応できない。背景画像の値と高速物体の値が近い場合は、大きな画質劣化にはならない。しかしながら、背景画像の前を非常に明るい物体が高速で移動する場合などは、予測タップに高輝度の画素が含まれるために、予測演算値が背景画像の画素値に比べ非常に大きくなる。このとき、残像のような尾引き画像となり非常に見苦しくなる。
【００５０】
さらに、注目ＳＤ画素の空間内近傍画素値が背景画像画素値のみによる予測値であるとき、背景画像領域と高速移動物体領域の組み合わせにより網目状の残像となり大きな画質劣化を引き起こす。この現象は、移動物体の形状、移動速度、物体画素値、背景画素値などの組み合わせにより、画質劣化の程度は異なるが、目立つ場合には強い違和感が残り大きな画質劣化となる。
【００５１】
そこで、この発明は、入力ＳＤ信号のクラス分類結果に対応し選択された予測タップの画素の信号特性を評価し、必要な場合には、再度、クラスや予測タップを選択するものである。上述した図１Ｂに示すフレーム内１３タップの予測タップの例においては、６タップに関し直前の＃（ｎ−１）フィールドの画素値が使用されることになる。予測タップ画素の評価を行う際に用いられる信号特性の例として、動き量および画素値差が挙げられる。図６の例は、＃（ｎ−１）フィールドのみに動きが存在するので、再選択条件を満たす可能性がある。再選択条件とは、動き量が大きく、かつ画素値差も大きい場合であり、このような場合、上述の画質劣化が発生する可能性が高いので、別の画質劣化が発生しないクラスや予測タップを再選択する。例えば、動きの影響を受けないフィールド内タップを再選択すれば、解像度という観点からは問題があるが、動きに起因する画質劣化は、発生しない。
【００５２】
各画素の動き量検出については、図６Ａ中の両矢印▲１▼、▲２▼、▲３▼、▲４▼、▲５▼で表されるような空間位置の同じ画素間のフレーム間差分絶対値などが用いられる。
【００５３】
一例として、動き量Ｍi は、式（９）から求められる。
Ｍi ＝ｗ1 ｜ａ−ａ´｜＋ｗ2 ｜ｂ−ｂ´｜＋ｗ3 ｜ｃ−ｃ´｜＋ｗ4 ｜ｄ−ｄ´｜＋ｗ5 ｜ｅ−ｅ´｜ （９）
但し、ｗ1 、ｗ2 、ｗ3 、ｗ4 、ｗ5 は、重み係数である。
【００５４】
さらに、画素値差Ｑi は、式（１０）から求められる。
Ｑi ＝ｗ11｜ａ−ｂ｜＋ｗ12｜ａ−ｃ｜＋ｗ13｜ｄ−ｂ｜＋ｗ14｜ｅ−ｃ｜（１０）
但し、ｗ11、ｗ12、ｗ13、ｗ14は、重み係数である。
（（ｗ11＝ｗ12でも良い）＞（ｗ13＝ｗ14でも良い））
【００５５】
上述したように、重み係数ｗ1〜ｗ5、ｗ11〜ｗ14を使用する理由は、クラス分類適応処理で用いられる予測係数の寄与度が注目画素の近傍であるほど大きい。そこで、処理対象画素の時間方向および空間方向も考慮した評価を行うためである。すなわち、予測タップ対応画素を評価する際、時間方向および空間方向の逆比などの重みを掛けることを意味する。注目画素に近い予測タップの画素特性の評価重みを大きくし、注目画素から遠い予測タップの画素特性の評価重みを下げる。これによって、画質劣化が発生しない限り、従来のクラスと予測タップを使用することが可能となる。
【００５６】
そして、動き量と画素値差の一方によって、再度、クラスタップや予測タップを選択するか否かの判断を行っても良い。以下に示す式（１１）では、両者を考慮した評価値Ｅを示す。
Ｅ＝（動き量）＋（画素値差）＝Σαi Ｍi ＋Σβi Ｑi （１１）
ただし、αi 、βi は、重み係数である。
【００５７】
次に、上述したこの発明の一実施例について、図７を参照して説明する。この図７は、一般のクラス分類と予測タップを使用する場合と、特殊条件での画質劣化の発生しないクラスと予測タップを使用する場合である。入力端子３１から供給される入力ＳＤ信号ｄ２０は、クラス分類部３２、３３、動き検出部３５および予測タップ選択部３９へ供給される。クラス分類部３２では、特殊条件での画質劣化が発生しないクラスｄ２１が用意される。例えば、図８Ａに示すようなフィールド内信号波形のみから分類されるクラスタップが用いられる。このクラスｄ２１は、クラス分類部３２から選択部３７へ供給される。
【００５８】
クラス分類部３３では、通常のクラス分類が実行される。例えば、上述した図１Ａに示すようなフレーム内からなるクラスタップを使用し、ＡＤＲＣ等のクラス分類の手法が行われる。このクラス分類部３３で生成されたクラスｄ２２は、クラス分類部３３から予測タップ検出部３４および選択部３７へ供給される。予測タップ検出部３４では、クラスｄ２２に対応した、例えば上述した図１Ｂに示すようなフレーム内からなる予測タップが選択される。選択された予測タップｄ２４は、予測タップ検出部３４から予測タップ判定部３８へ供給される。
【００５９】
動き検出部３５では、上述した手法により動き量が検出され、検出された動き量ｄ２３は、動きメモリ３６へ供給される。動きメモリ３６では、供給された動き量ｄ２３が蓄積される。予測タップ判定部３８には、予測タップ検出部３４から選択された予測タップｄ２４が供給され、さらに動きメモリ３６から動き量を読み出し、読み出した動き量ｄ２５に基づいて予測タップ判定部３８が予測タップｄ２４の評価を行う。予測タップ判定部３８でなされた評価の判定出力ｄ２６は、選択部３７へ供給される。
【００６０】
選択部３７では、判定出力ｄ２６に応じてクラス分類部３２からのクラスｄ２１か、クラス分類部３３からのクラスｄ２２かが選択される。選択されたクラスは、ｄ２７として予測タップ選択部３９および予測係数ＲＯＭ４０へ供給される。予測係数ＲＯＭ４０では、供給されたクラスｄ２７に応答する予測係数が読み出される。読み出された予測係数ｄ２８は、予測演算部４１へ供給される。
【００６１】
予測タップ選択部３９では、クラスｄ２７に応じて入力ＳＤ信号ｄ２０から予測演算に用いられる予測タップが選択される。この予測タップ選択部３９では、クラスｄ２７に基づいて予測タップが選択され、すなわち動き量ｄ２５に基づいて予測タップが選択される。選択される予測タップの具体例を以下に示す。予測タップ選択部３９では、クラスｄ２７、すなわち動き量ｄ２５が、例えば静止のような場合で、頗る小さい値の場合、図１Ｂに示す予測タップが選択され、準静止のような場合で、動き量ｄ２５が小さい場合、図８Ｂに示す予測タップが選択される。さらに、動き量ｄ２５が大きい場合、図８Ｃに示す予測タップが選択され、動き量ｄ２５がかなり大きい場合、図８Ｄに示す予測タップが選択される。
【００６２】
予測演算部４１では、予測タップ選択部３９からの予測タップと予測係数ｄ２８とから、例えば線形１次結合式によって入力ＳＤ信号ｄ２０より多い画素数の画素ｄ２９が算出される。算出された画素ｄ２９は、出力端子４２から出力される。なお、図７中の破線矢印は、各クラス分類に動き量を加味する場合も考慮したことを意味する。
【００６３】
この図７の一実施例を具体的に説明すると、通常、フィールド間予測のタップ構造により入力ＳＤ信号のアップコンバージョンを行う。しかしながら、フィールド間予測のタップ構造では、特殊条件による画質劣化、例えば高速動き物体における画質劣化には対応できない。そこで、特殊条件が発生した場合のみ、フィールド内予測のタップ構造を使用する。これによって、解像度性能は、高くないもののフィールド間予測のタップ構造を使用する場合より、画質劣化は抑えられる。
【００６４】
すなわち、特殊条件の場合のみ、クラス分類部３２によるクラスｄ２１と対応する予測タップ構造を用い、通常の場合には従来のクラス分類部３３によるクラスｄ２２と対応する予測タップ構造を用いることで、出力画像の全体の画質向上につながる。このとき、予測係数ＲＯＭ４０には、クラスｄ２１に対応する特殊条件での画質劣化が発生しない予測係数を通常の予測係数とは別に用意する。
【００６５】
また、図に示した動きメモリ３６の他に各画素値を記憶するメモリも必要となるが、予測演算を実行するためには、各画素値を記憶するメモリが搭載されているので、ハード的には問題はない。この図では、動き検出した結果を記憶する構成を提案しているが、各画素値も記憶されているので、随時、上述した式（１１）に基づいた、動き量と画素値差の検出を実行しながら判定する構成も考えられる。
【００６６】
上述した一実施例の予測タップ選択部３９では、動き量のみからなる評価値ｄ２６に基づいて予測タップが再選択される一例を説明したが、予測タップを切り換える他の例として、図９Ａに矢印で示す方向に空間傾斜が強いような特殊条件の場合には、図９Ａに示す予測タップから図９Ｂに示す予測タップを再選択することも可能である。
【００６７】
さらに、再選択されるクラスと予測タップに関して、ハードの負担を軽減するため、特殊条件発生時には入力ＳＤ信号の特性に依存しない単一クラスと単一予測タップを用いる場合と、一般のクラス分類と予測タップを使用する場合とを併用する他の実施例を図１０に示す。このときの予測係数としては、全学習対象画像の平均的な信号特性を用いる場合や、上述の画質劣化の発生する条件のみを集めて学習することが考えられる。
【００６８】
入力端子５１から供給される入力ＳＤ信号ｄ４０は、クラス分類部５３、動き検出部５５および予測タップ選択部５９へ供給される。この他の実施例では、特殊条件発生時には、予め学習により用意された固定クラスｄ４１が固定クラス発生部５２から選択部５７へ供給される。この固定クラスｄ４１は、一例として図８Ａに示すようなクラスタップからなる。
【００６９】
クラス分類部５３では、入力ＳＤ信号ｄ４０に通常のクラス分類が実行される。例えば、上述した図１Ａに示すようなクラスタップを使用し、ＡＤＲＣ等のクラス分類の手法が行われる。分類されたクラスｄ４２は、クラス分類部５３から予測タップ検出部５４および選択部５７へ供給される。予測タップ検出部５４では、クラスｄ４２に対応した予測タップ構造が選択される。選択された予測タップｄ４４は、予測タップ検出部５４から予測タップ判定部５８へ供給される。
【００７０】
動き検出部５５では、上述した手法により動き量が検出され、検出された動き量ｄ４３は、動きメモリ５６へ供給される。動きメモリ５６では、供給された動き量ｄ４３が蓄積される。予測タップ判定部５８では、予測タップ検出部５４から選択された予測タップが供給され、さらに動きメモリ５６から動き量を読み出し、読み出した動き量ｄ４５に基づいて予測タップ判定部５８が予測タップｄ４４の評価を行う。予測タップ判定部５８でなされた評価の判定出力ｄ４６は、選択部５７へ供給される。
【００７１】
選択部５７では、評価値ｄ４６に応じてクラス分類部５２からのクラスｄ４１か、クラス分類部５３からのクラスｄ４２かが選択される。選択されたクラスは、ｄ４７として予測タップ選択部５９および予測係数ＲＯＭ６０へ供給される。予測係数ＲＯＭ６０では、供給されたクラスｄ４７に応答する予測係数が読み出される。読み出された予測係数ｄ４８は、予測演算部６１へ供給される。
【００７２】
予測タップ選択部５９では、上述した予測タップ選択部３９のように、クラスｄ４７に応じて入力ＳＤ信号ｄ４０から予測演算に用いられる予測タップが選択される。予測演算部６１では、予測タップ選択部５９からの予測タップと予測係数ｄ４８とから、例えば線形１次結合式によって入力ＳＤ信号ｄ４０より多い画素数の画素ｄ４９が算出される。算出された画素ｄ４９は、出力端子６２から出力される。なお、図１０中の破線矢印は、各クラス分類に動き量を加味する場合も考慮したことを意味する。
【００７３】
この図１０の他の実施例の入力ＳＤ信号の特性に依存しない、すなわち固定クラスｄ４１が選択された場合、予測タップ構造としては、平均的な信号特性を反映した固定のフィールド内予測タップが用いられることが多い。また、上述した図７の一実施例と比べ、特殊条件のときにクラス分類を行わないためアップコンバージョン性能は高くないが、一組の予測係数のみを使用するので大幅にハード量の削減が可能となる。以上のような手法により高速移動物体等において発生する画質劣化を防止することが可能となる。
【００７４】
以上のように、分類されたクラスに対応する予測タップに用いられる各画素の動き量や画素値差の評価を行うことにより、上述のような特殊条件に対応し、予測タップ構成を変更することにより、画質劣化の発生を防止する。
【００７５】
上述の実施例では、予測タップをクラスに応じて切り換えるようになされているが、予測タップを、例えば２５タップとし、実際に予測するために必要なタップ以外の予測係数を０とすることで、１３タップを選択することも可能であり、この手法を用いることで、選択部（セレクタ）が不要となる。
【００７６】
【発明の効果】
この発明に依れば、通常高性能なアップコンバージョンが可能となるフィールド間予測タップ構造を使用することで、画質劣化の原因となっていた特殊条件、例えば高速移動物体等の発生時のみ、フィールド間予測のタップ構造と比較するとアップコンバージョン性能の高くないフィールド内予測のタップ構造を使用することで、画質劣化を防止することが可能となる。
【図面の簡単な説明】
【図１】この発明に係るクラス分類の説明のための画素の配置を示す略線図である。
【図２】この発明に係るクラス分類の説明のための一般的な構成例を示すブロック図である。
【図３】この発明に係る予測係数を学習するためのフローチャートである。
【図４】この発明に係るクラス分類を用いた２次元ノンセパラブル構成のアップコンバータの一例を示すブロック図である。
【図５】この発明に係るクラス分類を用いた垂直／水平セパラブル構成のアップコンバータの一例を示すブロック図である。
【図６】この発明に係る特殊条件を説明するための略線図である。
【図７】この発明が適用されたアップコンバータの一実施例である。
【図８】この発明に係るクラスタップおよび予測タップを説明するための略線図である。
【図９】予測タップの切り換えを説明するための略線図である。
【図１０】この発明が適用されたアップコンバータの他の実施例である。
【図１１】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１２】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１３】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
３２、３３・・・クラス分類部、３４・・・予測タップ検出部、３５・・・動き検出部、３６・・・動きメモリ、３７・・・選択部、３８・・・予測タップ判定部、３９・・・予測タップ選択部、４０・・・予測係数ＲＯＭ、４１・・・予測演算部
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１１に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１２および図１３に示す。
【０００４】
図１２に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１３に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数が予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成する処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
【発明が解決しようとする課題】
このようにクラス分類適応処理によって一般に、予測係数は、学習対象画像の平均的な特性を反映した値となる。そのため、処理の対象となる画像が特殊条件の場合では、対応できなくなり、画質劣化が生じる。すなわち、背景画像の前を非常に明るい物体が高速で移動する場合などは、予測演算値が背景画像の画素値に比べ非常に大きくなる。このとき残像のような尾引き画像となり非常に見苦しくなる。さらに、注目するＳＤ画素の空間内近傍画素値が背景画素値のみによる予測値であるとき、背景画像領域と高速移動物体領域の組み合わせにより網目状の残像となり大きな画質劣化を引き起こす。この現象は、移動物体の形状、移動速度、物体画素値、背景画素値などの組み合わせにより画質劣化の程度は異なるが、目立つ場合には強い違和感が残り大きな画質劣化となる。
【００１０】
従って、この発明は、入力ＳＤ信号のクラス分類結果に対応し選択された予測タップの画素の信号特性を評価し、上述したような特殊条件の場合には、再度、クラスタップおよび予測タップを選択しなおすことによって、画質劣化を防止することができる画像信号変換装置および方法の提供を目的とする。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換装置において、第１のディジタル画像信号の注目画素を中心としたフィールド内の複数の画素からなる第１のタップを生成し、生成された第１のタップの複数の画素から第１のクラスを生成する第１のクラス生成手段と、第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを生成し、生成された第２のタップの複数の画素から第２のクラスを生成する第２のクラス生成手段と、第２のディジタル画像信号の画素を生成するために、第２のタップとは異なる第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第３のタップを、生成された第２のクラスに応じて検出する第３のタップ検出手段と、第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出手段と、動き検出手段で検出された動き量を記憶する動き量記憶手段と、動き量記憶手段から第３のタップに対応した動き量を読み出し、読み出された動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価手段と、評価手段の評価結果から動きの存在が当該フィールドのみであると評価されると、第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、第２のクラスを選択するクラス選択手段と、第２のディジタル画像信号の画素を生成するために、選択された第１または第２のクラスに基づいて、第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択手段と、第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶され、選択された第１または第２のクラスに応じて予測係数が読み出される記憶手段と、選択された画素と、読み出された予測係数とを演算し、第２のディジタル画像信号の画素を生成する演算手段とからなることを特徴とする画像信号変換装置である。
【００１２】
さらに、請求項７に記載の発明は、第１のディジタル画像信号を第２のディジタル画像信号に変換する画像信号変換装置において、第１のディジタル画像信号の特徴に基づきクラスに分類されるクラス分類手段と、第１のディジタル画像信号の特徴に基づき特殊条件時の特殊クラスに分類される特殊クラス分類手段と、クラスに応じて予測タップを検出する予測タップ検出手段と、第１のディジタル画像信号から動き量を検出する動き量検出手段と、動き量および／または予測タップによって第１のディジタル画像信号を判定する判定手段と、クラスまたは特殊クラスから判定に応じて１つのクラスを選択する選択手段と、選択された１つのクラスに応じて予測タップが再選択される予測タップ再選択手段と、予め学習により獲得され、メモリに記憶された予測係数が、選択された１つのクラスに応じて読み出される予測係数記憶手段と、読み出された予測係数と、予測タップとから予測演算を実行する予測演算手段とからなることを特徴とする画像信号変換装置である。
【００１３】
また、請求項６に記載の発明は、第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換方法において、第１のディジタル画像信号の注目画素を中心としたフィールド内の複数の画素からなる第１のタップを生成し、生成された第１のタップの複数の画素から第１のクラスを生成する第１のクラス生成ステップと、第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを生成し、生成された第２のタップの複数の画素から第２のクラスを生成する第２のクラス生成ステップと、第２のディジタル画像信号の画素を生成するために、第２のタップとは異なる第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第３のタップを、生成された第２のクラスに応じて検出する第３のタップ検出ステップと、第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出ステップと、動き検出ステップで検出された動き量を動き量記憶手段に記憶するステップと、動き量記憶手段から第３のタップに対応した動き量を読み出し、読み出された動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価ステップと、評価ステップの評価結果から動きの存在が当該フィールドのみであると評価されると、第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、第２のクラスを選択するクラス選択ステップと、第２のディジタル画像信号の画素を生成するために、選択された第１または第２のクラスに基づいて、第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択ステップと、第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶手段に記憶され、選択された第１または第２のクラスに応じて予測係数を読み出すステップと、選択された画素と、読み出された予測係数とを演算し、第２のディジタル画像信号の画素を生成する演算ステップとからなることを特徴とする画像信号変換方法である。
【００１４】
入力ＳＤ信号に対してクラス分類を行い、そのクラスに応じた予測タップを検出し、特殊条件での画質劣化の発生しないクラスを入力ＳＤ信号から検出する。さらに、入力ＳＤ信号から動き量（動き特性）の検出を行い、動き量に応じて予測タップおよび予測係数を切り換えることによって、特殊条件に対する例外処理を施すことができ画質劣化を防止することができる。
【００１５】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いたアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００１６】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（◎）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００１７】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００１８】
１）ＰＣＭデータを直接使用する。
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００１９】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２０】
【数１】
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２１】
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。このクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測タップ選択部３および予測係数ＲＯＭ４へ供給される。
【００２２】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして応答する予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、供給されたクラスに応じて入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２３】
この例では、mode１〜mode４のＨＤ画素を予測するために、図１Ａに示す７画素からなるクラスタップを共用しているが、mode１〜mode４毎にクラスタップを変えても良い。同様に、図１Ｂに示す１３画素からなる予測タップを共用しているが、上述したように供給されるクラスに基づいて予測タップを変えることも可能であり、またmode１〜mode４毎に予測タップを変えることも可能である。
【００２４】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００２５】
観測方程式：ＸＷ＝Ｙ （２）
【数２】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００２７】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【数３】
式（４）の残差方程式から、各ｗi の最確値は、
【数４】
【００２９】
【数５】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３１】
【数６】
式（５）および式（６）により式（７）が得られる。
【数７】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【数８】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００３５】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００３６】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測演算方式によるクラス分類適応処理の概要である。
【００３７】
上述したクラス分類適応処理を用いたアップコンバータの一例を図４および図５に示す。この図４および図５は、上述した図１２および図１３のアップコンバータに対応した構成であり、図１１に示すＳＤ画素とＨＤ画素の関係に基づいてＨＤ画素データを生成するものである。入力端子１０から供給される入力ＳＤ信号は、予測タップ選択部１１およびクラス分類部１２へ供給される。クラス分類部１２では、上述した図１Ａに示すクラスタップのようにクラスｄ０が生成され、生成されたクラスｄ０は、アドレスとして予測係数ＲＯＭ１３へ供給される。予測タップ選択部１１では、上述した図１Ｂに示すような予測タップが選択される。選択された予測タップは、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。
【００３８】
予測係数ＲＯＭ１３では、上述したように予め学習により獲得された予測係数からクラスｄ０に対応したものが読み出される。読み出された予測係数は、ｄ５として、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。mode１予測演算部１４では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、mode１のＨＤ画素ｄ１が生成され、生成されたＨＤ画素ｄ１は、選択部１８に供給される。同様に、予測演算部１５、１６および１７では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、ＨＤ画素ｄ２、ｄ３、ｄ４が生成され、選択部１８へ供給される。
【００３９】
このとき、各予測演算部１４、１５、１６、１７では、予測タップ選択部１１からの予測タップと予測係数ｄ５との積和演算が行われる。この積和演算の際にmodeに応じて予測係数の符号が変更される。mode１予測演算部１４とmode２予測演算部１５の間では、積和演算を実行するときに、例えば予測係数ｄ５の符号を正負の逆とし、同様にmode３予測演算部１６とmode４予測演算部１７の間でも、予測係数ｄ５の符号を正負の逆とし、積和演算を実行する。また、mode１予測演算部１４とmode３予測演算部１６の間では、例えば注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、予測係数ｄ５と積和演算を実行し、同様にmode２予測演算部１５とmode４予測演算部１７とでも、注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、積和演算を実行する。
【００４０】
選択部１８では、注目ＳＤ画素から生成されたＨＤ画素を所望の時系列に並び換え、出力端子１９を介してＨＤ画素が出力される。この選択部１８には、並び換えに必要なメモリも含まれる。以上が２次元ノンセバラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００４１】
一方、図５は、垂直／水平セパラブル構成の予測演算を行う場合のクラス分類適応処理の構成例を示す。入力端子２０から入力ＳＤ信号が供給され、入力ＳＤ信号は、予測タップ選択部２１およびクラス分類部２２へ供給される。クラス分類部２２では、上述した図１Ａに示すクラスタップのようにクラスｄ１１が生成され、生成されたクラスｄ１１は、アドレスとして垂直係数ＲＯＭ２３および水平係数ＲＯＭ２４へ供給される。予測タップ選択部２１において選択された予測タップは、垂直予測演算部２５および２６へ供給される。
【００４２】
垂直係数ＲＯＭ２３では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、垂直予測係数ｄ１６として、垂直予測演算部２５および２６へ供給される。水平係数ＲＯＭ２４では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、水平予測係数ｄ１７として、水平予測演算部２７および２８へ供給される。
【００４３】
垂直予測演算部２５では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値が生成される。この垂直推定値は、ＨＤ画素の位置に生成されるものである。次に、この垂直推定値を使用して水平方向のクラス分類適応予測を行い、それによってＨＤ画素値を生成する。生成された垂直推定値は、ｄ１２として水平予測演算部２７へ供給される。同様に、垂直予測演算部２６では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値ｄ１３が生成され、水平予測演算部２８へ供給される。
【００４４】
水平予測演算部２７では、供給された垂直推定値ｄ１２を記憶するメモリを有し、記憶された垂直推定値から予測タップが選択され、選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１４として選択部２９へ供給される。同様に、水平予測演算部２８では、メモリから選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１５として選択部２９へ供給される。上述した予測演算部２５、２６、２７および２８では、modeに応じて予測係数の符号および／またはタップの入れ換えがなされる。
【００４５】
この垂直および水平予測演算部２５〜２８では、mode１、mode２の走査線用と、mode３、mode４の走査線用の２種類に分かれ、予測演算部２５および２７が前者を示し、予測演算部２６および２８が後者を示す。選択部２９では、供給されたＨＤ画素ｄ１４およびｄ１５を最適な並び換えにより最終的に出力端子３０を介してＨＤ画素が出力される。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００４６】
以上のクラス分類適応処理は、式（１）の例で示されるような予測演算を使用する予測演算方式と呼ばれる手法である。この他に重心法を用いたクラス分類適応処理がある。重心法は、予測演算値を出力する予測演算方式ではなく、各クラスに対応する目標信号分布の平均値を出力値とする手法である。予測演算方式は、予め学習により各クラスに対応する予測係数を生成しておくが、重心法では、予め学習により各クラスに対応する出力値を生成しておく。よって、重心法の基本構成は、クラス分類部と予測値ＲＯＭを直列接続した簡素なものとなる。重心法は、予測演算方式に比べ予測自由度が少ないため、全体の性能では予測演算方式より劣ることが多いが、ハード量が非常に少ないという利点がある。このため、これらは、用途によって使い分けられる。
【００４７】
この発明は、上述のクラス分類適応処理を用いたアップコンバータにおいて、まれに発生する画質劣化を抑圧するものである。その画質劣化の発生メカニズムについて図６を用いて説明する。まず、図６Ａは、時間方向の画素配置図であり、図６Ｂは、各フィールドの対応する動き量を表示する。この図６Ａの一例は、◎で示す注目ＳＤ画素ａよりＨＤ画素値を予測する場合を示す。この図は、◎の注目ＳＤ画素ａを含む垂直断面に関し、時間方向の流れを表現する。ここでは、空間位置を固定とした連続する６フィールド（＃（ｎ−４）、＃（ｎ−３）、・・・、＃（ｎ＋１））の時間方向の画素配置が示されている。図６Ｂには、各フィールドの動き量を示す。
【００４８】
注目ＳＤ画素ａは、＃ｎフィールドに属する。ＨＤ画素値の予測に図１Ｂに示すフレーム内１３タップの予測タップを使用すると、図６Ａ中の台形で囲まれた範囲に含まれる、◎の注目ＳＤ画素ａを含む垂直５ラインが予測タップの対象画素となる。＃ｎフィールドの直前の＃（ｎ−１）フィールドを高速物体が横切るような特殊条件を考える。図６の例は、背景画像の前を高速物体が移動し、図６Ｂからわかるように、＃（ｎ−１）フィールドのみに動きが存在するような場合を示す。
【００４９】
一般にクラス分類適応処理に用いられる予測係数は、学習対象画像の平均的な特性を反映した値となる。そのため、このような特殊条件は例外となり、一般的には対応できない。背景画像の値と高速物体の値が近い場合は、大きな画質劣化にはならない。しかしながら、背景画像の前を非常に明るい物体が高速で移動する場合などは、予測タップに高輝度の画素が含まれるために、予測演算値が背景画像の画素値に比べ非常に大きくなる。このとき、残像のような尾引き画像となり非常に見苦しくなる。
【００５０】
さらに、注目ＳＤ画素の空間内近傍画素値が背景画像画素値のみによる予測値であるとき、背景画像領域と高速移動物体領域の組み合わせにより網目状の残像となり大きな画質劣化を引き起こす。この現象は、移動物体の形状、移動速度、物体画素値、背景画素値などの組み合わせにより、画質劣化の程度は異なるが、目立つ場合には強い違和感が残り大きな画質劣化となる。
【００５１】
そこで、この発明は、入力ＳＤ信号のクラス分類結果に対応し選択された予測タップの画素の信号特性を評価し、必要な場合には、再度、クラスや予測タップを選択するものである。上述した図１Ｂに示すフレーム内１３タップの予測タップの例においては、６タップに関し直前の＃（ｎ−１）フィールドの画素値が使用されることになる。予測タップ画素の評価を行う際に用いられる信号特性の例として、動き量および画素値差が挙げられる。図６の例は、＃（ｎ−１）フィールドのみに動きが存在するので、再選択条件を満たす可能性がある。再選択条件とは、動き量が大きく、かつ画素値差も大きい場合であり、このような場合、上述の画質劣化が発生する可能性が高いので、別の画質劣化が発生しないクラスや予測タップを再選択する。例えば、動きの影響を受けないフィールド内タップを再選択すれば、解像度という観点からは問題があるが、動きに起因する画質劣化は、発生しない。
【００５２】
各画素の動き量検出については、図６Ａ中の両矢印▲１▼、▲２▼、▲３▼、▲４▼、▲５▼で表されるような空間位置の同じ画素間のフレーム間差分絶対値などが用いられる。
【００５３】
一例として、動き量Ｍi は、式（９）から求められる。
Ｍi ＝ｗ1 ｜ａ−ａ´｜＋ｗ2 ｜ｂ−ｂ´｜＋ｗ3 ｜ｃ−ｃ´｜＋ｗ4 ｜ｄ−ｄ´｜＋ｗ5 ｜ｅ−ｅ´｜ （９）
但し、ｗ1 、ｗ2 、ｗ3 、ｗ4 、ｗ5 は、重み係数である。
【００５４】
さらに、画素値差Ｑi は、式（１０）から求められる。
Ｑi ＝ｗ11｜ａ−ｂ｜＋ｗ12｜ａ−ｃ｜＋ｗ13｜ｄ−ｂ｜＋ｗ14｜ｅ−ｃ｜（１０）
但し、ｗ11、ｗ12、ｗ13、ｗ14は、重み係数である。
（（ｗ11＝ｗ12でも良い）＞（ｗ13＝ｗ14でも良い））
【００５５】
上述したように、重み係数ｗ1〜ｗ5、ｗ11〜ｗ14を使用する理由は、クラス分類適応処理で用いられる予測係数の寄与度が注目画素の近傍であるほど大きい。そこで、処理対象画素の時間方向および空間方向も考慮した評価を行うためである。すなわち、予測タップ対応画素を評価する際、時間方向および空間方向の逆比などの重みを掛けることを意味する。注目画素に近い予測タップの画素特性の評価重みを大きくし、注目画素から遠い予測タップの画素特性の評価重みを下げる。これによって、画質劣化が発生しない限り、従来のクラスと予測タップを使用することが可能となる。
【００５６】
そして、動き量と画素値差の一方によって、再度、クラスタップや予測タップを選択するか否かの判断を行っても良い。以下に示す式（１１）では、両者を考慮した評価値Ｅを示す。
Ｅ＝（動き量）＋（画素値差）＝Σαi Ｍi ＋Σβi Ｑi （１１）
ただし、αi 、βi は、重み係数である。
【００５７】
次に、上述したこの発明の一実施例について、図７を参照して説明する。この図７は、一般のクラス分類と予測タップを使用する場合と、特殊条件での画質劣化の発生しないクラスと予測タップを使用する場合である。入力端子３１から供給される入力ＳＤ信号ｄ２０は、クラス分類部３２、３３、動き検出部３５および予測タップ選択部３９へ供給される。クラス分類部３２では、特殊条件での画質劣化が発生しないクラスｄ２１が用意される。例えば、図８Ａに示すようなフィールド内信号波形のみから分類されるクラスタップが用いられる。このクラスｄ２１は、クラス分類部３２から選択部３７へ供給される。
【００５８】
クラス分類部３３では、通常のクラス分類が実行される。例えば、上述した図１Ａに示すようなフレーム内からなるクラスタップを使用し、ＡＤＲＣ等のクラス分類の手法が行われる。このクラス分類部３３で生成されたクラスｄ２２は、クラス分類部３３から予測タップ検出部３４および選択部３７へ供給される。予測タップ検出部３４では、クラスｄ２２に対応した、例えば上述した図１Ｂに示すようなフレーム内からなる予測タップが選択される。選択された予測タップｄ２４は、予測タップ検出部３４から予測タップ判定部３８へ供給される。
【００５９】
動き検出部３５では、上述した手法により動き量が検出され、検出された動き量ｄ２３は、動きメモリ３６へ供給される。動きメモリ３６では、供給された動き量ｄ２３が蓄積される。予測タップ判定部３８には、予測タップ検出部３４から選択された予測タップｄ２４が供給され、さらに動きメモリ３６から動き量を読み出し、読み出した動き量ｄ２５に基づいて予測タップ判定部３８が予測タップｄ２４の評価を行う。予測タップ判定部３８でなされた評価の判定出力ｄ２６は、選択部３７へ供給される。
【００６０】
選択部３７では、判定出力ｄ２６に応じてクラス分類部３２からのクラスｄ２１か、クラス分類部３３からのクラスｄ２２かが選択される。選択されたクラスは、ｄ２７として予測タップ選択部３９および予測係数ＲＯＭ４０へ供給される。予測係数ＲＯＭ４０では、供給されたクラスｄ２７に応答する予測係数が読み出される。読み出された予測係数ｄ２８は、予測演算部４１へ供給される。
【００６１】
予測タップ選択部３９では、クラスｄ２７に応じて入力ＳＤ信号ｄ２０から予測演算に用いられる予測タップが選択される。この予測タップ選択部３９では、クラスｄ２７に基づいて予測タップが選択され、すなわち動き量ｄ２５に基づいて予測タップが選択される。選択される予測タップの具体例を以下に示す。予測タップ選択部３９では、クラスｄ２７、すなわち動き量ｄ２５が、例えば静止のような場合で、頗る小さい値の場合、図１Ｂに示す予測タップが選択され、準静止のような場合で、動き量ｄ２５が小さい場合、図８Ｂに示す予測タップが選択される。さらに、動き量ｄ２５が大きい場合、図８Ｃに示す予測タップが選択され、動き量ｄ２５がかなり大きい場合、図８Ｄに示す予測タップが選択される。
【００６２】
予測演算部４１では、予測タップ選択部３９からの予測タップと予測係数ｄ２８とから、例えば線形１次結合式によって入力ＳＤ信号ｄ２０より多い画素数の画素ｄ２９が算出される。算出された画素ｄ２９は、出力端子４２から出力される。なお、図７中の破線矢印は、各クラス分類に動き量を加味する場合も考慮したことを意味する。
【００６３】
この図７の一実施例を具体的に説明すると、通常、フィールド間予測のタップ構造により入力ＳＤ信号のアップコンバージョンを行う。しかしながら、フィールド間予測のタップ構造では、特殊条件による画質劣化、例えば高速動き物体における画質劣化には対応できない。そこで、特殊条件が発生した場合のみ、フィールド内予測のタップ構造を使用する。これによって、解像度性能は、高くないもののフィールド間予測のタップ構造を使用する場合より、画質劣化は抑えられる。
【００６４】
すなわち、特殊条件の場合のみ、クラス分類部３２によるクラスｄ２１と対応する予測タップ構造を用い、通常の場合には従来のクラス分類部３３によるクラスｄ２２と対応する予測タップ構造を用いることで、出力画像の全体の画質向上につながる。このとき、予測係数ＲＯＭ４０には、クラスｄ２１に対応する特殊条件での画質劣化が発生しない予測係数を通常の予測係数とは別に用意する。
【００６５】
また、図に示した動きメモリ３６の他に各画素値を記憶するメモリも必要となるが、予測演算を実行するためには、各画素値を記憶するメモリが搭載されているので、ハード的には問題はない。この図では、動き検出した結果を記憶する構成を提案しているが、各画素値も記憶されているので、随時、上述した式（１１）に基づいた、動き量と画素値差の検出を実行しながら判定する構成も考えられる。
【００６６】
上述した一実施例の予測タップ選択部３９では、動き量のみからなる評価値ｄ２６に基づいて予測タップが再選択される一例を説明したが、予測タップを切り換える他の例として、図９Ａに矢印で示す方向に空間傾斜が強いような特殊条件の場合には、図９Ａに示す予測タップから図９Ｂに示す予測タップを再選択することも可能である。
【００６７】
さらに、再選択されるクラスと予測タップに関して、ハードの負担を軽減するため、特殊条件発生時には入力ＳＤ信号の特性に依存しない単一クラスと単一予測タップを用いる場合と、一般のクラス分類と予測タップを使用する場合とを併用する他の実施例を図１０に示す。このときの予測係数としては、全学習対象画像の平均的な信号特性を用いる場合や、上述の画質劣化の発生する条件のみを集めて学習することが考えられる。
【００６８】
入力端子５１から供給される入力ＳＤ信号ｄ４０は、クラス分類部５３、動き検出部５５および予測タップ選択部５９へ供給される。この他の実施例では、特殊条件発生時には、予め学習により用意された固定クラスｄ４１が固定クラス発生部５２から選択部５７へ供給される。この固定クラスｄ４１は、一例として図８Ａに示すようなクラスタップからなる。
【００６９】
クラス分類部５３では、入力ＳＤ信号ｄ４０に通常のクラス分類が実行される。例えば、上述した図１Ａに示すようなクラスタップを使用し、ＡＤＲＣ等のクラス分類の手法が行われる。分類されたクラスｄ４２は、クラス分類部５３から予測タップ検出部５４および選択部５７へ供給される。予測タップ検出部５４では、クラスｄ４２に対応した予測タップ構造が選択される。選択された予測タップｄ４４は、予測タップ検出部５４から予測タップ判定部５８へ供給される。
【００７０】
動き検出部５５では、上述した手法により動き量が検出され、検出された動き量ｄ４３は、動きメモリ５６へ供給される。動きメモリ５６では、供給された動き量ｄ４３が蓄積される。予測タップ判定部５８では、予測タップ検出部５４から選択された予測タップが供給され、さらに動きメモリ５６から動き量を読み出し、読み出した動き量ｄ４５に基づいて予測タップ判定部５８が予測タップｄ４４の評価を行う。予測タップ判定部５８でなされた評価の判定出力ｄ４６は、選択部５７へ供給される。
【００７１】
選択部５７では、評価値ｄ４６に応じてクラス分類部５２からのクラスｄ４１か、クラス分類部５３からのクラスｄ４２かが選択される。選択されたクラスは、ｄ４７として予測タップ選択部５９および予測係数ＲＯＭ６０へ供給される。予測係数ＲＯＭ６０では、供給されたクラスｄ４７に応答する予測係数が読み出される。読み出された予測係数ｄ４８は、予測演算部６１へ供給される。
【００７２】
予測タップ選択部５９では、上述した予測タップ選択部３９のように、クラスｄ４７に応じて入力ＳＤ信号ｄ４０から予測演算に用いられる予測タップが選択される。予測演算部６１では、予測タップ選択部５９からの予測タップと予測係数ｄ４８とから、例えば線形１次結合式によって入力ＳＤ信号ｄ４０より多い画素数の画素ｄ４９が算出される。算出された画素ｄ４９は、出力端子６２から出力される。なお、図１０中の破線矢印は、各クラス分類に動き量を加味する場合も考慮したことを意味する。
【００７３】
この図１０の他の実施例の入力ＳＤ信号の特性に依存しない、すなわち固定クラスｄ４１が選択された場合、予測タップ構造としては、平均的な信号特性を反映した固定のフィールド内予測タップが用いられることが多い。また、上述した図７の一実施例と比べ、特殊条件のときにクラス分類を行わないためアップコンバージョン性能は高くないが、一組の予測係数のみを使用するので大幅にハード量の削減が可能となる。以上のような手法により高速移動物体等において発生する画質劣化を防止することが可能となる。
【００７４】
以上のように、分類されたクラスに対応する予測タップに用いられる各画素の動き量や画素値差の評価を行うことにより、上述のような特殊条件に対応し、予測タップ構成を変更することにより、画質劣化の発生を防止する。
【００７５】
上述の実施例では、予測タップをクラスに応じて切り換えるようになされているが、予測タップを、例えば２５タップとし、実際に予測するために必要なタップ以外の予測係数を０とすることで、１３タップを選択することも可能であり、この手法を用いることで、選択部（セレクタ）が不要となる。
【００７６】
【発明の効果】
この発明に依れば、通常高性能なアップコンバージョンが可能となるフィールド間予測タップ構造を使用することで、画質劣化の原因となっていた特殊条件、例えば高速移動物体等の発生時のみ、フィールド間予測のタップ構造と比較するとアップコンバージョン性能の高くないフィールド内予測のタップ構造を使用することで、画質劣化を防止することが可能となる。
【図面の簡単な説明】
【図１】この発明に係るクラス分類の説明のための画素の配置を示す略線図である。
【図２】この発明に係るクラス分類の説明のための一般的な構成例を示すブロック図である。
【図３】この発明に係る予測係数を学習するためのフローチャートである。
【図４】この発明に係るクラス分類を用いた２次元ノンセパラブル構成のアップコンバータの一例を示すブロック図である。
【図５】この発明に係るクラス分類を用いた垂直／水平セパラブル構成のアップコンバータの一例を示すブロック図である。
【図６】この発明に係る特殊条件を説明するための略線図である。
【図７】この発明が適用されたアップコンバータの一実施例である。
【図８】この発明に係るクラスタップおよび予測タップを説明するための略線図である。
【図９】予測タップの切り換えを説明するための略線図である。
【図１０】この発明が適用されたアップコンバータの他の実施例である。
【図１１】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１２】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１３】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
３２、３３・・・クラス分類部、３４・・・予測タップ検出部、３５・・・動き検出部、３６・・・動きメモリ、３７・・・選択部、３８・・・予測タップ判定部、３９・・・予測タップ選択部、４０・・・予測係数ＲＯＭ、４１・・・予測演算部
Claims (7)
- 第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換装置において、
上記第１のディジタル画像信号の注目画素を中心としたフィールド内の複数の画素からなる第１のタップを生成し、生成された上記第１のタップの複数の画素から第１のクラスを生成する第１のクラス生成手段と、
上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを生成し、生成された上記第２のタップの複数の画素から第２のクラスを生成する第２のクラス生成手段と、
上記第２のディジタル画像信号の画素を生成するために、上記第２のタップとは異なる上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第３のタップを、生成された上記第２のクラスに応じて検出する第３のタップ検出手段と、
上記第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出手段と、
上記動き検出手段で検出された動き量を記憶する動き量記憶手段と、
上記動き量記憶手段から上記第３のタップに対応した動き量を読み出し、読み出された上記動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価手段と、
上記評価手段の評価結果から動きの存在が当該フィールドのみであると評価されると、上記第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、上記第２のクラスを選択するクラス選択手段と、
上記第２のディジタル画像信号の画素を生成するために、選択された上記第１または第２のクラスに基づいて、上記第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択手段と、
上記第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶され、選択された上記第１または第２のクラスに応じて予測係数が読み出される記憶手段と、
選択された上記画素と、読み出された上記予測係数とを演算し、上記第２のディジタル画像信号の画素を生成する演算手段とからなることを特徴とする画像信号変換装置。 - 請求項１に記載の画像信号変換装置において、
上記評価手段では、
上記第１のディジタル画像信号の注目画素の画素値差を求め、求められた上記画素値差と上記動き量とに基づいて、上記第３のタップを評価するようにしたことを特徴とする画像信号変換装置。 - 請求項１に記載の画像信号変換装置において、
上記評価手段では、
上記第１のディジタル画像信号の注目画素の画素値差を求め、求められた上記画素値差および上記動き量の一方に基づいて、上記第３のタップを評価するようにしたことを特徴とする画像信号変換装置。 - 請求項１に記載の画像信号変換装置において、
さらに、検出された上記動き量を蓄積する動き記憶手段を有し、
上記評価手段では、上記第３のタップを、蓄積された上記動き量に基づいて当該フィールドのみに動きが存在するか否かを評価するようにしたことを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換装置において、
予め学習により用意された第１のクラスを出力する第１のクラス出力手段と、
上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第１のタップを生成し、生成された上記第１のタップの複数の画素から第２のクラスを生成する第２のクラス生成手段と、
上記第２のディジタル画像信号の画素を生成するために、上記第１のタップとは異なる上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを、生成された上記第２のクラスに応じて検出する第２のタップ検出手段と、
上記第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出手段と、
上記動き検出手段で検出された動き量を記憶する動き量記憶手段と、
上記動き量記憶手段から上記第２のタップに対応した動き量を読み出し、読み出された上記動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価手段と、
上記評価手段の評価結果から動きの存在が当該フィールドのみであると評価されると、上記第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、上記第２のクラスを選択するクラス選択手段と、
上記第２のディジタル画像信号の画素を生成するために、選択された上記第１または第２のクラスに基づいて、上記第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択手段と、
上記第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶され、選択された上記第１または第２のクラスに応じて予測係数が読み出される記憶手段と、
選択された上記画素と、読み出された上記予測係数とを演算し、上記第２のディジタル画像信号の画素を生成する演算手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換方法において、
上記第１のディジタル画像信号の注目画素を中心としたフィールド内の複数の画素からなる第１のタップを生成し、生成された上記第１のタップの複数の画素から第１のクラスを生成する第１のクラス生成ステップと、
上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを生成し、生成された上記第２のタップの複数の画素から第２のクラスを生成する第２のクラス生成ステップと、
上記第２のディジタル画像信号の画素を生成するために、上記第２のタップとは異なる上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第３のタップを、生成された上記第２のクラスに応じて検出する第３のタップ検出ステップと、
上記第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出ステップと、
上記動き検出ステップで検出された動き量を動き量記憶手段に記憶させるステップと、
上記動き量記憶手段から上記第３のタップに対応した動き量を読み出し、読み出された上記動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価ステップと、
上記評価ステップの評価結果から動きの存在が当該フィールドのみであると評価されると、上記第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、上記第２のクラスを選択するクラス選択ステップと、
上記第２のディジタル画像信号の画素を生成するために、選択された上記第１または第２のクラスに基づいて、上記第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択ステップと、
上記第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶手段に記憶され、選択された上記第１または第２のクラスに応じて予測係数を読み出すステップと、
選択された上記画素と、読み出された上記予測係数とを演算し、上記第２のディジタル画像信号の画素を生成する演算ステップと
からなることを特徴とする画像信号変換方法。 - 第１のディジタル画像信号を、より高い解像度の第２のディジタル画像信号に変換する画像信号変換方法において、
予め学習により用意された第１のクラスを出力する第１のクラス出力ステップと、
上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第１のタップを生成し、生成された上記第１のタップの複数の画素から第２のクラスを生成する第２のクラス生成ステップと、
上記第２のディジタル画像信号の画素を生成するために、上記第１のタップとは異なる上記第１のディジタル画像信号の注目画素を中心としたフレーム内の複数の画素からなる第２のタップを、生成された上記第２のクラスに応じて検出する第２のタップ検出ステップと、
上記第１のディジタル画像信号の注目画素を中心とした画素の動き量を検出する動き量検出ステップと、
上記動き検出手段で検出された動き量を動き量記憶手段に記憶させるステップと、
上記動き量記憶手段から上記第２のタップに対応した動き量を読み出し、読み出された上記動き量に基づいて当該フィールドのみに動きが存在するか否かを評価する評価ステップと、
上記評価ステップの評価結果から動きの存在が当該フィールドのみであると評価されると、上記第１のクラスを選択し、動きの存在が当該フィールドのみではないと評価されると、上記第２のクラスを選択するクラス選択ステップと、
上記第２のディジタル画像信号の画素を生成するために、選択された上記第１または第２のクラスに基づいて、上記第１のディジタル画像信号の注目画素を中心としたフィールド内またはフレーム内の複数の画素を選択する画素選択ステップと、
上記第２のディジタル画像信号の画素を生成するために、予め学習により獲得された予測係数が記憶手段に記憶され、選択された上記第１または第２のクラスに応じて予測係数を読み出すステップと、
選択された上記画素と、読み出された上記予測係数とを演算し、上記第２のディジタル画像信号の画素を生成する演算ステップと
からなることを特徴とする画像信号変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24266196A JP4223576B2 (ja) | 1996-08-26 | 1996-08-26 | 画像信号変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24266196A JP4223576B2 (ja) | 1996-08-26 | 1996-08-26 | 画像信号変換装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1070709A JPH1070709A (ja) | 1998-03-10 |
| JP4223576B2 true JP4223576B2 (ja) | 2009-02-12 |
Family
ID=17092367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24266196A Expired - Fee Related JP4223576B2 (ja) | 1996-08-26 | 1996-08-26 | 画像信号変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4223576B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4552263B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 |
| JP4552262B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ノイズ低減装置および方法 |
| JP4552261B2 (ja) * | 2000-04-03 | 2010-09-29 | ソニー株式会社 | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 |
| JP4649812B2 (ja) * | 2001-11-30 | 2011-03-16 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| JP5029869B2 (ja) * | 2006-11-09 | 2012-09-19 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
| KR101684344B1 (ko) | 2015-09-25 | 2016-12-08 | 주식회사 도우인시스 | 유리의 굴곡강도 향상 방법 |
-
1996
- 1996-08-26 JP JP24266196A patent/JP4223576B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1070709A (ja) | 1998-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
| US5631706A (en) | Converter and method for converting video signals of interlace format to video signals of progressive format | |
| KR100360206B1 (ko) | 화상신호변환장치 | |
| EP1592250A1 (en) | Film-mode detection in video sequences | |
| EP1441510A2 (en) | Method and apparatus for de-interlacing video signal | |
| US8331710B2 (en) | Image processing apparatus and method, learning apparatus and method, and program | |
| EP1832112B1 (en) | Spatio-temporal adaptive video de-interlacing | |
| JP2000134585A (ja) | 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 | |
| US5602591A (en) | System for generating a weighting coefficient using inter-frame difference signals at a center pixel for detecting motion information and at pixels surrounding the center pixel and quantizing the difference signal at the center pixel | |
| JP4223576B2 (ja) | 画像信号変換装置および方法 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| KR100967262B1 (ko) | 화상 변환 장치 및 화상 변환 방법 | |
| JPH1098695A (ja) | 画像情報変換装置および方法並びに積和演算装置 | |
| JP3852133B2 (ja) | 画像信号変換装置および方法 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JP3772408B2 (ja) | 画像信号変換装置および方法 | |
| JP3861309B2 (ja) | 信号変換装置および信号変換方法 | |
| JPH0851598A (ja) | 画像情報変換装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| KR101174589B1 (ko) | 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치 | |
| KR100252949B1 (ko) | 스캔컨버터회로 | |
| KR101144435B1 (ko) | 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051222 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060413 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060512 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |