JP3772408B2 - 画像信号変換装置および方法 - Google Patents
画像信号変換装置および方法 Download PDFInfo
- Publication number
- JP3772408B2 JP3772408B2 JP23970796A JP23970796A JP3772408B2 JP 3772408 B2 JP3772408 B2 JP 3772408B2 JP 23970796 A JP23970796 A JP 23970796A JP 23970796 A JP23970796 A JP 23970796A JP 3772408 B2 JP3772408 B2 JP 3772408B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- signal
- image signal
- prediction
- tap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１１に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１２および図１３に示す。
【０００４】
図１２に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１３に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数が予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成するアップコンバージョン処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
従来、アップコンバージョンの方法として、２つの方法がある。１つは、入力されたコンポジット信号に対してアップコンバージョンの処理を施す方法であり、もう１つは、入力されたコンポジット信号にＹ／Ｃ分離を施した後、生成されたコンポーネント信号に対してアップコンバージョンの処理を施す方法である。
【００１０】
ＮＴＳＣコンポジット信号では、４フィールド単位で位相は元に戻るため、画素位置、ライン番号、フィールド番号、フレーム番号に基づき位相は、変化する。このため、コンポジット信号ではなく、コンポーネント信号に対してアップコンバージョンの処理を施し、処理対象画素の近傍から、順次クラスタップや予測タップを形成することが容易であり、一般的である。しかしがなら、Ｙ／Ｃ分離が正しくなされていないと、コンポーネント信号に対してアップコンバージョンを行っても良好な結果が得られない。
【００１１】
また、コンポジット信号において、近傍の各画素値は、サブキャリアの変動を反映するため、同色かつ同一輝度値からなる平坦な信号であってもサブキャリア位相により各画素値は、変化することになる。よって、コンポジット信号からのアップコンバージョンにおいては、注目画素近傍から、順次クラスタップや予測タップを取るのではなく、サブキャリア位相を考慮したタップ構成が必要となる。その結果、処理対象画素から空間的に離れた画素値を用いるため、一般的にコンポーネント信号からのアップコンバージョン性能と比べて、コンポジット信号からのアップコンバージョン性能の方が劣ることになる。
【００１２】
【発明が解決しようとする課題】
しかしながら、クラス分類適応処理によりコンポジット信号から直接的に出力ＨＤ信号のＹ信号を生成する場合、適切なクラス構造や予測タップ構造が選択されると効果は大きいものの、不適切な場合は、Ｙ信号とＣ信号との一括処理であるためＹ信号単独の操作がしにくいという面もある。一方、Ｃ信号に関してはクラス分類適応処理により高性能な出力ＨＤ信号のＣ信号が得られるので、Ｙ／Ｃ分離を経ずに直接的にＣ信号を生成する。
【００１３】
よって、この発明の目的は、上述したようにコンポジット信号に前処理を施し、コンポーネント信号のＹ信号を生成し、生成されたＹ信号に対してクラス分類適応処理を施し、高性能な出力ＨＤ信号のＹ信号を生成する処理と、コンポジット信号に何も処理を施さず、直接的にクラス分類適応処理を施し、高性能な出力ＨＤ信号のＣ信号を生成する処理とを組み合わせた、いわゆるハイブリッド方式によって構成される画像信号変換装置および方法を提供することにある。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換装置において、コンポジット信号からなる第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成手段と、予め学習によりクラス毎に格納された第１の予測係数が、生成された第１のクラスに基づいて読み出される第１の記憶手段と、第１のディジタル画像信号の複数の画素から第１の予測タップを構成し、第１の予測タップの画素値と、読み出された第１の予測係数とを演算し、コンポーネント信号となる第１のディジタル画像信号の輝度信号を生成する第１の予測演算手段と、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成手段と、予め学習によりクラス毎に格納された第２の予測係数が、生成された第２のクラスに基づいて読み出される第２の記憶手段と、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２の予測タップを構成し、第２の予測タップの画素値と、読み出された第２の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の輝度信号を生成する第２の予測演算手段と、第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成手段と、予め学習によりクラス毎に格納された第３の予測係数が、生成された第３のクラスに基づいて読み出される第３の記憶手段と、第１のディジタル画像信号の複数の画素から第３の予測タップを構成し、第３の予測タップの画素値と、読み出された第３の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の色信号を生成する第３の予測演算手段とからなることを特徴とする画像信号変換装置である。
【００１８】
さらに、請求項４に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換方法において、コンポジット信号からなる第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成ステップと、予め学習によりクラス毎に第１の記憶手段に格納された第１の予測係数が、生成された第１のクラスに基づいて読み出されるステップと、第１のディジタル画像信号の複数の画素から第１の予測タップを構成し、第１の予測タップの画素値と、読み出された第１の予測係数とを演算し、コンポーネント信号となる第１のディジタル画像信号の輝度信号を生成する第１の予測演算ステップと、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成ステップと、予め学習によりクラス毎に第２の記憶手段に格納された第２の予測係数が、生成された第２のクラスに基づいて読み出されるステップと、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２の予測タップを構成し、第２の予測タップの画素値と、読み出された第２の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の輝度信号を生成する第２の予測演算ステップと、第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成ステップと、予め学習によりクラス毎に第３の記憶手段に格納された第３の予測係数が、生成された第３のクラスに基づいて読み出されるステップと、第１のディジタル画像信号の複数の画素から第３の予測タップを構成し、第３の予測タップの画素値と、読み出された第３の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の色信号を生成する第３の予測演算ステップとからなることを特徴とする画像信号変換方法である。
【００２０】
このように、入力されたコンポジットＳＤ信号に対してクラス分類適応処理を施すことによって、入力信号より多い画素数のコンポーネントＨＤ信号のＣ信号を生成し、さらに入力コンポジットＳＤ信号に対してＹ／Ｃ分離等の前処理を施し、生成されたコンポーネントＳＤ信号に対してクラス分類適応処理を施すことによって、入力信号より多い画素数のコンポーネントＨＤ信号のＹ信号を生成する。
【００２１】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いたアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００２２】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（◎）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００２３】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００２４】
１）ＰＣＭデータを直接使用する。
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００２５】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２６】
【数１】
ｙ´：推定ＨＤ画素値
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２７】
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。このクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測係数ＲＯＭ４へ供給される。
【００２８】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして応答する予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２９】
この例では、mode１〜mode４のＨＤ画素を予測するために、図１Ａに示す７画素からなるクラスタップを共用しているが、mode１〜mode４毎にクラスタップを変えても良い。同様に、図１Ｂに示す１３画素からなる予測タップを共用しているが、上述したように供給されるクラスに基づいて予測タップを変えることも可能であり、またmode１〜mode４毎に予測タップを変えることも可能である。
【００３０】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００３１】
観測方程式：ＸＷ＝Ｙ （２）
【数２】
【００３２】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００３３】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【数３】
【００３４】
式（４）の残差方程式から、各ｗi の最確値は、
【数４】
を最小にする条件が成り立つ場合と考えられる。すなわち、式（５）の条件を考慮すれば良いわけである。
【００３５】
【数５】
【００３６】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３７】
【数６】
【００３８】
式（５）および式（６）により式（７）が得られる。
【数７】
【００３９】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【数８】
【００４０】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００４１】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００４２】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測方式によるクラス分類適応処理の概要である。
【００４３】
上述したクラス分類適応処理を用いたアップコンバータの一例を図４および図５に示す。この図４および図５は、上述した図１２および図１３のアップコンバータに対応した構成であり、図１１に示すＳＤ画素とＨＤ画素の関係に基づいてＨＤ画素データを生成するものである。入力端子１０から供給される入力ＳＤ信号は、予測タップ選択部１１およびクラス分類部１２へ供給される。クラス分類部１２では、上述した図１Ａに示すクラスタップのようにクラスｄ０が生成され、生成されたクラスｄ０は、アドレスとして予測係数ＲＯＭ１３へ供給される。予測タップ選択部１１では、上述した図１Ｂに示すような予測タップが選択される。選択された予測タップは、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。
【００４４】
予測係数ＲＯＭ１３では、上述したように予め学習により獲得された予測係数からクラスｄ０に対応したものが読み出される。読み出された予測係数は、ｄ５として、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。mode１予測演算部１４では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、mode１のＨＤ画素ｄ１が生成され、生成されたＨＤ画素ｄ１は、選択部１８に供給される。同様に、予測演算部１５、１６および１７では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、ＨＤ画素ｄ２、ｄ３、ｄ４が生成され、選択部１８へ供給される。
【００４５】
このとき、各予測演算部１４、１５、１６、１７では、予測タップ選択部１１からの予測タップと予測係数ｄ５との積和演算が行われる。この積和演算の際にmodeに応じて予測係数の符号が変更される。mode１予測演算部１４とmode２予測演算部１５の間では、積和演算を実行するときに、例えば予測係数ｄ５の符号を正負の逆とし、同様にmode３予測演算部１６とmode４予測演算部１７の間でも、予測係数ｄ５の符号を正負の逆とし、積和演算を実行する。また、mode１予測演算部１４とmode３予測演算部１６の間では、例えば注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、予測係数ｄ５と積和演算を実行し、同様にmode２予測演算部１５とmode４予測演算部１７とでも、注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、積和演算を実行する。
【００４６】
選択部１８では、注目ＳＤ画素から生成されたＨＤ画素を所望の時系列に並び換え、出力端子１９を介してＨＤ画素が出力される。この選択部１８には、並び換えに必要なメモリも含まれる。以上が２次元ノンセバラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００４７】
一方、図５は、垂直／水平セパラブル構成の予測演算を行う場合のクラス分類適応処理の構成例を示す。入力端子２０から入力ＳＤ信号が供給され、入力ＳＤ信号は、予測タップ選択部２１およびクラス分類部２２へ供給される。クラス分類部２２では、上述した図１Ａに示すクラスタップのようにクラスｄ１１が生成され、生成されたクラスｄ１１は、アドレスとして垂直係数ＲＯＭ２３および水平係数ＲＯＭ２４へ供給される。予測タップ選択部２１において選択された予測タップは、垂直予測演算部２５および２６へ供給される。
【００４８】
垂直係数ＲＯＭ２３では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、垂直予測係数ｄ１６として、垂直予測演算部２５および２６へ供給される。水平係数ＲＯＭ２４では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、水平予測係数ｄ１７として、水平予測演算部２７および２８へ供給される。
【００４９】
垂直予測演算部２５では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値が生成される。この垂直推定値は、ＨＤ画素の位置に生成されるものである。次に、この垂直推定値を使用して水平方向のクラス分類適応予測を行い、それによってＨＤ画素値を生成する。生成された垂直推定値は、ｄ１２として水平予測演算部２７へ供給される。同様に、垂直予測演算部２６では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値ｄ１３が生成され、水平予測演算部２８へ供給される。
【００５０】
水平予測演算部２７では、供給された垂直推定値ｄ１２を記憶するメモリを有し、記憶された垂直推定値から予測タップが選択され、選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１４として選択部２９へ供給される。同様に、水平予測演算部２８では、メモリから選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１５として選択部２９へ供給される。上述した予測演算部２５、２６、２７および２８では、modeに応じて予測係数の符号および／またはタップの入れ換えがなされる。
【００５１】
この垂直および水平予測演算部２５〜２８では、mode１、mode２の走査線用と、mode３、mode４の走査線用の２種類に分かれ、予測演算部２５および２７が前者を示し、予測演算部２６および２８が後者を示す。選択部２９では、供給されたＨＤ画素ｄ１４およびｄ１５を最適な並び換えにより最終的に出力端子３０を介してＨＤ画素が出力される。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００５２】
以上のクラス分類適応処理は、式（１）の例で示されるような予測演算を使用する予測方式と呼ばれる手法である。この他に重心法を用いたクラス分類適応処理がある。重心法は、予測演算値を出力する予測演算方式ではなく、各クラスに対応する目標信号分布の平均値を出力値とする手法である。予測演算方式は、予め学習により各クラスに対応する予測係数を生成しておくが、重心法では、予め学習により各クラスに対応する出力値を生成しておく。よって、重心法の基本構成は、クラス分類部と予測値ＲＯＭを直列接続した簡素なものとなる。重心法は、予測演算方式に比べ予測自由度が少ないため、全体の性能では予測方式より劣ることが多いが、ハード量が非常に少ないという利点がある。このため、これらは、用途によって使い分けられる。
【００５３】
以上のクラス分類適応処理を用いることにより、前述の従来の補間フィルタを用いたアップコンバータより、解像度の向上したアップコンバート画像が得られる。
【００５４】
このように一般的な処理に加えクラス分類適応処理を用いてコンポジットＳＤ信号からＨＤ信号を生成する場合には、サブキャリアの位相等のコンポジット信号特有の性質を考慮する必要がある。図６は、コンポジット信号を４ｆｓｃのサンプリング周波数でサンプリングした場合の位相の例を示し、図６Ａは、偶数フレームの場合の画素のサブキャリア位相を示し、図６Ｂは、奇数フレームの場合の画素のサブキャリア位相を示す。
【００５５】
上述したように、ＮＴＳＣコンポジット信号では、４フィールド単位で位相は、元に戻ることになり、画素位置、ライン番号、フィールド番号、フレーム番号に基づき位相は、変化する。よって、コンポーネント信号からのアップコンバージョンにおいては、処理対象画素の近傍から、順次クラスタップや予測タップを形成することが一般的である。しかしながら、図６から明らかなように、コンポジット信号においては近傍の各画素値は、サブキャリアの変動を反映する。具体的には、同色かつ同一輝度値からなる平坦な信号であってもコンポジット信号においては、サブキャリア位相により各画素値は、変化することになる。
【００５６】
よって、コンポジット信号からのアップコンバージョンにおいては、注目画素近傍から、順次クラスタップや予測タップを取るのではなく、サブキャリア位相を考慮したタップ構成が必須となる。クラス分類適応処理を用いてコンポジット信号からアップコンバージョンを実行する処理構成は、コンポーネント信号の場合と同じく図２に示す構成で実現されるが、クラスタップや予測タップの構造を変更する必要がある。
【００５７】
そこで、この発明が適用された画像信号変換装置の一実施例を図７に示す。この図７は、上述したＹ信号とＣ信号の処理をハイブリッド方式にしたものである。コンポジットＳＤ信号からコンポーネントＹ信号を生成するために、クラス分類適応処理を用いるものである。入力端子３１から供給されるコンポジットＳＤ信号ｄ２０は、クラス分類適応処理部３２および３５へ供給される。クラス分類適応処理部３２は、クラス分類部３７、予測係数ＲＯＭ３８および予測演算部３９から構成される。
【００５８】
供給されたコンポジットＳＤ信号ｄ２０は、クラス分類部３７および予測演算部３９へ供給される。このとき、クラス分類部３７および予測演算部３９の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部３７では、一例として図８Ａに示すように、供給されたコンポジットＳＤ信号ｄ２０からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスは、ｄ２１として予測係数ＲＯＭ３８へ供給される。
【００５９】
予測係数ＲＯＭ３８では、上述したように予め学習により獲得された予測係数がクラスｄ２１に応答して読み出される。読み出された予測係数は、ｄ２２として予測演算部３９へ供給される。予測演算部３９では、式（１）のような予測演算がコンポジットＳＤ信号ｄ２０と予測係数ｄ２２とを用いて行われ、その演算結果からコンポーネントＹ信号が得られる。このように、予測演算部３９では、一例として図８Ｂに示すような予測タップから式（１）が実行される。演算結果により得られたコンポーネントＹ信号は、クラス分類適応処理部３２の出力信号ｄ２３として、クラス分類適応処理部３３へ供給される。
【００６０】
クラス分類適応処理部３３は、クラス分類部４０、予測係数ＲＯＭ４１および予測演算部４２から構成される。供給されたコンポーネントＹ信号ｄ２３は、クラス分類部４０および予測演算部４２へ供給される。このクラス分類適応処理部３３の対象信号は、コンポーネントＹ信号であるので、クラス分類適応処理部３２とはクラスタップ、予測タップなどの構成は異なる。クラス分類部４０では、一例として上述した図１Ａに示すように、供給されたコンポーネントＹ信号ｄ２３からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスは、ｄ２４として予測係数ＲＯＭ４１へ供給される。このクラス分類部４０には、供給されるコンポーネントＹ信号ｄ２３を保持するためのメモリを有している。
【００６１】
予測係数ＲＯＭ４１では、上述したように予め学習により獲得された予測係数がクラスｄ２４に応答して読み出される。読み出された予測係数は、ｄ２５として予測演算部４２へ供給される。予測演算部４２では、コンポーネントＹ信号ｄ２３と予測係数ｄ２５との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＹ信号が得られる。このように、予測演算部４２では、一例として上述した図１Ｂに示すような予測タップから式（１）が実行される。このコンポーネントＹ信号は、クラス分類適応処理部３３の出力信号ｄ２６として、出力端子３４から出力される。
【００６２】
クラス分類適応処理部３５は、クラス分類部４３、予測係数ＲＯＭ４４および予測演算部４５から構成される。供給されたコンポジットＳＤ信号ｄ２０は、クラス分類部４３および予測演算部４５へ供給される。このとき、上述したクラス分類適応処理部３２のクラス分類部３７および予測演算部３９と同様に、クラス分類部４３および予測演算部４５の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部４３では、一例として図８Ａに示すように、供給されたコンポジットＳＤ信号ｄ２０からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスは、ｄ２７として予測係数ＲＯＭ４４へ供給される。
【００６３】
予測係数ＲＯＭ４４では、上述したように予め学習により獲得された予測係数がクラスｄ２７に応答して読み出される。読み出された予測係数は、ｄ２８として予測演算部４５へ供給される。予測演算部４５では、コンポジットＳＤ信号ｄ２０と予測係数ｄ２８との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＣ信号が得られる。このように、予測演算部４５では、一例として図８Ｃに示すような予測タップから式（１）が実行される。このコンポーネントＣ信号は、クラス部類適応処理部３５の出力信号ｄ２９として、出力端子３６から出力される。
【００６４】
ここで、クラス分類適応処理部３２および３５でクラスタップおよび予測タップに選択されるコンポジット信号の画素は、サブキャリアの位相が同一の画素または反転したものを使用する。
【００６５】
次に、ハイブリッド方式の他の実施例を図９に示す。この他の実施例は、コンポーネントＹ信号を生成するために、後述するＹ／Ｃ分離を用いるものである。入力端子５１からコンポジットＳＤ信号が供給され、供給されたコンポジットＳＤ信号ｄ３０は、Ｙ／Ｃ分離部５２およびクラス分類適応処理部５５へ供給される。Ｙ／Ｃ分離部５２では、供給されたコンポジットＳＤ信号ｄ３０からコンポーネントＹ信号を生成するために、一般的なＹ／Ｃ分離が行われる。生成されたコンポーネントＹ信号ｄ３１は、クラス分類適応処理部５３へ供給される。このＹ／Ｃ分離部５２の処理は、コンポジット信号のサブキャリア位相等の特性を考慮したものとする。
【００６６】
クラス分類適応処理部５３では、クラス分類部５７、予測係数ＲＯＭ５８および予測演算部５９から構成される。供給されたコンポーネントＹ信号ｄ３１は、クラス分類部５７および予測演算部５９へ供給される。このとき、クラス分類部６０および予測演算部６２の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部５７では、一例として上述した図１Ａに示すように、供給されたコンポーネントＹ信号ｄ３１からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスｄ３２は、予測係数ＲＯＭ５８へ供給される。
【００６７】
予測係数ＲＯＭ５８では、上述したように予め学習により獲得された予測係数がクラスｄ３２に応答して読み出される。読み出された予測係数ｄ３３は、予測演算部５９へ供給される。予測演算部５９では、コンポーネントＹ信号ｄ３１と予測係数ｄ３３との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＹ信号が得られる。このように、予測演算部５９では、一例として図１Ｂに示すような予測タップから式（１）が実行される。このコンポーネントＹ信号は、クラス分類適応処理部５３の出力信号ｄ３４として、出力端子５４から出力される。
【００６８】
クラス分類適応処理部５５は、クラス分類部６０、予測係数ＲＯＭ６１および予測演算部６２から構成される。供給されたコンポジットＳＤ信号ｄ３０は、一例として上述した図８Ａに示すように、クラス分類部６０および予測演算部６２へ供給される。このとき、クラス分類部６０および予測演算部６２の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部６０では、供給されたコンポジットＳＤ信号ｄ３０からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスｄ３５は、予測係数ＲＯＭ６１へ供給される。
【００６９】
予測係数ＲＯＭ６１では、上述したように予め学習により獲得された予測係数がクラスｄ３５に応答して読み出される。読み出された予測係数ｄ３６は、予測演算部６２へ供給される。予測演算部６２では、コンポジットＳＤ信号ｄ３０と予測係数ｄ３６との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＣ信号が得られる。このように、予測演算部５９では、一例として図８Ｃに示すような予測タップから式（１）が実行される。このコンポーネントＣ信号は、クラス部類適応処理部５５の出力信号ｄ３７として、出力端子５６から出力される。
【００７０】
このように、コンポジット信号に対してクラス分類適応処理部５３および５５を施すことによって、より多い画素数の出力信号（Ｙ信号、Ｃ信号）へ変換が実行される。
【００７１】
ここで、図１０にＹ／Ｃ分離部５２の一例のブロック図を示す。入力端子７１からコンポジット信号ｄ４１が供給される。コンポジット信号ｄ４１は、動き量検出部７２、１次元Ｙ／Ｃ分離部７３、２次元Ｙ／Ｃ分離部７４および３次元Ｙ／Ｃ分離部７５へ供給される。動き量検出部７２では、供給されたコンポジット信号ｄ４１から動き量が検出され、検出された動き量に応じて混合比が求められる。求められた混合比は、ｄ４２として動き量検出部７２から合成部７６へ供給される。このとき、動きの程度と色の相関のある方向によって重み加算の重みが変わる。
【００７２】
１次元Ｙ／Ｃ分離部７３は、水平方向または垂直方向の画素同士を演算することによって、Ｙ／Ｃ分離を行う。その結果分離されたＹ信号（輝度信号）ｄ４３は、１次元Ｙ／Ｃ分離部７３から合成部７６へ供給される。２次元Ｙ／Ｃ分離部７４は、斜め方向（水平方向および垂直方向）の画素同士を演算することによって、Ｙ／Ｃ分離を行う。その結果分離されたＹ信号ｄ４４は、２次元Ｙ／Ｃ分離部７４から合成部７６へ供給される。３次元Ｙ／Ｃ分離部７５は、前フィールドまたは前後フィールドの画素同士を演算することによって、Ｙ／Ｃ分離を行う。その結果分離されたＹ信号ｄ４５は、３次元Ｙ／Ｃ分離部７５から合成部７６へ供給される。
【００７３】
合成部７６は、動き量検出部７２からの混合比ｄ４２に応じて、Ｙ／Ｃ分離部７３、７４および７５からの各Ｙ信号ｄ４３、ｄ４４およびｄ４５を合成する。具体的には、混合比ｄ４２に応じて合成部７６では、例えばＹ信号ｄ４３に対してｗ１の重みを乗算し、Ｙ信号ｄ４４に対してｗ２の重みを乗算し、Ｙ信号ｄ４５に対してｗ３の重みを乗算し、各乗算結果の総和がｄ４６として出力端子７７から出力される。このとき、重みｗ１、ｗ２およびｗ３の総和は、１とされる。
【００７４】
上述のクラス分類適応処理には、予測方式を用いる例を示したが、上述した重心法を用いたクラス分類適応処理を用いることも可能である。それらは性能とハード量などを考慮の上、用途により選択されることになる。
【００７５】
【発明の効果】
この発明に依れば、Ｃ信号に関しては、静止画像でも色を表現するために、Ｃ信号の位相が常に変化しているので、色の変化なのか、動きの変化なのかを、Ｙ／Ｃ分離で判断するのは、難しい。このため、Ｙ／Ｃ分離を経ずに直接的にＣ信号を生成しても性能の劣化は少ない。
【００７６】
また、クラス分類適応処理により直接的に出力ＨＤ信号のＹ信号を生成する場合は、適切なクラス構造や予測タップ構造が選択されると効果は大きいものの不適切な場合は、直接的に生成するため一括処理となるため操作しにくいという面もある。そこで、入力されたコンポジット信号に対してＹ／Ｃ分離を施し、コンポーネントのＹ信号が生成された後、そのコンポーネントのＹ信号に対してクラス分類適応処理を施すことにより高性能な出力ＨＤ信号のＹ信号を生成することが可能となる。すなわち、画質への影響の大きいＹ信号に対する処理の操作箇所（自由度）を増やし、入力されたコンポジット信号から高性能なＨＤ信号を生成することができる。
【図面の簡単な説明】
【図１】この発明に係るクラス分類の説明のための画素の配置を示す略線図である。
【図２】この発明に係るクラス分類の説明のための一般的な構成例を示すブロック図である。
【図３】この発明に係る予測係数を学習するためのフローチャートである。
【図４】この発明に係るクラス分類を用いた２次元ノンセパラブル構成のアップコンバータの一例を示すブロック図である。
【図５】この発明に係るクラス分類を用いた垂直／水平セパラブル構成のアップコンバータの一例を示すブロック図である。
【図６】この発明に係る偶数フレームと奇数フレームのコンポジット信号のサブキャリアの位相の一例を示す略線図である。
【図７】この発明が適用されたアップコンバータの一実施例である。
【図８】この発明に係るクラス分類の説明のための画素の配置を示す配置図である。
【図９】この発明が適用されたアップコンバータの他の実施例である。
【図１０】この発明に係るＹ／Ｃ分離部の一例を示すブロック図である。
【図１１】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１２】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１３】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
３２、３３、３５・・・クラス分類適応処理部、３７、４０、４３・・・クラス分類部、３８、４１、４４・・・予測係数ＲＯＭ、３９、４２、４５・・・予測演算部
【発明の属する技術分野】
この発明は、入力された画像信号より高い解像度を有する画像信号を得ることができるクラス分類適応処理を用いた画像信号変換装置および方法に関する。
【０００２】
【従来の技術】
従来、画像信号を異なるフォーマットに変換する装置として、例えば標準ＴＶ信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）フォーマット信号に変換するアップコンバータがある。このアップコンバータに使用されている技術について以下、説明する。まず、標準ＴＶ信号（ＳＤ信号）とＨＤ信号の各画素の空間配置例を図１１に示す。ここでは、説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図中の◎のＳＤ画素に注目すると、近傍４種類の位置にＨＤ画素が存在する。この４種類の位置に存在するＨＤ画素を予測するモードをそれぞれmode１、mode２、mode３、mode４と称する。
【０００３】
従来のアップコンバータにおいては、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。このアップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。そこで用いられる補間フィルタの構成は、垂直方向の処理と水平方向の処理とを分離しない空間内２次元ノンセパラブルフィルタと、これらの処理を分離して行う垂直／水平セパラブルフィルタに分類される。これらの補間フィルタの構成例を図１２および図１３に示す。
【０００４】
図１２に示すノンセパラブル補間フィルタは、空間内２次元フィルタを使用するものである。入力端子８１からＳＤ信号が供給され、入力ＳＤ信号は、mode１用２次元フィルタ８２、mode２用２次元フィルタ８３、mode３用２次元フィルタ８４およびmode４用２次元フィルタ８５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ８２〜８５の出力は、ＨＤ信号として選択部８６において、直列化がなされ、出力端子８７から出力ＨＤ信号が取り出される。
【０００５】
また、図１３に示す補間フィルタは、垂直／水平セパラブルフィルタを使用するものである。入力端子９１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ９２および９３において、ＨＤ信号の２本の走査線データが生成される。例えば、垂直補間フィルタ９２では、mode１用およびmode２用の処理が行われ、垂直補間フィルタ９３では、mode３用およびmode４用の処理が行われる。
【０００６】
これらの処理が行われると垂直補間フィルタ９２および９３からの出力信号は、水平補間フィルタ９４および９５へ供給される。この水平補間フィルタ９４および９５では、各走査線毎に水平フィルタを用い４種類の位置のＨＤ画素が補間され、選択部９６へ供給される。選択部９６では、供給されたＨＤ信号の直列化がなされ、出力端子９７から出力ＨＤ信号が取り出される。
【０００７】
しかしながら、従来のアップコンバータにおいて、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には、理想フィルタを用いることが出来ないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。
【０００８】
そこで、これらの問題を解決するために、補間のためのクラス分類適応処理を適用することが提案されている。このクラス分類適応処理は、入力ＳＤ信号の例えば輝度レベルの特徴に基づき、クラス分類を行い、分類されたクラスに対応した予測係数が予測タップを構成する入力ＳＤ信号の複数の画素値との線形１次結合によりＨＤ信号を生成するアップコンバージョン処理である。このとき、用いられている予測係数は、クラス毎に予め学習により獲得されたものである。
【０００９】
従来、アップコンバージョンの方法として、２つの方法がある。１つは、入力されたコンポジット信号に対してアップコンバージョンの処理を施す方法であり、もう１つは、入力されたコンポジット信号にＹ／Ｃ分離を施した後、生成されたコンポーネント信号に対してアップコンバージョンの処理を施す方法である。
【００１０】
ＮＴＳＣコンポジット信号では、４フィールド単位で位相は元に戻るため、画素位置、ライン番号、フィールド番号、フレーム番号に基づき位相は、変化する。このため、コンポジット信号ではなく、コンポーネント信号に対してアップコンバージョンの処理を施し、処理対象画素の近傍から、順次クラスタップや予測タップを形成することが容易であり、一般的である。しかしがなら、Ｙ／Ｃ分離が正しくなされていないと、コンポーネント信号に対してアップコンバージョンを行っても良好な結果が得られない。
【００１１】
また、コンポジット信号において、近傍の各画素値は、サブキャリアの変動を反映するため、同色かつ同一輝度値からなる平坦な信号であってもサブキャリア位相により各画素値は、変化することになる。よって、コンポジット信号からのアップコンバージョンにおいては、注目画素近傍から、順次クラスタップや予測タップを取るのではなく、サブキャリア位相を考慮したタップ構成が必要となる。その結果、処理対象画素から空間的に離れた画素値を用いるため、一般的にコンポーネント信号からのアップコンバージョン性能と比べて、コンポジット信号からのアップコンバージョン性能の方が劣ることになる。
【００１２】
【発明が解決しようとする課題】
しかしながら、クラス分類適応処理によりコンポジット信号から直接的に出力ＨＤ信号のＹ信号を生成する場合、適切なクラス構造や予測タップ構造が選択されると効果は大きいものの、不適切な場合は、Ｙ信号とＣ信号との一括処理であるためＹ信号単独の操作がしにくいという面もある。一方、Ｃ信号に関してはクラス分類適応処理により高性能な出力ＨＤ信号のＣ信号が得られるので、Ｙ／Ｃ分離を経ずに直接的にＣ信号を生成する。
【００１３】
よって、この発明の目的は、上述したようにコンポジット信号に前処理を施し、コンポーネント信号のＹ信号を生成し、生成されたＹ信号に対してクラス分類適応処理を施し、高性能な出力ＨＤ信号のＹ信号を生成する処理と、コンポジット信号に何も処理を施さず、直接的にクラス分類適応処理を施し、高性能な出力ＨＤ信号のＣ信号を生成する処理とを組み合わせた、いわゆるハイブリッド方式によって構成される画像信号変換装置および方法を提供することにある。
【００１４】
【課題を解決するための手段】
請求項１に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換装置において、コンポジット信号からなる第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成手段と、予め学習によりクラス毎に格納された第１の予測係数が、生成された第１のクラスに基づいて読み出される第１の記憶手段と、第１のディジタル画像信号の複数の画素から第１の予測タップを構成し、第１の予測タップの画素値と、読み出された第１の予測係数とを演算し、コンポーネント信号となる第１のディジタル画像信号の輝度信号を生成する第１の予測演算手段と、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成手段と、予め学習によりクラス毎に格納された第２の予測係数が、生成された第２のクラスに基づいて読み出される第２の記憶手段と、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２の予測タップを構成し、第２の予測タップの画素値と、読み出された第２の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の輝度信号を生成する第２の予測演算手段と、第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成手段と、予め学習によりクラス毎に格納された第３の予測係数が、生成された第３のクラスに基づいて読み出される第３の記憶手段と、第１のディジタル画像信号の複数の画素から第３の予測タップを構成し、第３の予測タップの画素値と、読み出された第３の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の色信号を生成する第３の予測演算手段とからなることを特徴とする画像信号変換装置である。
【００１８】
さらに、請求項４に記載の発明は、第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換方法において、コンポジット信号からなる第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成ステップと、予め学習によりクラス毎に第１の記憶手段に格納された第１の予測係数が、生成された第１のクラスに基づいて読み出されるステップと、第１のディジタル画像信号の複数の画素から第１の予測タップを構成し、第１の予測タップの画素値と、読み出された第１の予測係数とを演算し、コンポーネント信号となる第１のディジタル画像信号の輝度信号を生成する第１の予測演算ステップと、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成ステップと、予め学習によりクラス毎に第２の記憶手段に格納された第２の予測係数が、生成された第２のクラスに基づいて読み出されるステップと、生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２の予測タップを構成し、第２の予測タップの画素値と、読み出された第２の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の輝度信号を生成する第２の予測演算ステップと、第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成ステップと、予め学習によりクラス毎に第３の記憶手段に格納された第３の予測係数が、生成された第３のクラスに基づいて読み出されるステップと、第１のディジタル画像信号の複数の画素から第３の予測タップを構成し、第３の予測タップの画素値と、読み出された第３の予測係数とを演算し、コンポーネント信号となる第２のディジタル画像信号の色信号を生成する第３の予測演算ステップとからなることを特徴とする画像信号変換方法である。
【００２０】
このように、入力されたコンポジットＳＤ信号に対してクラス分類適応処理を施すことによって、入力信号より多い画素数のコンポーネントＨＤ信号のＣ信号を生成し、さらに入力コンポジットＳＤ信号に対してＹ／Ｃ分離等の前処理を施し、生成されたコンポーネントＳＤ信号に対してクラス分類適応処理を施すことによって、入力信号より多い画素数のコンポーネントＨＤ信号のＹ信号を生成する。
【００２１】
【発明の実施の形態】
以下、この発明の実施例について図面を参照しながら詳細に説明する。まず、この発明の理解を容易とするため、先に提案されているクラス分類適応処理を用いたアップコンバータを説明する。クラス分類適応処理を用いたアップコンバータでは、入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する。
【００２２】
一例として、図１Ａに示すような入力ＳＤ信号（８ビットＰＣＭ（Pulse Code Modulation ）データ）に対してクラス生成タップを設定し、入力ＳＤ信号の波形特性によりクラスを生成する。この図１Ａの例では、注目ＳＤ画素（◎）を中心として７タップ（７個のＳＤ画素）でクラスが生成される。例えば、７タップデータに対し１ビットＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスが生成される。
【００２３】
ＡＤＲＣは、ＶＴＲ用信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。ＡＤＲＣの他にもクラス分類法としては、下記のものを採用することができる。
【００２４】
１）ＰＣＭデータを直接使用する。
２）ＤＰＣＭ（Differential PCM）を適用してクラス数を削減する。
３）ＶＱ（Vector Quantization ）を適用してクラス数を削減する。
４）周波数変換（ＤＣＴ（Discrete Cosine Transform Coding）、アダマール変換、フーリエ変換等）の値に基づいたクラス分類を行う。
【００２５】
こうして分類されたクラス毎に適応処理を実行するが、その適応処理の一例として、予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測処理のときに使用される予測タップの一例を図１Ｂに示す。この一例は、注目ＳＤ画素を中心としたフレーム内１３タップから予測タップが構成される。予測式の一例を式（１）に示す。
【００２６】
【数１】
ｘi ：ＳＤ信号予測タップ画素値
ｗi ：予測係数
【００２７】
このように、クラス毎に生成された予測係数と入力データとの積和演算、例えば線形１次結合によりＨＤ画素値を推定する。このクラス分類適応処理の回路構成を図２に示す。１で示す入力端子から入力ＳＤ信号が供給され、供給された入力ＳＤ信号は、クラス分類部２および予測タップ選択部３へ供給される。クラス分類部２では、上述した図１Ａに示すようなクラスタップに基づき、入力ＳＤ信号に対するクラスが生成される。生成されたクラスは、クラス分類部２から予測係数ＲＯＭ４へ供給される。
【００２８】
予測係数ＲＯＭ４では、生成されたクラスをアドレスとして応答する予測係数が出力される。予測係数は、予測係数ＲＯＭ４から予測演算部５へ供給される。予測タップ選択部３は、入力ＳＤ信号から上述した図１Ｂに示すように１３タップからなる予測タップを選択する。選択された１３タップからなる予測タップは、予測タップ選択部３から予測演算部５へ供給される。予測演算部５では、供給された予測係数および予測タップから式（１）に示す予測演算が実行され、その演算結果は、出力端子６から出力される。
【００２９】
この例では、mode１〜mode４のＨＤ画素を予測するために、図１Ａに示す７画素からなるクラスタップを共用しているが、mode１〜mode４毎にクラスタップを変えても良い。同様に、図１Ｂに示す１３画素からなる予測タップを共用しているが、上述したように供給されるクラスに基づいて予測タップを変えることも可能であり、またmode１〜mode４毎に予測タップを変えることも可能である。
【００３０】
上述した予測係数は、予め学習により生成しておくが、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、以下のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値として次の式を考える。
【００３１】
観測方程式：ＸＷ＝Ｙ （２）
【数２】
上述の観測方程式（２）により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）の観測方程式をもとに、式（４）の残差方程式を考える。
【００３３】
残差方程式：ＸＷ＝Ｙ＋Ｅ （４）
【数３】
式（４）の残差方程式から、各ｗi の最確値は、
【数４】
【００３５】
【数５】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３７】
【数６】
式（５）および式（６）により式（７）が得られる。
【数７】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【数８】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００４１】
この場合の学習においては、対象信号と教師信号との間で上述の線形１次モデルを設定し、最小自乗法により予め予測係数を生成しておく。その学習方法の一例となるフローチャートを図３に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば上述した図１Ｂに示す１３タップから学習データが形成される。ここで、注目ＳＤ画素近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。
【００４２】
ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。ステップＳ３のクラス決定は、上述した図１Ａに示すように、注目ＳＤ画素近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式では、上述した式（８）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５へ移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、このフローチャートが終了する。以上が予測方式によるクラス分類適応処理の概要である。
【００４３】
上述したクラス分類適応処理を用いたアップコンバータの一例を図４および図５に示す。この図４および図５は、上述した図１２および図１３のアップコンバータに対応した構成であり、図１１に示すＳＤ画素とＨＤ画素の関係に基づいてＨＤ画素データを生成するものである。入力端子１０から供給される入力ＳＤ信号は、予測タップ選択部１１およびクラス分類部１２へ供給される。クラス分類部１２では、上述した図１Ａに示すクラスタップのようにクラスｄ０が生成され、生成されたクラスｄ０は、アドレスとして予測係数ＲＯＭ１３へ供給される。予測タップ選択部１１では、上述した図１Ｂに示すような予測タップが選択される。選択された予測タップは、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。
【００４４】
予測係数ＲＯＭ１３では、上述したように予め学習により獲得された予測係数からクラスｄ０に対応したものが読み出される。読み出された予測係数は、ｄ５として、mode１予測演算部１４、mode２予測演算部１５、mode３予測演算部１６およびmode４予測演算部１７へ供給される。mode１予測演算部１４では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、mode１のＨＤ画素ｄ１が生成され、生成されたＨＤ画素ｄ１は、選択部１８に供給される。同様に、予測演算部１５、１６および１７では、選択された予測タップと予測係数ｄ５とから積和演算が実行され、ＨＤ画素ｄ２、ｄ３、ｄ４が生成され、選択部１８へ供給される。
【００４５】
このとき、各予測演算部１４、１５、１６、１７では、予測タップ選択部１１からの予測タップと予測係数ｄ５との積和演算が行われる。この積和演算の際にmodeに応じて予測係数の符号が変更される。mode１予測演算部１４とmode２予測演算部１５の間では、積和演算を実行するときに、例えば予測係数ｄ５の符号を正負の逆とし、同様にmode３予測演算部１６とmode４予測演算部１７の間でも、予測係数ｄ５の符号を正負の逆とし、積和演算を実行する。また、mode１予測演算部１４とmode３予測演算部１６の間では、例えば注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、予測係数ｄ５と積和演算を実行し、同様にmode２予測演算部１５とmode４予測演算部１７とでも、注目ＳＤ画素上の垂直方向の線に対して線対称に予測タップを入れ換え、積和演算を実行する。
【００４６】
選択部１８では、注目ＳＤ画素から生成されたＨＤ画素を所望の時系列に並び換え、出力端子１９を介してＨＤ画素が出力される。この選択部１８には、並び換えに必要なメモリも含まれる。以上が２次元ノンセバラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００４７】
一方、図５は、垂直／水平セパラブル構成の予測演算を行う場合のクラス分類適応処理の構成例を示す。入力端子２０から入力ＳＤ信号が供給され、入力ＳＤ信号は、予測タップ選択部２１およびクラス分類部２２へ供給される。クラス分類部２２では、上述した図１Ａに示すクラスタップのようにクラスｄ１１が生成され、生成されたクラスｄ１１は、アドレスとして垂直係数ＲＯＭ２３および水平係数ＲＯＭ２４へ供給される。予測タップ選択部２１において選択された予測タップは、垂直予測演算部２５および２６へ供給される。
【００４８】
垂直係数ＲＯＭ２３では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、垂直予測係数ｄ１６として、垂直予測演算部２５および２６へ供給される。水平係数ＲＯＭ２４では、上述したように予め学習により獲得された予測係数からクラスｄ１１に対応したものが読み出され、読み出された予測係数は、水平予測係数ｄ１７として、水平予測演算部２７および２８へ供給される。
【００４９】
垂直予測演算部２５では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値が生成される。この垂直推定値は、ＨＤ画素の位置に生成されるものである。次に、この垂直推定値を使用して水平方向のクラス分類適応予測を行い、それによってＨＤ画素値を生成する。生成された垂直推定値は、ｄ１２として水平予測演算部２７へ供給される。同様に、垂直予測演算部２６では、選択された予測タップと垂直予測係数ｄ１６とから積和演算により、垂直推定値ｄ１３が生成され、水平予測演算部２８へ供給される。
【００５０】
水平予測演算部２７では、供給された垂直推定値ｄ１２を記憶するメモリを有し、記憶された垂直推定値から予測タップが選択され、選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１４として選択部２９へ供給される。同様に、水平予測演算部２８では、メモリから選択された予測タップと水平予測係数ｄ１７との積和演算により、ＨＤ画素が生成される。生成されたＨＤ画素は、ｄ１５として選択部２９へ供給される。上述した予測演算部２５、２６、２７および２８では、modeに応じて予測係数の符号および／またはタップの入れ換えがなされる。
【００５１】
この垂直および水平予測演算部２５〜２８では、mode１、mode２の走査線用と、mode３、mode４の走査線用の２種類に分かれ、予測演算部２５および２７が前者を示し、予測演算部２６および２８が後者を示す。選択部２９では、供給されたＨＤ画素ｄ１４およびｄ１５を最適な並び換えにより最終的に出力端子３０を介してＨＤ画素が出力される。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００５２】
以上のクラス分類適応処理は、式（１）の例で示されるような予測演算を使用する予測方式と呼ばれる手法である。この他に重心法を用いたクラス分類適応処理がある。重心法は、予測演算値を出力する予測演算方式ではなく、各クラスに対応する目標信号分布の平均値を出力値とする手法である。予測演算方式は、予め学習により各クラスに対応する予測係数を生成しておくが、重心法では、予め学習により各クラスに対応する出力値を生成しておく。よって、重心法の基本構成は、クラス分類部と予測値ＲＯＭを直列接続した簡素なものとなる。重心法は、予測演算方式に比べ予測自由度が少ないため、全体の性能では予測方式より劣ることが多いが、ハード量が非常に少ないという利点がある。このため、これらは、用途によって使い分けられる。
【００５３】
以上のクラス分類適応処理を用いることにより、前述の従来の補間フィルタを用いたアップコンバータより、解像度の向上したアップコンバート画像が得られる。
【００５４】
このように一般的な処理に加えクラス分類適応処理を用いてコンポジットＳＤ信号からＨＤ信号を生成する場合には、サブキャリアの位相等のコンポジット信号特有の性質を考慮する必要がある。図６は、コンポジット信号を４ｆｓｃのサンプリング周波数でサンプリングした場合の位相の例を示し、図６Ａは、偶数フレームの場合の画素のサブキャリア位相を示し、図６Ｂは、奇数フレームの場合の画素のサブキャリア位相を示す。
【００５５】
上述したように、ＮＴＳＣコンポジット信号では、４フィールド単位で位相は、元に戻ることになり、画素位置、ライン番号、フィールド番号、フレーム番号に基づき位相は、変化する。よって、コンポーネント信号からのアップコンバージョンにおいては、処理対象画素の近傍から、順次クラスタップや予測タップを形成することが一般的である。しかしながら、図６から明らかなように、コンポジット信号においては近傍の各画素値は、サブキャリアの変動を反映する。具体的には、同色かつ同一輝度値からなる平坦な信号であってもコンポジット信号においては、サブキャリア位相により各画素値は、変化することになる。
【００５６】
よって、コンポジット信号からのアップコンバージョンにおいては、注目画素近傍から、順次クラスタップや予測タップを取るのではなく、サブキャリア位相を考慮したタップ構成が必須となる。クラス分類適応処理を用いてコンポジット信号からアップコンバージョンを実行する処理構成は、コンポーネント信号の場合と同じく図２に示す構成で実現されるが、クラスタップや予測タップの構造を変更する必要がある。
【００５７】
そこで、この発明が適用された画像信号変換装置の一実施例を図７に示す。この図７は、上述したＹ信号とＣ信号の処理をハイブリッド方式にしたものである。コンポジットＳＤ信号からコンポーネントＹ信号を生成するために、クラス分類適応処理を用いるものである。入力端子３１から供給されるコンポジットＳＤ信号ｄ２０は、クラス分類適応処理部３２および３５へ供給される。クラス分類適応処理部３２は、クラス分類部３７、予測係数ＲＯＭ３８および予測演算部３９から構成される。
【００５８】
供給されたコンポジットＳＤ信号ｄ２０は、クラス分類部３７および予測演算部３９へ供給される。このとき、クラス分類部３７および予測演算部３９の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部３７では、一例として図８Ａに示すように、供給されたコンポジットＳＤ信号ｄ２０からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスは、ｄ２１として予測係数ＲＯＭ３８へ供給される。
【００５９】
予測係数ＲＯＭ３８では、上述したように予め学習により獲得された予測係数がクラスｄ２１に応答して読み出される。読み出された予測係数は、ｄ２２として予測演算部３９へ供給される。予測演算部３９では、式（１）のような予測演算がコンポジットＳＤ信号ｄ２０と予測係数ｄ２２とを用いて行われ、その演算結果からコンポーネントＹ信号が得られる。このように、予測演算部３９では、一例として図８Ｂに示すような予測タップから式（１）が実行される。演算結果により得られたコンポーネントＹ信号は、クラス分類適応処理部３２の出力信号ｄ２３として、クラス分類適応処理部３３へ供給される。
【００６０】
クラス分類適応処理部３３は、クラス分類部４０、予測係数ＲＯＭ４１および予測演算部４２から構成される。供給されたコンポーネントＹ信号ｄ２３は、クラス分類部４０および予測演算部４２へ供給される。このクラス分類適応処理部３３の対象信号は、コンポーネントＹ信号であるので、クラス分類適応処理部３２とはクラスタップ、予測タップなどの構成は異なる。クラス分類部４０では、一例として上述した図１Ａに示すように、供給されたコンポーネントＹ信号ｄ２３からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスは、ｄ２４として予測係数ＲＯＭ４１へ供給される。このクラス分類部４０には、供給されるコンポーネントＹ信号ｄ２３を保持するためのメモリを有している。
【００６１】
予測係数ＲＯＭ４１では、上述したように予め学習により獲得された予測係数がクラスｄ２４に応答して読み出される。読み出された予測係数は、ｄ２５として予測演算部４２へ供給される。予測演算部４２では、コンポーネントＹ信号ｄ２３と予測係数ｄ２５との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＹ信号が得られる。このように、予測演算部４２では、一例として上述した図１Ｂに示すような予測タップから式（１）が実行される。このコンポーネントＹ信号は、クラス分類適応処理部３３の出力信号ｄ２６として、出力端子３４から出力される。
【００６２】
クラス分類適応処理部３５は、クラス分類部４３、予測係数ＲＯＭ４４および予測演算部４５から構成される。供給されたコンポジットＳＤ信号ｄ２０は、クラス分類部４３および予測演算部４５へ供給される。このとき、上述したクラス分類適応処理部３２のクラス分類部３７および予測演算部３９と同様に、クラス分類部４３および予測演算部４５の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部４３では、一例として図８Ａに示すように、供給されたコンポジットＳＤ信号ｄ２０からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスは、ｄ２７として予測係数ＲＯＭ４４へ供給される。
【００６３】
予測係数ＲＯＭ４４では、上述したように予め学習により獲得された予測係数がクラスｄ２７に応答して読み出される。読み出された予測係数は、ｄ２８として予測演算部４５へ供給される。予測演算部４５では、コンポジットＳＤ信号ｄ２０と予測係数ｄ２８との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＣ信号が得られる。このように、予測演算部４５では、一例として図８Ｃに示すような予測タップから式（１）が実行される。このコンポーネントＣ信号は、クラス部類適応処理部３５の出力信号ｄ２９として、出力端子３６から出力される。
【００６４】
ここで、クラス分類適応処理部３２および３５でクラスタップおよび予測タップに選択されるコンポジット信号の画素は、サブキャリアの位相が同一の画素または反転したものを使用する。
【００６５】
次に、ハイブリッド方式の他の実施例を図９に示す。この他の実施例は、コンポーネントＹ信号を生成するために、後述するＹ／Ｃ分離を用いるものである。入力端子５１からコンポジットＳＤ信号が供給され、供給されたコンポジットＳＤ信号ｄ３０は、Ｙ／Ｃ分離部５２およびクラス分類適応処理部５５へ供給される。Ｙ／Ｃ分離部５２では、供給されたコンポジットＳＤ信号ｄ３０からコンポーネントＹ信号を生成するために、一般的なＹ／Ｃ分離が行われる。生成されたコンポーネントＹ信号ｄ３１は、クラス分類適応処理部５３へ供給される。このＹ／Ｃ分離部５２の処理は、コンポジット信号のサブキャリア位相等の特性を考慮したものとする。
【００６６】
クラス分類適応処理部５３では、クラス分類部５７、予測係数ＲＯＭ５８および予測演算部５９から構成される。供給されたコンポーネントＹ信号ｄ３１は、クラス分類部５７および予測演算部５９へ供給される。このとき、クラス分類部６０および予測演算部６２の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部５７では、一例として上述した図１Ａに示すように、供給されたコンポーネントＹ信号ｄ３１からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスｄ３２は、予測係数ＲＯＭ５８へ供給される。
【００６７】
予測係数ＲＯＭ５８では、上述したように予め学習により獲得された予測係数がクラスｄ３２に応答して読み出される。読み出された予測係数ｄ３３は、予測演算部５９へ供給される。予測演算部５９では、コンポーネントＹ信号ｄ３１と予測係数ｄ３３との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＹ信号が得られる。このように、予測演算部５９では、一例として図１Ｂに示すような予測タップから式（１）が実行される。このコンポーネントＹ信号は、クラス分類適応処理部５３の出力信号ｄ３４として、出力端子５４から出力される。
【００６８】
クラス分類適応処理部５５は、クラス分類部６０、予測係数ＲＯＭ６１および予測演算部６２から構成される。供給されたコンポジットＳＤ信号ｄ３０は、一例として上述した図８Ａに示すように、クラス分類部６０および予測演算部６２へ供給される。このとき、クラス分類部６０および予測演算部６２の処理は、コンポジット信号のサブキャリア位相などの特性を考慮したものとする。クラス分類部６０では、供給されたコンポジットＳＤ信号ｄ３０からクラスタップが選択される。選択されたクラスタップに応じてクラスが生成される。生成されたクラスｄ３５は、予測係数ＲＯＭ６１へ供給される。
【００６９】
予測係数ＲＯＭ６１では、上述したように予め学習により獲得された予測係数がクラスｄ３５に応答して読み出される。読み出された予測係数ｄ３６は、予測演算部６２へ供給される。予測演算部６２では、コンポジットＳＤ信号ｄ３０と予測係数ｄ３６との予測演算が行われる。その演算結果からアップコンバージョンされた、すなわちＨＤ信号のコンポーネントＣ信号が得られる。このように、予測演算部５９では、一例として図８Ｃに示すような予測タップから式（１）が実行される。このコンポーネントＣ信号は、クラス部類適応処理部５５の出力信号ｄ３７として、出力端子５６から出力される。
【００７０】
このように、コンポジット信号に対してクラス分類適応処理部５３および５５を施すことによって、より多い画素数の出力信号（Ｙ信号、Ｃ信号）へ変換が実行される。
【００７１】
ここで、図１０にＹ／Ｃ分離部５２の一例のブロック図を示す。入力端子７１からコンポジット信号ｄ４１が供給される。コンポジット信号ｄ４１は、動き量検出部７２、１次元Ｙ／Ｃ分離部７３、２次元Ｙ／Ｃ分離部７４および３次元Ｙ／Ｃ分離部７５へ供給される。動き量検出部７２では、供給されたコンポジット信号ｄ４１から動き量が検出され、検出された動き量に応じて混合比が求められる。求められた混合比は、ｄ４２として動き量検出部７２から合成部７６へ供給される。このとき、動きの程度と色の相関のある方向によって重み加算の重みが変わる。
【００７２】
１次元Ｙ／Ｃ分離部７３は、水平方向または垂直方向の画素同士を演算することによって、Ｙ／Ｃ分離を行う。その結果分離されたＹ信号（輝度信号）ｄ４３は、１次元Ｙ／Ｃ分離部７３から合成部７６へ供給される。２次元Ｙ／Ｃ分離部７４は、斜め方向（水平方向および垂直方向）の画素同士を演算することによって、Ｙ／Ｃ分離を行う。その結果分離されたＹ信号ｄ４４は、２次元Ｙ／Ｃ分離部７４から合成部７６へ供給される。３次元Ｙ／Ｃ分離部７５は、前フィールドまたは前後フィールドの画素同士を演算することによって、Ｙ／Ｃ分離を行う。その結果分離されたＹ信号ｄ４５は、３次元Ｙ／Ｃ分離部７５から合成部７６へ供給される。
【００７３】
合成部７６は、動き量検出部７２からの混合比ｄ４２に応じて、Ｙ／Ｃ分離部７３、７４および７５からの各Ｙ信号ｄ４３、ｄ４４およびｄ４５を合成する。具体的には、混合比ｄ４２に応じて合成部７６では、例えばＹ信号ｄ４３に対してｗ１の重みを乗算し、Ｙ信号ｄ４４に対してｗ２の重みを乗算し、Ｙ信号ｄ４５に対してｗ３の重みを乗算し、各乗算結果の総和がｄ４６として出力端子７７から出力される。このとき、重みｗ１、ｗ２およびｗ３の総和は、１とされる。
【００７４】
上述のクラス分類適応処理には、予測方式を用いる例を示したが、上述した重心法を用いたクラス分類適応処理を用いることも可能である。それらは性能とハード量などを考慮の上、用途により選択されることになる。
【００７５】
【発明の効果】
この発明に依れば、Ｃ信号に関しては、静止画像でも色を表現するために、Ｃ信号の位相が常に変化しているので、色の変化なのか、動きの変化なのかを、Ｙ／Ｃ分離で判断するのは、難しい。このため、Ｙ／Ｃ分離を経ずに直接的にＣ信号を生成しても性能の劣化は少ない。
【００７６】
また、クラス分類適応処理により直接的に出力ＨＤ信号のＹ信号を生成する場合は、適切なクラス構造や予測タップ構造が選択されると効果は大きいものの不適切な場合は、直接的に生成するため一括処理となるため操作しにくいという面もある。そこで、入力されたコンポジット信号に対してＹ／Ｃ分離を施し、コンポーネントのＹ信号が生成された後、そのコンポーネントのＹ信号に対してクラス分類適応処理を施すことにより高性能な出力ＨＤ信号のＹ信号を生成することが可能となる。すなわち、画質への影響の大きいＹ信号に対する処理の操作箇所（自由度）を増やし、入力されたコンポジット信号から高性能なＨＤ信号を生成することができる。
【図面の簡単な説明】
【図１】この発明に係るクラス分類の説明のための画素の配置を示す略線図である。
【図２】この発明に係るクラス分類の説明のための一般的な構成例を示すブロック図である。
【図３】この発明に係る予測係数を学習するためのフローチャートである。
【図４】この発明に係るクラス分類を用いた２次元ノンセパラブル構成のアップコンバータの一例を示すブロック図である。
【図５】この発明に係るクラス分類を用いた垂直／水平セパラブル構成のアップコンバータの一例を示すブロック図である。
【図６】この発明に係る偶数フレームと奇数フレームのコンポジット信号のサブキャリアの位相の一例を示す略線図である。
【図７】この発明が適用されたアップコンバータの一実施例である。
【図８】この発明に係るクラス分類の説明のための画素の配置を示す配置図である。
【図９】この発明が適用されたアップコンバータの他の実施例である。
【図１０】この発明に係るＹ／Ｃ分離部の一例を示すブロック図である。
【図１１】ＳＤ画素とＨＤ画素の配置を示す配置図である。
【図１２】従来の２次元ノンセパラブル構成のアップコンバータを示す。
【図１３】従来の垂直／水平セパラブル構成のアップコンバータを示す。
【符号の説明】
３２、３３、３５・・・クラス分類適応処理部、３７、４０、４３・・・クラス分類部、３８、４１、４４・・・予測係数ＲＯＭ、３９、４２、４５・・・予測演算部
Claims (6)
- 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換装置において、
コンポジット信号からなる上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成手段と、
予め学習によりクラス毎に格納された第１の予測係数が、上記生成された第１のクラスに基づいて読み出される第１の記憶手段と、
上記第１のディジタル画像信号の複数の画素から第１の予測タップを構成し、上記第１の予測タップの画素値と、上記読み出された第１の予測係数とを演算し、コンポーネント信号となる上記第１のディジタル画像信号の輝度信号を生成する第１の予測演算手段と、
上記生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、上記第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成手段と、
予め学習によりクラス毎に格納された第２の予測係数が、上記生成された第２のクラスに基づいて読み出される第２の記憶手段と、
上記生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２の予測タップを構成し、上記第２の予測タップの画素値と、上記読み出された第２の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の輝度信号を生成する第２の予測演算手段と、
上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成手段と、
予め学習によりクラス毎に格納された第３の予測係数が、上記生成された第３のクラスに基づいて読み出される第３の記憶手段と、
上記第１のディジタル画像信号の複数の画素から第３の予測タップを構成し、上記第３の予測タップの画素値と、上記読み出された第３の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の色信号を生成する第３の予測演算手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換装置において、
コンポジット信号からなる上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成手段と、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させて記憶させ、上記生成された第１のクラスに対応する平均値がコンポーネント信号となる上記第１のディジタル画像信号の輝度信号として読み出される第１の記憶手段と、
上記読み出されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、上記第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成手段と、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させて記憶させ、上記生成された第２のクラスに対応する平均値がコンポーネント信号となる上記第２のディジタル画像信号の輝度信号として読み出される第２の記憶手段と、
上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成手段と、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させて記憶させ、上記生成された第３のクラスに対応する平均値がコンポーネント信号となる上記第２のディジタル画像信号の色信号として読み出される第３の記憶手段と、
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換装置において、
コンポジット信号からなる上記第１のディジタル画像信号に対してＹ／Ｃ分離処理を施し、上記第１のディジタル画像信号の輝度信号を生成するＹ／Ｃ分離手段と、
上記生成された輝度信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成手段と、
予め学習によりクラス毎に格納された第１の予測係数が、上記生成された第１のクラスに基づいて読み出される第１の記憶手段と、
上記生成された輝度信号の複数の画素から第１の予測タップを構成し、上記第１の予測タップの画素値と、上記読み出された第１の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の輝度信号を生成する第１の予測演算手段と、
上記第１のディジタル画像信号の複数の画素から第２のクラスタップを構成し、上記第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成手段と、
予め学習によりクラス毎に格納された第２の予測係数が、上記生成された第２のクラスに基づいて読み出される第２の記憶手段と、
上記第１のディジタル画像信号の複数の画素から第２の予測タップを構成し、上記第２の予測タップの画素値と、上記読み出された第２の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の色信号を生成する第２の予測演算手段と
からなることを特徴とする画像信号変換装置。 - 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換方法において、
コンポジット信号からなる上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成ステップと、
予め学習によりクラス毎に第１の記憶手段に格納された第１の予測係数が、上記生成された第１のクラスに基づいて読み出されるステップと、
上記第１のディジタル画像信号の複数の画素から第１の予測タップを構成し、上記第１の予測タップの画素値と、上記読み出された第１の予測係数とを演算し、コンポーネント信号となる上記第１のディジタル画像信号の輝度信号を生成する第１の予測演算ステップと、
上記生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、上記第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成ステップと、
予め学習によりクラス毎に第２の記憶手段に格納された第２の予測係数が、上記生成された第２のクラスに基づいて読み出されるステップと、
上記生成されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２の予測タップを構成し、上記第２の予測タップの画素値と、上記読み出された第２の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の輝度信号を生成する第２の予測演算ステップと、
上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成ステップと、
予め学習によりクラス毎に第３の記憶手段に格納された第３の予測係数が、上記生成された第３のクラスに基づいて読み出されるステップと、
上記第１のディジタル画像信号の複数の画素から第３の予測タップを構成し、上記第３ の予測タップの画素値と、上記読み出された第３の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の色信号を生成する第３の予測演算ステップと
からなることを特徴とする画像信号変換方法。 - 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換方法において、
コンポジット信号からなる上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成ステップと、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させて第１の記憶手段に記憶させ、上記生成された第１のクラスに対応する平均値がコンポーネント信号となる上記第１のディジタル画像信号の輝度信号として読み出されるステップと、
上記読み出されたコンポーネント信号となる第１のディジタル画像信号の輝度信号の複数の画素から第２のクラスタップを構成し、上記第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成ステップと、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させて第２の記憶手段に記憶させ、上記生成された第２のクラスに対応する平均値がコンポーネント信号となる上記第２のディジタル画像信号の輝度信号として読み出されるステップと、
上記第１のディジタル画像信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第３のクラスを生成する第３のクラス生成ステップと、
予め学習により各クラスに対応する目標信号分布の平均値を求め、求められた上記平均値を上記各クラスに対応させて第３の記憶手段に記憶させ、上記生成された第３のクラスに対応する平均値がコンポーネント信号となる上記第２のディジタル画像信号の色信号として読み出されるステップと、
からなることを特徴とする画像信号変換方法。 - 第１のディジタル画像信号を、より解像度の高い第２のディジタル画像信号に変換する画像信号変換方法において、
コンポジット信号からなる上記第１のディジタル画像信号に対してＹ／Ｃ分離処理を施し、上記第１のディジタル画像信号の輝度信号を生成するＹ／Ｃ分離ステップと、
上記生成された輝度信号の複数の画素から第１のクラスタップを構成し、上記第１のクラスタップを構成する複数の画素値に基づいた第１のクラスを生成する第１のクラス生成ステップと、
予め学習によりクラス毎に第１の記憶手段に格納された第１の予測係数が、上記生成された第１のクラスに基づいて読み出されるステップと、
上記生成された輝度信号の複数の画素から第１の予測タップを構成し、上記第１の予測タップの画素値と、上記読み出された第１の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の輝度信号を生成する第１の予測演算ステップと、
上記第１のディジタル画像信号の複数の画素から第２のクラスタップを構成し、上記第２のクラスタップを構成する複数の画素値に基づいた第２のクラスを生成する第２のクラス生成ステップと、
予め学習によりクラス毎に第２の記憶手段に格納された第２の予測係数が、上記生成された第２のクラスに基づいて読み出されるステップと、
上記第１のディジタル画像信号の複数の画素から第２の予測タップを構成し、上記第２の予測タップの画素値と、上記読み出された第２の予測係数とを演算し、コンポーネント信号となる上記第２のディジタル画像信号の色信号を生成する第２の予測演算ステップと
からなることを特徴とする画像信号変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23970796A JP3772408B2 (ja) | 1996-08-22 | 1996-08-22 | 画像信号変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23970796A JP3772408B2 (ja) | 1996-08-22 | 1996-08-22 | 画像信号変換装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1066031A JPH1066031A (ja) | 1998-03-06 |
| JP3772408B2 true JP3772408B2 (ja) | 2006-05-10 |
Family
ID=17048736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23970796A Expired - Fee Related JP3772408B2 (ja) | 1996-08-22 | 1996-08-22 | 画像信号変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3772408B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69835871T2 (de) | 1997-12-25 | 2007-04-05 | Sony Corp. | Verfahren und Gerät zur Signalumsetzung |
| JP2000138949A (ja) | 1998-10-30 | 2000-05-16 | Sony Corp | 画像情報変換装置および変換方法 |
| JP3596770B2 (ja) | 2001-12-28 | 2004-12-02 | ソニー株式会社 | 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム |
-
1996
- 1996-08-22 JP JP23970796A patent/JP3772408B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1066031A (ja) | 1998-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3845870B2 (ja) | ディジタル信号処理用集積回路 | |
| US5940132A (en) | Image signal converting apparatus | |
| KR100465559B1 (ko) | 신호변환장치및신호변환방법 | |
| EP0984635B1 (en) | Predictive video coding system | |
| US8331710B2 (en) | Image processing apparatus and method, learning apparatus and method, and program | |
| US5068722A (en) | Motion vector estimating apparatus | |
| JP2002514022A (ja) | スケーリング圧縮画像 | |
| JP3669530B2 (ja) | 画像信号変換装置及び画像信号変換方法 | |
| JP3772408B2 (ja) | 画像信号変換装置および方法 | |
| JP3859089B2 (ja) | 信号変換装置及び信号変換方法 | |
| JP3743077B2 (ja) | 画像信号変換装置および方法 | |
| JP4223576B2 (ja) | 画像信号変換装置および方法 | |
| JP3852133B2 (ja) | 画像信号変換装置および方法 | |
| JP3671469B2 (ja) | 予測係数の学習方法並びに信号変換装置および方法 | |
| JP3759537B2 (ja) | 画像信号伝送装置及び画像信号伝送方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3861309B2 (ja) | 信号変換装置および信号変換方法 | |
| EP1636987B1 (en) | Spatial signal conversion | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH0884335A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3814850B2 (ja) | 信号変換装置および方法 | |
| JP3867730B2 (ja) | ディジタル信号処理用集積回路 | |
| JP3669522B2 (ja) | 信号変換装置、信号変換方法、係数学習装置及び係数学習方法 | |
| JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
| JP3852124B2 (ja) | 信号変換装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140224 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |