JP4140091B2 - 画像情報変換装置および画像情報変換方法 - Google Patents
画像情報変換装置および画像情報変換方法 Download PDFInfo
- Publication number
- JP4140091B2 JP4140091B2 JP26062698A JP26062698A JP4140091B2 JP 4140091 B2 JP4140091 B2 JP 4140091B2 JP 26062698 A JP26062698 A JP 26062698A JP 26062698 A JP26062698 A JP 26062698A JP 4140091 B2 JP4140091 B2 JP 4140091B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- output
- image signal
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
Description
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する出力画像信号を生成する機能を有する画像情報変換装置および画像情報変換方法に関する。
【０００２】
【従来の技術】
オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようテレビジョン受像機の開発が要望されており、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンでは、走査線数が１１２５本とされており、これは、ＮＴＳＣ方式に規定される走査線数５２５本の２倍以上である。また、ハイビジョンでは、縦：横の比率が９：１６とされており、ＮＴＳＣ方式における３：４に比して広角画面となっている。このため、高解像度で臨場感のある画面を得ることができる。
【０００３】
ハイビジョン方式での画面表示が可能なテレビジョン受像機にＮＴＳＣ方式の画像信号をそのまま供給しても、画像信号の規格が異なるため、画像表示を行うことはできない。そこで、従来は、例えば図８に示すような画像情報変換装置を用いて画像信号のレート変換がなされる。ＳＤ(Standard Definition) 信号としてのＮＴＳＣ方式の画像信号は、入力端子１００を介して入力し、水平補間フィルタ１０１に供給される。水平補間フィルタ１０１は、供給される信号に水平方向の補間処理を施す。さらに、垂直補間フィルタ１０２は、水平補間フィルタ１０１の出力に垂直方向の補間処理を施す。このようにして、ＨＤ(High Definition) 信号としてのハイビジョン方式の画像信号が出力される。
【０００４】
水平補間フィルタ１０１の具体的な構成について図９を参照して説明する。入力端子１００を介して入力するＮＴＳＣ方式の画像信号は、ｍ＋１個の乗算器１１１m ，１１１m-1 ，１１１m-2 ，・・・，１１１0 にそれぞれ供給される。乗算器１１１m-1 ，１１１m-2 ，・・・，１１１0 は、供給される信号に所定の係数を乗算する処理を行い、処理結果を加算器１１２m-1 ，１１２m-2 ，・・・，１１２0 に供給する。加算器１１２m-1 ，１１２m-2 ，・・・，１１２0 の出力がそれぞれ、遅延レジスタ１１３m-1 ，１１３m-2 ，・・・，１１３0 に供給される。また、遅延レジスタ１１３m-1 ，１１３m-2 ，・・・，１１３0 の出力は、それぞれ、加算器１１２m-2 ，１１２m-3 ・・・，１１２0 に供給される。
【０００５】
さらに、乗算器１１１m の出力は、遅延レジスタ１１３m に供給され、遅延レジスタ１１３m の出力は、加算器１１２m-1 に供給される。ここで、遅延レジスタ１１３m-1 ，１１３m-2 ，・・・，１１３0 は、供給される信号に遅延時間Ｔを生じさせる。
【０００６】
従って、入力端子１００を介して入力するＮＴＳＣ方式の画像信号は、遅延レジスタ１１３m によって時間Ｔの遅延が施され、加算器１１２m-1 に供給される。加算器１１２m-1 は、遅延レジスタ１１３m の出力と、乗算器１１１m-1 の出力とを加算処理して出力する。加算器１１２m-1 の出力は、遅延レジスタ１１３m-1 によって時間Ｔの遅延が施され、加算器１１２m-2 に供給される。加算器１１２m-2 は、遅延レジスタ１１３m-2 の出力と、乗算器１１１m-2 の出力とを加算処理して出力する。
【０００７】
以下、同様な処理が行われ、最終段の加算器１１２0 は、遅延レジスタ１１３0 の出力と、乗算器１１１0 の出力とを加算処理して出力する。加算器１１２0 の出力は、水平補間フィルタ１０１の最終的な出力（従って、水平方向の補間処理によって得られる画像信号）として、出力端子１２０を介して垂直補間フィルタ１０２に供給される。
【０００８】
垂直補間フィルタ１０２は、水平補間フィルタ１０１と同様の構成を有しており、水平補間フィルタ１０１の出力に対して垂直方向の画素の補間処理を行う。そして、垂直補間フィルタ１０２の出力として得られるハイビジョン方式の画像信号がハイビジョン受像機に供給される。以上のような画像情報変換によって、ＮＴＳＣ方式の画像信号に応じた画像をハイビジョン受像機に表示することができる。
【０００９】
【発明が解決しようとする課題】
しかし、上述したような画像情報変換は、ＮＴＳＣ方式の画像信号に対して単に水平方向および垂直方向の補間を行うに過ぎないので、解像度は元のＮＴＳＣ方式の画像信号と何ら変わらない。特に、通常の動画を変換対象とする場合には、垂直方向の補間をフィールド内処理として行うのが一般的であるが、そのような処理においては、画像のフィールド間相関が使用されない。このため、変換ロスにより、元のＮＴＳＣ方式の画像信号よりも解像度が劣化するおそれがあった。
【００１０】
これに対し、本願出願人は、画像情報変換処理としてクラス分類適応処理を行う装置を提案している（特願平６−２０５９３４号公報参照）。クラス分類適応処理は、入力するＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測係数値を格納するメモリを備え、クラス分割の結果と予測係数値とを使用して、所定の予測式に基づく演算を行うことによって、ＨＤ画素として最適な推定値を生成する処理である。
【００１１】
クラス分類適応処理においては、ＨＤ画素を生成する場合に、生成すべきＨＤ画素の近傍にあるＳＤ画素データを用いてクラス分割処理を行う。そして、クラス分割処理によって検出され得る各クラスについて、予測係数値を学習によって予め獲得することにより、画像静止部においてはフレーム内相関、また画像動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素値を得るようになされる。
【００１２】
このような処理の具体例として、図１０に示すようなＨＤ画素ｙ１，ｙ２の生成を行う場合について説明する。ＳＤ画素ｍ1 〜ｍ5 およびＳＤ画素ｎ1 〜ｎ5 についてそれぞれ空間的に同一位置にある画素同士のフレーム間差分の平均値を求め、それをしきい値処理してクラス分類することにより、主に動きの程度に係るクラス分類を行う。同時に、図１１に示すようなＳＤ画素ｋ1 〜ｋ5 をＡＤＲＣ(Adaptive Dynamic Range Coding) 処理することにより、少ないビット数によって、主に空間内の波形の表現に係るクラス分類を行う。
【００１３】
そして、上述した２種類のクラス分類によって決定されるクラス毎に、以下のような線形一次式（１）に従う演算によってＨＤ画素ｙ１，ｙ２を生成する。
【００１４】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋・・・＋ｗn ×ｘn （１）
かかる演算に使用されるＳＤ画素ｘ1 ，ｘ2 ・・・ｘn の配置の一例を図１２に示す。ここでは１７個のＳＤ画素が使用され、従って、ｎ＝１７である。また、式（１）において使用される予測係数値ｗ1 〜ｗn は学習によって予め獲得されるものである。このような処理においては、主に動きの程度を表すクラス分類と、主に空間内の波形を表すクラス分類とを別個に、それぞれに適した形で行うため、比較的少ないクラス数で高い変換性能を実現できるという特徴がある。
【００１５】
このようなクラス分類適応処理により、入力するインターレス信号の２倍の走査線数のインターレス信号を得ることができる。例えば、入力画像信号としての５２５ｉ信号を、出力画像信号としての１０５０ｉ信号に変換することができる。このような変換により、画像が密となり、画質が向上するという効果が得られる。
【００１６】
また、クラス分類適応処理によれば、入力するインターレス信号を、それと同一の走査線数のプログレッシブ信号に変換することも可能である。例えば、入力画像信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換することができる。このような変換により、ラインフリッカが除去されるという効果が得られる。
【００１７】
上述したような２種類の変換は、それぞれに特有の効果を奏するものではあるが、これら２種類の変換を１つの装置で実現しようとすると、それぞれの変換に係る予測係数データを記憶するメモリを備えることが必要となり、装置の回路規模が大きくなってしまうという問題があった。
【００１８】
この発明は、上述の問題点に鑑みてなされたものであり、従って、この発明の目的は、装置の回路規模の増大を伴うこと無く、またはその程度を最小限として、入力画像信号を２種類以上の出力画像信号に変換することが可能な画像情報変換装置および画像情報変換方法を提供することにある。
【００１９】
【課題を解決するための手段】
請求項１の発明は、走査線数がｎ本の入力インターレス画像信号から走査線数がほぼ２ｎ本の出力インターレス画像信号を形成する第１の変換と、走査線数がｎ本の入力インターレス画像信号から走査線数がｎ本の出力プログレッシブ画像信号を形成する第２の変換とを選択的に行うことが可能とされている画像情報変換装置において、
出力インタ−レス画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力インタ−レス画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが入れ替わる画素配置とされ、
出力プログレッシブ画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力プログレッシブ画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが一定の画素配置とされ、
第１の変換が行われる場合には、入力インタ−レス画像信号の画素と出力インタ−レス画像信号画素との距離関係をフィールド毎に切り替える垂直反転処理を行い、第２の変換が行われる場合には、垂直反転処理を行わないフィールド毎垂直反転手段と、
フィールド毎垂直反転手段からの出力画像から処理対象の注目画素周辺の複数の画素データを切り出す第１の画像切り出し手段と、
第１の画像切り出し手段によって切り出される画像データと、該切り出された画像データより１フレーム前の第１の画像切り出し手段によって切り出された画像データとから求められた動きベクトルを表す動きクラスを決定し、決定される動きクラスに係る情報を出力する動きクラス検出手段と、
フィールド毎垂直反転手段からの出力画像から注目画素周辺の複数の画素データを切り出す第２の画像切り出し手段と、
第２の画像切り出し手段によって切り出される画像データのレベル分布のパターンを検出し、検出されるパターンに基づいて画像データが属する空間クラスを決定し、決定される空間クラスに係る情報を出力する空間クラス検出手段と、
動きクラス検出手段の出力と、空間クラス検出手段の出力とを合成してクラスを決定するクラスコード発生手段と、
クラスコード発生手段の出力に対応して予め決定され、出力画像信号を推定するための予測係数データを記憶する記憶手段と、
フィールド毎垂直反転手段からの出力画像から注目画素周辺の複数の画素データを切り出す第３の画像切り出し手段と、
クラスコード発生手段の出力に従って、記憶手段から選択される複数の予測係数データと、第３の画像切り出し手段によって得られる複数の画素データとが距離関係が同一となる複数の画素に対して乗じられる予測係数データが同一となるように、積和演算することによって、注目画素に対する画素を予測生成する演算処理手段と
を有し、
予測係数データは、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス毎に予め学習によって求められて記憶手段に記憶される
ことを特徴とする画像情報変換装置である。
【００２０】
請求項２の発明は、走査線数がｎ本の入力インターレス画像信号から走査線数がほぼ２ｎ本の出力インターレス画像信号を形成する第１の変換と、走査線数がｎ本の入力インターレス画像信号から走査線数がｎ本の出力プログレッシブ画像信号を形成する第２の変換とを選択的に行うことが可能とされている画像情報変換方法において、
出力インタ−レス画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力インタ−レス画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが入れ替わる画素配置とされ、
出力プログレッシブ画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力プログレッシブ画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが一定の画素配置とされ、
第１の変換が行われる場合には、入力インタ−レス画像信号の画素と出力インタ−レス画像信号画素との距離関係をフィールド毎に切り替える垂直反転処理を行い、第２の変換が行われる場合には、垂直反転処理を行わないフィールド毎垂直反転ステップと、
フィールド毎垂直反転ステップ後に得られる出力画像から注目画素周辺の複数の画素データを切り出す第１の画像切り出しステップと、
第１の画像切り出しステップによって切り出される画像データと、該切り出された画像データより１フレーム前の第１の画像切り出し手段によって切り出された画像データとから求められた動きベクトルを表す動きクラスを決定する動きクラス検出ステップと、
フィールド毎垂直反転ステップ後に得られる出力画像から注目画素周辺の複数の画素データを切り出す第２の画像切り出しステップと、
第２の画像切り出しステップによって切り出される画像データのレベル分布のパターンを検出し、検出されるパターンに基づいて画像データが属する空間クラスを決定する空間クラス検出ステップと、
動きクラス検出ステップの結果と、空間クラス検出ステップの結果とを合成してクラスを決定するクラスコード発生ステップと、
クラスコード発生ステップの結果に対応して予め決定され、出力画像信号を推定するための予測係数データを記憶する記憶ステップと、
フィールド毎垂直反転ステップ後に得られる出力画像から注目画素周辺の複数の画素データを切り出す第３の画像切り出しステップと、
クラスコード発生ステップの結果に従って、記憶ステップから選択される複数の予測係数データと、第３の画像切り出しステップによって得られる複数の画素データとが距離関係が同一となる複数の画素に対して乗じられる予測係数データが同一となるように、積和演算することによって、注目画素に対する画素を予測生成する演算処理ステップと
を有し、
予測係数データは、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス毎に予め学習によって求められて記憶手段に記憶される
ことを特徴とする画像情報変換方法である。
【００２１】
以上のような発明によれば、入力画像信号と出力画像信号との種類に応じて、フィールド毎の垂直反転がなされた、あるいはなされない入力画像信号が画像情報変換処理の対象とされる。
【００２２】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。なお、入力画像信号としてのＳＤ信号／出力画像信号としてのＨＤ信号との組合わせとして、例えば５２５ｉ信号（走査線数が５２５本のインターレス信号）／５２５ｐ信号（走査線数が５２５本のプログレッシブ信号）と、５２５ｉ信号／１０５０ｉ信号（走査線数が１０５０本のインターレス信号）との両方を行う場合等に、この発明を適用することができる。
【００２３】
ここで、入力画像信号としてのＳＤ画像信号と、出力画像信号としてのＨＤ画像信号とにおける画素の位置関係を図１、図２に示す。ここで、大きなドットがＳＤ画素を示し、また、小さなドットがＨＤ画素を示す。図１、図２の何れにおいてもＳＤ画像信号は５２５ｉ信号である。そして、図１は、ＨＤ画像信号が１０５０ｉ信号である場合を示す。また、図２は、ＨＤ画像信号が５２５ｐ信号である場合を示す。
【００２４】
図１に示す、ＨＤ画像信号が１０５０ｉ信号である場合には、１つのフレーム内での第１フィールド（ｋ番目のフィールド）と、第２フィールド（ｋ＋１番目のフィールド）とにおいて、推定されるＨＤ画素と、その推定のために使用されるＳＤ画素との位相関係が垂直方向に反転する。すなわち、第１フィールドにおけるＨＤ画素ｙ１、第２フィールドにおけるＨＤ画素ｙ１’を３個のＳＤ画素Ｔ1 ，Ｔ2 ，Ｔ3 を使用して計算する場合には、ｙ１、ｙ１’がそれぞれ、式（２）、（３）に従って計算される。なお、ＨＤ画素の推定のために使用するＳＤ画素の数は３個より多くても良い。ここでは、説明を簡明なものとするために、３個のＳＤ画素を使用してＨＤ画素の推定を行う場合について示した。
【００２５】
ｙ１＝Ｔ1 ×ｋ1 ＋Ｔ2 ×ｋ2 ＋Ｔ3 ×ｋ3 （２）
ｙ１’＝Ｔ3 ×ｋ1 ＋Ｔ2 ×ｋ2 ＋Ｔ1 ×ｋ3 （３）
このように、ＨＤ画像信号が１０５０ｉ信号である場合には、１フレーム内の２個のフィールドについて、予測に使用されるＳＤ画素の垂直方向の位相が反転する。このため、入力するＳＤ画像信号をフィールド毎に反転してから画像情報変換処理を行う、または、推定のための演算を行う際に予測係数とＳＤ画素との対応をフィールド毎に入れ替える、等の方法によって、ＳＤ画像信号としての５２５ｉ信号を、出力画像信号としての１０５０ｉ信号に変換することができる。
【００２６】
一方、図２に示す、ＨＤ画像信号が５２５ｐ信号である場合には、１つのフレーム内での第１フィールド（ｋ−１番目のフィールド）と、第２フィールド（ｋ番目のフィールド）とにおいて、推定されるＨＤ画素と、その推定のために使用されるＳＤ画素との位相関係は同一となる。このため、入力するＳＤ画像信号をフィールド毎に反転する等の処理は不必要である。
【００２７】
そこで、この発明は、出力すべきＨＤ画像信号の種類に応じて、入力するＳＤ画像信号を反転するようにしたものである。図３は、この発明の一実施形態の全体的な構成を示すブロック図である。入力端子１を介してＳＤ画像信号としての例えば５２５ｉ信号がフィールド毎データ垂直反転回路１３に供給される。フィールド毎データ垂直反転回路１３は、必要に応じて、供給されるＳＤ画像信号に垂直反転処理を施す。
【００２８】
ここで、上述したように、垂直反転処理を行うか否かはＨＤ画像信号の種類に応じて決まる。フィールド毎データ垂直反転回路１３の出力が領域切り出し部４および７、並びに遅延回路１２に供給される。領域切り出し部４は、動きクラスの決定に必要とされる画素をＳＤ画像信号から切り出し、切り出した画素を動きクラス決定回路５に供給する。動きクラス決定回路５は、ブロックマッチング法等の方法によって動き量を検出する。
【００２９】
ここで、動きクラスの検出のために領域切り出し部４によって切り出される画素配置の一例を図４に示す。生成すべきＨＤ画素値ｙ１，ｙ２に対してｎ１，ｎ２，ｎ３，ｎ４，ｎ５、およびｎ１〜ｎ５に対して水平方向に左右２画素の位置にある全体で５×５の（計２５画素からなる）ブロック（以下、ブロック１と表記する）が切り出される。また、ｍ１，ｍ２，ｍ３，ｍ４，ｍ５、およびｍ１〜ｍ５に対して水平方向に左右２画素の位置を成す全体で５×５の（計２５画素からなる）ブロック（以下、ブロック１と表記する）が切り出される。さらに、かかる２５画素を所定のサーチ範囲内で１画素ずつオフセットを有するブロックデータが切り出される。
【００３０】
そして、動きクラス決定回路５は、以下の式（４）に従って動きクラスｍｖ＿ｃｌａｓｓを計算する。
【００３１】
ここで、ｖx は水平方向の動き量、ｖy は垂直方向の動き量である。また、ｓx は水平方向のサーチ範囲の絶対値であり、ｓy は垂直方向のサーチ範囲の絶対値である。
【００３２】
例えば、動き量のサーチ範囲が（±８，±８）であり、検出された動き量が（＋３，−２）である場合には、動きクラスｍｖ＿ｃｌｓは、次のように計算される。
【００３３】
ｍｖ＿ｃｌｓ＝（３＋８）×（８×２＋１）＋（（−２）＋８）＝１９３
なお、動き検出方法は、ブロックマッチング法以外の方法、例えば勾配法、位相相関法等によって行うようにしても良い。このようにして決定される動きクラスが図３中のクラスコード発生回路６に供給される。
【００３４】
一方、領域切り出し回路２には、遅延回路１２の出力、すなわち遅延させられたＳＤ画像信号が供給される。領域切り出し回路２は、空間クラスの決定に必要とされる画素をＳＤ画像信号から切り出し、切り出した画素をＡＤＲＣ回路３に供給する。領域切り出し回路２が切り出すＳＤ画素配置の一例を図５に示す。なお、遅延回路１２は、領域切り出し回路２に対する入力のタイミングを補償するためのものである。
【００３５】
ＡＤＲＣ回路３は、空間内クラス分類、すなわち供給されるＳＤ画像信号の空間内波形の少ないビット数によるパターン化を主たる目的として、領域切り出し回路２の出力を例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮する演算を行う。ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の一実施形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（５）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００３６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （５）
但し、｛ ｝は切り捨て処理を意味する。
【００３７】
この発明の一実施形態において、ＡＤＲＣ回路３は、領域切り出し回路２によって分離された例えば５画素のＳＤデータを各２ビットに圧縮するものとする。以下、圧縮されたＳＤデータをそれぞれｑ1 〜ｑ5 と表記する。これらのパターン圧縮データがクラスコード発生回路６に供給される。
【００３８】
一方、領域切り出し回路７は、フィールド毎データ垂直反転回路１３の出力から推定演算に使用する画素を切り出す。切り出される画素配置の一例を図６に示す。この一例では１７個の画素ｘ1 〜ｘ17が切り出される。領域切り出し回路７の出力は、遅延回路８を介して推定演算回路１０に供給される。遅延回路８は、領域切り出し回路７の出力に、推定演算回路１０における処理のタイミングを合わせるために必要な遅延を施す。
【００３９】
一方、クラスコード発生回路６は、ＡＤＲＣ回路３から供給される空間クラスと、動きクラス決定回路５から供給される動きクラスに基づいて以下の式（６）に従う演算を行う。かかる演算により、各ブロックについて、各々が属するクラスを検出する。そして、検出したクラスを示すクラスコードｃｌａｓｓをメモリ９に供給する。
【００４０】
【数１】
【００４１】
ここで、ｎ，ｐの値として、例えばｎ＝５，ｐ＝２が使用される。
【００４２】
メモリ９には、ＳＤ画素に対応するＨＤ画素を算出するための係数データが各クラス毎に記憶されている。かかる係数データは、ＳＤ画像信号を、より高い解像度を有するＨＤ画像信号に変換するための情報である。メモリ９は、クラスコード発生回路６から供給されるクラスコードｃｌａｓｓを読出しアドレスとして、そのクラスについての係数データであるｗi （ｃｌａｓｓ）を出力する。メモリ９から出力される係数データは、推定演算回路１０に供給される。なお、メモリ９に記憶されている係数データの学習による作成方法については後述する。
【００４３】
推定演算回路１０は、遅延回路８を介して供給される領域切り出し回路７の出力と、メモリ９から供給される係数データとに基づく演算により、入力されるＳＤ画素に対応するＨＤ画素を生成する。
【００４４】
より具体的には、領域切り出し回路７によって切り出される例えば１７個のＳＤ画素ｘ1 〜ｘ17と、メモリ９から供給される係数データｗi （ｃｌａｓｓ）とに基づいて以下の式（５）に従う演算を行うことによって，ＳＤ画素に対応するＨＤ画素を算出する。但し、上述したように係数データがモード１とモード２とに対して独立に用意されているので、モード１を行う際にはブロック１についての係数データが使用され、また、モード２を行う際にはブロック２についての係数データが使用される。
【００４５】
ｈｄ’＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋ｗ3 ×ｘ3 ＋・・・＋ｗ17×ｘ17 （７）
このようにして作成されるＨＤ画素データが水平補間フィルタ１１に供給される。水平補間フィルタ１１としては、従来から使用されているものと同様なものを用いることができる。すなわち、水平補間フィルタ１１供給される信号に補間処理を施すことによって水平方向の画素数を２倍とする。水平補間フィルタ１１の出力は、出力端子１２を介して出力される。かかる出力は、例えばＨＤテレビジョン受像機やＨＤビデオテープレコーダ装置等に供給される。
【００４６】
次に、メモリ９に記憶される係数データの作成について図７を参照して説明する。かかる係数データを学習によって得るために、既知のＨＤ画像信号に対応する、当該ＨＤ画像信号の１／４の画素数を有するＳＤ画像信号をまず形成する。具体的には、垂直間引きフィルタ２２によってフィールド内の垂直方向の周波数が１／２になるように間引き処理を行う。さらに、水平間引きフィルタ２３によってフィールド内の水平方向の周波数が１／２になるように間引き処理を行う。水平間引きフィルタ２３の出力として、入力端子２１を介して供給されるＨＤ画像信号の１／４の画素数を有するＳＤ画像信号が得られる。水平間引きフィルタ２３の出力は、領域切り出し回路２４および２６、並びに遅延回路３４に供給される。
【００４７】
領域切り出し回路２６は、領域切り出し回路４と同様に、供給されるＳＤ画像信号から動きクラス分類のために必要なデータを切り出し、切り出したデータを動きクラス決定回路２７に供給する。動きクラス決定回路２７は、動きクラス決定回路５と同様に、動きクラスを決定し、決定した動きクラスを、領域切り出し回路２４と、クラスコード発生回路２８とに供給する。
【００４８】
領域切り出し回路２４には、さらに、遅延回路３４の出力、すなわち遅延させられたＳＤ画像信号が供給される。領域切り出し回路２４は、空間クラスの決定に必要とされる画素をＳＤ画像信号から切り出し、切り出した画素をＡＤＲＣ回路２５に供給する。なお、遅延回路３４は、動きクラス決定回路２７の動作に要する時間等に起因して、動きクラスが領域切り出し回路２４に供給されるタイミングと、水平間引きフィルタ２３が出力するＳＤ画像信号が領域切り出し回路２４に供給されるタイミングとがずれることに対処するために設けられている。
【００４９】
ＡＤＲＣ回路２５は、供給されるＳＤ画像信号の１次元的、または２次元的なレベル分布のパターンを検出すると共に、領域切り出し回路２５の出力を例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮する演算を行う。そして、かかる演算によって生成されるパターン圧縮データをクラスコード発生回路２８に供給する。クラスコード発生回路２８は、クラスコード発生回路６と同様なものである。すなわち、クラスコード発生回路２８は、供給されるパターン圧縮データ（空間クラス）と、動きクラス決定回路２７から供給される動きクラスとに基づく演算を行って各ブロックが属するクラスを検出し、そのクラスを示すクラスコードを正規方程式加算回路３１に供給する。
【００５０】
一方、領域切り出し回路２９は、領域切り出し回路８と同様なものであり、水平間引きフィルタ２３から出力されるＳＤ画像信号から、生成すべき画素を得るための推定演算において使用するＳＤ画素を切り出す。領域切り出し回路２９の出力は、遅延回路３０を介して正規方程式加算回路３１に供給される。なお、遅延回路３０は、領域切り出し回路２９の出力に対し正規方程式加算回路３１における処理のタイミングを合わせるために必要な遅延を施す。
【００５１】
ここで、正規方程式加算回路３１の説明のために、複数個のＳＤ画素からＨＤ画素への変換を行う際に使用される予測式の学習と、その予測式を用いた信号変換について説明する。以下の説明は、ｎ画素を用いて予測を行う、一般的な場合についてのものである。ｎ個のＳＤ画素レベルをｘ1 ，ｘ2 ，ｘ3 ，・・・，ｘn と表記し、それらにｐビットＡＤＲＣを行った結果の再量子化データをそれぞれ、ｑ1 ，ｑ2 ，ｑ3 ，・・・，ｑn と表記する。さらに、ｎ個のＳＤ画素レベルをｘ1 〜ｘn を含む領域のクラスｃｌａｓｓを、上述の式（６）で定義する。
【００５２】
そして、各クラスについて学習によって決められる係数ｗ1 ，・・・ｗn によるｎタップの線形推定式（以下の式（８））を設定する。ここで、係数ｗ1 ，・・・ｗn は、学習によって決められるものであり、学習前には未定係数である。
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （８）
学習は、クラス毎に複数の画像信号データ（トレーニングデータと称する）に対して行う。トレーニングデータの総数をｍと表記する場合、式（１）に従って、以下の式（７）が設定される。
【００５３】
ｙ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （９）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（１０）で定義し、さらに、式（１１）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００５４】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （１０）
（ｋ＝１，２，‥‥ｍ）
【００５５】
【数２】
【００５６】
式（１１）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（１２））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００５７】
【数３】
【００５８】
式（１２）から各予測係数ｗi を定める具体的な手順について説明する。式（１３）、（１４）のようにＸji，Ｙi を定義すると、式（１２）は、式（１５）の行列式の形に書くことができる。
【００５９】
【数４】
【００６０】
【数５】
【００６１】
【数６】
【００６２】
式（１５）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラスコード発生回路２８から供給されたクラスコード、領域切り出し回路３０から供給されるＳＤ画素データｘ1 ，ｘ2 ，ｘ3 ，・・・，ｘn 、およびトレーニングデータとしての、入力端子２１を介して入力するＨＤ画素レベルｙに基づいて、正規方程式の加算を行い、式（１３）、（１４）に従うＸji，Ｙi の値を算出する。
【００６３】
そして、全てのトレーニングデータの入力が終了した後、正規方程式加算回路３１は、正規方程式データを予測係数決定回路３２に供給する。予測係数決定回路３２は、供給される正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。そして、算出した予測係数ｗi をメモリ３３に供給する。メモリ３３は、供給される予測係数ｗi をクラス毎に記憶する。
【００６４】
以上のような学習により、メモリ３３には、クラス毎にＨＤ画素データｙを推定する際に、統計的に最も真値に近い推定を可能とする予測係数が記憶される。メモリ３３に記憶された係数データが図３中のメモリ９にロードされ、上述したように、画像情報変換処理において使用される。上述したように、かかる係数データは、ＨＤ画像信号が１０５０ｉである場合と５２５ｐ信号である場合との両方において使用される。
【００６５】
上述したこの発明の一実施形態では、入力するＳＤ画像信号としての５２５ｉ信号から、ＨＤ画像信号としての１０５０ｉ信号と、５２５ｐ信号との両方を出力するようにしたものであるが、ＳＤ画像信号とＨＤ画像信号との組合わせは、これに限定されるものではない。画像情報変換処理に先立ってＳＤ画像信号を反転する処理を行うか否かを切替えることによって生成できる２種類以上のＨＤ画像信号を出力する装置に対して、この発明を適用することができる。
【００６６】
【発明の効果】
上述したように、この発明は、画像情報変換処理に先立ってＳＤ画像信号を反転する処理を行うか否かを切替えることにより、同一の係数データを用いて２種類以上のＨＤ画像信号を生成するようにしたものである。
【００６７】
このため、２種類以上のＨＤ画像信号を生成するために別個の係数データを記憶しておく必要が無い。従って、２種類以上のＨＤ画像信号を生成する場合にも、係数データを記憶するためのメモリの容量を増大させる必要が無いので、メモリの大規模化を回避することができる。
【００６８】
従って、２種類以上のＨＤ画像信号を生成する機能を有する装置を、回路規模およびコストの増大を伴わずに、若しくはその程度を最小限として、実現することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における画素の配置の他の例を示す略線図である。
【図３】この発明の一実施形態の全体的な構成の一例を示すブロック図である。
【図４】この発明の一実施形態において動きクラスを検出するための画素配置の一例を示す略線図である。
【図５】この発明の一実施形態において空間クラスを検出するための画素配置の一例を示す略線図である。
【図６】この発明の一実施形態において出力画像信号中の画素の推定に使用される画素の配置の一例を示す略線図である。
【図７】この発明の一実施形態における予測係数算出処理系の構成の一例を示すブロック図である。
【図８】従来の画像情報変換処理について説明するためのブロック図である。
【図９】従来の画像情報変換処理についてより詳細に説明するためのブロック図である。
【図１０】従来の画像情報変換処理において動きクラスを検出するための画素配置の一例を示す略線図である。
【図１１】従来の画像情報変換処理において空間クラスを検出するための画素配置の一例を示す略線図である。
【図１２】従来の画像情報変換処理において出力画像信号中の画素の推定に使用される画素の配置の一例を示す略線図である。
【符号の説明】
１３・・・フィールド毎データ垂直反転回路
【発明の属する技術分野】
この発明は、入力画像信号からより高い解像度を有する出力画像信号を生成する機能を有する画像情報変換装置および画像情報変換方法に関する。
【０００２】
【従来の技術】
オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようテレビジョン受像機の開発が要望されており、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンでは、走査線数が１１２５本とされており、これは、ＮＴＳＣ方式に規定される走査線数５２５本の２倍以上である。また、ハイビジョンでは、縦：横の比率が９：１６とされており、ＮＴＳＣ方式における３：４に比して広角画面となっている。このため、高解像度で臨場感のある画面を得ることができる。
【０００３】
ハイビジョン方式での画面表示が可能なテレビジョン受像機にＮＴＳＣ方式の画像信号をそのまま供給しても、画像信号の規格が異なるため、画像表示を行うことはできない。そこで、従来は、例えば図８に示すような画像情報変換装置を用いて画像信号のレート変換がなされる。ＳＤ(Standard Definition) 信号としてのＮＴＳＣ方式の画像信号は、入力端子１００を介して入力し、水平補間フィルタ１０１に供給される。水平補間フィルタ１０１は、供給される信号に水平方向の補間処理を施す。さらに、垂直補間フィルタ１０２は、水平補間フィルタ１０１の出力に垂直方向の補間処理を施す。このようにして、ＨＤ(High Definition) 信号としてのハイビジョン方式の画像信号が出力される。
【０００４】
水平補間フィルタ１０１の具体的な構成について図９を参照して説明する。入力端子１００を介して入力するＮＴＳＣ方式の画像信号は、ｍ＋１個の乗算器１１１m ，１１１m-1 ，１１１m-2 ，・・・，１１１0 にそれぞれ供給される。乗算器１１１m-1 ，１１１m-2 ，・・・，１１１0 は、供給される信号に所定の係数を乗算する処理を行い、処理結果を加算器１１２m-1 ，１１２m-2 ，・・・，１１２0 に供給する。加算器１１２m-1 ，１１２m-2 ，・・・，１１２0 の出力がそれぞれ、遅延レジスタ１１３m-1 ，１１３m-2 ，・・・，１１３0 に供給される。また、遅延レジスタ１１３m-1 ，１１３m-2 ，・・・，１１３0 の出力は、それぞれ、加算器１１２m-2 ，１１２m-3 ・・・，１１２0 に供給される。
【０００５】
さらに、乗算器１１１m の出力は、遅延レジスタ１１３m に供給され、遅延レジスタ１１３m の出力は、加算器１１２m-1 に供給される。ここで、遅延レジスタ１１３m-1 ，１１３m-2 ，・・・，１１３0 は、供給される信号に遅延時間Ｔを生じさせる。
【０００６】
従って、入力端子１００を介して入力するＮＴＳＣ方式の画像信号は、遅延レジスタ１１３m によって時間Ｔの遅延が施され、加算器１１２m-1 に供給される。加算器１１２m-1 は、遅延レジスタ１１３m の出力と、乗算器１１１m-1 の出力とを加算処理して出力する。加算器１１２m-1 の出力は、遅延レジスタ１１３m-1 によって時間Ｔの遅延が施され、加算器１１２m-2 に供給される。加算器１１２m-2 は、遅延レジスタ１１３m-2 の出力と、乗算器１１１m-2 の出力とを加算処理して出力する。
【０００７】
以下、同様な処理が行われ、最終段の加算器１１２0 は、遅延レジスタ１１３0 の出力と、乗算器１１１0 の出力とを加算処理して出力する。加算器１１２0 の出力は、水平補間フィルタ１０１の最終的な出力（従って、水平方向の補間処理によって得られる画像信号）として、出力端子１２０を介して垂直補間フィルタ１０２に供給される。
【０００８】
垂直補間フィルタ１０２は、水平補間フィルタ１０１と同様の構成を有しており、水平補間フィルタ１０１の出力に対して垂直方向の画素の補間処理を行う。そして、垂直補間フィルタ１０２の出力として得られるハイビジョン方式の画像信号がハイビジョン受像機に供給される。以上のような画像情報変換によって、ＮＴＳＣ方式の画像信号に応じた画像をハイビジョン受像機に表示することができる。
【０００９】
【発明が解決しようとする課題】
しかし、上述したような画像情報変換は、ＮＴＳＣ方式の画像信号に対して単に水平方向および垂直方向の補間を行うに過ぎないので、解像度は元のＮＴＳＣ方式の画像信号と何ら変わらない。特に、通常の動画を変換対象とする場合には、垂直方向の補間をフィールド内処理として行うのが一般的であるが、そのような処理においては、画像のフィールド間相関が使用されない。このため、変換ロスにより、元のＮＴＳＣ方式の画像信号よりも解像度が劣化するおそれがあった。
【００１０】
これに対し、本願出願人は、画像情報変換処理としてクラス分類適応処理を行う装置を提案している（特願平６−２０５９３４号公報参照）。クラス分類適応処理は、入力するＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測係数値を格納するメモリを備え、クラス分割の結果と予測係数値とを使用して、所定の予測式に基づく演算を行うことによって、ＨＤ画素として最適な推定値を生成する処理である。
【００１１】
クラス分類適応処理においては、ＨＤ画素を生成する場合に、生成すべきＨＤ画素の近傍にあるＳＤ画素データを用いてクラス分割処理を行う。そして、クラス分割処理によって検出され得る各クラスについて、予測係数値を学習によって予め獲得することにより、画像静止部においてはフレーム内相関、また画像動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素値を得るようになされる。
【００１２】
このような処理の具体例として、図１０に示すようなＨＤ画素ｙ１，ｙ２の生成を行う場合について説明する。ＳＤ画素ｍ1 〜ｍ5 およびＳＤ画素ｎ1 〜ｎ5 についてそれぞれ空間的に同一位置にある画素同士のフレーム間差分の平均値を求め、それをしきい値処理してクラス分類することにより、主に動きの程度に係るクラス分類を行う。同時に、図１１に示すようなＳＤ画素ｋ1 〜ｋ5 をＡＤＲＣ(Adaptive Dynamic Range Coding) 処理することにより、少ないビット数によって、主に空間内の波形の表現に係るクラス分類を行う。
【００１３】
そして、上述した２種類のクラス分類によって決定されるクラス毎に、以下のような線形一次式（１）に従う演算によってＨＤ画素ｙ１，ｙ２を生成する。
【００１４】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋・・・＋ｗn ×ｘn （１）
かかる演算に使用されるＳＤ画素ｘ1 ，ｘ2 ・・・ｘn の配置の一例を図１２に示す。ここでは１７個のＳＤ画素が使用され、従って、ｎ＝１７である。また、式（１）において使用される予測係数値ｗ1 〜ｗn は学習によって予め獲得されるものである。このような処理においては、主に動きの程度を表すクラス分類と、主に空間内の波形を表すクラス分類とを別個に、それぞれに適した形で行うため、比較的少ないクラス数で高い変換性能を実現できるという特徴がある。
【００１５】
このようなクラス分類適応処理により、入力するインターレス信号の２倍の走査線数のインターレス信号を得ることができる。例えば、入力画像信号としての５２５ｉ信号を、出力画像信号としての１０５０ｉ信号に変換することができる。このような変換により、画像が密となり、画質が向上するという効果が得られる。
【００１６】
また、クラス分類適応処理によれば、入力するインターレス信号を、それと同一の走査線数のプログレッシブ信号に変換することも可能である。例えば、入力画像信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換することができる。このような変換により、ラインフリッカが除去されるという効果が得られる。
【００１７】
上述したような２種類の変換は、それぞれに特有の効果を奏するものではあるが、これら２種類の変換を１つの装置で実現しようとすると、それぞれの変換に係る予測係数データを記憶するメモリを備えることが必要となり、装置の回路規模が大きくなってしまうという問題があった。
【００１８】
この発明は、上述の問題点に鑑みてなされたものであり、従って、この発明の目的は、装置の回路規模の増大を伴うこと無く、またはその程度を最小限として、入力画像信号を２種類以上の出力画像信号に変換することが可能な画像情報変換装置および画像情報変換方法を提供することにある。
【００１９】
【課題を解決するための手段】
請求項１の発明は、走査線数がｎ本の入力インターレス画像信号から走査線数がほぼ２ｎ本の出力インターレス画像信号を形成する第１の変換と、走査線数がｎ本の入力インターレス画像信号から走査線数がｎ本の出力プログレッシブ画像信号を形成する第２の変換とを選択的に行うことが可能とされている画像情報変換装置において、
出力インタ−レス画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力インタ−レス画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが入れ替わる画素配置とされ、
出力プログレッシブ画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力プログレッシブ画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが一定の画素配置とされ、
第１の変換が行われる場合には、入力インタ−レス画像信号の画素と出力インタ−レス画像信号画素との距離関係をフィールド毎に切り替える垂直反転処理を行い、第２の変換が行われる場合には、垂直反転処理を行わないフィールド毎垂直反転手段と、
フィールド毎垂直反転手段からの出力画像から処理対象の注目画素周辺の複数の画素データを切り出す第１の画像切り出し手段と、
第１の画像切り出し手段によって切り出される画像データと、該切り出された画像データより１フレーム前の第１の画像切り出し手段によって切り出された画像データとから求められた動きベクトルを表す動きクラスを決定し、決定される動きクラスに係る情報を出力する動きクラス検出手段と、
フィールド毎垂直反転手段からの出力画像から注目画素周辺の複数の画素データを切り出す第２の画像切り出し手段と、
第２の画像切り出し手段によって切り出される画像データのレベル分布のパターンを検出し、検出されるパターンに基づいて画像データが属する空間クラスを決定し、決定される空間クラスに係る情報を出力する空間クラス検出手段と、
動きクラス検出手段の出力と、空間クラス検出手段の出力とを合成してクラスを決定するクラスコード発生手段と、
クラスコード発生手段の出力に対応して予め決定され、出力画像信号を推定するための予測係数データを記憶する記憶手段と、
フィールド毎垂直反転手段からの出力画像から注目画素周辺の複数の画素データを切り出す第３の画像切り出し手段と、
クラスコード発生手段の出力に従って、記憶手段から選択される複数の予測係数データと、第３の画像切り出し手段によって得られる複数の画素データとが距離関係が同一となる複数の画素に対して乗じられる予測係数データが同一となるように、積和演算することによって、注目画素に対する画素を予測生成する演算処理手段と
を有し、
予測係数データは、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス毎に予め学習によって求められて記憶手段に記憶される
ことを特徴とする画像情報変換装置である。
【００２０】
請求項２の発明は、走査線数がｎ本の入力インターレス画像信号から走査線数がほぼ２ｎ本の出力インターレス画像信号を形成する第１の変換と、走査線数がｎ本の入力インターレス画像信号から走査線数がｎ本の出力プログレッシブ画像信号を形成する第２の変換とを選択的に行うことが可能とされている画像情報変換方法において、
出力インタ−レス画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力インタ−レス画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが入れ替わる画素配置とされ、
出力プログレッシブ画像信号の第１フィールド内の各画素に対する、入力インタ−レス画像信号の第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、出力プログレッシブ画像信号の第２フィールド内の各画素に対する、入力インタ−レス画像信号の第２フィールド内の複数の画素のそれぞれの垂直方向の距離関係とが一定の画素配置とされ、
第１の変換が行われる場合には、入力インタ−レス画像信号の画素と出力インタ−レス画像信号画素との距離関係をフィールド毎に切り替える垂直反転処理を行い、第２の変換が行われる場合には、垂直反転処理を行わないフィールド毎垂直反転ステップと、
フィールド毎垂直反転ステップ後に得られる出力画像から注目画素周辺の複数の画素データを切り出す第１の画像切り出しステップと、
第１の画像切り出しステップによって切り出される画像データと、該切り出された画像データより１フレーム前の第１の画像切り出し手段によって切り出された画像データとから求められた動きベクトルを表す動きクラスを決定する動きクラス検出ステップと、
フィールド毎垂直反転ステップ後に得られる出力画像から注目画素周辺の複数の画素データを切り出す第２の画像切り出しステップと、
第２の画像切り出しステップによって切り出される画像データのレベル分布のパターンを検出し、検出されるパターンに基づいて画像データが属する空間クラスを決定する空間クラス検出ステップと、
動きクラス検出ステップの結果と、空間クラス検出ステップの結果とを合成してクラスを決定するクラスコード発生ステップと、
クラスコード発生ステップの結果に対応して予め決定され、出力画像信号を推定するための予測係数データを記憶する記憶ステップと、
フィールド毎垂直反転ステップ後に得られる出力画像から注目画素周辺の複数の画素データを切り出す第３の画像切り出しステップと、
クラスコード発生ステップの結果に従って、記憶ステップから選択される複数の予測係数データと、第３の画像切り出しステップによって得られる複数の画素データとが距離関係が同一となる複数の画素に対して乗じられる予測係数データが同一となるように、積和演算することによって、注目画素に対する画素を予測生成する演算処理ステップと
を有し、
予測係数データは、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス毎に予め学習によって求められて記憶手段に記憶される
ことを特徴とする画像情報変換方法である。
【００２１】
以上のような発明によれば、入力画像信号と出力画像信号との種類に応じて、フィールド毎の垂直反転がなされた、あるいはなされない入力画像信号が画像情報変換処理の対象とされる。
【００２２】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。なお、入力画像信号としてのＳＤ信号／出力画像信号としてのＨＤ信号との組合わせとして、例えば５２５ｉ信号（走査線数が５２５本のインターレス信号）／５２５ｐ信号（走査線数が５２５本のプログレッシブ信号）と、５２５ｉ信号／１０５０ｉ信号（走査線数が１０５０本のインターレス信号）との両方を行う場合等に、この発明を適用することができる。
【００２３】
ここで、入力画像信号としてのＳＤ画像信号と、出力画像信号としてのＨＤ画像信号とにおける画素の位置関係を図１、図２に示す。ここで、大きなドットがＳＤ画素を示し、また、小さなドットがＨＤ画素を示す。図１、図２の何れにおいてもＳＤ画像信号は５２５ｉ信号である。そして、図１は、ＨＤ画像信号が１０５０ｉ信号である場合を示す。また、図２は、ＨＤ画像信号が５２５ｐ信号である場合を示す。
【００２４】
図１に示す、ＨＤ画像信号が１０５０ｉ信号である場合には、１つのフレーム内での第１フィールド（ｋ番目のフィールド）と、第２フィールド（ｋ＋１番目のフィールド）とにおいて、推定されるＨＤ画素と、その推定のために使用されるＳＤ画素との位相関係が垂直方向に反転する。すなわち、第１フィールドにおけるＨＤ画素ｙ１、第２フィールドにおけるＨＤ画素ｙ１’を３個のＳＤ画素Ｔ1 ，Ｔ2 ，Ｔ3 を使用して計算する場合には、ｙ１、ｙ１’がそれぞれ、式（２）、（３）に従って計算される。なお、ＨＤ画素の推定のために使用するＳＤ画素の数は３個より多くても良い。ここでは、説明を簡明なものとするために、３個のＳＤ画素を使用してＨＤ画素の推定を行う場合について示した。
【００２５】
ｙ１＝Ｔ1 ×ｋ1 ＋Ｔ2 ×ｋ2 ＋Ｔ3 ×ｋ3 （２）
ｙ１’＝Ｔ3 ×ｋ1 ＋Ｔ2 ×ｋ2 ＋Ｔ1 ×ｋ3 （３）
このように、ＨＤ画像信号が１０５０ｉ信号である場合には、１フレーム内の２個のフィールドについて、予測に使用されるＳＤ画素の垂直方向の位相が反転する。このため、入力するＳＤ画像信号をフィールド毎に反転してから画像情報変換処理を行う、または、推定のための演算を行う際に予測係数とＳＤ画素との対応をフィールド毎に入れ替える、等の方法によって、ＳＤ画像信号としての５２５ｉ信号を、出力画像信号としての１０５０ｉ信号に変換することができる。
【００２６】
一方、図２に示す、ＨＤ画像信号が５２５ｐ信号である場合には、１つのフレーム内での第１フィールド（ｋ−１番目のフィールド）と、第２フィールド（ｋ番目のフィールド）とにおいて、推定されるＨＤ画素と、その推定のために使用されるＳＤ画素との位相関係は同一となる。このため、入力するＳＤ画像信号をフィールド毎に反転する等の処理は不必要である。
【００２７】
そこで、この発明は、出力すべきＨＤ画像信号の種類に応じて、入力するＳＤ画像信号を反転するようにしたものである。図３は、この発明の一実施形態の全体的な構成を示すブロック図である。入力端子１を介してＳＤ画像信号としての例えば５２５ｉ信号がフィールド毎データ垂直反転回路１３に供給される。フィールド毎データ垂直反転回路１３は、必要に応じて、供給されるＳＤ画像信号に垂直反転処理を施す。
【００２８】
ここで、上述したように、垂直反転処理を行うか否かはＨＤ画像信号の種類に応じて決まる。フィールド毎データ垂直反転回路１３の出力が領域切り出し部４および７、並びに遅延回路１２に供給される。領域切り出し部４は、動きクラスの決定に必要とされる画素をＳＤ画像信号から切り出し、切り出した画素を動きクラス決定回路５に供給する。動きクラス決定回路５は、ブロックマッチング法等の方法によって動き量を検出する。
【００２９】
ここで、動きクラスの検出のために領域切り出し部４によって切り出される画素配置の一例を図４に示す。生成すべきＨＤ画素値ｙ１，ｙ２に対してｎ１，ｎ２，ｎ３，ｎ４，ｎ５、およびｎ１〜ｎ５に対して水平方向に左右２画素の位置にある全体で５×５の（計２５画素からなる）ブロック（以下、ブロック１と表記する）が切り出される。また、ｍ１，ｍ２，ｍ３，ｍ４，ｍ５、およびｍ１〜ｍ５に対して水平方向に左右２画素の位置を成す全体で５×５の（計２５画素からなる）ブロック（以下、ブロック１と表記する）が切り出される。さらに、かかる２５画素を所定のサーチ範囲内で１画素ずつオフセットを有するブロックデータが切り出される。
【００３０】
そして、動きクラス決定回路５は、以下の式（４）に従って動きクラスｍｖ＿ｃｌａｓｓを計算する。
【００３１】
【００３２】
例えば、動き量のサーチ範囲が（±８，±８）であり、検出された動き量が（＋３，−２）である場合には、動きクラスｍｖ＿ｃｌｓは、次のように計算される。
【００３３】
ｍｖ＿ｃｌｓ＝（３＋８）×（８×２＋１）＋（（−２）＋８）＝１９３
なお、動き検出方法は、ブロックマッチング法以外の方法、例えば勾配法、位相相関法等によって行うようにしても良い。このようにして決定される動きクラスが図３中のクラスコード発生回路６に供給される。
【００３４】
一方、領域切り出し回路２には、遅延回路１２の出力、すなわち遅延させられたＳＤ画像信号が供給される。領域切り出し回路２は、空間クラスの決定に必要とされる画素をＳＤ画像信号から切り出し、切り出した画素をＡＤＲＣ回路３に供給する。領域切り出し回路２が切り出すＳＤ画素配置の一例を図５に示す。なお、遅延回路１２は、領域切り出し回路２に対する入力のタイミングを補償するためのものである。
【００３５】
ＡＤＲＣ回路３は、空間内クラス分類、すなわち供給されるＳＤ画像信号の空間内波形の少ないビット数によるパターン化を主たる目的として、領域切り出し回路２の出力を例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮する演算を行う。ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の一実施形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の式（５）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００３６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （５）
但し、｛ ｝は切り捨て処理を意味する。
【００３７】
この発明の一実施形態において、ＡＤＲＣ回路３は、領域切り出し回路２によって分離された例えば５画素のＳＤデータを各２ビットに圧縮するものとする。以下、圧縮されたＳＤデータをそれぞれｑ1 〜ｑ5 と表記する。これらのパターン圧縮データがクラスコード発生回路６に供給される。
【００３８】
一方、領域切り出し回路７は、フィールド毎データ垂直反転回路１３の出力から推定演算に使用する画素を切り出す。切り出される画素配置の一例を図６に示す。この一例では１７個の画素ｘ1 〜ｘ17が切り出される。領域切り出し回路７の出力は、遅延回路８を介して推定演算回路１０に供給される。遅延回路８は、領域切り出し回路７の出力に、推定演算回路１０における処理のタイミングを合わせるために必要な遅延を施す。
【００３９】
一方、クラスコード発生回路６は、ＡＤＲＣ回路３から供給される空間クラスと、動きクラス決定回路５から供給される動きクラスに基づいて以下の式（６）に従う演算を行う。かかる演算により、各ブロックについて、各々が属するクラスを検出する。そして、検出したクラスを示すクラスコードｃｌａｓｓをメモリ９に供給する。
【００４０】
【数１】
ここで、ｎ，ｐの値として、例えばｎ＝５，ｐ＝２が使用される。
【００４２】
メモリ９には、ＳＤ画素に対応するＨＤ画素を算出するための係数データが各クラス毎に記憶されている。かかる係数データは、ＳＤ画像信号を、より高い解像度を有するＨＤ画像信号に変換するための情報である。メモリ９は、クラスコード発生回路６から供給されるクラスコードｃｌａｓｓを読出しアドレスとして、そのクラスについての係数データであるｗi （ｃｌａｓｓ）を出力する。メモリ９から出力される係数データは、推定演算回路１０に供給される。なお、メモリ９に記憶されている係数データの学習による作成方法については後述する。
【００４３】
推定演算回路１０は、遅延回路８を介して供給される領域切り出し回路７の出力と、メモリ９から供給される係数データとに基づく演算により、入力されるＳＤ画素に対応するＨＤ画素を生成する。
【００４４】
より具体的には、領域切り出し回路７によって切り出される例えば１７個のＳＤ画素ｘ1 〜ｘ17と、メモリ９から供給される係数データｗi （ｃｌａｓｓ）とに基づいて以下の式（５）に従う演算を行うことによって，ＳＤ画素に対応するＨＤ画素を算出する。但し、上述したように係数データがモード１とモード２とに対して独立に用意されているので、モード１を行う際にはブロック１についての係数データが使用され、また、モード２を行う際にはブロック２についての係数データが使用される。
【００４５】
ｈｄ’＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋ｗ3 ×ｘ3 ＋・・・＋ｗ17×ｘ17 （７）
このようにして作成されるＨＤ画素データが水平補間フィルタ１１に供給される。水平補間フィルタ１１としては、従来から使用されているものと同様なものを用いることができる。すなわち、水平補間フィルタ１１供給される信号に補間処理を施すことによって水平方向の画素数を２倍とする。水平補間フィルタ１１の出力は、出力端子１２を介して出力される。かかる出力は、例えばＨＤテレビジョン受像機やＨＤビデオテープレコーダ装置等に供給される。
【００４６】
次に、メモリ９に記憶される係数データの作成について図７を参照して説明する。かかる係数データを学習によって得るために、既知のＨＤ画像信号に対応する、当該ＨＤ画像信号の１／４の画素数を有するＳＤ画像信号をまず形成する。具体的には、垂直間引きフィルタ２２によってフィールド内の垂直方向の周波数が１／２になるように間引き処理を行う。さらに、水平間引きフィルタ２３によってフィールド内の水平方向の周波数が１／２になるように間引き処理を行う。水平間引きフィルタ２３の出力として、入力端子２１を介して供給されるＨＤ画像信号の１／４の画素数を有するＳＤ画像信号が得られる。水平間引きフィルタ２３の出力は、領域切り出し回路２４および２６、並びに遅延回路３４に供給される。
【００４７】
領域切り出し回路２６は、領域切り出し回路４と同様に、供給されるＳＤ画像信号から動きクラス分類のために必要なデータを切り出し、切り出したデータを動きクラス決定回路２７に供給する。動きクラス決定回路２７は、動きクラス決定回路５と同様に、動きクラスを決定し、決定した動きクラスを、領域切り出し回路２４と、クラスコード発生回路２８とに供給する。
【００４８】
領域切り出し回路２４には、さらに、遅延回路３４の出力、すなわち遅延させられたＳＤ画像信号が供給される。領域切り出し回路２４は、空間クラスの決定に必要とされる画素をＳＤ画像信号から切り出し、切り出した画素をＡＤＲＣ回路２５に供給する。なお、遅延回路３４は、動きクラス決定回路２７の動作に要する時間等に起因して、動きクラスが領域切り出し回路２４に供給されるタイミングと、水平間引きフィルタ２３が出力するＳＤ画像信号が領域切り出し回路２４に供給されるタイミングとがずれることに対処するために設けられている。
【００４９】
ＡＤＲＣ回路２５は、供給されるＳＤ画像信号の１次元的、または２次元的なレベル分布のパターンを検出すると共に、領域切り出し回路２５の出力を例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮する演算を行う。そして、かかる演算によって生成されるパターン圧縮データをクラスコード発生回路２８に供給する。クラスコード発生回路２８は、クラスコード発生回路６と同様なものである。すなわち、クラスコード発生回路２８は、供給されるパターン圧縮データ（空間クラス）と、動きクラス決定回路２７から供給される動きクラスとに基づく演算を行って各ブロックが属するクラスを検出し、そのクラスを示すクラスコードを正規方程式加算回路３１に供給する。
【００５０】
一方、領域切り出し回路２９は、領域切り出し回路８と同様なものであり、水平間引きフィルタ２３から出力されるＳＤ画像信号から、生成すべき画素を得るための推定演算において使用するＳＤ画素を切り出す。領域切り出し回路２９の出力は、遅延回路３０を介して正規方程式加算回路３１に供給される。なお、遅延回路３０は、領域切り出し回路２９の出力に対し正規方程式加算回路３１における処理のタイミングを合わせるために必要な遅延を施す。
【００５１】
ここで、正規方程式加算回路３１の説明のために、複数個のＳＤ画素からＨＤ画素への変換を行う際に使用される予測式の学習と、その予測式を用いた信号変換について説明する。以下の説明は、ｎ画素を用いて予測を行う、一般的な場合についてのものである。ｎ個のＳＤ画素レベルをｘ1 ，ｘ2 ，ｘ3 ，・・・，ｘn と表記し、それらにｐビットＡＤＲＣを行った結果の再量子化データをそれぞれ、ｑ1 ，ｑ2 ，ｑ3 ，・・・，ｑn と表記する。さらに、ｎ個のＳＤ画素レベルをｘ1 〜ｘn を含む領域のクラスｃｌａｓｓを、上述の式（６）で定義する。
【００５２】
そして、各クラスについて学習によって決められる係数ｗ1 ，・・・ｗn によるｎタップの線形推定式（以下の式（８））を設定する。ここで、係数ｗ1 ，・・・ｗn は、学習によって決められるものであり、学習前には未定係数である。
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （８）
学習は、クラス毎に複数の画像信号データ（トレーニングデータと称する）に対して行う。トレーニングデータの総数をｍと表記する場合、式（１）に従って、以下の式（７）が設定される。
【００５３】
ｙ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （９）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（１０）で定義し、さらに、式（１１）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００５４】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （１０）
（ｋ＝１，２，‥‥ｍ）
【００５５】
【数２】
式（１１）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（１２））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００５７】
【数３】
式（１２）から各予測係数ｗi を定める具体的な手順について説明する。式（１３）、（１４）のようにＸji，Ｙi を定義すると、式（１２）は、式（１５）の行列式の形に書くことができる。
【００５９】
【数４】
【数５】
【数６】
式（１５）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２７は、クラスコード発生回路２８から供給されたクラスコード、領域切り出し回路３０から供給されるＳＤ画素データｘ1 ，ｘ2 ，ｘ3 ，・・・，ｘn 、およびトレーニングデータとしての、入力端子２１を介して入力するＨＤ画素レベルｙに基づいて、正規方程式の加算を行い、式（１３）、（１４）に従うＸji，Ｙi の値を算出する。
【００６３】
そして、全てのトレーニングデータの入力が終了した後、正規方程式加算回路３１は、正規方程式データを予測係数決定回路３２に供給する。予測係数決定回路３２は、供給される正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。そして、算出した予測係数ｗi をメモリ３３に供給する。メモリ３３は、供給される予測係数ｗi をクラス毎に記憶する。
【００６４】
以上のような学習により、メモリ３３には、クラス毎にＨＤ画素データｙを推定する際に、統計的に最も真値に近い推定を可能とする予測係数が記憶される。メモリ３３に記憶された係数データが図３中のメモリ９にロードされ、上述したように、画像情報変換処理において使用される。上述したように、かかる係数データは、ＨＤ画像信号が１０５０ｉである場合と５２５ｐ信号である場合との両方において使用される。
【００６５】
上述したこの発明の一実施形態では、入力するＳＤ画像信号としての５２５ｉ信号から、ＨＤ画像信号としての１０５０ｉ信号と、５２５ｐ信号との両方を出力するようにしたものであるが、ＳＤ画像信号とＨＤ画像信号との組合わせは、これに限定されるものではない。画像情報変換処理に先立ってＳＤ画像信号を反転する処理を行うか否かを切替えることによって生成できる２種類以上のＨＤ画像信号を出力する装置に対して、この発明を適用することができる。
【００６６】
【発明の効果】
上述したように、この発明は、画像情報変換処理に先立ってＳＤ画像信号を反転する処理を行うか否かを切替えることにより、同一の係数データを用いて２種類以上のＨＤ画像信号を生成するようにしたものである。
【００６７】
このため、２種類以上のＨＤ画像信号を生成するために別個の係数データを記憶しておく必要が無い。従って、２種類以上のＨＤ画像信号を生成する場合にも、係数データを記憶するためのメモリの容量を増大させる必要が無いので、メモリの大規模化を回避することができる。
【００６８】
従って、２種類以上のＨＤ画像信号を生成する機能を有する装置を、回路規模およびコストの増大を伴わずに、若しくはその程度を最小限として、実現することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態における画素の配置の一例を示す略線図である。
【図２】この発明の一実施形態における画素の配置の他の例を示す略線図である。
【図３】この発明の一実施形態の全体的な構成の一例を示すブロック図である。
【図４】この発明の一実施形態において動きクラスを検出するための画素配置の一例を示す略線図である。
【図５】この発明の一実施形態において空間クラスを検出するための画素配置の一例を示す略線図である。
【図６】この発明の一実施形態において出力画像信号中の画素の推定に使用される画素の配置の一例を示す略線図である。
【図７】この発明の一実施形態における予測係数算出処理系の構成の一例を示すブロック図である。
【図８】従来の画像情報変換処理について説明するためのブロック図である。
【図９】従来の画像情報変換処理についてより詳細に説明するためのブロック図である。
【図１０】従来の画像情報変換処理において動きクラスを検出するための画素配置の一例を示す略線図である。
【図１１】従来の画像情報変換処理において空間クラスを検出するための画素配置の一例を示す略線図である。
【図１２】従来の画像情報変換処理において出力画像信号中の画素の推定に使用される画素の配置の一例を示す略線図である。
【符号の説明】
１３・・・フィールド毎データ垂直反転回路
Claims (2)
- 走査線数がｎ本の入力インターレス画像信号から走査線数がほぼ２ｎ本の出力インターレス画像信号を形成する第１の変換と、走査線数がｎ本の入力インターレス画像信号から走査線数がｎ本の出力プログレッシブ画像信号を形成する第２の変換とを選択的に行うことが可能とされている画像情報変換装置において、
上記出力インタ−レス画像信号の第１フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、上記出力インタ−レス画像信号の第２フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第２フィールド内の上記複数の画素のそれぞれの垂直方向の距離関係とが入れ替わる画素配置とされ、
上記出力プログレッシブ画像信号の第１フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、上記出力プログレッシブ画像信号の第２フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第２フィールド内の上記複数の画素のそれぞれの垂直方向の距離関係とが一定の画素配置とされ、
上記第１の変換が行われる場合には、上記入力インタ−レス画像信号の画素と上記出力インタ−レス画像信号画素との上記距離関係をフィールド毎に切り替える垂直反転処理を行い、上記第２の変換が行われる場合には、上記垂直反転処理を行わないフィールド毎垂直反転手段と、
上記フィールド毎垂直反転手段からの出力画像から処理対象の注目画素周辺の複数の画素データを切り出す第１の画像切り出し手段と、
上記第１の画像切り出し手段によって切り出される画像データと、該切り出された画像データより１フレーム前の上記第１の画像切り出し手段によって切り出された画像データとから求められた動きベクトルを表す動きクラスを決定し、決定される動きクラスに係る情報を出力する動きクラス検出手段と、
上記フィールド毎垂直反転手段からの出力画像から上記注目画素周辺の複数の画素データを切り出す第２の画像切り出し手段と、
上記第２の画像切り出し手段によって切り出される画像データのレベル分布のパターンを検出し、検出されるパターンに基づいて上記画像データが属する空間クラスを決定し、決定される空間クラスに係る情報を出力する空間クラス検出手段と、
上記動きクラス検出手段の出力と、上記空間クラス検出手段の出力とを合成してクラスを決定するクラスコード発生手段と、
上記クラスコード発生手段の出力に対応して予め決定され、出力画像信号を推定するための予測係数データを記憶する記憶手段と、
上記フィールド毎垂直反転手段からの出力画像から上記注目画素周辺の複数の画素データを切り出す第３の画像切り出し手段と、
上記クラスコード発生手段の出力に従って、上記記憶手段から選択される複数の予測係数データと、上記第３の画像切り出し手段によって得られる複数の画素データとが上記距離関係が同一となる上記複数の画素に対して乗じられる上記予測係数データが同一となるように、積和演算することによって、上記注目画素に対する画素を予測生成する演算処理手段と
を有し、
上記予測係数データは、上記積和演算によって、出力画像信号の画素を生成した時に、生成された値と上記画素の真値との誤差を最小とするように、上記クラス毎に予め学習によって求められて上記記憶手段に記憶される
ことを特徴とする画像情報変換装置。 - 走査線数がｎ本の入力インターレス画像信号から走査線数がほぼ２ｎ本の出力インターレス画像信号を形成する第１の変換と、走査線数がｎ本の入力インターレス画像信号から走査線数がｎ本の出力プログレッシブ画像信号を形成する第２の変換とを選択的に行うことが可能とされている画像情報変換方法において、
上記出力インタ−レス画像信号の第１フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、上記出力インタ−レス画像信号の第２フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第２フィールド内の上記複数の画素のそれぞれの垂直方向の距離関係とが入れ替わる画素配置とされ、
上記出力プログレッシブ画像信号の第１フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第１フィールド内の複数の画素のそれぞれの垂直方向の距離関係と、上記出力プログレッシブ画像信号の第２フィールド内の各画素に対する、上記入力インタ−レス画像信号の上記第２フィールド内の上記複数の画素のそれぞれの垂直方向の距離関係とが一定の画素配置とされ、
上記第１の変換が行われる場合には、上記入力インタ−レス画像信号の画素と上記出力インタ−レス画像信号画素との上記距離関係をフィールド毎に切り替える垂直反転処理を行い、上記第２の変換が行われる場合には、上記垂直反転処理を行わないフィールド毎垂直反転ステップと、
上記フィールド毎垂直反転ステップ後に得られる出力画像から上記注目画素周辺の複数の画素データを切り出す第１の画像切り出しステップと、
上記第１の画像切り出しステップによって切り出される画像データと、該切り出された画像データより１フレーム前の上記第１の画像切り出し手段によって切り出された画像データとから求められた動きベクトルを表す動きクラスを決定する動きクラス検出ステップと、
上記フィールド毎垂直反転ステップ後に得られる出力画像から上記注目画素周辺の複数の画素データを切り出す第２の画像切り出しステップと、
上記第２の画像切り出しステップによって切り出される画像データのレベル分布のパターンを検出し、検出されるパターンに基づいて上記画像データが属する空間クラスを決定する空間クラス検出ステップと、
上記動きクラス検出ステップの結果と、上記空間クラス検出ステップの結果とを合成してクラスを決定するクラスコード発生ステップと、
上記クラスコード発生ステップの結果に対応して予め決定され、出力画像信号を推定するための予測係数データを記憶する記憶ステップと、
上記フィールド毎垂直反転ステップ後に得られる出力画像から上記注目画素周辺の複数の画素データを切り出す第３の画像切り出しステップと、
上記クラスコード発生ステップの結果に従って、上記記憶ステップから選択される複数の予測係数データと、上記第３の画像切り出しステップによって得られる複数の画素データとが上記距離関係が同一となる上記複数の画素に対して乗じられる上記予測係数データが同一となるように、積和演算することによって、上記注目画素に対する画素を予測生成する演算処理ステップと
を有し、
上記予測係数データは、上記積和演算によって、出力画像信号の画素を生成した時に、生成された値と上記画素の真値との誤差を最小とするように、上記クラス毎に予め学習によって求められて上記記憶手段に記憶される
ことを特徴とする画像情報変換方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26062698A JP4140091B2 (ja) | 1998-09-14 | 1998-09-14 | 画像情報変換装置および画像情報変換方法 |
| US09/395,010 US6433828B1 (en) | 1998-09-14 | 1999-09-13 | Picture conversion using field-by-field vertical inversion dependent upon the type of picture signal to be outputted |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26062698A JP4140091B2 (ja) | 1998-09-14 | 1998-09-14 | 画像情報変換装置および画像情報変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000092455A JP2000092455A (ja) | 2000-03-31 |
| JP4140091B2 true JP4140091B2 (ja) | 2008-08-27 |
Family
ID=17350544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26062698A Expired - Fee Related JP4140091B2 (ja) | 1998-09-14 | 1998-09-14 | 画像情報変換装置および画像情報変換方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6433828B1 (ja) |
| JP (1) | JP4140091B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100730499B1 (ko) * | 1999-04-23 | 2007-06-22 | 소니 가부시끼 가이샤 | 화상 변환 장치 및 방법 |
| JP2001086516A (ja) * | 1999-09-10 | 2001-03-30 | Sony Corp | 撮像装置 |
| US6987539B2 (en) * | 2000-02-24 | 2006-01-17 | Sony Corporation | Image signal conversion apparatus, method and display for image signal conversion based on selected pixel data |
| JP4055203B2 (ja) * | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
| US7701509B2 (en) * | 2006-04-25 | 2010-04-20 | Nokia Corporation | Motion compensated video spatial up-conversion |
| CN113346785B (zh) * | 2021-04-30 | 2022-05-31 | 云南电网有限责任公司楚雄供电局 | 一种逆变器自适应误差补偿控制系统及方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2830111B2 (ja) | 1989-07-21 | 1998-12-02 | ソニー株式会社 | 高能率符号化装置 |
| JP3271108B2 (ja) * | 1993-12-03 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の処理装置および方法 |
| JP3845870B2 (ja) | 1994-09-09 | 2006-11-15 | ソニー株式会社 | ディジタル信号処理用集積回路 |
| KR0147209B1 (ko) * | 1994-10-20 | 1998-09-15 | 이헌조 | 에이치디티브이의 영상 포맷 변환장치 |
| JP3319667B2 (ja) * | 1994-12-20 | 2002-09-03 | 松下電器産業株式会社 | 映像フォーマット変換装置 |
| GB2307128B (en) * | 1995-11-09 | 2000-01-26 | Sony Uk Ltd | Controlling video down-conversion |
| US6057885A (en) * | 1996-05-30 | 2000-05-02 | Sony Corporation | Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof |
| US6115073A (en) * | 1996-12-11 | 2000-09-05 | Sony Corporation | Signal converting apparatus and method using a class decision circuit |
-
1998
- 1998-09-14 JP JP26062698A patent/JP4140091B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-13 US US09/395,010 patent/US6433828B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000092455A (ja) | 2000-03-31 |
| US6433828B1 (en) | 2002-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP2000078539A (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JPH0785287A (ja) | 予測符号化装置およびその復号装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |