JP4171958B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4171958B2 JP4171958B2 JP2000090728A JP2000090728A JP4171958B2 JP 4171958 B2 JP4171958 B2 JP 4171958B2 JP 2000090728 A JP2000090728 A JP 2000090728A JP 2000090728 A JP2000090728 A JP 2000090728A JP 4171958 B2 JP4171958 B2 JP 4171958B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- class
- prediction
- classification
- tap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び画像処理方法に関し、例えば画像データの画質を改善する画像データ変換装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、画像データの圧縮符号化方式としてＭＰＥＧ（Moving Picture Experts Group）２規格による符号化方式がある。このＭＰＥＧ２規格による符号化方式を用いた送受信システムは、送信側で、画像データに対してＭＰＥＧ２規格による圧縮符号化処理を施して送信し、受信側で、受信した画像データを伸長復号化することにより元の画像データを復元している。
【０００３】
【発明が解決しようとする課題】
ところでこのような送受信システムの受信装置においては、伸長復号化された標準精細度の画像データをその各画素の信号レベル分布に応じたクラスに分類した後、予測係数と呼ばれるデータが予め格納されているメモリからそのクラスに対応する予測係数を読み出し、当該予測係数と伸長復号化された標準精細度の画像データとから高精細度の画像データを予測演算するいわゆるクラス分類適応処理を用いたアップコンバータが考えられている。
【０００４】
一般に、ＭＰＥＧ２規格によって圧縮符号化された画像データは、Ｉピクチャ(Intra coded picture) と、Ｐピクチャ(Predictive coded picture)と、Ｂピクチャ(Bidirectionally predictive coded picture)とから形成されている。Ｉピクチャは、フレーム内符号化を施し、そのフレーム画像内の情報だけを符号化して生成されたものである。Ｐピクチャは、そのフレーム画像よりも過去のＩピクチャ又はＰピクチャから予測符号化して生成されたものである。Ｂピクチャは、そのフレーム画像よりも過去及び又は未来のＰピクチャ又はＩピクチャの双方から予測符号化して生成されたものである。
【０００５】
このようにＭＰＥＧ２規格による符号化方式を用いた送受信システムでは、フレーム毎に異なる圧縮符号化処理が行われていることから、圧縮符号化された画像データを伸長復号化しても、フレーム画像に対して施された符号化処理に応じてその再現率が異なり、フレーム毎に精細度の異なる画像データが生成されることになる。
【０００６】
上述のアップコンバータでは、伸長復号化された画像データに対して全て同様のクラス分類適応処理を施しているが、フレーム毎に画像の再現率すなわち精細度が異なることから、予測演算された画像データに時間方向の歪みや表示画面上のちらつきいわゆるフリッカが生じてしまい、画質の改善を妨げる問題が生じることになる。
【０００７】
本発明は以上の点を考慮してなされたもので、従来に比して一段と画質を向上し得る画像処理装置及び画像処理方法を提案しようとするものである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、ＭＰＥＧ規格に準じて符号化された第１の画像データを当該ＭＰＥＧ規格に準じて復号するとともに、当該第１の画像データから、画像単位で異なるピクチャタイプの種類の変化を示す変化情報と、当該第１の画像データを復号する際に必要で復号後の画質に係る付加情報とを検出する復号手段と、復号手段により検出された変化情報及び付加情報を表す分類コードを出力する分類コード出力手段と、復号手段により復号された第１の画像データから、当該第１の画像データをもとに当該第１の画像データよりも高精細度の第２の画像データを生成するうえで注目する注目画素と当該注目画素周辺の所定数の画素とをクラス分類用のクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ抽出手段により抽出されたクラスタップの信号レベル分布と分類コード出力手段から出力された分類コードとをもとに、第１の画像データを、クラスタップの信号レベル分布、変化情報及び付加情報を表すクラスに分類するクラス分類手段と、あらかじめ学習によりクラス分類手段において分類されたクラス毎に求めた、第１の画像データから第２の画像データを予測生成するための予測係数を記憶し、クラス分類手段により分類されたクラスに応じて予測係数を出力する予測係数記憶手段と、復号手段により復号された第１の画像データから、注目画素と当該注目画素周辺の所定数の画素とを、当該第１の画像データには含まれない第２の画像データの画素を予測生成するための予測タップとして抽出する予測タップ抽出手段と、予測タップ抽出手段により抽出された予測タップに対して、予測係数記憶手段から出力された予測係数を用いた予測演算を実行して当該第１の画像データには含まれない第２の画像データの画素を推定することで、当該第２の画像データを生成する予測演算手段とを設けるようにした。
【０００９】
このように、クラスタップの信号レベル分布にくわえて、さらにＭＰＥＧ規格に基づく、ピクチャタイプの種類の変化を示す変化情報と復号後の画質に係ってくる付加情報とをもとに、第１の画像データをクラス分類するようにしたことにより、ＭＰＥＧ規格に準じた第１の画像データから高精細度の第２の画像データを生成するうえで、クラスタップの信号レベルのみを用いてクラス分類する場合と比して、一段とＭＰＥＧ規格に適したクラス分類を行うことができる。この結果、時間方向の歪みやフリッカを低減させたより高画質の第２の画像データを生成することができる。
【００１０】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１１】
（１）クラス分類適応処理の原理
ここで図１は、クラス分類適応処理を実現するアップコンバータ５１の回路構成を示す。アップコンバータ５１は、外部から供給される例えば８ビットのパルス符号変調（ＰＣＭ：Pulse Code Modulation ）データでなるＳＤ画像データＳ５１をクラス分類部５２及び予測演算部５３に入力する。クラス分類部５２は、例えば図２に示すように、ＳＤ画像データＳ５１のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップと呼ぶ）として設定し、それらの信号レベル分布に基づいてクラスコードＳ５２を生成する。因みに、図中実線は第１フィールドを示し、点線は第２フィールドを示す。
【００１２】
このクラス分類部５２によってクラスコードＳ５２を生成する方法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range Coding ）等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちＰＣＭデータをそのままクラスコードＳ５２とする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ用いることから、クラス数が２56という膨大な数のクラス数に分類されることになり、実用上問題がある。
【００１３】
そこで実際には、クラス分類部５２は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。このＡＤＲＣによる分類法は、注目画素を中心とする近傍領域内の数タップからＡＤＲＣコードを、次式
【００１４】
【数１】
【００１５】
によって求め、当該ＡＤＲＣコードに基づいてクラスコードＳ５２を生成する手法を用いている。ここで、ｃi はＡＤＲＣコード、ｘi は各クラスタップの入力画素値、ＭＩＮは領域内にある各クラスタップの入力画素値のうちの最小画素値、ＤＲは領域内のダイナミックレンジ（最大画素値と最小画素値との差分）、ｋは再量子化ビット数である。
【００１６】
すなわちＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の７タップにおいて各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００１７】
図１に戻って、予測係数ＲＯＭ（Read Only Memory）５４は、後述する学習回路６０によって予め生成された各クラス毎に対応する予測係数データＳ５３を格納しており、クラス分類部５２から供給されるクラスコードＳ５２に応じた予測係数データＳ５３を読み出し、これを予測演算部５３に送出する。予測演算部５３は、例えば図３に示すように、外部から入力されるＳＤ画像データＳ５１のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計１３タップを予測演算用の画素（以下、これを予測タップと呼ぶ）として選定し、当該予測タップの各画素値と予測係数データＳ５３とを用いて、線形一次結合でなる次式
【００１８】
【数２】
【００１９】
によって表される積和演算を行うことにより、予測タップには存在しないＨＤ画素の集まりであるＨＤ画像データＳ５４を生成し、これを外部に出力する。ここで、ｘ′は各ＨＤ画素値、ｘi は各予測タップの画素値、ｗi は予測係数、ｎは予測タップ数であり、この場合ｎは１３である。
【００２０】
ところで図４は、予測係数ＲＯＭ５４に格納されている予測係数データを生成する学習回路６０の回路構成を示し、当該学習回路６０は、予測係数データを予め生成して、これを予測係数ＲＯＭ５４に格納するようになされている。学習回路６０は、いわゆる教師信号としてのＨＤ画像データＳ６０を垂直間引きフィルタ６１及び予測係数算出回路６２に入力する。学習回路６０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１及び水平間引きフィルタ６２によって間引くことにより、生徒信号としてのＳＤ画像データＳ６１を生成し、これをクラス分類部６４及び予測係数算出回路６２に入力するようになされている。
【００２１】
クラス分類部６４は、図１に示すアップコンバータのクラス分類部５２と同様の構成でなり、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラスコードＳ６２を生成した後、これを予測係数算出回路６２に送出する。予測係数算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像データＳ６１を基に、クラスコードＳ６２が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データＳ６３を予測係数ＲＯＭ５４に格納する。
【００２２】
この場合、予測係数算出回路６２は、上述の（２）式における予測係数ｗを最小自乗法によって求めるようになされている。具体的には予測係数算出回路６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素値として、いわゆる観測方程式と呼ばれる次式
【００２３】
【数３】
【００２４】
を生成するように各データを収集する。ここでｍは予測するＨＤ画素の画素数を示す学習データ数、ｎは予測タップ数である。
【００２５】
次に予測係数算出回路６２は、この（３）式を基に、次式
【００２６】
【数４】
【００２７】
に示す残差方程式を立てる。従って各予測係数ｗi は、この（４）式から、次式
【００２８】
【数５】
【００２９】
が最小のときに最適な値となることがわかる。すなわち次式
【００３０】
【数６】
【００３１】
を満たすように予測係数ｗi が算出される。
【００３２】
そこで予測係数算出回路６２は、このｎ個ある（６）式を満たすようなｗ1 、ｗ2 、……、ｗn を算出すればよいことになり、上述の（４）式から、次式
【００３３】
【数７】
【００３４】
を得、これら（６）及び（７）式から、次式
【００３５】
【数８】
【００３６】
を求める。そして予測係数算出回路６２は、上述の（４）及び（８）式から、次式
【００３７】
【数９】
【００３８】
によって表される正規方程式を生成する。このようにして予測係数算出回路６２は、予測タップ数ｎと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法（Gauss Jordanの消去法）を用いてこの正規方程式を解くことにより、各予測係数ｗi を算出する。
【００３９】
以下、学習回路６０による予測係数生成手順について図５に示すフローチャートを用いて説明する。ステップＳＰ６１から入ったステップＳＰ６２において、学習回路６０は、教師信号としてのＨＤ画像データＳ６０から生徒信号としてのＳＤ画像データＳ６１を生成することにより、予測係数を生成するのに必要な学習データを生成する。ステップＳＰ６３において、学習回路６０は、予測係数を生成するのに必要十分な学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ６３において否定結果を得ることによりステップＳＰ６４に移行する。
【００４０】
ステップＳＰ６４において、学習回路６０は、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。ステップＳＰ６５において、学習回路６０は、各クラス毎に上述の（９）式でなる正規方程式を生成し、ステップＳＰ６２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
【００４１】
これに対してステップＳＰ６３において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路６０はステップＳＰ６６に移って、上述の（９）式でなる正規方程式を掃き出し法によって解くことにより、予測係数ｗ1 、ｗ2 、……、ｗn を各クラス毎に生成する。そしてステップＳＰ６７において、学習回路６０は、生成した各クラス毎の予測係数ｗ1 、ｗ2 、……、ｗn を予測係数ＲＯＭ５４に格納し、ステップＳＰ６８に移って処理を終了する。
【００４２】
（２）第１の実施の形態
図６において、１００は全体として図１〜図５について上述したクラス分類適応処理の原理を用いた第１の実施の形態のアップコンバータの構成を示す。アップコンバータ１００は、外部からＭＰＥＧ２方式を用いて圧縮符号化された符号化画像データＳ１００が供給されると、これをデコーダ１０１に入力する。デコード１０１は、この符号化画像データＳ１００を伸長復号化することにより画像データＳ１０１を復元し、これを領域切り出し部１０２及び１０３に送出する。その際、デコーダ１０１は、フレーム毎に異なるデコード情報、例えば図７（Ａ）に示すように、現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２を生成し、これを範囲切り出し部１０４に送出する。
【００４３】
範囲切り出し部１０４は、供給されたピクチャタイプパターンデータＳ１０２の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１０３を判定部１０５に送出する。判定部１０５は、図７（Ｂ）に示すように、この切り出されたピクチャタイプパターンデータＳ１０３をそのパターン列に応じた分類コードＳ１０４に変換し、これをクラスコード発生部１０６に送出する。
【００４４】
ところで領域切り出し部１０２は、画像データＳ１０１からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１１０を特徴量抽出部１１０に送出する。特徴量抽出部１１０は、クラスタップデータＳ１１０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１１１を生成し、これをクラスコード発生部１０６に送出する。
【００４５】
クラスコード発生部１０６は、上述の分類コードＳ１０４とＡＤＲＣコードＳ１１１とを合成することによりクラスコードＳ１１２を生成し、これをＲＯＭ１１１に送出する。ＲＯＭ１１１は、後述する学習回路によって予め生成されたクラス毎に対応する予測係数を格納しており、クラスコード発生部１０６から供給されるクラスコードＳ１１２に応じた予測係数データＳ１１３を読み出し、これを予測演算部１１２に送出する。
【００４６】
一方、領域切り出し部１０３は、画像データＳ１０１から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１１４を予測演算部１１２に送出する。予測演算部１１２は、予測係数データＳ１１３と予測タップデータＳ１１４との積和演算を施すことにより高精細度の画像データＳ１１５を生成し、これを外部に出力する。
【００４７】
続いて図８は、ＲＯＭ１１１（図６）に格納されている予測係数を生成する学習回路１２０の構成を示す。学習回路１２０は、教師画像として高精細度の画像データＳ１２０をエンコーダ１２１及び正規方程式演算部１２２に送出する。エンコーダ１２１は、画像データＳ１２０をＭＰＥＧ２方式を用いて圧縮符号化し、その結果得られる符号化画像データＳ１２１をデコーダ１２３に送出する。
【００４８】
デコーダ１２３は、アップコンバータ１００のデコーダ１０１（図６）と同様に構成されており、符号化画像データＳ１２１を伸長復号化することにより生徒画像としての標準精細度の画像データＳ１２２を生成し、これを領域切り出し部１２４及び１２５に送出する。その際、デコーダ１２３は、フレーム毎に異なるデコード情報、例えば現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１２３を生成し、これを範囲切り出し部１２６に送出する。
【００４９】
範囲切り出し部１２６は、アップコンバータ１００の範囲切り出し部１０４（図６）と同様に構成されており、供給されたピクチャタイプパターンデータＳ１２３の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１２４を判定部１２７に送出する。判定部１２７は、アップコンバータ１００の判定部１０５（図６）と同様に構成されており、この切り出されたピクチャタイプパターンデータＳ１２４をそのパターン列に応じた分類コードＳ１２５に変換し、これをクラスコード発生部１２８に送出する。
【００５０】
ところで領域切り出し部１２４は、アップコンバータ１００の領域切り出し部１０２（図６）と同様に構成されており、画像データＳ１２２からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１３０を特徴量抽出部１３０に送出する。特徴量抽出部１３０は、アップコンバータ１００の特徴量抽出部１１０（図６）と同様に構成されており、クラスタップデータＳ１３０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１３１を生成し、これをクラスコード発生部１２８に送出する。
【００５１】
クラスコード発生部１２８は、アップコンバータ１００のクラスコード発生部１０６（図６）と同様に構成されており、上述の分類コードＳ１２５とＡＤＲＣコードＳ１３１とを合成することによりクラスコードＳ１３２を生成し、これを正規方程式演算部１２２に送出する。
【００５２】
一方、領域切り出し部１２５は、アップコンバータ１００の領域切り出し部１０３（図６）と同様に構成されており、画像データＳ１２２から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１３３を正規方程式演算部１２２に送出する。正規方程式演算部１２２は、高精細度の画像データＳ１２０と予測タップデータＳ１３３とから、クラスコードＳ１３２毎に正規方程式を生成し、この正規方程式データＳ１３４を予測係数決定部１３１に送出する。
【００５３】
予測係数決定部１３１は、正規方程式データＳ１３４が必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより予測係数を算出し、その予測係数データＳ１３５をメモリ１３２に送出して当該メモリ１３２に格納する。その後、このメモリ１３２に格納されている予測係数は、図６に示すＲＯＭ１１１に書き込まれるようになされている。
【００５４】
以上の構成において、アップコンバータ１００は、符号化画像データＳ１００を伸長復号化して元の画像データＳ１０１を復元すると共に、当該符号化画像データＳ１００からピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２を生成し、当該ピクチャタイプパターンデータＳ１０２に応じたクラスコードＳ１１２を発生してクラス分類適応処理を施すことにより、高精細度の画像データＳ１１５を生成する。
【００５５】
このようにフレーム毎に変化するピクチャタイプに応じてクラス分類適応処理を施すことにより、全フレームに対して全て同様のクラス分類適応処理を施す場合に比して、画像の再現率すなわち精細度に応じたクラス分類適応処理が行われ、予測演算された画像データＳ１１５における各フレーム間の時間方向の歪みやフリッカが生じることが回避される。
【００５６】
以上の構成によれば、フレーム毎に異なる符号化及び復号化処理が行われたことに応じてクラス分類適応処理を施すことにより、全フレームに対して全て同様のクラス分類適応処理を施す場合に比して、時間方向の歪みやフリッカのない画像データＳ１１５を生成することができ、かくして従来に比して一段と画質の改善を行い得る。
【００５７】
（３）第２の実施の形態
図６との対応部分に同一符号を付して示す図９において、１４０は全体として第２の実施の形態のアップコンバータの構成を示し、領域切り出し部１４１及び１４２、判定部１４３並びにＲＯＭ１４４の構成を除いて、第１の実施の形態のアップコンバータ１００と同様に構成されている。
【００５８】
アップコンバータ１４０は、外部からＭＰＥＧ２方式を用いて圧縮符号化された符号化画像データＳ１４０が供給されると、これをデコーダ１０１に入力する。デコード１０１は、この符号化画像データＳ１４０を伸長復号化することにより画像データＳ１４１を復元し、これを領域切り出し部１４１及び１４２に送出する。その際、デコーダ１０１は、フレーム毎に異なるデコード情報、現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１４２を生成し、これを範囲切り出し部１０４に送出する。
【００５９】
範囲切り出し部１０４は、供給されたピクチャタイプパターンデータＳ１４２の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１４３を判定部１４３に送出する。判定部１４３は、この切り出されたピクチャタイプパターンデータＳ１４３をそのパターン列に応じた分類コードＳ１４４に変換し、これをクラスコード発生部１０６並びに領域切り出し部１４１及び１４２に送出する。
【００６０】
領域切り出し部１４１は、分類コードＳ１４４に応じて切り出す領域を切り換えながらクラスタップを抽出するようになされている。例えば図１０（Ａ）に示すように、領域切り出し部１４１は、分類コードＳ１４４が０であってかつ現フレームがＩピクチャの場合には、現フレームより過去のフレームは参照せずに、未来のフレームのみを参照することにより、Ｉ、Ｂ、Ｂ、Ｐピクチャの範囲からクラスタップを抽出する。また図１０（Ｂ）に示すように、領域切り出し部１４１は、分類コードＳ１４４が１であってかつ現フレームがＰピクチャの場合には、現フレームの過去及び未来のフレームを参照することにより、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐピクチャの範囲からクラスタップを抽出する。
【００６１】
このように領域切り出し部１４１は、現フレームと互いに参照関係にあるフレームを参照範囲として、当該参照範囲からクラスタップを抽出する。従って領域切り出し部１４１は、分類コードＳ１４４に応じて画像データＳ１４１からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１５０を特徴量抽出部１１０に送出する。特徴量抽出部１１０は、クラスタップデータＳ１５０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１５１を生成し、これをクラスコード発生部１０６に送出する。
【００６２】
クラスコード発生部１０６は、上述の分類コードＳ１４４とＡＤＲＣコードＳ１５１とを合成することによりクラスコードＳ１５２を生成し、これをＲＯＭ１４４に送出する。ＲＯＭ１４４は、後述する学習回路によって予め生成されたクラス毎に対応する予測係数を格納しており、クラスコード発生部１０６から供給されるクラスコードＳ１５２に応じた予測係数データＳ１５３を読み出し、これを予測演算部１１２に送出する。
【００６３】
一方、領域切り出し部１４２は、領域切り出し部１４１と同様に分類コードＳ１４４に応じて切り出す領域を切り換えながら画像データＳ１４１から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１５４を予測演算部１１２に送出する。予測演算部１１２は、予測係数データＳ１５３と予測タップデータＳ１５４との積和演算を施すことにより高精細度の画像データＳ１５５を生成し、これを外部に出力する。
【００６４】
続いて図８との対応部分に同一符号を付して示す図１１は、ＲＯＭ１４４（図９）に格納されている予測係数を生成する第２の実施の形態の学習回路１５０の構成を示し、領域切り出し部１５１及び１５２並びに判定部１５３の構成を除いて、第１の実施の形態の学習回路１２０と同様に構成されている。学習回路１５０は、教師画像として高精細度の画像データＳ１５０をエンコーダ１２１及び正規方程式演算部１２２に送出する。エンコーダ１２１は、画像データＳ１５０をＭＰＥＧ２方式を用いて圧縮符号化し、その結果得られる符号化画像データＳ１５１をデコーダ１２３に送出する。
【００６５】
デコーダ１２３は、アップコンバータ１４０のデコーダ１０１（図９）と同様に構成されており、符号化画像データＳ１５１を伸長復号化することにより生徒画像としての標準精細度の画像データＳ１５２を生成し、これを領域切り出し部１５１及び１５２に送出する。その際、デコーダ１２３は、フレーム毎に異なるデコード情報、例えば現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１５３を生成し、これを範囲切り出し部１２６に送出する。
【００６６】
範囲切り出し部１２６は、アップコンバータ１００の範囲切り出し部１０４（図９）と同様に構成されており、供給されたピクチャタイプパターンデータＳ１５３の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１５４を判定部１５３に送出する。判定部１５３は、アップコンバータ１４０の判定部１４３（図９）と同様に構成されており、この切り出されたピクチャタイプパターンデータＳ１５４をそのパターン列に応じた分類コードＳ１５５に変換し、これをクラスコード発生部１２８に送出する。
【００６７】
ところで領域切り出し部１５１は、アップコンバータ１４０の領域切り出し部１４１（図９）と同様に構成されており、分類コードＳ１５５に応じて切り出す領域を切り換えながら画像データＳ１５２からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１６０を特徴量抽出部１３０に送出する。特徴量抽出部１３０は、アップコンバータ１４０の特徴量抽出部１１０（図９）と同様に構成されており、クラスタップデータＳ１６０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１６１を生成し、これをクラスコード発生部１２８に送出する。
【００６８】
クラスコード発生部１２８は、アップコンバータ１４０のクラスコード発生部１０６（図９）と同様に構成されており、上述の分類コードＳ１５５とＡＤＲＣコードＳ１６１とを合成することによりクラスコードＳ１６２を生成し、これを正規方程式演算部１２２に送出する。
【００６９】
一方、領域切り出し部１５２は、アップコンバータ１４０の領域切り出し部１４２（図９）と同様に構成されており、分類コードＳ１５５に応じて切り出す領域を切り換えながら画像データＳ１５２から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１６３を正規方程式演算部１２２に送出する。正規方程式演算部１２２は、高精細度の画像データＳ１５０と予測タップデータＳ１６３とから、クラスコードＳ１６２毎に正規方程式を生成し、この正規方程式データＳ１６４を予測係数決定部１３１に送出する。
【００７０】
予測係数決定部１３１は、正規方程式データＳ１６４が必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより予測係数を算出し、その予測係数データＳ１６５をメモリ１３２に送出して当該メモリ１３２に格納する。その後、このメモリ１３２に格納されている予測係数は、図９に示すＲＯＭ１４４に書き込まれるようになされている。
【００７１】
以上の構成において、アップコンバータ１４０は、符号化画像データＳ１４０を伸長復号化して元の画像データＳ１４１を復元すると共に、当該符号化画像データＳ１４０からピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１４２を生成して、当該ピクチャタイプパターンデータＳ１４２に応じて切り出す領域を切り換えながらクラスタップ及び予測タップを抽出した上で、ピクチャタイプパターンデータＳ１４２に応じたクラスコードＳ１５２を発生してクラス分類適応処理を施すことにより、高精細度の画像データＳ１５５を生成する。
【００７２】
このようにフレーム毎に変化するピクチャタイプに応じたクラスコードＳ１５２を発生してクラス分類適応処理を施すことにより、全フレームに対して同様のクラス分類適応処理を施す場合に比して、画像の再現率すなわち精細度に応じたクラス分類適応処理が行われ、予測演算された画像データＳ１５５に各フレーム間の時間方向の歪みやフリッカが生じることが回避される。また、フレーム毎に変化するピクチャタイプに応じてクラスタップ及び予測タップを切り出す領域を切り換えることにより、第１の実施の形態によるアップコンバータ１００に比してさらに精細度の向上した画像データＳ１５５が生成される。
【００７３】
以上の構成によれば、フレーム毎に異なる符号化及び復号化処理が行われたことに応じてクラス分類適応処理を施すことにより、全フレームに対して同様のクラス分類適応処理を施す場合に比して、時間方向の歪みやフリッカのない画像データＳ１５５を生成することができ、かくして従来に比して一段と画質を向上し得る。
【００７４】
（４）他の実施の形態
なお上述の実施の形態においては、フレーム毎に異なるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２及びＳ１４２に応じてクラス分類適応処理を施して、各フレーム間における歪みを低減した場合について述べたが、本発明はこれに限らず、例えば符号化画像データＳ１００及びＳ１４０の付加情報Ｓ２００（図６、図９）としてＧＯＰ(Group of Pictures）層に存在するＣＧ(Closed GOP)情報（ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグ）を検出して、当該ＣＧ情報を参照しながらクラス分類適応処理を施すことにより、各ＧＯＰ間における歪みを低減させたり、又は、ピクチャ層に存在するＩＤＣ(Intra DC Precision)情報（ＤＣ係数の精度を示すフラグ）を検出して、当該ＩＤＣ情報を参照しながらクラス分類適応処理を施すことにより、レベル方向の歪みを低減させることも可能である。
【００７５】
また上述の第２の実施の形態においては、判定部１４３から供給される分類コードＳ１４４に応じて切り出す領域を切り換えながらクラスタップ及び予測タップを抽出した場合について述べたが、本発明はこれに限らず、ピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１４２に応じて切り出す領域を切り換えながらクラスタップ及び予測タップを抽出しても良い。
【００７６】
また上述の実施の形態においては、フレーム毎に異なるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２及びＳ１４２に応じたクラス分類適応処理を施す場合について述べたが、本発明はこれに限らず、例えばＧＯＰ内における各ピクチャタイプの配列情報に応じてクラス分類適応処理を施しても良い。
【００７７】
また上述の実施の形態においては、フレーム毎に異なるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２及びＳ１４２に応じたクラス分類適応処理を施す場合について述べたが、本発明はこれに限らず、例えばフィールド毎に変化する情報に応じてクラス分類適応処理を施しても良く、要は、所定の画像単位毎に異なるデータ処理の種類に応じてクラス分類適応処理を施すようにすれば良い。
【００７８】
また上述の実施の形態においては、データ処理種類抽出手段として、デコーダ１０１、領域切り出し部１０４、判定部１０５又は１４３を適用した場合について述べたが、本発明はこれに限らず、要は、データ処理の種類を所定の画像単位毎に抽出するデータ処理種類抽出手段であれば良い。
【００７９】
また上述の実施の形態においては、特徴量抽出手段として、領域切り出し部１０２又は１４１、特徴量抽出部１１０を適用した場合について述べたが、本発明はこれに限らず、要は、第１の画像データから第２の画像データの注目画素を基準とする複数の画素を選定してその特徴量を抽出する特徴量抽出手段であれば良い。
【００８０】
また上述の実施の形態においては、クラス決定手段として、クラスコード発生部１０６を適用した場合について述べたが、本発明はこれに限らず、要は、データ処理の種類及び特徴量から注目画素に対するクラスを決定するクラス決定手段であれば良い。
【００８１】
また上述の実施の形態においては、予測データ発生手段として、ＲＯＭ１１１又は１４４を適用した場合について述べたが、本発明はこれに限らず、要は、クラスに対応する予測データを発生する予測データ発生手段であれば良い。
【００８２】
さらに上述の実施の形態においては、画素データ発生手段として、領域切り出し部１０３又は１４２、予測演算部１１２を適用した場合について述べたが、本発明はこれに限らず、要は、予測データから第２の画像データの注目画素を発生する画素データ発生手段であれば良い。
【００８３】
【発明の効果】
上述のように本発明によれば、クラスタップの信号レベル分布にくわえて、さらにＭＰＥＧ規格に基づく、ピクチャタイプの種類の変化を示す変化情報と復号後の画質に係ってくる付加情報とをもとに、第１の画像データをクラス分類するようにしたことにより、ＭＰＥＧ規格に準じた第１の画像データから高精細度の第２の画像データを生成するうえで、クラスタップの信号レベルのみを用いてクラス分類する場合と比して、一段とＭＰＥＧ規格に適したクラス分類を行うことができる。この結果、時間方向の歪みやフリッカを低減させたより高画質の第２の画像データを生成することができ、かくして従来に比して一段と画質を向上し得る。
【図面の簡単な説明】
【図１】アップコンバータの構成を示すブロック図である。
【図２】クラスタップ配置例を示す略線図である。
【図３】予測タップ配置例を示す略線図である。
【図４】学習回路の構成を示すブロック図である。
【図５】予測係数生成手順を示すフローチャートである。
【図６】本発明によるアップコンバータの第１の実施の形態を示すブロック図である。
【図７】ピクチャタイプパターンの判定方法の説明に供する略線図である。
【図８】学習回路の構成を示すブロック図である。
【図９】本発明によるアップコンバータの第２の実施の形態を示すブロック図である。
【図１０】分類コードに応じた領域の切り出しの説明に供する略線図である。
【図１１】学習回路の構成を示すブロック図である。
【符号の説明】
１００、１４０……アップコンバータ、１０１、１２３……デコーダ、１０２、１０３、１２４、１２５、１４１、１４２、１５１、１５２……領域切り出し部、１０４、１２６、１５３……範囲切り出し部、１０５、１２７、１４３……判定部、１０６、１２８……クラスコード発生部、１１０、１３０……特徴量抽出部、１１１、１４４……ＲＯＭ、１１２……予測演算部、１２０、１５０……学習回路。
【発明の属する技術分野】
本発明は画像処理装置及び画像処理方法に関し、例えば画像データの画質を改善する画像データ変換装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、画像データの圧縮符号化方式としてＭＰＥＧ（Moving Picture Experts Group）２規格による符号化方式がある。このＭＰＥＧ２規格による符号化方式を用いた送受信システムは、送信側で、画像データに対してＭＰＥＧ２規格による圧縮符号化処理を施して送信し、受信側で、受信した画像データを伸長復号化することにより元の画像データを復元している。
【０００３】
【発明が解決しようとする課題】
ところでこのような送受信システムの受信装置においては、伸長復号化された標準精細度の画像データをその各画素の信号レベル分布に応じたクラスに分類した後、予測係数と呼ばれるデータが予め格納されているメモリからそのクラスに対応する予測係数を読み出し、当該予測係数と伸長復号化された標準精細度の画像データとから高精細度の画像データを予測演算するいわゆるクラス分類適応処理を用いたアップコンバータが考えられている。
【０００４】
一般に、ＭＰＥＧ２規格によって圧縮符号化された画像データは、Ｉピクチャ(Intra coded picture) と、Ｐピクチャ(Predictive coded picture)と、Ｂピクチャ(Bidirectionally predictive coded picture)とから形成されている。Ｉピクチャは、フレーム内符号化を施し、そのフレーム画像内の情報だけを符号化して生成されたものである。Ｐピクチャは、そのフレーム画像よりも過去のＩピクチャ又はＰピクチャから予測符号化して生成されたものである。Ｂピクチャは、そのフレーム画像よりも過去及び又は未来のＰピクチャ又はＩピクチャの双方から予測符号化して生成されたものである。
【０００５】
このようにＭＰＥＧ２規格による符号化方式を用いた送受信システムでは、フレーム毎に異なる圧縮符号化処理が行われていることから、圧縮符号化された画像データを伸長復号化しても、フレーム画像に対して施された符号化処理に応じてその再現率が異なり、フレーム毎に精細度の異なる画像データが生成されることになる。
【０００６】
上述のアップコンバータでは、伸長復号化された画像データに対して全て同様のクラス分類適応処理を施しているが、フレーム毎に画像の再現率すなわち精細度が異なることから、予測演算された画像データに時間方向の歪みや表示画面上のちらつきいわゆるフリッカが生じてしまい、画質の改善を妨げる問題が生じることになる。
【０００７】
本発明は以上の点を考慮してなされたもので、従来に比して一段と画質を向上し得る画像処理装置及び画像処理方法を提案しようとするものである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、ＭＰＥＧ規格に準じて符号化された第１の画像データを当該ＭＰＥＧ規格に準じて復号するとともに、当該第１の画像データから、画像単位で異なるピクチャタイプの種類の変化を示す変化情報と、当該第１の画像データを復号する際に必要で復号後の画質に係る付加情報とを検出する復号手段と、復号手段により検出された変化情報及び付加情報を表す分類コードを出力する分類コード出力手段と、復号手段により復号された第１の画像データから、当該第１の画像データをもとに当該第１の画像データよりも高精細度の第２の画像データを生成するうえで注目する注目画素と当該注目画素周辺の所定数の画素とをクラス分類用のクラスタップとして抽出するクラスタップ抽出手段と、クラスタップ抽出手段により抽出されたクラスタップの信号レベル分布と分類コード出力手段から出力された分類コードとをもとに、第１の画像データを、クラスタップの信号レベル分布、変化情報及び付加情報を表すクラスに分類するクラス分類手段と、あらかじめ学習によりクラス分類手段において分類されたクラス毎に求めた、第１の画像データから第２の画像データを予測生成するための予測係数を記憶し、クラス分類手段により分類されたクラスに応じて予測係数を出力する予測係数記憶手段と、復号手段により復号された第１の画像データから、注目画素と当該注目画素周辺の所定数の画素とを、当該第１の画像データには含まれない第２の画像データの画素を予測生成するための予測タップとして抽出する予測タップ抽出手段と、予測タップ抽出手段により抽出された予測タップに対して、予測係数記憶手段から出力された予測係数を用いた予測演算を実行して当該第１の画像データには含まれない第２の画像データの画素を推定することで、当該第２の画像データを生成する予測演算手段とを設けるようにした。
【０００９】
このように、クラスタップの信号レベル分布にくわえて、さらにＭＰＥＧ規格に基づく、ピクチャタイプの種類の変化を示す変化情報と復号後の画質に係ってくる付加情報とをもとに、第１の画像データをクラス分類するようにしたことにより、ＭＰＥＧ規格に準じた第１の画像データから高精細度の第２の画像データを生成するうえで、クラスタップの信号レベルのみを用いてクラス分類する場合と比して、一段とＭＰＥＧ規格に適したクラス分類を行うことができる。この結果、時間方向の歪みやフリッカを低減させたより高画質の第２の画像データを生成することができる。
【００１０】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１１】
（１）クラス分類適応処理の原理
ここで図１は、クラス分類適応処理を実現するアップコンバータ５１の回路構成を示す。アップコンバータ５１は、外部から供給される例えば８ビットのパルス符号変調（ＰＣＭ：Pulse Code Modulation ）データでなるＳＤ画像データＳ５１をクラス分類部５２及び予測演算部５３に入力する。クラス分類部５２は、例えば図２に示すように、ＳＤ画像データＳ５１のうち注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計７画素（タップ）をクラス分類用の画素（以下、これをクラスタップと呼ぶ）として設定し、それらの信号レベル分布に基づいてクラスコードＳ５２を生成する。因みに、図中実線は第１フィールドを示し、点線は第２フィールドを示す。
【００１２】
このクラス分類部５２によってクラスコードＳ５２を生成する方法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range Coding ）等のデータ圧縮方法を用いてクラス数を削減するような方法が考えられる。このうちＰＣＭデータをそのままクラスコードＳ５２とする方法では、クラスタップとして８ビットのＰＣＭデータを７タップ用いることから、クラス数が２56という膨大な数のクラス数に分類されることになり、実用上問題がある。
【００１３】
そこで実際には、クラス分類部５２は、ＡＤＲＣのようなデータ圧縮処理（すなわち再量子化処理）を施すことによりクラス数を削減するようになされている。このＡＤＲＣによる分類法は、注目画素を中心とする近傍領域内の数タップからＡＤＲＣコードを、次式
【００１４】
【数１】
によって求め、当該ＡＤＲＣコードに基づいてクラスコードＳ５２を生成する手法を用いている。ここで、ｃi はＡＤＲＣコード、ｘi は各クラスタップの入力画素値、ＭＩＮは領域内にある各クラスタップの入力画素値のうちの最小画素値、ＤＲは領域内のダイナミックレンジ（最大画素値と最小画素値との差分）、ｋは再量子化ビット数である。
【００１６】
すなわちＡＤＲＣによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の７タップにおいて各クラスタップを１ビットに再量子化する１ビットＡＤＲＣを行う場合では、領域内のダイナミックレンジに基づいて７タップの各入力画素値を適応的に１ビット量子化し、その結果、７タップの入力画素値を７ビットのデータに削減することができるので、全体としてクラス数を１２８クラスにまで削減することができる。
【００１７】
図１に戻って、予測係数ＲＯＭ（Read Only Memory）５４は、後述する学習回路６０によって予め生成された各クラス毎に対応する予測係数データＳ５３を格納しており、クラス分類部５２から供給されるクラスコードＳ５２に応じた予測係数データＳ５３を読み出し、これを予測演算部５３に送出する。予測演算部５３は、例えば図３に示すように、外部から入力されるＳＤ画像データＳ５１のうち、注目画素及び当該注目画素を中心とした複数の周辺画素でなる合計１３タップを予測演算用の画素（以下、これを予測タップと呼ぶ）として選定し、当該予測タップの各画素値と予測係数データＳ５３とを用いて、線形一次結合でなる次式
【００１８】
【数２】
によって表される積和演算を行うことにより、予測タップには存在しないＨＤ画素の集まりであるＨＤ画像データＳ５４を生成し、これを外部に出力する。ここで、ｘ′は各ＨＤ画素値、ｘi は各予測タップの画素値、ｗi は予測係数、ｎは予測タップ数であり、この場合ｎは１３である。
【００２０】
ところで図４は、予測係数ＲＯＭ５４に格納されている予測係数データを生成する学習回路６０の回路構成を示し、当該学習回路６０は、予測係数データを予め生成して、これを予測係数ＲＯＭ５４に格納するようになされている。学習回路６０は、いわゆる教師信号としてのＨＤ画像データＳ６０を垂直間引きフィルタ６１及び予測係数算出回路６２に入力する。学習回路６０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１及び水平間引きフィルタ６２によって間引くことにより、生徒信号としてのＳＤ画像データＳ６１を生成し、これをクラス分類部６４及び予測係数算出回路６２に入力するようになされている。
【００２１】
クラス分類部６４は、図１に示すアップコンバータのクラス分類部５２と同様の構成でなり、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラスコードＳ６２を生成した後、これを予測係数算出回路６２に送出する。予測係数算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像データＳ６１を基に、クラスコードＳ６２が示すクラスに応じた予測係数をクラス毎に算出し、その結果得た予測係数データＳ６３を予測係数ＲＯＭ５４に格納する。
【００２２】
この場合、予測係数算出回路６２は、上述の（２）式における予測係数ｗを最小自乗法によって求めるようになされている。具体的には予測係数算出回路６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素値として、いわゆる観測方程式と呼ばれる次式
【００２３】
【数３】
を生成するように各データを収集する。ここでｍは予測するＨＤ画素の画素数を示す学習データ数、ｎは予測タップ数である。
【００２５】
次に予測係数算出回路６２は、この（３）式を基に、次式
【００２６】
【数４】
に示す残差方程式を立てる。従って各予測係数ｗi は、この（４）式から、次式
【００２８】
【数５】
が最小のときに最適な値となることがわかる。すなわち次式
【００３０】
【数６】
を満たすように予測係数ｗi が算出される。
【００３２】
そこで予測係数算出回路６２は、このｎ個ある（６）式を満たすようなｗ1 、ｗ2 、……、ｗn を算出すればよいことになり、上述の（４）式から、次式
【００３３】
【数７】
を得、これら（６）及び（７）式から、次式
【００３５】
【数８】
を求める。そして予測係数算出回路６２は、上述の（４）及び（８）式から、次式
【００３７】
【数９】
によって表される正規方程式を生成する。このようにして予測係数算出回路６２は、予測タップ数ｎと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法（Gauss Jordanの消去法）を用いてこの正規方程式を解くことにより、各予測係数ｗi を算出する。
【００３９】
以下、学習回路６０による予測係数生成手順について図５に示すフローチャートを用いて説明する。ステップＳＰ６１から入ったステップＳＰ６２において、学習回路６０は、教師信号としてのＨＤ画像データＳ６０から生徒信号としてのＳＤ画像データＳ６１を生成することにより、予測係数を生成するのに必要な学習データを生成する。ステップＳＰ６３において、学習回路６０は、予測係数を生成するのに必要十分な学習データが得られたか否か判定し、その結果、未だ必要十分な学習データが得られていないと判断された場合にはステップＳＰ６３において否定結果を得ることによりステップＳＰ６４に移行する。
【００４０】
ステップＳＰ６４において、学習回路６０は、ＳＤ画像データＳ６１からクラスタップを選定し、その信号レベル分布に基づいてクラス分類を行う。ステップＳＰ６５において、学習回路６０は、各クラス毎に上述の（９）式でなる正規方程式を生成し、ステップＳＰ６２に戻って同様の処理手順を繰り返すことにより、予測係数を生成するのに必要十分な正規方程式を生成する。
【００４１】
これに対してステップＳＰ６３において肯定結果が得られると、このことは必要十分な学習データが得られたことを表しており、このとき学習回路６０はステップＳＰ６６に移って、上述の（９）式でなる正規方程式を掃き出し法によって解くことにより、予測係数ｗ1 、ｗ2 、……、ｗn を各クラス毎に生成する。そしてステップＳＰ６７において、学習回路６０は、生成した各クラス毎の予測係数ｗ1 、ｗ2 、……、ｗn を予測係数ＲＯＭ５４に格納し、ステップＳＰ６８に移って処理を終了する。
【００４２】
（２）第１の実施の形態
図６において、１００は全体として図１〜図５について上述したクラス分類適応処理の原理を用いた第１の実施の形態のアップコンバータの構成を示す。アップコンバータ１００は、外部からＭＰＥＧ２方式を用いて圧縮符号化された符号化画像データＳ１００が供給されると、これをデコーダ１０１に入力する。デコード１０１は、この符号化画像データＳ１００を伸長復号化することにより画像データＳ１０１を復元し、これを領域切り出し部１０２及び１０３に送出する。その際、デコーダ１０１は、フレーム毎に異なるデコード情報、例えば図７（Ａ）に示すように、現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２を生成し、これを範囲切り出し部１０４に送出する。
【００４３】
範囲切り出し部１０４は、供給されたピクチャタイプパターンデータＳ１０２の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１０３を判定部１０５に送出する。判定部１０５は、図７（Ｂ）に示すように、この切り出されたピクチャタイプパターンデータＳ１０３をそのパターン列に応じた分類コードＳ１０４に変換し、これをクラスコード発生部１０６に送出する。
【００４４】
ところで領域切り出し部１０２は、画像データＳ１０１からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１１０を特徴量抽出部１１０に送出する。特徴量抽出部１１０は、クラスタップデータＳ１１０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１１１を生成し、これをクラスコード発生部１０６に送出する。
【００４５】
クラスコード発生部１０６は、上述の分類コードＳ１０４とＡＤＲＣコードＳ１１１とを合成することによりクラスコードＳ１１２を生成し、これをＲＯＭ１１１に送出する。ＲＯＭ１１１は、後述する学習回路によって予め生成されたクラス毎に対応する予測係数を格納しており、クラスコード発生部１０６から供給されるクラスコードＳ１１２に応じた予測係数データＳ１１３を読み出し、これを予測演算部１１２に送出する。
【００４６】
一方、領域切り出し部１０３は、画像データＳ１０１から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１１４を予測演算部１１２に送出する。予測演算部１１２は、予測係数データＳ１１３と予測タップデータＳ１１４との積和演算を施すことにより高精細度の画像データＳ１１５を生成し、これを外部に出力する。
【００４７】
続いて図８は、ＲＯＭ１１１（図６）に格納されている予測係数を生成する学習回路１２０の構成を示す。学習回路１２０は、教師画像として高精細度の画像データＳ１２０をエンコーダ１２１及び正規方程式演算部１２２に送出する。エンコーダ１２１は、画像データＳ１２０をＭＰＥＧ２方式を用いて圧縮符号化し、その結果得られる符号化画像データＳ１２１をデコーダ１２３に送出する。
【００４８】
デコーダ１２３は、アップコンバータ１００のデコーダ１０１（図６）と同様に構成されており、符号化画像データＳ１２１を伸長復号化することにより生徒画像としての標準精細度の画像データＳ１２２を生成し、これを領域切り出し部１２４及び１２５に送出する。その際、デコーダ１２３は、フレーム毎に異なるデコード情報、例えば現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１２３を生成し、これを範囲切り出し部１２６に送出する。
【００４９】
範囲切り出し部１２６は、アップコンバータ１００の範囲切り出し部１０４（図６）と同様に構成されており、供給されたピクチャタイプパターンデータＳ１２３の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１２４を判定部１２７に送出する。判定部１２７は、アップコンバータ１００の判定部１０５（図６）と同様に構成されており、この切り出されたピクチャタイプパターンデータＳ１２４をそのパターン列に応じた分類コードＳ１２５に変換し、これをクラスコード発生部１２８に送出する。
【００５０】
ところで領域切り出し部１２４は、アップコンバータ１００の領域切り出し部１０２（図６）と同様に構成されており、画像データＳ１２２からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１３０を特徴量抽出部１３０に送出する。特徴量抽出部１３０は、アップコンバータ１００の特徴量抽出部１１０（図６）と同様に構成されており、クラスタップデータＳ１３０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１３１を生成し、これをクラスコード発生部１２８に送出する。
【００５１】
クラスコード発生部１２８は、アップコンバータ１００のクラスコード発生部１０６（図６）と同様に構成されており、上述の分類コードＳ１２５とＡＤＲＣコードＳ１３１とを合成することによりクラスコードＳ１３２を生成し、これを正規方程式演算部１２２に送出する。
【００５２】
一方、領域切り出し部１２５は、アップコンバータ１００の領域切り出し部１０３（図６）と同様に構成されており、画像データＳ１２２から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１３３を正規方程式演算部１２２に送出する。正規方程式演算部１２２は、高精細度の画像データＳ１２０と予測タップデータＳ１３３とから、クラスコードＳ１３２毎に正規方程式を生成し、この正規方程式データＳ１３４を予測係数決定部１３１に送出する。
【００５３】
予測係数決定部１３１は、正規方程式データＳ１３４が必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより予測係数を算出し、その予測係数データＳ１３５をメモリ１３２に送出して当該メモリ１３２に格納する。その後、このメモリ１３２に格納されている予測係数は、図６に示すＲＯＭ１１１に書き込まれるようになされている。
【００５４】
以上の構成において、アップコンバータ１００は、符号化画像データＳ１００を伸長復号化して元の画像データＳ１０１を復元すると共に、当該符号化画像データＳ１００からピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２を生成し、当該ピクチャタイプパターンデータＳ１０２に応じたクラスコードＳ１１２を発生してクラス分類適応処理を施すことにより、高精細度の画像データＳ１１５を生成する。
【００５５】
このようにフレーム毎に変化するピクチャタイプに応じてクラス分類適応処理を施すことにより、全フレームに対して全て同様のクラス分類適応処理を施す場合に比して、画像の再現率すなわち精細度に応じたクラス分類適応処理が行われ、予測演算された画像データＳ１１５における各フレーム間の時間方向の歪みやフリッカが生じることが回避される。
【００５６】
以上の構成によれば、フレーム毎に異なる符号化及び復号化処理が行われたことに応じてクラス分類適応処理を施すことにより、全フレームに対して全て同様のクラス分類適応処理を施す場合に比して、時間方向の歪みやフリッカのない画像データＳ１１５を生成することができ、かくして従来に比して一段と画質の改善を行い得る。
【００５７】
（３）第２の実施の形態
図６との対応部分に同一符号を付して示す図９において、１４０は全体として第２の実施の形態のアップコンバータの構成を示し、領域切り出し部１４１及び１４２、判定部１４３並びにＲＯＭ１４４の構成を除いて、第１の実施の形態のアップコンバータ１００と同様に構成されている。
【００５８】
アップコンバータ１４０は、外部からＭＰＥＧ２方式を用いて圧縮符号化された符号化画像データＳ１４０が供給されると、これをデコーダ１０１に入力する。デコード１０１は、この符号化画像データＳ１４０を伸長復号化することにより画像データＳ１４１を復元し、これを領域切り出し部１４１及び１４２に送出する。その際、デコーダ１０１は、フレーム毎に異なるデコード情報、現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１４２を生成し、これを範囲切り出し部１０４に送出する。
【００５９】
範囲切り出し部１０４は、供給されたピクチャタイプパターンデータＳ１４２の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１４３を判定部１４３に送出する。判定部１４３は、この切り出されたピクチャタイプパターンデータＳ１４３をそのパターン列に応じた分類コードＳ１４４に変換し、これをクラスコード発生部１０６並びに領域切り出し部１４１及び１４２に送出する。
【００６０】
領域切り出し部１４１は、分類コードＳ１４４に応じて切り出す領域を切り換えながらクラスタップを抽出するようになされている。例えば図１０（Ａ）に示すように、領域切り出し部１４１は、分類コードＳ１４４が０であってかつ現フレームがＩピクチャの場合には、現フレームより過去のフレームは参照せずに、未来のフレームのみを参照することにより、Ｉ、Ｂ、Ｂ、Ｐピクチャの範囲からクラスタップを抽出する。また図１０（Ｂ）に示すように、領域切り出し部１４１は、分類コードＳ１４４が１であってかつ現フレームがＰピクチャの場合には、現フレームの過去及び未来のフレームを参照することにより、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐピクチャの範囲からクラスタップを抽出する。
【００６１】
このように領域切り出し部１４１は、現フレームと互いに参照関係にあるフレームを参照範囲として、当該参照範囲からクラスタップを抽出する。従って領域切り出し部１４１は、分類コードＳ１４４に応じて画像データＳ１４１からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１５０を特徴量抽出部１１０に送出する。特徴量抽出部１１０は、クラスタップデータＳ１５０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１５１を生成し、これをクラスコード発生部１０６に送出する。
【００６２】
クラスコード発生部１０６は、上述の分類コードＳ１４４とＡＤＲＣコードＳ１５１とを合成することによりクラスコードＳ１５２を生成し、これをＲＯＭ１４４に送出する。ＲＯＭ１４４は、後述する学習回路によって予め生成されたクラス毎に対応する予測係数を格納しており、クラスコード発生部１０６から供給されるクラスコードＳ１５２に応じた予測係数データＳ１５３を読み出し、これを予測演算部１１２に送出する。
【００６３】
一方、領域切り出し部１４２は、領域切り出し部１４１と同様に分類コードＳ１４４に応じて切り出す領域を切り換えながら画像データＳ１４１から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１５４を予測演算部１１２に送出する。予測演算部１１２は、予測係数データＳ１５３と予測タップデータＳ１５４との積和演算を施すことにより高精細度の画像データＳ１５５を生成し、これを外部に出力する。
【００６４】
続いて図８との対応部分に同一符号を付して示す図１１は、ＲＯＭ１４４（図９）に格納されている予測係数を生成する第２の実施の形態の学習回路１５０の構成を示し、領域切り出し部１５１及び１５２並びに判定部１５３の構成を除いて、第１の実施の形態の学習回路１２０と同様に構成されている。学習回路１５０は、教師画像として高精細度の画像データＳ１５０をエンコーダ１２１及び正規方程式演算部１２２に送出する。エンコーダ１２１は、画像データＳ１５０をＭＰＥＧ２方式を用いて圧縮符号化し、その結果得られる符号化画像データＳ１５１をデコーダ１２３に送出する。
【００６５】
デコーダ１２３は、アップコンバータ１４０のデコーダ１０１（図９）と同様に構成されており、符号化画像データＳ１５１を伸長復号化することにより生徒画像としての標準精細度の画像データＳ１５２を生成し、これを領域切り出し部１５１及び１５２に送出する。その際、デコーダ１２３は、フレーム毎に異なるデコード情報、例えば現在のフレームとその周辺のフレームにおけるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１５３を生成し、これを範囲切り出し部１２６に送出する。
【００６６】
範囲切り出し部１２６は、アップコンバータ１００の範囲切り出し部１０４（図９）と同様に構成されており、供給されたピクチャタイプパターンデータＳ１５３の中から参照範囲、例えば現在のフレームとその前後３フレームとを切り出し、この切り出されたピクチャタイプパターンデータＳ１５４を判定部１５３に送出する。判定部１５３は、アップコンバータ１４０の判定部１４３（図９）と同様に構成されており、この切り出されたピクチャタイプパターンデータＳ１５４をそのパターン列に応じた分類コードＳ１５５に変換し、これをクラスコード発生部１２８に送出する。
【００６７】
ところで領域切り出し部１５１は、アップコンバータ１４０の領域切り出し部１４１（図９）と同様に構成されており、分類コードＳ１５５に応じて切り出す領域を切り換えながら画像データＳ１５２からクラスタップを抽出し、それらの信号レベル分布を示すクラスタップデータＳ１６０を特徴量抽出部１３０に送出する。特徴量抽出部１３０は、アップコンバータ１４０の特徴量抽出部１１０（図９）と同様に構成されており、クラスタップデータＳ１６０に対して１ビットＡＤＲＣを施すことによりＡＤＲＣコードＳ１６１を生成し、これをクラスコード発生部１２８に送出する。
【００６８】
クラスコード発生部１２８は、アップコンバータ１４０のクラスコード発生部１０６（図９）と同様に構成されており、上述の分類コードＳ１５５とＡＤＲＣコードＳ１６１とを合成することによりクラスコードＳ１６２を生成し、これを正規方程式演算部１２２に送出する。
【００６９】
一方、領域切り出し部１５２は、アップコンバータ１４０の領域切り出し部１４２（図９）と同様に構成されており、分類コードＳ１５５に応じて切り出す領域を切り換えながら画像データＳ１５２から予測タップを抽出し、それらの信号レベル分布を示す予測タップデータＳ１６３を正規方程式演算部１２２に送出する。正規方程式演算部１２２は、高精細度の画像データＳ１５０と予測タップデータＳ１６３とから、クラスコードＳ１６２毎に正規方程式を生成し、この正規方程式データＳ１６４を予測係数決定部１３１に送出する。
【００７０】
予測係数決定部１３１は、正規方程式データＳ１６４が必要な数だけ供給されると、最小自乗法を用いて当該正規方程式を解くことにより予測係数を算出し、その予測係数データＳ１６５をメモリ１３２に送出して当該メモリ１３２に格納する。その後、このメモリ１３２に格納されている予測係数は、図９に示すＲＯＭ１４４に書き込まれるようになされている。
【００７１】
以上の構成において、アップコンバータ１４０は、符号化画像データＳ１４０を伸長復号化して元の画像データＳ１４１を復元すると共に、当該符号化画像データＳ１４０からピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１４２を生成して、当該ピクチャタイプパターンデータＳ１４２に応じて切り出す領域を切り換えながらクラスタップ及び予測タップを抽出した上で、ピクチャタイプパターンデータＳ１４２に応じたクラスコードＳ１５２を発生してクラス分類適応処理を施すことにより、高精細度の画像データＳ１５５を生成する。
【００７２】
このようにフレーム毎に変化するピクチャタイプに応じたクラスコードＳ１５２を発生してクラス分類適応処理を施すことにより、全フレームに対して同様のクラス分類適応処理を施す場合に比して、画像の再現率すなわち精細度に応じたクラス分類適応処理が行われ、予測演算された画像データＳ１５５に各フレーム間の時間方向の歪みやフリッカが生じることが回避される。また、フレーム毎に変化するピクチャタイプに応じてクラスタップ及び予測タップを切り出す領域を切り換えることにより、第１の実施の形態によるアップコンバータ１００に比してさらに精細度の向上した画像データＳ１５５が生成される。
【００７３】
以上の構成によれば、フレーム毎に異なる符号化及び復号化処理が行われたことに応じてクラス分類適応処理を施すことにより、全フレームに対して同様のクラス分類適応処理を施す場合に比して、時間方向の歪みやフリッカのない画像データＳ１５５を生成することができ、かくして従来に比して一段と画質を向上し得る。
【００７４】
（４）他の実施の形態
なお上述の実施の形態においては、フレーム毎に異なるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２及びＳ１４２に応じてクラス分類適応処理を施して、各フレーム間における歪みを低減した場合について述べたが、本発明はこれに限らず、例えば符号化画像データＳ１００及びＳ１４０の付加情報Ｓ２００（図６、図９）としてＧＯＰ(Group of Pictures）層に存在するＣＧ(Closed GOP)情報（ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグ）を検出して、当該ＣＧ情報を参照しながらクラス分類適応処理を施すことにより、各ＧＯＰ間における歪みを低減させたり、又は、ピクチャ層に存在するＩＤＣ(Intra DC Precision)情報（ＤＣ係数の精度を示すフラグ）を検出して、当該ＩＤＣ情報を参照しながらクラス分類適応処理を施すことにより、レベル方向の歪みを低減させることも可能である。
【００７５】
また上述の第２の実施の形態においては、判定部１４３から供給される分類コードＳ１４４に応じて切り出す領域を切り換えながらクラスタップ及び予測タップを抽出した場合について述べたが、本発明はこれに限らず、ピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１４２に応じて切り出す領域を切り換えながらクラスタップ及び予測タップを抽出しても良い。
【００７６】
また上述の実施の形態においては、フレーム毎に異なるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２及びＳ１４２に応じたクラス分類適応処理を施す場合について述べたが、本発明はこれに限らず、例えばＧＯＰ内における各ピクチャタイプの配列情報に応じてクラス分類適応処理を施しても良い。
【００７７】
また上述の実施の形態においては、フレーム毎に異なるピクチャタイプの変化情報を示すピクチャタイプパターンデータＳ１０２及びＳ１４２に応じたクラス分類適応処理を施す場合について述べたが、本発明はこれに限らず、例えばフィールド毎に変化する情報に応じてクラス分類適応処理を施しても良く、要は、所定の画像単位毎に異なるデータ処理の種類に応じてクラス分類適応処理を施すようにすれば良い。
【００７８】
また上述の実施の形態においては、データ処理種類抽出手段として、デコーダ１０１、領域切り出し部１０４、判定部１０５又は１４３を適用した場合について述べたが、本発明はこれに限らず、要は、データ処理の種類を所定の画像単位毎に抽出するデータ処理種類抽出手段であれば良い。
【００７９】
また上述の実施の形態においては、特徴量抽出手段として、領域切り出し部１０２又は１４１、特徴量抽出部１１０を適用した場合について述べたが、本発明はこれに限らず、要は、第１の画像データから第２の画像データの注目画素を基準とする複数の画素を選定してその特徴量を抽出する特徴量抽出手段であれば良い。
【００８０】
また上述の実施の形態においては、クラス決定手段として、クラスコード発生部１０６を適用した場合について述べたが、本発明はこれに限らず、要は、データ処理の種類及び特徴量から注目画素に対するクラスを決定するクラス決定手段であれば良い。
【００８１】
また上述の実施の形態においては、予測データ発生手段として、ＲＯＭ１１１又は１４４を適用した場合について述べたが、本発明はこれに限らず、要は、クラスに対応する予測データを発生する予測データ発生手段であれば良い。
【００８２】
さらに上述の実施の形態においては、画素データ発生手段として、領域切り出し部１０３又は１４２、予測演算部１１２を適用した場合について述べたが、本発明はこれに限らず、要は、予測データから第２の画像データの注目画素を発生する画素データ発生手段であれば良い。
【００８３】
【発明の効果】
上述のように本発明によれば、クラスタップの信号レベル分布にくわえて、さらにＭＰＥＧ規格に基づく、ピクチャタイプの種類の変化を示す変化情報と復号後の画質に係ってくる付加情報とをもとに、第１の画像データをクラス分類するようにしたことにより、ＭＰＥＧ規格に準じた第１の画像データから高精細度の第２の画像データを生成するうえで、クラスタップの信号レベルのみを用いてクラス分類する場合と比して、一段とＭＰＥＧ規格に適したクラス分類を行うことができる。この結果、時間方向の歪みやフリッカを低減させたより高画質の第２の画像データを生成することができ、かくして従来に比して一段と画質を向上し得る。
【図面の簡単な説明】
【図１】アップコンバータの構成を示すブロック図である。
【図２】クラスタップ配置例を示す略線図である。
【図３】予測タップ配置例を示す略線図である。
【図４】学習回路の構成を示すブロック図である。
【図５】予測係数生成手順を示すフローチャートである。
【図６】本発明によるアップコンバータの第１の実施の形態を示すブロック図である。
【図７】ピクチャタイプパターンの判定方法の説明に供する略線図である。
【図８】学習回路の構成を示すブロック図である。
【図９】本発明によるアップコンバータの第２の実施の形態を示すブロック図である。
【図１０】分類コードに応じた領域の切り出しの説明に供する略線図である。
【図１１】学習回路の構成を示すブロック図である。
【符号の説明】
１００、１４０……アップコンバータ、１０１、１２３……デコーダ、１０２、１０３、１２４、１２５、１４１、１４２、１５１、１５２……領域切り出し部、１０４、１２６、１５３……範囲切り出し部、１０５、１２７、１４３……判定部、１０６、１２８……クラスコード発生部、１１０、１３０……特徴量抽出部、１１１、１４４……ＲＯＭ、１１２……予測演算部、１２０、１５０……学習回路。
Claims (6)
- ＭＰＥＧ（ Moving Picture Experts Group ）規格に準じて符号化された第１の画像データを当該ＭＰＥＧ規格に準じて復号するとともに、当該第１の画像データから、画像単位で異なるピクチャタイプの種類の変化を示す変化情報と、当該第１の画像データを復号する際に必要で復号後の画質に係る付加情報とを検出する復号手段と、
上記復号手段により検出された上記変化情報及び上記付加情報を表す分類コードを出力する分類コード出力手段と、
上記復号手段により復号された上記第１の画像データから、当該第１の画像データをもとに当該第１の画像データよりも高精細度の第２の画像データを生成するうえで注目する注目画素と当該注目画素周辺の所定数の画素とをクラス分類用のクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップ抽出手段により抽出された上記クラスタップの信号レベル分布と上記分類コード出力手段から出力された上記分類コードとをもとに、上記第１の画像データを、上記クラスタップの信号レベル分布、上記変化情報及び上記付加情報を表すクラスに分類するクラス分類手段と、
あらかじめ学習により上記クラス分類手段において分類されたクラス毎に求めた、上記第１の画像データから上記第２の画像データを予測生成するための予測係数を記憶し、上記クラス分類手段により分類された上記クラスに応じて上記予測係数を出力する予測係数記憶手段と、
上記復号手段により復号された上記第１の画像データから、上記注目画素と当該注目画素周辺の所定数の画素とを、当該第１の画像データには含まれない上記第２の画像データの画素を予測生成するための予測タップとして抽出する予測タップ抽出手段と、
上記予測タップ抽出手段により抽出された上記予測タップに対して、上記予測係数記憶手段から出力された上記予測係数を用いた予測演算を実行して当該第１の画像データには含まれない上記第２の画像データの画素を推定することで、当該第２の画像データを生成する予測演算手段と
を具える画像処理装置。 - 上記付加情報は、
ＧＯＰ（Group of Picture）層のＣＧ（ Closed GOP ）情報である
請求項１に記載の画像処理装置。 - 上記付加情報は、
ピクチャ層のＩＤＣ（ Intra DC Precision ）情報である
請求項１に記載の画像処理装置。 - 上記クラスタップ抽出手段は、
上記分類コード出力手段から出力された上記分類コードを用いて、時間方向のクラスタップの抽出を切り換える
請求項１に記載の画像処理装置。 - 上記予測タップ抽出手段は、
上記分類コード出力手段から出力された上記分類コードを用いて、時間方向の予測タップの抽出を切り換える
請求項１に記載の画像処理装置。 - ＭＰＥＧ（ Moving Picture Experts Group ）規格に準じて符号化された第１の画像データを当該ＭＰＥＧ規格に準じて復号するとともに、当該第１の画像データから、画像単位で異なるピクチャタイプの種類の変化を示す変化情報と、当該第１の画像データを復 号する際に必要で復号後の画質に係る付加情報とを検出する復号ステップと、
上記復号ステップで検出した上記変化情報及び上記付加情報を表す分類コードを出力する分類コード出力ステップと、
上記復号ステップで復号した上記第１の画像データから、当該第１の画像データをもとに当該第１の画像データよりも高精細度の第２の画像データを生成するうえで注目する注目画素と当該注目画素周辺の所定数の画素とをクラス分類用のクラスタップとして抽出するクラスタップ抽出ステップと、
上記クラスタップ抽出ステップで抽出した上記クラスタップの信号レベル分布と上記分類コード出力ステップで出力した上記分類コードとをもとに、上記第１の画像データを、上記クラスタップの信号レベル分布、上記変化情報及び上記付加情報を表すクラスに分類するクラス分類ステップと、
あらかじめ学習により上記クラス分類ステップで分類されたクラス毎に求めた、上記第１の画像データから上記第２の画像データを予測生成するための予測係数を記憶し、上記クラス分類ステップで分類された上記クラスに応じて上記予測係数を出力する予測係数出力ステップと、
上記復号ステップで復号した上記第１の画像データから、上記注目画素と当該注目画素周辺の所定数の画素とを、当該第１の画像データには含まれない上記第２の画像データの画素を予測生成するための予測タップとして抽出する予測タップ抽出ステップと、
上記予測タップ抽出ステップで抽出した上記予測タップに対して、上記予測係数出力ステップで出力した上記予測係数を用いた予測演算を実行して当該第１の画像データには含まれない上記第２の画像データの画素を推定することで、当該第２の画像データを生成する予測演算ステップと
を具える画像処理方法
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27328898A JP4168299B2 (ja) | 1998-09-28 | 1998-09-28 | 画像データ変換装置及び画像データ変換方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27328898A Division JP4168299B2 (ja) | 1998-09-28 | 1998-09-28 | 画像データ変換装置及び画像データ変換方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000312364A JP2000312364A (ja) | 2000-11-07 |
| JP2000312364A5 JP2000312364A5 (ja) | 2005-11-04 |
| JP4171958B2 true JP4171958B2 (ja) | 2008-10-29 |
Family
ID=17525771
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27328898A Expired - Fee Related JP4168299B2 (ja) | 1998-09-28 | 1998-09-28 | 画像データ変換装置及び画像データ変換方法 |
| JP2000090728A Expired - Fee Related JP4171958B2 (ja) | 1998-09-28 | 2000-03-27 | 画像処理装置及び画像処理方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27328898A Expired - Fee Related JP4168299B2 (ja) | 1998-09-28 | 1998-09-28 | 画像データ変換装置及び画像データ変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP4168299B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4311166B2 (ja) * | 2003-11-05 | 2009-08-12 | ソニー株式会社 | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 |
| CN104519353B (zh) * | 2013-09-29 | 2019-02-05 | 联想(北京)有限公司 | 图像处理方法和电子设备 |
| CN111683254B (zh) * | 2020-06-24 | 2022-03-25 | 湖南国科微电子股份有限公司 | 一种图像压缩方法、装置及电子设备和存储介质 |
-
1998
- 1998-09-28 JP JP27328898A patent/JP4168299B2/ja not_active Expired - Fee Related
-
2000
- 2000-03-27 JP JP2000090728A patent/JP4171958B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP4168299B2 (ja) | 2008-10-22 |
| JP2000312364A (ja) | 2000-11-07 |
| JP2000102006A (ja) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3788823B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP3888597B2 (ja) | 動き補償符号化装置、及び動き補償符号化復号化方法 | |
| JP5718363B2 (ja) | 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置 | |
| US8170355B2 (en) | Image encoding/decoding method and apparatus | |
| EP3379832A2 (en) | Method and apparatus for entropy encoding and decoding video signal | |
| RU2668056C1 (ru) | Устройство обработки изображения и способ обработки изображения | |
| EP2187648A1 (en) | Image processing device and image processing method | |
| US7177356B2 (en) | Spatially transcoding a video stream | |
| US9014268B2 (en) | Video encoder and its decoder | |
| EP1655968A2 (en) | Method and apparatus for encoding and decoding image data | |
| JPH0746594A (ja) | 符号化方法およびその装置 | |
| JP2010534015A (ja) | 画像処理方法及び対応する電子装置 | |
| JPH06125543A (ja) | 符号化装置 | |
| JPH09200758A (ja) | 画像符号化装置 | |
| JP2005519543A (ja) | レイヤ映像符合化のための方法及びシステム | |
| JP4028900B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| JP4171958B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH10304381A (ja) | 動画像符号化装置及び方法 | |
| JP4775132B2 (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| JP4580880B2 (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| KR0157465B1 (ko) | 영상데이타의 영상특성에 따른 양자화레벨결정방법 및 그 장치 | |
| JPH0671333B2 (ja) | 画像信号の符号化方法 | |
| KR102020953B1 (ko) | 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템 | |
| JP4143877B2 (ja) | 画像データ変換装置及び画像データ変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050818 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080717 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080730 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |