JP4217011B2 - ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 - Google Patents
ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 Download PDFInfo
- Publication number
- JP4217011B2 JP4217011B2 JP2001303062A JP2001303062A JP4217011B2 JP 4217011 B2 JP4217011 B2 JP 4217011B2 JP 2001303062 A JP2001303062 A JP 2001303062A JP 2001303062 A JP2001303062 A JP 2001303062A JP 4217011 B2 JP4217011 B2 JP 4217011B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- picture
- picture type
- type estimation
- count value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
複数のピクチャタイプから構成されている高能率符号化されたテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器に関する。
【０００２】
【従来の技術】
情報量の多い動画像を効率よく伝送するため、できるだけ符号化効率を高くした動画像圧縮が望まれており、動画像圧縮のために、フレーム間予測符号化が基本技術として使用される。このフレーム間予測符号化では、入力画像信号と予測画像信号との差分信号が伝送される。復元側では、送られてきた差分信号と既に復元されている予測画像信号とを加えることによって現画像を復元する。
【０００３】
なお、前記フレーム間予測符号化を実現するため、ＩＳＯ／ＩＥＣ １３８１８（ＭＰＥＧ２）に示されるように、イントラ符号化画像である「Ｉピクチャ」、前方向予測符号化画像である「Ｐピクチャ」、両方向予測符号化画像である「Ｂピクチャ」の各ピクチャタイプを持ったフレームが存在している。
【０００４】
ここで、図１を用いて画像信号におけるピクチャタイプの配列例と性質について説明する。
【０００５】
図１は、画像信号におけるピクチャタイプ（フレーム）の配列の一構成図である。
【０００６】
「Ｉピクチャ」１１は、他のフレームを必要とせずに画面内（イントラ）で符号化を行う。シーンの切り替わり点や予測効率が悪い画像について、イントラ符号化は符号化効率がよい。
【０００７】
なお、符号化する際にはフレームを分割し、その分割されたブロック単位で処理が行われる。
【０００８】
「Ｐピクチャ」１２は時間的に過去に位置する符号化済みのフレームのうち「Ｉピクチャ」１１又は「Ｐピクチャ」１２のいずれか１枚だけを用いて予測符号化を行う。
【０００９】
ここで、物体が画面内で動いているような画像において、「Ｐピクチャ」１２が「Ｉピクチャ」１１よりも高い符号化効率を実現するために、予測のための参照フレーム中のブロックと同位置に存在するブロックの画素値が同一であった場合、その部分のブロックの伝送は行わないようする。この方法により伝送されるブロックをスキップブロックと呼ぶ。
【００１０】
スキップブロックは、復号時に参照した基準フレームの同位置のブロックを用いて復号される。
【００１１】
「Ｂピクチャ」１３は時間的に前後に位置する「Ｉピクチャ」１１、又は「Ｐピクチャ」１２の２枚のフレームを用いて時間的に過去に位置する画像フレーム（前方向）、時間的に未来に位置する画像信号（後方向）、又はその両方の画像信号（両方向）から予測符号化を行う。なお、どのような方向から予測符号化を行うかは、ブロック単位に決定される。
【００１２】
画像の編集や画像伝送などで符号化、復号化が繰り返し行なわれる場合、符号化時のピクチャタイプと異なるピクチャタイプで符号化が行われると、符号化に使われる手法の違いから画像の劣化が生じてしまう。また、符号化画像信号と共にピクチャタイプを伝送する場合であっても、そのために大きな伝送帯域が必要になっていたため、復号信号のみからピクチャタイプを推定する手法が用いられている。
【００１３】
そこで、ピクチャタイプを復号信号のみを用いて推定する従来の方法の例を図面と共に説明する。
【００１４】
図２に従来のピクチャタイプの推定装置の一構成例を示す。
【００１５】
図２のピクチャタイプ推定装置は固定量子化符号化器２１、発生情報量算出部２２、及びピクチャタイプ推定部２３を有する。さらに、前記固定量子化符号化器２１はＭＣ（動き補償器）２４、ＤＣＴ（離散コサイン変換器）２５、量子化器２６、及びＶＬＣ可変長符号化器から構成されている。
【００１６】
ＭＣ２４は動き補償予測の算出を、ＤＣＴ２５は離散コサイン変換を、量子化器２６は量子化を行い、ＶＬＣ２７は可変長の符号化を行う。
【００１７】
また、発生情報量演算部２２は、符号化信号における一画素あたりの情報量を算出する。ピクチャタイプ推定部２３には、事前にピクチャタイプが既知である多数のサンプル画像に対して、発生情報量演算部２２で算出された１画素あたりの情報量とピクチャタイプの関係がベータベースとして蓄積されている。ピクチャタイプ推定部２３は、発生情報量演算部２２で算出された情報量のピクチャタイプを、情報量をキーにして前記データベースを検索して推定する。
【００１８】
復号化された画像信号を固定量子化符号化器２１に入力し、前記固定量子化符号化器２１はＭＰＥＧ２映像符号化に基づいて再符号化を行い、符号化された信号は発生情報量演算部２２に送られる。前記発生情報量演算部２２は符号化により発生した発生情報量を演算し、１画素あたりの情報量を換算して出力されピクチャタイプ推定部２３に送られる。
【００１９】
前記ピクチャタイプ推定部２３では、ここで算出された情報量に基づき前記データベースを参照してピクチャタイプの推定を行う。
【００２０】
【発明が解決しようとする課題】
しかしながら、図２に示すようなピクチャタイプの推定方法の場合、事前にピクチャタイプが既知であるサンプル画像を用意しなくてはならず、より正確な推定を行うためにはより多くのサンプル画像が必要となる。また、復号化された画像に対し再度符号化を行わなければならず、別途符号化器と同程度の回路構成が必要となる。
【００２１】
本発明は、上述した問題点に鑑みなされたものであり、復号画像信号のみを用いてピクチャタイプを推定することを可能とするピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００２３】
請求項１に記載された発明は、複数のピクチャタイプから構成されているテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプ推定方法であって、入力した復号画像信号中の基準フレームと、前記基準フレームから１〜Ｋ（自然数）遅延させた各フレーム間とで、夫々のフレームを複数のブロックに分割し、分割した各ブロックにおいて、対応するブロック位置の全画素値が一致する同一ブロック数を計数し、更に前記基準フレームを順次１フレーム単位でずらしながら前記１〜Ｋ（自然数）遅延させた各フレーム間とで、前記同一ブロック数の計数をＭ（自然数）回行う計数段階と、前記計数段階により得られる計数値を前記基準フレームからのフレーム間隔毎に夫々蓄積する蓄積段階と、前記蓄積段階により蓄積された前記フレーム間隔毎のＭ回分の計数値の総和を算出し、算出された総和と所定の総和値とを比較して、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔のＭ回分の計数値を出力する比較段階と、前記比較段階により比較結果として入力される前記フレーム間隔のＭ回分の計数値の推移から、前記計数値と所定の計数値との大小比較によりピクチャタイプを推定するピクチャタイプ推定段階とを有することを特徴とする。
【００２４】
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００２５】
請求項２に記載された発明は、前記比較段階は、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔Ｎ（１≦Ｎ≦Ｋを満たす自然数）を「Ｐピクチャ」のフレームが出現する間隔であるとすることを特徴とする。
【００２６】
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００２７】
請求項３に記載された発明は、前記ピクチャタイプ推定段階は、前記比較段階により比較結果として入力される前記フレーム間隔のＭ回分の計数値に対して、所定の計数値以上となるフレームを「Ｐピクチャ」と推定し、所定の計数値以下のフレームを「Ｉピクチャ」と推定することを特徴とする。
【００２８】
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００２９】
請求項４に記載された発明は、前記ピクチャタイプ推定段階は、前記復号画像信号中の各フレームにおいて、前記「Ｐピクチャ」及び前記「Ｉピクチャ」と推定されたフレーム以外のフレームを「Ｂピクチャ」と推定することを特徴とする。
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００３０】
請求項５に記載された発明は、複数のピクチャタイプから構成されているテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプ推定装置であって、入力した復号画像信号中の基準フレームと、前記基準フレームから１〜Ｋ（自然数）遅延させた各フレーム間とで、夫々のフレームを複数のブロックに分割し、分割した各ブロックにおいて、対応するブロック位置の全画素値が一致する同一ブロック数を計数し、更に前記基準フレームを順次１フレーム単位でずらしながら前記１〜Ｋ（自然数）遅延させた各フレーム間とで、前記同一ブロック数の計数をＭ（自然数）回行う計数部と、前記計数部により得られる計数値を前記基準フレームからのフレーム間隔毎に夫々蓄積する蓄積部と、前記蓄積部により蓄積された前記フレーム間隔毎のＭ回分の計数値の総和を算出し、算出された総和と所定の総和値とを比較して、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔のＭ回分の計数値を出力する比較部と、前記比較部により比較結果として入力される前記フレーム間隔のＭ回分の計数値の推移から、前記計数値と所定の計数値との大小比較によりピクチャタイプを推定するピクチャタイプ推定部とを有することを特徴とする。
【００３１】
請求項６に記載された発明は、前記比較部は、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔Ｎ（１≦Ｎ≦Ｋを満たす自然数）を「Ｐピクチャ」のフレームが出現する間隔であるとすることを特徴とする。
【００３２】
請求項７に記載された発明は、前記ピクチャタイプ推定部は、前記比較部により比較結果として入力される前記フレーム間隔のＭ回分の計数値に対して、所定の計数値以上となるフレームを「Ｐピクチャ」と推定し、所定の計数値以下のフレームを「Ｉピクチャ」と推定することを特徴とする。
【００３３】
請求項８に記載された発明は、前記ピクチャタイプ推定部は、前記復号画像信号中の各フレームにおいて、前記「Ｐピクチャ」及び前記「Ｉピクチャ」と推定されたフレーム以外のフレームを「Ｂピクチャ」と推定することを特徴とする。
【００３４】
これにより、請求項５から８に記載された発明は、請求項１ないし４のいずれか一項記載のピクチャタイプ推定方法に適したピクチャタイプ推定装置を提供することができる。
【００３５】
請求項９に記載された発明は，請求項５ないし８のいずれか一項記載のピクチャタイプ推定装置を用いた画像測定装置である。
【００３６】
請求項１０に記載された発明は，請求項５ないし８のいずれか一項記載のピクチャタイプ推定装置を用いた符号化器である。
【００３７】
【発明の実施の形態】
まず、本発明の原理について説明する。
【００３８】
本発明は、ある基準フレームと時間的に過去に位置する次のフレームとを比較する。比較はマクロブロック毎に行う。マクロブロックにおける対応する位置の全画素値が一致するもの、つまりスキップマクロブロックとして伝送されたと推定されるブロック数をフレーム内で計数してマクロブロック単位で、そのブロック数を蓄積する。この処理を順次Ｍ（自然数）フレーム分について行う。
【００３９】
同様に基準フレームと２、３、・・・Ｋ（２以上の自然数）フレーム遅延させたフレームとの比較を行う。本発明は、その蓄積結果の推移を見ることによりピクチャタイプを推定することを主眼とする。
【００４０】
ここで、画像信号のフレームには「Ｉピクチャ」、「Ｐピクチャ」、及び「Ｂピクチャ」のピクチャタイプが存在するが、「Ｐピクチャ」の場合、比較フレームが前方向予測符号化の際に参照したフレームであった場合、同一となるマクロブロック数は他のピクチャタイプのフレームと比べて多くなると推測できる。
【００４１】
なぜなら、同一となるマクロブロックはスキップマクロブロックであると推測でき、過去に位置するフレームとの比較において、同一となるマクロブロックの数が多いフレームは「Ｐピクチャ」のフレームに他ならないからである。
【００４２】
また、イントラ符号化を行う「Ｉピクチャ」はフレーム間で符号化が行われないため、同一となるマクロブロックの数はほとんどないと推測される。
【００４３】
また、両方向予測符号化を行う「Ｂピクチャ」の場合は、「Ｐピクチャ」と「Ｉピクチャ」の間にあると推測される。
【００４４】
そこで、まず「Ｐピクチャ」が何フレーム前のフレームから生成されているかを検出する。
【００４５】
次に、そのフレーム間隔でのマクロブロック計数値の推移から「Ｐピクチャ」のフレーム間隔でありながら、その間隔に存在する計数値の少ないフレームが存在した場合、イントラ符号化の「Ｉピクチャ」であると推測する。
【００４６】
また、「Ｐピクチャ」、「Ｉピクチャ」のいずれにも属さないフレームが「Ｂピクチャ」のフレームであると推測する。
【００４７】
これにより、ＭＰＥＧ２における全ピクチャタイプが推定される。
【００４８】
次に、本発明の実施の形態について図面と共に説明する。
【００４９】
図３は本発明のピクチャタイプ推定装置の一実施例の構成図である。
【００５０】
本実施の形態におけるピクチャタイプ推定装置３１は、フレーム遅延回路部３２-１〜３２-Ｋ、マクロブロック比較部３３-１〜３３-Ｋ、マクロブロック計数部３４-1〜３４-Ｋ、比較部３６、ピクチャタイプ推定部３７から構成されている。
【００５１】
ピクチャタイプ推定装置３１において、フレーム遅延回路部３２-１〜３２-Ｋには入力画像信号をある基準フレームから、１〜Ｋ（自然数）遅延させたフレームがメモリに蓄積されている。マクロブロック比較部３３-１〜３３-Ｋでは、基準フレームと３２-１〜３２-Ｋに蓄積されたフレームとを１６×１６ｐｉｘｅｌのマクロブロックに分割して、マクロブロックの対応する位置の画素を比較する。ブロック計数部３４-１〜３４-Ｋでは、マクロブロック比較部３３-１〜３３-Ｋにて全画素が一致したマクロブロック数をカウントする。前記計数値推移蓄積部３５-１〜３５-Ｋでは、複数の基準フレームで計数した計数値をＭ（自然数）フレーム分蓄積する。前記比較器３６では、前記計数値蓄積部３５-１〜３５-Ｋに対し、蓄積された計数値の総和を比較し、「Ｐピクチャ」のフレーム間隔を推定すると同時にそのフレーム間隔の計数値蓄積部のデータをピクチャタイプ推定部３７に出力する。前記ピクチャタイプ推定部３７は、入力された計数値の推移からピクチャタイプを推定する。
【００５２】
図３において、入力した画像信号はＭＰＥＧ２映像符号化によって符号化された映像信号を復号したベースバンド信号とする。前記画像信号はフレーム遅延回路部３２-１〜３２-Ｋには、基準フレームとそのフレームから１からＫ（自然数）遅延させたフレームがメモリに蓄積されている。基準フレームは全てのマクロブロック比較部３３-1〜３３-Ｋに出力され、遅延間隔の異なるフレームは別々のマクロブロック比較部に出力する。前記マクロブロック比較部３３-１〜３３-Ｋでは、基準フレームと各遅延間隔の異なったフレームとのマクロブロック単位での比較を行う。
【００５３】
ここで、本発明におけるフレーム比較方法の一具体例を図４にて説明する。
【００５４】
フレーム４１〜４８は画像信号における時間的なフレームの流れを示し、ＭＢ１１〜ＭＢｐｑ（ｐ，ｑ自然数）はフレーム内のマクロブロックを示している。
【００５５】
まず、フレーム４１が図３のマクロブロック比較部３３-１〜３３-Ｋに入力される。次に、1フレーム遅延のフレーム４２がフレーム遅延回路部３２-１からマクロブロック比較部３３-１に、2フレーム遅延のフレーム４３がフレーム遅延回路部３２-２からマクロブロック比較部３３-２に、以下Ｋ（自然数）フレーム遅延のフレーム４５がフレーム遅延回路部３２-Ｋからマクロブロック比較部３３-Ｋに入力される。マクロブロック比較部３３-１はフレーム４１とフレーム４２とを比較する。比較はマクロブロック単位で行われる。
【００５６】
まず、両フレームのマクロブロックＭＢ１１の全画素が一致するか否かを比較し、一致した場合はマクロブロック計数部３４-１に＋１をセットする。同じようにＭＢ１２〜ＭＢｐｑまでの比較を行い、一致した場合はマクロブロック計数部３４-１に＋１をセットする。つまり、マクロブロック計数部３４-１はフレーム内の同一となるマクロブロックの数が計数される。
【００５７】
マクロブロック比較部３４-２では、フレーム４１とフレーム４３において同様の処理が行われ、結果がマクロブロック計数部３４-２で求められる。同様の処理がマクロブロック比較部３３-Ｋでも行われる。
【００５８】
ここまでの処理で、基準フレーム４１と遅延間隔１〜Ｋのフレームとのマクロブロック単位での比較が行われたこととなる。
【００５９】
上記で求められた同一となるマクロブロックの計数値は夫々計数値推移蓄積部３５-１〜３５-Ｋに蓄積される。
【００６０】
次に、フレーム４２を基準フレーム２として前記処理と同様の処理を行う。以下基準フレームがＭフレームとなるまで同様の処理を行う。
【００６１】
図５に、図３における計数部推移蓄積部３５-１〜３５-Ｋの蓄積内容の一具体例を示す。
【００６２】
前記処理により計数値推移蓄積部３５-１には基準フレームから常に1フレーム遅延したフレームとの比較結果がＭフレーム分蓄積される。以下2フレーム遅延したフレームとの結果は計数値推移蓄積部３５-２に、Ｋフレーム遅延したフレームとの結果は計数値推移蓄積部３５-Ｋに蓄積される。
【００６３】
比較部は前記計数値推移蓄積部３５-１〜３５-Ｋに別々蓄積されたＭフレーム分の計数値の総和を算出する。ここで、総和が所定の値以上となる蓄積部の中で、フレーム間隔が最小の蓄積部３５-ｋは、前方向予測符号におけるスキップマクロブロックが多く含まれる「Ｐピクチャ」のフレーム間隔であると推定される。
【００６４】
前記比較器３６は、前記蓄積部３５-ｋ内の同位置同値のマクロブロック計数値をピクチャタイプ推定部３７へ出力する。前記ピクチャタイプ推定部は、入力された同位置同値のマクロブロック計数値の推移から、所定の値以上となるフレームを「Ｐピクチャ」のフレームであると推定する。
【００６５】
ここで、「Ｐピクチャ」と推定されるフレーム間隔は一定であり、総和が所定の値以上となるフレーム間隔のうち最小の遅延間隔３５-ｋと一致する。
【００６６】
しかし、「Ｐピクチャ」と推定されるフレーム間隔のＺ（自然数）回に一度、同位置同値のマクロブロックの計数値が極端に少なくなるフレームが存在する。これは、前記フレームがイントラ符号化を行っているフレームであると推測でき、「Ｉピクチャ」のフレームであると推定される。
【００６７】
また、前記の「Ｐピクチャ」、「Ｉピクチャ」のいずれにも属さないフレームは「Ｂピクチャ」であると推定する。
【００６８】
よってＭＰＥＧ２の画像信号における全てのピクチャタイプが推定される。
【００６９】
図６にＩＴＥ標準動画像（映像メディア学会編「ハイビジョン・システム評価用標準動画像」平成７年３月）の中のsprinklingで広く知られているエンコーダであるＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１ ＴｅｓｔＭｏｄｅｌ５を用いて１８ＭＢで符号化し、作成された圧縮画像情報を復号化した画像信号を入力とした場合における本発明の実施結果の一例を示す。
【００７０】
図６では図３の計数値推移蓄積部３５-１〜３５-Ｋに蓄積されたフレーム数Ｍ（Ｍ＝１５０）における、基準フレームからの各遅延フレーム間隔での同位置同値のブロック数の推移を示している。
【００７１】
ここで、遅延フレーム毎でのマクロブロック個数を比較すると３フレーム前（遅延間隔Ｋ＝３）の時に、同位置同値のマクロブロック数の総和が所定の値以上となることがわかる。よって「Ｐピクチャ」のフレーム間隔Ｎは３であると推定される。
【００７２】
また、遅延フレーム間隔Ｎが３の時、フレーム数毎の同位置同値のマクロブロック数を見ると、３フレーム毎に同値ブロック数が所定の値以上となっていることがわかる。よって、所定の値以上となっているフレームは、前方向予測を行った「Ｐピクチャ」であると推定される。
【００７３】
また、所定の値以上となっている「Ｐピクチャ」のフレームに挟まれたフレームは「Ｂピクチャ」であると推定される。
【００７４】
なお、同位置同値のマクロブロック数が所定の値以上をとると予想されるフレームでありながら同位置同値のマクロブロック数が極端に少ないフレームが存在するが、これは予測を用いて符号化を行っていないことが推測でき、イントラ符号化である「Ｉピクチャ」であることが推定される。
【００７５】
なお、本発明で説明したマクロブロックについては、そのブロックの範囲を１６×１６ｐｉｘｅｌとしたが、特にこの範囲に限定されるものではない。
【００７６】
本発明におけるピクチャタイプの推定方法を利用することで、画像信号における各フレームのピクチャタイプを測定することができる画像測定装置を提供することができる。
【００７７】
また、図７に本発明のピクチャタイプ推定装置を含む符号化器の一実施例を示す。
【００７８】
図７における符号化器７０は、ピクチャタイプ推定装置３１、符号化部７２、符号化パラメータ再利用部７３から構成されている。
【００７９】
符号化画像信号（ビットストリーム）は復号化器７１によりベースバンド信号に変換される。前記ベースバンド信号は符号化器７０に入力すると、ピクチャタイプ推定装置３１により、復号化器７１に入力する前の符号化画像信号の符号化時に使用された符号化パラメータを推定することができる。
【００８０】
推定された符号化パラメータは、符号化パラメータ再利用部７３に出力し、前記符号化パラメータを利用して再符号化を行うことにより、画像信号の符号化時に同一のピクチャタイプで符号化を行うことができ、画質劣化を低減させた符号化画像信号を生成することができる。
【００８１】
一般に、異なるピクチャタイプで再符号化を行った場合と比較すると、０．１ｄＢ〜０．５ｄＢの画質改善を行うことができる。
【００８２】
また、復号化器７１にピクチャタイプ推定装置３１を設けた場合、符号化器７０には、ピクチャタイプ推定装置３１から得られる符号化パラメータを利用するための符号化パラメータ再利用部７３を設ける必要があり、復号化器及び符号化器の機能の追加が必要となるため高コストとなる。
【００８３】
しかしながら、図７に示すように符号化器７０内にピクチャタイプ推定装置３１を設けることで特殊な復号化器を用いる必要がなくなり低コスト化につながる。
【００８４】
本発明では、従来手法と比べてピクチャタイプのサンプルを得るための再符号化を必要としないためシステムを簡便に実現することができ、また、大量のサンプル画像を必要とせずにピクチャタイプの推定を行うことができるピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器を提供することができる。
【００８５】
【発明の効果】
本発明では、高能率符号化されたテレビジョン信号の復号画像信号のみから、符号化時の符号化パラメータや画質に関係する物理量などの画像の属性を推定するものであり、画面の編集、画像伝送によって符号化、復号化を繰り返す場合における画質劣化の改善に効果を発揮する。
【図面の簡単な説明】
【図１】画像信号におけるピクチャタイプ（フレーム）の配列の一構成図
【図２】従来のピクチャタイプ推定装置の一構成例である。
【図３】本発明のピクチャタイプ推定装置の一実施例の構成図である。
【図４】本発明におけるフレーム比較方法の一具体例である。
【図５】計数部推移蓄積部３５-１〜３５-Ｋの蓄積内容の一具体例である。
【図６】本発明の実施結果の一例の図である。
【図７】本発明のピクチャタイプ推定装置を含む符号化器の一実施例の構成図である。
【符号の説明】
１１ Ｉピクチャのフレーム
１２ Ｐピクチャのフレーム
１３ Ｂピクチャのフレーム
２１ 固定量子化符号化器
２２ 発生情報量演算部
２３ ピクチャタイプ推定部
２４ ＭＣ（動き補償器）
２５ ＤＣＴ（離散コサイン変換）
２６ 量子化器
２７ ＶＬＣ（可変長符号化器）
３１ ピクチャタイプ推定装置
３２-１〜３２-Ｋ フレーム遅延回路部
３３-１〜３３-Ｋ マクロブロック比較部
３４-１〜３４-Ｋ マクロブロック計数部
３５-１〜３５-Ｋ 計数値推移蓄積部
３６ 比較部
３７ ピクチャタイプ推定部
４１〜４８ 画像信号のフレーム
７０ 符号化器
７１ 復号化器
７２ 符号化部
７３ 符号化パラメータ再利用部
【発明の属する技術分野】
複数のピクチャタイプから構成されている高能率符号化されたテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器に関する。
【０００２】
【従来の技術】
情報量の多い動画像を効率よく伝送するため、できるだけ符号化効率を高くした動画像圧縮が望まれており、動画像圧縮のために、フレーム間予測符号化が基本技術として使用される。このフレーム間予測符号化では、入力画像信号と予測画像信号との差分信号が伝送される。復元側では、送られてきた差分信号と既に復元されている予測画像信号とを加えることによって現画像を復元する。
【０００３】
なお、前記フレーム間予測符号化を実現するため、ＩＳＯ／ＩＥＣ １３８１８（ＭＰＥＧ２）に示されるように、イントラ符号化画像である「Ｉピクチャ」、前方向予測符号化画像である「Ｐピクチャ」、両方向予測符号化画像である「Ｂピクチャ」の各ピクチャタイプを持ったフレームが存在している。
【０００４】
ここで、図１を用いて画像信号におけるピクチャタイプの配列例と性質について説明する。
【０００５】
図１は、画像信号におけるピクチャタイプ（フレーム）の配列の一構成図である。
【０００６】
「Ｉピクチャ」１１は、他のフレームを必要とせずに画面内（イントラ）で符号化を行う。シーンの切り替わり点や予測効率が悪い画像について、イントラ符号化は符号化効率がよい。
【０００７】
なお、符号化する際にはフレームを分割し、その分割されたブロック単位で処理が行われる。
【０００８】
「Ｐピクチャ」１２は時間的に過去に位置する符号化済みのフレームのうち「Ｉピクチャ」１１又は「Ｐピクチャ」１２のいずれか１枚だけを用いて予測符号化を行う。
【０００９】
ここで、物体が画面内で動いているような画像において、「Ｐピクチャ」１２が「Ｉピクチャ」１１よりも高い符号化効率を実現するために、予測のための参照フレーム中のブロックと同位置に存在するブロックの画素値が同一であった場合、その部分のブロックの伝送は行わないようする。この方法により伝送されるブロックをスキップブロックと呼ぶ。
【００１０】
スキップブロックは、復号時に参照した基準フレームの同位置のブロックを用いて復号される。
【００１１】
「Ｂピクチャ」１３は時間的に前後に位置する「Ｉピクチャ」１１、又は「Ｐピクチャ」１２の２枚のフレームを用いて時間的に過去に位置する画像フレーム（前方向）、時間的に未来に位置する画像信号（後方向）、又はその両方の画像信号（両方向）から予測符号化を行う。なお、どのような方向から予測符号化を行うかは、ブロック単位に決定される。
【００１２】
画像の編集や画像伝送などで符号化、復号化が繰り返し行なわれる場合、符号化時のピクチャタイプと異なるピクチャタイプで符号化が行われると、符号化に使われる手法の違いから画像の劣化が生じてしまう。また、符号化画像信号と共にピクチャタイプを伝送する場合であっても、そのために大きな伝送帯域が必要になっていたため、復号信号のみからピクチャタイプを推定する手法が用いられている。
【００１３】
そこで、ピクチャタイプを復号信号のみを用いて推定する従来の方法の例を図面と共に説明する。
【００１４】
図２に従来のピクチャタイプの推定装置の一構成例を示す。
【００１５】
図２のピクチャタイプ推定装置は固定量子化符号化器２１、発生情報量算出部２２、及びピクチャタイプ推定部２３を有する。さらに、前記固定量子化符号化器２１はＭＣ（動き補償器）２４、ＤＣＴ（離散コサイン変換器）２５、量子化器２６、及びＶＬＣ可変長符号化器から構成されている。
【００１６】
ＭＣ２４は動き補償予測の算出を、ＤＣＴ２５は離散コサイン変換を、量子化器２６は量子化を行い、ＶＬＣ２７は可変長の符号化を行う。
【００１７】
また、発生情報量演算部２２は、符号化信号における一画素あたりの情報量を算出する。ピクチャタイプ推定部２３には、事前にピクチャタイプが既知である多数のサンプル画像に対して、発生情報量演算部２２で算出された１画素あたりの情報量とピクチャタイプの関係がベータベースとして蓄積されている。ピクチャタイプ推定部２３は、発生情報量演算部２２で算出された情報量のピクチャタイプを、情報量をキーにして前記データベースを検索して推定する。
【００１８】
復号化された画像信号を固定量子化符号化器２１に入力し、前記固定量子化符号化器２１はＭＰＥＧ２映像符号化に基づいて再符号化を行い、符号化された信号は発生情報量演算部２２に送られる。前記発生情報量演算部２２は符号化により発生した発生情報量を演算し、１画素あたりの情報量を換算して出力されピクチャタイプ推定部２３に送られる。
【００１９】
前記ピクチャタイプ推定部２３では、ここで算出された情報量に基づき前記データベースを参照してピクチャタイプの推定を行う。
【００２０】
【発明が解決しようとする課題】
しかしながら、図２に示すようなピクチャタイプの推定方法の場合、事前にピクチャタイプが既知であるサンプル画像を用意しなくてはならず、より正確な推定を行うためにはより多くのサンプル画像が必要となる。また、復号化された画像に対し再度符号化を行わなければならず、別途符号化器と同程度の回路構成が必要となる。
【００２１】
本発明は、上述した問題点に鑑みなされたものであり、復号画像信号のみを用いてピクチャタイプを推定することを可能とするピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００２３】
請求項１に記載された発明は、複数のピクチャタイプから構成されているテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプ推定方法であって、入力した復号画像信号中の基準フレームと、前記基準フレームから１〜Ｋ（自然数）遅延させた各フレーム間とで、夫々のフレームを複数のブロックに分割し、分割した各ブロックにおいて、対応するブロック位置の全画素値が一致する同一ブロック数を計数し、更に前記基準フレームを順次１フレーム単位でずらしながら前記１〜Ｋ（自然数）遅延させた各フレーム間とで、前記同一ブロック数の計数をＭ（自然数）回行う計数段階と、前記計数段階により得られる計数値を前記基準フレームからのフレーム間隔毎に夫々蓄積する蓄積段階と、前記蓄積段階により蓄積された前記フレーム間隔毎のＭ回分の計数値の総和を算出し、算出された総和と所定の総和値とを比較して、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔のＭ回分の計数値を出力する比較段階と、前記比較段階により比較結果として入力される前記フレーム間隔のＭ回分の計数値の推移から、前記計数値と所定の計数値との大小比較によりピクチャタイプを推定するピクチャタイプ推定段階とを有することを特徴とする。
【００２４】
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００２５】
請求項２に記載された発明は、前記比較段階は、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔Ｎ（１≦Ｎ≦Ｋを満たす自然数）を「Ｐピクチャ」のフレームが出現する間隔であるとすることを特徴とする。
【００２６】
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００２７】
請求項３に記載された発明は、前記ピクチャタイプ推定段階は、前記比較段階により比較結果として入力される前記フレーム間隔のＭ回分の計数値に対して、所定の計数値以上となるフレームを「Ｐピクチャ」と推定し、所定の計数値以下のフレームを「Ｉピクチャ」と推定することを特徴とする。
【００２８】
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００２９】
請求項４に記載された発明は、前記ピクチャタイプ推定段階は、前記復号画像信号中の各フレームにおいて、前記「Ｐピクチャ」及び前記「Ｉピクチャ」と推定されたフレーム以外のフレームを「Ｂピクチャ」と推定することを特徴とする。
これにより、ピクチャタイプが既知であるサンプル画像を多数用意する必要がなく、また再符号化などによってピクチャタイプを推定するための符号化器と同程度の回路構成を必要とせずに、復号信号のみからピクチャタイプの推定を行うことができる。
【００３０】
請求項５に記載された発明は、複数のピクチャタイプから構成されているテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプ推定装置であって、入力した復号画像信号中の基準フレームと、前記基準フレームから１〜Ｋ（自然数）遅延させた各フレーム間とで、夫々のフレームを複数のブロックに分割し、分割した各ブロックにおいて、対応するブロック位置の全画素値が一致する同一ブロック数を計数し、更に前記基準フレームを順次１フレーム単位でずらしながら前記１〜Ｋ（自然数）遅延させた各フレーム間とで、前記同一ブロック数の計数をＭ（自然数）回行う計数部と、前記計数部により得られる計数値を前記基準フレームからのフレーム間隔毎に夫々蓄積する蓄積部と、前記蓄積部により蓄積された前記フレーム間隔毎のＭ回分の計数値の総和を算出し、算出された総和と所定の総和値とを比較して、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔のＭ回分の計数値を出力する比較部と、前記比較部により比較結果として入力される前記フレーム間隔のＭ回分の計数値の推移から、前記計数値と所定の計数値との大小比較によりピクチャタイプを推定するピクチャタイプ推定部とを有することを特徴とする。
【００３１】
請求項６に記載された発明は、前記比較部は、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔Ｎ（１≦Ｎ≦Ｋを満たす自然数）を「Ｐピクチャ」のフレームが出現する間隔であるとすることを特徴とする。
【００３２】
請求項７に記載された発明は、前記ピクチャタイプ推定部は、前記比較部により比較結果として入力される前記フレーム間隔のＭ回分の計数値に対して、所定の計数値以上となるフレームを「Ｐピクチャ」と推定し、所定の計数値以下のフレームを「Ｉピクチャ」と推定することを特徴とする。
【００３３】
請求項８に記載された発明は、前記ピクチャタイプ推定部は、前記復号画像信号中の各フレームにおいて、前記「Ｐピクチャ」及び前記「Ｉピクチャ」と推定されたフレーム以外のフレームを「Ｂピクチャ」と推定することを特徴とする。
【００３４】
これにより、請求項５から８に記載された発明は、請求項１ないし４のいずれか一項記載のピクチャタイプ推定方法に適したピクチャタイプ推定装置を提供することができる。
【００３５】
請求項９に記載された発明は，請求項５ないし８のいずれか一項記載のピクチャタイプ推定装置を用いた画像測定装置である。
【００３６】
請求項１０に記載された発明は，請求項５ないし８のいずれか一項記載のピクチャタイプ推定装置を用いた符号化器である。
【００３７】
【発明の実施の形態】
まず、本発明の原理について説明する。
【００３８】
本発明は、ある基準フレームと時間的に過去に位置する次のフレームとを比較する。比較はマクロブロック毎に行う。マクロブロックにおける対応する位置の全画素値が一致するもの、つまりスキップマクロブロックとして伝送されたと推定されるブロック数をフレーム内で計数してマクロブロック単位で、そのブロック数を蓄積する。この処理を順次Ｍ（自然数）フレーム分について行う。
【００３９】
同様に基準フレームと２、３、・・・Ｋ（２以上の自然数）フレーム遅延させたフレームとの比較を行う。本発明は、その蓄積結果の推移を見ることによりピクチャタイプを推定することを主眼とする。
【００４０】
ここで、画像信号のフレームには「Ｉピクチャ」、「Ｐピクチャ」、及び「Ｂピクチャ」のピクチャタイプが存在するが、「Ｐピクチャ」の場合、比較フレームが前方向予測符号化の際に参照したフレームであった場合、同一となるマクロブロック数は他のピクチャタイプのフレームと比べて多くなると推測できる。
【００４１】
なぜなら、同一となるマクロブロックはスキップマクロブロックであると推測でき、過去に位置するフレームとの比較において、同一となるマクロブロックの数が多いフレームは「Ｐピクチャ」のフレームに他ならないからである。
【００４２】
また、イントラ符号化を行う「Ｉピクチャ」はフレーム間で符号化が行われないため、同一となるマクロブロックの数はほとんどないと推測される。
【００４３】
また、両方向予測符号化を行う「Ｂピクチャ」の場合は、「Ｐピクチャ」と「Ｉピクチャ」の間にあると推測される。
【００４４】
そこで、まず「Ｐピクチャ」が何フレーム前のフレームから生成されているかを検出する。
【００４５】
次に、そのフレーム間隔でのマクロブロック計数値の推移から「Ｐピクチャ」のフレーム間隔でありながら、その間隔に存在する計数値の少ないフレームが存在した場合、イントラ符号化の「Ｉピクチャ」であると推測する。
【００４６】
また、「Ｐピクチャ」、「Ｉピクチャ」のいずれにも属さないフレームが「Ｂピクチャ」のフレームであると推測する。
【００４７】
これにより、ＭＰＥＧ２における全ピクチャタイプが推定される。
【００４８】
次に、本発明の実施の形態について図面と共に説明する。
【００４９】
図３は本発明のピクチャタイプ推定装置の一実施例の構成図である。
【００５０】
本実施の形態におけるピクチャタイプ推定装置３１は、フレーム遅延回路部３２-１〜３２-Ｋ、マクロブロック比較部３３-１〜３３-Ｋ、マクロブロック計数部３４-1〜３４-Ｋ、比較部３６、ピクチャタイプ推定部３７から構成されている。
【００５１】
ピクチャタイプ推定装置３１において、フレーム遅延回路部３２-１〜３２-Ｋには入力画像信号をある基準フレームから、１〜Ｋ（自然数）遅延させたフレームがメモリに蓄積されている。マクロブロック比較部３３-１〜３３-Ｋでは、基準フレームと３２-１〜３２-Ｋに蓄積されたフレームとを１６×１６ｐｉｘｅｌのマクロブロックに分割して、マクロブロックの対応する位置の画素を比較する。ブロック計数部３４-１〜３４-Ｋでは、マクロブロック比較部３３-１〜３３-Ｋにて全画素が一致したマクロブロック数をカウントする。前記計数値推移蓄積部３５-１〜３５-Ｋでは、複数の基準フレームで計数した計数値をＭ（自然数）フレーム分蓄積する。前記比較器３６では、前記計数値蓄積部３５-１〜３５-Ｋに対し、蓄積された計数値の総和を比較し、「Ｐピクチャ」のフレーム間隔を推定すると同時にそのフレーム間隔の計数値蓄積部のデータをピクチャタイプ推定部３７に出力する。前記ピクチャタイプ推定部３７は、入力された計数値の推移からピクチャタイプを推定する。
【００５２】
図３において、入力した画像信号はＭＰＥＧ２映像符号化によって符号化された映像信号を復号したベースバンド信号とする。前記画像信号はフレーム遅延回路部３２-１〜３２-Ｋには、基準フレームとそのフレームから１からＫ（自然数）遅延させたフレームがメモリに蓄積されている。基準フレームは全てのマクロブロック比較部３３-1〜３３-Ｋに出力され、遅延間隔の異なるフレームは別々のマクロブロック比較部に出力する。前記マクロブロック比較部３３-１〜３３-Ｋでは、基準フレームと各遅延間隔の異なったフレームとのマクロブロック単位での比較を行う。
【００５３】
ここで、本発明におけるフレーム比較方法の一具体例を図４にて説明する。
【００５４】
フレーム４１〜４８は画像信号における時間的なフレームの流れを示し、ＭＢ１１〜ＭＢｐｑ（ｐ，ｑ自然数）はフレーム内のマクロブロックを示している。
【００５５】
まず、フレーム４１が図３のマクロブロック比較部３３-１〜３３-Ｋに入力される。次に、1フレーム遅延のフレーム４２がフレーム遅延回路部３２-１からマクロブロック比較部３３-１に、2フレーム遅延のフレーム４３がフレーム遅延回路部３２-２からマクロブロック比較部３３-２に、以下Ｋ（自然数）フレーム遅延のフレーム４５がフレーム遅延回路部３２-Ｋからマクロブロック比較部３３-Ｋに入力される。マクロブロック比較部３３-１はフレーム４１とフレーム４２とを比較する。比較はマクロブロック単位で行われる。
【００５６】
まず、両フレームのマクロブロックＭＢ１１の全画素が一致するか否かを比較し、一致した場合はマクロブロック計数部３４-１に＋１をセットする。同じようにＭＢ１２〜ＭＢｐｑまでの比較を行い、一致した場合はマクロブロック計数部３４-１に＋１をセットする。つまり、マクロブロック計数部３４-１はフレーム内の同一となるマクロブロックの数が計数される。
【００５７】
マクロブロック比較部３４-２では、フレーム４１とフレーム４３において同様の処理が行われ、結果がマクロブロック計数部３４-２で求められる。同様の処理がマクロブロック比較部３３-Ｋでも行われる。
【００５８】
ここまでの処理で、基準フレーム４１と遅延間隔１〜Ｋのフレームとのマクロブロック単位での比較が行われたこととなる。
【００５９】
上記で求められた同一となるマクロブロックの計数値は夫々計数値推移蓄積部３５-１〜３５-Ｋに蓄積される。
【００６０】
次に、フレーム４２を基準フレーム２として前記処理と同様の処理を行う。以下基準フレームがＭフレームとなるまで同様の処理を行う。
【００６１】
図５に、図３における計数部推移蓄積部３５-１〜３５-Ｋの蓄積内容の一具体例を示す。
【００６２】
前記処理により計数値推移蓄積部３５-１には基準フレームから常に1フレーム遅延したフレームとの比較結果がＭフレーム分蓄積される。以下2フレーム遅延したフレームとの結果は計数値推移蓄積部３５-２に、Ｋフレーム遅延したフレームとの結果は計数値推移蓄積部３５-Ｋに蓄積される。
【００６３】
比較部は前記計数値推移蓄積部３５-１〜３５-Ｋに別々蓄積されたＭフレーム分の計数値の総和を算出する。ここで、総和が所定の値以上となる蓄積部の中で、フレーム間隔が最小の蓄積部３５-ｋは、前方向予測符号におけるスキップマクロブロックが多く含まれる「Ｐピクチャ」のフレーム間隔であると推定される。
【００６４】
前記比較器３６は、前記蓄積部３５-ｋ内の同位置同値のマクロブロック計数値をピクチャタイプ推定部３７へ出力する。前記ピクチャタイプ推定部は、入力された同位置同値のマクロブロック計数値の推移から、所定の値以上となるフレームを「Ｐピクチャ」のフレームであると推定する。
【００６５】
ここで、「Ｐピクチャ」と推定されるフレーム間隔は一定であり、総和が所定の値以上となるフレーム間隔のうち最小の遅延間隔３５-ｋと一致する。
【００６６】
しかし、「Ｐピクチャ」と推定されるフレーム間隔のＺ（自然数）回に一度、同位置同値のマクロブロックの計数値が極端に少なくなるフレームが存在する。これは、前記フレームがイントラ符号化を行っているフレームであると推測でき、「Ｉピクチャ」のフレームであると推定される。
【００６７】
また、前記の「Ｐピクチャ」、「Ｉピクチャ」のいずれにも属さないフレームは「Ｂピクチャ」であると推定する。
【００６８】
よってＭＰＥＧ２の画像信号における全てのピクチャタイプが推定される。
【００６９】
図６にＩＴＥ標準動画像（映像メディア学会編「ハイビジョン・システム評価用標準動画像」平成７年３月）の中のsprinklingで広く知られているエンコーダであるＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１ ＴｅｓｔＭｏｄｅｌ５を用いて１８ＭＢで符号化し、作成された圧縮画像情報を復号化した画像信号を入力とした場合における本発明の実施結果の一例を示す。
【００７０】
図６では図３の計数値推移蓄積部３５-１〜３５-Ｋに蓄積されたフレーム数Ｍ（Ｍ＝１５０）における、基準フレームからの各遅延フレーム間隔での同位置同値のブロック数の推移を示している。
【００７１】
ここで、遅延フレーム毎でのマクロブロック個数を比較すると３フレーム前（遅延間隔Ｋ＝３）の時に、同位置同値のマクロブロック数の総和が所定の値以上となることがわかる。よって「Ｐピクチャ」のフレーム間隔Ｎは３であると推定される。
【００７２】
また、遅延フレーム間隔Ｎが３の時、フレーム数毎の同位置同値のマクロブロック数を見ると、３フレーム毎に同値ブロック数が所定の値以上となっていることがわかる。よって、所定の値以上となっているフレームは、前方向予測を行った「Ｐピクチャ」であると推定される。
【００７３】
また、所定の値以上となっている「Ｐピクチャ」のフレームに挟まれたフレームは「Ｂピクチャ」であると推定される。
【００７４】
なお、同位置同値のマクロブロック数が所定の値以上をとると予想されるフレームでありながら同位置同値のマクロブロック数が極端に少ないフレームが存在するが、これは予測を用いて符号化を行っていないことが推測でき、イントラ符号化である「Ｉピクチャ」であることが推定される。
【００７５】
なお、本発明で説明したマクロブロックについては、そのブロックの範囲を１６×１６ｐｉｘｅｌとしたが、特にこの範囲に限定されるものではない。
【００７６】
本発明におけるピクチャタイプの推定方法を利用することで、画像信号における各フレームのピクチャタイプを測定することができる画像測定装置を提供することができる。
【００７７】
また、図７に本発明のピクチャタイプ推定装置を含む符号化器の一実施例を示す。
【００７８】
図７における符号化器７０は、ピクチャタイプ推定装置３１、符号化部７２、符号化パラメータ再利用部７３から構成されている。
【００７９】
符号化画像信号（ビットストリーム）は復号化器７１によりベースバンド信号に変換される。前記ベースバンド信号は符号化器７０に入力すると、ピクチャタイプ推定装置３１により、復号化器７１に入力する前の符号化画像信号の符号化時に使用された符号化パラメータを推定することができる。
【００８０】
推定された符号化パラメータは、符号化パラメータ再利用部７３に出力し、前記符号化パラメータを利用して再符号化を行うことにより、画像信号の符号化時に同一のピクチャタイプで符号化を行うことができ、画質劣化を低減させた符号化画像信号を生成することができる。
【００８１】
一般に、異なるピクチャタイプで再符号化を行った場合と比較すると、０．１ｄＢ〜０．５ｄＢの画質改善を行うことができる。
【００８２】
また、復号化器７１にピクチャタイプ推定装置３１を設けた場合、符号化器７０には、ピクチャタイプ推定装置３１から得られる符号化パラメータを利用するための符号化パラメータ再利用部７３を設ける必要があり、復号化器及び符号化器の機能の追加が必要となるため高コストとなる。
【００８３】
しかしながら、図７に示すように符号化器７０内にピクチャタイプ推定装置３１を設けることで特殊な復号化器を用いる必要がなくなり低コスト化につながる。
【００８４】
本発明では、従来手法と比べてピクチャタイプのサンプルを得るための再符号化を必要としないためシステムを簡便に実現することができ、また、大量のサンプル画像を必要とせずにピクチャタイプの推定を行うことができるピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器を提供することができる。
【００８５】
【発明の効果】
本発明では、高能率符号化されたテレビジョン信号の復号画像信号のみから、符号化時の符号化パラメータや画質に関係する物理量などの画像の属性を推定するものであり、画面の編集、画像伝送によって符号化、復号化を繰り返す場合における画質劣化の改善に効果を発揮する。
【図面の簡単な説明】
【図１】画像信号におけるピクチャタイプ（フレーム）の配列の一構成図
【図２】従来のピクチャタイプ推定装置の一構成例である。
【図３】本発明のピクチャタイプ推定装置の一実施例の構成図である。
【図４】本発明におけるフレーム比較方法の一具体例である。
【図５】計数部推移蓄積部３５-１〜３５-Ｋの蓄積内容の一具体例である。
【図６】本発明の実施結果の一例の図である。
【図７】本発明のピクチャタイプ推定装置を含む符号化器の一実施例の構成図である。
【符号の説明】
１１ Ｉピクチャのフレーム
１２ Ｐピクチャのフレーム
１３ Ｂピクチャのフレーム
２１ 固定量子化符号化器
２２ 発生情報量演算部
２３ ピクチャタイプ推定部
２４ ＭＣ（動き補償器）
２５ ＤＣＴ（離散コサイン変換）
２６ 量子化器
２７ ＶＬＣ（可変長符号化器）
３１ ピクチャタイプ推定装置
３２-１〜３２-Ｋ フレーム遅延回路部
３３-１〜３３-Ｋ マクロブロック比較部
３４-１〜３４-Ｋ マクロブロック計数部
３５-１〜３５-Ｋ 計数値推移蓄積部
３６ 比較部
３７ ピクチャタイプ推定部
４１〜４８ 画像信号のフレーム
７０ 符号化器
７１ 復号化器
７２ 符号化部
７３ 符号化パラメータ再利用部
Claims (10)
- 複数のピクチャタイプから構成されているテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプ推定方法であって、
入力した復号画像信号中の基準フレームと、前記基準フレームから１〜Ｋ（自然数）遅延させた各フレーム間とで、夫々のフレームを複数のブロックに分割し、分割した各ブロックにおいて、対応するブロック位置の全画素値が一致する同一ブロック数を計数し、更に前記基準フレームを順次１フレーム単位でずらしながら前記１〜Ｋ（自然数）遅延させた各フレーム間とで、前記同一ブロック数の計数をＭ（自然数）回行う計数段階と、
前記計数段階により得られる計数値を前記基準フレームからのフレーム間隔毎に夫々蓄積する蓄積段階と、
前記蓄積段階により蓄積された前記フレーム間隔毎のＭ回分の計数値の総和を算出し、算出された総和と所定の総和値とを比較して、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔のＭ回分の計数値を出力する比較段階と、
前記比較段階により比較結果として入力される前記フレーム間隔のＭ回分の計数値の推移から、前記計数値と所定の計数値との大小比較によりピクチャタイプを推定するピクチャタイプ推定段階とを有することを特徴とするピクチャタイプ推定方法。 - 前記比較段階は、
前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔Ｎ（１≦Ｎ≦Ｋを満たす自然数）を「Ｐピクチャ」のフレームが出現する間隔であるとすることを特徴とする請求項１記載のピクチャタイプ推定方法。 - 前記ピクチャタイプ推定段階は、
前記比較段階により比較結果として入力される前記フレーム間隔のＭ回分の計数値に対して、所定の計数値以上となるフレームを「Ｐピクチャ」と推定し、所定の計数値以下のフレームを「Ｉピクチャ」と推定することを特徴とする請求項１又は２記載のピクチャタイプ推定方法。 - 前記ピクチャタイプ推定段階は、
前記復号画像信号中の各フレームにおいて、前記「Ｐピクチャ」及び前記「Ｉピクチャ」と推定されたフレーム以外のフレームを「Ｂピクチャ」と推定することを特徴とする請求項３記載のピクチャタイプ推定方法。 - 複数のピクチャタイプから構成されているテレビジョン信号の復号画像信号のみから、画像のピクチャタイプを推定するピクチャタイプ推定装置であって、
入力した復号画像信号中の基準フレームと、前記基準フレームから１〜Ｋ（自然数）遅延させた各フレーム間とで、夫々のフレームを複数のブロックに分割し、分割した各ブロックにおいて、対応するブロック位置の全画素値が一致する同一ブロック数を計数し、更に前記基準フレームを順次１フレーム単位でずらしながら前記１〜Ｋ（自然数）遅延させた各フレーム間とで、前記同一ブロック数の計数をＭ（自然数）回行う計数部と、
前記計数部により得られる計数値を前記基準フレームからのフレーム間隔毎に夫々蓄積する蓄積部と、
前記蓄積部により蓄積された前記フレーム間隔毎のＭ回分の計数値の総和を算出し、算出された総和と所定の総和値とを比較して、前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔のＭ回分の計数値を出力する比較部と、
前記比較部により比較結果として入力される前記フレーム間隔のＭ回分の計数値の推移から、前記計数値と所定の計数値との大小比較によりピクチャタイプを推定するピクチャタイプ推定部とを有することを特徴とするピクチャタイプ推定装置。 - 前記比較部は、
前記総和が前記所定の総和値以上であり、更に前記フレーム間隔が最小となるフレーム間隔Ｎ（１≦Ｎ≦Ｋを満たす自然数）を「Ｐピクチャ」のフレームが出現する間隔であるとすることを特徴とする請求項５記載のピクチャタイプ推定装置。 - 前記ピクチャタイプ推定部は、
前記比較部により比較結果として入力される前記フレーム間隔のＭ回分の計数値に対して、所定の計数値以上となるフレームを「Ｐピクチャ」と推定し、所定の計数値以下のフレームを「Ｉピクチャ」と推定することを特徴とする請求項５又は６記載のピクチャタイプ推定装置。 - 前記ピクチャタイプ推定部は、
前記復号画像信号中の各フレームにおいて、前記「Ｐピクチャ」及び前記「Ｉピクチャ」と推定されたフレーム以外のフレームを「Ｂピクチャ」と推定することを特徴とする請求項７記載のピクチャタイプ推定装置。 - 請求項５ないし８のいずれか一項記載のピクチャタイプ推定装置を用いた画像測定装置。
- 請求項５ないし８のいずれか一項記載のピクチャタイプ推定装置を用いた符号化器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001303062A JP4217011B2 (ja) | 2001-09-28 | 2001-09-28 | ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001303062A JP4217011B2 (ja) | 2001-09-28 | 2001-09-28 | ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003111081A JP2003111081A (ja) | 2003-04-11 |
| JP4217011B2 true JP4217011B2 (ja) | 2009-01-28 |
Family
ID=19123205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001303062A Expired - Fee Related JP4217011B2 (ja) | 2001-09-28 | 2001-09-28 | ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4217011B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104242953A (zh) * | 2013-06-21 | 2014-12-24 | 上海华虹集成电路有限责任公司 | 4选1模式信号的解码器 |
| US9723309B2 (en) | 2012-08-23 | 2017-08-01 | Thomson Licensing | Method and apparatus for detecting gradual transition picture in video bitstream |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1699244B1 (en) | 2003-12-25 | 2016-04-06 | NEC Corporation | Moving image encoding method and apparatus |
| JP2009044537A (ja) * | 2007-08-09 | 2009-02-26 | Osaka Univ | 映像ストリーム処理装置及びその制御方法、プログラム、記録媒体 |
| WO2010087129A1 (ja) * | 2009-02-02 | 2010-08-05 | 日本電気株式会社 | ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体 |
| JP5581664B2 (ja) * | 2009-11-20 | 2014-09-03 | 富士通株式会社 | 画像処理装置、及び画像処理方法 |
-
2001
- 2001-09-28 JP JP2001303062A patent/JP4217011B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9723309B2 (en) | 2012-08-23 | 2017-08-01 | Thomson Licensing | Method and apparatus for detecting gradual transition picture in video bitstream |
| CN104242953A (zh) * | 2013-06-21 | 2014-12-24 | 上海华虹集成电路有限责任公司 | 4选1模式信号的解码器 |
| CN104242953B (zh) * | 2013-06-21 | 2017-07-04 | 上海华虹集成电路有限责任公司 | 4选1模式信号的解码器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003111081A (ja) | 2003-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101322413B (zh) | 视频流中的自适应图片组结构 | |
| KR100391027B1 (ko) | 비디오정보를예측부호화하는방법및장치 | |
| US8073048B2 (en) | Method and apparatus for minimizing number of reference pictures used for inter-coding | |
| KR100987765B1 (ko) | 동영상 부호화기에서의 예측 수행 방법 및 장치 | |
| KR100273906B1 (ko) | 동화상가변비트속도부호화장치및방법 | |
| JP4007594B2 (ja) | 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法 | |
| CN109510919B (zh) | 用于感知质量评估的场景变换检测的方法、设备和介质 | |
| US6687296B1 (en) | Apparatus and method for transforming picture information | |
| EP1037469A2 (en) | Apparatus and method for fade detecting and information encoding | |
| US20110211637A1 (en) | Method and system for compressing digital video streams | |
| Lin et al. | Rate control using spline-interpolated RD characteristics | |
| CN101247522A (zh) | 通过再量化的比特速率降低方法 | |
| EP1276330B1 (en) | Video coding using the MPEG4 standard | |
| US6697430B1 (en) | MPEG encoder | |
| JP2004241957A (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| KR20180056382A (ko) | 비디오를 인코딩하기 위한 방법 및 인코더 시스템 | |
| JP4217011B2 (ja) | ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器 | |
| JP4120934B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP2005513896A (ja) | コーディング画像 | |
| JP4107544B2 (ja) | 画像信号の再符号化装置 | |
| JP2002325259A (ja) | 誤り補正に基づいてデジタル画像を符号化する方法 | |
| KR100906473B1 (ko) | 개선된 움직임 벡터 부호화 및 복호화 방법과 그 장치 | |
| US20060109906A1 (en) | Methods and apparatus for dynamically adjusting f-codes for a digital picture header | |
| KR19990082486A (ko) | 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법 | |
| JP4031231B2 (ja) | 符号化パラメータの解析装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081107 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |