JP3956323B2

JP3956323B2 - Image information re-encoding method and apparatus

Info

Publication number: JP3956323B2
Application number: JP20420096A
Authority: JP
Inventors: 康弘滝嶋; 茂之酒澤; 正裕和田
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 1996-07-16
Filing date: 1996-07-16
Publication date: 2007-08-08
Anticipated expiration: 2016-07-16
Also published as: JPH1032829A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報を複数回符号化する場合の再符号化方法及び装置に関し、特に、デジタルテレビジョン伝送、デジタル画像蓄積・伝送システム、画像データベース等における画像情報の再符号化方法及び装置に関する。
【０００２】
【従来の技術】
近年、符号化ビットストリームからデジタル画像情報を復号し、それを異なる符号化条件にて再符号化して伝送や蓄積を行うアプリケーションが増加している。例えば、放送の分野においては、画像素材の収集、テレビ局間の１次分配、家庭への２次分配等、編集処理及び符号化処理を交えながらのデジタル信号の縦列的な伝送、即ち１つの画像を複数回処理する階層的な伝送が行われ、さらに放送形態が多様化するに従ってこの階層的な伝送と異なったより自由度の高い伝送方式が普及しつつある。また、画像データベース等に格納されライブラリとして利用されるビデオクリップについては、多くのユーザからソースが提供されると同時に、多くのユーザがこれを利用し、かつ編集及び符号化を交えて反復的に伝送・蓄積することが行われる。
【０００３】
画像情報を複数回符号化すると画像情報は符号化履歴を有することとなるが、このような画像情報についても、従来技術では、その符号化履歴を無視した形で再符号化が行われる。即ち、再符号化時にもその再符号化器毎に独立のパラメータ、例えばその再符号化器における圧縮率だけを考慮して処理が行われる。
【０００４】
本願出願人は、このような符号化履歴を無視した再符号化が大幅な画質劣化を引き起こすことを定量的に解析し、その結果に鑑みて、前段符号化における符号化パラメータを読出してこれに適応する符号化パラメータを決定し、この決定した符号化パラメータを用いて画像情報の再符号化を行うことを既に提案している（特開平８−１１１８７０号公報）。
【０００５】
【発明が解決しようとする課題】
本願出願人のこの提案技術によると、前段符号化における符号化パラメータをそのまま利用できる場合は問題ないが、例えばデジタルビデオテープ等によって画像情報が提供される場合は、前回の符号化における符号化パラメータが共に提供されないため、これを利用することが不可能となってしまう。
【０００６】
従って本発明の目的は、前段符号化のパラメータを直接入手できない場合にも、符号化履歴を持つ画像に対して良好な画質を得ることができる画像情報の再符号化方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明によれば、符号化履歴を有する画像情報を再符号化する方法であって、入力した画像情報をフレーム内符号化で符号化し、符号化した画像情報の画質を表わすＳＮＲ値を計算し、この計算結果に基づいてそのピクチャの位相を同定することを少なくとも行うことによって前段符号化におけるピクチャタイプの周期及び位相を推定し、該推定したピクチャタイプの周期及び位相を用いて入力された画像情報の再符号化を行う画像情報の再符号化方法が提供される。
【０００８】
さらに本発明によれば、符号化履歴を有する画像情報を再符号化する装置であって、入力した画像情報をフレーム内符号化で符号化し、符号化した画像情報の画質を表わすＳＮＲ値を計算し、この計算結果に基づいてそのピクチャの位相を同定することを少なくとも行うことによって前段符号化におけるピクチャタイプの周期及び位相を推定する手段と、該推定手段によって推定したピクチャタイプの周期及び位相を用いて入力された画像情報の再符号化を行う再符号化手段とを備えた画像情報の再符号化装置が提供される。
【０００９】
再符号化を行う際に、入力した画像情報をフレーム内符号化で符号化し、符号化した画像情報の画質を表わすＳＮＲ値を計算し、この計算結果に基づいてそのピクチャの位相を同定することを少なくとも行うことによって前段符号化における符号化パラメータであるピクチャタイプの周期及び位相を推定し、この推定したピクチャタイプの周期及び位相を用いることにより、前段符号化のパラメータを直接入手できない場合にも、符号化履歴を持つ画像に対して良好な画質の再符号化を行うことができる。
【００１２】
ピクチャタイプの位相の推定が、Ｉピクチャの位相を推定することであることが特に好ましい。
【００１３】
ピクチャタイプの周期の推定が、ＧＯＰ周期及び／又はＩ／Ｐピクチャ周期を推定することであるかもしれない。
【００１４】
符号化パラメータの推定が、入力した画像情報の性質から前段の量子化ステップサイズの推定を行うことを含んでいてもよい。
【００１５】
また、符号化パラメータの推定が、入力した画像情報の性質から前段の画像ブロック境界の推定を行うことを含んでいてもよい。
【００１６】
入力した画像情報が前段の符号化パラメータ情報を伴っているかどうか検出し、伴っていない場合にピクチャタイプの周期及び位相の推定を行うようにすることも好ましい。
【００１７】
【発明の実施の形態】
図１は、本発明の一実施形態における画像情報再符号化装置を概略的に示すブロック図である。
【００１８】
同図において、１０は符号化履歴を有しない画像情報（原画情報）又はＭＰＥＧ−２による符号化履歴を有する画像情報が前段の符号化パラメータを伴って又は前段の符号化パラメータを伴うことなしに入力される入力線路、１１は各フレームについて画像情報と共に入力された前段符号化における符号化パラメータを抽出するか又は入力された画像情報の性質から前段符号化における符号化パラメータを推定する前処理部、１２は同じく符号化履歴を有しない画像情報又は符号化履歴を有する画像情報が入力され、実際に情報圧縮のための符号化を行う符号化部、１３は前処理部１１から与えられる前段の符号化パラメータ等から符号化部１２の符号化動作を制御する符号化制御部、１４は符号化部１２からの符号化ビットストリームが出力される出力線路をそれぞれ示している。符号化履歴を有しない画像情報（原画情報）が入力される場合はこの図１の装置は１回目の符号化装置として働き、符号化履歴を有する画像情報が入力される場合はこの図１の装置は再符号化装置として働く。
【００１９】
図２は、本実施形態における前処理部１１の構成例を概略的に示すブロック図である。
【００２０】
同図において、２０は入力した画像情報が前段の符号化パラメータ情報を伴っているかどうかを検出し分類する検出分類器、２１ａは前段の符号化パラメータとして前段符号化において各フレームがどのピクチャタイプ（Ｉ／Ｐ／Ｂ）で処理されたかを推定してＩ／Ｐ／Ｂ情報を出力するピクチャタイプ推定器、２１ｂは前段の符号化パラメータとして前段符号化における各フレームのピクチャタイプ（Ｉ／Ｐ／Ｂ）情報を抽出してそのＩ／Ｐ／Ｂ情報を出力するピクチャタイプ読出器、２２ａは前段の符号化パラメータとして前段符号化における量子化ステップサイズ（Ｑ）を推定してＱ情報を出力する量子化ステップサイズ推定器、２２ｂは前段の符号化パラメータとして前段符号化の量子化ステップサイズ（Ｑ）情報を抽出してそのＱ情報を出力する量子化ステップサイズ読出器、２３ａは前段の符号化パラメータとして前段符号化におけるブロック境界を推定して画像ブロック境界情報を出力するブロック境界推定器、２３ｂは前段の符号化パラメータとして前段符号化における画像ブロック境界情報を抽出してその画像ブロック境界情報を出力するブロック境界読出器をそれぞれ示している。
【００２１】
検出分類器２０の制御によって、入力した画像情報が前段の符号化パラメータ情報を伴っていない場合（符号化履歴があるのに前段の符号化パラメータ情報を伴っていない場合又は符号化履歴が全くない場合）には、ピクチャタイプ推定器２１ａ、量子化ステップサイズ推定器２２ａ及びブロック境界推定器２３ａが動作して各符号化パラメータの推定を行う。これとは逆に、入力した画像情報が前段の符号化パラメータ情報を伴っている場合には、ピクチャタイプ読出器２１ｂ、量子化ステップサイズ読出器２２ｂ及びブロック境界読出器２３ｂが動作して各符号化パラメータの抽出を行う。なお、ピクチャタイプ読出器２１ｂ、量子化ステップサイズ読出器２２ｂ及びブロック境界読出器２３ｂは、各フレームのヘッダに記録されている符号化パラメータを単に読出すような構成となっている。前処理部１１は、ピクチャタイプ読出器２１ｂ、量子化ステップサイズ読出器２２ｂ及びブロック境界読出器２３ｂを設けることなく、ピクチャタイプ推定器２１ａ、量子化ステップサイズ推定器２２ａ及びブロック境界推定器２３ａのみを設けた構成であってもよい。この場合、入力される全ての画像情報について、符号化パラメータを推定することとなる。
【００２２】
図３は、ピクチャタイプ推定器２１ａの構成例を概略的に示すブロック図である。
【００２３】
この例において、ピクチャタイプ推定器２１ａは、フレーム内符号化におけるＩピクチャの同定を行うものであり、入力画像情報の全フレームをフレーム内符号化する（ただし、量子化ステップサイズ等は固定した状態とする）フレーム内符号器３０と、符号化したビットストリームからＳＮＲ値を計算するＳＮＲ計算器３１と、計算して得たＳＮＲ値からＩピクチャの位相（フレーム位置）を検出するＩピクチャ検出器３２とから構成されている。
【００２４】
図４は、Ｉピクチャの同定を行う場合のフレーム内符号化におけるＳＮＲ値の特性を表わしたものであり、横軸はフレーム番号、縦軸はＳＮＲ値をそれぞれ示しており、パラメータとして量子化ステップサイズ、量子化マトリクス、及び画像種類を用いている。同図から分かるように、フレーム内符号化におけるＳＮＲ値は、量子化マトリクスや前段量子化、画像種類等に依存せず、前段符号化時にＩピクチャ処理されたフレームの方が他のピクチャ（Ｐピクチャ、Ｂピクチャ）で処理されたフレームより高い値を有している。従って、Ｉピクチャのフレーム位置を容易に検出することができる。
【００２５】
なお、図３のピクチャタイプ推定器２１ａは、Ｉピクチャの同定のみを行うものであるが、Ｉピクチャの同定の後、同様の方法でさらにＰピクチャの同定を行うようにしてもよい。Ｉピクチャ及びＰピクチャの同定を行えばＢピクチャの位置が自動的に同定されることは言うまでもない。
【００２６】
図５は、量子化ステップサイズ推定器２２ａの構成例を概略的に示すブロック図である。
【００２７】
この量子化ステップサイズ推定器２２ａは、例えば、入力画像情報について例えばＤＣＴ処理、ＭＥ処理等の前処理をする前処理器５０と、前処理された信号の分布を計算する信号分布計算器５１と、計算して得た分布から前段符号化時の量子化ステップサイズを判定するＱ判定器５２とから構成されている。
【００２８】
図６は、ブロック境界推定器２３ａの構成例を概略的に示すブロック図である。
【００２９】
このブロック境界推定器２３ａは、画像情報のケプストラムを計算するケプストラム計算器６０と、計算して得たケプストラムからブロック歪位置を判定して画像ブロック境界を検出する検出器６１とから構成されており、画像のブロック符号化において発生するブロック歪が周期性を有することから画像情報のケプストラムを求めてブロック境界を推定するものである。このような、画像情報のケプストラム特性については、小田他、「画像信号に対するケプストラム情報の基本特性について」、１９９５年電子情報通信学会総合大会、Ｄ−３６１、８７頁、１９９５年３月に記載されている。
【００３０】
図７は、本実施形態における符号化制御部１３の構成例を概略的に示すブロック図である。
【００３１】
この符号化制御部１３は、符号化部１２からの画像特徴量及び符号化状態を受け取ると共に前処理部１１から前段の符号化における符号化パラメータを受け取り、これらを後述のごとく参照することにより、符号化部１２の符号化における適切なパラメータを決定し、この符号化部１２の動作を制御する。符号化制御部１３は、さらに、符号化履歴を持たない画像情報が入力された場合には、初期パラメータにより規定される制御、即ち入力画像の性質（画像特徴量）及び符号化状態のみを参照し、従来の単一符号化における符号化制御と同様の符号化制御を行う。
【００３２】
図７に示すように、符号化制御部１３は、前処理部１１のピクチャタイプ推定器２１ａ又はピクチャタイプ読出器２１ｂから与えられる前段符号化におけるＩ／Ｐ／Ｂ情報に基づいて、各フレーム毎に、今回の再符号化のピクチャタイプを決定するピクチャタイプ決定部７０と、前処理部１１の量子化ステップサイズ推定器２２ａ又は量子化ステップサイズ読出器２２ｂから与えられる前段符号化におけるＱ情報と符号化部１２から与えられる画像特徴量及び符号化状態とに基づいて、各マクロブロック毎に、今回の再符号化の量子化ステップサイズを決定する量子化ステップサイズ決定部７１と、前処理部１１のブロック境界推定器２３ａ又はブロック境界読出器２３ｂから与えられる前段符号化における画像ブロック境界情報に基づいて、一連の符号化画像を全て処理する毎に、再符号化の画像ブロック位置を決定する画像ブロック位置決定部７２とを備えている。
【００３３】
ピクチャタイプ決定部７０では、入力されるＩ／Ｐ／Ｂ情報に応じて、そのフレームに関する前段符号化がＩピクチャタイプである場合は、再符号化時の符号化をＩピクチャタイプで行うように選択する。このように、Ｉピクチャの位相を前段符号化の場合と同一になるようにすることが最も重要であるが、Ｐピクチャ及びＢピクチャについても、前段符号化の場合と同一位相となるようにしてもよい。
【００３４】
周知のようにＭＰＥＧ−２の符号化においては、フレーム内符号化（Ｉ）、前方向フレーム間予測符号化（Ｐ）及び両方向フレーム間予測符号化（Ｂ）という３種類の異なる予測タイプを周期的に組み合わせることによって、符号化効率の向上を図っている。各ピクチャタイプで予測・符号化された映像フレームは、互いに異なる信号性質を有しているため、再符号化時には、これを考慮した予測ピクチャタイプを選択することが重要となる。即ち、ピクチャタイプの周期、例えばＧＯＰ周期（Ｎ）、Ｉ／Ｐ周期（Ｍ）と共にその位相が前段符号化の場合と一致させて制御すると、大幅な画質劣化を防止することができるのである。
【００３５】
図８は、２種類の画像について、ピクチャタイプの周期を固定して（Ｎ＝１５、Ｍ＝３）再符号化を行った場合において、位相の異なる際の符号化画質特性を比較して示す特性図であり、横軸はフレーム番号、縦軸は２種類の画像についてのＳＮＲ値をそれぞれ示しており、パラメータとしてフレームオフセット量を用いている。ただし、量子化ステップサイズは、固定している（Ｑ＝１２）。
【００３６】
同図より、Ｉ／Ｐピクチャの位相が一致することによって画質劣化が緩和されるが、その劣化を最小に抑えるためには、ＧＯＰ位相（Ｉピクチャの位置）をも一致させることが必要であることが分かる。
【００３７】
量子化ステップサイズ決定部７１では、符号化部１２から与えられる画像特徴量及び符号化状態等から再符号化時のビットレート等に適合する最適な量子化ステップサイズを選択するが、本実施形態ではその際に、再符号化時の量子化ステップサイズＱ₂ を、前段符号化時の量子化ステップサイズＱ₁ に対して、次のＱ規則を満たすように決定する。即ち、Ｑ₂ ≧Ｑ₁ かつＱ₂ ＝ｎ×Ｑ₁ （ただし、ｎは自然数）というＱ規則を満たすように設定する。符号化履歴を有する画像では、量子化により信号レベルの分布が符号化履歴のない画像と大きく異なるため、量子化ステップサイズと量子化歪との間に単調な関係が成立しない。即ち、前段及び再符号化時の量子化ステップサイズの組み合わせにより、符号化歪は一定の関係式で表わされる複雑な変化をする。このため、このように前段符号化の量子化ステップサイズを考慮した量子化ステップサイズの設定が必要となる。
【００３８】
図９は、このＱ規則に従った量子化ステップサイズを用いて再符号化した場合及びこのＱ規則に従わない量子化ステップサイズを用いて再符号化した場合、それぞれの画質特性を示す特性図であり、横軸はビットレート、縦軸はＳＮＲ値をそれぞれ示している。
【００３９】
同図からも分かるように、上述のＱ規則を用いて再符号化した場合に、前段符号化レートよりやや低いレートにおける再符号化画質が向上している。Ｑ規則を用いて再符号化した場合に符号化歪が小さくなる根拠を以下説明する。
【００４０】
１回目の符号化における歪をＥ₁ 、量子化ステップサイズをＱ₁ とし、２回目の符号化における歪をＥ₂ 、量子化ステップサイズをＱ₂ とする。
【数１】

【００４１】
この数式をグラフに表わすと、図１０に示すごとき量子化ステップサイズＱ₁ 及びＱ₂ に対する再符号化歪Ｅ₂ の特性図が得られる。同図より、Ｑ₂ がＱ₁ の倍数であるときに再符号化歪Ｅ₂ が相対的に小さくなっていることが分かる。
【００４２】
画像ブロック位置決定部７２では、前段符号化における画像ブロック境界がそのまま維持されるように、再符号化の画像ブロック位置を設定する。
【００４３】
符号化部１２は、再符号化のための画像情報を取り込み、符号化制御部１３から与えられた符号化パラメータを用いて再符号化を行い、再符号化したビットストリームを出力する。この符号化部１２及び符号化制御部１３のその他の構成及び動作は一般的な符号化装置の場合と同様である。
【００４４】
以下、一般的な符号化装置についてその構成を簡単に説明すると、符号化装置は、動き補償付き予測手段と、直行変換手段と、量子化手段と、符号化手段と、バッファ手段とを直列に接続し、バッファ手段の出力を量子化制御手段に帰還させて上述の量子化手段を制御するように構成されている。動き補償付き予測手段は、入力した現時刻の現画像とその直前の前画像とのＭ×Ｍブロック単位での動きを例えばブロックマッチング法によって検出し、前画像から動きを考慮した現画像の予測画像を作り、現画像と予測画像との差分画像を出力する。直交変換手段は、入力された差分画像をＮ×Ｎのブロックに分割し、例えば離散余弦変換（ＤＣＴ）等で画像をブロック毎に直交変換し、画像ブロック情報を量子化手段へ出力する。量子化手段は、与えられた量子化ステップサイズに基づいて画像ブロック情報を量子化し、量子化された画像情報を出力する。符号化手段は、量子化された画像情報を、例えば連続するゼロデータの個数とそれに続く非ゼロデータのレベルを複合したハフマン符号化法等で可変長符号化し、符号化された画像情報をバッファ手段へ出力する。バッファ手段は、例えばファーストイン・ファーストアウト（ＦＩＦＯ）メモリで構成され、符号化された画像情報を一時的に格納すると共に、ＦＩＦＯの法則に従って一定のビットレートで出力する。量子化制御手段は、バッファ手段の占有量を一定時間おきに観測し、この占有量に応じて量子化手段に与える量子化ステップサイズを決定し、符号発生量を制御する。
【００４５】
以上述べた実施形態においては、符号化パラメータとして、ピクチャタイプ、量子化ステップサイズ及び画像ブロック境界を用いているが、その他に、ピクチャフォーマットや動ベクトル等も符号化パラメータとして用いてもよい。
【００４６】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【００４７】
【発明の効果】
以上詳細に説明したように本発明によれば、再符号化を行う際に、入力した画像情報の性質から前段符号化における符号化パラメータを推定し、この推定した符号化パラメータを用いているので、前段符号化のパラメータを直接入手できない場合にも、符号化履歴を持つ画像に対して良好な画質の再符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像情報再符号化装置を概略的に示すブロック図である。
【図２】図１の実施形態における前処理部の構成例を概略的に示すブロック図である。
【図３】図２の前処理部におけるピクチャタイプ推定器の構成例を概略的に示すブロック図である。
【図４】Ｉピクチャの同定を行う場合のフレーム内符号化におけるＳＮＲ値の特性を表わす特性図である。
【図５】図２の前処理部における量子化ステップサイズ推定器の構成例を概略的に示すブロック図である。
【図６】図２の前処理部におけるブロック境界推定器の構成例を概略的に示すブロック図である。
【図７】図１の実施形態における符号化制御部の構成例を概略的に示すブロック図である。
【図８】ピクチャタイプの周期を固定して再符号化を行った場合において、位相の異なる際の符号化画質特性を比較して示す特性図である。
【図９】Ｑ規則に従った量子化ステップサイズを用いて再符号化した場合及びＱ規則に従わない量子化ステップサイズを用いて再符号化した場合それぞれの画質特性を示す特性図である。
【図１０】量子化ステップサイズＱ₁ 及びＱ₂ に対する再符号化歪Ｅ₂ の特性を表わす特性図である。
【符号の説明】
１０入力線路
１１前処理部
１２符号化部
１３符号化制御部
１４出力線路
２０検出分類器
２１ａピクチャタイプ推定器
２１ｂピクチャタイプ読出器
２２ａ量子化ステップサイズ推定器
２２ｂ量子化ステップサイズ読出器
２３ａブロック境界推定器
２３ｂブロック境界読出器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a re-encoding method and apparatus for encoding image information a plurality of times, and more particularly to a re-encoding method and apparatus for image information in a digital television transmission, a digital image storage / transmission system, an image database, and the like. .
[0002]
[Prior art]
In recent years, an application has been increasing in which digital image information is decoded from an encoded bitstream and re-encoded under different encoding conditions for transmission and storage. For example, in the field of broadcasting, digital signal tandem transmission, ie, one image, while collecting editing materials and encoding processing such as collection of image materials, primary distribution between TV stations, secondary distribution to homes, etc. Transmission is performed a plurality of times, and transmission schemes with a higher degree of freedom different from this hierarchical transmission are becoming widespread as the broadcasting forms are diversified. As for video clips stored in an image database or the like and used as a library, sources are provided by many users, and at the same time, many users use it and edit and encode it repeatedly. Transmission and storage are performed.
[0003]
When the image information is encoded a plurality of times, the image information has an encoding history, but such image information is also re-encoded with the encoding history ignored in the conventional technology. That is, at the time of re-encoding, processing is performed in consideration of only an independent parameter for each re-encoder, for example, a compression rate in the re-encoder.
[0004]
The applicant of the present application quantitatively analyzed that re-encoding ignoring such an encoding history causes significant image quality degradation, and in view of the result, reads out the encoding parameters in the previous encoding. It has already been proposed to determine an encoding parameter to be applied and re-encode image information using the determined encoding parameter (Japanese Patent Laid-Open No. 8-111870).
[0005]
[Problems to be solved by the invention]
According to the proposed technique of the present applicant, there is no problem when the encoding parameters in the previous encoding can be used as they are, but when image information is provided by digital video tape, for example, the encoding parameters in the previous encoding Are not provided together, making it impossible to use them.
[0006]
Accordingly, an object of the present invention is to provide an image information re-encoding method and apparatus that can obtain a good image quality for an image having an encoding history even when the parameters of the preceding encoding are not directly available. It is in.
[0007]
[Means for Solving the Problems]
According to the present invention, a method of re-encoding image information having an encoding history, wherein input image information is encoded by intra-frame encoding, and an SNR value representing the image quality of the encoded image information is calculated. , Estimating at least the phase and phase of the picture type in the preceding coding by identifying the phase of the picture based on the calculation result, and inputting the image using the estimated period and phase of the picture type An image information re-encoding method for re-encoding information is provided.
[0008]
Furthermore, according to the present invention, an apparatus for re-encoding image information having an encoding history, wherein input image information is encoded by intra-frame encoding, and an SNR value representing the image quality of the encoded image information is calculated. And means for estimating the period and phase of the picture type in the preceding coding by at least identifying the phase of the picture based on the calculation result, and the period and phase of the picture type estimated by the estimation means. There is provided an image information re-encoding device including re-encoding means for re-encoding image information input using the same.
[0009]
When re-encoding, input image information is encoded by intra-frame encoding, an SNR value representing the image quality of the encoded image information is calculated, and the phase of the picture is identified based on the calculation result Even if it is impossible to directly obtain the parameters of the preceding coding by estimating the period and the phase of the picture type, which is the coding parameter in the preceding coding, by using the estimated period and the phase of the picture type by performing at least Thus, re-encoding with good image quality can be performed on an image having an encoding history.
[0012]
It is particularly preferred that the estimation of the phase of the picture type is to estimate the phase of the I picture.
[0013]
The estimation of the picture type period may be to estimate the GOP period and / or the I / P picture period.
[0014]
The estimation of the encoding parameter may include estimating the preceding quantization step size from the nature of the input image information.
[0015]
In addition, the estimation of the encoding parameter may include estimating the preceding image block boundary from the nature of the input image information.
[0016]
It is also preferable to detect whether the input image information is accompanied by the preceding encoding parameter information, and to estimate the period and phase of the picture type if it is not.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram schematically showing an image information re-encoding device according to an embodiment of the present invention.
[0018]
In the figure, reference numeral 10 denotes image information having no encoding history (original image information) or image information having an encoding history according to MPEG-2 with or without the preceding encoding parameter. An input line 11 that is input is a pre-processing unit that extracts the encoding parameters in the preceding encoding input together with the image information for each frame or estimates the encoding parameters in the preceding encoding from the properties of the input image information , 12 is an encoding unit for inputting image information having no encoding history or image information having an encoding history, and actually performing encoding for information compression, and 13 is a preceding stage given from the preprocessing unit 11. An encoding control unit that controls the encoding operation of the encoding unit 12 based on encoding parameters and the like, and 14 is an output of an encoded bit stream from the encoding unit 12. Respectively show the output line to be. When image information having no encoding history (original image information) is input, the apparatus shown in FIG. 1 functions as a first encoding apparatus. When image information having an encoding history is input, the apparatus shown in FIG. The device acts as a re-encoding device.
[0019]
FIG. 2 is a block diagram schematically showing a configuration example of the preprocessing unit 11 in the present embodiment.
[0020]
In the figure, 20 is a detection classifier that detects and classifies whether or not the input image information is accompanied by the preceding encoding parameter information, and 21a is the preceding encoding parameter, which picture type ( A picture type estimator 21b that estimates whether or not it has been processed by I / P / B) and outputs I / P / B information. 21b is a picture type (I / P / B) A picture type reader that extracts information and outputs the I / P / B information, and 22a estimates the quantization step size (Q) in the preceding coding as the preceding coding parameter and outputs the Q information. The quantization step size estimator 22b extracts the quantization step size (Q) information of the previous stage encoding as the previous stage encoding parameter, and calculates the Q Quantization step size reader 23 for outputting the information, 23a is a block boundary estimator for estimating the block boundary in the previous stage encoding as the previous stage encoding parameter, and outputs image block boundary information, and 23b is the previous stage as the previous stage encoding parameter. 2 shows block boundary readers that extract image block boundary information in encoding and output the image block boundary information.
[0021]
When the input image information is not accompanied by the preceding encoding parameter information by the control of the detection classifier 20 (when there is an encoding history but not the preceding encoding parameter information or there is no encoding history at all) Case), the picture type estimator 21a, the quantization step size estimator 22a, and the block boundary estimator 23a operate to estimate each encoding parameter. On the other hand, when the input image information is accompanied by the preceding encoding parameter information, the picture type reader 21b, the quantization step size reader 22b, and the block boundary reader 23b operate and each code is read out. Extraction parameters are extracted. Note that the picture type reader 21b, the quantization step size reader 22b, and the block boundary reader 23b are configured to simply read the encoding parameters recorded in the header of each frame. The preprocessing unit 11 does not include the picture type reader 21b, the quantization step size reader 22b, and the block boundary reader 23b, and only the picture type estimator 21a, the quantization step size estimator 22a, and the block boundary estimator 23a. May be provided. In this case, encoding parameters are estimated for all input image information.
[0022]
FIG. 3 is a block diagram schematically showing a configuration example of the picture type estimator 21a.
[0023]
In this example, the picture type estimator 21a performs identification of an I picture in intraframe encoding, and intraframe encodes all frames of input image information (however, the quantization step size and the like are fixed). And an intra-frame encoder 30; an SNR calculator 31 that calculates an SNR value from the encoded bitstream; and an I-picture detector that detects the phase (frame position) of the I picture from the calculated SNR value. 32.
[0024]
FIG. 4 shows the characteristics of the SNR value in intra-frame coding when I picture identification is performed. The horizontal axis indicates the frame number, the vertical axis indicates the SNR value, and the quantization step is used as a parameter. Size, quantization matrix, and image type are used. As can be seen from the figure, the SNR value in the intra-frame coding does not depend on the quantization matrix, the previous stage quantization, the image type, and the like, and the I picture processed frame at the time of the previous stage coding has another picture (P It has a higher value than the frame processed in (picture, B picture). Therefore, it is possible to easily detect the frame position of the I picture.
[0025]
Note that the picture type estimator 21a shown in FIG. 3 performs only the identification of the I picture. However, after the identification of the I picture, the P picture may be further identified by the same method. Needless to say, if the I picture and the P picture are identified, the position of the B picture is automatically identified.
[0026]
FIG. 5 is a block diagram schematically showing a configuration example of the quantization step size estimator 22a.
[0027]
The quantization step size estimator 22a includes, for example, a preprocessor 50 that performs preprocessing such as DCT processing and ME processing on input image information, and a signal distribution calculator 51 that calculates the distribution of preprocessed signals. , And a Q determination unit 52 that determines a quantization step size at the time of preceding encoding from a distribution obtained by calculation.
[0028]
FIG. 6 is a block diagram schematically showing a configuration example of the block boundary estimator 23a.
[0029]
The block boundary estimator 23a includes a cepstrum calculator 60 that calculates a cepstrum of image information, and a detector 61 that determines a block distortion position from the calculated cepstrum and detects an image block boundary. Since block distortion generated in image block coding has periodicity, a block boundary is estimated by obtaining a cepstrum of image information. Such cepstrum characteristics of image information are described in Oda et al., “Basic characteristics of cepstrum information for image signals”, 1995 IEICE General Conference, D-361, p. 87, March 1995. ing.
[0030]
FIG. 7 is a block diagram schematically showing a configuration example of the encoding control unit 13 in the present embodiment.
[0031]
The encoding control unit 13 receives the image feature amount and the encoding state from the encoding unit 12 and also receives the encoding parameters in the preceding encoding from the preprocessing unit 11, and refers to these as described later. Appropriate parameters for the encoding unit 12 are determined, and the operation of the encoding unit 12 is controlled. Further, when image information having no encoding history is input, the encoding control unit 13 refers to only the control defined by the initial parameters, that is, the input image property (image feature amount) and the encoding state. Then, encoding control similar to the encoding control in the conventional single encoding is performed.
[0032]
As shown in FIG. 7, the encoding control unit 13 performs each frame based on the I / P / B information in the pre-encoding provided from the picture type estimator 21a or the picture type reader 21b of the preprocessing unit 11. In addition, the picture type determination unit 70 that determines the picture type of the current re-encoding, and the Q information in the previous stage encoding provided from the quantization step size estimator 22a or the quantization step size reader 22b of the preprocessing unit 11 A quantization step size determining unit 71 that determines the quantization step size of the current re-encoding for each macroblock based on the image feature amount and the encoding state given from the encoding unit 12, and a preprocessing unit 11 block boundary estimator 23a or block boundary reader 23b. Whenever it processes all the series of encoded image, and an image block position determining unit 72 for determining an image block position recoding.
[0033]
In the picture type determination unit 70, if the previous encoding for the frame is the I picture type according to the input I / P / B information, the encoding at the time of re-encoding is performed with the I picture type. select. As described above, it is most important to set the phase of the I picture to be the same as that in the case of the preceding encoding, but the P picture and the B picture are also set to the same phase as in the preceding encoding. Also good.
[0034]
As is well known, in MPEG-2 encoding, three different types of predictions, i.e., intra-frame encoding (I), forward inter-frame prediction encoding (P), and bi-directional inter-frame prediction encoding (B), are periodically generated. By combining them, the encoding efficiency is improved. Since video frames predicted and encoded by each picture type have different signal properties, it is important to select a predicted picture type that takes this into consideration when re-encoding. In other words, if the phase of the picture type, for example, the GOP period (N) and the I / P period (M), and the phase thereof are made to coincide with those in the case of the preceding encoding, significant image quality deterioration can be prevented.
[0035]
FIG. 8 shows a comparison of encoded image quality characteristics when the phases are different when two types of images are re-encoded with a fixed picture type period (N = 15, M = 3). In the characteristic diagram, the horizontal axis indicates the frame number, the vertical axis indicates the SNR value for two types of images, and the frame offset amount is used as a parameter. However, the quantization step size is fixed (Q = 12).
[0036]
According to the figure, image quality degradation is mitigated by matching the phases of the I / P pictures, but in order to minimize the degradation, it is necessary to match the GOP phases (I picture positions) as well. I understand that.
[0037]
The quantization step size determination unit 71 selects an optimal quantization step size that matches the bit rate at the time of re-encoding from the image feature amount and the encoding state given from the encoding unit 12. At that time, the quantization step size Q ₂ at the time of re-encoding is determined so as to satisfy the following Q rule with respect to the quantization step size Q ₁ at the time of previous encoding. That is, it is set so as to satisfy the Q rule of Q ₂ ≧ Q ₁ and Q ₂ = n × Q ₁ (where n is a natural number). In an image having an encoding history, a signal level distribution is significantly different from that of an image having no encoding history due to quantization, and thus a monotonous relationship is not established between the quantization step size and the quantization distortion. That is, the coding distortion changes in a complicated manner represented by a certain relational expression, depending on the combination of the preceding step and the quantization step size at the time of re-encoding. For this reason, it is necessary to set the quantization step size in consideration of the quantization step size of the preceding encoding.
[0038]
FIG. 9 is a characteristic diagram showing image quality characteristics when re-encoding is performed using a quantization step size according to the Q rule and when re-encoding is performed using a quantization step size not complying with the Q rule. The horizontal axis represents the bit rate and the vertical axis represents the SNR value.
[0039]
As can be seen from the figure, when re-encoding is performed using the above-described Q rule, the re-encoding image quality at a rate slightly lower than the preceding encoding rate is improved. The reason why the encoding distortion is reduced when re-encoding using the Q rule will be described below.
[0040]
The distortion in the _first encoding is E ₁ , the quantization step size is Q ₁ , the distortion in the _second encoding is E ₂ , and the quantization step size is Q ₂ .
[Expression 1]

[0041]
When this mathematical expression is represented in a graph, a characteristic diagram of the re-encoding distortion E _{2 with} respect to the quantization step sizes Q ₁ and Q ₂ can be obtained as shown in FIG. From the figure, it can be seen that the re-encoding distortion E ₂ is relatively small when Q ₂ is a multiple of Q ₁ .
[0042]
The image block position determination unit 72 sets the image block position for re-encoding so that the image block boundary in the previous encoding is maintained as it is.
[0043]
The encoding unit 12 takes in image information for re-encoding, performs re-encoding using the encoding parameter given from the encoding control unit 13, and outputs a re-encoded bit stream. Other configurations and operations of the encoding unit 12 and the encoding control unit 13 are the same as those of a general encoding apparatus.
[0044]
Hereinafter, the configuration of a general coding apparatus will be briefly described. The coding apparatus includes a motion compensation prediction means, an orthogonal transform means, a quantization means, a coding means, and a buffer means in series. The above-described quantization means is controlled by connecting and feeding back the output of the buffer means to the quantization control means. The prediction means with motion compensation detects the motion in units of M × M blocks between the input current image at the current time and the previous previous image by, for example, a block matching method, and predicts the current image in consideration of the motion from the previous image. An image is created and a difference image between the current image and the predicted image is output. The orthogonal transform unit divides the input difference image into N × N blocks, performs orthogonal transform of the image for each block by, for example, discrete cosine transform (DCT), and outputs the image block information to the quantization unit. The quantization means quantizes the image block information based on the given quantization step size, and outputs the quantized image information. The encoding means performs variable length encoding on the quantized image information by, for example, a Huffman encoding method that combines the number of consecutive zero data and the level of non-zero data that follows, and buffers the encoded image information. Output to the means. The buffer means is composed of, for example, a first-in first-out (FIFO) memory, and temporarily stores the encoded image information and outputs it at a constant bit rate in accordance with the FIFO law. The quantization control unit observes the occupation amount of the buffer unit at regular intervals, determines the quantization step size to be given to the quantization unit according to the occupation amount, and controls the code generation amount.
[0045]
In the above-described embodiment, the picture type, quantization step size, and image block boundary are used as the encoding parameters. However, a picture format, a motion vector, and the like may be used as the encoding parameters.
[0046]
The above-described embodiments are all illustrative of the present invention and are not limited to the present invention, and the present invention can be implemented in various other variations and modifications. Therefore, the scope of the present invention is defined only by the claims and their equivalents.
[0047]
【The invention's effect】
As described in detail above, according to the present invention, when re-encoding is performed, the encoding parameter in the previous encoding is estimated from the property of the input image information, and this estimated encoding parameter is used. Even when the pre-encoding parameters cannot be obtained directly, it is possible to perform re-encoding with good image quality on an image having an encoding history.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing an image information re-encoding device according to an embodiment of the present invention.
FIG. 2 is a block diagram schematically showing a configuration example of a preprocessing unit in the embodiment of FIG. 1;
FIG. 3 is a block diagram schematically showing a configuration example of a picture type estimator in the preprocessing unit of FIG. 2;
FIG. 4 is a characteristic diagram showing characteristics of SNR values in intra-frame coding when I picture identification is performed.
5 is a block diagram schematically showing a configuration example of a quantization step size estimator in the preprocessing unit of FIG. 2;
6 is a block diagram schematically showing a configuration example of a block boundary estimator in the preprocessing unit of FIG. 2; FIG.
7 is a block diagram schematically showing a configuration example of an encoding control unit in the embodiment of FIG. 1; FIG.
FIG. 8 is a characteristic diagram showing a comparison of encoded image quality characteristics when the phases are different when re-encoding is performed with a fixed picture type period;
FIG. 9 is a characteristic diagram showing image quality characteristics when re-encoding is performed using a quantization step size according to the Q rule and when re-encoding is performed using a quantization step size not complying with the Q rule.
FIG. 10 is a characteristic diagram showing characteristics of re-encoding distortion E _{2 with} respect to quantization step sizes Q ₁ and Q ₂ .
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Input line 11 Preprocessing part 12 Encoding part 13 Encoding control part 14 Output line 20 Detection classifier 21a Picture type estimator 21b Picture type reader 22a Quantization step size estimator 22b Quantization step size reader 23a Block boundary Estimator 23b Block boundary reader

Claims

A method of re-encoding image information having an encoding history, wherein input image information is encoded by intra-frame encoding, an SNR value representing the image quality of the encoded image information is calculated, and the calculation result is Estimating the period and phase of the picture type in the pre-encoding by at least identifying the phase of the picture based on it, and re-encoding the input image information using the estimated period and phase of the picture type A re-encoding method for image information, characterized in that:

The method according to claim 1 , wherein the phase estimation of the picture type is estimating the phase of an I picture.

The estimate of the period of the picture type, the method according to claim 1 or 2, characterized in that it consists of estimating the GOP period and / or I / P-picture cycle.

Estimates the preceding quantization step size from the property of the input image information, claim 1, characterized in that performing the recoding of the estimated further image information inputted by using the quantization step size 3 The method of any one of these.

Estimating the image block boundary of the front from the property of the input image information, claim 1, characterized in that performing the recoding of the estimated preceding image block boundary further image information input by using the 4 The method of any one of these.

Input image information is detected whether with coding parameter information of the previous, any one of claims 1, wherein the performing with have no period and phase estimation of the picture type when 5 The method described in 1.

An apparatus that re-encodes image information having an encoding history, encodes input image information by intra-frame encoding, calculates an SNR value representing the image quality of the encoded image information, Means for estimating the period and phase of the picture type in the preceding encoding by at least identifying the phase of the picture based on the image, and an image input using the period and phase of the picture type estimated by the estimation means An image information re-encoding device, comprising: re-encoding means for re-encoding information.

8. The apparatus according to claim 7 , wherein the estimating means is means for estimating a phase of an I picture.

9. The apparatus according to claim 7 or 8 , wherein the estimating means includes means for estimating a GOP period and / or an I / P picture period.

The apparatus according to any one of claims 7 to 9 , wherein the estimating means includes means for estimating a quantization step size of a previous stage from the property of input image information.

The apparatus according to any one of claims 7 to 10 , wherein the estimation means includes means for estimating a preceding image block boundary from the nature of the input image information.

The apparatus further comprises means for detecting whether or not a preceding encoding parameter is included in the input image information, and causing the estimation means to estimate a period and a phase of a picture type if not included. Item 12. The apparatus according to any one of Items 7 to 11 .