JP4511649B2 - 画像符号化方式および画像符号化装置 - Google Patents
画像符号化方式および画像符号化装置 Download PDFInfo
- Publication number
- JP4511649B2 JP4511649B2 JP02599199A JP2599199A JP4511649B2 JP 4511649 B2 JP4511649 B2 JP 4511649B2 JP 02599199 A JP02599199 A JP 02599199A JP 2599199 A JP2599199 A JP 2599199A JP 4511649 B2 JP4511649 B2 JP 4511649B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- encoded
- unit
- input
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル圧縮を施された符号化画像を再び符号化する際に、再度の符号化における符号化劣化を最小限に抑えることを可能とする、画像符号化方式および符号化装置に関るものである。
【０００２】
【従来の技術】
図６に、発信局Ａと着信局Ｃとの間を中継する中継局Ｂに設けられた特開平２−１７９１８６号公報に示された従来の画像符号化装置を示す。図において、入力画像１０１に対し発信局Ａの画像符号化器１００が符号化処理を施し画像符号化データ（伝送情報）１０２を生成して中継局Ｂに伝送する。中継局Ｂでは、画像符号化装置の画像復号器１１０がその符号化データ（伝送情報）１０２に対し復号処理を施して、復号処理の出力である復号画像１０３を画像符号化器１００へ出力し、画像符号化器１００がその復号画像１０３に対し再度の符号化処理を施して再符号化データ（伝送情報）１０４として着信局Ｃへ伝送する。着信局Ｃでは、画像復号器１１０がその再符号化データ（伝送情報）１０４を復号して画像を得るようにしている
【０００３】
上記従来例の一連の動作の中で、中継局Ｂで行なっている復号処理、再度の符号化処理が、再符号化処理にあたる。
【０００４】
このような再符号化処理は、例えば、復号中継機能をもつ中継局Ｂを用いてテレビ会議を行う場合において、発信局Ａおよび着信局Ｃとの間で符号化方式が異なる場合に、符号化データ発生量や、各種パラメータ（画像サイズやフレームレートなど）を変更するために一旦復号画像１０３を得た後、再符号化をして整合を図るために行われるものである。
【０００５】
【発明が解決しようとする課題】
しかし、上記のような従来の符号化画像の再符号化方式では、画像符号化データを中継したり変換するために一旦画像に復号した後に、復号画像の内容に関り無く、再度の符号化処理を施すため、再度の符号化処理による符号化画像の画質が劣化するという問題があった。
【０００６】
また、符号化された画像データを編集する場合、符号化データのまま編集が可能な特殊な機材を所有していない場合には、従来のビデオ機器を使用せざるを得ないが、この様な場合にも、符号化データを一旦復号し、復号画像上において映像編集を行ない、編集を行なった画像データについて再度符号化を行なわなければならないため、上記の場合と同様に、再度の符号化処理による符号化画像の画質が劣化するという問題が発生する。
【０００７】
そこで、この発明が解決しようとする課題は、符号化画像の再符号化において、再符号化時の画質劣化を少なくするために、入力される符号化画像から、以前に施された符号化時に使用された符号化パラメータ情報を抽出し、抽出した符号化パラメータ情報を利用した再符号化処理を行い、再符号化された符号化データを生成する画像符号化方式および画像符号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明では、少なくとも一度過去に符号化されその後復号された入力符号化画像信号を直交変換してＤＣＴ係数を求め、このＤＣＴ係数のＤＣ成分およびＡＣ成分を出力する２次元ＤＣＴ部と、この２次元ＤＣＴ部から出力されたＤＣＴ係数のうちＤＣ成分を画像単位でまとめて入力し、この入力されたＤＣ成分の値毎の頻度を出力するＤＣ成分周波数解析部と、このＤＣ成分周波数解析部から出力されたＤＣ成分の値毎の頻度に応じて、前記入力符号化画像信号を以前に符号化したときに使用された符号化ピクチャタイプを推測し、この符号化ピクチャタイプを符号化パラメータとして出力するスペクトラルパターン解析部と、このスペクトラルパターン解析部から出力された符号化パラメータとしての前記符号化ピクチャタイプに基づき、対応する前記入力符号化画像信号を符号化する符号化部とを備え、前記スペクトラルパターン解析部は、前記２次元ＤＣＴ部から出力されるＤＣＴ係数のＤＣ成分とＡＣ成分とを符号化の際のブロック単位に入力し、このブロック単位に前記入力符号化画像信号を以前に符号化したときに使用された量子化ステップサイズを推定して符号化パラメータとして出力するとともに、前記符号化部は、前記スペクトラルパターン解析部から出力された前記符号化ピクチャタイプがフレーム内符号化画像である前記入力符号化画像信号については、前記量子化ステップサイズを使用して符号化を行うことを特徴とする。
【００２４】
【発明の実施の形態】
実施の形態１．
以下、本発明の実施の形態１を、図を用いて詳細に説明する。
図１は、本発明の実施の形態１の画像符号化装置の概略ブロック図を示したものである。図において、１は以前に符号化・復号処理を施された入力符号化画像信号、２は符号化画像解析部、３は符号化部、４は符号化パラメータ、５は符号化制御部、６は再符号化データである。
【００２５】
ここで、この画像符号化装置には、入力符号化画像信号１が直接入力するように復号器（図示せず。）が接続されていても、また、符号化および復号された画像データが編集された後入力するようにビデオ編集機器（図示せず。）やビデオ再生機器（図示せず。）等と接続されるように構成されていても勿論良い。また、この画像符号化装置は、図６の従来技術の図に示すように中継局Ｂに画像号化器１００として画像復号器１１０と共に設けられていても、また画像復号器とは別々に相互に関係なく設けられるものでもどちらでも良く、要は、画像復号器によっていったん符号化画像信号を復号した復号画像信号を、直接入力、または編集や媒体等を介して間接に入力するのを問わないものである。
【００２６】
次に動作を説明する。
まず、以前に符号化・復号処理を施された入力符号化画像信号１は、符号化画像解析部２と、画像符号化部３とに入力される。符号化画像解析部２では、入力された符号化画像信号１を信号処理することにより以前の符号化において使用された符号化パラメータ４を抽出する。抽出された符号化パラメータ４は、符号化部３の一部である符号化制御部５に与えられ、再符号化の制御を行なう。符号化部３により生成された再符号化データ６が再符号化器から出力される。
【００２７】
図２に、符号化部３の構成の一例を示す。
この符号化部３は、たとえばＩＳＯ（国際標準化機構）とＩＥＣ（国際電気標準会議）の合同会議による国際標準化方式ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ１）とに従った構成のものである。図において、２０２は減算器、２０３は動き補償予測器（ＭＣ）、２０４は予測信号、２０５は予測誤差信号、２０６はＤＣＴ部、２０７は変換係数、２０８は量子化部、２１０は量子化インデックス、２１１はバッファ、２１２は逆量子化部、２１３は変換係数、２１４は逆ＤＣＴ（ＩＤＣＴ）部、２１５は局部予測誤差信号、２１６は加算器、２１７は局部復号画像、２１８はフレームメモリである。尚、図１でも説明したように、１は入力符号化画像信号、５は符号化制御部、６は再符号化データである。
【００２８】
次に動作を説明する。
まずディジタル化された入力符号化画像信号１が減算器２０２に入力すると、減算器２０２は、動き補償予測器２０３からの予測信号２０４との差を演算して、予測誤差信号２０５を生成する。
【００２９】
次に、この予測誤差信号２０５がＤＣＴ部２０６に入力して、ＤＣＴ部２０６は、例えば、符号化制御部５からの符号化パラメータ４の指示による符号化モードに従って変換処理を行い、変換係数２０７を生成する。
【００３０】
次に、この変換係数２０７が量子化部２０８に入力して、量子化部２０８は、その変換係数２０７に対して、符号化制御部５からの符号化パラメータ４の指示による量子化ステップサイズに従い、量子化処理を施す。量子化処理された量子化インデックス２１０は、バッファ２１１を介して、様々な符号化パラメータ情報と共に再符号化データ６として送られる。
【００３１】
また、量子化インデックス２１０は、逆量子化部２１２において逆量子化され、得られた変換係数２１３は、逆ＤＣＴ部２１４において逆ＤＣＴを施され、局部予測誤差信号２１５を生成する。局部予測誤差信号２１５は加算器２１６に入力され、動き補償予測器２０３からの予測信号２０４と加算され、局部復号画像２１７を生成し、フレームメモリ２１８に格納する。動き補償予測器２０３では、フレームメモリ２１８に対して、入力画像信号１とのパターンマッチング演算を行ない、最小誤差を与える予測信号２０４を生成する。
【００３２】
従って、この実施の形態１によれば、符号化画像解析部２が入力された符号化画像信号を生成した以前の符号化器で使用された符号化パラメータ４を推測し、符号化制御部５の制御によりその推測された符号化パラメータ４を使用して再符号化することが可能となり、符号化劣化を最小限に抑えた再符号化が可能となる。
【００３３】
実施の形態２．
本実施の形態２は、図１に示す実施の形態１の画像符号化装置の符号化画像解析部２の一例を示したものである。
【００３４】
図３は、本実施の形態２の符号化画像解析部２の一例を示したものである。図において、１は入力符号化画像信号、８は２次元ＤＣＴ部、９はＤＣ成分周波数解析部、１０は周波数スペクトラム、１１はＤＣ係数、１２はスペクトラムパターン解析部である。尚、図１でも説明したように、１は入力符号化画像信号、４は符号化パラメータである。
【００３５】
次に動作を説明する。
符号化画像解析部２に入力された入力符号化画像信号１は、２次元ＤＣＴ部８に入力され、空間成分から２次元の周波数領域へと変換される。変換出力であるＤＣＴ係数のうち、ＤＣ成分１１だけを画像単位でまとめてＤＣ成分周波数解析部９へと入力する。
【００３６】
ＤＣ成分周波数解析部９では、ＤＣ成分の頻度を解析し、その周波数スペクトラム１０を出力する。出力された周波数スペクトラム１０はスペクトラムパターン解析部１２に入力され、解析されたスペクトラムパターンに応じて、入力された符号化画像信号の符号化タイプを判断し、推定した符号化ピクチャタイプ情報を符号化パラメータ４として出力される。
【００３７】
符号化パラメータ４として出力された符号化ピクチャタイプ情報は、図１に示すように符号化制御部５に入力され、ピクチャ単位の符号化制御に使用される。
【００３８】
例えば、入力符号化画像信号がフレーム内符号化ピクチャであると推定される場合には、そのピクチャをフレーム間符号化ピクチャに比べて品質を高く符号化するようにする。また、フレーム間符号化ピクチャであると推定された場合でも、例えば、Ｐピクチャ（前方向動き補償フレーム間予測符号化モードフレーム画像）の場合には、Ｂピクチャ（両方向動き補償フレーム間予測符号化モードフレーム画像）の場合よりも、品質を高く符号化するようにしても良い。
【００３９】
これにより、予測に使用されるフレーム内符号化ピクチャ等については、より高画質に符号化することができ、トータルとしての符号化特性を向上させることができる。
【００４０】
その理由について、図を参照して説明する。
図４は、ＭＰＥＧ動き補償予測方式における予測方式によるピクチャを示すものである。
ＭＰＥＧ動き補償予測方式では、３種類の符号化モード、すなわちフレーム内動き補償予測方式と、前方向動き補償フレーム間予測方式と、両方向動き補償フレーム間予測とがある。図において、Ｉピクチャ（フレーム内符号化モードフレーム画像）Ｆ（０）とＦ（９）は、動き補償予測をしない。Ｉピクチャは、動き補償予測の参照画像として使用されるため、復号画像の画質を高める必要があり、一方で動き補償予測をしないため、符号量はかなり多くなる。
【００４１】
これに対し、Ｐピクチャ（前方向動き補償フレーム間予測符号化モードフレーム画像）Ｆ（３）とＦ（６）は、時間的に前にある画像だけを用い、動き補償予測を行う。ここで、Ｐピクチャは、動き補償予測の参照画像として使用されることがあるため、ある程度の復号画像の画質を高める必要がある。
【００４２】
また、Ｂピクチャ（両方向動き補償フレーム間予測符号化モードフレーム画像）Ｆ（１）、Ｆ（２）、Ｆ（４）、Ｆ（５）、Ｆ（７）およびＦ（８）は、時間的に前後する２つの画像を用いて動き補償予測を行う。ここで、Ｂピクチャは、動き補償予測の参照画像として使用されことがないため、粗い量子化を行うことも可能である。両方向から動き補償予測を行うため、たとえば一定の動きをもつシーケンスで前後のＩとＰピクチャの画質が高ければ、動きベクトルだけで復号画像を得られ符号量は少なくて済む。
【００４３】
このため、上述したように、入力符号化画像信号がフレーム内符号化ピクチャであると推定される場合には、そのピクチャをフレーム間符号化ピクチャに比べて品質を高く符号化したり、フレーム間符号化ピクチャであると推定された場合でも、Ｐピクチャの場合にはＢピクチャの場合よりも品質を高く符号化することにより、高画質に符号化することができ、トータルとしての符号化特性を向上させることが可能になる。
【００４４】
従って、この実施の形態２によれば、符号化画像解析部２が入力された符号化画像信号を生成した以前の符号化器で使用された符号化パラメータ４を推測する際、符号化ピクチャタイプを推測するので、その推測した符号化ピクチャタイプに応じて入力画像信号を再符号化することにより、符号化劣化を最小限に抑えた再符号化が可能となる。
【００４５】
実施の形態３．
本実施の形態３は、図１に示す実施の形態１の画像符号化装置の符号化画像解析部２のさらに別の例を示したものである。
図５は、本実施の形態３の符号化画像解析部２の一例を示したものである。図において、８は２次元ＤＣＴ部、１４はＤＣ／ＡＣ係数、１５はスペクトラムパターン解析部である。尚、図１でも説明したように、１は入力符号化画像信号、２は符号化画像解析部、４は符号化パラメータである。
【００４６】
次に動作を説明する。
まず、符号化画像解析部２に入力された入力符号化画像信号１は、２次元ＤＣＴ部８に入力され、空間成分から２次元の周波数領域へと変換される。
【００４７】
変換出力であるＤＣＴ係数のＤＣ／ＡＣ係数１４は、符号化部３における符号化の際の最小単位のブロック単位にスペクトラムパターン解析部１５に入力する。
【００４８】
スペクトラムパターン解析部１５では、以前の符号化において使用されたブロック単位の量子化ステップサイズを推定し、ブロック単位に推定した量子化ステップサイズ情報１６を出力する。
【００４９】
出力された量子化ステップサイズ情報１６は、図１に示すように符号化制御部５に入力され、ブロック単位の符号化制御に利用される。
【００５０】
例えば、入力符号化画像信号と同程度の品質に再符号化しようとする場合、推定された量子化ステップサイズ情報１６とほぼ同等の量子化ステップサイズを使用した再符号化を行なうことにより、簡易な符号化制御で品質を保つことが可能となる。
【００５１】
従って、この実施の形態３によれば、符号化画像解析部２が入力された符号化画像信号を生成した以前の符号化器で使用された符号化パラメータ４を推測する際、量子化ステップサイズを推測するので、その推測した量子化ステップサイズに応じて入力画像信号を再符号化することにより、符号化劣化を最小限に抑えた再符号化が可能となる。
【００５２】
実施の形態４．
本実施の形態４では、図３に示す実施の形態２の符号化画像解析部２および、図５に示す実施の形態３の符号化画像解析部２の両方の機能を併せもつ符号化画像解析部を有することを特徴とする。尚、本実施の形態４の符号化画像解析部の構成は、図３に示す実施の形態２の符号化画像解析部２の構成と、図５に示す実施の形態３の符号化画像解析部２の構成とを並列に設けた構成（ただし、２次元ＤＣＴ部８は両実施の形態１，２において共通する構成なので、１つあれば十分である。）となるので、図示を省略する。
【００５３】
このため、例えば、本実施の形態４の符号化画像解析部は、図２に示す実施の形態２の符号化画像解析部２から推定される符号化ピクチャタイプ情報と、図３に示す実施の形態３の符号化画像解析部から推定される量子化ステップサイズ情報とを符号化パラメータ４として出力することになり、符号化制御部５がその符号化パラメータ４を使用して符号化部３における符号化を制御することによって、例えば、フレーム内符号化画像については、検出された量子化ステップサイズを直に使用して符号化部３で符号化することにより、ほとんど符号化劣化の無い、再符号化を実現することが可能となる。
【００５４】
【発明の効果】
以上、説明してきたように、本発明では、以前に符号化された符号化画像信号を入力し、符号化画像解析部により以前の符号化において使用された符号化パラメータを推定し、推定された符号化パラメータを使用して再符号化データを生成するように構成しているので、再符号化による画像品質の劣化を最小限に抑えることが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の画像符号化装置の概略ブロック図を示す図。
【図２】 符号化部３の構成の一例を示す図。
【図３】 本実施の形態２の符号化画像解析部２の一例を示す図。
【図４】 ＭＰＥＧ動き補償予測方式における予測方式を示す図。
【図５】 本実施の形態３の符号化画像解析部２の一例を示す図。
【図６】 特開平２−１７９１８６号公報に示された従来の画像符号化装置を示す図。
【符号の説明】
１ 入力符号化画像信号、２ 符号化画像解析部、３ 画像符号化部、４ 符号化パラメータ、５ 符号化制御部、６ 再符号化データ、８ ２次元ＤＣＴ部、９ ＤＣ成分周波数解析部、１０ 周波数スペクトラム、１１ ＤＣ成分、１２ スペクトラムパターン解析部、１４ ＤＣ／ＡＣ係数、１５ スペクトラムパターン解析部。
【発明の属する技術分野】
本発明は、デジタル圧縮を施された符号化画像を再び符号化する際に、再度の符号化における符号化劣化を最小限に抑えることを可能とする、画像符号化方式および符号化装置に関るものである。
【０００２】
【従来の技術】
図６に、発信局Ａと着信局Ｃとの間を中継する中継局Ｂに設けられた特開平２−１７９１８６号公報に示された従来の画像符号化装置を示す。図において、入力画像１０１に対し発信局Ａの画像符号化器１００が符号化処理を施し画像符号化データ（伝送情報）１０２を生成して中継局Ｂに伝送する。中継局Ｂでは、画像符号化装置の画像復号器１１０がその符号化データ（伝送情報）１０２に対し復号処理を施して、復号処理の出力である復号画像１０３を画像符号化器１００へ出力し、画像符号化器１００がその復号画像１０３に対し再度の符号化処理を施して再符号化データ（伝送情報）１０４として着信局Ｃへ伝送する。着信局Ｃでは、画像復号器１１０がその再符号化データ（伝送情報）１０４を復号して画像を得るようにしている
【０００３】
上記従来例の一連の動作の中で、中継局Ｂで行なっている復号処理、再度の符号化処理が、再符号化処理にあたる。
【０００４】
このような再符号化処理は、例えば、復号中継機能をもつ中継局Ｂを用いてテレビ会議を行う場合において、発信局Ａおよび着信局Ｃとの間で符号化方式が異なる場合に、符号化データ発生量や、各種パラメータ（画像サイズやフレームレートなど）を変更するために一旦復号画像１０３を得た後、再符号化をして整合を図るために行われるものである。
【０００５】
【発明が解決しようとする課題】
しかし、上記のような従来の符号化画像の再符号化方式では、画像符号化データを中継したり変換するために一旦画像に復号した後に、復号画像の内容に関り無く、再度の符号化処理を施すため、再度の符号化処理による符号化画像の画質が劣化するという問題があった。
【０００６】
また、符号化された画像データを編集する場合、符号化データのまま編集が可能な特殊な機材を所有していない場合には、従来のビデオ機器を使用せざるを得ないが、この様な場合にも、符号化データを一旦復号し、復号画像上において映像編集を行ない、編集を行なった画像データについて再度符号化を行なわなければならないため、上記の場合と同様に、再度の符号化処理による符号化画像の画質が劣化するという問題が発生する。
【０００７】
そこで、この発明が解決しようとする課題は、符号化画像の再符号化において、再符号化時の画質劣化を少なくするために、入力される符号化画像から、以前に施された符号化時に使用された符号化パラメータ情報を抽出し、抽出した符号化パラメータ情報を利用した再符号化処理を行い、再符号化された符号化データを生成する画像符号化方式および画像符号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明では、少なくとも一度過去に符号化されその後復号された入力符号化画像信号を直交変換してＤＣＴ係数を求め、このＤＣＴ係数のＤＣ成分およびＡＣ成分を出力する２次元ＤＣＴ部と、この２次元ＤＣＴ部から出力されたＤＣＴ係数のうちＤＣ成分を画像単位でまとめて入力し、この入力されたＤＣ成分の値毎の頻度を出力するＤＣ成分周波数解析部と、このＤＣ成分周波数解析部から出力されたＤＣ成分の値毎の頻度に応じて、前記入力符号化画像信号を以前に符号化したときに使用された符号化ピクチャタイプを推測し、この符号化ピクチャタイプを符号化パラメータとして出力するスペクトラルパターン解析部と、このスペクトラルパターン解析部から出力された符号化パラメータとしての前記符号化ピクチャタイプに基づき、対応する前記入力符号化画像信号を符号化する符号化部とを備え、前記スペクトラルパターン解析部は、前記２次元ＤＣＴ部から出力されるＤＣＴ係数のＤＣ成分とＡＣ成分とを符号化の際のブロック単位に入力し、このブロック単位に前記入力符号化画像信号を以前に符号化したときに使用された量子化ステップサイズを推定して符号化パラメータとして出力するとともに、前記符号化部は、前記スペクトラルパターン解析部から出力された前記符号化ピクチャタイプがフレーム内符号化画像である前記入力符号化画像信号については、前記量子化ステップサイズを使用して符号化を行うことを特徴とする。
【００２４】
【発明の実施の形態】
実施の形態１．
以下、本発明の実施の形態１を、図を用いて詳細に説明する。
図１は、本発明の実施の形態１の画像符号化装置の概略ブロック図を示したものである。図において、１は以前に符号化・復号処理を施された入力符号化画像信号、２は符号化画像解析部、３は符号化部、４は符号化パラメータ、５は符号化制御部、６は再符号化データである。
【００２５】
ここで、この画像符号化装置には、入力符号化画像信号１が直接入力するように復号器（図示せず。）が接続されていても、また、符号化および復号された画像データが編集された後入力するようにビデオ編集機器（図示せず。）やビデオ再生機器（図示せず。）等と接続されるように構成されていても勿論良い。また、この画像符号化装置は、図６の従来技術の図に示すように中継局Ｂに画像号化器１００として画像復号器１１０と共に設けられていても、また画像復号器とは別々に相互に関係なく設けられるものでもどちらでも良く、要は、画像復号器によっていったん符号化画像信号を復号した復号画像信号を、直接入力、または編集や媒体等を介して間接に入力するのを問わないものである。
【００２６】
次に動作を説明する。
まず、以前に符号化・復号処理を施された入力符号化画像信号１は、符号化画像解析部２と、画像符号化部３とに入力される。符号化画像解析部２では、入力された符号化画像信号１を信号処理することにより以前の符号化において使用された符号化パラメータ４を抽出する。抽出された符号化パラメータ４は、符号化部３の一部である符号化制御部５に与えられ、再符号化の制御を行なう。符号化部３により生成された再符号化データ６が再符号化器から出力される。
【００２７】
図２に、符号化部３の構成の一例を示す。
この符号化部３は、たとえばＩＳＯ（国際標準化機構）とＩＥＣ（国際電気標準会議）の合同会議による国際標準化方式ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ１）とに従った構成のものである。図において、２０２は減算器、２０３は動き補償予測器（ＭＣ）、２０４は予測信号、２０５は予測誤差信号、２０６はＤＣＴ部、２０７は変換係数、２０８は量子化部、２１０は量子化インデックス、２１１はバッファ、２１２は逆量子化部、２１３は変換係数、２１４は逆ＤＣＴ（ＩＤＣＴ）部、２１５は局部予測誤差信号、２１６は加算器、２１７は局部復号画像、２１８はフレームメモリである。尚、図１でも説明したように、１は入力符号化画像信号、５は符号化制御部、６は再符号化データである。
【００２８】
次に動作を説明する。
まずディジタル化された入力符号化画像信号１が減算器２０２に入力すると、減算器２０２は、動き補償予測器２０３からの予測信号２０４との差を演算して、予測誤差信号２０５を生成する。
【００２９】
次に、この予測誤差信号２０５がＤＣＴ部２０６に入力して、ＤＣＴ部２０６は、例えば、符号化制御部５からの符号化パラメータ４の指示による符号化モードに従って変換処理を行い、変換係数２０７を生成する。
【００３０】
次に、この変換係数２０７が量子化部２０８に入力して、量子化部２０８は、その変換係数２０７に対して、符号化制御部５からの符号化パラメータ４の指示による量子化ステップサイズに従い、量子化処理を施す。量子化処理された量子化インデックス２１０は、バッファ２１１を介して、様々な符号化パラメータ情報と共に再符号化データ６として送られる。
【００３１】
また、量子化インデックス２１０は、逆量子化部２１２において逆量子化され、得られた変換係数２１３は、逆ＤＣＴ部２１４において逆ＤＣＴを施され、局部予測誤差信号２１５を生成する。局部予測誤差信号２１５は加算器２１６に入力され、動き補償予測器２０３からの予測信号２０４と加算され、局部復号画像２１７を生成し、フレームメモリ２１８に格納する。動き補償予測器２０３では、フレームメモリ２１８に対して、入力画像信号１とのパターンマッチング演算を行ない、最小誤差を与える予測信号２０４を生成する。
【００３２】
従って、この実施の形態１によれば、符号化画像解析部２が入力された符号化画像信号を生成した以前の符号化器で使用された符号化パラメータ４を推測し、符号化制御部５の制御によりその推測された符号化パラメータ４を使用して再符号化することが可能となり、符号化劣化を最小限に抑えた再符号化が可能となる。
【００３３】
実施の形態２．
本実施の形態２は、図１に示す実施の形態１の画像符号化装置の符号化画像解析部２の一例を示したものである。
【００３４】
図３は、本実施の形態２の符号化画像解析部２の一例を示したものである。図において、１は入力符号化画像信号、８は２次元ＤＣＴ部、９はＤＣ成分周波数解析部、１０は周波数スペクトラム、１１はＤＣ係数、１２はスペクトラムパターン解析部である。尚、図１でも説明したように、１は入力符号化画像信号、４は符号化パラメータである。
【００３５】
次に動作を説明する。
符号化画像解析部２に入力された入力符号化画像信号１は、２次元ＤＣＴ部８に入力され、空間成分から２次元の周波数領域へと変換される。変換出力であるＤＣＴ係数のうち、ＤＣ成分１１だけを画像単位でまとめてＤＣ成分周波数解析部９へと入力する。
【００３６】
ＤＣ成分周波数解析部９では、ＤＣ成分の頻度を解析し、その周波数スペクトラム１０を出力する。出力された周波数スペクトラム１０はスペクトラムパターン解析部１２に入力され、解析されたスペクトラムパターンに応じて、入力された符号化画像信号の符号化タイプを判断し、推定した符号化ピクチャタイプ情報を符号化パラメータ４として出力される。
【００３７】
符号化パラメータ４として出力された符号化ピクチャタイプ情報は、図１に示すように符号化制御部５に入力され、ピクチャ単位の符号化制御に使用される。
【００３８】
例えば、入力符号化画像信号がフレーム内符号化ピクチャであると推定される場合には、そのピクチャをフレーム間符号化ピクチャに比べて品質を高く符号化するようにする。また、フレーム間符号化ピクチャであると推定された場合でも、例えば、Ｐピクチャ（前方向動き補償フレーム間予測符号化モードフレーム画像）の場合には、Ｂピクチャ（両方向動き補償フレーム間予測符号化モードフレーム画像）の場合よりも、品質を高く符号化するようにしても良い。
【００３９】
これにより、予測に使用されるフレーム内符号化ピクチャ等については、より高画質に符号化することができ、トータルとしての符号化特性を向上させることができる。
【００４０】
その理由について、図を参照して説明する。
図４は、ＭＰＥＧ動き補償予測方式における予測方式によるピクチャを示すものである。
ＭＰＥＧ動き補償予測方式では、３種類の符号化モード、すなわちフレーム内動き補償予測方式と、前方向動き補償フレーム間予測方式と、両方向動き補償フレーム間予測とがある。図において、Ｉピクチャ（フレーム内符号化モードフレーム画像）Ｆ（０）とＦ（９）は、動き補償予測をしない。Ｉピクチャは、動き補償予測の参照画像として使用されるため、復号画像の画質を高める必要があり、一方で動き補償予測をしないため、符号量はかなり多くなる。
【００４１】
これに対し、Ｐピクチャ（前方向動き補償フレーム間予測符号化モードフレーム画像）Ｆ（３）とＦ（６）は、時間的に前にある画像だけを用い、動き補償予測を行う。ここで、Ｐピクチャは、動き補償予測の参照画像として使用されることがあるため、ある程度の復号画像の画質を高める必要がある。
【００４２】
また、Ｂピクチャ（両方向動き補償フレーム間予測符号化モードフレーム画像）Ｆ（１）、Ｆ（２）、Ｆ（４）、Ｆ（５）、Ｆ（７）およびＦ（８）は、時間的に前後する２つの画像を用いて動き補償予測を行う。ここで、Ｂピクチャは、動き補償予測の参照画像として使用されことがないため、粗い量子化を行うことも可能である。両方向から動き補償予測を行うため、たとえば一定の動きをもつシーケンスで前後のＩとＰピクチャの画質が高ければ、動きベクトルだけで復号画像を得られ符号量は少なくて済む。
【００４３】
このため、上述したように、入力符号化画像信号がフレーム内符号化ピクチャであると推定される場合には、そのピクチャをフレーム間符号化ピクチャに比べて品質を高く符号化したり、フレーム間符号化ピクチャであると推定された場合でも、Ｐピクチャの場合にはＢピクチャの場合よりも品質を高く符号化することにより、高画質に符号化することができ、トータルとしての符号化特性を向上させることが可能になる。
【００４４】
従って、この実施の形態２によれば、符号化画像解析部２が入力された符号化画像信号を生成した以前の符号化器で使用された符号化パラメータ４を推測する際、符号化ピクチャタイプを推測するので、その推測した符号化ピクチャタイプに応じて入力画像信号を再符号化することにより、符号化劣化を最小限に抑えた再符号化が可能となる。
【００４５】
実施の形態３．
本実施の形態３は、図１に示す実施の形態１の画像符号化装置の符号化画像解析部２のさらに別の例を示したものである。
図５は、本実施の形態３の符号化画像解析部２の一例を示したものである。図において、８は２次元ＤＣＴ部、１４はＤＣ／ＡＣ係数、１５はスペクトラムパターン解析部である。尚、図１でも説明したように、１は入力符号化画像信号、２は符号化画像解析部、４は符号化パラメータである。
【００４６】
次に動作を説明する。
まず、符号化画像解析部２に入力された入力符号化画像信号１は、２次元ＤＣＴ部８に入力され、空間成分から２次元の周波数領域へと変換される。
【００４７】
変換出力であるＤＣＴ係数のＤＣ／ＡＣ係数１４は、符号化部３における符号化の際の最小単位のブロック単位にスペクトラムパターン解析部１５に入力する。
【００４８】
スペクトラムパターン解析部１５では、以前の符号化において使用されたブロック単位の量子化ステップサイズを推定し、ブロック単位に推定した量子化ステップサイズ情報１６を出力する。
【００４９】
出力された量子化ステップサイズ情報１６は、図１に示すように符号化制御部５に入力され、ブロック単位の符号化制御に利用される。
【００５０】
例えば、入力符号化画像信号と同程度の品質に再符号化しようとする場合、推定された量子化ステップサイズ情報１６とほぼ同等の量子化ステップサイズを使用した再符号化を行なうことにより、簡易な符号化制御で品質を保つことが可能となる。
【００５１】
従って、この実施の形態３によれば、符号化画像解析部２が入力された符号化画像信号を生成した以前の符号化器で使用された符号化パラメータ４を推測する際、量子化ステップサイズを推測するので、その推測した量子化ステップサイズに応じて入力画像信号を再符号化することにより、符号化劣化を最小限に抑えた再符号化が可能となる。
【００５２】
実施の形態４．
本実施の形態４では、図３に示す実施の形態２の符号化画像解析部２および、図５に示す実施の形態３の符号化画像解析部２の両方の機能を併せもつ符号化画像解析部を有することを特徴とする。尚、本実施の形態４の符号化画像解析部の構成は、図３に示す実施の形態２の符号化画像解析部２の構成と、図５に示す実施の形態３の符号化画像解析部２の構成とを並列に設けた構成（ただし、２次元ＤＣＴ部８は両実施の形態１，２において共通する構成なので、１つあれば十分である。）となるので、図示を省略する。
【００５３】
このため、例えば、本実施の形態４の符号化画像解析部は、図２に示す実施の形態２の符号化画像解析部２から推定される符号化ピクチャタイプ情報と、図３に示す実施の形態３の符号化画像解析部から推定される量子化ステップサイズ情報とを符号化パラメータ４として出力することになり、符号化制御部５がその符号化パラメータ４を使用して符号化部３における符号化を制御することによって、例えば、フレーム内符号化画像については、検出された量子化ステップサイズを直に使用して符号化部３で符号化することにより、ほとんど符号化劣化の無い、再符号化を実現することが可能となる。
【００５４】
【発明の効果】
以上、説明してきたように、本発明では、以前に符号化された符号化画像信号を入力し、符号化画像解析部により以前の符号化において使用された符号化パラメータを推定し、推定された符号化パラメータを使用して再符号化データを生成するように構成しているので、再符号化による画像品質の劣化を最小限に抑えることが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の画像符号化装置の概略ブロック図を示す図。
【図２】 符号化部３の構成の一例を示す図。
【図３】 本実施の形態２の符号化画像解析部２の一例を示す図。
【図４】 ＭＰＥＧ動き補償予測方式における予測方式を示す図。
【図５】 本実施の形態３の符号化画像解析部２の一例を示す図。
【図６】 特開平２−１７９１８６号公報に示された従来の画像符号化装置を示す図。
【符号の説明】
１ 入力符号化画像信号、２ 符号化画像解析部、３ 画像符号化部、４ 符号化パラメータ、５ 符号化制御部、６ 再符号化データ、８ ２次元ＤＣＴ部、９ ＤＣ成分周波数解析部、１０ 周波数スペクトラム、１１ ＤＣ成分、１２ スペクトラムパターン解析部、１４ ＤＣ／ＡＣ係数、１５ スペクトラムパターン解析部。
Claims (1)
- 少なくとも一度過去に符号化されその後復号された入力符号化画像信号を直交変換してＤＣＴ係数を求め、このＤＣＴ係数のＤＣ成分およびＡＣ成分を出力する２次元ＤＣＴ部と、
この２次元ＤＣＴ部から出力されたＤＣＴ係数のうちＤＣ成分を画像単位でまとめて入力し、この入力されたＤＣ成分の値毎の頻度を出力するＤＣ成分周波数解析部と、
このＤＣ成分周波数解析部から出力されたＤＣ成分の値毎の頻度に応じて、前記入力符号化画像信号を以前に符号化したときに使用された符号化ピクチャタイプを推測し、この符号化ピクチャタイプを符号化パラメータとして出力するスペクトラルパターン解析部と、このスペクトラルパターン解析部から出力された符号化パラメータとしての前記符号化ピクチャタイプに基づき、対応する前記入力符号化画像信号を符号化する符号化部とを備え、
前記スペクトラルパターン解析部は、前記２次元ＤＣＴ部から出力されるＤＣＴ係数のＤＣ成分とＡＣ成分とを符号化の際のブロック単位に入力し、このブロック単位に前記入力符号化画像信号を以前に符号化したときに使用された量子化ステップサイズを推定して符号化パラメータとして出力するとともに、
前記符号化部は、前記スペクトラルパターン解析部から出力された前記符号化ピクチャタイプがフレーム内符号化画像である前記入力符号化画像信号については、前記量子化ステップサイズを使用して符号化を行うことを特徴とする画像符号化装置。」
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02599199A JP4511649B2 (ja) | 1999-02-03 | 1999-02-03 | 画像符号化方式および画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02599199A JP4511649B2 (ja) | 1999-02-03 | 1999-02-03 | 画像符号化方式および画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000224587A JP2000224587A (ja) | 2000-08-11 |
| JP4511649B2 true JP4511649B2 (ja) | 2010-07-28 |
Family
ID=12181194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02599199A Expired - Lifetime JP4511649B2 (ja) | 1999-02-03 | 1999-02-03 | 画像符号化方式および画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4511649B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4107544B2 (ja) | 2000-10-23 | 2008-06-25 | 三菱電機株式会社 | 画像信号の再符号化装置 |
| JP4697519B2 (ja) * | 2005-02-04 | 2011-06-08 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム |
| US8238423B2 (en) | 2007-09-12 | 2012-08-07 | Sony Corporation | Image processing apparatus and method |
| CN101632307B (zh) * | 2007-09-12 | 2012-12-05 | 索尼株式会社 | 图像处理装置和图像处理方法 |
| EP2187648A4 (en) | 2007-09-12 | 2012-07-11 | Sony Corp | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
| JP5756154B2 (ja) * | 2013-09-24 | 2015-07-29 | 日本電信電話株式会社 | 映像符号化パラメータ算出装置、映像符号化パラメータ算出方法及びプログラム |
-
1999
- 1999-02-03 JP JP02599199A patent/JP4511649B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000224587A (ja) | 2000-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5260782A (en) | Adaptive DCT/DPCM video signal coding method | |
| KR100259561B1 (ko) | 화상 부호화 데이타 재부호화 장치 | |
| JP4077135B2 (ja) | コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 | |
| KR100750136B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| KR101138393B1 (ko) | 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치 | |
| KR101127221B1 (ko) | 주파수 공간에서 컬러 성분간 예측을 이용한 컬러영상부호화/복호화 방법 및 장치 | |
| JP2004343774A (ja) | 映像のレジデュー予測を利用した映像符号化／復号化方法および装置 | |
| KR100694137B1 (ko) | 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체 | |
| JPH1051766A (ja) | 画像符号化データ変換装置 | |
| KR20080088046A (ko) | 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치 | |
| JP5015375B2 (ja) | 小画像を挿入するｍｐｅｇ標準に準拠した画像の符号化方法及び装置 | |
| KR100718121B1 (ko) | 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치 | |
| JP4417054B2 (ja) | 離散コサイン変換係数を参照する動き推定方法及び装置 | |
| JP2004215275A (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
| JP4511649B2 (ja) | 画像符号化方式および画像符号化装置 | |
| KR20050085730A (ko) | 탄력 저장 | |
| JPH0537786A (ja) | 画像データエンコーダおよびデコーダ | |
| JPH08149479A (ja) | 超低ビットレートビデオ符号化方法 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| US20060181650A1 (en) | Encoding method and device | |
| JP4384629B2 (ja) | 符号化誤差測定装置および符号化誤差測定プログラム | |
| JP4361665B2 (ja) | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 | |
| JPH05344492A (ja) | フレーム間予測符号化方式 | |
| KR100228677B1 (ko) | 이산웨이브렛변환(dwt)을 통한 동영상부호화장치 | |
| JP4140163B2 (ja) | 符号化方式変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040623 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070425 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070928 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071015 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071116 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |