JP4264811B2 - 画像復号化装置及び画像復号化方法 - Google Patents
画像復号化装置及び画像復号化方法 Download PDFInfo
- Publication number
- JP4264811B2 JP4264811B2 JP2003142002A JP2003142002A JP4264811B2 JP 4264811 B2 JP4264811 B2 JP 4264811B2 JP 2003142002 A JP2003142002 A JP 2003142002A JP 2003142002 A JP2003142002 A JP 2003142002A JP 4264811 B2 JP4264811 B2 JP 4264811B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- decoding
- mpeg2
- avc
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばＪＶＴ（Joint Model of Enhanced-Compression Video Coding）符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【０００２】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧ（Moving Picture Experts Group ）などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特にＭＰＥＧ２（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【０００４】
かかるＭＰＥＧ２圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、すなわちより高い圧縮率の符号化方式には対応していなかった。
【０００６】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO／IEC 14496-２としてその規格が国際標準に承認された。
【０００７】
さらに近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００８】
また現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、当該Ｈ．２６Ｌではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ符号化方式として行われている。標準化のスケジュールとしては、2003年３月にはＨ．２６４及びＭＰＥＧ−４ Part１０（Advanced Video Coding）という名の元に国際標準となる予定である。
【０００９】
ここでＪＶＴ符号化方式について説明する。入力される画像信号は、まずＡ／Ｄ変換されてディジタル化された後、出力となる画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレーム画像の並べ替えを行う。
【００１０】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【００１１】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【００１２】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【００１３】
このイントラ予測処理において、ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【００１４】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【００１５】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【００１６】
図２に従来のＪＶＴ符号化方式に準拠した画像復号化装置（以下、これをＪＶＴ復号化装置と呼ぶ）１を示す。このＪＶＴ復号化装置１において、外部入力されるビットストリームでなる画像圧縮情報Ｓ１を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００１７】
まず外部入力される画像圧縮情報Ｓ１は、蓄積バッファ２に格納された後、所定タイミングで読み出されて可逆復号化部３に送出される。可逆復号化部３では、予め定められた画像圧縮情報のフォーマット（以下、これをＪＶＴフォーマットと呼ぶ）に基づき、可変長復号化及び算術復号化等の処理が行われる。
【００１８】
その際、可逆復号化部３は、画像圧縮情報Ｓ１に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００１９】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００２０】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２１】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００２２】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２３】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ１０に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２４】
図３に従来のＭＰＥＧ１／２規格に準拠した画像復号化装置（以下、これをＭＰＥＧ１／２復号化装置と呼ぶ）を示す。このＭＰＥＧ１／２復号化装置２０では、外部入力されるビットストリームでなる画像圧縮情報を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００２５】
まず外部入力される画像圧縮情報Ｓ２は、蓄積バッファ２１に格納された後、所定タイミングで読み出されて可逆復号化部２２に送出される。可逆復号化部２２では、予め定められた画像圧縮情報Ｓ２のフォーマット（以下、これをＭＰＥＧ１／２フォーマットと呼ぶ）に基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ２のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００２６】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００２７】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ２７を介して画面並べ替えバッファ２８に一時的に保持される。
【００２８】
その後、画面並べ替えバッファ２８から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部２９においてアナログ変換される一方、当該フレームメモリ２７に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ２７に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２９】
【発明が解決しようとする課題】
ところで、上述したＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、各機能ブロックにおける処理は異なるものの、基本的な回路構成は同一であるため、双方の機能を持った画像復号化装置を構築することが可能である。すなわちＭＰＥＧ１／２フォーマットの画像圧縮情報とＪＶＴフォーマットの画像圧縮情報との双方を復号化する機能を持つ画像復号化装置を構築することが可能である。
【００３０】
具体的にはＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、以下に述べる第１〜第５の違いを有する。
【００３１】
まず第１の違いは、ＪＶＴ復号化装置１においては、可逆復号化部３は所定方式に基づく可変長復号化及び算術復号化の処理を施すのに対して、ＭＰＥＧ１／２復号化装置２０においては、可逆復号化部２２は所定方式に基づく可逆復号化処理を施す点である。
【００３２】
第２の違いは、ＪＶＴ復号化装置１においては、逆直交変換部７は４次の逆離散コサイン変換処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、逆直交変換部２５は８次の逆離散コサイン変換処理を施す点である。
【００３３】
第３の違いは、復号画像をフレームメモリ２７に格納するに先立ち、ＪＶＴ復号化装置１においては、デブロックフィルタ９がブロック歪の除去を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、ブロック歪の除去を行わない点である。
【００３４】
第４の違いは、マクロブロックがイントラマクロブロックである場合、ＪＶＴ復号化装置１においては、イントラ予測部４は画面内符号化により予測画像の生成を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、画面内符号化による予測画像の生成を行わない点である。
【００３５】
第５の違いは、ＪＶＴ復号化装置１においては、動き予測・補償部５はマルチプルリファレンスフレーム（Multiple Reference Frame）及び可変ブロックサイズ動き補償に対応した１／４画素精度の動き補償処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、動き予測・補償部２３は線形内挿に基づく１／２画素精度の動き補償処理を施す点である。
【００３６】
実際にＪＶＴ符号化方式では、動き量の大きな飛越し走査（インタレース）フォーマットの画像に対してはフレーム構造の符号化処理よりもフィールド構造の符号化処理のほうが効率良く符号化できる場合があることを考慮して、符号化対象の画像が飛越し走査フォーマットである場合には、これらフレーム構造の符号化とフィールド構造の符号化とをピクチャ単位で適応的に切り替えることが認められている。
【００３７】
さらにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合において符号化単位としてフィールド構造を適用したときには、Ｉピクチャの第１フィールドをフィールド内で完結するように符号化（以下、これをフィールド内符号化と呼ぶ）（Ｉフィールド）し、第２フィールドを時間的に前方向のフィールド画像を参照して符号化（Ｐフィールド）することも認められている。
【００３８】
従って、このように第１及び第２フィールドがそれぞれＩフィールド又はＰフィールドとして符号化されたＩピクチャを復号化するに際しては、第２フィールド（Ｐフィールド）の復号化処理のために予め対応する参照画像を復号化する必要がある。
【００３９】
この場合において、ＪＶＴ符号化方式では、図４に示すように、符号化時における動き補償処理時の参照画像として対象フレーム画像の前後の２以上のフレーム画像を用いることができるマルチプルリファレンスフレーム（Multiple Reference Frame）機能がサポートされている。
【００４０】
このため、図５に示すように、第２フィールドがＰフィールドであるＩピクチャを復号化するに際して、当該Ｐフィールドが当該Ｉピクチャ以外の他のＰピクチャやＢピクチャのフィールド画像を参照画像としている場合には、当該ＰピクチャやＢピクチャの復号化処理をも必要となる。
【００４１】
このようにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合、直前のＩピクチャだけでなく、過去に遡って複数のＰピクチャやＢピクチャを参照することが可能であるため、上述したＪＶＴ復号化装置１（図２）内のフレームメモリの動作容量を従来よりも多く必要とする。
【００４２】
さらに近年、ネットワークの限られたバンド幅又はネットワークの記憶メディアの容量を効率的に利用するため、上述のような飛び越し走査フォーマットが広く用いられているが、飛び越し走査フォーマットの画像は、画面にちらつきを有することが知られている。このため図６に示すように、飛び越し走査フォーマットの画像を、順次走査（ノンインタレース）フォーマットに変換して、ちらつきを抑えた高画質な画像として出力する技術が現在広く用いられている。
【００４３】
例えば、図６における周辺の画素値Ａ、Ｂ、Ｃ、Ｄを用いて、補間画素値Ｘを生成する方法を説明する。まず空間方向相関をＣｏｒｒＶ、時間方向相関をＣｏｒｒＴとして、画素値Ｘに関する相関を、次式
【００４４】
【数１】
【００４５】
【数２】
【００４６】
により算出する。その際、次式
【００４７】
【数３】
【００４８】
が成立するとき、画素値Ｘの周辺では、空間方向の相関が高いと判定し、成立しない場合には、時間方向の相関が高いと判定する。前者の場合、次式
【００４９】
【数４】
【００５０】
とし、後者の場合、次式
【００５１】
【数５】
【００５２】
として、補間画素値Ｘを生成する。
【００５３】
図６においては、原画素の画素値、及び補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５４】
また、欧州においては、ＰＡＬ（Phase Alternation by Line）フォーマット（７２０×５７６×２５〔Ｈｚ〕、飛び越し走査）がテレビジョン信号処理に採用されているが、２５〔Ｈｚ〕では、画像によっては動きが不自然に見えるため、図７に示すような、倍速変換処理を行い、５０〔Ｈｚ〕にすることによって動画像における円滑な動きを表現する技術が用いられている。
【００５５】
図７においても、原画像の画素値、及び、補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５６】
従ってＪＶＴ符号化方式において上述したようなマルチプルリファレンスフレーム機能の処理を行う場合や、飛越し走査フォーマットから順次走査フォーマットへの変換処理を行う場合には、装置内部のフレームメモリの動作容量をより一層多く必要とすることから、その分の動作容量をＭＰＥＧ１／２復号化装置において復号化処理に用いられないメモリ容量を利用することができれば望ましい。
【００５７】
本発明は以上の点を考慮してなされたもので、装置全体として構成を簡易化し得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【００５８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、前後の２以上のフレーム画像を参照画像とし得るＡＶＣ（Advanced Video Coding）及び前後の１フレームの画像を参照画像とし得るＭＰＥＧ２（Moving Picture Experts Group 2）の符号化方式でそれぞれ符号化された画像データでなるＡＶＣ及びＭＰＥＧ２の符号化画像データを復号化処理する画像復号化装置において、入力される上記符号化画像データの種類がＡＶＣ又はＭＰＥＧ２のいずれであるかを判別する判別手段と、ＡＶＣの符号化画像データに対してＡＶＣの復号化処理を施すＡＶＣ復号化手段と、ＭＰＥＧ２の符号化画像データに対してＭＰＥＧ２の復号化処理を施すＭＰＥＧ２復号化手段と、ＡＶＣ復号化手段によるＡＶＣの復号化処理において１又は２以上の上記フレーム画像でなる参照画像及び復号化後の画像が格納されると共に、ＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理において１フレームの画像でなる参照画像及び復号化後の画像が格納されるメモリ手段と、判別手段の判別結果がＭＰＥＧ２の符号化画像データである場合、メモリ手段からＭＰＥＧ２の復号化後の画像を読み出して高画質化処理を施し、当該処理後の画像をメモリ手段のうちＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納する画像処理手段とを設けた。
【００５９】
この結果この画像復号化装置では、ＡＶＣの復号化処理を施すＡＶＣ復号化手段とＭＰＥＧ２の復号化処理を施すＭＰＥＧ２復号化手段とにおいて参照画像及び復号化後の画像を格納するメモリ手段を共用することができ、さらにＭＰＥＧ２の復号化後の画像に対し高画質化処理を施した後の画像を、当該メモリ手段のうちＡＶＣの復号化処理に使用されＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納することができるので、高画質化処理用のメモリ手段を別途設けることなく装置全体として構成を簡易にすることができる。
【００６２】
さらに本発明においては、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化方法において、入力される第１又は第２の符号化画像データの種類を判別する第１のステップと、判別結果に応じて第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップとを設け、第１の復号化処理に使用されるメモリ手段を、第２の復号化処理に使用するようにした。
【００６３】
この結果この画像復号化方法では、第１の復号化処理と第２の復号化処理とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【００６４】
さらに本発明においては、第２の復号化処理の結果に対して所定の画像処理を行う第３のステップを設け、第２のステップでは、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を、画像処理に使用するようにした。
【００６５】
この結果この画像復号化方法では、第２の復号化処理を行う際に、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【００６６】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【００６７】
（１）本実施の形態による画像復号化装置の構成
図２及び図３との対応部分に同一符号を付して示す図１において、３０は本実施の形態におけるＪＶＴ符号化方式及びＭＰＥＧ１／２の双方に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報Ｓ１０（Ｓ１又はＳ２）を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００６８】
画像復号化装置３０では、ＪＶＴ符号化方式に準拠した画像復号化部（以下、これをＪＶＴ復号化部と呼ぶ）３１と、ＭＰＥＧ１／２規格に準拠した画像復号化部（以下、これをＭＰＥＧ１／２復号化部と呼ぶ）３２とを有し、双方の前段に設けられた蓄積バッファ３３と、双方の後段に設けられたフレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有するようになされている。
【００６９】
この画面復号化装置３０では、外部入力される画像圧縮情報Ｓ１０は、圧縮情報判別部３７を介してＪＶＴフォーマット又はＭＰＥＧ１／２フォーマットのいずれの圧縮方式に基づくものであるかの判別が行われた後、蓄積バッファ３３に格納される。この圧縮情報判別部３７は、後段の蓄積バッファ３３から画像圧縮情報Ｓ１０を読み出した後、当該画像圧縮情報Ｓ１０から画像フォーマットに関する情報を抽出することにより、上述のような判別を行う。
【００７０】
例えば画像圧縮情報Ｓ１０がＭＰＥＧ２システムに基づいた画像圧縮情報により多重化されて伝送される場合には、システムレイヤに含まれるストリームＩＤを参照することにより判別することが可能である。
【００７１】
この圧縮情報判別部３７による判別結果により、蓄積バッファ３３に蓄積された画像圧縮情報Ｓ１０が、ＪＶＴフォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＪＶＴ復号化部３１に送出される一方、ＭＰＥＧ１／２フォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＭＰＥＧ１／２復号化部３２に送出される。
【００７２】
まずＪＶＴ復号化部３１において、可逆復号化部３では、ＪＶＴフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。その際、可逆復号化部３は、画像圧縮情報Ｓ１０に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。
【００７３】
可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００７４】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００７５】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７６】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００７７】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７８】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００７９】
一方、ＭＰＥＧ１／２復号化部３２において、可逆復号化部２２では、ＭＰＥＧ１／２フォーマットに基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００８０】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００８１】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持される。
【００８２】
その後、画面並べ替えバッファ３５から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００８３】
かかる構成に加えて画像復号化装置３０においては、フレームメモリ３４に接続するように画像情報変換部３８が設けられ、圧縮情報判別部３７の判別結果でなる制御信号Ｓ１１が供給されるようになされている。
【００８４】
本実施の形態の場合、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２の双方でフレームメモリ３４を共有しているが、ＪＶＴ復号化部３１ではマルチプルリファレンスフレーム機能が規定されているため、フレームメモリ３４のうち、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられない領域（以下、これをＪＶＴ機能領域と呼ぶ）が存在する。
【００８５】
このためＭＰＥＧ１／２フォーマットに基づく画像圧縮情報の復号化処理を行う際には、フレームメモリ３４内のかかるＪＶＴ機能領域を、以下に述べるように、出力画像の高画質化を図るべく有効利用する。
【００８６】
まず圧縮情報判別部３７は、入力される画像圧縮情報Ｓ１０がＭＰＥＧ１／２フォーマットに基づくと判別した場合、画像情報変換部３８に制御信号Ｓ１１を送出する。画像情報変換部３８は、フレームメモリ３４からＭＰＥＧ１／２フォーマットに基づく画像圧縮情報を抽出した後、飛び越し走査フォーマットから順次走査フォーマットへの変換を実行することによりちらつきを抑えた高画質化処理を行う。
【００８７】
この結果、画像情報変換部３８は、補間により生成した画像を、フレームメモリ３４におけるＪＶＴ機能領域に格納する。このようにフレームメモリ３４のＪＶＴ機能領域を高画質化処理に利用することにより、ＭＰＥＧ１／２フォーマット及びＪＶＴフォーマットの双方に基づく画像圧縮情報の復号化処理を行う際に、当該双方で効率良く共有させることができる。
【００８８】
（２）本実施の形態による動作及び効果
以上の構成において、この画像復号化装置３０では、ＪＶＴ符号化方式に準拠した復号化処理を行うＪＶＴ復号化部３１と、ＭＰＥＧ１／２規格に準拠した復号化処理を行うＭＰＥＧ１／２復号化部３２とを設け、入力される画像圧縮情報Ｓ１０の種類に応じて双方の復号化処理を行うことができる。
【００８９】
またこの画像復号化装置３０では、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２において、蓄積バッファ３３、フレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有して使用することにより、装置全体として構成を簡易にすることができる。
【００９０】
その際、フレームメモリ３４は、ＪＶＴ復号化部３１で実行するマルチプルリファレンスフレーム機能に十分に使用可能なメモリ容量に設定されているため、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられないＪＶＴ機能領域が存在する。
【００９１】
このためＭＰＥＧ１／２復号化部３２における復号化処理を行う場合であって、かつ、画像情報変換部３８によって飛び越し走査フォーマットから順次走査フォーマットへの変換処理を実行する際には、当該画像情報変換部３８において補間により生成した画像をフレームメモリ３４内のＪＶＴ機能領域に格納することにより、当該フレームメモリ３４を有効に利用することができ、この結果、新たにＲＡＭ（Random Access Memory）等のメモリを設ける必要がなくて済む。
【００９２】
以上の構成によれば、画像復号化装置３０において、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２を併合させる場合に、双方の復号化処理に必要な蓄積バッファ３３、フレームメモリ３４及び画面並べ替えバッファ３５等の機能ブロックを共用させるようにしたことにより、装置全体の構成を簡易にすることができると共に、フレームメモリ３４のうちＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償に用いるＪＶＴ機能領域を、ＭＰＥＧ１／２復号化部３２における復号化処理の際にさらに飛び越し走査フォーマットから順次走査フォーマットへの変換処理にも使用することができ、かくして構成を簡易にし得る画像復号化装置３０を実現できる。
【００９３】
（３）他の実施の形態
なお上述のように本実施の形態においては、ＪＶＴ符号化方式（第１の符号化方式）及びＭＰＥＧ１／２方式（第２の符号化方式）でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データＳ１０を復号化処理する画像復号化装置として、図１に示すようなＪＶＴ復号化部（第１の復号化手段）３１及びＭＰＥＧ１／２復号化部（第２の復号化手段）３２を有する構成の画像復号化装置３０を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【００９４】
また本実施の形態においては、ＪＶＴ復号化部（第１の復号化手段）３１とＭＰＥＧ１／２復号化部（第２の復号化手段）３２とでフレームメモリ（メモリ手段）３４を共用するようにした場合について述べたが、本発明はこれに限らず、メモリ手段としては、本実施の形態のように蓄積バッファ３３及び画面並べ替えバッファ３５を含めるようにしても良く、さらにはこれ以外にもメモリ手段の後段に接続されたＤ／Ａ変換部３６等の各種の機能ブロックを共用するようにしても良い。
【００９５】
さらに本実施の形態においては、入力される第１又は第２の符号化画像データＳ１０（Ｓ１又はＳ２）の種類を判別する判別手段として、図１の画像復号化装置３０における圧縮情報判別部３７を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成からなる判別手段を広く適用するようにしても良い。
【００９６】
さらに本実施の形態においては、ＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理の結果に対して、所定の画像処理を施す画像処理手段として、飛び越し走査フォーマットから順次走査フォーマットへの変換処理を施す画像情報変換部３８（図１）を適用するようにした場合について述べたが、本発明はこれに限らず、この他の画像処理としてフレームレート変換等の画像の変換や、画像の特徴の抽出、画像の認識など、この他種々の画像処理に広く適用することができる。この場合も、フレームメモリ（メモリ手段）のメモリ領域のうちＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理に使用されないＪＶＴ機能領域を使用させるようにすれば良い。
【００９７】
【発明の効果】
上述のように本発明によれば、前後の２以上のフレーム画像を参照画像とし得るＡＶＣ（Advanced Video Coding）及び前後の１フレームの画像を参照画像とし得るＭＰＥＧ２（Moving Picture Experts Group 2）の符号化方式でそれぞれ符号化された画像データでなるＡＶＣ及びＭＰＥＧ２の符号化画像データを復号化処理する画像復号化装置において、入力される上記符号化画像データの種類がＡＶＣ又はＭＰＥＧ２のいずれであるかを判別する判別手段と、ＡＶＣの符号化画像データに対してＡＶＣの復号化処理を施すＡＶＣ復号化手段と、ＭＰＥＧ２の符号化画像データに対してＭＰＥＧ２の復号化処理を施すＭＰＥＧ２復号化手段と、ＡＶＣ復号化手段によるＡＶＣの復号化処理において１又は２以上の上記フレーム画像でなる参照画像及び復号化後の画像が格納されると共に、ＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理において１フレームの画像でなる参照画像及び復号化後の画像が格納されるメモリ手段と、判別手段の判別結果がＭＰＥＧ２の符号化画像データである場合、メモリ手段からＭＰＥＧ２の復号化後の画像を読み出して高画質化処理を施し、当該処理後の画像をメモリ手段のうちＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納する画像処理手段とを設けたことにより、ＡＶＣ復号化手段とＭＰＥＧ２復号化手段とにおいてメモリ手段を共用することができ、さらにＭＰＥＧ２の復号化後の画像に対し高画質化処理を施した後の画像も当該メモリ手段に格納することができるので、かくして装置全体として構成を簡易にし得る画像復号化装置を実現できる。
【図面の簡単な説明】
【図１】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図２】従来のＪＶＴ復号化装置の構成を示すブロック図である。
【図３】従来のＭＰＥＧ１／２復号化装置の構成を示すブロック図である。
【図４】マルチプルリファレンスフレーム機能の説明に供する略線図である。
【図５】マルチプルリファレンスフレーム機能における参照画像の説明に供する略線的な平面図である。
【図６】飛び越し走査フォーマットから順次走査フォーマットへの変換処理の説明に供する略線的な平面図である。
【図７】倍速変換処理の説明に供する略線的な平面図である。
【符号の説明】
３０……画像復号化装置、３１……ＪＶＴ復号化部、３２……ＭＰＥＧ１／２復号化部、３３……蓄積バッファ、３４……フレームメモリ、３５……画面並べ替えバッファ、３６……Ｄ／Ａ変換部、３７……圧縮情報判別部、３８……画像情報変換部。
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばＪＶＴ（Joint Model of Enhanced-Compression Video Coding）符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【０００２】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧ（Moving Picture Experts Group ）などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特にＭＰＥＧ２（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【０００４】
かかるＭＰＥＧ２圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、すなわちより高い圧縮率の符号化方式には対応していなかった。
【０００６】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO／IEC 14496-２としてその規格が国際標準に承認された。
【０００７】
さらに近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００８】
また現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、当該Ｈ．２６Ｌではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ符号化方式として行われている。標準化のスケジュールとしては、2003年３月にはＨ．２６４及びＭＰＥＧ−４ Part１０（Advanced Video Coding）という名の元に国際標準となる予定である。
【０００９】
ここでＪＶＴ符号化方式について説明する。入力される画像信号は、まずＡ／Ｄ変換されてディジタル化された後、出力となる画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレーム画像の並べ替えを行う。
【００１０】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【００１１】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【００１２】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【００１３】
このイントラ予測処理において、ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【００１４】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【００１５】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【００１６】
図２に従来のＪＶＴ符号化方式に準拠した画像復号化装置（以下、これをＪＶＴ復号化装置と呼ぶ）１を示す。このＪＶＴ復号化装置１において、外部入力されるビットストリームでなる画像圧縮情報Ｓ１を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００１７】
まず外部入力される画像圧縮情報Ｓ１は、蓄積バッファ２に格納された後、所定タイミングで読み出されて可逆復号化部３に送出される。可逆復号化部３では、予め定められた画像圧縮情報のフォーマット（以下、これをＪＶＴフォーマットと呼ぶ）に基づき、可変長復号化及び算術復号化等の処理が行われる。
【００１８】
その際、可逆復号化部３は、画像圧縮情報Ｓ１に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００１９】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００２０】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２１】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００２２】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２３】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ１０に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２４】
図３に従来のＭＰＥＧ１／２規格に準拠した画像復号化装置（以下、これをＭＰＥＧ１／２復号化装置と呼ぶ）を示す。このＭＰＥＧ１／２復号化装置２０では、外部入力されるビットストリームでなる画像圧縮情報を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００２５】
まず外部入力される画像圧縮情報Ｓ２は、蓄積バッファ２１に格納された後、所定タイミングで読み出されて可逆復号化部２２に送出される。可逆復号化部２２では、予め定められた画像圧縮情報Ｓ２のフォーマット（以下、これをＭＰＥＧ１／２フォーマットと呼ぶ）に基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ２のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００２６】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００２７】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ２７を介して画面並べ替えバッファ２８に一時的に保持される。
【００２８】
その後、画面並べ替えバッファ２８から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部２９においてアナログ変換される一方、当該フレームメモリ２７に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ２７に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２９】
【発明が解決しようとする課題】
ところで、上述したＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、各機能ブロックにおける処理は異なるものの、基本的な回路構成は同一であるため、双方の機能を持った画像復号化装置を構築することが可能である。すなわちＭＰＥＧ１／２フォーマットの画像圧縮情報とＪＶＴフォーマットの画像圧縮情報との双方を復号化する機能を持つ画像復号化装置を構築することが可能である。
【００３０】
具体的にはＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、以下に述べる第１〜第５の違いを有する。
【００３１】
まず第１の違いは、ＪＶＴ復号化装置１においては、可逆復号化部３は所定方式に基づく可変長復号化及び算術復号化の処理を施すのに対して、ＭＰＥＧ１／２復号化装置２０においては、可逆復号化部２２は所定方式に基づく可逆復号化処理を施す点である。
【００３２】
第２の違いは、ＪＶＴ復号化装置１においては、逆直交変換部７は４次の逆離散コサイン変換処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、逆直交変換部２５は８次の逆離散コサイン変換処理を施す点である。
【００３３】
第３の違いは、復号画像をフレームメモリ２７に格納するに先立ち、ＪＶＴ復号化装置１においては、デブロックフィルタ９がブロック歪の除去を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、ブロック歪の除去を行わない点である。
【００３４】
第４の違いは、マクロブロックがイントラマクロブロックである場合、ＪＶＴ復号化装置１においては、イントラ予測部４は画面内符号化により予測画像の生成を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、画面内符号化による予測画像の生成を行わない点である。
【００３５】
第５の違いは、ＪＶＴ復号化装置１においては、動き予測・補償部５はマルチプルリファレンスフレーム（Multiple Reference Frame）及び可変ブロックサイズ動き補償に対応した１／４画素精度の動き補償処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、動き予測・補償部２３は線形内挿に基づく１／２画素精度の動き補償処理を施す点である。
【００３６】
実際にＪＶＴ符号化方式では、動き量の大きな飛越し走査（インタレース）フォーマットの画像に対してはフレーム構造の符号化処理よりもフィールド構造の符号化処理のほうが効率良く符号化できる場合があることを考慮して、符号化対象の画像が飛越し走査フォーマットである場合には、これらフレーム構造の符号化とフィールド構造の符号化とをピクチャ単位で適応的に切り替えることが認められている。
【００３７】
さらにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合において符号化単位としてフィールド構造を適用したときには、Ｉピクチャの第１フィールドをフィールド内で完結するように符号化（以下、これをフィールド内符号化と呼ぶ）（Ｉフィールド）し、第２フィールドを時間的に前方向のフィールド画像を参照して符号化（Ｐフィールド）することも認められている。
【００３８】
従って、このように第１及び第２フィールドがそれぞれＩフィールド又はＰフィールドとして符号化されたＩピクチャを復号化するに際しては、第２フィールド（Ｐフィールド）の復号化処理のために予め対応する参照画像を復号化する必要がある。
【００３９】
この場合において、ＪＶＴ符号化方式では、図４に示すように、符号化時における動き補償処理時の参照画像として対象フレーム画像の前後の２以上のフレーム画像を用いることができるマルチプルリファレンスフレーム（Multiple Reference Frame）機能がサポートされている。
【００４０】
このため、図５に示すように、第２フィールドがＰフィールドであるＩピクチャを復号化するに際して、当該Ｐフィールドが当該Ｉピクチャ以外の他のＰピクチャやＢピクチャのフィールド画像を参照画像としている場合には、当該ＰピクチャやＢピクチャの復号化処理をも必要となる。
【００４１】
このようにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合、直前のＩピクチャだけでなく、過去に遡って複数のＰピクチャやＢピクチャを参照することが可能であるため、上述したＪＶＴ復号化装置１（図２）内のフレームメモリの動作容量を従来よりも多く必要とする。
【００４２】
さらに近年、ネットワークの限られたバンド幅又はネットワークの記憶メディアの容量を効率的に利用するため、上述のような飛び越し走査フォーマットが広く用いられているが、飛び越し走査フォーマットの画像は、画面にちらつきを有することが知られている。このため図６に示すように、飛び越し走査フォーマットの画像を、順次走査（ノンインタレース）フォーマットに変換して、ちらつきを抑えた高画質な画像として出力する技術が現在広く用いられている。
【００４３】
例えば、図６における周辺の画素値Ａ、Ｂ、Ｃ、Ｄを用いて、補間画素値Ｘを生成する方法を説明する。まず空間方向相関をＣｏｒｒＶ、時間方向相関をＣｏｒｒＴとして、画素値Ｘに関する相関を、次式
【００４４】
【数１】
【数２】
により算出する。その際、次式
【００４７】
【数３】
が成立するとき、画素値Ｘの周辺では、空間方向の相関が高いと判定し、成立しない場合には、時間方向の相関が高いと判定する。前者の場合、次式
【００４９】
【数４】
とし、後者の場合、次式
【００５１】
【数５】
として、補間画素値Ｘを生成する。
【００５３】
図６においては、原画素の画素値、及び補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５４】
また、欧州においては、ＰＡＬ（Phase Alternation by Line）フォーマット（７２０×５７６×２５〔Ｈｚ〕、飛び越し走査）がテレビジョン信号処理に採用されているが、２５〔Ｈｚ〕では、画像によっては動きが不自然に見えるため、図７に示すような、倍速変換処理を行い、５０〔Ｈｚ〕にすることによって動画像における円滑な動きを表現する技術が用いられている。
【００５５】
図７においても、原画像の画素値、及び、補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５６】
従ってＪＶＴ符号化方式において上述したようなマルチプルリファレンスフレーム機能の処理を行う場合や、飛越し走査フォーマットから順次走査フォーマットへの変換処理を行う場合には、装置内部のフレームメモリの動作容量をより一層多く必要とすることから、その分の動作容量をＭＰＥＧ１／２復号化装置において復号化処理に用いられないメモリ容量を利用することができれば望ましい。
【００５７】
本発明は以上の点を考慮してなされたもので、装置全体として構成を簡易化し得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【００５８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、前後の２以上のフレーム画像を参照画像とし得るＡＶＣ（Advanced Video Coding）及び前後の１フレームの画像を参照画像とし得るＭＰＥＧ２（Moving Picture Experts Group 2）の符号化方式でそれぞれ符号化された画像データでなるＡＶＣ及びＭＰＥＧ２の符号化画像データを復号化処理する画像復号化装置において、入力される上記符号化画像データの種類がＡＶＣ又はＭＰＥＧ２のいずれであるかを判別する判別手段と、ＡＶＣの符号化画像データに対してＡＶＣの復号化処理を施すＡＶＣ復号化手段と、ＭＰＥＧ２の符号化画像データに対してＭＰＥＧ２の復号化処理を施すＭＰＥＧ２復号化手段と、ＡＶＣ復号化手段によるＡＶＣの復号化処理において１又は２以上の上記フレーム画像でなる参照画像及び復号化後の画像が格納されると共に、ＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理において１フレームの画像でなる参照画像及び復号化後の画像が格納されるメモリ手段と、判別手段の判別結果がＭＰＥＧ２の符号化画像データである場合、メモリ手段からＭＰＥＧ２の復号化後の画像を読み出して高画質化処理を施し、当該処理後の画像をメモリ手段のうちＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納する画像処理手段とを設けた。
【００５９】
この結果この画像復号化装置では、ＡＶＣの復号化処理を施すＡＶＣ復号化手段とＭＰＥＧ２の復号化処理を施すＭＰＥＧ２復号化手段とにおいて参照画像及び復号化後の画像を格納するメモリ手段を共用することができ、さらにＭＰＥＧ２の復号化後の画像に対し高画質化処理を施した後の画像を、当該メモリ手段のうちＡＶＣの復号化処理に使用されＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納することができるので、高画質化処理用のメモリ手段を別途設けることなく装置全体として構成を簡易にすることができる。
【００６２】
さらに本発明においては、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化方法において、入力される第１又は第２の符号化画像データの種類を判別する第１のステップと、判別結果に応じて第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップとを設け、第１の復号化処理に使用されるメモリ手段を、第２の復号化処理に使用するようにした。
【００６３】
この結果この画像復号化方法では、第１の復号化処理と第２の復号化処理とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【００６４】
さらに本発明においては、第２の復号化処理の結果に対して所定の画像処理を行う第３のステップを設け、第２のステップでは、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を、画像処理に使用するようにした。
【００６５】
この結果この画像復号化方法では、第２の復号化処理を行う際に、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【００６６】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【００６７】
（１）本実施の形態による画像復号化装置の構成
図２及び図３との対応部分に同一符号を付して示す図１において、３０は本実施の形態におけるＪＶＴ符号化方式及びＭＰＥＧ１／２の双方に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報Ｓ１０（Ｓ１又はＳ２）を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００６８】
画像復号化装置３０では、ＪＶＴ符号化方式に準拠した画像復号化部（以下、これをＪＶＴ復号化部と呼ぶ）３１と、ＭＰＥＧ１／２規格に準拠した画像復号化部（以下、これをＭＰＥＧ１／２復号化部と呼ぶ）３２とを有し、双方の前段に設けられた蓄積バッファ３３と、双方の後段に設けられたフレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有するようになされている。
【００６９】
この画面復号化装置３０では、外部入力される画像圧縮情報Ｓ１０は、圧縮情報判別部３７を介してＪＶＴフォーマット又はＭＰＥＧ１／２フォーマットのいずれの圧縮方式に基づくものであるかの判別が行われた後、蓄積バッファ３３に格納される。この圧縮情報判別部３７は、後段の蓄積バッファ３３から画像圧縮情報Ｓ１０を読み出した後、当該画像圧縮情報Ｓ１０から画像フォーマットに関する情報を抽出することにより、上述のような判別を行う。
【００７０】
例えば画像圧縮情報Ｓ１０がＭＰＥＧ２システムに基づいた画像圧縮情報により多重化されて伝送される場合には、システムレイヤに含まれるストリームＩＤを参照することにより判別することが可能である。
【００７１】
この圧縮情報判別部３７による判別結果により、蓄積バッファ３３に蓄積された画像圧縮情報Ｓ１０が、ＪＶＴフォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＪＶＴ復号化部３１に送出される一方、ＭＰＥＧ１／２フォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＭＰＥＧ１／２復号化部３２に送出される。
【００７２】
まずＪＶＴ復号化部３１において、可逆復号化部３では、ＪＶＴフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。その際、可逆復号化部３は、画像圧縮情報Ｓ１０に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。
【００７３】
可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００７４】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００７５】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７６】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００７７】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７８】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００７９】
一方、ＭＰＥＧ１／２復号化部３２において、可逆復号化部２２では、ＭＰＥＧ１／２フォーマットに基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００８０】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００８１】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持される。
【００８２】
その後、画面並べ替えバッファ３５から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００８３】
かかる構成に加えて画像復号化装置３０においては、フレームメモリ３４に接続するように画像情報変換部３８が設けられ、圧縮情報判別部３７の判別結果でなる制御信号Ｓ１１が供給されるようになされている。
【００８４】
本実施の形態の場合、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２の双方でフレームメモリ３４を共有しているが、ＪＶＴ復号化部３１ではマルチプルリファレンスフレーム機能が規定されているため、フレームメモリ３４のうち、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられない領域（以下、これをＪＶＴ機能領域と呼ぶ）が存在する。
【００８５】
このためＭＰＥＧ１／２フォーマットに基づく画像圧縮情報の復号化処理を行う際には、フレームメモリ３４内のかかるＪＶＴ機能領域を、以下に述べるように、出力画像の高画質化を図るべく有効利用する。
【００８６】
まず圧縮情報判別部３７は、入力される画像圧縮情報Ｓ１０がＭＰＥＧ１／２フォーマットに基づくと判別した場合、画像情報変換部３８に制御信号Ｓ１１を送出する。画像情報変換部３８は、フレームメモリ３４からＭＰＥＧ１／２フォーマットに基づく画像圧縮情報を抽出した後、飛び越し走査フォーマットから順次走査フォーマットへの変換を実行することによりちらつきを抑えた高画質化処理を行う。
【００８７】
この結果、画像情報変換部３８は、補間により生成した画像を、フレームメモリ３４におけるＪＶＴ機能領域に格納する。このようにフレームメモリ３４のＪＶＴ機能領域を高画質化処理に利用することにより、ＭＰＥＧ１／２フォーマット及びＪＶＴフォーマットの双方に基づく画像圧縮情報の復号化処理を行う際に、当該双方で効率良く共有させることができる。
【００８８】
（２）本実施の形態による動作及び効果
以上の構成において、この画像復号化装置３０では、ＪＶＴ符号化方式に準拠した復号化処理を行うＪＶＴ復号化部３１と、ＭＰＥＧ１／２規格に準拠した復号化処理を行うＭＰＥＧ１／２復号化部３２とを設け、入力される画像圧縮情報Ｓ１０の種類に応じて双方の復号化処理を行うことができる。
【００８９】
またこの画像復号化装置３０では、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２において、蓄積バッファ３３、フレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有して使用することにより、装置全体として構成を簡易にすることができる。
【００９０】
その際、フレームメモリ３４は、ＪＶＴ復号化部３１で実行するマルチプルリファレンスフレーム機能に十分に使用可能なメモリ容量に設定されているため、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられないＪＶＴ機能領域が存在する。
【００９１】
このためＭＰＥＧ１／２復号化部３２における復号化処理を行う場合であって、かつ、画像情報変換部３８によって飛び越し走査フォーマットから順次走査フォーマットへの変換処理を実行する際には、当該画像情報変換部３８において補間により生成した画像をフレームメモリ３４内のＪＶＴ機能領域に格納することにより、当該フレームメモリ３４を有効に利用することができ、この結果、新たにＲＡＭ（Random Access Memory）等のメモリを設ける必要がなくて済む。
【００９２】
以上の構成によれば、画像復号化装置３０において、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２を併合させる場合に、双方の復号化処理に必要な蓄積バッファ３３、フレームメモリ３４及び画面並べ替えバッファ３５等の機能ブロックを共用させるようにしたことにより、装置全体の構成を簡易にすることができると共に、フレームメモリ３４のうちＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償に用いるＪＶＴ機能領域を、ＭＰＥＧ１／２復号化部３２における復号化処理の際にさらに飛び越し走査フォーマットから順次走査フォーマットへの変換処理にも使用することができ、かくして構成を簡易にし得る画像復号化装置３０を実現できる。
【００９３】
（３）他の実施の形態
なお上述のように本実施の形態においては、ＪＶＴ符号化方式（第１の符号化方式）及びＭＰＥＧ１／２方式（第２の符号化方式）でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データＳ１０を復号化処理する画像復号化装置として、図１に示すようなＪＶＴ復号化部（第１の復号化手段）３１及びＭＰＥＧ１／２復号化部（第２の復号化手段）３２を有する構成の画像復号化装置３０を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【００９４】
また本実施の形態においては、ＪＶＴ復号化部（第１の復号化手段）３１とＭＰＥＧ１／２復号化部（第２の復号化手段）３２とでフレームメモリ（メモリ手段）３４を共用するようにした場合について述べたが、本発明はこれに限らず、メモリ手段としては、本実施の形態のように蓄積バッファ３３及び画面並べ替えバッファ３５を含めるようにしても良く、さらにはこれ以外にもメモリ手段の後段に接続されたＤ／Ａ変換部３６等の各種の機能ブロックを共用するようにしても良い。
【００９５】
さらに本実施の形態においては、入力される第１又は第２の符号化画像データＳ１０（Ｓ１又はＳ２）の種類を判別する判別手段として、図１の画像復号化装置３０における圧縮情報判別部３７を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成からなる判別手段を広く適用するようにしても良い。
【００９６】
さらに本実施の形態においては、ＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理の結果に対して、所定の画像処理を施す画像処理手段として、飛び越し走査フォーマットから順次走査フォーマットへの変換処理を施す画像情報変換部３８（図１）を適用するようにした場合について述べたが、本発明はこれに限らず、この他の画像処理としてフレームレート変換等の画像の変換や、画像の特徴の抽出、画像の認識など、この他種々の画像処理に広く適用することができる。この場合も、フレームメモリ（メモリ手段）のメモリ領域のうちＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理に使用されないＪＶＴ機能領域を使用させるようにすれば良い。
【００９７】
【発明の効果】
上述のように本発明によれば、前後の２以上のフレーム画像を参照画像とし得るＡＶＣ（Advanced Video Coding）及び前後の１フレームの画像を参照画像とし得るＭＰＥＧ２（Moving Picture Experts Group 2）の符号化方式でそれぞれ符号化された画像データでなるＡＶＣ及びＭＰＥＧ２の符号化画像データを復号化処理する画像復号化装置において、入力される上記符号化画像データの種類がＡＶＣ又はＭＰＥＧ２のいずれであるかを判別する判別手段と、ＡＶＣの符号化画像データに対してＡＶＣの復号化処理を施すＡＶＣ復号化手段と、ＭＰＥＧ２の符号化画像データに対してＭＰＥＧ２の復号化処理を施すＭＰＥＧ２復号化手段と、ＡＶＣ復号化手段によるＡＶＣの復号化処理において１又は２以上の上記フレーム画像でなる参照画像及び復号化後の画像が格納されると共に、ＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理において１フレームの画像でなる参照画像及び復号化後の画像が格納されるメモリ手段と、判別手段の判別結果がＭＰＥＧ２の符号化画像データである場合、メモリ手段からＭＰＥＧ２の復号化後の画像を読み出して高画質化処理を施し、当該処理後の画像をメモリ手段のうちＭＰＥＧ２復号化手段によるＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納する画像処理手段とを設けたことにより、ＡＶＣ復号化手段とＭＰＥＧ２復号化手段とにおいてメモリ手段を共用することができ、さらにＭＰＥＧ２の復号化後の画像に対し高画質化処理を施した後の画像も当該メモリ手段に格納することができるので、かくして装置全体として構成を簡易にし得る画像復号化装置を実現できる。
【図面の簡単な説明】
【図１】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図２】従来のＪＶＴ復号化装置の構成を示すブロック図である。
【図３】従来のＭＰＥＧ１／２復号化装置の構成を示すブロック図である。
【図４】マルチプルリファレンスフレーム機能の説明に供する略線図である。
【図５】マルチプルリファレンスフレーム機能における参照画像の説明に供する略線的な平面図である。
【図６】飛び越し走査フォーマットから順次走査フォーマットへの変換処理の説明に供する略線的な平面図である。
【図７】倍速変換処理の説明に供する略線的な平面図である。
【符号の説明】
３０……画像復号化装置、３１……ＪＶＴ復号化部、３２……ＭＰＥＧ１／２復号化部、３３……蓄積バッファ、３４……フレームメモリ、３５……画面並べ替えバッファ、３６……Ｄ／Ａ変換部、３７……圧縮情報判別部、３８……画像情報変換部。
Claims (2)
- 前後の２以上のフレーム画像を参照画像とし得るＡＶＣ（Advanced Video Coding）及び前後の１フレームの画像を上記参照画像とし得るＭＰＥＧ２（Moving Picture Experts Group 2）の符号化方式でそれぞれ符号化された画像データでなるＡＶＣ及びＭＰＥＧ２の符号化画像データを復号化処理する画像復号化装置において、
入力される上記符号化画像データの種類が上記ＡＶＣ又は上記ＭＰＥＧ２のいずれであるかを判別する判別手段と、
上記ＡＶＣの符号化画像データに対しＡＶＣの復号化処理を施すＡＶＣ復号化手段と、
上記ＭＰＥＧ２の符号化画像データに対してＭＰＥＧ２の復号化処理を施すＭＰＥＧ２復号化手段と、
上記ＡＶＣ復号化手段による上記ＡＶＣの復号化処理において１又は２以上の上記フレーム画像でなる上記参照画像及び復号化後の画像が格納されると共に、上記ＭＰＥＧ２復号化手段による上記ＭＰＥＧ２の復号化処理において上記１フレームの画像でなる上記参照画像及び復号化後の画像が格納されるメモリ手段と、
上記判別手段の判別結果が上記ＭＰＥＧ２の符号化画像データである場合、上記メモリ手段から上記ＭＰＥＧ２の復号化後の画像を読み出して高画質化処理を施し、当該処理後の画像を上記メモリ手段のうち上記ＭＰＥＧ２復号化手段による上記ＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納する画像処理手段と
を有する画像復号化装置。 - 前後の２以上のフレーム画像を参照画像とし得るＡＶＣ及び前後の１フレームの画像を上記参照画像とし得るＭＰＥＧ２の符号化方式でそれぞれ符号化された画像データでなるＡＶＣ及びＭＰＥＧ２の符号化画像データを復号化処理する画像復号化方法において、
入力される上記符号化画像データの種類が上記ＡＶＣ又はＭＰＥＧ２のいずれであるかを判別する第１のステップと、
上記判別結果に応じて上記ＡＶＣの符号化画像データに対し前後の２以上のフレーム画像を参照してＡＶＣの復号化処理を施し、又はＭＰＥＧ２の符号化画像データに対してＭＰＥＧ２の復号化処理を施す第２のステップと
上記ＡＶＣの復号化処理において１又は２以上の上記フレーム画像でなる上記参照画像及び復号化後の画像を所定のメモリ手段に格納すると共に、上記ＭＰＥＧ２復号化手段による上記ＭＰＥＧ２の復号化処理において上記１フレームの画像でなる上記参照画像及び復号化後の画像を上記メモリ手段に格納する第３のステップと、
上記第１のステップにおける判別結果が上記ＭＰＥＧ２の符号化画像データである場合、上記メモリ手段から上記ＭＰＥＧ２の復号化後の画像を読み出して高画質化処理を施し、当該処理後の画像を上記メモリ手段のうち上記ＭＰＥＧ２復号化手段による上記ＭＰＥＧ２の復号化処理に使用されないメモリ領域に格納する第４のステップと
を有する画像復号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142002A JP4264811B2 (ja) | 2003-05-20 | 2003-05-20 | 画像復号化装置及び画像復号化方法 |
| CNB2004100453351A CN1332564C (zh) | 2003-05-20 | 2004-05-20 | 图像解码装置和图像解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003142002A JP4264811B2 (ja) | 2003-05-20 | 2003-05-20 | 画像復号化装置及び画像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004349812A JP2004349812A (ja) | 2004-12-09 |
| JP4264811B2 true JP4264811B2 (ja) | 2009-05-20 |
Family
ID=33530208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003142002A Expired - Fee Related JP4264811B2 (ja) | 2003-05-20 | 2003-05-20 | 画像復号化装置及び画像復号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4264811B2 (ja) |
| CN (1) | CN1332564C (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4781301B2 (ja) * | 2007-03-06 | 2011-09-28 | 日本放送協会 | 符号化側動き補償装置及び復号側動き補償装置 |
| US20140241380A1 (en) * | 2011-02-11 | 2014-08-28 | Joseph A. Bennett | Media stream over pass through mechanism |
| CN102724382A (zh) * | 2011-03-30 | 2012-10-10 | 比亚迪股份有限公司 | 一种图像信号处理电路 |
| US10003823B2 (en) | 2015-01-30 | 2018-06-19 | Mediatek Inc. | Video decoder and video encoder using storage sharing technique for performing decoding and encoding functions complying with different video coding standards and associated shared storage device |
| CN113847939A (zh) * | 2021-09-30 | 2021-12-28 | 东风越野车有限公司 | 一种应用于车辆仪表的离线故障诊断系统和方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3659366B2 (ja) * | 1995-12-19 | 2005-06-15 | Ｋｄｄｉ株式会社 | 階層符号化装置 |
| US6535530B1 (en) * | 1997-07-23 | 2003-03-18 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for demultiplexing multiplexed data |
| JP2000209580A (ja) * | 1999-01-13 | 2000-07-28 | Canon Inc | 画像処理装置およびその方法 |
| JP2002034046A (ja) * | 2000-07-14 | 2002-01-31 | Sony Corp | 画像情報変換装置及び方法 |
| JP2002112269A (ja) * | 2000-09-26 | 2002-04-12 | Yamaha Corp | 画像合成方法および画像合成装置 |
-
2003
- 2003-05-20 JP JP2003142002A patent/JP4264811B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-20 CN CNB2004100453351A patent/CN1332564C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1551633A (zh) | 2004-12-01 |
| JP2004349812A (ja) | 2004-12-09 |
| CN1332564C (zh) | 2007-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4324844B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| EP0618731B1 (en) | High efficiency encoding of picture signals | |
| US9338457B2 (en) | Method and apparatus for encoding image information, and method and apparatus for decoding image information | |
| JP2000059795A (ja) | 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置 | |
| WO2003043344A2 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| US6480542B1 (en) | Method for decoding compressed video data with a reduced memory requirement | |
| KR100824161B1 (ko) | 화상 처리 장치 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JPH07131793A (ja) | 映像信号高能率符号化装置 | |
| JP3166835B2 (ja) | 動画像の高能率符号化方法及び装置 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JP2956726B2 (ja) | 動画像の高能率符号化方法及び装置 | |
| JP3481111B2 (ja) | 動画像復号化装置 | |
| JP3416509B2 (ja) | 動画像復号化装置 | |
| JP3481112B2 (ja) | 動画像復号化装置 | |
| JP2003087797A (ja) | 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体 | |
| JPH11252561A (ja) | 動画像復号化方法 | |
| JP3384740B2 (ja) | 動画像復号化方法 | |
| JP2001309389A (ja) | 動きベクトル変換装置及び方法 | |
| JPH11262016A (ja) | 動画像復号化方法 | |
| KR19990017896A (ko) | 움직임 보상 장치에서의 p-픽쳐 및 b-픽쳐를 보상하기 위한 합산 회로 | |
| JP2006270181A (ja) | 動き補償型時間方向フィルタ処理における残差成分の復号化および格納方法ならびに装置 | |
| JP2004007734A (ja) | 画像圧縮符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070508 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090122 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090204 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |