JPWO2009051010A1 - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Download PDF

Info

Publication number
JPWO2009051010A1
JPWO2009051010A1 JP2009538038A JP2009538038A JPWO2009051010A1 JP WO2009051010 A1 JPWO2009051010 A1 JP WO2009051010A1 JP 2009538038 A JP2009538038 A JP 2009538038A JP 2009538038 A JP2009538038 A JP 2009538038A JP WO2009051010 A1 JPWO2009051010 A1 JP WO2009051010A1
Authority
JP
Japan
Prior art keywords
signal
unit
average value
decoding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009538038A
Other languages
English (en)
Inventor
関口　俊一
俊一 関口
秀一 山岸
秀一 山岸
守屋　芳美
芳美 守屋
山田　悦久
悦久 山田
浅井　光太郎
光太郎 浅井
村上　篤道
篤道 村上
優一 出原
優一 出原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2009051010A1 publication Critical patent/JPWO2009051010A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

符号化対象となる４：４：４フォーマットの映像信号の局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法等を提供する。第１の領域に属する各色成分の信号に対して、第２の領域に分割した単位で平均値を得るとともに、第２の領域に対応する平均値分離信号を得る信号分析部と、第２の領域に分割した単位で得られた平均値から構成される平均値信号に対して各色成分ごとに独立に予測符号化を行う平均値信号符号化部と、第２の領域に分割した単位で得られた複数の色成分の平均値分離信号に対して複数用意される色成分間の変換方法を切り替えて変換を施した後、平均値信号符号化部とは独立して符号化を行う平均値分離信号符号化部とを備え、平均値分離信号符号化部は、選択した色成分間の変換を指示する情報を符号化データの一部としてビットストリームへ出力する。

Description

本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像信号符号化装置、画像信号復号装置、画像信号符号化方法、および画像信号復号方法に関する。
従来、MPEGやITU-T H.26xなどの国際標準映像符号化方式では、主として４：２：０フォーマットと呼ばれる、標準化された入力信号フォーマットを圧縮処理対象信号として用いてきた。４：２：０とは、RGBなどのカラー動画像信号を輝度成分(Y)と２つの色差成分(Cb、Cr)に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、MPEG-4 AVC/H.264(以下、AVC)のような国際標準映像符号化方式(非特許文献１)では、このように符号化を行う前に色差成分のダウンサンプルを行うことで符号化対象の原情報量を削減しておくことを前提としていた。一方、デジタルシネマなどのコンテンツにおいては、コンテンツ制作時の色表現を上映時に正確に再現することを目的として、色差成分をダウンサンプルすることなく輝度成分と同一サンプルで符号化する４：４：４フォーマットでの直接符号化方式を推奨している。この目的に適した方式として、非特許文献２、非特許文献３のような標準方式がある。４：２：０フォーマットと４：４：４フォーマットの違いを図３１に示す。同図において、４：２：０フォーマットは輝度(Y)・色差(Cb,Cr)信号から構成され、色差信号のサンプルは輝度信号の２ｘ２サンプル分相当につき１つであるのに対し、４：４：４フォーマットは特に色を表現する色空間をY,Cb,Crに限定せず、各色成分の信号のサンプル比が１：１となっていることを示している。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 JPEG2000(ISO/IEC 15444)規格 MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 Amendment2
例えば、非特許文献３による４：４：４フォーマットの符号化では、図３２に示すように、まず、あらかじめ符号化対象となる入力映像信号１００１（４：４：４フォーマット）を直接または色空間変換部１００２にて適当な色空間（Y,Cb,Crなど）へ変換を行って、マクロブロック(16画素・16ラインの矩形ブロック)の単位で符号化映像信号１００３として予測部１００４へ入力する。予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。圧縮部１００６は、予測誤差信号１００５に対してDCT(離散コサイン変換)などの変換処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。これを予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３を得る。復号信号１０１３は、以降の符号化映像信号１００３のための予測信号１０１２を生成する目的でメモリ１０１４に格納される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１５は可変長符号化部１００８へ送られ、ビットストリーム１００９として出力される。ここで、予測信号生成用パラメータ１０１５には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどが含まれる。
４：４：４フォーマットの映像信号は、各色成分の同一数のサンプルが含まれており、従来の４：２：０フォーマットの映像信号に比べて冗長な情報量を含んでいる。４：４：４フォーマットの映像信号の圧縮効率を高めるためには、従来の４：２：０フォーマットの固定的な色空間定義(Y,Cb,Cr)に対して、さらに色成分間の冗長度を低減する必要がある。非特許文献３による４：４：４フォーマットの符号化では、符号化映像信号１００３は信号の局所的な性質に寄らず、特定の色空間変換処理によって画像全体を一様に変換することによって得られ、予測部１００４、圧縮部１００６、可変長符号化部１００８のいずれにおいても色成分間の相関除去を考慮した信号処理が行われないため、同一画素位置の色成分間の信号相関を最大限に除去しているとはいえない。
そこで、本発明は、符号化対象となる４：４：４フォーマットの映像信号の局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う方法を提供し、上記従来技術に述べたように、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法を提供することを目的とする。
本発明にかかわる画像符号化装置は、複数の色成分で構成されるカラー画像を入力として、第１の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化装置であって、前記第１の領域に属する各色成分の信号に対して、第２の領域に分割した単位で平均値を得るとともに、前記第２の領域に対応する平均値分離信号を得る信号分析部と、前記第２の領域に分割した単位で得られた平均値から構成される平均値信号に対して各色成分ごとに独立に予測符号化を行う平均値信号符号化部と、前記第２の領域に分割した単位で得られた複数の色成分の平均値分離信号に対して複数用意される色成分間の変換方法を切り替えて変換を施した後、前記平均値信号符号化部とは独立して符号化を行う平均値分離信号符号化部とを備え、前記平均値分離信号符号化部は、選択した色成分間の変換を指示する情報を符号化データの一部としてビットストリームへ出力するものである。
本発明の画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法によれば、Y、Cb、Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行う場合において、各色成分間に存在する局所的な信号相関を適応的に除去できるように構成することができ、色空間の定義が種々に及ぶ場合にも最適な符号化処理を行うことができる。
実施の形態１における画像符号化装置の構成を示す説明図 信号分析部１０３の内部構成を示す説明図 N=4の場合の処理の例を示す説明図 第１の信号符号化部１０６の内部構成を示す説明図 第２の信号符号化部１０７の内部構成を示す説明図 実施の形態１におけるビットストリーム１１１の構造を示す説明図 実施の形態１における画像復号装置の構成を示す説明図 信号合成部２０５の内部構成を示す説明図 N=4の場合の処理の例を示す説明図 第１の信号復号部２０１の内部構成を示す説明図 第２の信号復号部２０２の内部構成を示す説明図 実施の形態１における別の画像符号化装置の構成を示す説明図 実施の形態２における画像符号化装置の構成を示す説明図 C0成分符号化部３００の内部構成を示す説明図 AC信号生成部３０８の内部構成を示す説明図 C1成分符号化部３１０の内部構成を示す説明図 DC予測部３１１の内部構成を示す説明図 実施の形態２における画像復号装置の構成を示す説明図 実施の形態２におけるビットストリーム１１１の構造を示す説明図 C0成分復号部４０１の内部構成を示す説明図 C1成分復号部４０２の内部構成を示す説明図 実施の形態３における画像符号化装置の構成を示す説明図 予測部５００の内部構成を示す説明図 予測モード判定部５２２の内部構成を示す説明図 実施の形態３におけるビットストリーム１１１の構造を示す説明図 実施の形態３における画像復号装置の構成を示す説明図 予測部６０１の内部構成を示す説明図 サンプリング密度パターンを示す説明図 サンプリング密度パターンを示す説明図 サンプリング密度パターンを示す説明図 ４：２：０フォーマットと４：４：４フォーマットの違いを示す説明図 従来の４：４：４フォーマットの符号化を示す説明図
実施の形態１．
本実施の形態１では、４：４：４フォーマットで入力される映像フレームを、各色成分ともにM・M画素の矩形領域に分割した単位でフレーム内、フレーム間適応予測を用いて符号化を行う符号化装置、および対応する復号装置について説明する。
１．符号化装置の動作概要
図１に、本実施の形態１における画像符号化装置の構成を示す。４：４：４フォーマットの入力信号１００は３つの色成分C0、C1、C2の信号から構成され、領域分割部１０１において、C0、C1、C2成分の各M・M画素サイズの矩形ブロックからなる符号化単位ブロック１０２へ分割され、順次信号分析部１０３へ入力される。図２に信号分析部１０３の内部構成を示す。信号分析部１０３では、まず、サブブロック分割部１１２において、符号化単位ブロック１０２をC0、C1、C2成分ごとにN・N画素ブロック(N<M)へ分割し、平均値計算部１１３にてN・N画素ブロックの平均値１０４を求める。次いで、平均値分離信号生成部１１４にてN・N画素ブロックの各画素から平均値１０４を分離した平均値分離信号１０５(N・N画素ブロック)を得る。N=4の場合の処理の例を図３に示す。平均値１０４は、符号化単位ブロック１０２の点線で囲まれる４ｘ４画素ブロックの平均値として算出される。例えばM=16であれば、平均値１０４で構成される画像データは、符号化単位ブロックの1/16の画素数で構成される。平均値分離信号１０５は、符号化単位ブロック１０２の点線で囲まれる４ｘ４画素ブロックの各画素から、対応する平均値１０４を差し引いて得られる。平均値１０４から構成される(M/N)・(M/N)画素ブロックは、第１の信号符号化部１０６にて圧縮符号化され、ビットストリーム１０８として多重部１１０へ送られる。平均値分離信号１０５から構成されるM・M画素ブロックは、第２の信号符号化部１０７にて圧縮符号化され、ビットストリーム１０９として多重化部１１０へ送られる。多重化部１１０はビットストリーム１０８と１０９をマージしてビットストリーム１１１を出力する。
以上のように符号化装置を構成することにより、以下の効果がある。HDTV(1920画素・1080ライン)などの高精細映像においては、画像の内容を構成する一定数の画素の集まり(例えば映像中の人物などの被写体領域)に比して、１画素が占める面積の割合はきわめて小さい。つまり、N・N画素ブロックが映像フレームサイズに比べて十分に小さい場合、N・N画素ブロック内で画像パターンとして意味をなす信号はその平均値(DC成分)に集約することができる。一方、N・N画素ブロックから平均値を分離した平均値分離信号(AC成分)は、N・N画素ブロック内の画像パターンの方向性を表現するエッジなどの成分をなす。ところが、やはりN・N画素ブロックが映像フレームサイズに比べて十分に小さい場合は、N・N画素ブロック内にもはや画像のパターン構造を示す情報は含まれず、むしろノイズ成分の比率が高い信号になる。このようなノイズ成分相当の情報は、画像のパターン構造の類似度を尺度とする動き補償予測や空間画素予測などを行う際にむしろ予測効率を妨げる要因となる。N・N画素ブロックの平均値(DC成分)をM・M画素ブロック分だけ集めたDC画像は、平均値計算処理過程においてノイズ成分が平滑化され除去されるため、画像パターンをよりよく表現する信号になる。つまり、動き補償予測や空間画素予測を行う信号としてより適切な信号になるといえる。一方、平均値分離信号としてのAC画像は、N・N画素ブロックの面積が映像フレームサイズ全体に比べて十分に小さい場合、画像のパターン構造の類似度を根拠とする空間・時間方向の予測には適さなくなる。したがって、本実施の形態１の符号化装置では、DC画像については、従来技術に述べたフレーム内・フレーム間の予測を用いた符号化を行い、AC画像に対しては、同一画素位置において特定の色成分の画素へ電力が最大限集中する信号に変換した後、フレーム内・フレーム間の予測を使用せずに符号化する。このように構成することによって、HDTV(1920画素・1080ライン)などの高精細の4:4:4フォーマットの映像信号を効率よく符号化することが可能となる。また別の効果として、フレーム内・フレーム間の予測処理をDC画像に限定することにより、予測処理の対象となる画素数が1/{(M/N)・(M/N)}となり、予測処理に要する演算や、メモリに格納すべき予測参照データ数、すなわちメモリ量を削減できる効果もある。
また、もとの映像フレームサイズがモバイル用途で用いられるような小画面である場合は、N・N画素ブロックは映像フレームサイズに比べて相応の面積を占めるようになる。つまり、平均値分離信号(AC成分)は、画像パターンの方向性を表現するエッジなどの成分を表現できるようになる。RGBなど、各色成分がそれぞれに画像のパターン・構造などを保存している信号では、同一空間位置の３つの成分のN・N画素ブロックは相互に画像の構造の観点で相関を持つようになる。そのため、各色成分のAC成分は高い相関を持ち、相関除去の効果が高まる。
図１において、第１の信号符号化部１０６は平均値１０４からなるDC画像の符号化を行う。図４に第１の信号符号化部１０６の内部構成を示す。同図において、入力信号は、平均値１０４からなる入力DC画像を(M/N)・(M/N)画素ブロックの単位で入力するものとする。以下、K=M/Nとする。第１の変換部１１５は、K・K画素ブロックの各画素の３つの色成分サンプルの組xに対し、変換Aiにより色成分間の相関を除去する変換を施し、３サンプルの組y １１６を得る。
ｙ＝Ａiｘ
ここで、iは変換の種類を示し、１つないしは複数の変換方法を利用可能であるものとする。例えば、この変換には、無変換(Aiが単位行列)、RG・→・・・変換や、KLT(カルーネン・レーベ変換)などがある。iが複数の値をとる、つまり複数の変換が利用可能な場合は、変換方法を指定する第1の変換処理指示情報１２８として、実際に使用した変換Aiのiを符号化するため可変長符号化部１２１へ送り、ビットストリーム１０８に多重する。本実施の形態では、第1の変換処理指示情報１２８を符号化する単位は映像シーケンスとし、第1の信号符号化部１０６の内部における信号処理を通じて各色成分のサンプルが定義される信号空間を一意に定めるが、ピクチャやスライス、マクロブロックなど、他のデータ単位で符号化するようにしてもよい。
予測部１１７では、K・K画素ブロック内の各色成分のサンプルをフレーム内・フレーム間で予測して、予測誤差信号１１８を得る。圧縮部１１９は、予測誤差信号１１８に対してDCT(離散コサイン変換)などの変換処理を施して信号相関を除去した後、量子化してDC圧縮データ１２０を得る。DC圧縮データ１２０は可変長符号化部１２１でエントロピー符号化されてビットストリーム１０８として出力されるとともに、局所復号部１２２に送られ、復号予測誤差信号１２３を得る。これを予測誤差信号１１８の生成に用いた予測信号１２４と加算してDC復号信号１２５を得る。DC復号信号１２５は、以降の平均値１０４のための予測信号１２４を生成する目的でメモリ１２６に格納される。なお、予測信号１２４を得るために予測部１１７において決定された予測信号生成用パラメータ１２７は可変長符号化部１２１へ送られ、ビットストリーム１０８として出力される。ここで、予測信号生成用パラメータ１２７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどが含まれる。
図１において、第２の信号符号化部１０７は平均値分離信号１０５からなるAC画像の符号化を行う。図５に第２の信号符号化部１０７の内部構成を示す。同図において、入力信号は、平均値分離信号１０５からなる入力AC画像をM・M画素ブロックの単位で入力する。第２の変換部１２９は、M・M画素ブロックの各画素の３つの色成分サンプルの組x'に対し、変換Bjにより色成分間の相関を除去する変換を施し、３サンプルの組y' １３０を得る。
ｙ'＝Ｂjｘ'
ここで、jは変換の種類を示し、１つないしは複数の変換方法を利用可能であるものとする。この変換には、あらかじめいくつかの信号パターンに対して最適設計された複数のKLT(カルーネン・レーベ変換)の組を用いる。第２の変換部１２９では、変換Bjの中から、各M・M画素ブロックの単位で、色成分方向の信号相関を最もよく除去できる(特定の信号成分への電力集中度が高くなる)変換を選択して、３サンプルの組y' １３０を得るとともに、使用した変換方法を指定するインデックスjを第２の変換処理指示情報１３４として、可変長符号化部１３３へ送り、ビットストリーム１０９に多重する。第２の信号符号化部１０７の内部では、平均値分離信号１０５のM・M画素ブロックサンプルに対する処理は、他のいかなる空間的・時間的な信号依存性も使用せずに符号化するため、第２の変換処理指示情報１３４は、M・M画素ブロック（ないしは、M・M画素ブロックを複数束ねた）の単位、または、映像フレームの単位、または映像シーケンスの単位のいずれかで切り替え、ビットストリーム多重可能とする。
圧縮部１３１は、３サンプルの組y' １３０に対してDCT(離散コサイン変換)などの変換処理を施して空間方向の信号相関を除去した後、量子化してAC圧縮データ１３２を得る。第１の信号符号化部１０６の圧縮部１１９と第２の信号符号化部１０７の圧縮部１３１で用いる量子化方法・量子化パラメータは同じであってもよいし、異なる量子化方法(例えばスカラ量子化とベクトル量子化、あるいは線形量子化と非線形量子化など)や異なる量子化パラメータを用いてもよい。AC圧縮データ１３２は可変長符号化部１３３でエントロピー符号化されてビットストリーム１０９として出力される。空間・時間方向の予測を行わないため、第１の信号符号化部１０６にあるような局所復号部１２２や、予測参照画像格納のためのメモリ１２６などの構成要素は必要なく簡略な構成で実現できるほか、予測信号生成用パラメータ１２７相当の付加情報を伝送する必要もないため伝送すべき符号化データ量も抑制できる。
本実施の形態１の符号化装置において、ビットストリーム１１１の構造としては種々の構成をとりうる(図６)。ビットストリーム１１１は、シーケンスレベルのヘッダ情報１５０、映像フレーム(ピクチャ)レベルのヘッダ情報１５１、ピクチャの符号化データ１５２の系列になる。シーケンスレベルのヘッダ情報１５０には、映像フレームの水平・垂直画素数や第１の変換処理指示情報１２８、(シーケンス単位で変換Bjを切り替える場合)第２の変換処理指示情報１３４などの情報を含む。ピクチャレベルのヘッダ情報１５１には、(ピクチャ単位で変換Bjを切り替える場合)第２の変換処理指示情報１３４などの情報を含む。ピクチャの符号化データ１５２については、上記の第１の信号符号化部１０６と第２の信号符号化部１０７とが入力単位とする画素ブロックを、符号化装置への入力信号１００１ないしは１００３の領域で同一領域(M・M画素ブロック)を占めるように構成したため、ビットストリーム１０８、１０９を図６(a)に示すようにM・M画素ブロック分ごとに多重していく構成をとることができる。なお、入力信号１００と符号化単位ブロック１０２は、従来の図３２における入力映像信号１００１と符号化映像信号１００３に対応する。また、第１の信号符号化部１０６と第２の信号符号化部１０７とは独立に符号化処理を行うことができるため、第１の信号符号化部１０６の符号化処理の単位となるブロックのサイズをM・M画素ブロックにとれば、対応する第２の信号符号化部１０７の符号化データはMN・MN画素ブロック分に対応するので、図８(b)のようなビットストリーム構成をとることもできる。さらに、第１の信号符号化部１０６によって符号化される信号は、符号化装置への入力信号１００１ないしは１００３の縮小画像に相当するため、図８(c)のように、その符号化データであるビットストリーム１０８をビットストリーム１１１の前半へ集約し、それに続いてビットストリーム１０９を多重するように構成してもよい。ビットストリーム１０９は、ビットストリーム１０８の復号に影響を与えないため、こうすることで、ビットストリーム１０８で得られるDC画像だけの部分復号を行って小画面の画像だけを復号することができる、という効果もある。
２．復号装置の動作概要
図７の復号装置は、図１の符号化装置から出力されるビットストリーム１１１を受信して、M・M画素ブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。図７において、ヘッダ解析・分離部２００は、ビットストリーム１１１からシーケンスレベルのヘッダ情報１５０やピクチャレベルのヘッダ情報１５１などの上位ヘッダ情報を復号し、図６の(a)〜(c)などの所定の規則で配列されたピクチャ符号化データ１５２から、第１の信号符号化部１０６によって生成されたビットストリーム１０８と、第２の信号符号化部１０７によって生成されたビットストリーム１０９とを分離して、それぞれ、第１の信号復号部２０１、第２の信号復号部２０２へ受け渡す。
第１の信号復号部２０１は、ビットストリーム１０８から、４：４：４フォーマットで１画素が３つの色成分C0、C1、C2の信号から構成される、(M/N)・(M/N)画素ブロックのDC復号信号２０３を得る。第２の信号復号部２０２は、ビットストリーム１０９から、４：４：４フォーマットで１画素が３つの色成分C0、C1、C2の信号から構成される、M・M画素ブロックのAC復号信号２０４を得る。これらは信号合成部２０５へ入力され、M・M画素ブロックの復号信号２０６が得られる。信号合成部２０５では（図８）、N・N画素ブロックの平均値の復号値であるDC復号信号２０３の各サンプルを、加算部２０９でN・N画素ブロックごとにAC復号信号２０４の各サンプルに加算し、クリップ処理部２１０で復号信号２０６の画素階調に合わせてクリッピングを行い、復号信号２０６を出力する。N=4の場合の処理の例を図９に示す。例えばM=16であれば、DC復号信号２０３は、復号信号の1/16の画素数で構成される。復号信号２０６の点線で囲まれる４ｘ４画素ブロックの各画素は、AC復号信号２０４の対応する位置の画素と、DC復号信号２０３の対応する平均値を加算して得られる。M・M画素ブロックの復号信号２０６は、画面構成部２０７において映像フレーム上に配置され、復号映像フレーム２０８を得る。
図７において、第１の信号復号部２０１はDC画像の復号処理を行う。図１０に第１の信号復号部２０１の内部構成を示す。可変長復号部２１１は、ビットストリーム１０８から、メモリ２１２に格納されるDC復号信号１２５を用いて予測信号１２４を生成するために用いる予測信号生成用パラメータ１２７と、予測誤差信号を圧縮符号化したDC圧縮データ１２０とを抽出し、それぞれ予測部２１３、予測誤差復号部１２２(局所復号部１２２と同じ動作)へ受け渡す。予測部２１３では、動きベクトルやイントラ予測モードなどの予測信号生成用パラメータ１２７とメモリ２１２に格納されるDC復号信号１２５とを用いて、時間・空間方向の予測信号１２４を得る。予測誤差復号部１２２は、DC圧縮データ１２０に逆量子化を行って、DCT(離散コサイン変換)などの逆変換処理を施し、復号予測誤差信号１２３を得る。予測信号１２４と復号予測誤差信号１２３を加算してDC復号信号１２５を得る。DC復号信号１２５は、以降の復号処理のための予測信号１２４を生成する目的でメモリ２１２に格納される。最後に第１の逆変換部２１４において、符号化時に、K・K画素ブロック(K=M/N)の各画素の３つの色成分サンプルの組xに対して第１の変換部１１５で行った変換と逆の変換をDC復号信号に対して施し、最終的なDC復号信号２０３を得る。このため、第１の逆変換部２１４は、第１の変換処理指示情報１２８を参照し、符号化時に用いた変換の逆変換 Ai -1を特定する。
図７において、第２の信号復号部２０２はAC画像の復号処理を行う。図１１に第２の信号復号部２０２の内部構成を示す。可変長復号部２１５は、ビットストリーム１０９から、C0、C1、C2の各色成分からなるAC画像信号を圧縮符号化したAC圧縮データ１３２を抽出し、復号部２１６へ受け渡す。復号部２１６は、AC圧縮データ１３２に逆量子化を行って、DCT(離散コサイン変換)などの逆変換処理を施し、AC復号信号２１７を得る。最後に第２の逆変換部２１８において、符号化時に、M・M画素ブロックの各画素の３つの色成分サンプルの組x'に対して第２の変換部１２９で行った変換と逆の変換をAC復号信号２１７に対して施し、最終的なAC復号信号２０４を得る。このため、第２の逆変換部２１８は、第２の変換処理指示情報１３４を参照し、符号化時に用いた変換の逆変換Bj -1を特定する。図１１では、第２の変換処理指示情報１３４をM・M画素ブロックの単位で可変長復号部２１５から抽出する構成を示しており、逆変換Bj -1はM・M画素ブロックごとに切り替えて適用される。第２の変換処理指示情報１３４は、ピクチャやシーケンスのレベルで切り替えるように構成してももちろんよい。予測誤差復号部１２２と復号部２１６で用いる逆量子化方法・量子化パラメータは同じであってもよいし、異なる逆量子化方法(例えばスカラ量子化とベクトル量子化、あるいは線形量子化と非線形量子化など)や異なる量子化パラメータを用いてもよい。量子化パラメータは通常、符号化時にM・M画素ブロックの単位でビットストリーム１０８、１０９へ多重され、可変長復号部２１１および２１５にて抽出されて、予測誤差復号部１２２、復号部２１６で用いられる。
以上のように符号化装置・復号装置を構成することにより、任意の色空間で定義される４：４：４フォーマットの映像信号を効率よく圧縮符号化することができる。時間・空間方向の予測処理を、解像度を落としたDC画像領域でのみ行うことにより、HDTVなどの高解像度映像ではノイズ成分に影響されにくく画像パターンによく適合した予測が行えるとともに、処理対象の画素数が削減され処理を簡略化できる効果がある。一方、AC画像については空間・時間方向への予測を行わず各色成分自身の周辺との依存関係を利用しない一方、色成分間の相関を除去する方向に最適な変換を選択可能とするように構成したので、AC成分の局所的な信号の性質に応じて、特定の色成分への信号電力集中度を常に高めることができ、効率的な符号化を行うことができる。
本実施の形態１の信号分析部１０３では、画像信号をブロックごとにDC成分とAC成分に分離したが、これをDCTやWavelet変換などの任意の周波数変換手段で実現し、第１の信号符号化部１０６で符号化すべき成分と、第２の信号符号化部１０７で符号化すべき成分とを分離するように構成してもよい。例えば、DCT変換後のDC係数に加えていくつかの低周波領域のAC係数からなる信号を第１の信号符号化部１０６で符号化し、残りの、比較的高周波の成分を構成するAC係数を第２の信号符号化部１０７で符号化する、といった構成をとることもできる。
さらに、本実施の形態１では、DC成分を原信号が縮小されたDC画像とみなし、１つのDCサンプルを１画素とみなしてK・K画素ブロックのDC画像の単位で予測を行うようにしたが、フレーム内で空間予測を行う場合に、これを、DC信号を取り出す単位のNxN画素ブロックの各サンプルが同じDC値をもつものとみなして、周辺の原信号と同一解像度の画素を参照してDC値の予測を行うように構成してもよい。上述のように原信号(MxM画素ブロック)からDC画像を生成する場合、Nの値のとり方によっては、フレーム内で隣り合うDC値の相関が低くなり、十分な予測性能が得られない可能性があるが、このように原信号と同一解像度の画素のレベルで予測を行うように構成することにより、空間的な相関の低下を抑制した予測を行うことができる。一方、この方法では、NxNブロックの単位で予測モードを決定・符号化する必要があり、MxM画素ブロックあたり、DCサンプル数分の予測モード情報を符号化する必要がある。これに対して、上述のようにDC画像(KxK画素ブロック)の単位で予測を行う場合、MxM画素ブロックあたりに１つの予測モード情報のみですむ。したがって、これらの方式を、予測モード情報の符号量と予測誤差電力のバランスや、変換係数も含む符号量全体と局所復号による符号化ひずみとのバランスなどによって符号化単位ブロック１０２の単位で局所的に切り替えたり、あるいは色成分ごとにその切り替え方法を変化させるなど、符号化対象となる信号の性質に応じた多様な予測方法の設計が可能である。
なお、画像信号の非定常性に伴い、符号化単位ブロック１０２の信号の性質によっては本実施の形態１のように画面全体を常にDC成分とAC成分に分離して符号化すると符号化効率の低下を招く可能性もある。これを回避するために、例えば、符号化装置側で、図３２に示したような従来の符号化処理部を設けて、符号化処理の切り替えを行う構成をとるようにしてもよい(図１２)。切り替えを行うスイッチ(SW)２１９は、切り替え制御信号２２０により符号化単位ブロック１０２の信号をいずれの符号化処理のパスへ送るかを決定する。切り替え制御信号２２０は、例えば、第１の信号符号化部１０６と第２の信号符号化部１０７とを用いて符号化を行った場合と、従来の信号符号化部２０によって符号化を行った場合とで、符号量と符号化ひずみのバランスからレート・ひずみ測度の観点で最適な符号化手段を選択するように制御してもよいし、符号化単位ブロック１０２の信号の性質・アクティビティを解析して、その結果に応じていずれの符号化処理のパスが適しているかを決定するように制御してもよい。また、従来の信号符号化部２０によるビットストリームを復号する従来の復号装置との互換性を保つため、従来の信号符号化部２０によってのみ符号化されるビットストリームを常に生成するようにスイッチ２１９を制御することで、従来の復号装置で復号処理が可能なビットストリームを出力させることも可能である。
なお、切り替え制御信号２２０は所定のデータ単位でビットストリームに多重化することにより、復号装置側ではそれを復号して利用することができ、符号化装置側で行った切り替え制御のための判定処理を復号装置側で行うことなく、簡易な構成で図１２の符号化装置から出力されるビットストリームを復号することができる。切り替え制御信号２２０は、符号化単位ブロック１０２の符号化データの単位で多重してもよいし、スライス、ピクチャ、シーケンスといった任意の階層で多重するように構成してもよい。
実施の形態２．
本実施の形態２では、４：４：４フォーマットで入力される映像フレームを、各色成分ともにM・M画素の矩形領域に分割した単位でフレーム内、フレーム間適応予測を用いて符号化を行う符号化装置、および対応する復号装置について説明する。本実施の形態２における符号化装置、復号装置は、実施の形態１と同様、入力信号の各色成分の画像をDC成分とAC成分とに分離して、DC成分は各色成分内に閉じた予測により符号化を行い、AC成分は色成分間の相関を用いて予測を行う構成である。実施の形態１と異なる点は、まず、基準となる色成分の信号を他の成分とは独立して符号化し、他の色成分は、基準色成分信号の符号化に用いられた予測モード情報や局所復号画像信号などを利用して予測符号化を行うように構成することである。
１．符号化装置の動作概要
図１３に、本実施の形態２における画像符号化装置の構成を示す。４：４：４フォーマットの入力信号１００は３つの色成分C0、C1、C2の信号から構成され、領域分割部１０１において、C0、C1、C2成分の各M・M画素サイズの矩形ブロックからなる符号化単位ブロック１０２へ分割される。以下、符号化単位ブロック１０２の構成要素であるC0、C1、C2成分の各入力画像信号を１０２a、１０２ｂ、１０２ｃとする。これらはすべて、M・M画素から構成されるものとする。
１．１ 基準色成分（C0成分）の符号化処理
本実施の形態２の符号化装置において、C0成分１０２aは基準色成分の信号とする。図１４に、C0成分１０２aの符号化を行うC0成分符号化部３００の構成を示す。C0成分符号化部３００は、従来の符号化処理部２０や実施の形態１の第１の信号符号化部１０６に似た構成をとる。まず、C0成分１０２aは、予測部１１７aへ入力され、N・N画素ブロック内のサンプルをフレーム内・フレーム間で予測して、予測誤差信号３０１を得る。なお、予測部１１７aは、第１の信号符号化部１０６の構成要素である予測部１１７のうちC0成分の予測処理を行う部分のみをくくりだした構成である。圧縮部１１９aは、予測誤差信号３０１に対してDCT(離散コサイン変換)などの変換処理を施して信号相関を除去した後、量子化して圧縮データ３０２を得る。圧縮データ３０２は可変長符号化部１２１aでエントロピー符号化されてビットストリーム３０３として出力されるとともに、局所復号部１２２aに送られ、復号予測誤差信号３０４を得る。これを予測誤差信号３０１の生成に用いた予測信号３０５と加算して復号信号３０６を得る。復号信号３０６は、以降の符号化対象信号１０２aのための予測信号３０５を生成する目的でメモリ１２６aに格納される。なお、予測信号３０５を得るために予測部１１７aにおいて決定された予測信号生成用パラメータ３０７は可変長符号化部１２１aへ送られ、ビットストリーム３０３として出力される。ここで、予測信号生成用パラメータ３０７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどが含まれる。
また、復号信号３０６は、AC信号生成部３０８へ入力され、参照AC信号３０９が生成される。図１５にAC信号生成部３０８の内部構成を示す。基本的には、実施の形態１における信号分析部１０３の構成を流用した構成で実現でき、各内部要素は信号分析部１０３におけるC0信号のみの処理を行い、平均値計算部１１３aはその出力を外部出力しないように構成する。C0成分符号化部３００から出力される予測信号生成用パラメータ３０７は、C1、C2成分のDC信号の予測符号化に、参照AC信号３０９は、C1、C2成分のAC信号の予測符号化に用いる(後述)。
１．２ C1成分の符号化処理
C1成分の符号化は、C1成分符号化部３１０で行われる。その内部構成を図１６に示す。はじめに、C1成分１０２ｂは、C1成分信号分析部１０３ｂ（実施の形態１における信号分析部１０３の構成のうち、C1成分のみを処理するよう構成されたもの）でDC信号１０４ｂ、AC信号１０５ｂに分離される。DC信号１０４ｂは、DC予測部３１１で予測され、DC予測誤差信号３１２が出力される。DC予測部３１１の内部構成を図１７に示す。DC予測部３１１は原解像度のN・N画素ブロックあたりに１つ割り当てられるDC信号１０４ｂを予測する。そのため、まず、原解像度予測画像生成部３１３において、予測信号生成用パラメータ３０７(C0成分のN・N画素ブロックの予測の結果得られたもの)と、メモリ１２６ｂ上の原解像度局所復号画像３１４とから、予測信号生成用パラメータ３０７が生成された基準色成分C0の位置と、符号化単位ブロック１０２内で対応するN・N画素ブロック位置のC1成分の信号に対する予測信号３２１を生成する。その平均値を、平均値算出部１１３ｂで求め、これをDC信号１０４ｂから差し引いて、DC予測誤差信号３１２を得る。DC予測誤差信号３１２はDC圧縮部３１５で量子化され、DC圧縮データ３１６として出力され、これがDC可変長符号化部３１７でエントロピー符号化されてビットストリーム３１８へ多重される。なお、図示はしていないが、予測信号生成用パラメータ３０７は、そのまま利用してもよいし、C1成分用に修正して利用するように構成してもよい。例えば、動きベクトルの情報などは色成分ごとの信号の性質に応じて、微調整を行ってDC予測値を求めることで、よりよい予測結果が得られることがある。修正した差分情報は、DC可変長符号化部３１７へ送り、ビットストリーム３１８に多重するように構成すればよい。また、DC圧縮データ３１６は、DC局所復号部３１９により局所復号DC予測誤差信号３２０とされ、DC予測部３１１においてDC予測誤差信号３１２を得るのに用いたDC予測信号３２１と加算されて局所復号DC信号３２２となる。
一方、C1成分信号分析部１０３ｂによって分離されたC1成分のAC信号１０５ｂは、AC予測部３２３において、基準色成分のC0成分符号化部３００から出力される参照AC信号３０９を予測値として予測され、AC予測誤差信号３２４が得られる。AC予測誤差信号３２４はAC圧縮部３２５にてDCT(離散コサイン変換)などの変換処理を施して信号相関を除去した後、量子化してAC圧縮データ３２６を得る。AC圧縮データ３２６はAC可変長符号化部３２７でエントロピー符号化されてビットストリーム３２８として出力されるとともに、AC局所復号部３２９に送られ、局所復号AC予測誤差信号３３０を得る。これをAC予測誤差信号３２４の生成に用いた参照AC信号３０９と加算して局所復号AC信号３３１を得る。最後に、C1成分信号合成部２０５ｂ（信号合成部２０５のうち、C1成分のみを処理するよう構成したもの）において、局所復号AC信号３３１は、局所復号DC信号３２２と加算されて、原解像度の復号信号３３２に再構成され、以降の符号化対象信号１０２ｂの予測参照に用いるため、メモリ１２６ｂに格納される。そして、C1成分多重化部３３４は、ビットストリーム３１８、３２８を所定の規則で多重化してビットストリーム３３３を出力する。
以上のように、C1成分を予測符号化することには以下の効果がある。はじめに、入力信号をDC、AC成分へ分離したことの利点は実施の形態１に述べたとおりで、本実施の形態２では、分離したDC信号は基準となる色成分であるC0成分の予測の結果を流用、ないしはその微調整により、C1成分内の信号によって予測を行う。RGB信号などではC0、C1、C2の各成分のテクスチャパターンに相関が高く、DC信号のような信号電力の大きい成分は色の構成を決めるファクタとして作用し、色成分間よりも自らの色成分内に閉じた相関を利用するほうが高い予測効率が期待できる。一方、画像の模様、エッジパターンなどの要素を表現するAC信号は、色成分間での高い相関が期待されるので、これを利用して、基準色成分C0の局所復号信号を予測値として利用することで高い予測効率が得られる。C1成分のDC信号の予測画像生成は、C0成分で決定された予測画像生成用パラメータ３０７を再利用ないしは微調整することで行われるため、余分な付加情報を符号化する必要がない。また、AC信号も、復号側で完全に復元される基準色成分の復号画像信号と同じ信号で予測を行うため、特別な付加情報の伝送は必要なく、効率的な符号化が可能となる。
１．３ C2成分の符号化処理
C2成分の符号化処理は、おおむね、C1成分の符号化処理と等価な処理で実現できる。この処理はC2成分符号化部３５０で行われ、その内部処理は、入力信号をDC、AC信号へ分離する信号分析部をC2成分用の信号分析部１０３ｃを使うこと、メモリ１２６ｂの代わりにC2成分の局所復号画像を格納するためのメモリ１２６ｃを使うことだけであり、あとはC1成分符号化部３１０の構成をそのまま利用できる。
２．復号装置の動作概要
図１８の復号装置は、図１３の符号化装置から出力されるビットストリーム３６１を受信して、M・M画素ブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。ビットストリーム３６１の構成を図１９に示す。ピクチャ符号化データ１５２は、C0成分の符号化データ、C1成分のDC、AC各符号化データ、C2成分のDC、AC各符号化データから構成される。図１８において、ヘッダ解析・分離部４００は、ビットストリーム３６１からシーケンスレベルのヘッダ情報１５０やピクチャレベルのヘッダ情報１５１などの上位ヘッダ情報を復号し、図１９の規則で配列されたピクチャ符号化データ１５２から、C0成分符号化部３００によって生成されたビットストリーム３０３と、C1成分符号化部３１０によって生成されたビットストリーム３３３、C2成分符号化部３５０によって生成されたビットストリーム３５１とを分離して、それぞれ、C0成分復号部４０１、C1成分復号部４０２、C2成分復号部４０３へ受け渡す。
C0成分復号部４０１は、ビットストリーム３０３から、M・M画素ブロックのC0成分復号信号３０６を得る。C1成分復号部４０２は、ビットストリーム３３３と、C0成分復号部から出力される予測画像生成用パラメータ３０７と、参照AC信号３０９とから、M・M画素ブロックのC1成分復号信号（原解像度の復号信号）３３２を得る。C2成分復号部４０３は、ビットストリーム３５１と、C0成分復号部から出力される予測画像生成用パラメータ３０７と、参照AC信号３０９とから、M・M画素ブロックのC2成分復号信号３５２を得る。これらは画面構成部４０４において映像フレーム上に配置され、復号映像フレーム４０５を得る。
２．１ 基準色成分（C0成分）の復号処理
図２０にC0成分復号部４０１の内部構成を示す。可変長復号部４０６は、ビットストリーム３０３から、予測信号３０５を生成するために用いる予測信号生成用パラメータ３０７と、予測誤差信号を圧縮符号化した圧縮データ３０２とを抽出し、それぞれ予測部４０７、予測誤差復号部４０８へ受け渡す。予測部４０７では、動きベクトルやイントラ予測モードなどの予測画像生成用パラメータ３０７とメモリ２１２a（実施の形態１におけるメモリ２１２のうち、C0成分のみを格納するよう構成されたもの）に格納されるC0成分復号信号３０６とを用いて、時間・空間方向の予測信号３０５を得る。予測誤差復号部４０８は、圧縮データ３０２に逆量子化を行って、DCT(離散コサイン変換)などの逆変換処理を施し、復号予測誤差信号３０４を得る。予測信号３０５と予測誤差信号３０４を加算してC0成分復号信号３０６を得る。C0成分復号信号３０６は、以降の復号処理のための予測信号３０５を生成する目的でメモリ２１２aに格納される。また、C0成分復号信号３０６は、AC信号生成部３０８へ入力され、参照AC信号３０９が生成・出力される。
２．２ C1成分の復号処理
図２１にC1成分復号部４０２の内部構成を示す。C1成分分離部４０９は、ビットストリーム３３３から、DC信号を圧縮符号化したビットストリーム３１８と、AC信号を圧縮符号化したビットストリーム３２８とを分離する。ビットストリーム３１８はDC可変長復号部４１０に入力され、DC圧縮データ３１６が出力される。ビットストリーム３２８はAC可変長復号部４１１に入力され、AC圧縮データ３２６が出力される。ビットストリーム３１８とビットストリーム３２８との区別はビットストリーム３３３に適当な同期コードを挿入して検出できるようにしてもよいし、C1成分分離部４０９の中に、DC可変長復号部４１０やAC可変長復号部４１１の構成を含ませ、DC、ACの順にシーケンシャルに可変長復号を行うように構成してもよい。
DC復号部３１９ｂ(DC局所復号部３１９と同じ動作)は、DC圧縮データ３１６を逆量子化によって復号して復号DC予測誤差信号３２０ｂを出力する。DC予測部４１２は、DC予測部３１１の構成要素(図１７)のうち、DC予測誤差信号３１２を求める処理のみがない構成であり、原解像度予測画像生成部３１３において、予測信号生成用パラメータ３０７(C0成分のN・N画素ブロックの予測の結果得られたもの)と、メモリ４１３上の原解像度局所復号画像３１４とから、予測信号生成用パラメータ３０７が生成された基準色成分C0の位置と、符号化単位ブロック１０２内で対応するN・N画素ブロック位置のC1成分の信号に対するDC予測信号３２１を生成する。復号DC予測誤差信号３２０ｂとDC予測信号３２１は加算、クロッピング処理されて復号DC信号３２２として出力される。
一方、AC復号部３２９ｂ(AC局所復号部３２９と同じ動作)は、AC圧縮データ３２６に逆量子化を行って、DCT(離散コサイン変換)などの逆変換処理を施し、復号AC予測誤差信号３３０ｂを得る。復号AC予測誤差信号３３０ｂは、C0成分復号部４０１から出力された参照AC信号３０９と加算、クロッピング処理されて復号AC信号３３１が得られる。最後に、C1成分信号合成部２０５ｂにおいて、復号AC信号３３１は、復号DC信号３２２と加算されて、原解像度の復号信号３３２に再構成され、以降の復号処理における予測参照に用いるため、メモリ４１３に格納される。
２．３ C2成分の復号処理
C2成分の復号処理は、おおむね、C1成分の復号処理と等価な処理で実現できる。この処理はC2成分復号部４０３で行われ、その内部処理は、C1成分を符号化したビットストリーム３３３の代わりに、同じ方法で符号化されたC2成分の符号化データを含むビットストリーム３５１を処理すること、また、復号DC、AC信号を合成する信号合成部をC2成分用の信号合成部２０５ｃ(図示なし)を使うこと、メモリ４１３の代わりにC2成分の局所復号画像を格納するためのメモリ４１４(図示なし)を使うことだけであり、あとはC1成分復号部４０２の構成をそのまま利用できる。
以上のように符号化装置・復号装置を構成することにより、任意の色空間で定義される４：４：４フォーマットの映像信号を効率よく圧縮符号化することができる。時間・空間方向の予測処理をDC画像領域で行うことにより、HDTVなどの高解像度映像ではノイズ成分に影響されにくく画像パターンによく適合した予測が行えるとともに、AC画像については基準となる色成分の復号信号を予測値として用いるため、色成分間の相関を除去して効率的な符号化を行うことができる。また、DC信号の予測は基準色成分の予測モードを流用するように構成したので、余計な付加情報を伝送することなく効率的な符号化を行うことができる。
なお、画像信号の非定常性に伴い、符号化単位ブロック１０２の信号の性質によっては本実施の形態２のように画面全体を常に同じ方法で符号化すると符号化効率の低下を招く可能性もある。これを回避するために、例えば、符号化装置側で、C1、C2成分の符号化については、本実施の形態２で述べた方法だけでなく、C0成分の符号化と同様の処理を行うように切り替えて符号化するように構成してもよい。切り替えは、例えば、C0、C1成分について、本実施の形態２で述べた方法で符号化を行った場合と、C0成分の符号化と同様の符号化を行った場合とで、符号量と符号化ひずみのバランスからレート・ひずみ測度の観点で最適な符号化手段を選択するように制御してもよいし、符号化単位ブロック１０２の信号の性質・アクティビティを解析して、その結果に応じていずれの符号化処理のパスが適しているかを決定するように制御してもよい。なお、切り替えを行う場合は、所定のデータ単位でビットストリームに切り替え制御信号を多重化することにより、復号装置側ではそれを復号して利用することができ、符号化装置側で行った切り替え制御のための判定処理を復号装置側で行うことなく、簡易な構成で切り替えを伴うビットストリームを復号することができる。切り替え制御信号は、符号化単位ブロック１０２の符号化データの単位で多重してもよいし、スライス、ピクチャ、シーケンスといった任意の階層で多重するように構成してもよい。
実施の形態３．
本実施の形態３では、４：４：４フォーマットで入力される映像フレームを、各色成分ともにM・M画素の矩形領域に分割した単位でフレーム内、フレーム間適応予測を用いて符号化を行う符号化装置、および対応する復号装置について説明する。本実施の形態３における符号化装置、復号装置は、画像信号のサンプリング密度を符号化・復号の過程で適応的に切り替える機構を備えることが特徴である。
１．符号化装置の動作概要
図２２に、本実施の形態３における画像符号化装置の構成を示す。４：４：４フォーマットの入力信号１００は３つの色成分C0、C1、C2の信号から構成され、領域分割部１０１において、C0、C1、C2成分の各M・M画素サイズの矩形ブロックからなる符号化単位ブロック１０２へ分割される。
予測部５００は、符号化単位ブロック１０２の各色成分のサンプルをフレーム内・フレーム間で予測して、予測誤差信号５０１を得る。圧縮部５０２は、予測誤差信号５０１に対してDCT(離散コサイン変換)などの変換処理を施して信号相関を除去した後、量子化して圧縮データ５０３を得る。圧縮データ５０３は可変長符号化部５０４でエントロピー符号化されてビットストリーム５０５として出力されるとともに、局所復号部５０６に送られ、復号予測誤差信号５０７を得る。これを予測誤差信号５０１の生成に用いた予測信号５０８と加算して復号信号５０９を得る。復号信号５０９は、以降の符号化単位ブロック１０２のための予測信号５０８を生成する目的でメモリ５１０に格納される。なお、予測信号５０８を得るために予測部５００において決定された予測信号生成用パラメータ５１１は可変長符号化部５０４へ送られ、ビットストリーム５０５として出力される。本実施の形態３では、予測信号生成用パラメータ５１１に、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトルなどのパラメータに加えて、予測を行った信号のサンプリング密度指定情報５１２を含み、同情報５１２に基づいてスイッチ５１３を制御し、もともとの４：４：４フォーマットのまま予測を行った場合には、復号信号５０９をそのままメモリ５１０へ書き込み、４：４：４フォーマットのサンプリング密度より低いサンプリング密度で予測が行われた場合には、復号信号５０９をアップサンプル部５１４でアップサンプル復号信号５１５へアップサンプリングを行ってからメモリ５１０へ書き込むように構成する。また、サンプリング密度指定情報５１２は圧縮部５０２、可変長符号化部５０４、局所復号部５０６にも伝えられ、変換・量子化すべきサンプル数、圧縮データ５０３として可変長符号化すべきサンプル数などを切り替えるのに用いられる。
以上のように符号化装置を構成することにより、以下の効果がある。図３１のような従来の４：２：０フォーマットでは、色情報の信号劣化に対する視認性の低さを利用して原信号領域で符号化すべきサンプル数を削減し情報圧縮を実現していた。この色の間引きが最も画像品質に影響を与えるのは、色が急峻に変化する領域でその変化を表現するための周波数成分がもともと損失している場合である。表示装置の高精細化、色再現性の改善が進むと、このような色情報の損失が画像品質に与える影響が無視できなくなる。しかし一方、平坦な色分布、一様な色分布を示すような領域では、画像信号の再構成においてそのような急峻な色変化を表現するために必要な周波数成分は重要でなくなるため、そのような領域では符号化すべき色情報のサンプル数を削減するように構成してもよい。元々画像信号は非定常であり信号特性は局所的に変化するため、上記のような色再現に関わる信号特性に応じて符号化すべきサンプル数を適応的に変化させる機構を備えることで、より効率的な符号化を行うことができる。
以下、本実施の形態３の説明においては、特に、入力信号１００がY,Cb,Cr空間の４：４：４フォーマットの信号である場合を例にして説明を行う。サンプリングの適応化については、CbおよびCrの色差成分に対して適用する事例を扱い、特にCb、Cr成分に対して４：４：４フォーマットで予測、符号化を行うか、４：２：０フォーマットで予測、符号化を行うか、を切り替える例を示す。
図２３に、予測部５００の内部構成を示す。まず、符号化単位ブロック１０２の各色成分に適用する予測画像候補の生成を行う。第１の予測画像生成部５１６は、メモリ５１０から取り出す４：４：４フォーマットの参照画像５１９を使用して、４：４：４フォーマットのままで適用する第１の予測画像候補５１７を生成する。第２の予測画像生成部５１８は、参照画像５１９をダウンサンプル部５２０で４：２：０フォーマットにダウンサンプルした信号を用いて４：２：０フォーマットでの第２の予測画像候補５２１を生成する。ダウンサンプル部５２０は、Cb、Cr成分をそれぞれ水平・垂直方向へ1/2のサンプル数へダウンサンプルする処理を行う。ここでは、第１の予測画像生成部５１６、第２の予測画像生成部５１８は、フレーム内のイントラ予測やフレーム間の動き補償予測を適用して予測画像を生成するものであり、符号化単位ブロック１０２の各色成分に適用可能なすべての予測モードを一般的に包含する構成とする。
次いで、第１の予測画像候補５１７および第２の予測画像候補５２１を符号化効率の観点で比較し、より効率のよい予測画像候補を選択する。この選択は、予測モード判定部５２２で行う。予測モード判定部５２２の内部構成を図２４に示す。第１の予測画像候補５１７は、符号化単位ブロック１０２と差分をとって第１の予測誤差信号候補５３４を求め、それを暫定４：４：４符号化部５２３でいったん符号化する。その結果、第１の符号量５２４(R1)と、第１の復号予測誤差信号５２５を得る。第１の復号予測誤差信号５２５は、第１の予測画像候補５１７と加算した後、４：４：４符号化歪算出部５２６で符号化単位ブロック１０２との差分をとって第１の符号化歪５２７(D1)を得る。一方、第２の予測画像候補５２１は、符号化単位ブロック１０２をダウンサンプル部５２０で４：２：０フォーマットにした後、第２の予測画像候補５２１と差分をとって第２の予測誤差信号候補５３５を求め、それを暫定４：２：０符号化部５２８でいったん符号化する。その結果、第２の符号量５２９(R1)と、第２の復号予測誤差信号５３０を得る。第２の復号予測誤差信号５３０は、第２の予測画像候補５２１と加算した後、アップサンプル部５１４によって４：４：４フォーマットの信号へ戻し、４：２：０符号化歪算出部５３１で符号化単位ブロック１０２との差分をとって第２の符号化歪５３２(D1)を得る。コスト比較部５３３は、以下のコストJ1、J2のうち、コストが小さいほうを効率のよい予測モードとして選択する。
J1 = D1 + λ x R1
J2 = D2 + λ x R2
この結果として、４：２：０フォーマットで予測を行ったほうがよいか、４：４：４フォーマットで予測を行ったほうがよいかが判定され、その結果は、サンプリング密度指定情報５１２として、予測信号生成用パラメータ５１１に含まれて出力される。また、最終的な予測信号５０８は、サンプリング密度指定情報５１２に基づいて第１の予測画像候補５１７ないし第２の予測画像候補５２１から選択して出力される。同じく、対応する第１の予測誤差信号候補５３４ないし第２の予測誤差信号候補５３５が選択され、最終的な予測誤差信号５０１として出力される。
なお、予測モード判定部５２２の処理の別の形態として、図示はしないが、暫定符号化まで行わずに、D1/R1、D2/R2に相当する量の推定値を求めて選択を行うように構成してもよい。
図２５にビットストリームの構造を示す。シーケンスレベルのヘッダ情報１５０、映像フレーム(ピクチャ)レベルのヘッダ情報１５１、ピクチャの符号化データ１５２の系列として構成され、各符号化単位ブロック１０２ごとに、予測信号生成用パラメータ５１１と、Y,Cb,Cr成分の予測誤差信号圧縮データ５０３が多重される。サンプリング密度指定情報５１２は予測信号生成用パラメータ５１１の一部として多重され、この値に応じて、圧縮データ５０３のうち、Cb、Cr成分の符号化データの量が変化する。４：４：４フォーマットで予測・符号化されている場合は、M・Mサンプル分の符号化データが含まれており、４：２：０フォーマットで予測・符号化されている場合は、(M/2)・(M/2)サンプル分の符号化データを含む。上述の効果で述べたように、(M/2)・(M/2)サンプルでも十分に原信号の４：４：４フォーマットに含まれる色情報の周波数成分を再現可能である場合、より少ない符号量で４：４：４フォーマットの信号を符号化することができる。
２．復号装置の動作概要
図２６の復号装置は、図２２の符号化装置から出力されるビットストリーム５０５を受信して、M・M画素ブロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。図２６において、可変長復号部６００は、ビットストリーム５０５からシーケンスレベルのヘッダ情報１５０やピクチャレベルのヘッダ情報１５１などの上位ヘッダ情報を復号するとともに、ピクチャ符号化データ１５２から、M・M画素ブロックの単位で予測信号生成用パラメータ５１１、圧縮データ５０３の解析・抽出を行う。
予測信号生成用パラメータ５１１は予測部６０１へ、圧縮データ５０３は予測誤差復号部５０６ｂ(局所復号部５０６と同じ動作)へ受け渡す。予測部６０１では、動きベクトルやイントラ予測モードなどの予測信号生成用パラメータ５１１、およびその一部として含まれるサンプリング密度指定情報５１２と、メモリ６０２に格納される参照画像６０３とを用いて、時間・空間方向の予測信号５０８を得る。予測誤差復号部５０６ｂは、圧縮データ５０３に逆量子化を行って、DCT(離散コサイン変換)などの逆変換処理を施し、復号予測誤差信号５０７を得る。予測信号５０８と復号予測誤差信号５０７を加算して復号信号５０９を得る。復号信号５０９は、以降の復号処理のための予測信号５０８を生成する目的でメモリ６０２に格納される。予測信号生成用パラメータ５１１に含まれるサンプリング密度指定情報５１２は、予測誤差復号部５０６ｂに送られて、逆量子化、逆変換すべきCb、Cr成分のサンプル数を決めるために参照されるほか、予測部６０１(後述)、およびスイッチ５１３へ送られる。スイッチ５１３は、サンプリング密度指定情報５１２を参照して、もともとの４：４：４フォーマットのまま予測を行った場合には、復号信号５０９をそのままメモリ６０２へ書き込み、４：４：４フォーマットのサンプリング密度より低い４：２：０サンプフォーマットのリング密度で予測が行われた場合には、復号信号５０９をアップサンプル部５１４でアップサンプル復号信号５１５へアップサンプリングを行ってからメモリ６０２へ書き込むように構成する。M・M画素ブロックの復号信号５０９は、画面構成部６０４において映像フレーム上に配置され、復号映像フレーム６０５を得る。
以下、予測部６０１の内部動作を説明する。図２７に、予測部６０１の内部構成を示す。予測部６０１では、可変長復号部６００で復号された予測信号生成用パラメータ５１１に基づき、Y,Cb,Cr各成分からなるMxM画素ブロックごとに用いられる予測画像の生成を行う。サンプリング密度指定情報５１２が、「４：４：４フォーマットのまま予測を行う」ことを示している場合、スイッチ６０６を制御して、メモリ６０２に記憶される参照画像６０３を第１の予測画像生成部５１６側へ入力する。第１の予測画像生成部５１６は、予測信号生成用パラメータ５１１を用いて４：４：４フォーマットの第１の予測画像候補５１７を生成する。サンプリング密度指定情報５１２が、「４：２：０フォーマットで予測を行う」ことを示している場合、スイッチ６０６を制御して、メモリ６０２に記憶される参照画像６０３を、ダウンサンプル部５２０側へ入力する。これにより、４：４：４フォーマットでメモリ６０２に記憶される参照画像６０３は、４：２：０フォーマットへダウンサンプルされ、第２の予測画像生成部５１８へ入力される。第２の予測画像生成部５１８は、予測信号生成用パラメータ５１１を用いて４：２：０フォーマットの第２の予測画像候補５２１を生成する。サンプリング密度指定情報５１２は、スイッチ６０７を制御し、出力される予測信号５０８を決定する。なお、Y信号に対しては４：４：４でも４：２：０でもサンプル数は同じであるため、常に第１の予測画像生成部５１６の処理で予測信号を生成する。
以上のように符号化装置・復号装置を構成することにより、任意の色空間で定義される４：４：４フォーマットの映像信号を効率よく圧縮符号化することができる。時間・空間方向の予測処理を、成分ごとにサンプリング密度を可変にして行うように構成したので、画像信号の局所的な信号特性に適応して最も符号化効率が高いモードを選択して符号化することが可能となる。
なお、本実施の形態３では、MxM画素ブロックごとにサンプリング密度指定情報５１２を変更して符号化制御を行うように構成したが、サンプリング密度指定情報５１２の指定は、スライス、ピクチャ、シーケンスなどのさまざまな画像信号の単位であってよい。例えば、シーケンスを通じて常に４：２：０フォーマットで予測、符号化を行ってもよいケースも考えられる。その場合は、Cb、Cr成分の復号信号５０９をメモリ６０２に格納・記憶する場合に常に４：２：０フォーマットで格納しておくように構成することもできる。また、この場合は、シーケンスを通じて、メモリ６０２格納前のアップサンプル部５１４の処理をスキップすることも可能である。サンプリング密度指定情報５１２をシーケンスレベルのヘッダ情報に多重しておくことで、このような復号側でのメモリ削減、演算量削減が可能である。また、４：２：０フォーマットは既存の標準符号化方式でよく用いられるため、４：２：０フォーマットにおけるCb、Cr成分の予測・符号化の方法を、従来の標準符号化方式に準ずる方式で設計しておく構成をとってもよい。こうすることで、復号側は、４：４：４フォーマットで符号化されたビットストリームの復号処理を行うための、４：２：０フォーマット対応処理回路・実装を、既存の標準符号化方式で用いられるCb、Cr成分の復号処理回路・実装と共有できるので、相互接続性の高い復号装置を低コストで実現することが可能になる。
さらに、本実施の形態３の構成を拡張して、サンプリング密度指定情報５１２を、４：４：４、４：２：０だけでなく、４：２：２(図２８)や、その他の可変サンプリング密度パターン１〜８(図２９、３０)などのような多様なサンプリングパターンを選択可能な情報として定義するように構成してもよい。画像信号には、エッジなど、空間的にさまざまな方向に高周波成分が分散する場合がある。したがって、密なサンプリングを行う箇所に方向性を持たせることにより、少ないサンプルでも十分な信号表現を行うことが可能になる場合がある。４：２：０だけでは単にサンプルを削減するだけであり、このようなさまざまなサンプリングパターンを適応的に選択することが可能なように構成しておけば、画像信号の局所的な信号特性に適したサンプリングパターンを選択して、より効率のより符号化を行うことが可能である。また、本実施の形態３では、符号化・復号対象の信号の色空間をY,Cb,Crに限定して述べたが、この色空間もRGB、XYZなど様々な空間であってよく、かつ、ある特定の色成分だけを選択的に適応サブサンプル符号化・復号の対象とするよう、ビットストリームに適応サブサンプル符号化の有無を示す信号を多重して制御するように構成しても良い。

Claims (12)

  1. 複数の色成分で構成されるカラー画像を入力として、第１の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化装置であって、
    前記第１の領域に属する各色成分の信号に対して、第２の領域に分割した単位で平均値を得るとともに、前記第２の領域に対応する平均値分離信号を得る信号分析部と、
    前記第２の領域に分割した単位で得られた平均値から構成される平均値信号に対して各色成分ごとに独立に予測符号化を行う平均値信号符号化部と、
    前記第２の領域に分割した単位で得られた複数の色成分の平均値分離信号に対して複数用意される色成分間の変換方法を切り替えて変換を施した後、前記平均値信号符号化部とは独立して符号化を行う平均値分離信号符号化部とを備え、
    前記平均値分離信号符号化部は、選択した色成分間の変換を指示する情報を符号化データの一部としてビットストリームへ出力することを特徴とする画像符号化装置。
  2. 複数の色成分で構成されるカラー画像を、第１の領域に分割した単位で圧縮符号化されたビットストリームを入力として画像信号を復号する画像復号装置であって、
    前記第１の領域に属する各色成分の符号化データから、第２の領域に分割した単位で符号化される平均値を復号する平均値信号復号部と、
    前記第１の領域に属する各色成分の符号化データから、前記第２の領域に分割した単位で符号化される平均値分離信号を復号する平均値分離信号復号部と、
    前記平均値信号復号部により復号される復号平均値信号と、前記平均値分離信号復号部により復号される復号平均値分離信号を加算して復号信号を得る信号合成部とを備え、
    前記平均値信号復号部は、各色成分ごとに独立に予測処理を適用して復号を行い、
    前記平均値分離信号復号部は、ビットストリームから抽出した色成分間の変換を指示する情報に基づいて色成分間の変換処理を施して復号を行うことを特徴とする画像復号装置。
  3. 複数の色成分で構成されるカラー画像を入力として、第１の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化装置であって、
    前記第１の領域に属する基準色成分の信号を符号化する基準色成分信号符号化部と、
    前記第１の領域に属する基準色成分以外の信号を符号化する信号符号化部とを備え、
    前記信号符号化部は、第２の領域に分割した単位で平均値を得るとともに、前記第２の領域に対応する平均値分離信号を得る信号分析部と、
    前記第２の領域に分割した単位で得られた平均値から構成される平均値信号に対して、前記基準色成分信号符号化部から出力される予測パラメータに基づいて各色成分ごとに独立に予測符号化を行う平均値信号符号化部と、
    前記第２の領域に分割した単位で得られた平均値分離信号に対して、前記基準色成分信号符号化部から出力される局所復号信号に基づいて独立して予測符号化を行う平均値分離信号符号化部とを有することを特徴とする画像符号化装置。
  4. 複数の色成分で構成されるカラー画像を、第１の領域に分割した単位で圧縮符号化されたビットストリームを入力として画像信号を復号する画像復号装置であって、
    前記第１の領域に属する基準色成分の信号を復号する基準色成分信号復号部と、
    前記第１の領域に属する基準色成分以外の信号を復号する信号復号部とを備え、
    前記信号復号部は、第２の領域に分割した単位で符号化される平均値を、前記基準色成分信号復号部から出力される予測パラメータに基づいて各色成分ごとに独立に予測信号を生成することによって復号する平均値信号復号部と、
    前記第２の領域に分割した単位で符号化される平均値分離信号を、前記基準色成分信号復号部から出力される復号信号に基づいて各色成分ごとに独立に予測信号を生成することによって復号する平均値分離信号復号部と、
    前記平均値信号復号部により復号される復号平均値信号と、前記平均値分離信号復号部により復号される復号平均値分離信号を加算して復号信号を得る信号合成部とを有することを特徴とする画像復号装置。
  5. 複数の色成分で構成される４：４：４フォーマットのカラー画像を入力として、第１の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化装置であって、
    前記第１の領域に属する色成分の信号に対して、４：４：４フォーマットの信号に基づいて予測を行う第１の予測部と、
    前記第１の領域に属する色成分の信号に対して、４：４：４フォーマットからダウンサンプルを行った信号に基づいて予測を行う第２の予測部と、
    前記第１の予測部ないし第２の予測部による予測のうち、効率の高いほうを選択して信号予測を行う予測方式選択部と、
    該選択された予測方式を指定する情報をビットストリームに多重化する多重化部とを備えることを特徴とする画像符号化装置。
  6. 複数の色成分で構成される４：４：４フォーマットのカラー画像を、第１の領域に分割した単位で圧縮符号化されたビットストリームを入力として画像信号を復号する画像復号装置であって、
    前記第１の領域に属する色成分の信号を復号するにあたり、４：４：４フォーマットの信号に基づいた予測画像を生成する第１の予測画像生成部と、
    前記第１の領域に属する色成分の信号を復号するにあたり、４：４：４フォーマットからダウンサンプルを行った信号に基づいた予測画像を生成する第２の予測画像生成部、
    前記第１の予測画像生成部ないし第２の予測画像生成部のうち、いずれの予測画像生成部を用いて前記第１の領域に属する色成分の信号を復号するかを指定する情報をビットストリームから抽出して、該指定情報に基づいて予測画像を生成する予測画像生成部とを備えることを特徴とする画像復号装置。
  7. 複数の色成分で構成されるカラー画像を入力として、第１の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化方法であって、
    前記第１の領域に属する各色成分の信号に対して、第２の領域に分割した単位で平均値を得るとともに、前記第２の領域に対応する平均値分離信号を得るステップと、
    前記第２の領域に分割した単位で得られた平均値から構成される平均値信号に対して各色成分ごとに独立に予測符号化を行うステップと、
    前記第２の領域に分割した単位で得られた複数の色成分の平均値分離信号に対して複数用意される色成分間の変換方法を切り替えて変換を施した後、前記平均値信号に対する符号化ステップとは独立して符号化を行うステップとを備え、
    前記平均値分離信号に対する符号化を行うステップは、選択した色成分間の変換を指示する情報を符号化データの一部としてビットストリームへ出力することを特徴とする画像符号化方法。
  8. 複数の色成分で構成されるカラー画像を、第１の領域に分割した単位で圧縮符号化されたビットストリームを入力として画像信号を復号する画像復号方法であって、
    前記第１の領域に属する各色成分の符号化データから、第２の領域に分割した単位で符号化される平均値を復号するステップと、
    前記第１の領域に属する各色成分の符号化データから、前記第２の領域に分割した単位で符号化される平均値分離信号を復号するステップと、
    前記復号された復号平均値信号と、前記復号された復号平均値分離信号を加算して復号信号を得るステップとを備え、
    前記平均値信号を復号するステップは、各色成分ごとに独立に予測処理を適用して復号を行い、
    前記平均値分離信号を復号するステップは、ビットストリームから抽出した色成分間の変換を指示する情報に基づいて色成分間の変換処理を施して復号を行うことを特徴とする画像復号方法。
  9. 複数の色成分で構成されるカラー画像を入力として、第１の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化方法であって、
    前記第１の領域に属する基準色成分の信号を符号化するステップと、
    前記第１の領域に属する基準色成分以外の信号を符号化するステップとを備え、
    前記基準色成分以外の信号を符号化するステップは、第２の領域に分割した単位で平均値を得るとともに、前記第２の領域に対応する平均値分離信号を得るステップと、
    前記第２の領域に分割した単位で得られた平均値から構成される平均値信号に対して、前記基準色成分の信号を符号化するステップから出力される予測パラメータに基づいて各色成分ごとに独立に予測符号化を行うステップと、
    前記第２の領域に分割した単位で得られた平均値分離信号に対して、前記基準色成分の信号を符号化するステップから出力される局所復号信号に基づいて独立して予測符号化を行うステップとを有することを特徴とする画像符号化方法。
  10. 複数の色成分で構成されるカラー画像を、第１の領域に分割した単位で圧縮符号化されたビットストリームを入力として画像信号を復号する画像復号方法であって、
    前記第１の領域に属する基準色成分の信号を復号するステップと、
    前記第１の領域に属する基準色成分以外の信号を復号するステップとを備え、
    前記基準色成分以外の信号を復号するステップは、第２の領域に分割した単位で符号化される平均値を、前記基準色成分の信号を復号するステップから出力される予測パラメータに基づいて各色成分ごとに独立に予測信号を生成することによって復号するステップと、
    前記第２の領域に分割した単位で符号化される平均値分離信号を、前記基準色成分の信号を復号するステップから出力される復号信号に基づいて各色成分ごとに独立に予測信号を生成することによって復号するステップと、
    前記復号された復号平均値信号と、前記復号された復号平均値分離信号を加算して復号信号を得るステップとを有することを特徴とする画像復号方法。
  11. 複数の色成分で構成される４：４：４フォーマットのカラー画像を入力として、第１の領域に分割した単位で圧縮符号化してビットストリームを生成する画像符号化方法であって、
    前記第１の領域に属する色成分の信号に対して、４：４：４フォーマットの信号に基づいて予測を行うステップと、
    前記第１の領域に属する色成分の信号に対して、４：４：４フォーマットからダウンサンプルを行った信号に基づいて予測を行うステップと、
    前記４：４：４フォーマットの信号に基づく予測を行うステップないし前記４：４：４フォーマットからダウンサンプルを行った信号に基づく予測を行うステップによる予測のうち、効率の高いほうを選択して信号予測を行うステップと、
    該選択された予測方式を指定する情報をビットストリームに多重化するステップとを備えることを特徴とする画像符号化方法。
  12. 複数の色成分で構成される４：４：４フォーマットのカラー画像を、第１の領域に分割した単位で圧縮符号化されたビットストリームを入力として画像信号を復号する画像復号方法であって、
    前記第１の領域に属する色成分の信号を復号するにあたり、４：４：４フォーマットの信号に基づいた予測画像を生成するステップと、
    前記第１の領域に属する色成分の信号を復号するにあたり、４：４：４フォーマットからダウンサンプルを行った信号に基づいた予測画像を生成するステップと、
    前記４：４：４フォーマットの信号に基づく予測画像を生成するステップないし４：４：４フォーマットからダウンサンプルを行った信号に基づく予測画像を生成するステップのうち、いずれのステップを用いて前記第１の領域に属する色成分の信号を復号するかを指定する情報をビットストリームから抽出して、該指定情報に基づいて予測画像を生成するステップとを備えることを特徴とする画像復号方法。
JP2009538038A 2007-10-15 2008-10-01 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Pending JPWO2009051010A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007267893 2007-10-15
JP2007267893 2007-10-15
PCT/JP2008/067822 WO2009051010A1 (ja) 2007-10-15 2008-10-01 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Publications (1)

Publication Number Publication Date
JPWO2009051010A1 true JPWO2009051010A1 (ja) 2011-03-03

Family

ID=40567283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009538038A Pending JPWO2009051010A1 (ja) 2007-10-15 2008-10-01 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Country Status (9)

Country Link
US (1) US20100232691A1 (ja)
EP (1) EP2200330A1 (ja)
JP (1) JPWO2009051010A1 (ja)
KR (1) KR20100074276A (ja)
CN (1) CN101828405A (ja)
BR (1) BRPI0817888A2 (ja)
CA (1) CA2702161A1 (ja)
RU (1) RU2010119523A (ja)
WO (1) WO2009051010A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
US9712847B2 (en) 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
CN102333223A (zh) * 2011-10-25 2012-01-25 北京华兴宏视技术发展有限公司 视频数据编码方法、解码方法、编码系统和解码系统
KR101868435B1 (ko) 2011-12-05 2018-06-19 삼성전자주식회사 영상 압축 장치 및 이를 포함하는 영상 처리 장치
WO2013128526A1 (ja) * 2012-02-28 2013-09-06 パナソニック株式会社 画像処理装置、及び、画像処理方法
CN108650516A (zh) * 2012-07-09 2018-10-12 株式会社尼康 压缩装置、图像压缩装置及拍摄装置
WO2014051080A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
EP2984837B1 (en) * 2013-04-08 2018-01-17 GE Video Compression, LLC Inter-component prediction
EP2874397A1 (en) 2013-11-15 2015-05-20 Thomson Licensing Method of embedding of an image with a color transform
JP2015216619A (ja) * 2014-04-25 2015-12-03 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、撮像方法および符号化方法
US10057577B2 (en) * 2015-06-11 2018-08-21 Sony Corporation Pre-charge phase data compression
JPWO2018003008A1 (ja) * 2016-06-28 2018-07-05 三菱電機株式会社 画像符号化装置及び画像復号装置
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
CN106791841B (zh) * 2017-01-04 2019-05-24 西安万像电子科技有限公司 图像压缩方法和装置
CN111869213A (zh) * 2018-01-16 2020-10-30 株式会社尼康 编码装置、解码装置、编码方法、解码方法、编码程序及解码程序
TWI753377B (zh) * 2019-03-12 2022-01-21 弗勞恩霍夫爾協會 用於影像及視訊寫碼之選擇性成分間變換(ict)技術
JP7500981B2 (ja) 2020-02-05 2024-06-18 富士通株式会社 画像符号化装置、画像復号装置、及び画像処理システム
US11645761B2 (en) * 2020-08-14 2023-05-09 Meta Platforms Technologies, Llc Adaptive sampling of images
US11501419B1 (en) * 2021-06-03 2022-11-15 Baylor University System and method for displaying super saturated color
US11816819B2 (en) * 2021-06-03 2023-11-14 Baylor University System and method for displaying super saturated color

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231444A (ja) * 1994-02-18 1995-08-29 Fujitsu Ltd 符号化復号化装置及び符号化復号化方法
JP2001078188A (ja) * 1999-09-01 2001-03-23 Casio Comput Co Ltd 画像圧縮符号化装置、及び記憶媒体
WO2007079781A1 (en) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding using adaptive colour space transformation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11243551A (ja) * 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
JP2002204455A (ja) * 2000-12-28 2002-07-19 Hudson Soft Co Ltd 画像伝送システム、画像伝送システムの受信装置、画像伝送方法、伝送画像復号方法及び伝送画像復号方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7035459B2 (en) * 2001-05-14 2006-04-25 Nikon Corporation Image compression apparatus and image compression program
JP3743389B2 (ja) * 2001-05-14 2006-02-08 株式会社ニコン 画像圧縮装置および画像圧縮プログラム
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) * 2005-07-22 2008-06-12 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080123977A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP2007104117A (ja) * 2005-09-30 2007-04-19 Seiko Epson Corp 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231444A (ja) * 1994-02-18 1995-08-29 Fujitsu Ltd 符号化復号化装置及び符号化復号化方法
JP2001078188A (ja) * 1999-09-01 2001-03-23 Casio Comput Co Ltd 画像圧縮符号化装置、及び記憶媒体
WO2007079781A1 (en) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture coding using adaptive colour space transformation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNJ200910015024; 山岸秀一、井須芳美、関口俊一、山田悦久、浅井光太郎、村上篤道: '４：４：４映像信号に対する色成分別独立符号化方式の検討' 第２９回情報理論とその応用シンポジウム予稿集 第２分冊 , 20061128, ｐｐ．５４１-５４４ *
JPN6012057990; 山岸秀一、井須芳美、関口俊一、山田悦久、浅井光太郎、村上篤道: '４：４：４映像信号に対する色成分別独立符号化方式の検討' 第２９回情報理論とその応用シンポジウム予稿集 第２分冊 , 20061128, ｐｐ．５４１-５４４ *

Also Published As

Publication number Publication date
WO2009051010A1 (ja) 2009-04-23
EP2200330A1 (en) 2010-06-23
KR20100074276A (ko) 2010-07-01
CA2702161A1 (en) 2009-04-23
CN101828405A (zh) 2010-09-08
RU2010119523A (ru) 2011-11-27
US20100232691A1 (en) 2010-09-16
BRPI0817888A2 (pt) 2015-03-31

Similar Documents

Publication Publication Date Title
JPWO2009051010A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP5197630B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP5270166B2 (ja) 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US20160080753A1 (en) Method and apparatus for processing video signal
KR20060085157A (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR20230037527A (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR20070069073A (ko) 부호화 데이터 출력 방법 및 장치, 재부호화 데이터 생성방법 및 장치, 부호화 데이터 복원 방법 및 장치, 부호화방법 및 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2007081085A1 (en) Method of encoding flag, method of decoding flag, and apparatus thereof
JP5768180B2 (ja) 画像復号方法及び画像復号装置
KR20060119736A (ko) 영상 신호의 인코딩 방법
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JP5092558B2 (ja) 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
JPWO2012005106A1 (ja) 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
KR20140138544A (ko) 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
JPWO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
WO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6265414B2 (ja) 映像符号化装置及び映像復号装置
WO2011064932A1 (ja) 画像符号化装置及び画像復号装置
KR20120008321A (ko) 서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치
KR20110055358A (ko) 비디오 신호의 처리 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130312