JP6410513B2 - 画像符号化装置及び方法 - Google Patents

Description

本発明は画像符号化装置及び方法に関し、特に入力画像信号としてＲＧＢ信号を直接符号化する画像符号化装置及び方法に関する。

従来、動画像の圧縮符号化方式として、ＭＰＥＧ−２及びＨ．２６４等が知られている。これらの圧縮符号化方式は基本的に、画像をマクロブロックと呼ばれる１６×１６画素のブロックに分割した上で、動き補償予測、直交変換、変換係数の量子化及びエントロピー符号化を適用する。

これらの圧縮符号化方式を採用する符号化装置では、符号化対象画像として主としてＹＣｂＣｒ信号形式のものを主に用いてきた。ＹＣｂＣｒ信号は、ＲＧＢ信号から輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒに色空間変換して得られた信号である。

色差信号Ｃｂ，Ｃｒは輝度信号Ｙより視認性が低いので、解像度を落としても視覚的な影響が少ないという特徴がある。そこで、ダウンサンプルにより色差信号の情報量を削減することが行われる。例えば、ＹＣｂＣｒ信号では、水平方向のみ画素数を半減させた４：２：２フォーマットと、水平方向と垂直方向の両方で画素数を半減させた４：２：０フォーマットが知られている。このように色差成分の情報を削減したフォーマットを画像符号化に採用することで、符号化に必要な処理量を削減でき、伝送符号量も削減できる。

一方、近年、ディスプレイ及びビデオカメラ等の映像機器の高解像度化と高階調化に伴い、画像信号をＲＧＢ形式で伝送（記録再生）したいとする要望がある。ＲＧＢ信号は各画素についてＲ（赤）信号、Ｇ（緑）信号及びＢ（青）信号からなり、全て同一の画素数を有するフォーマットはＲＧＢ４：４：４フォーマットと呼ばれている。ＲＧＢ４：４：４フォーマットを符号化する符号化装置が、特許文献１に記載されている。

特開２００８−１７２５９９号公報

動画像の圧縮符号化は、動き探索を利用することで高い圧縮率を実現する。特許文献１に記載される４：４：４フォーマットの符号化装置では、ＲＧＢの３信号のうち一部の信号を用いて動き探索に行うか、あるいは全ての信号で動き探索を行って最適な動きベクトルを選択する。

特許文献１に記載される技術では、次のような問題がある。すなわち、被写体はその保持する色に偏りがあるのが一般的であり、一部の色成分だけでは被写体が画像上に存在しないように見えることがある。このとき、被写体の動きを検出できず、動き探索精度が低下する。

全ての色成分を用いて動き探索を行うと、参照画像メモリから読み出す参照画像データが３倍必要となり、メモリバスレートが増大する。高速なメモリバスを備える必要があり、ハードウエアの規模と消費電力が増加してしまい、演算処理負担も増大する。

本発明は、このような問題点を解決する、ＲＧＢ信号の画像符号化装置及び方法を提示することを目的とする。

上記課題を解決するため、本発明に係る画像符号化装置は、Ｒ（赤）成分、Ｇ（緑）成分及びＢ（青）成分からなるＲＧＢ形式の入力画像データを符号化する画像符号化装置であって、画像データを前記ＲＧＢ形式から輝度成分（Ｙ）を用いたＹＢＲ形式に変換するＹＢＲ変換手段と、前記ＹＢＲ変換手段によって前記ＲＧＢ形式から前記ＹＢＲ形式に変換された前記入力画像データおよび参照画像データを記憶する記憶手段と、前記記憶手段に記憶された前記入力画像データの輝度成分と、前記参照画像データの輝度成分とに基づき前記入力画像データに係る動きを探索する動き探索手段と、前記記憶手段に記憶された画像データを前記ＹＢＲ形式から前記ＲＧＢ形式に変換するＲＧＢ変換手段と、前記動き探索手段の探索結果に従い、前記ＲＧＢ変換手段によって前記ＹＢＲ形式から前記ＲＧＢ形式に変換された前記入力画像データをＲ，Ｇ，Ｂの色成分毎に符号化する符号化手段
とを有することを特徴とする。

本発明によれば、ＲＧＢ画像データを符号化する画像符号化装置において、動き探索処理に係るメモリバスレート及び処理量の増大を抑えつつ、精度の高い動き探索が実現できる。

本発明の一実施例の概略構成ブロック図である。 ＹＢＲ変換部の概略構成ブロック図である。 ＲＧＢ変換部の概略構成ブロック図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、ＲＧＢ画像データを符号化する本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。画像入力部１０１には、外部からＲＧＢ４：４：４フォーマットの画像信号（以下、ＲＧＢ信号という。）が入力する。ＹＢＲ変換部１１１は、画像入力部１０１により入力されるＲＧＢ信号をＹＢＲ信号形式の画像信号（ＹＢＲ信号）に変換し、得られたＹＢＲ信号をメモリインターフェイス１０５を介してメモリ１０４の入力画像格納領域に格納する。

ＹＢＲ変換部１１１で生成されるＹＢＲ信号は、Ｙ（輝度）成分、Ｂ（青）成分及びＲ（赤）成分からなる信号であり、Ｙ成分は、
Ｙ＝２Ｇ＋Ｂ＋Ｒ
により算出される。Ｂ成分とＲ成分はそれぞれＲＧＢ信号のＢ成分とＲ成分そのものである。キャリーを確保するため、Ｙ成分のビット長を、ＲＧＢ信号の各色成分のビット長に対して２ビット多いビット長とする。例えば、ＲＧＢ信号の各色成分が１０ビットで表現される場合、Ｙ成分を１２ビットで表現する。

メモリインターフェイス１０５は、画像入力部１０１、動き探索部１０２及び動き補償部１０３からの読み書き要求を調停してメモリ１０４へのデータの読み書きを制御するインターフェイスである。メモリ１０４は、ＤＲＡＭ等のランダムアクセスメモリからなる。画像データを記憶する記憶手段として使用されるメモリ１０４には、入力画像データを格納する入力画像格納領域と、参照画像データを格納する参照画像格納領域が設定されている。入力画像データと参照画像データはＹＢＲ形式で、それぞれ入力画像格納領域と参照画像格納領域に格納される。

動き探索部１０２は、メモリ１０４から入力画像データのＹ成分と、対応する参照画像データのＹ成分をメモリインターフェイス１０５を介して読み出し、マクロブロック毎に予測モード判定処理と動き探索処理を実行する。動き探索部１０２は、予測モード判定処理で得られた予測モード情報と、動き探索処理で得られた動きベクトル情報を探索結果として動き補償部１０３に供給する。

動き補償部１０３は、メモリ１０４から入力画像データ（ＹＢＲ）と、対応する参照画像データ（ＹＢＲ）をメモリインターフェイス１０５を介して読み出し、それぞれＲＧＢ変換部１１２，１１３によりＲＧＢ形式に変換させて、取り込む。ＲＧＢ変換部１１２，１１３は、
Ｇ＝（Ｙ−Ｂ−Ｒ）／２
に従い、Ｙ成分からＧ成分を生成し、Ｂ成分及びＲ成分をそのまま出力する。ＲＧＢ成分からＹ成分を演算する式及びＹ成分からＧ成分を演算する式を上記のように設定することで、演算に伴う損失無しで動き探索を充分な精度で実現できる。

動き補償部１０３は、ＲＧＢ変換部１１２からの入力画像データ（ＲＧＢ）と、ＲＧＢ変換部１１３からの参照画像データ（ＲＧＢ）からマクロブロック単位で且つ色成分毎に動き補償予測処理と予測符号化に対応する局所復号化処理とを適用する。動き補償部１０３は、動き予測補償処理で、動き探索部１０２からの予測モード情報および動きベクトル情報を用い、参照画像データ（ＲＧＢ）から予測画像データ（ＲＧＢ）を生成する。動き補償部１０３は、入力画像データ（ＲＧＢ）と予測画像データ（ＲＧＢ）との差分値を予測残差画像データ（ＲＧＢ）として直交変換部１０６に出力する。

直交変換部１０６は、動き補償部１０３からの予測残差画像データ（ＲＧＢ）に色成分毎にＤＣＴ等の直交変換を施し、この直交変換で得られた変換係数データ（ＲＧＢ）を量子化部１０７に出力する。量子化部１０７は、直交変換部１０６からの変換係数データ（ＲＧＢ）をその色成分毎に量子化し、逆量子化部１０８及びエントロピー符号化部１１０に出力する。

エントロピー符号化部１１０は、量子化部１０７で量子化された変換係数データ（ＲＧＢ）を色成分毎にエントロピー符号化する。エントロピー符号化部１１０は、エントロピー符号化で得られた符号データにマクロブロック毎の予測モード及び動きベクトルなどの符号化情報を所定形式で多重化し、符号化画像データとして外部に出力する。エントロピー符号化部１１０から出力される符号化画像データデータは、非図示の伝送媒体又は記録媒体に供給される。

逆量子化部１０８及び逆直交変換部１０９は、局所復号化器の一部を構成する。逆量子化部１０８は、量子化部１０７で量子化された変換係数データ（ＲＧＢ）を色成分毎に逆量子化し、逆直交変換部１０９に出力する。逆直交変換部１０９は、逆量子化部１０８で逆量子化された変換係数データを色成分毎に逆直交変換する。これにより、直交変換部１０６に入力する予測残差画像データ（ＲＧＢ）に対応する予測残差画像データが得られる。逆直交変換部１０９の出力データは、動き補償部１０３に供給される。

動き補償部１０３は、予測符号化対応する復号化処理として、逆直交変換部１０９からの予測残差画像データと、ＲＧＢ変換部１１３でＲＧＢ信号にされた参照画像データを用いて、復号化画像データ（ＲＧＢ信号）を生成する。動き補償部１０３は、生成した復号化画像データをＹＢＲ変換部１１４に供給する。ＹＢＲ変換部１１４は動き補償部１０３からの復号化画像データをＲＧＢ信号からＹＢＲ信号に変換し、メモリインターフェイス１０５を介して、メモリ１０４の参照画像格納領域に記憶する。

本実施例では、動き探索（及び予測モードの決定）にＲＧＢ信号からデジタル演算が容易で可逆な演算式で得られる輝度成分を使用するので、充分な精度で動きを探索できる。動き探索に輝度成分のみを使用するので、そのビット長が単独の色成分よりも長いとしても、全色成分を使用する場合に比べ、演算量を大幅に削減できる。また、メモリアクセス負荷も大幅に軽減できる。

動画像圧縮符号化の主要な要素である、動き探索、動き補償予測、直交変換、逆量子化及びエントロピー符号化のうちの動き探索のみを非ＲＧＢで行うので、高品質で高圧縮率のＲＧＢ形式の符号化画像データを生成できる。動き探索に適した成分で動きを探索するので、これもまた、高品質で高圧縮率のＲＧＢ形式の符号化画像データの生成につながる。

上記実施例では、ＲＧＢ信号とＹＢＲ信号の変換にデジタル演算に適した可逆演算式を使用したが、一般に採用される演算式では、変換係数の桁数制限により非可逆となり、変換誤差が生じる。このような変換誤差に対応する実施例を説明する。

例えば、ＹＢＲ変換部１１１，１１４において、ＩＴＵ−Ｒ ＢＴ．７０９で規定されているＹ信号変換式を使用する。すなわち、
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ
但し、この変換で発生する誤差を逆変換の際に補正できるように、ＹＢＲ変換部１１１，１１４は誤差補正データｄをも算出する。図２は、実施例２におけるＹＢＲ変換部１１１，１１４の概略構成ブロック図を示す。

Ｙ生成部２０１は、入力ＲＧＢ信号のＲ，Ｇ，Ｂの各成分から、
Ｙ＝Ｋｒ×Ｒ＋Ｋｇ×Ｇ＋Ｋｂ×Ｂ
に従い、Ｙ成分を算出する。但し、ＫｒはＲ信号用の係数、ＫｇはＧ信号用の係数、ＫｂはＢ信号用の係数である。得られたＹ成分のビット長は、入力ＲＧＢ信号と同じビット長に丸められる。

Ｇ生成部２０２は、Ｙ生成部２０１から出力されるＹ成分と、入力ＲＧＢ信号のＢ成分及びＲ成分とから、
Ｇｘ＝（Ｙ−Ｋｒ×Ｒ−Ｋｂ×Ｂ）／Ｋｇ
によりＧ対応成分（Ｇｘ）を算出する。Ｋｒ，Ｋｇ，Ｋｂは、Ｙ生成部２０１で採用される係数値と同じである。Ｇ対応成分（Ｇｘ）は、ＲＧＢ信号のＧ成分（本来のＧ成分）に対して演算誤差を含む。Ｇｘのビット長は、入力ＲＧＢ信号と同じビット長に丸められる。

減算器２０３は、Ｇ生成部２０２から出力されるＧ対応成分（Ｇｘ）から入力ＲＧＢ信号のＧ成分を減算し、その差値（誤差補正データｄ）を出力する。

ＹＢＲ変換部１１１，１１４は、本実施例では、図２に示すように、Ｙ成分、Ｂ成分及びＲ成分に加えて、誤差補正データｄを出力する。メモリ１０４の入力画像格納領域に格納される入力画像データ（ＹＢＲ）及び参照画像格納領域に格納される参照画像データ（ＹＢＲ）は何れも、Ｙ、Ｂ、Ｒの各色成分と誤差補正データｄからなる。誤差補正データｄは、ＹＢＲ信号をＲＧＢ信号に変換する際に利用される。

図３は、本実施例におけるＲＧＢ変換部１１２，１１３の概略構成ブロック図を示す。Ｇ生成部３０１が、メモリインターフェイス１０５からのＹ，Ｂ，Ｒ，ｄからなるＹＢＲ信号のＹ成分、Ｂ成分及びＲ成分から下記式に従い、
Ｇｘ＝（Ｙ−Ｋｒ×Ｒ−Ｋｂ×Ｂ）／Ｋｇ
Ｇ対応成分（Ｇｘ）を算出する。この演算式と各係数Ｋｒ，Ｋｇ，Ｋｂの係数値は、Ｇ生成部２０２のそれらと同じである。Ｇｘのビット長は、入力ＲＧＢ信号と同じビット長に丸められる。

加算器３０２は、Ｇ生成部３０１から出力されるＧ対応成分（Ｇｘ）に誤差補正データｄを加算する。加算結果が、本来のＧ成分となる。

ＲＧＢ変換部１１２，１１３は、加算器３０２の出力をＧ成分として出力し、入力信号の内のＢ成分及びＲ成分をそのまま出力する。

ＲＧＢ信号から輝度信号Ｙを生成するのに一般的な変換式を使用することで、一般に認知される輝度信号に基づいて動きを探索でき、輝度信号ベースの圧縮符号化と同程度の動き探索精度を実現できる。ＹＣｒＣｂベースの圧縮符号化器で採用される動き探索を利用できる。また、誤差補正データｄを伝送することで、ＹＢＲ信号からＧ成分を得る一般的な変換式での誤差を低減できる。

装置として構成する実施例を説明したが、上述した実施例の一部又は全部の機能をコンピュータ上で動作するコンピュータプログラム、例えば画像符号化プログラムにより実現することが可能である。

以上、本発明の好ましい実施例を説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (6)

1. Ｒ（赤）成分、Ｇ（緑）成分及びＢ（青）成分からなるＲＧＢ形式の入力画像データを符号化する画像符号化装置であって、
   画像データを前記ＲＧＢ形式から輝度成分（Ｙ）を用いたＹＢＲ形式に変換するＹＢＲ変換手段と、
   前記ＹＢＲ変換手段によって前記ＲＧＢ形式から前記ＹＢＲ形式に変換された前記入力画像データおよび参照画像データを記憶する記憶手段と、
   前記記憶手段に記憶された前記入力画像データの輝度成分と、前記参照画像データの輝度成分とに基づき前記入力画像データに係る動きを探索する動き探索手段と、
   前記記憶手段に記憶された画像データを前記ＹＢＲ形式から前記ＲＧＢ形式に変換するＲＧＢ変換手段と、
   前記動き探索手段の探索結果に従い、前記ＲＧＢ変換手段によって前記ＹＢＲ形式から前記ＲＧＢ形式に変換された前記入力画像データをＲ，Ｇ，Ｂの色成分毎に符号化する符号化手段
   とを有することを特徴とする画像符号化装置。
2. 前記ＹＢＲ変換手段は、前記ＲＧＢ形式の画像データのＲ，Ｇ，Ｂの各成分から、
   Ｙ＝２×Ｇ＋Ｂ＋Ｒ
   により輝度成分（Ｙ）を算出し、
   前記ＲＧＢ変換手段は、前記ＹＢＲ形式の画像データのＹ，Ｂ，Ｒの各成分から、
   Ｇ＝（Ｙ−Ｂ−Ｒ）／２
   によりＧ成分を算出する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記ＹＢＲ変換手段は、前記ＲＧＢ形式の画像データのＲ，Ｇ，Ｂの各成分から、
   Ｙ＝Ｋｒ×Ｒ＋Ｋｇ×Ｇ＋Ｋｂ×Ｂ
   により算出され丸められた輝度成分（Ｙ）と、
   ｄ＝（Ｙ−Ｋｒ×Ｒ−Ｋｂ×Ｂ）／Ｋｇ−Ｇ
   により算出される誤差補正データｄを算出し、
   前記ＲＧＢ変換手段は、前記ＹＢＲ形式の画像データのＹ，Ｂ，Ｒの各成分及び前記誤差補正データｄから、
   Ｇ＝（Ｙ−Ｋｒ×Ｒ−Ｋｂ×Ｂ）／Ｋｇ＋ｄ
   によりＧ成分を算出する
   ことを特徴とする請求項１に記載の画像符号化装置。
4. 前記動き探索手段が、前記記憶手段に記憶された前記入力画像データの輝度成分と、前記参照画像データの輝度成分とに基づき、前記符号化手段によってＲ，Ｇ，Ｂの色成分毎に符号化される前記入力画像データのブロックごとの予測モード情報と動きベクトル情報を出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記符号化手段は、符号化された符号化画像データに対して局所復号化を行って前記ＲＧＢ形式の復号化画像データを生成し、
   前記ＹＢＲ変換手段は、前記復号化画像データを前記ＹＢＲ形式に変換し、前記参照画像データとして前記記憶手段に供給することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. Ｒ（赤）成分、Ｇ（緑）成分及びＢ（青）成分からなるＲＧＢ形式の入力画像を符号化する画像符号化方法であって、
   前記ＲＧＢ形式の入力画像を輝度成分（Ｙ）を用いたＹＢＲ形式に変換するステップと、
   前記ＲＧＢ形式の入力画像から変換された前記ＹＢＲ形式の入力画像をメモリに記憶するステップと、
   前記ＹＢＲ形式の参照画像を前記メモリに記憶するステップと、
   前記メモリに記憶された前記ＹＢＲ形式の入力画像の輝度成分と、前記参照画像の輝度成分とに基づき前記ＹＢＲ形式の入力画像に係る動き探索を行うステップと、
   前記メモリに記憶された前記ＹＢＲ形式の入力画像を前記ＲＧＢ形式に変換するステップと、
   前記動き探索の結果に従い、前記メモリに記憶された前記ＹＢＲ形式の入力画像から変換された前記ＲＧＢ形式の入力画像をＲ，Ｇ，Ｂの色成分毎に符号化するステップ
   とを具備する画像符号化方法。

Images