JPH10248072A - 動画像の色差信号変化補償方法、動画像符号化装置および動画像復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 少ない演算量、データ量で品質の良い符号化
画像を得る。 【解決手段】 輝度変化検出部５ではブロックＢ_i にお
ける輝度信号の変化量を表すパラメータＤ_C(i)，Ｄ_B(i)
を算出する。頻度算出部６では、パラメータＤ_C(i)，Ｄ
_B(i)の頻度を１フレーム分について求め、最も頻度が高
かったパラメータの組を第Ｎフレーム原画像における大
局的な輝度変化量を表すパラメータα，βとして決定す
る。輝度変化補償部７では第（Ｎ−１）フレーム再生画
像の輝度値Ｙに対してＹ’＝α・Ｙ＋βにより輝度変化
補償を行う。また、色差変化補償部１０では第（Ｎ−
１）フレーム再生画像の各色差値Ｃ_B ，Ｃ_R に対してそ
れぞれＣ'_B＝α・Ｃ_B ，Ｃ'_R＝α・Ｃ_R により色差変化
補償を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル動画像
を効率よく伝送・蓄積する符号化方式や、動画像編集等
の際の画像処理方式において必要となる画像フレーム間
色差信号変化量補償技術に関する。

【０００２】

【従来の技術】処理対象画像フレームと参照画像フレー
ム間の輝度変化量を補償する従来の技術として特願平８
−２３３００２がある。この技術においては、動画像に
フェードイン、フェードアウトといった画面全体の輝度
変化が生じた場合に、輝度信号値ＹがαＹ＋β（α，β
は定数）に従って変化すると近似し、その輝度変化量を
補償する。そのため、例えば動画像符号化にこの技術を
適用することによって、フェードイン、フェードアウト
といった画像においても効率的な符号化が行える。

【０００３】

【発明が解決しようとする課題】一般に、画像符号化の
分野において扱われる信号は、明るさ成分を表す輝度信
号（Ｙ信号）と、色成分と明るさ成分との差を表す２つ
の色差信号（Ｃ信号）である。２つの色差信号のうち、
一方は青色成分から明るさ成分を引いたものに相当し、
Ｃ_B 信号と表記される。他方は赤色成分から明るさ成分
を引いたものに相当し、Ｃ_R 信号と表記される。画像信
号を符号化すると、Ｙ信号はＣ信号に比べて１０倍程度
多くのデータ量を必要とする。そこで特願平８−２３３
００２においては、データの大半を占めるＹ信号のみに
ついて処理対象画像フレームと参照画像フレーム間の変
化量を検出し補償している。確かにＣ信号の符号化効率
は全体の符号化データ量の増減に与える影響がＹ信号に
比べて少ないが、Ｃ信号に劣化が多く含まれると色が実
際のものと変わってしまい、視覚的に与える影響は意外
に大きい。ただし、特願平８−２３３００２におけるＹ
信号に対して行われるのと同様の処理をＣ_B ，Ｃ_R 信号
に対して行うことにより、両色差信号に対する補償が行
えることは容易に類推できる。しかしこの場合には、Ｙ
信号およびＣ_B，Ｃ_R 信号の変化量を求めるための処理
が２〜３倍程度に増加し、その変化量を伝送するために
必要なデータ量も約３倍に増加する。また、同一画素に
おけるＹ信号とＣ_B ，Ｃ_R 信号では、その画素が同一で
あることから動きも同一であることが仮定できるため、
Ｃ_B ，Ｃ_R 信号についてはＹ信号の変化量算出時に得ら
れる動きベクトルを利用してＣ_B ，Ｃ_R 信号の変化量を
求めることも容易に類推できる。この場合には、Ｃ_B ，
Ｃ_R 信号の変化量を求めるための処理が非常に簡単にな
るため、全体の処理量はＹ信号の変化量のみを検出する
場合と大差ない。しかしＣ_B ，Ｃ_R 信号の変化量は伝送
する必要があるため、伝送に必要なデータ量はやはり約
３倍になる。

【０００４】本発明の目的は、少ない演算量、データ量
で品質のよい符号化が行なえる、動画像の色差信号変化
補償方法、動画像符号化装置および動画像復号装置を提
供することにある。

【０００５】

【課題を解決するための手段】本発明の、動画像の色差
信号変化補償方法は、参照画像フレームから処理対象画
像フレームへの各画素の輝度信号値ＹがαＹ＋β（α，
βは定数）に変化すると近似される時、参照画像フレー
ムから処理対象画像フレームへの各画素の色差信号値Ｃ
はαＣに変化すると近似する。

【０００６】本発明の動画像符号化装置は、参照画像フ
レームと処理対象画像フレーム間の輝度信号変化式を推
定する輝度信号変化式推定手段と、該輝度信号変化式推
定手段によって検出された輝度信号変化式により前記処
理対象画像フレームの各画素の輝度信号を近似する輝度
信号変化補償手段と、前記輝度信号変化式により前記処
理対象画像フレームの各画素の色差信号を近似する色差
信号変化補償手段を有する。

【０００７】本発明の動画像復号装置は、動画像符号化
装置において推定された参照画像フレームと処理対象画
像フレーム間の輝度信号変化式により処理対象画像フレ
ームの各画素の輝度信号を近似する輝度信号変化補償手
段と、輝度信号変化式により前記処理対象画像フレーム
の各画素の色差信号を近似する色差信号変化補償手段を
有する。

【０００８】ここで、本発明の原理を説明する。

【０００９】Ｙ信号は赤（Ｒ）成分、緑（Ｇ）成分、青
（Ｂ）成分の三つの色成分の重み付け和であり、一般に
次式で表される。

【００１０】 Ｙ＝ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ ・・・・・（１） ここで、ａ，ｂ，ｃは定数であり、ａ＋ｂ＋ｃ＝１であ
る。フェードイン、フェードアウト、カメラの絞り調整
等によって変化した後のＹ信号をＹ’とすると、特願平
８−２３３００２と同様に、 Ｙ’＝α・Ｙ＋β ・・・・・（２） と仮定する。また、その際のＲＧＢ各信号をＲ’，
Ｇ’，Ｂ’とすると、これらもＹ信号と同様に Ｒ’＝α_R ・Ｒ＋β_R ・・・・・（３） Ｇ’＝α_G ・Ｇ＋β_G ・・・・・（４） Ｂ’＝α_B ・Ｂ＋β_B ・・・・・（５） と仮定する。

【００１１】一般に、フェードイン、フェードアウトや
カメラの絞り調整では、色合いは変化せずに明るさのみ
が変化する。照明の色自体が変化する場合は色合いも変
化するが、このような場合はごくまれである。そこで、
本発明では色合いは変化せず、明るさのみが変化する場
合に限定する。この変化は式（３）〜（５）に対して次
式で近似できる。

【００１２】 α_R ＝α_G ＝α_B ・・・・・（６） β_R ＝β_G ＝β_B ・・・・・（７） すなわち式（３）〜（５）は Ｒ’＝α_C ・Ｒ＋β_C ・・・・・（３）’ Ｇ’＝α_C ・Ｇ＋β_C ・・・・・（４）’ Ｂ’＝α_C ・Ｂ＋β_C ・・・・・（５）’ となる。一方、式（１）と同様、 Ｙ’＝ａ・Ｒ’＋ｂ・Ｇ’＋ｃ・Ｂ’ ・・・・・（８） である。以上の式から、 α・Ｙ＋β＝ａ（α_C ・Ｒ＋β_C ）＋ｂ（α_C ・Ｇ＋β_C ） ＋ｃ（α_C ・Ｂ＋β_C ） ＝α_C(ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）＋β_C(ａ＋ｂ＋ｃ） ＝α_C(ａ・Ｒ＋ｂ・Ｇ＋ｃ・Ｂ）＋β_C(ａ＋ｂ＋ｃ） ＝α_C ・Ｙ＋β_C ・・・・・（９） したがって、 α_C ＝α ・・・・・（１０） β_C ＝β ・・・・・（１１） となる。

【００１３】さて、２つの色差信号Ｃ_B ，Ｃ_R は Ｃ_B ＝Ｂ−Ｙ ・・・・・（１２） Ｃ_R ＝Ｒ−Ｙ ・・・・・（１３） である。フェードイン、フェードアウト、カメラの絞り
調整等によって変化した 後の２つの色差信号をＣ'_B，Ｃ'_Rとすると、 Ｃ'_B＝Ｂ’−Ｙ’ ＝（α_C ・Ｂ＋β_C ）−（α・Ｙ＋β） ＝（α・Ｂ＋β）−（α・Ｙ＋β） ＝α（Ｂ−Ｙ） ＝αＣ_B ・・・・・（１４） 同様に、 Ｃ'_R＝αＣ_R ・・・・・（１５） となる。したがって、フェードイン、フェードアウト、
カメラの絞り調整等による変化の場合、Ｙ信号に対して
αＹ＋βに変化すると近似された場合、その結果を利用
してＣ_B ，Ｃ_R 信号はそれぞれαＣ_B ，αＣ_R に変化す
ると近似すればよく、色差信号のために独立に演算をす
る必要がなく、また別に変化量を表すデータを伝送する
必要もない。

【００１４】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１５】図１は、本発明の動画像の色差信号変化補
償方法を用いた動画像符号化装置を示すブロック図であ
る。

【００１６】本実施形態の動画像符号化装置は入力端子
１とフレームメモリ２，３と動き検出部４と輝度変化検
出部５と輝度算出部６と輝度変化補償部７と出力端子８
とフレームメモリ９と色差変化補償部１０と減算器１１
と離散コサイン変換部１２と量子化部１３と出力端子１
４と逆量子化部１５と逆離散コサイン変換部１８と加算
器１７とスイッチ１８，２２，２６で構成されている。
ここで、フレームメモリ３、動き検出部４、輝度変化検
出部５、頻度算出部６は輝度信号変化式推定手段を構成
している。

【００１７】入力端子１から第Ｎフレーム原画像がフレ
ームメモリ２、スイッチ１８に入力する。スイッチ１８
では入力端子１からの信号が輝度信号である場合には端
子１９を端子２０に接続するため、第Ｎフレーム原画像
の輝度信号はフレームメモリ３、動き検出部４、輝度変
化検出部５に入力する。一方、入力端子１からの信号が
色差信号である場合には端子１９を端子２１に接続する
ため、第Ｎフレーム原画像の色差信号は破棄される。

【００１８】フレームメモリ３では第Ｎフレーム原画像
の輝度信号を蓄えるとともに、今まで蓄えていた第（Ｎ
−１）フレーム原画像の輝度信号を動き検出部４、輝度
変化検出部５に送出する。

【００１９】動き検出部４では、第Ｎフレーム原画像の
輝度信号に対して予め定められたブロック毎に、ブロッ
クマッチング法により第（Ｎ−１）フレーム原画像の輝
度信号との間の動きを求める。１フレーム内の全ブロッ
ク数はｎ個とし、各ブロックをＢ₁ ，Ｂ₂ ，…，Ｂ_i ，
…，Ｂ_n とする。またブロックＢ_i に対して算出された
動きベクトルをＶ_i とする。動きベクトルＶ_i は輝度変
化検出部５に送出される。輝度変化検出部５では、第Ｎ
フレーム原画像の輝度信号のブロックＢ_i 内にある各輝
度値と、第（Ｎ−１）フレーム原画像の輝度信号におい
て動きベクトルＶ_i だけずれた位置にある１６×１６画
素の各輝度値とを用いて、ブロックＢ_iにおける輝度信
号の変化量を表すパラメータＤ_C(i)，Ｄ_B(i)を算出す
る。これらの算出方法としては、特願平８−２３３００
２がある。

【００２０】得られた２つのパラメータＤ_C(i)，Ｄ_B(i)
は頻度算出部６に送出される。頻度算出部６では、パラ
メータＤ_C(i)，Ｄ_B(i)の頻度を１フレーム分について求
め、最も頻度が高かったパラメータの組を第Ｎフレーム
原画像における大局的な輝度変化量を表すパラメータＤ
_C ，Ｄ_B として決定し、それらの値を輝度信号変化補償
手段である輝度変化補償部７、色差信号補償手段である
色差変化補償部１０に送出するとともに、出力端子８か
ら外部に出力する。

【００２１】一方、入力端子１から入力した第Ｎフレー
ム原画像は、輝度信号、色差信号ともにフレームメモリ
２で１フレーム分遅延した後、減算器１１に入力する。
フレームメモリ９には第（Ｎ−１）フレーム再生画像が
蓄積されている。このうち輝度信号についてはスイッチ
２２の端子２３を端子２４へ、またスイッチ２６の端子
２７を端子２８に接続する。したがって、第（Ｎ−１）
フレーム再生画像の輝度信号は、まず輝度変化補償部７
に入力する。輝度変化補償部７ではその画像の各輝度値
Ｙに対してＹ’＝α・Ｙ＋βにより輝度変化補償を行
い、輝度変化補償された値Ｙ’が減算器１１および加算
器１７に入力する。一方、色差信号については、スイッ
チ２２の端子２３を端子２５へ、またスイッチ２６の端
子２７を端子２９に接続する。したがって、第（Ｎ−
１）フレーム再生画像の色差信号は、まず色差変化補償
部１０に入力する。色差変化補償部１０では、その画像
の各色差値Ｃ_B ，Ｃ_R に対してそれぞれＣ'_B＝α・Ｃ
_B ，Ｃ'_R＝α・Ｃ_R により色差変化補償を行い、色差変
化補償された値Ｃ'_B，Ｃ'_Rが減算器１１および加算器１
７に入力する。

【００２２】減算器１１では両データの差をとり離散コ
サイン変換部１２に送る。離散コサイン変換部１２では
例えば８×８画素単位に離散コサイン変換し、得られた
離散コサイン変換係数を量子化部１３で量子化する。量
子化された離散コサイン変換係数は出力端子１４から外
部に送出されるとともに逆量子化部１５で逆量子化さ
れ、更に逆離散コサイン変換部１６で逆離散コサイン変
換される。加算器１７においては、それらのデータにス
イッチ２６から送出された第（Ｎ−１）フレーム再生画
像の変化補償された輝度信号または色差信号データが加
算され、第Ｎフレーム再生画像としてフレームメモリ９
に蓄えられる。フレームメモリ９に蓄えられた第Ｎフレ
ーム再生画像は、次フレーム（第（Ｎ＋１）フレーム）
の画像を復号する際に参照画像として用いられる。

【００２３】本動画像符号化装置により符号化されたデ
ータは、本発明の動画像の色差変化補償方法を用いた図
２に構成を示す動画像復号装置により復号される。

【００２４】本実施形態の動画像復号装置は入力端子３
１，３３と色差変化補償部３２と逆量子化部３４と逆離
散コサイン変換部３５と加算器３６と出力端子３７とフ
レームメモリ３８とスイッチ４０，４４で構成されてい
る。

【００２５】入力端子３１には、図１の出力端子１４か
ら出力される量子化後離散コサイン変換係数が入力す
る。入力端子３３には、図１の出力端子８から出力され
るフレーム毎の変化量を表す２つのパラメータα，βが
入力する。

【００２６】入力端子３１から入力した量子化後離散コ
サイン変換係数は、逆量子化部３４で逆量子化され、更
に逆離散コサイン変換部３５で逆離散コサイン変換され
て、加算器３６に送られる。

【００２７】フレームメモリ３８には、既に復号が終了
した第（Ｎ−１）フレーム再生画像データが蓄えられて
いる。このうち、輝度信号についてはスイッチ４０の端
子４１を端子４２へ、またスイッチ４４の端子４５を端
子４６に接続する。したがって、第（Ｎ−１）フレーム
再生画像の輝度信号は、まず輝度変化補償部３９に入力
する。輝度変化補償部３９ではその画像の各輝度値Ｙに
対してＹ’＝α・Ｙ＋βにより輝度変化補償を行い、輝
度変化補償された値Ｙ’が加算器３６に入力する。一
方、色差信号については、スイッチ４０の端子４１を端
子４３へ、またスイッチ４４の端子４５を端子４７に接
続する。したがって、第（Ｎ−１）フレーム再生画像の
色差信号は、まず色差変化補償部３２に入力する。色差
変化補償部３２では、その画像の各色差値Ｃ_B ，Ｃ_R に
対してそれぞれＣ'_B＝α・Ｃ_B，Ｃ' _R＝α・Ｃ_Rにより色
差変化補償を行い、色差変化補償された値Ｃ'_B，Ｃ'_Rが
加算器３６に入力する。

【００２８】加算器３６では、逆離散コサイン変換部３
５からのデータとスイッチ２６から送出された第（Ｎ−
１）フレーム再生画像の変化補償された輝度信号または
色差信号データが加算され第Ｎフレーム再生画像を得、
それを出力端子３７から出力するとともにフレームメモ
リ３８に蓄えておき、次フレーム（第（Ｎ＋１）フレー
ム）の画像を復号する際に参照画像として用いる。

【００２９】

【発明の効果】以上説明したように、本発明は、輝度信
号の変化量を表すパラメータを用いて、色差信号の変化
量を補償するため、少ない演算量、データ量で品質のよ
い符号化画像を得ることができる効果がある。

【図面の簡単な説明】

【図１】本発明の動画像の色差変化検出方法を用いた動
画像符号化装置を示すブロック図である。

【図２】本発明の動画像の色差変化補償方法を用いた動
画像復号装置を示すブロック図である。

【符号の説明】

１ 入力端子 ２，３ フレームメモリ ４ 動き検出部 ５ 輝度変化検出部 ６ 頻度算出部 ７ 輝度変化補償部 ８ 出力端子 ９ フレームメモリ １０ 色差変化補償部 １１ 減算器 １２ 離散コサイン変換部 １３ 量子化部 １４ 出力端子 １５ 逆量子化部 １６ 逆離散コサイン変換部 １７ 加算器 １８ スイッチ １９〜２１ 端子 ２２ スイッチ ２３〜２５ 端子 ２６ スイッチ ２７〜２９ 端子 ３１ 入力端子 ３２ 色差変化補償部 ３３ 入力端子 ３４ 逆量子化部 ３５ 逆離散コサイン変換部 ３６ 加算器 ３７ 出力端子 ３８ フレームメモリ ３９ 輝度変化補償部 ４０ スイッチ ４１〜４３ 端子 ４４ スイッチ ４５〜４７ 端子

Claims (5)

【特許請求の範囲】
1. 【請求項１】 処理対象画像フレームと参照画像フレー
   ム間の色差信号変化量を補償する動画像の色差信号変化
   補償方法であって、前記参照画像フレームから前記処理
   対象画像フレームへの各画素の輝度信号値ＹがαＹ＋β
   （α，βは定数）に変化すると近似される時、前記参照
   画像フレームから前記処理対象画像フレームへの各画素
   の色差信号値ＣはαＣに変化すると近似する、動画像の
   色差信号変化補償方法。
2. 【請求項２】 動画像符号化装置において、参照画像フ
   レームと処理対象画像フレーム間の輝度信号変化式を推
   定する輝度信号変化式推定手段と、該輝度信号変化式推
   定手段によって推定された輝度信号変化式により前記処
   理対象画像フレームの各画素の輝度信号を近似する輝度
   信号変化補償手段と、前記輝度信号変化式により前記処
   理対象画像フレームの各画素の色差信号を近似する色差
   信号変化補償手段を有することを特徴とする動画像符号
   化装置。
3. 【請求項３】 前記輝度信号変化式推定手段は、処理対
   象画像の各ブロックＢ_i（ｉ＝１，２，…，ｎ）の輝度
   値と、参照画像において検出された動きベクトルだけず
   れた位置にある画素の輝度値とを用いて、ブロックＢ_i
   の輝度信号の変化量を表わすパラメータα(i)，β(i)を
   算出し、α(i)，β(i)の頻度を１フレーム分について求
   め、最も頻度が高かったパラメータの組を処理対象画像
   における大局的な輝度変化式を表すパラメータα，βと
   して決定し、それらの値を前記輝度信号変化補償手段、
   前記色差信号補償手段に出力するとともに、外部に出力
   し、 前記輝度信号変化補償手段は、参照画像の各輝度値Ｙに
   対してＹ’＝α・Ｙ＋βにより輝度変化補償を行い、 前記色差信号変化補償手段は、参照画像の各色差値Ｃ
   _B ，Ｃ_R に対してＣ'_B＝α ・Ｃ_B ，Ｃ'_R＝α ・Ｃ_R に
   より色差変化補償を行う、請求項２記載の装置。
4. 【請求項４】 請求項２に記載の動画像符号化装置によ
   って符号化されたデータを復号する動画像復号装置にお
   いて、前記動画像符号化装置において推定された参照画
   像フレームと処理対象画像フレーム間の輝度信号変化式
   により前記処理対象画像フレームの各画素の輝度信号を
   近似する輝度信号変化補償手段と、前記輝度信号変化式
   により前記処理対象画像フレームの各画素の色差信号を
   近似する色差信号変化補償手段を有することを特徴とす
   る動画像復号装置。
5. 【請求項５】 前記輝度信号変化補償手段は、参照画像
   の各輝度値Ｙに対してＹ’＝α・Ｙ＋βにより輝度変化
   補償を行い、前記色差信号変化補償手段は、参照画像の
   各色差値Ｃ_B ，Ｃ_R に対してＣ'_B＝α・Ｃ_B ，Ｃ'_R＝α
   ・Ｃ_R により色差変化補償を行う、請求項４記載の装
   置。