JP2938412B2 - 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体 - Google Patents
動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体Info
- Publication number
- JP2938412B2 JP2938412B2 JP23745197A JP23745197A JP2938412B2 JP 2938412 B2 JP2938412 B2 JP 2938412B2 JP 23745197 A JP23745197 A JP 23745197A JP 23745197 A JP23745197 A JP 23745197A JP 2938412 B2 JP2938412 B2 JP 2938412B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- image plane
- value
- change
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【発明の属する技術分野】本発明は、ディジタル動画像
を効率よく伝送・蓄積する符号化処理や、動画像編集等
の際の画像処理において必要となる画像フレーム間の大
局的な輝度変化量を補償する動画像の輝度変化補償方
法、動画像符号化装置、動画像復号装置、動画像符号化
もしくは復号プログラムを記録した記録媒体および動画
像の符号化データを記録した記録媒体に関するものであ
る。
を効率よく伝送・蓄積する符号化処理や、動画像編集等
の際の画像処理において必要となる画像フレーム間の大
局的な輝度変化量を補償する動画像の輝度変化補償方
法、動画像符号化装置、動画像復号装置、動画像符号化
もしくは復号プログラムを記録した記録媒体および動画
像の符号化データを記録した記録媒体に関するものであ
る。
【０００２】
【従来の技術】動画像データを効率的に伝送／蓄積する
ための符号化技術として、従来から動き補償フレーム間
予測符号化と呼ばれる技術が広く知られている。この技
術は、処理対象画像フレームの輝度（または色差）その
ものを伝送／蓄積するのではなく、既に符号化された動
画フレーム（参照画像フレームと呼ぶ）から処理対象画
像フレームまで、画面内の物体等がどの程度動いたかを
検出し、その動きだけずれた位置どうしの輝度差分値を
伝送／蓄積するものである。上記差分値は一般に輝度そ
のものより小さな値となるため、動き補償フレーム間予
測符号化を用いることにより少ないデータ量で伝送／蓄
積することが可能となる。
ための符号化技術として、従来から動き補償フレーム間
予測符号化と呼ばれる技術が広く知られている。この技
術は、処理対象画像フレームの輝度（または色差）その
ものを伝送／蓄積するのではなく、既に符号化された動
画フレーム（参照画像フレームと呼ぶ）から処理対象画
像フレームまで、画面内の物体等がどの程度動いたかを
検出し、その動きだけずれた位置どうしの輝度差分値を
伝送／蓄積するものである。上記差分値は一般に輝度そ
のものより小さな値となるため、動き補償フレーム間予
測符号化を用いることにより少ないデータ量で伝送／蓄
積することが可能となる。
【０００３】ここで、動きを検出する際には、処理対象
画像フレームと参照画像フレームとで照明条件等が同じ
であることを前提とするのが一般的である。すなわち、
両フレームにおいて実際に対応する物体が同一の輝度値
であることを前提として動きを検出する。しかしなが
ら、例えばフリッカが生じた場合やストロボが光った場
合、またはカメラの絞り調整やビデオ編集機器等により
画面全体を段々明るく（以下、「フェードイン」と記
す）したり、暗く（以下、「フェードアウト」と記す）
した場合のように、明るさ自体に時間的な変化があった
場合には、実際に対応する物体どうしでも両者の輝度値
は大きく異なる。その結果、動き補償フレーム間予測符
号化を行っても、 （１）動き検出が正しく行われない （２）符号化効率が十分向上しない という欠点があった。
画像フレームと参照画像フレームとで照明条件等が同じ
であることを前提とするのが一般的である。すなわち、
両フレームにおいて実際に対応する物体が同一の輝度値
であることを前提として動きを検出する。しかしなが
ら、例えばフリッカが生じた場合やストロボが光った場
合、またはカメラの絞り調整やビデオ編集機器等により
画面全体を段々明るく（以下、「フェードイン」と記
す）したり、暗く（以下、「フェードアウト」と記す）
した場合のように、明るさ自体に時間的な変化があった
場合には、実際に対応する物体どうしでも両者の輝度値
は大きく異なる。その結果、動き補償フレーム間予測符
号化を行っても、 （１）動き検出が正しく行われない （２）符号化効率が十分向上しない という欠点があった。
【０００４】上記問題のうち、主に問題（１）を解決す
るための従来技術として、両画像フレームの間に生じた
輝度変化を検出する技術、および、その検出された輝度
変化を補正しつつ動き検出を行う技術がある。輝度変化
は大別すると、雑音によって生じるもののように画像フ
レームの空間的な位置によって変化の度合いが異なる種
類のものと、フェードイン／フェードアウトによって生
じるもののように画像フレーム全体で変化の度合いが同
様な種類のものとが考えられる。ここで問題（１）を解
決することを目的とする場合には、輝度変化をなるべく
正確に検出することが重要であるため、どちらの種類の
輝度変化にも対応できるように、フレームの小領域毎に
検出することが多い。ただし、これだけでは問題（１）
が解決しても依然としてフレーム間輝度差分値は大きな
値となり問題（２）は解決しない。そこで、検出された
小領域毎の輝度変化も符号化データとして伝送／蓄積
し、デコーダ側でもその輝度変化を補正することで、フ
レーム間輝度差分値を小さくする技術もある。しかしな
がらこの技術では、輝度変化をあらわす符号化データを
小領域毎に送るため、結局それに要するデータ量が多く
なり、全体としての符号化データ量はそれ程かわらな
い、すなわち符号化効率はさほど改善しない。
るための従来技術として、両画像フレームの間に生じた
輝度変化を検出する技術、および、その検出された輝度
変化を補正しつつ動き検出を行う技術がある。輝度変化
は大別すると、雑音によって生じるもののように画像フ
レームの空間的な位置によって変化の度合いが異なる種
類のものと、フェードイン／フェードアウトによって生
じるもののように画像フレーム全体で変化の度合いが同
様な種類のものとが考えられる。ここで問題（１）を解
決することを目的とする場合には、輝度変化をなるべく
正確に検出することが重要であるため、どちらの種類の
輝度変化にも対応できるように、フレームの小領域毎に
検出することが多い。ただし、これだけでは問題（１）
が解決しても依然としてフレーム間輝度差分値は大きな
値となり問題（２）は解決しない。そこで、検出された
小領域毎の輝度変化も符号化データとして伝送／蓄積
し、デコーダ側でもその輝度変化を補正することで、フ
レーム間輝度差分値を小さくする技術もある。しかしな
がらこの技術では、輝度変化をあらわす符号化データを
小領域毎に送るため、結局それに要するデータ量が多く
なり、全体としての符号化データ量はそれ程かわらな
い、すなわち符号化効率はさほど改善しない。
【０００５】これに対し、画像フレーム全体で同様な輝
度変化が生じている場合に符号化効率を改善することを
目的として、画像フレーム全体に対して唯一の輝度変化
を検出し、その輝度変化を符号化データとして伝送／蓄
積する技術がある。この技術では、輝度変化をあらわす
符号化データを画像フレーム毎に１つ送ればよいだけな
ので、その符号化データ量は極めて少なく、また、その
輝度変化量を補正するだけでフレーム間輝度差分値をあ
る程度小さくできるため、フェードイン／フェードアウ
トのような時には符号化効率の改善に大きく寄与してい
る。この技術において具体的にあげられている大局的な
輝度変化量を表すパラメータとしては、ゲイン変化を示
すパラメータのみを用いている。すなわちゲイン変化を
示すパラメータをＤBとすると、各画素の輝度値ｘが式
（１）のｘ’に変化することを前提としている。 ｘ’＝ｘ＋ＤB ・・・・（１） この場合、輝度変化量△ｘは △ｘ＝ｘ’−ｘ ＝ＤB ・・・・（２） で、常に一定である。
度変化が生じている場合に符号化効率を改善することを
目的として、画像フレーム全体に対して唯一の輝度変化
を検出し、その輝度変化を符号化データとして伝送／蓄
積する技術がある。この技術では、輝度変化をあらわす
符号化データを画像フレーム毎に１つ送ればよいだけな
ので、その符号化データ量は極めて少なく、また、その
輝度変化量を補正するだけでフレーム間輝度差分値をあ
る程度小さくできるため、フェードイン／フェードアウ
トのような時には符号化効率の改善に大きく寄与してい
る。この技術において具体的にあげられている大局的な
輝度変化量を表すパラメータとしては、ゲイン変化を示
すパラメータのみを用いている。すなわちゲイン変化を
示すパラメータをＤBとすると、各画素の輝度値ｘが式
（１）のｘ’に変化することを前提としている。 ｘ’＝ｘ＋ＤB ・・・・（１） この場合、輝度変化量△ｘは △ｘ＝ｘ’−ｘ ＝ＤB ・・・・（２） で、常に一定である。
【０００６】図３は、様々な明るさを含んでいる静止画
を実際にカメラで撮影し、カメラの絞りを徐々に絞って
画面全体を暗くしていった場合、すなわちフェードアウ
トしていった場合の各輝度値の変化を表示したものであ
る。例えば１フレーム目と１１フレーム目、または１１
フレーム目と２１フレーム目の各輝度値の変化分を見る
と、輝度値そのものの値に関わらず輝度変化分はほぼ一
定となっている。したがって、この場合は、式（１）の
前提がほぼ成り立っている。すなわちその一定の変化分
が式（１）におけるＤBとなる。
を実際にカメラで撮影し、カメラの絞りを徐々に絞って
画面全体を暗くしていった場合、すなわちフェードアウ
トしていった場合の各輝度値の変化を表示したものであ
る。例えば１フレーム目と１１フレーム目、または１１
フレーム目と２１フレーム目の各輝度値の変化分を見る
と、輝度値そのものの値に関わらず輝度変化分はほぼ一
定となっている。したがって、この場合は、式（１）の
前提がほぼ成り立っている。すなわちその一定の変化分
が式（１）におけるＤBとなる。
【０００７】
【発明が解決しようとする課題】一方、図４は、同じ静
止画をカメラの絞りは変化させずにしばらく撮影して録
画し、後でディジタル編集機によってフェードアウトし
ていった場合の各輝度値の変化を表示したものである。
例えば４１フレーム目と５１フレーム目、または５１フ
レーム目と６１フレーム目の各輝度値の変化分を見る
と、輝度値そのものの値によって輝度変化分が変わって
いる。すなわち輝度値そのものが大きい場合には輝度変
化分も大きく、輝度値そのものが小さいほど輝度変化分
も小さくなっ、ている。したがって、この場合は、式
（１）の前提が成り立っておらず、パラメータＤBのみ
で大局的な輝度変化量を表すには精度が不十分となって
しまう。ところで画像を例えば８×８画素といった小量
域に区切った場合、その小領域内の輝度のばらつきは一
般にそれ程大きくない。例えば、画像フレーム全体の輝
度値が０〜２５５で変化する場合において、前述の小量
域内では２０〜４０程度のばらつきしかないことがほと
んどである。この範囲内では輝度変化は輝度値そのもの
の値にかかわらずほぼ一定とみなせる。すなわち、小領
域内で輝度変化を求める場合には式（１）の前提下でも
ほぼ十分である。しかしながら、画像フレーム全体では
輝度値の範囲が広くなる。すなわち輝度値で０〜２５５
の全範囲に渡る輝度変化が生じる可能性が高い。したが
って、画像フレーム全体で１種類の輝度変化を求める場
合には、式（１）の近似では不十分となってしまう。
止画をカメラの絞りは変化させずにしばらく撮影して録
画し、後でディジタル編集機によってフェードアウトし
ていった場合の各輝度値の変化を表示したものである。
例えば４１フレーム目と５１フレーム目、または５１フ
レーム目と６１フレーム目の各輝度値の変化分を見る
と、輝度値そのものの値によって輝度変化分が変わって
いる。すなわち輝度値そのものが大きい場合には輝度変
化分も大きく、輝度値そのものが小さいほど輝度変化分
も小さくなっ、ている。したがって、この場合は、式
（１）の前提が成り立っておらず、パラメータＤBのみ
で大局的な輝度変化量を表すには精度が不十分となって
しまう。ところで画像を例えば８×８画素といった小量
域に区切った場合、その小領域内の輝度のばらつきは一
般にそれ程大きくない。例えば、画像フレーム全体の輝
度値が０〜２５５で変化する場合において、前述の小量
域内では２０〜４０程度のばらつきしかないことがほと
んどである。この範囲内では輝度変化は輝度値そのもの
の値にかかわらずほぼ一定とみなせる。すなわち、小領
域内で輝度変化を求める場合には式（１）の前提下でも
ほぼ十分である。しかしながら、画像フレーム全体では
輝度値の範囲が広くなる。すなわち輝度値で０〜２５５
の全範囲に渡る輝度変化が生じる可能性が高い。したが
って、画像フレーム全体で１種類の輝度変化を求める場
合には、式（１）の近似では不十分となってしまう。
【０００８】本発明はこのような事情に鑑みてなされた
もので、大局的な輝度変化を生じている動画像の符号化
時に更に効率の良い符号化が行なえる、動画像の輝度変
化補償方法、動画像符号化装置、動画像復号装置、動画
像符号化もしくは復号プログラムを記録した記録媒体お
よび動画像の符号化データを記録した記録媒体を提供す
ることを目的とする。
もので、大局的な輝度変化を生じている動画像の符号化
時に更に効率の良い符号化が行なえる、動画像の輝度変
化補償方法、動画像符号化装置、動画像復号装置、動画
像符号化もしくは復号プログラムを記録した記録媒体お
よび動画像の符号化データを記録した記録媒体を提供す
ることを目的とする。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に、本発明のうち請求項１に記載の発明は、ディジタル
動画像を伝送・蓄積する符号化処理もしくは動画像編集
の際の画像処理における動画像の輝度変化補償方法であ
って、処理対象画像プレーンと参照画像プレーン間にお
ける大局的な輝度変化量であるゲイン変化を表すパラメ
ータＤ B 、コントラスト変化を表すパラメータＤ C を求
め、前記参照プレーンの各画素の輝度値ｘをＤC・ｘ＋
ＤBに修正することによって前記処理対象画像プレーン
の大局的な輝度変化量を補償することを特徴とする動画
像の輝度変化補償方法である。また、請求項２に記載の
発明は、請求項１に記載の動画像の輝度変化補償方法に
おいて、前記ゲイン変化を表すパラメータＤB、コント
ラスト変化を表すパラメータＤCが、処理対象画像プレ
ーンと参照画像プレーンで対応する画素同士の誤差の二
乗和が最小となることを条件にして求めることを特徴と
している。
に、本発明のうち請求項１に記載の発明は、ディジタル
動画像を伝送・蓄積する符号化処理もしくは動画像編集
の際の画像処理における動画像の輝度変化補償方法であ
って、処理対象画像プレーンと参照画像プレーン間にお
ける大局的な輝度変化量であるゲイン変化を表すパラメ
ータＤ B 、コントラスト変化を表すパラメータＤ C を求
め、前記参照プレーンの各画素の輝度値ｘをＤC・ｘ＋
ＤBに修正することによって前記処理対象画像プレーン
の大局的な輝度変化量を補償することを特徴とする動画
像の輝度変化補償方法である。また、請求項２に記載の
発明は、請求項１に記載の動画像の輝度変化補償方法に
おいて、前記ゲイン変化を表すパラメータＤB、コント
ラスト変化を表すパラメータＤCが、処理対象画像プレ
ーンと参照画像プレーンで対応する画素同士の誤差の二
乗和が最小となることを条件にして求めることを特徴と
している。
【００１０】また、請求項３に記載の発明は、請求項２
に記載の動画像の輝度変化補償方法において、前記ゲイ
ン変化を表すパラメータＤB、コントラスト変化を表す
パラメータＤCが、処理対象画像プレーンの、Ｋ×Ｌ画
素（Ｋ、Ｌは自然数）からなるｎ個（ｎは２以上の整
数）の各ブロックについて２つのパラメータＤC，ＤBを
算出し、最も頻度が高かったパラメータＤC，ＤBの組
を、処理対象画像プレーンのパラメータＤC，ＤBと決定
することを特徴としている。また、請求項４に記載の発
明は、請求項２に記載の動画像の輝度変化補償方法にお
いて、前記ゲイン変化を表すパラメータＤB、コントラ
スト変化を表すパラメータＤCが、処理対象画像プレー
ンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）からなるｎ個（ｎ
は２以上の整数）の各プロックについて２つのパラメー
タＤC，ＤBを算出し、算出したパラメータＤC，ＤBの平
均値の組を、処理対象画像プレーンのパラメータＤC，
ＤBと決定することを特徴としている。また、請求項５
に記載の発明は、請求項１に記載の動画像の輝度変化補
償方法において、前記画像プレーンは、画像フレーム、
もしくは、ビデオオブジェクトプレーン（ＶＯＰ）であ
ることを特徴としている。
に記載の動画像の輝度変化補償方法において、前記ゲイ
ン変化を表すパラメータＤB、コントラスト変化を表す
パラメータＤCが、処理対象画像プレーンの、Ｋ×Ｌ画
素（Ｋ、Ｌは自然数）からなるｎ個（ｎは２以上の整
数）の各ブロックについて２つのパラメータＤC，ＤBを
算出し、最も頻度が高かったパラメータＤC，ＤBの組
を、処理対象画像プレーンのパラメータＤC，ＤBと決定
することを特徴としている。また、請求項４に記載の発
明は、請求項２に記載の動画像の輝度変化補償方法にお
いて、前記ゲイン変化を表すパラメータＤB、コントラ
スト変化を表すパラメータＤCが、処理対象画像プレー
ンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）からなるｎ個（ｎ
は２以上の整数）の各プロックについて２つのパラメー
タＤC，ＤBを算出し、算出したパラメータＤC，ＤBの平
均値の組を、処理対象画像プレーンのパラメータＤC，
ＤBと決定することを特徴としている。また、請求項５
に記載の発明は、請求項１に記載の動画像の輝度変化補
償方法において、前記画像プレーンは、画像フレーム、
もしくは、ビデオオブジェクトプレーン（ＶＯＰ）であ
ることを特徴としている。
【００１１】次に、請求項６に記載の発明は、ゲイン変
化を表すパラメータＤB、コントラスト変化を表すパラ
メータＤCを、処理対象画像プレーンと参照画像プレー
ン間における大局的な輝度変化量を表すパラメータとし
て求めるパラメータ決定手段と、前記参照画像プレーン
の画素の値ｘを前記パラメータＤ B ，Ｄ C を用いてＤ C ・
ｘ＋Ｄ B に修正した値と、前記処理対象画像プレーンの
対応する画素の値との差分値を求める手段とを備えたこ
とを特徴とする動画像符号化装置である。また、請求項
７に記載の発明は、請求項６に記載の動画像符号化装置
において、前記パラメータ決定手段が、前記パラメータ
ＤB，ＤCを、処理対象画像プレーンと参照画像プレーン
で対応する画素同志の誤差の二乗和が最小となることを
条件に求めることを特徴としている。
化を表すパラメータＤB、コントラスト変化を表すパラ
メータＤCを、処理対象画像プレーンと参照画像プレー
ン間における大局的な輝度変化量を表すパラメータとし
て求めるパラメータ決定手段と、前記参照画像プレーン
の画素の値ｘを前記パラメータＤ B ，Ｄ C を用いてＤ C ・
ｘ＋Ｄ B に修正した値と、前記処理対象画像プレーンの
対応する画素の値との差分値を求める手段とを備えたこ
とを特徴とする動画像符号化装置である。また、請求項
７に記載の発明は、請求項６に記載の動画像符号化装置
において、前記パラメータ決定手段が、前記パラメータ
ＤB，ＤCを、処理対象画像プレーンと参照画像プレーン
で対応する画素同志の誤差の二乗和が最小となることを
条件に求めることを特徴としている。
【００１２】また、請求項８に記載の発明は、請求項７
に記載の動画像符号化装置において、前記パラメータ決
定手段が、処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、
Ｌは自然数）からなるｎ個（ｎは２以上の整数）の各ブ
ロックについて２つのパラメータＤC，ＤBを算出し、最
も頻度が高かったパラメータＤC，ＤBの組を、処理対象
画像プレーンのパラメータＤC，ＤBと決定することを特
徴としている。また、請求項９に記載の発明は、請求項
７に記載の動画像符号化装置において、前記パラメータ
決定手段が、処理対象画像プレーンの、Ｋ×Ｌ画素
（Ｋ、Ｌは自然数）からなるｎ個（ｎは２以上の整数）
の各ブロックについて２つのパラメータＤC，ＤBを算出
し、算出したパラメータＤC，ＤBの平均値の組を、処理
対象画像プレーンのパラメータＤC，ＤBと決定すること
を特徴としている。また、請求項１０に記載の発明は、
請求項６に記載の動画像符号化装置において、前記画像
プレーンが、画像フレーム、もしくは、ビデオオブジェ
クトプレーン（ＶＯＰ）であることを特徴としている。
に記載の動画像符号化装置において、前記パラメータ決
定手段が、処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、
Ｌは自然数）からなるｎ個（ｎは２以上の整数）の各ブ
ロックについて２つのパラメータＤC，ＤBを算出し、最
も頻度が高かったパラメータＤC，ＤBの組を、処理対象
画像プレーンのパラメータＤC，ＤBと決定することを特
徴としている。また、請求項９に記載の発明は、請求項
７に記載の動画像符号化装置において、前記パラメータ
決定手段が、処理対象画像プレーンの、Ｋ×Ｌ画素
（Ｋ、Ｌは自然数）からなるｎ個（ｎは２以上の整数）
の各ブロックについて２つのパラメータＤC，ＤBを算出
し、算出したパラメータＤC，ＤBの平均値の組を、処理
対象画像プレーンのパラメータＤC，ＤBと決定すること
を特徴としている。また、請求項１０に記載の発明は、
請求項６に記載の動画像符号化装置において、前記画像
プレーンが、画像フレーム、もしくは、ビデオオブジェ
クトプレーン（ＶＯＰ）であることを特徴としている。
【００１３】次に、請求項１１に記載の発明は、動画像
の符号化工程において求められた処理対象画像プレーン
と参照画像プレーン間における大局的な輝度変化量であ
るゲイン変化を表すパラメータＤBとコントラスト変化
を表すパラメータＤC とを取得する手段と、動画像の符
号化工程において求められた、参照画像プレーンの画素
の値ｘを前記パラメータＤ B ，Ｄ C を用いてＤ C ・ｘ＋Ｄ B
に修正した値と処理対象画像プレーンの対応する画素の
値との差分値を取得する手段と、復号が終了した再生画
像プレーンの画素の値ｘをＤC・ｘ＋ＤBに修正した値と
前記差分値を用いて画像プレーンを得る手段とを備えた
ことを特徴とする動画像復号装置である。また、請求項
１２に記載の発明は、請求項１１に記載の動画復号装置
において、前記画像プレーンが、画像フレーム、もしく
は、ビデオオブジェクトプレーン（ＶＯＰ）であること
を特徴としている。
の符号化工程において求められた処理対象画像プレーン
と参照画像プレーン間における大局的な輝度変化量であ
るゲイン変化を表すパラメータＤBとコントラスト変化
を表すパラメータＤC とを取得する手段と、動画像の符
号化工程において求められた、参照画像プレーンの画素
の値ｘを前記パラメータＤ B ，Ｄ C を用いてＤ C ・ｘ＋Ｄ B
に修正した値と処理対象画像プレーンの対応する画素の
値との差分値を取得する手段と、復号が終了した再生画
像プレーンの画素の値ｘをＤC・ｘ＋ＤBに修正した値と
前記差分値を用いて画像プレーンを得る手段とを備えた
ことを特徴とする動画像復号装置である。また、請求項
１２に記載の発明は、請求項１１に記載の動画復号装置
において、前記画像プレーンが、画像フレーム、もしく
は、ビデオオブジェクトプレーン（ＶＯＰ）であること
を特徴としている。
【００１４】次に、請求項１３に記載の発明は、動画像
符号化プログラムを記録したコンピュータ読み取り可能
な記録媒体であって、ゲイン変化を表すパラメータ
ＤB、コントラスト変化を表すパラメータＤCを、処理対
象画像プレーンと参照画像プレーン間における大局的な
輝度変化量を表すパラメータとして求めるパラメータ決
定手段と、前記参照画像プレーンの画素の値ｘを前記パ
ラメータＤ B ，Ｄ C を用いてＤ C ・ｘ＋Ｄ B に修正した値
と、前記処理対象画像プレーンの対応する画素の値との
差分値を求める手段とをコンピュータに実行させるため
の動画像符号化プログラムを記録した記録媒体である。
また、請求項１４に記載の発明は、請求項１３に記載の
動画像符号化プログラムを記録した記録媒体において、
前記パラメータ決定手段が、前記パラメータＤB，Ｄ
Cを、処理対象画像プレーンと参照画像プレーンで対応
する画素同志の誤差の二乗和が最小となることを条件に
求めることを特徴としている。
符号化プログラムを記録したコンピュータ読み取り可能
な記録媒体であって、ゲイン変化を表すパラメータ
ＤB、コントラスト変化を表すパラメータＤCを、処理対
象画像プレーンと参照画像プレーン間における大局的な
輝度変化量を表すパラメータとして求めるパラメータ決
定手段と、前記参照画像プレーンの画素の値ｘを前記パ
ラメータＤ B ，Ｄ C を用いてＤ C ・ｘ＋Ｄ B に修正した値
と、前記処理対象画像プレーンの対応する画素の値との
差分値を求める手段とをコンピュータに実行させるため
の動画像符号化プログラムを記録した記録媒体である。
また、請求項１４に記載の発明は、請求項１３に記載の
動画像符号化プログラムを記録した記録媒体において、
前記パラメータ決定手段が、前記パラメータＤB，Ｄ
Cを、処理対象画像プレーンと参照画像プレーンで対応
する画素同志の誤差の二乗和が最小となることを条件に
求めることを特徴としている。
【００１５】また、請求項１５に記載の発明は、請求項
１４に記載の動画像符号化プログラムを記録した記録媒
体において、前記パラメータ決定手段が、処理対象画像
プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）からなるｎ
個（ｎは２以上の整数）の各ブロックについて２つのパ
ラメータＤC，ＤBを算出し、最も頻度が高かったパラメ
ータＤC，ＤBの組を、処理対象画像プレーンのパラメー
タＤC，ＤBと決定することを特徴としている。また、請
求項１６に記載の発明は、請求項１４に記載の動画像符
号化プログラムを記録した記録媒体において、前記パラ
メータ決定手段が、処理対象画像プレーンの、Ｋ×Ｌ画
素（Ｋ、Ｌは自然数）からなるｎ個（ｎは２以上の整
数）の各ブロックについて２つのパラメータＤC，ＤBを
算出し、算出したパラメータＤC，ＤBの平均値の組を、
処理対象画像プレーンのパラメータＤC，ＤBと決定する
ことを特徴としている。また、請求項１７に記載の発明
は、請求項１３に記載の動画像符号化プログラムを記録
した記録媒体において、前記画像プレーンが、画像フレ
ーム、もしくは、ビデオオブジェクトプレーン（ＶＯ
Ｐ）であることを特徴としている。
１４に記載の動画像符号化プログラムを記録した記録媒
体において、前記パラメータ決定手段が、処理対象画像
プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）からなるｎ
個（ｎは２以上の整数）の各ブロックについて２つのパ
ラメータＤC，ＤBを算出し、最も頻度が高かったパラメ
ータＤC，ＤBの組を、処理対象画像プレーンのパラメー
タＤC，ＤBと決定することを特徴としている。また、請
求項１６に記載の発明は、請求項１４に記載の動画像符
号化プログラムを記録した記録媒体において、前記パラ
メータ決定手段が、処理対象画像プレーンの、Ｋ×Ｌ画
素（Ｋ、Ｌは自然数）からなるｎ個（ｎは２以上の整
数）の各ブロックについて２つのパラメータＤC，ＤBを
算出し、算出したパラメータＤC，ＤBの平均値の組を、
処理対象画像プレーンのパラメータＤC，ＤBと決定する
ことを特徴としている。また、請求項１７に記載の発明
は、請求項１３に記載の動画像符号化プログラムを記録
した記録媒体において、前記画像プレーンが、画像フレ
ーム、もしくは、ビデオオブジェクトプレーン（ＶＯ
Ｐ）であることを特徴としている。
【００１６】次に、請求項１８に記載の発明は、動画像
復号プログラムを記録したコンピュータ読み取り可能な
記録媒体であって、動画像の符号化工程において求めら
れた処理対象画像プレーンと参照画像プレーン間におけ
る大局的な輝度変化量であるゲイン変化を表すパラメー
タＤBとコントラスト変化を表すパラメータＤC とを取得
する手段と、動画像の符号化工程において求められた、
参照画像プレーンの画素の値ｘを前記パラメータＤ B ，
Ｄ C を用いてＤ C ・ｘ＋Ｄ B に修正した値と処理対象画像
プレーンの対応する画素の値との差分値を取得する手段
と、復号が終了した再生画像プレーンの画素の値ｘをＤ
C・ｘ＋ＤBに修正した値と前記差分値を用いて画像プレ
ーンを得る手段とをコンピュータに実行させるための動
画像復号プログラムを記録した記録媒体である。また、
請求項１９に記載の発明は、請求項１８に記載の動画像
復号プログラムを記録した記録媒体において、前記画像
プレーンが、画像フレーム、もしくは、ビデオオブジェ
クトプレーン（ＶＯＰ）であることを特徴としている。
復号プログラムを記録したコンピュータ読み取り可能な
記録媒体であって、動画像の符号化工程において求めら
れた処理対象画像プレーンと参照画像プレーン間におけ
る大局的な輝度変化量であるゲイン変化を表すパラメー
タＤBとコントラスト変化を表すパラメータＤC とを取得
する手段と、動画像の符号化工程において求められた、
参照画像プレーンの画素の値ｘを前記パラメータＤ B ，
Ｄ C を用いてＤ C ・ｘ＋Ｄ B に修正した値と処理対象画像
プレーンの対応する画素の値との差分値を取得する手段
と、復号が終了した再生画像プレーンの画素の値ｘをＤ
C・ｘ＋ＤBに修正した値と前記差分値を用いて画像プレ
ーンを得る手段とをコンピュータに実行させるための動
画像復号プログラムを記録した記録媒体である。また、
請求項１９に記載の発明は、請求項１８に記載の動画像
復号プログラムを記録した記録媒体において、前記画像
プレーンが、画像フレーム、もしくは、ビデオオブジェ
クトプレーン（ＶＯＰ）であることを特徴としている。
【００１７】次に、請求項２０に記載の発明は、動画像
の符号化データを記録したコンピュータ読み取り可能な
記録媒体であって、前記符号化データは、画像プレーン
を単位として符号化した画像プレーン符号化データを記
録した領域を複数含み、前記画像プレーン符号化データ
を記録した領域は、処理対象画像プレーンと参照画像プ
レーン間における大局的な輝度変化量であるゲイン変化
を表すパラメータＤB、およびコントラスト変化を表す
パラメータＤCを記録したパラメータ領域と、前記参照
画像プレーンの各画素の輝度値ｘを、前記パラメータＤ
B，ＤCを用い、ＤC・ｘ＋ＤBに修正した画像プレーン
と、前記処理対象画像プレーンとにおいて対応する画素
毎の画素値の差分値に関するデータを画像プレーン単位
で符号化して記録した符号化領域とからなる動画像の符
号化データを記録した記録媒体である。また、請求項２
１に記載の発明は、請求項２０に記載の動画像の符号化
データを記録した記録媒体において、前記画像プレーン
が、画像フレーム、もしくは、ビデオオブジェクトプレ
ーン（ＶＯＰ）であることを特徴としている。
の符号化データを記録したコンピュータ読み取り可能な
記録媒体であって、前記符号化データは、画像プレーン
を単位として符号化した画像プレーン符号化データを記
録した領域を複数含み、前記画像プレーン符号化データ
を記録した領域は、処理対象画像プレーンと参照画像プ
レーン間における大局的な輝度変化量であるゲイン変化
を表すパラメータＤB、およびコントラスト変化を表す
パラメータＤCを記録したパラメータ領域と、前記参照
画像プレーンの各画素の輝度値ｘを、前記パラメータＤ
B，ＤCを用い、ＤC・ｘ＋ＤBに修正した画像プレーン
と、前記処理対象画像プレーンとにおいて対応する画素
毎の画素値の差分値に関するデータを画像プレーン単位
で符号化して記録した符号化領域とからなる動画像の符
号化データを記録した記録媒体である。また、請求項２
１に記載の発明は、請求項２０に記載の動画像の符号化
データを記録した記録媒体において、前記画像プレーン
が、画像フレーム、もしくは、ビデオオブジェクトプレ
ーン（ＶＯＰ）であることを特徴としている。
【００１８】
【発明の実施の形態】以下、本発明の動画像の輝度変化
補償方法および動画像符号化装置、動画像復号装置の概
要を説明する。なお、動画像の輝度変化補償や、輝度変
化補償を用いた動画像の符号化、復号化は、画像プレー
ンを単位として行われる。ここで、”画像プレーン”と
は、動画像の１コマに対応する”画像フレーム”や、動
画像のコンテンツごとの時間的変化に対応する画像であ
る”ビデオオブジェクトプレーン”（Video Object Pla
ne：以下では「ＶＯＰ」と略記する）等の総称である。
以下では、画像プレーンのうち、画像フレームを例にし
て説明を行う。なお、ＶＯＰについては、別途詳しく説
明する。
補償方法および動画像符号化装置、動画像復号装置の概
要を説明する。なお、動画像の輝度変化補償や、輝度変
化補償を用いた動画像の符号化、復号化は、画像プレー
ンを単位として行われる。ここで、”画像プレーン”と
は、動画像の１コマに対応する”画像フレーム”や、動
画像のコンテンツごとの時間的変化に対応する画像であ
る”ビデオオブジェクトプレーン”（Video Object Pla
ne：以下では「ＶＯＰ」と略記する）等の総称である。
以下では、画像プレーンのうち、画像フレームを例にし
て説明を行う。なお、ＶＯＰについては、別途詳しく説
明する。
【００１９】はじめに、本発明の動画像の輝度変化補償
方法について説明する。本発明の動画像の輝度変化補償
方法は、ゲイン変化を表すパラメータをＤB、コントラ
スト変化を表すパラメータをＤCとした時、各画素の輝
度値ｘをＤC・ｘ＋ＤBに修正することによって大局的な
輝度変化量を補償する。本発明の動画像の輝度変化補償
方法は、上記問題点を解決するために、各画素の輝度値
ｘが、ゲイン変化を示すパラメータＤBとコントラスト
変化を示すパラメータＤCによって、式（３）のｘ’に
変化することを前提とする。 ｘ’＝ＤC・ｘ＋ＤB ・・・・・（３） この場合、輝度変化量△ｘは △ｘ＝ｘ’−ｘ ＝（ＤC−１）・ｘ＋ＤB ・・・・・（４） であり、画素の輝度値ｘに依存する形となる。前述の通
り、画像フレーム全体で１種類の輝度変化を求める場
合、輝度値そのものの値に依存して輝度変化を表現でき
る式（３）を使うことは、画面全体にフェードイン／フ
ェードアウトのような輝度変化が生じている場合に符号
化効率を改善するという点で大きな意義を有する。
方法について説明する。本発明の動画像の輝度変化補償
方法は、ゲイン変化を表すパラメータをＤB、コントラ
スト変化を表すパラメータをＤCとした時、各画素の輝
度値ｘをＤC・ｘ＋ＤBに修正することによって大局的な
輝度変化量を補償する。本発明の動画像の輝度変化補償
方法は、上記問題点を解決するために、各画素の輝度値
ｘが、ゲイン変化を示すパラメータＤBとコントラスト
変化を示すパラメータＤCによって、式（３）のｘ’に
変化することを前提とする。 ｘ’＝ＤC・ｘ＋ＤB ・・・・・（３） この場合、輝度変化量△ｘは △ｘ＝ｘ’−ｘ ＝（ＤC−１）・ｘ＋ＤB ・・・・・（４） であり、画素の輝度値ｘに依存する形となる。前述の通
り、画像フレーム全体で１種類の輝度変化を求める場
合、輝度値そのものの値に依存して輝度変化を表現でき
る式（３）を使うことは、画面全体にフェードイン／フ
ェードアウトのような輝度変化が生じている場合に符号
化効率を改善するという点で大きな意義を有する。
【００２０】本発明の実施態様によれば、ゲイン変化を
表すパラメータＤB、コントラスト変化を表すパラメー
タＤCを、処理対象画像フレームと参照画像フレームで
対応する画素同士の誤差の二乗和が最小となることを条
件にして求める。本発明の動画像の輝度変化検出方法で
は、先ず上記２種類のパラメータＤB，ＤCを処理対象画
像フレームのＫ×Ｌ（Ｋ，Ｌは自然数）画素のブロック
毎に検出する。その際、パラメータ算出のための規範と
して、処理対象画像フレームと、参照画像フレームで対
応する画素同士の誤差の自乗和が最小となることを条件
とする。次に、Ｋ×Ｌ画素のブロック毎に算出された２
種類のパラメータＤB，ＤCの各々の平均値または最大頻
度の値を処理対象フレーム全体に対するパラメータとし
て決定する。
表すパラメータＤB、コントラスト変化を表すパラメー
タＤCを、処理対象画像フレームと参照画像フレームで
対応する画素同士の誤差の二乗和が最小となることを条
件にして求める。本発明の動画像の輝度変化検出方法で
は、先ず上記２種類のパラメータＤB，ＤCを処理対象画
像フレームのＫ×Ｌ（Ｋ，Ｌは自然数）画素のブロック
毎に検出する。その際、パラメータ算出のための規範と
して、処理対象画像フレームと、参照画像フレームで対
応する画素同士の誤差の自乗和が最小となることを条件
とする。次に、Ｋ×Ｌ画素のブロック毎に算出された２
種類のパラメータＤB，ＤCの各々の平均値または最大頻
度の値を処理対象フレーム全体に対するパラメータとし
て決定する。
【００２１】以下で、Ｋ×Ｌ画素のブロック毎のパラメ
ータ検出のための算出式を導く。今、ｉ番目のブロック
における２種類のパラメータをそれぞれＤB(i)、ＤC(i)
とし、処理対象フレームでのＫ×Ｌ画素のブロックの画
素値をｙk,l、参照画像フレームでのＫ×Ｌ画素のブロ
ックの画素値をｘk,lとする。上述のとおり、パラメー
夕算出のための規範としては、処理対象画像フレームと
参照画像フレームで対応する画素同士の誤差のニ乗和Ｊ
が最小となることを条件とする。すなわち、
ータ検出のための算出式を導く。今、ｉ番目のブロック
における２種類のパラメータをそれぞれＤB(i)、ＤC(i)
とし、処理対象フレームでのＫ×Ｌ画素のブロックの画
素値をｙk,l、参照画像フレームでのＫ×Ｌ画素のブロ
ックの画素値をｘk,lとする。上述のとおり、パラメー
夕算出のための規範としては、処理対象画像フレームと
参照画像フレームで対応する画素同士の誤差のニ乗和Ｊ
が最小となることを条件とする。すなわち、
【数１】 であり、ＪをそれぞれＤC(i)、ＤB(i)で偏微分し、０と
おく。
おく。
【数２】 式（６）、式（７）より
【数３】
【００２２】ただし、
【数４】 である。
【００２３】なお、既に述べたとおり、式（８）、式
（９）によってＫ×Ｌ画素のブロック毎に算出されたパ
ラメータＤC(i)、ＤB(i)は、Ｋ×Ｌ画素のブロック毎に
算出された２種類のパラメータの平均値または最大頻度
の値を、処理対象フレーム全体に対するパラメータ
ＤC，ＤBとして決定する。本発明の動画像符号化装置
は、ゲイン変化を表すパラメータＤB、コントラスト変
化を表すパラメータＤCを、処理対象画像フレームと参
照画像フレーム間における大局的な輝度変化量を表すパ
ラメータとして求めるパラメータ決定手段と、前記参照
画像フレームの各画素の輝度値ｘを、前記パラメータＤ
B，ＤCを用い、ＤC・ｘ＋ＤBに修正する輝度変化補償手
段を有する。
（９）によってＫ×Ｌ画素のブロック毎に算出されたパ
ラメータＤC(i)、ＤB(i)は、Ｋ×Ｌ画素のブロック毎に
算出された２種類のパラメータの平均値または最大頻度
の値を、処理対象フレーム全体に対するパラメータ
ＤC，ＤBとして決定する。本発明の動画像符号化装置
は、ゲイン変化を表すパラメータＤB、コントラスト変
化を表すパラメータＤCを、処理対象画像フレームと参
照画像フレーム間における大局的な輝度変化量を表すパ
ラメータとして求めるパラメータ決定手段と、前記参照
画像フレームの各画素の輝度値ｘを、前記パラメータＤ
B，ＤCを用い、ＤC・ｘ＋ＤBに修正する輝度変化補償手
段を有する。
【００２４】本発明の実施態様によれば、前記パラメー
タ決定手段は、前記パラメータＤB，ＤCを、処理対象画
像フレームと参照画像フレームで対応する画素同士の誤
差の二乗和が最小となることを条件に求める。本発明の
実施態様によれば、前記パラメータ決定手段は、処理対
象画像フレームの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）から
なるｎ個（ｎは２以上の整数）の各ブロックについて２
つのパラメータＤC，ＤBを算出し、最も頻度が高かった
パラメータＤC ，ＤBの組を、処理対象画像フレームの
パラメータＤC ，ＤBと決定する。本発明の実施態様に
よれば、前記パラメータ決定手段は、処理対象画像フレ
ームの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）からなるｎ個
（ｎは２以上の整数）の各ブロックについて２つのパラ
メータＤC ，ＤBを算出し、算出したパラメータＤC，Ｄ
Bの平均値の組を、処理対象画像フレームのパラメータ
ＤC ，ＤBと決定する。本発明の動画像復号装置におい
て、前記動画像符号化装置において求められたパラメー
タＤB，ＤCを用い、復号が終了した再生画像フレームの
各画像の輝度値ｘをＤC・ｘ＋ＤBに修正する輝度変化補
償手段を有する。
タ決定手段は、前記パラメータＤB，ＤCを、処理対象画
像フレームと参照画像フレームで対応する画素同士の誤
差の二乗和が最小となることを条件に求める。本発明の
実施態様によれば、前記パラメータ決定手段は、処理対
象画像フレームの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）から
なるｎ個（ｎは２以上の整数）の各ブロックについて２
つのパラメータＤC，ＤBを算出し、最も頻度が高かった
パラメータＤC ，ＤBの組を、処理対象画像フレームの
パラメータＤC ，ＤBと決定する。本発明の実施態様に
よれば、前記パラメータ決定手段は、処理対象画像フレ
ームの、Ｋ×Ｌ画素（Ｋ、Ｌは自然数）からなるｎ個
（ｎは２以上の整数）の各ブロックについて２つのパラ
メータＤC ，ＤBを算出し、算出したパラメータＤC，Ｄ
Bの平均値の組を、処理対象画像フレームのパラメータ
ＤC ，ＤBと決定する。本発明の動画像復号装置におい
て、前記動画像符号化装置において求められたパラメー
タＤB，ＤCを用い、復号が終了した再生画像フレームの
各画像の輝度値ｘをＤC・ｘ＋ＤBに修正する輝度変化補
償手段を有する。
【００２５】次に、本発明の実施の形態について図面を
参照して説明する。図１は本発明の動画像の輝度変化補
償方法を用いた動画像符号化装置を示すブロック図であ
る。本動画像符号化装置は人力端子１とフレームメモリ
２，３と動き検出部４と輝度変化検出部５と頻度算出部
６と輝度変化補償部７と出力端子８とフレームメモリ９
と動き検出／補償部１０と減算器１１と離散コサイン変
換部１２と量子化部１３と出力端子１４と逆量子化部１
５と逆離散コサイン変換部１６と加算器１７と出力端子
１８で構成されている。入力端子１から第Ｎフレーム原
画像がフレームメモリ２、フレームメモリ３、動き検出
部４、輝度変化検出部５に入力する。フレームメモリ３
では第Ｎフレーム原画像を蓄えるとともに、今まで蓄え
ていた第（Ｎ−１）フレーム原画像を動き検出部４、輝
度変化検出部５に送出する。
参照して説明する。図１は本発明の動画像の輝度変化補
償方法を用いた動画像符号化装置を示すブロック図であ
る。本動画像符号化装置は人力端子１とフレームメモリ
２，３と動き検出部４と輝度変化検出部５と頻度算出部
６と輝度変化補償部７と出力端子８とフレームメモリ９
と動き検出／補償部１０と減算器１１と離散コサイン変
換部１２と量子化部１３と出力端子１４と逆量子化部１
５と逆離散コサイン変換部１６と加算器１７と出力端子
１８で構成されている。入力端子１から第Ｎフレーム原
画像がフレームメモリ２、フレームメモリ３、動き検出
部４、輝度変化検出部５に入力する。フレームメモリ３
では第Ｎフレーム原画像を蓄えるとともに、今まで蓄え
ていた第（Ｎ−１）フレーム原画像を動き検出部４、輝
度変化検出部５に送出する。
【００２６】動き検出部４では、図５に示すように第Ｎ
フレーム原画像に対して１６×１６画素のブロック毎
に、ブロックマッチング法により第（Ｎ−１）フレーム
原画像との間の動きを求める。１フレーム内の全ブロッ
ク数はｎ個とし、各ブロックをＢ１，Ｂ２，・・・，Ｂ
ｉ，・・・，Ｂｎとする。また、ブロックＢｉに対して
算出された動きベクトルをＶｉとする。動きベクトルＶ
ｉは輝度変化検出部５に送出される。輝度変化検出部５
では、第Ｎフレーム原画像のブロックＢｉ内にある１６
×１６画素の各輝度値と、第（Ｎ−１）フレーム原画像
において動きベクトルＶｉだけずれた位置にある１６×
１６画素の各輝度値とを用いて、式（８）から式（１
０）により、ブロックＢｉにおける２つのパラメータＤ
Ｃ(i)、ＤＢ(i)を算出する。得られた２つのパラメータ
ＤC(i)、ＤB(i)は頻度算出部６に送出される。頻度算出
部６では、ＤC(i)、ＤB(i)の頻度を１フレーム分につい
て求め、もっとも頻度が高かったパラメータの組を第Ｎ
フレーム原画像と第（Ｎ−ｌ）フレーム原画像間におけ
る大局的な輝度変化量を表すパラメータＤC，ＤBとして
決定し、それらの値を輝度変化補償部７に送出するとと
もに、出力端子８から外部に出力する。
フレーム原画像に対して１６×１６画素のブロック毎
に、ブロックマッチング法により第（Ｎ−１）フレーム
原画像との間の動きを求める。１フレーム内の全ブロッ
ク数はｎ個とし、各ブロックをＢ１，Ｂ２，・・・，Ｂ
ｉ，・・・，Ｂｎとする。また、ブロックＢｉに対して
算出された動きベクトルをＶｉとする。動きベクトルＶ
ｉは輝度変化検出部５に送出される。輝度変化検出部５
では、第Ｎフレーム原画像のブロックＢｉ内にある１６
×１６画素の各輝度値と、第（Ｎ−１）フレーム原画像
において動きベクトルＶｉだけずれた位置にある１６×
１６画素の各輝度値とを用いて、式（８）から式（１
０）により、ブロックＢｉにおける２つのパラメータＤ
Ｃ(i)、ＤＢ(i)を算出する。得られた２つのパラメータ
ＤC(i)、ＤB(i)は頻度算出部６に送出される。頻度算出
部６では、ＤC(i)、ＤB(i)の頻度を１フレーム分につい
て求め、もっとも頻度が高かったパラメータの組を第Ｎ
フレーム原画像と第（Ｎ−ｌ）フレーム原画像間におけ
る大局的な輝度変化量を表すパラメータＤC，ＤBとして
決定し、それらの値を輝度変化補償部７に送出するとと
もに、出力端子８から外部に出力する。
【００２７】一方、入力端子１から入力した第Ｎフレー
ム原画像は、フレームメモリ２で１フレーム分遅延され
た後、減算器１１に人力する。フレームメモリ９には第
（Ｎ−１）フレーム再生画像が蓄積されており、輝度変
化補償部７ではその画像の各輝度値ｘに対して式（３）
により輝度変化補償を行ない輝度変化補償された値ｘ’
が動き検出／補償部１０に入力する。動き検出／補償部
１０では、１６×１６画素からなるブロック毎にブロッ
クマッチングにより動き検出および動き補償が行われ、
動き補償された値が減算器１１、加算器１７に入力す
る。減算器１１では両データの差をとり離散コサイン変
換部１２に送る。離散コサイン変換部１２では、１６×
１６画素からなる１ブロック分のデータを８×８画素単
位に離散コサイン変換し、得られた離散コサイン変換係
数を量子化部１３で量子化する。量子化された離散コサ
イン変換係数は出力端子１４から外部に送出されるとと
もに逆量子化部１５で逆量子化され、更に逆離散コサイ
ン変換部１６で逆離散コサイン変換される。加算器１７
においては、それらのデータに動き検出／補償部１０か
ら送出されたデータが加算され、第Ｎフレーム再生画像
としてフレームメモリ９に蓄えられる。フレームメモリ
９に蓄えられた第Ｎフレーム再生画像は、次フレーム
（第（Ｎ＋１）フレーム）の画像を復号する際に参照画
像として用いられる。なお、パラメータＤC(i)、ＤB(i)
（ｉ＝１〜ｎ）の各平均値をパラメータＤC，ＤBと決定
してもよい。
ム原画像は、フレームメモリ２で１フレーム分遅延され
た後、減算器１１に人力する。フレームメモリ９には第
（Ｎ−１）フレーム再生画像が蓄積されており、輝度変
化補償部７ではその画像の各輝度値ｘに対して式（３）
により輝度変化補償を行ない輝度変化補償された値ｘ’
が動き検出／補償部１０に入力する。動き検出／補償部
１０では、１６×１６画素からなるブロック毎にブロッ
クマッチングにより動き検出および動き補償が行われ、
動き補償された値が減算器１１、加算器１７に入力す
る。減算器１１では両データの差をとり離散コサイン変
換部１２に送る。離散コサイン変換部１２では、１６×
１６画素からなる１ブロック分のデータを８×８画素単
位に離散コサイン変換し、得られた離散コサイン変換係
数を量子化部１３で量子化する。量子化された離散コサ
イン変換係数は出力端子１４から外部に送出されるとと
もに逆量子化部１５で逆量子化され、更に逆離散コサイ
ン変換部１６で逆離散コサイン変換される。加算器１７
においては、それらのデータに動き検出／補償部１０か
ら送出されたデータが加算され、第Ｎフレーム再生画像
としてフレームメモリ９に蓄えられる。フレームメモリ
９に蓄えられた第Ｎフレーム再生画像は、次フレーム
（第（Ｎ＋１）フレーム）の画像を復号する際に参照画
像として用いられる。なお、パラメータＤC(i)、ＤB(i)
（ｉ＝１〜ｎ）の各平均値をパラメータＤC，ＤBと決定
してもよい。
【００２８】本動画像符号化装置により符号化されたデ
ータは、本発明の動画像の輝度変化補償方法を用いた図
２に構成を示す動画像復号装置により復号される。本動
画像復号装置は、入力端子２１−２３と逆量子化部２４
と逆離散コサイン変換部２５と加算器２６と出力端子２
７とフレームメモリ２８と輝度変化補償部２９と動き補
償部３０で構成されている。入力端子２１には、図１の
出力端子１４から出力される量子化後離散コサイン変換
係数が入力する。入力端子２２には、図１の出力端子１
８から出力されるブロック毎の動きベクトルが入力す
る。入力端子２３には、図１の出力端子８から出力され
るフレーム毎の輝度変化量を表す２つのパラメータ
ＤC，ＤBが入力する。
ータは、本発明の動画像の輝度変化補償方法を用いた図
２に構成を示す動画像復号装置により復号される。本動
画像復号装置は、入力端子２１−２３と逆量子化部２４
と逆離散コサイン変換部２５と加算器２６と出力端子２
７とフレームメモリ２８と輝度変化補償部２９と動き補
償部３０で構成されている。入力端子２１には、図１の
出力端子１４から出力される量子化後離散コサイン変換
係数が入力する。入力端子２２には、図１の出力端子１
８から出力されるブロック毎の動きベクトルが入力す
る。入力端子２３には、図１の出力端子８から出力され
るフレーム毎の輝度変化量を表す２つのパラメータ
ＤC，ＤBが入力する。
【００２９】今、第Ｎフレーム画像のブロックＢｉ（１
６×１６画素）の符号化データが入力しているとする。
すなわち入力端子２１には、ブロックＢｉにおける量子
化後離散コサイン変換係数が入力する。入力端子２２に
は、ブロックＢｉの動きベクトルＶｉが入力する。な
お、入力端子２３には、既に、第Ｎフレーム全体に共通
の値である２つのパラメータＤC，ＤBが入力している。
入力端子２１から人力した量子化後離散コサイン変換係
数は逆量子化部２４で逆量子化され、更に逆離散コサイ
ン変換部２５で逆離散コサイン変換されて、加算器２６
に送られる。
６×１６画素）の符号化データが入力しているとする。
すなわち入力端子２１には、ブロックＢｉにおける量子
化後離散コサイン変換係数が入力する。入力端子２２に
は、ブロックＢｉの動きベクトルＶｉが入力する。な
お、入力端子２３には、既に、第Ｎフレーム全体に共通
の値である２つのパラメータＤC，ＤBが入力している。
入力端子２１から人力した量子化後離散コサイン変換係
数は逆量子化部２４で逆量子化され、更に逆離散コサイ
ン変換部２５で逆離散コサイン変換されて、加算器２６
に送られる。
【００３０】フレームメモリ２８には、既に復号が終了
した第（Ｎ−１）フレーム再生画像データが蓄えられて
おり、輝度変化補償部２９ではその画像の各輝度値ｘに
対して式（３）により輝度変化補償を行い、輝度変化補
償された値ｘ’が動き補償部３０に入力する。動き補償
部３０では、動きベクトルＶｉだけ動きが補償された値
が加算器２６に入力する。加算器２６では、逆離散コサ
イン変換部２５からのデータと動き補償部３０からのデ
ータを加算することによって第Ｎフレーム再生画像を
得、それを出力端子２７から出力するとともにフレーム
メモリ２８に蓄えておき、次フレーム（第（ｎ＋１）フ
レーム）の画像を復号する際に参照画像として用いる。
した第（Ｎ−１）フレーム再生画像データが蓄えられて
おり、輝度変化補償部２９ではその画像の各輝度値ｘに
対して式（３）により輝度変化補償を行い、輝度変化補
償された値ｘ’が動き補償部３０に入力する。動き補償
部３０では、動きベクトルＶｉだけ動きが補償された値
が加算器２６に入力する。加算器２６では、逆離散コサ
イン変換部２５からのデータと動き補償部３０からのデ
ータを加算することによって第Ｎフレーム再生画像を
得、それを出力端子２７から出力するとともにフレーム
メモリ２８に蓄えておき、次フレーム（第（ｎ＋１）フ
レーム）の画像を復号する際に参照画像として用いる。
【００３１】次に、図１に示す動画像符号化装置によっ
て生成される符号化データをコンピュータ読み取り可能
な記録媒体に記録する際のデータの構造を図６を用いて
説明する。ここで、符号化データは、画像フレームを単
位として符号化され、複数の符号化された画像フレーム
により構成されている。図６において、各画像フレーム
の符号化データの構造は同じであるが、例として、Ｎ番
目の画像フレームの符号化データである、Ｎフレーム目
の符号化データを取り上げて説明する。図６に示すよう
に、Ｎフレーム目の符号化データは、パラメータＤC・
８１、パラメータＤB・８２を記録する領域であるパラ
メータ領域７０と、参照画像フレームの各画素の輝度値
ｘを、このパラメータＤB・８１，ＤC・８２を用いてＤ
C・ｘ＋ＤBに修正した画像フレームと、Ｎ番目の画像フ
レームとにおいて対応する画素毎の画素値の差分データ
に関するデータを符号化して記録した符号化領域７１と
により構成されている。さらに、符号化領域７１は、図
５に示す１６×１６画素のブロック毎の符号化データを
納めたブロック領域７２、７３により構成される。な
お、図５に示すように１６×１６画像のブロックがＢ1
〜Ｂnまである場合には、図６に示すように符号化領域
７１は、ｎ個のブロック領域から構成されることにな
る。
て生成される符号化データをコンピュータ読み取り可能
な記録媒体に記録する際のデータの構造を図６を用いて
説明する。ここで、符号化データは、画像フレームを単
位として符号化され、複数の符号化された画像フレーム
により構成されている。図６において、各画像フレーム
の符号化データの構造は同じであるが、例として、Ｎ番
目の画像フレームの符号化データである、Ｎフレーム目
の符号化データを取り上げて説明する。図６に示すよう
に、Ｎフレーム目の符号化データは、パラメータＤC・
８１、パラメータＤB・８２を記録する領域であるパラ
メータ領域７０と、参照画像フレームの各画素の輝度値
ｘを、このパラメータＤB・８１，ＤC・８２を用いてＤ
C・ｘ＋ＤBに修正した画像フレームと、Ｎ番目の画像フ
レームとにおいて対応する画素毎の画素値の差分データ
に関するデータを符号化して記録した符号化領域７１と
により構成されている。さらに、符号化領域７１は、図
５に示す１６×１６画素のブロック毎の符号化データを
納めたブロック領域７２、７３により構成される。な
お、図５に示すように１６×１６画像のブロックがＢ1
〜Ｂnまである場合には、図６に示すように符号化領域
７１は、ｎ個のブロック領域から構成されることにな
る。
【００３２】また、各ブロック領域は、ブロック単位の
動きベクトルＶi、および各ブロックを８×８画素の４
つのサブブロックに分割し、このサブブロック毎に符号
化されたデータを格納する４つの領域Ｃi-1〜Ｃi-4によ
り構成されている。図６の１番目のブロック領域７２を
例にすると、符号９１が動きベクトルを、符号９２〜９
５がサブブロック毎に符号化されたデータに対応する。
ここで、図６の符号化データと、図１の動画像符号化装
置からの出力との対応を説明すると、パラメータＤC・
８１、ＤB・８２は、図１の頻度算出部６の出力端子８
からの出力値に対応する。そして、各ブロック領域にお
ける動きベクトル（例えば符号９１）は、図１の動き検
出／補償部１０の出力端子１８からの出力値に対応し、
サブブロック毎に符号化されたデータ（例えば符号９２
〜９５）は、量子化部１３の出力端子１４からの出力値
に対応する。
動きベクトルＶi、および各ブロックを８×８画素の４
つのサブブロックに分割し、このサブブロック毎に符号
化されたデータを格納する４つの領域Ｃi-1〜Ｃi-4によ
り構成されている。図６の１番目のブロック領域７２を
例にすると、符号９１が動きベクトルを、符号９２〜９
５がサブブロック毎に符号化されたデータに対応する。
ここで、図６の符号化データと、図１の動画像符号化装
置からの出力との対応を説明すると、パラメータＤC・
８１、ＤB・８２は、図１の頻度算出部６の出力端子８
からの出力値に対応する。そして、各ブロック領域にお
ける動きベクトル（例えば符号９１）は、図１の動き検
出／補償部１０の出力端子１８からの出力値に対応し、
サブブロック毎に符号化されたデータ（例えば符号９２
〜９５）は、量子化部１３の出力端子１４からの出力値
に対応する。
【００３３】また、図６に示す符号化データの構造の場
合、図１に示す動画像符号化装置の出力動作は以下のよ
うになる。まず、画像フレーム全体の輝度変化を示すパ
ラメータＤC・８１、ＤB・８２を出力する。次に、図５
に示すブロックＢ1の動きベクトルＶ1・９１とサブブロ
ックＳＢ1- 1〜ＳＢ1-4毎の符号化データＣ1-1・９２〜
Ｃ1-4・９５を出力する。そして、各ブロックごとの動
きベクトルＶi、サブブロックＳＢi-1〜ＳＢi-4の符号
化データＣi-1〜Ｃi-4を順次出力し、ブロックＢnまで
同様に行う。この動作が各画像フレーム毎に行われ、符
号化データが記録される。
合、図１に示す動画像符号化装置の出力動作は以下のよ
うになる。まず、画像フレーム全体の輝度変化を示すパ
ラメータＤC・８１、ＤB・８２を出力する。次に、図５
に示すブロックＢ1の動きベクトルＶ1・９１とサブブロ
ックＳＢ1- 1〜ＳＢ1-4毎の符号化データＣ1-1・９２〜
Ｃ1-4・９５を出力する。そして、各ブロックごとの動
きベクトルＶi、サブブロックＳＢi-1〜ＳＢi-4の符号
化データＣi-1〜Ｃi-4を順次出力し、ブロックＢnまで
同様に行う。この動作が各画像フレーム毎に行われ、符
号化データが記録される。
【００３４】なお、図６に示す符号化データの復号は、
図２に示す動画像復号装置の入力端子２３に図６のパラ
メータ領域のパラメータＤC・８１、ＤB・８２を入力
し、各ブロック領域毎の動きベクトルＶiを入力端子２
２に、サブブロックの符号化データＣi-1〜Ｃi-4を入力
端子２１に入力することにより画像フレーム毎の復号が
行われる。
図２に示す動画像復号装置の入力端子２３に図６のパラ
メータ領域のパラメータＤC・８１、ＤB・８２を入力
し、各ブロック領域毎の動きベクトルＶiを入力端子２
２に、サブブロックの符号化データＣi-1〜Ｃi-4を入力
端子２１に入力することにより画像フレーム毎の復号が
行われる。
【００３５】図７は、符号５１や５２に示すブロック領
域毎に、動きベクトル５５やサブブロック毎の符号化デ
ータ５６〜５９とともに、各ブロック毎のパラメータＤ
C・５３、ＤB・５４を記録する符号化データの構造を示
した図である。なお、フェードイン／フェードアウトし
た場合、ブロック毎にパラメータＤC、ＤBを求めた場合
も、画像フレームに対して１つのパラメータＤC、ＤBを
求めてた場合も、サブブロック単位での符号化効率に大
きな差はない。ここで、例えば、画像フレームのサイズ
が３５２×２４０画素（１６×１６画素のブロック数：
３３０）で、各パラメータＤC、ＤBのビット数を８ビッ
トとすると、図６に示す符号化データの方が図７に示す
符号化データより１画像フレームあたり５２６４ビット
（＝｛８＋８｝×｛３３０−１｝）少なくできる。
域毎に、動きベクトル５５やサブブロック毎の符号化デ
ータ５６〜５９とともに、各ブロック毎のパラメータＤ
C・５３、ＤB・５４を記録する符号化データの構造を示
した図である。なお、フェードイン／フェードアウトし
た場合、ブロック毎にパラメータＤC、ＤBを求めた場合
も、画像フレームに対して１つのパラメータＤC、ＤBを
求めてた場合も、サブブロック単位での符号化効率に大
きな差はない。ここで、例えば、画像フレームのサイズ
が３５２×２４０画素（１６×１６画素のブロック数：
３３０）で、各パラメータＤC、ＤBのビット数を８ビッ
トとすると、図６に示す符号化データの方が図７に示す
符号化データより１画像フレームあたり５２６４ビット
（＝｛８＋８｝×｛３３０−１｝）少なくできる。
【００３６】図８は、画像フレーム毎に１つのゲイン変
化を表すパラメータＤC・６１のみを記録し、符号６２
や６３に示すブロック領域の構成は、図６の場合と同様
にしたときの符号化データの構造を示した図である。こ
こで、パラメータＤC、ＤBのビット数を８ビットとする
と、パラメータ領域のビット数は、図８の符号化データ
の方が図６の符号化データより１画像フレームあたり８
ビット少なく済む。しかし、フェードイン／フェードア
ウトにおいて、図４に示すように輝度値そのものの値に
よって輝度変化分が変わる場合には、参照画像プレーン
の各画素の輝度値ｘを、パラメータＤCを用いて修正し
ても、輝度変化の近似が不十分となる。そのため離散コ
サイン変換される差分値は比較的大きな値となり、結果
としサブブロック毎の符号化データ（例えば符号６４〜
６７）の量が増え、１画像フレーム全体で見ると符号化
データ量は増えることになる。以上説明したように、符
号化データを図６に示すような構成にすることにより符
号化効率を高めることができる。
化を表すパラメータＤC・６１のみを記録し、符号６２
や６３に示すブロック領域の構成は、図６の場合と同様
にしたときの符号化データの構造を示した図である。こ
こで、パラメータＤC、ＤBのビット数を８ビットとする
と、パラメータ領域のビット数は、図８の符号化データ
の方が図６の符号化データより１画像フレームあたり８
ビット少なく済む。しかし、フェードイン／フェードア
ウトにおいて、図４に示すように輝度値そのものの値に
よって輝度変化分が変わる場合には、参照画像プレーン
の各画素の輝度値ｘを、パラメータＤCを用いて修正し
ても、輝度変化の近似が不十分となる。そのため離散コ
サイン変換される差分値は比較的大きな値となり、結果
としサブブロック毎の符号化データ（例えば符号６４〜
６７）の量が増え、１画像フレーム全体で見ると符号化
データ量は増えることになる。以上説明したように、符
号化データを図６に示すような構成にすることにより符
号化効率を高めることができる。
【００３７】なお、上記実施の形態において画像フレー
ム単位でパラメータＤC、ＤBを出力する例を説明した
が、これに限定されるものではなく画像フレームに相当
する単位、例えばカラー動画像の標準化された符号化方
式であるＭＰＥＧ−４（MovingPicture Experts Group
- Phase 4）におけるビデオオブジェクトプレーン（Ｖ
ＯＰ）を単位としてもよい。すなわち、参照ＶＯＰと処
理対象ＶＯＰ間においてパラメータＤC、ＤBを求め、こ
のパラメータを用いた輝度変化の補償および符号化・復
号を行うようにしてもよい。この場合の符号化データの
構成は、ＭＰＥＧ−４の符号化データ構成において、パ
ラメータＤC、ＤBと、このパラメータを用いて輝度変化
補償されたＶＯＰの符号化データが対になって記録され
ることになる。すなわち、ＭＰＥＧ−４のデータ構造の
場合には、フレームの先頭にヘッダ用の固定データが入
ったり、例えば図５のサブブロックＳＢ1-1の離散コサ
イン変換の結果がすべてゼロとなる場合には、図６の符
号化データＣ1-1は「そのサブブロックのデータはすべ
てゼロ」ということを意味するデータで符号化される等
の点で、図６に示すフレーム毎の符号化データと異なる
点がある。このように違いがあるものの、図６におい
て、パラメータ領域７０のパラメータＤC、ＤBと、この
パラメータを用いて輝度変化補償されたＶＯＰの符号化
データの領域（図６の符号化領域７１に該当）が対にな
って記録される点では変わりない。
ム単位でパラメータＤC、ＤBを出力する例を説明した
が、これに限定されるものではなく画像フレームに相当
する単位、例えばカラー動画像の標準化された符号化方
式であるＭＰＥＧ−４（MovingPicture Experts Group
- Phase 4）におけるビデオオブジェクトプレーン（Ｖ
ＯＰ）を単位としてもよい。すなわち、参照ＶＯＰと処
理対象ＶＯＰ間においてパラメータＤC、ＤBを求め、こ
のパラメータを用いた輝度変化の補償および符号化・復
号を行うようにしてもよい。この場合の符号化データの
構成は、ＭＰＥＧ−４の符号化データ構成において、パ
ラメータＤC、ＤBと、このパラメータを用いて輝度変化
補償されたＶＯＰの符号化データが対になって記録され
ることになる。すなわち、ＭＰＥＧ−４のデータ構造の
場合には、フレームの先頭にヘッダ用の固定データが入
ったり、例えば図５のサブブロックＳＢ1-1の離散コサ
イン変換の結果がすべてゼロとなる場合には、図６の符
号化データＣ1-1は「そのサブブロックのデータはすべ
てゼロ」ということを意味するデータで符号化される等
の点で、図６に示すフレーム毎の符号化データと異なる
点がある。このように違いがあるものの、図６におい
て、パラメータ領域７０のパラメータＤC、ＤBと、この
パラメータを用いて輝度変化補償されたＶＯＰの符号化
データの領域（図６の符号化領域７１に該当）が対にな
って記録される点では変わりない。
【００３８】ＭＰＥＧの標準の符号化データの構成の詳
細に付いては、T.Ebrahimi, "MPEG-4 video verificati
on model: A video encoding/decodingalgorithm based
on content representation", Signal Processing: Im
age Communication vol.9, no.4, pp.367-384, May 199
7に記載されている。
細に付いては、T.Ebrahimi, "MPEG-4 video verificati
on model: A video encoding/decodingalgorithm based
on content representation", Signal Processing: Im
age Communication vol.9, no.4, pp.367-384, May 199
7に記載されている。
【００３９】ここで、ＭＰＥＧ−４における階層構造を
図を用いて簡単に説明する。図９は、ＭＰＥＧ−４にお
ける動画像データの階層構造の一例を示した図である。
すなわち、動画像全体は、１つ以上のビデオオブジェク
ト（Video Object:以下では「ＶＯ」と略記する）と呼
ばれる１ショットに相当する集まりからなる。図９では
ＶＯ1、ＶＯ2という２つのショットを示している。そし
て、ＶＯは１つ以上のビデオオブジェクトレイア（Vide
o Object Layer:以下では「ＶＯＬ」と略記する）と呼
ばれる動画像のコンテンツの集まりからなる。例えば図
９において、ＶＯ1は、雪だるまＶＰＬ11と家ＶＯＬ12
の２つのＶＯＬの集まりからなり、ＶＯ2は四角ＶＰＬ2
1と三角ＶＯＬ22とエックスＶＯＬ23の３つのＶＯＬの
集まりからなっている。
図を用いて簡単に説明する。図９は、ＭＰＥＧ−４にお
ける動画像データの階層構造の一例を示した図である。
すなわち、動画像全体は、１つ以上のビデオオブジェク
ト（Video Object:以下では「ＶＯ」と略記する）と呼
ばれる１ショットに相当する集まりからなる。図９では
ＶＯ1、ＶＯ2という２つのショットを示している。そし
て、ＶＯは１つ以上のビデオオブジェクトレイア（Vide
o Object Layer:以下では「ＶＯＬ」と略記する）と呼
ばれる動画像のコンテンツの集まりからなる。例えば図
９において、ＶＯ1は、雪だるまＶＰＬ11と家ＶＯＬ12
の２つのＶＯＬの集まりからなり、ＶＯ2は四角ＶＰＬ2
1と三角ＶＯＬ22とエックスＶＯＬ23の３つのＶＯＬの
集まりからなっている。
【００４０】また、ＶＯＬは１つ以上のビデオオブジェ
クトプレーン（Video Object Plane）と呼ばれる、各コ
ンテンツが時間的に変化する画像の集まりからなる。例
えばＶＯＬ11はＶＯＰ1〜ＶＯＰ3の３つのＶＯＰの集ま
りからなっている。そして、このＶＯＰに対し、上述の
ようにパラメータＤC、ＤBを用いた符号化を行うように
してもよい。
クトプレーン（Video Object Plane）と呼ばれる、各コ
ンテンツが時間的に変化する画像の集まりからなる。例
えばＶＯＬ11はＶＯＰ1〜ＶＯＰ3の３つのＶＯＰの集ま
りからなっている。そして、このＶＯＰに対し、上述の
ようにパラメータＤC、ＤBを用いた符号化を行うように
してもよい。
【００４１】なお、上記実施例において、符号化、復号
の際に、離散コサイン変換を例にして説明したが、これ
に限定されるのものではなく、他の直交変換、例えばア
ダマール変換やウェーブレット変換を用いてもよい。ま
た、上記実施例において、図５に示すようにブロックを
１６×１６画素、サブブロックを８×８画素である場合
に付いて説明したが、これに限定されるものではない。
また、図１に示す動画像符号化装置もしくは図２に示す
動画像復号装置における動作を実現するためのプログラ
ムをコンピュータ読み取り可能な記録媒体に記録して、
この記録媒体に記録されるプログラムをコンピュータに
読み込ませ、実行させることにより動画像の符号化もし
くは復号を行ってもよい。
の際に、離散コサイン変換を例にして説明したが、これ
に限定されるのものではなく、他の直交変換、例えばア
ダマール変換やウェーブレット変換を用いてもよい。ま
た、上記実施例において、図５に示すようにブロックを
１６×１６画素、サブブロックを８×８画素である場合
に付いて説明したが、これに限定されるものではない。
また、図１に示す動画像符号化装置もしくは図２に示す
動画像復号装置における動作を実現するためのプログラ
ムをコンピュータ読み取り可能な記録媒体に記録して、
この記録媒体に記録されるプログラムをコンピュータに
読み込ませ、実行させることにより動画像の符号化もし
くは復号を行ってもよい。
【００４２】
【発明の効果】以上説明したように、本発明による動画
像の輝度変化補償方法、動画像符号化装置、動画像復号
装置、動画像符号化もしくは復号プログラムを記録した
記録媒体および動画像の符号化データを記録した記録媒
体によれば、下記の効果を得ることができる。本発明に
より、大局的な輝度変化を検出または補償する際に、ゲ
インの変化分を表すパラメータの他にコントラストの変
化を表すパラメータも用いることで、大局的な輝度変化
を生じている動画像の符号化時に、従来よりも更に効率
の良い符号化が行える効果がある。
像の輝度変化補償方法、動画像符号化装置、動画像復号
装置、動画像符号化もしくは復号プログラムを記録した
記録媒体および動画像の符号化データを記録した記録媒
体によれば、下記の効果を得ることができる。本発明に
より、大局的な輝度変化を検出または補償する際に、ゲ
インの変化分を表すパラメータの他にコントラストの変
化を表すパラメータも用いることで、大局的な輝度変化
を生じている動画像の符号化時に、従来よりも更に効率
の良い符号化が行える効果がある。
【図１】 本発明の動画像の、動画像の輝度変化補償方
法を用いた動画像符号化装置を示すブロック図である。
法を用いた動画像符号化装置を示すブロック図である。
【図２】 本発明の動画像の輝度変化補償方法を用いた
動画像復号装置を示すブロック図である。
動画像復号装置を示すブロック図である。
【図３】 画像の大局的な輝度変化を説明するための図
である。
である。
【図４】 画像の大局的な輝度変化を説明するための図
である。
である。
【図５】 画像フレームの分割の仕方を説明するための
図である。
図である。
【図６】 本発明における符号化データの構成を説明す
るための図である。
るための図である。
【図７】 各ブロック毎にパラメータを記録する領域を
設けた場合の符号化データの構成を示す図である。
設けた場合の符号化データの構成を示す図である。
【図８】 画像フレーム毎にゲイン変化を表すパラメー
タＤBのみを記録する領域を設けた場合の符号化データ
の構成を示す図である。
タＤBのみを記録する領域を設けた場合の符号化データ
の構成を示す図である。
【図９】 ＭＰＥＧ−４における、ビデオオブジェクト
（ＶＯ）、ビデオブジェクトレイア（ＶＯＬ）、ビデオ
オブジェクトプレーン（ＶＯＰ）を説明するための図で
ある。
（ＶＯ）、ビデオブジェクトレイア（ＶＯＬ）、ビデオ
オブジェクトプレーン（ＶＯＰ）を説明するための図で
ある。
１ 入力端子 ２，３ フレームメモ
リ ４ 動き検出部 ５ 輝度変化検出部 ６ 頻度算出部 ７ 輝度変化捕償部 ８ 出力端子 ９ フレームメモリ １０ 動き検出／補償部 １１ 減算器 １２ 離散コサイン変換部 １３ 量子化部 １４ 出力端子 １５ 逆量子化部 １６ 逆離散コサイン変換部 １７ 加算器 １８ 出力端子 ２１〜２３ 入力端子 ２４ 逆量子化部 ２５ 逆離散コサイン変換部 ２６ 加算器 ２７ 出力端子 ２８ フレームメ
モリ ２９ 輝度変化補償部 ３０ 動き補償部
リ ４ 動き検出部 ５ 輝度変化検出部 ６ 頻度算出部 ７ 輝度変化捕償部 ８ 出力端子 ９ フレームメモリ １０ 動き検出／補償部 １１ 減算器 １２ 離散コサイン変換部 １３ 量子化部 １４ 出力端子 １５ 逆量子化部 １６ 逆離散コサイン変換部 １７ 加算器 １８ 出力端子 ２１〜２３ 入力端子 ２４ 逆量子化部 ２５ 逆離散コサイン変換部 ２６ 加算器 ２７ 出力端子 ２８ フレームメ
モリ ２９ 輝度変化補償部 ３０ 動き補償部
Claims (21)
- 【請求項１】 ディジタル動画像を伝送・蓄積する符号
化処理もしくは動画像編集の際の画像処理における動画
像の輝度変化補償方法であって、 処理対象画像プレーンと参照画像プレーン間における大
局的な輝度変化量であるゲイン変化を表すパラメータＤ
B 、コントラスト変化を表すパラメータＤ C を求め、 前記参照プレーンの 各画素の輝度値ｘをＤC・ｘ＋ＤBに
修正することによって前記処理対象画像プレーンの大局
的な輝度変化量を補償することを特徴とする動画像の輝
度変化補償方法。 - 【請求項２】 前記ゲイン変化を表すパラメータＤB、
コントラスト変化を表すパラメータＤCは、 処理対象画像プレーンと参照画像プレーンで対応する画
素同士の誤差の二乗和が最小となることを条件にして求
めることを特徴とする請求項１に記載の動画像の輝度変
化補償方法。 - 【請求項３】 前記ゲイン変化を表すパラメータＤB、
コントラスト変化を表すパラメータＤCは、 処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然
数）からなるｎ個（ｎは２以上の整数）の各ブロックに
ついて２つのパラメータＤC，ＤBを算出し、最も頻度が
高かったパラメータＤC，ＤBの組を、処理対象画像プレ
ーンのパラメータＤC，ＤBと決定することを特徴とする
請求項２に記載の輝度変化補償方法。 - 【請求項４】 前記ゲイン変化を表すパラメータＤB、
コントラスト変化を表すパラメータＤCは、 処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然
数）からなるｎ個（ｎは２以上の整数）の各プロックに
ついて２つのパラメータＤC，ＤBを算出し、算出したパ
ラメータＤC，ＤBの平均値の組を、処理対象画像プレー
ンのパラメータＤ C，ＤBと決定することを特徴とする請
求項２に記載の輝度変化補償方法。 - 【請求項５】 前記画像プレーンは、 画像フレーム、もしくは、ビデオオブジェクトプレーン
（ＶＯＰ）であることを特徴とする請求項１に記載の輝
度変化補償方法。 - 【請求項６】 ゲイン変化を表すパラメータＤB、コン
トラスト変化を表すパラメータＤCを、処理対象画像プ
レーンと参照画像プレーン間における大局的な輝度変化
量を表すパラメータとして求めるパラメータ決定手段
と、前記参照画像プレーンの画素の値ｘを前記パラメータＤ
B ，Ｄ C を用いてＤ C ・ｘ＋Ｄ B に修正した値と、前記処理
対象画像プレーンの対応する画素の値との差分値を求め
る手段と を備えたことを特徴とする動画像符号化装置。 - 【請求項７】 前記パラメータ決定手段は、 前記パラメータＤB，ＤCを、処理対象画像プレーンと参
照画像プレーンで対応する画素同志の誤差の二乗和が最
小となることを条件に求めることを特徴とする請求項６
に記載の動画像符号化装置。 - 【請求項８】 前記パラメータ決定手段は、 処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然
数）からなるｎ個（ｎは２以上の整数）の各ブロックに
ついて２つのパラメータＤC，ＤBを算出し、最も頻度が
高かったパラメータＤC，ＤBの組を、処理対象画像プレ
ーンのパラメータＤC，ＤBと決定することを特徴とする
請求項７に記載の動画像符号化装置。 - 【請求項９】 前記パラメータ決定手段は、 処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然
数）からなるｎ個（ｎは２以上の整数）の各ブロックに
ついて２つのパラメータＤC，ＤBを算出し、算出したパ
ラメータＤC，ＤBの平均値の組を、処理対象画像プレー
ンのパラメータＤ C，ＤBと決定することを特徴とする請
求項７に記載の動画像符号化装置。 - 【請求項１０】 前記画像プレーンは、 画像フレーム、もしくは、ビデオオブジェクトプレーン
（ＶＯＰ）であることを特徴とする請求項６に記載の動
画像符号化装置。 - 【請求項１１】 動画像の符号化工程において求められ
た処理対象画像プレーンと参照画像プレーン間における
大局的な輝度変化量であるゲイン変化を表すパラメータ
ＤBとコントラスト変化を表すパラメータＤC とを取得す
る手段と、 動画像の符号化工程において求められた、参照画像プレ
ーンの画素の値ｘを前記パラメータＤ B ，Ｄ C を用いてＤ
C ・ｘ＋Ｄ B に修正した値と処理対象画像プレーンの対応
する画素の値との差分値を取得する手段と、 復号が終了した再生画像プレーンの画素の値ｘをＤC・
ｘ＋ＤBに修正した値と前記差分値を用いて画像プレー
ンを得る手段とを備えたことを特徴とする動画像復号装
置。 - 【請求項１２】 前記画像プレーンは、 画像フレーム、もしくは、ビデオオブジェクトプレーン
（ＶＯＰ）であることを特徴とする請求項１１に記載の
動画像復号装置。 - 【請求項１３】 動画像符号化プログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、 ゲイン変化を表すパラメータＤB、コントラスト変化を
表すパラメータＤCを、処理対象画像プレーンと参照画
像プレーン間における大局的な輝度変化量を表すパラメ
ータとして求めるパラメータ決定手段と、前記参照画像プレーンの画素の値ｘを前記パラメータＤ
B ，Ｄ C を用いてＤ C ・ｘ＋Ｄ B に修正した値と、前記処理
対象画像プレーンの対応する画素の値との差分値を求め
る手段と をコンピュータに実行させるための動画像符号
化プログラムを記録した記録媒体。 - 【請求項１４】 前記パラメータ決定手段は、 前記パラメータＤB，ＤCを、処理対象画像プレーンと参
照画像プレーンで対応する画素同志の誤差の二乗和が最
小となることを条件に求めることを特徴とする請求項１
３に記載の動画像符号化プログラムを記録した記録媒
体。 - 【請求項１５】 前記パラメータ決定手段は、 処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然
数）からなるｎ個（ｎは２以上の整数）の各ブロックに
ついて２つのパラメータＤC，ＤBを算出し、最も頻度が
高かったパラメータＤC，ＤBの組を、処理対象画像プレ
ーンのパラメータＤC，ＤBと決定することを特徴とする
請求項１４に記載の動画像符号化プログラムを記録した
記録媒体。 - 【請求項１６】 前記パラメータ決定手段は、 処理対象画像プレーンの、Ｋ×Ｌ画素（Ｋ、Ｌは自然
数）からなるｎ個（ｎは２以上の整数）の各ブロックに
ついて２つのパラメータＤC，ＤBを算出し、算出したパ
ラメータＤC，ＤBの平均値の組を、処理対象画像プレー
ンのパラメータＤ C，ＤBと決定することを特徴とする請
求項１４に記載の動画像符号化プログラムを記録した記
録媒体。 - 【請求項１７】 前記画像プレーンは、 画像フレーム、もしくは、ビデオオブジェクトプレーン
（ＶＯＰ）であることを特徴とする請求項１３に記載の
動画像符号化プログラムを記録した記録媒体。 - 【請求項１８】 動画像復号プログラムを記録したコン
ピュータ読み取り可能な記録媒体であって、 動画像の符号化工程において求められた処理対象画像プ
レーンと参照画像プレーン間における大局的な輝度変化
量であるゲイン変化を表すパラメータＤBとコントラス
ト変化を表すパラメータＤC とを取得する手段と、 動画像の符号化工程において求められた、参照画像プレ
ーンの画素の値ｘを前記パラメータＤ B ，Ｄ C を用いてＤ
C ・ｘ＋Ｄ B に修正した値と処理対象画像プレーンの対応
する画素の値との差分値を取得する手段と、 復号が終了した再生画像プレーンの画素の値ｘをＤC・
ｘ＋ＤBに修正した値と前記差分値を用いて画像プレー
ンを得る手段とをコンピュータに実行させるための動画
像復号プログラムを記録した記録媒体。 - 【請求項１９】 前記画像プレーンは、 画像フレーム、もしくは、ビデオオブジェクトプレーン
（ＶＯＰ）であることを特徴とする請求項１８に記載の
動画像復号プログラムを記録した記録媒体。 - 【請求項２０】 動画像の符号化データを記録したコン
ピュータ読み取り可能な記録媒体であって、 前記符号化データは、画像プレーンを単位として符号化
した画像プレーン符号化データを記録した領域を複数含
み、 前記画像プレーン符号化データを記録した領域は、 処理対象画像プレーンと参照画像プレーン間における大
局的な輝度変化量であるゲイン変化を表すパラメータＤ
B、およびコントラスト変化を表すパラメータＤCを記録
したパラメータ領域と、 前記参照画像プレーンの各画素の輝度値ｘを、前記パラ
メータＤB，ＤCを用い、ＤC・ｘ＋ＤBに修正した画像プ
レーンと、前記処理対象画像プレーンとにおいて対応す
る画素毎の画素値の差分値に関するデータを画像プレー
ン単位で符号化して記録した符号化領域とからなる動画
像の符号化データを記録した記録媒体。 - 【請求項２１】 前記画像プレーンは、 画像フレーム、もしくは、ビデオオブジェクトプレーン
（ＶＯＰ）であることを特徴とする請求項２０に記載の
動画像の符号化データを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23745197A JP2938412B2 (ja) | 1996-09-03 | 1997-09-02 | 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23300296 | 1996-09-03 | ||
| JP8-233002 | 1996-09-03 | ||
| JP23745197A JP2938412B2 (ja) | 1996-09-03 | 1997-09-02 | 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10136385A JPH10136385A (ja) | 1998-05-22 |
| JP2938412B2 true JP2938412B2 (ja) | 1999-08-23 |
Family
ID=26530782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23745197A Expired - Lifetime JP2938412B2 (ja) | 1996-09-03 | 1997-09-02 | 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2938412B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7599437B2 (en) | 2002-11-22 | 2009-10-06 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| EP2355519A1 (en) | 2002-04-18 | 2011-08-10 | Kabushiki Kaisha Toshiba | Video decoding method and apparatus |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2351306T3 (es) * | 2002-04-18 | 2011-02-02 | Kabushiki Kaisha Toshiba | Procedimiento y dispositivo para la codificación de imágen en movimiento. |
| US7463684B2 (en) | 2002-05-03 | 2008-12-09 | Microsoft Corporation | Fading estimation/compensation |
| US7277486B2 (en) | 2002-05-03 | 2007-10-02 | Microsoft Corporation | Parameterization for fading compensation |
| US7609767B2 (en) * | 2002-05-03 | 2009-10-27 | Microsoft Corporation | Signaling for fading compensation |
| KR100612849B1 (ko) | 2003-07-18 | 2006-08-14 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치 및 방법 |
| US8009739B2 (en) | 2003-09-07 | 2011-08-30 | Microsoft Corporation | Intensity estimation/compensation for interlaced forward-predicted fields |
| JP4232971B2 (ja) * | 2004-04-16 | 2009-03-04 | Ｋｄｄｉ株式会社 | 動き予測情報検出装置 |
| EP1790168B1 (en) * | 2004-09-16 | 2016-11-09 | Thomson Licensing | Video codec with weighted prediction utilizing local brightness variation |
| US7924918B2 (en) * | 2004-11-29 | 2011-04-12 | Ntt Docomo, Inc. | Temporal prediction in video coding |
| CN101160976B (zh) | 2005-04-13 | 2010-05-19 | 株式会社Ntt都科摩 | 运动图像编码装置及其方法、运动图像解码装置及其方法 |
| KR100782815B1 (ko) | 2005-08-09 | 2007-12-06 | 삼성전자주식회사 | 인텐서티 보상을 위한 영상 디코딩 방법 및 장치 |
| US20100290532A1 (en) | 2007-12-28 | 2010-11-18 | Tomoyuki Yamamoto | Moving image encoder and moving image decoder |
| WO2009098741A1 (ja) * | 2008-02-04 | 2009-08-13 | Panasonic Corporation | 撮像装置、集積回路及び撮像方法 |
| US8804831B2 (en) * | 2008-04-10 | 2014-08-12 | Qualcomm Incorporated | Offsets at sub-pixel resolution |
| US9967590B2 (en) | 2008-04-10 | 2018-05-08 | Qualcomm Incorporated | Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter |
| WO2010016534A1 (ja) | 2008-08-08 | 2010-02-11 | シャープ株式会社 | 動画像符号化装置および動画像復号装置 |
| CN102308584B (zh) * | 2009-02-12 | 2015-01-07 | 日本电信电话株式会社 | 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置 |
-
1997
- 1997-09-02 JP JP23745197A patent/JP2938412B2/ja not_active Expired - Lifetime
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2355523A1 (en) | 2002-04-18 | 2011-08-10 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| EP2355522A1 (en) | 2002-04-18 | 2011-08-10 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| EP2357827A1 (en) | 2002-04-18 | 2011-08-17 | Kabushiki Kaisha Toshiba | Video decoding method and apparatus |
| EP2357828A1 (en) | 2002-04-18 | 2011-08-17 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus |
| EP2355519A1 (en) | 2002-04-18 | 2011-08-10 | Kabushiki Kaisha Toshiba | Video decoding method and apparatus |
| EP2355518A1 (en) | 2002-04-18 | 2011-08-10 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus |
| EP2355521A1 (en) | 2002-04-18 | 2011-08-10 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus |
| EP2355520A1 (en) | 2002-04-18 | 2011-08-10 | Kabushiki Kaisha Toshiba | Video decoding method and apparatus |
| US7903740B2 (en) | 2002-11-22 | 2011-03-08 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| US7944973B2 (en) | 2002-11-22 | 2011-05-17 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| US7949048B2 (en) | 2002-11-22 | 2011-05-24 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| US7616691B2 (en) | 2002-11-22 | 2009-11-10 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| US7599437B2 (en) | 2002-11-22 | 2009-10-06 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| US7944972B2 (en) | 2002-11-22 | 2011-05-17 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| US7885332B2 (en) | 2002-11-22 | 2011-02-08 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
| US7885333B2 (en) | 2002-11-22 | 2011-02-08 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10136385A (ja) | 1998-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6266370B1 (en) | Brightness-variation compensation method and coding/decoding apparatus for moving pictures | |
| JP2938412B2 (ja) | 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体 | |
| JP4724459B2 (ja) | 適応時間予測を用いた動きベクトル検出 | |
| EP1389016B1 (en) | Improved motion estimation and block matching pattern | |
| JPH04177992A (ja) | 階層性を有する画像符号化装置 | |
| JP2007306619A (ja) | ビデオ画像を処理するコンピュータ実行方法及び記録媒体 | |
| JP3633159B2 (ja) | 動画像信号符号化方法及び装置、並びに動画像信号伝送方法 | |
| KR20070093781A (ko) | 동화상 부호화 장치 및 기록 매체 | |
| JP2005159419A (ja) | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
| US6101278A (en) | System for extracting coding parameters from video data | |
| JP2000333163A (ja) | 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法 | |
| KR20090014371A (ko) | 움직임 검출 장치 | |
| CN112449182A (zh) | 视频编码方法、装置、设备及存储介质 | |
| US8447104B2 (en) | Method, medium and system adjusting predicted values based on similarities between color values for image compressing/recovering | |
| FI109634B (fi) | Menetelmä ja laite videokuvan koodaamiseksi | |
| JPH09121359A (ja) | 画像符号化方法および画像復号化方法 | |
| JP2000059792A (ja) | 動画像信号の高能率符号化装置 | |
| JP3812808B2 (ja) | スキップ領域検出型動画像符号化装置および記録媒体 | |
| JPH10174094A (ja) | 映像復号化装置 | |
| JPH1023421A (ja) | 動画像処理方法 | |
| JP3032213B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| JP3896635B2 (ja) | 画像データ変換装置及び方法、予測係数生成装置及び方法 | |
| JPH1013838A (ja) | 動きベクトル検出方法および動きベクトル検出装置 | |
| US6266448B1 (en) | Method of and apparatus for compressing and encoding digitized moving picture signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140611 Year of fee payment: 15 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |