JP3410037B2 - 復号化方法、復号化装置、および、コンピュータ読み取り可能な記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フレーム間予測を
行い、輝度または色の強度が量子化された数値として表
される動画像符号化および復号化方法、ならびに動画像
の符号化装置および復号化装置に関するものである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用するフレーム間予
測（動き補償）は情報圧縮に大きな効果を示すことが知
られている。現在の画像符号化技術の主流となっている
動き補償方式は、動画像符号化方式の国際標準である
Ｈ．２６３、ＭＰＥＧ１、ＭＰＥＧ２に採用されている
半画素精度のブロックマッチングである。この方式で
は、符号化しようとする画像を多数のブロックに分割
し、ブロックごとにその動きベクトルを水平・垂直方向
に隣接画素間距離の半分の長さを最小単位として求め
る。

【０００３】この処理を数式を用いて表現すると以下の
ようになる。符号化しようとするフレーム（現フレーム
）の予測画像Ｐの座標(ｘ, ｙ)におけるサンプル値
（輝度または色差の強度のサンプル値）をＰ(ｘ, ｙ)、
参照画像Ｒ（Ｐと時間的に近接しており、既に符号化が
完了しているフレームの復号画像）の座標(ｘ, ｙ)にお
けるサンプル値をＲ(ｘ, ｙ)とする。また、ｘとｙは整
数であるとして、ＰとＲでは座標値が整数である点に画
素が存在すると仮定する。また、画素のサンプル値は負
ではない整数として量子化されているとする。このと
き、ＰとＲの関係は、

【０００４】

【数１】

【０００５】で表される。ただし、画像はＮ個のブロッ
クに分割されるとして、Ｂiは画像のｉ番目のブロック
に含まれる画素、(ｕi, ｖi)はｉ番目のブロックの動き
ベクトルを表している。

【０００６】ｕiとｖiの値が整数ではないときには、参
照画像において実際には画素が存在しない点の強度値を
求めることが必要となる。この際の処理としては、周辺
４画素を用いた共１次内挿が使われることが多い。この
内挿方式を数式で記述すると、ｄを正の整数、０≦ｐ,
ｑ＜ｄとして、Ｒ(ｘ＋ｐ／ｄ, ｙ＋ｑ／ｄ)は、

【０００７】

【数２】

【０００８】で表される。ただし「//」は除算の一種
で、通常の除算（実数演算による除算）の結果を近隣の
整数に丸め込むことを特徴としている。

【０００９】図１にＨ．２６３の符号化器の構成例１０
０を示す。Ｈ．２６３は、符号化方式として、ブロック
マッチングとＤＣＴ（離散コサイン変換）を組み合わせ
たハイブリッド符号化方式（フレーム間／フレーム内適
応符号化方式）を採用している。

【００１０】減算器１０２は入力画像（現フレームの原
画像）１０１とフレーム間／フレーム内符号化切り換え
スイッチ１１９の出力画像１１３（後述）との差を計算
し、誤差画像１０３を出力する。この誤差画像は、ＤＣ
Ｔ変換器１０４でＤＣＴ係数に変換された後に量子化器
１０５で量子化され、量子化ＤＣＴ係数１０６となる。
この量子化ＤＣＴ計数は伝送情報として通信路に出力さ
れると同時に、符号化器内でもフレーム間予測画像を合
成するために使用される。

【００１１】以下に予測画像合成の手順を説明する。上
述の量子化ＤＣＴ係数１０６は、逆量子化器１０８と逆
ＤＣＴ変換器１０９を経て復号誤差画像１１０（受信側
で再生される誤差画像と同じ画像）となる。これに、加
算器１１１においてフレーム間／フレーム内符号化切り
換えスイッチ１１９の出力画像１１３（後述）が加えら
れ、現フレームの復号画像１１２（受信側で再生される
現フレームの復号画像と同じ画像）を得る。この画像は
一旦フレームメモリ１１４に蓄えられ、１フレーム分の
時間だけ遅延される。したがって、現時点では、フレー
ムメモリ１１４は前フレームの復号画像１１５を出力し
ている。この前フレームの復号画像と現フレームの入力
画像１０１がブロックマッチング部１１６に入力され、
ブロックマッチングの処理が行われる。

【００１２】ブロックマッチングでは、画像を複数のブ
ロックに分割し、各ブロックごとに現フレームの原画像
に最も似た部分を前フレームの復号画像から取り出すこ
とにより、現フレームの予測画像１１７が合成される。
このときに、各ブロックが前フレームと現フレームの間
でどれだけ移動したかを検出する処理（動き推定処理）
を行う必要がある。動き推定処理によって検出された各
ブロックごとの動きベクトルは、動きベクトル情報１２
０として受信側へ伝送される。

【００１３】受信側は、この動きベクトル情報と前フレ
ームの復号画像から、独自に送信側で得られるものと同
じ予測画像を合成することができる。予測画像１１７
は、「０」信号１１８と共にフレーム間／フレーム内符
号化切り換えスイッチ１１９に入力される。このスイッ
チは、両入力のいずれかを選択することにより、フレー
ム間符号化とフレーム内符号化を切り換える。予測画像
１１７が選択された場合（図２はこの場合を表してい
る）には、フレーム間符号化が行われる。一方、「０」
信号が選択された場合には、入力画像がそのままＤＣＴ
符号化されて通信路に出力されるため、フレーム内符号
化が行われることになる。受信側が正しく復号化画像を
得るためには、送信側でフレーム間符号化が行われたか
フレーム内符号化が行われたかを知る必要がある。この
ため、識別フラグ１２１が通信路へ出力される。最終的
なＨ．２６３符号化ビットストリーム１２３は多重化器
１２２で量子化ＤＣＴ係数、動きベクトル、フレーム内
／フレーム間識別フラグの情報を多重化することによっ
て得られる。

【００１４】図２に図１の符号化器が出力した符号化ビ
ットストリームを受信する復号化器２００の構成例を示
す。受信したＨ．２６３ビットストリーム２１７は、分
離器２１６で量子化ＤＣＴ係数２０１、動きベクトル情
報２０２、フレーム内／フレーム間識別フラグ２０３に
分離される。量子化ＤＣＴ係数２０１は逆量子化器２０
４と逆ＤＣＴ変換器２０５を経て復号化された誤差画像
２０６となる。この誤差画像は加算器２０７でフレーム
間／フレーム内符号化切り換えスイッチ２１４の出力画
像２１５を加算され、復号化画像２０８として出力され
る。フレーム間／フレーム内符号化切り換えスイッチは
フレーム間／フレーム内符号化識別フラグ２０３に従っ
て、出力を切り換える。フレーム間符号化を行う場合に
用いる予測画像２１２は、予測画像合成部２１１におい
て合成される。ここでは、フレームメモリ２０９に蓄え
られている前フレームの復号画像２１０に対して、受信
した動きベクトル情報２０２に従ってブロックごとに位
置を移動させる処理が行われる。一方フレーム内符号化
の場合、フレーム間／フレーム内符号化切り換えスイッ
チは、「０」信号２１３をそのまま出力する。

【００１５】

【発明が解決すようとする課題】Ｈ．２６３が符号化す
る画像は、輝度情報を持つ１枚の輝度プレーン（Ｙプレ
ーン）と色情報（色差情報とも言う）を持つ２枚の色差
プレーン（ＵプレーンとＶプレーン）で構成されてい
る。このとき、画像が水平方向に２ｍ画素、垂直方向に
２ｎ画素持っている場合に（ｍとｎは正の整数とす
る）、Ｙプレーンは水平方向に２ｍ、垂直方向に２ｎ個
の画素を持ち、ＵおよびＶプレーンは水平方向にｍ、素
直方向にｎ個の画素を持つことを特徴としている。この
ように色差プレーンの解像度が低いのは、人間の視覚が
色差の空間的な変化に比較的鈍感であるという特徴を持
つためである。このような画像を入力として、Ｈ．２６
３ではマクロブロックと呼ばれるブロックを単位として
符号 図３にマクロブロックの構成を示す。マクロブロックは
Ｙブロック、Ｕブロック、Ｖブロックの３個のブロック
で構成され、輝度値情報を持つＹブロック３０１の大き
さは１６×１６画素、色差情報をもつＵブロック３０２
およびＶブロック３０３の大きさは８×８画素となって
いる。

【００１６】Ｈ．２６３では、各マクロブロックに対し
て半画素精度のブロックマッチングが適用される。した
がって、推定された動きベクトルを(ｕ, ｖ)とすると、
ｕとｖはそれぞれ画素間距離の半分、つまり１／２を最
小単位として求められることになる。このときの強度値
（以下では、「輝度値」と色差の強度値を総称して「強
度値」と呼ぶ）の内挿処理の様子を図４に示す。Ｈ．２
６３では、数２の内挿を行う際に、除算の結果は最も近
い整数に丸め込まれ、かつ除算の結果が整数に0.5を加
えた値となるときには、これを０から遠ざける方向に切
り上げる処理が行われる。

【００１７】つまり、図４において、画素４０１、４０
２、４０３、４０４の強度値をそれぞれＬa、Ｌb、Ｌ
c、Ｌdとすると（Ｌa、Ｌb、Ｌc、Ｌdは負ではない整
数）、内挿により強度値を求めたい位置４０５、４０
６、４０７、４０８の強度値Ｉa、Ｉb、Ｉc、Ｉdは（Ｉ
a、Ｉb、Ｉc、Ｉdは負ではない整数）、以下の式によっ
て表される。

【００１８】

【数３】

【００１９】ただし、「[ ]」は小数部分を切り捨てる
処理を表している。

【００２０】このとき、除算の結果を整数値に丸め込む
処理によって発生する誤差の期待値を計算することを考
える。内挿により強度値を求めたい位置が、図４の位置
４０５、４０６、４０７、４０８となる確率をそれぞれ
１／４とする。このとき、位置４０５の強度値Ｉaを求
める際の誤差は明らかに０である。また、位置４０６の
強度値Ｉbを求める際の誤差は、Ｌa＋Ｌbが偶数の場合
は０、奇数の場合は切り上げが行われるので１／２とな
る。Ｌa＋Ｌbが偶数になる確率と奇数になる確率は共に
１／２であるとすれば、誤差の期待値は、０・１／２＋
１／２・１／２＝１／４となる。位置４０７の強度値Ｉ
cを求める際も誤差の期待値はＩbの場合と同様に１／４
となる。位置４０８の強度値Ｉcを求める際には、Ｌa＋
Ｌb＋Ｌc＋Ｌdを４で割った際のあまりが０、１、２、
３である場合の誤差はそれぞれ０、−１／４、１／２、
１／４となり、あまりが０から３になる確率をそれぞれ
等確率とすれば、誤差の期待値は０・１／４−１／４・
１／４＋１／２・１／４＋１／４・１／４＝１／８とな
る。上で述べた通り、位置４０５〜４０８における強度
値が計算される確率は等確率であるとすれば、最終的な
誤差の期待値は、０・１／４＋１／４・１／４＋１／４
・１／４＋１／８・１／４＝５／３２となる。これは、
一回ブロックマッチングによる動き補償を行う度に、画
素の強度値に５／３２の誤差が発生することを意味して
いる。

【００２１】一般的に低レート符号化の場合には、フレ
ーム間予測誤差を符号化するためのビット数を十分に確
保することができないため、ＤＣＴ係数の量子化ステッ
プサイズを大きくする傾向がある。したがって、動き補
償で発生した誤差を誤差符号化によって修正しにくくな
る。このようなときにフレーム内符号化を行わずにフレ
ーム間符号化をずっと続けた場合には、上記誤差が蓄積
し、再生画像が赤色化するなどの悪い影響を与える場合
がある。

【００２２】上で説明した通り、色差プレーンの画素数
は縦方向、横方向共に画素数が半分となっている。した
がって、ＵブロックとＶブロックに対しては、Ｙブロッ
クの動きベクトルの水平・垂直成分をそれぞれ２で割っ
た値が使用される。このとき、もとのＹブロックの動き
ベクトルの水平・垂直成分であるｕとｖが１／２の整数
倍の値であるため、通常の割り算を実行した場合には、
動きベクトルは１／４の整数倍の値が出現することにな
る。しかし、座標値が１／４の整数倍をとるときの強度
値の内挿演算が複雑となるため、Ｈ．２６３ではＵブロ
ックとＶブロックの動きベクトルも半画素精度に丸め込
まれる。このときの丸め込みの方法は以下の通りであ
る。

【００２３】いま、ｕ／２＝ｒ＋ｓ／４であるとする。
このとき、ｒとｓは整数であり、さらにｓは０以上３以
下の値をとるとする。ｓが０または２のときはｕ／２は
１／２の整数倍であるため、丸め込みを行う必要がな
い。しかし、ｓが１または３のときは、これを２に丸め
込む操作が行われる。これは、ｓが２となる確率を高く
することにより、強度値の内挿が行われる回数を増や
し、動き補償処理にフィルタリングの作用を持たせるた
めである。

【００２４】丸め込みが行われる前のｓの値が０〜３の
値をとる確率をそれぞれ１／４とした場合、丸め込みが
終わったあとにｓが０、２となる確率はそれぞれ１／４
と３／４となる。以上は動きベクトルの水平成分ｕに関
する議論であったが、垂直成分であるｖに関しても全く
同じ議論が適用できる。

【００２５】したがって、ＵブロックおよびＶブロック
において、４０１の位置の強度値が求められる確率は１
／４・１／４＝１／１６、４０２および４０３の位置の
強度値が求められる確率は共に１／４・３／４＝３／１
６、４０４の位置の強度値が求められる確率は３／４・
３／４＝９／１６となる。これを用いて上と同様の手法
により、強度値の誤差の期待値を求めると、０・１／１
６＋１／４・３／１６＋１／４・３／１６＋１／８・９
／１６＝２１／１２８となり、上で説明したＹブロック
の場合と同様にフレーム内符号化を続けた場合の誤差の
蓄積の問題が発生する。

【００２６】フレーム間予測を行い、輝度または色の強
度が量子化された数値として表される動画像符号化およ
び復号化方法では、フレーム間予測において輝度または
色の強度を量子化する際の誤差が蓄積する場合がある。
本発明の目的は、上記誤差の蓄積を防ぐことにより、再
生画像の画質を向上させることにある。

【００２７】

【課題を解決するための手段】誤差の発生を抑えるか、
発生した誤差を打ち消す操作を行うことにより、誤差の
蓄積を防ぐ。

【００２８】

【発明の実施の形態】まず、「従来の技術」で述べた丸
め込み誤差の蓄積がどのような場合に発生するかについ
て考える。

【００２９】図５にＭＰＥＧ１、ＭＰＥＧ２、Ｈ．２６
３などの双方向予測と片方向予測の両方を実行すること
ができる符号化方法により符号化された動画像の例を示
す。画像５０１はフレーム内符号化によって符号化され
たフレームであり、Ｉフレームと呼ばれる。これに対
し、画像５０３、５０５、５０７、５０９はＰフレーム
と呼ばれ、直前のＩまたはＰフレームを参照画像とする
片方向のフレーム間符号化により符号化される。したが
って、例えば画像５０５を符号化する際には画像５０３
を参照画像とするフレーム間予測が行われる。画像５０
２、５０４、５０６、５０８はＢフレームと呼ばれ、直
前と直後のＩまたはＰフレームを用いた双方向のフレー
ム間予測が行われる。Ｂフレームは、他のフレームがフ
レーム間予測を行う際に参照画像として利用されないと
いう特徴も持っている。

【００３０】まず、Ｉフレームでは動き補償が行われな
いため、動き補償が原因となる丸め込み誤差は発生しな
い。これに対し、Ｐフレームでは動き補償が行われる上
に、他のＰまたはＢフレームの参照画像としても使用さ
れるため、丸め込み誤差の蓄積を引き起こす原因とな
る。一方、Ｂフレームは動き補償は行われるために丸め
込み誤差の蓄積の影響は現れるが、参照画像としては使
用されないために丸め込み誤差の蓄積の原因とはならな
い。このことから、Ｐフレームにおける丸め込み誤差の
蓄積を防げば、動画像全体で丸め込み誤差の悪影響を緩
和することができる。なお、Ｈ．２６３ではＰフレーム
とＢフレームをまとめて符号化するＰＢフレームと呼ば
れるフレームが存在するが（例えばフレーム５０３と５
０４をＰＢフレームとしてまとめて符号化することがで
きる）、組み合わされた２枚のフレームを別々の物とし
て考えれば、上と同じ議論を適用することができる。つ
まり、ＰＢフレームの中でＰフレームに相当する部分に
対して丸め込み誤差への対策を施せば、誤差の蓄積を防
ぐことができる。

【００３１】丸め込み誤差は、強度値の内挿を行う際
に、通常の除算（演算結果が実数になる除算）の結果と
して整数値に0.5を加えた値が出るような場合に、これ
を０から遠ざける方向に切り上げているために発生して
いる。例えば内挿された強度値を求めるために４で割る
操作を行うような場合、あまりが１である場合と３であ
る場合は発生する誤差の絶対値が等しくかつ符号が逆に
なるため、誤差の期待値を計算する際に互いに打ち消し
合う働きをする（より一般的には、正の整数ｄ’で割る
場合には、あまりがｔである場合とｄ’−ｔである場合
が打ち消し合う）。しかし、あまりが２である場合、つ
まり通常の除算の結果が整数に0.5を加えた値が出る場
合には、これを打ち消すことができず、誤差の蓄積につ
ながる。

【００３２】そこで、このように通常の除算の結果、整
数に0.5を加えた値が出た際にに切り上げを行う丸め込
み方法と切り捨てを行う丸め込み方法の両者を選択可能
とし、これらをうまく組み合わせることより、発生した
誤差を打ち消すことを考える。以下では、通常の除算の
結果を最も近い整数に丸め込み、かつ整数に0.5を加え
た値は０から遠ざける方向に切り上げる丸め込み方法を
「プラスの丸め込み」と呼ぶ。また、通常の除算の結果
を最も近い整数に丸め込み、かつ整数に0.5を加えた値
は０に近づける方向に切り捨てる丸め込み方法を「マイ
ナスの丸め込み」と呼ぶこととする。数３は、半画素精
度のブロックマッチングにおいてプラスの丸め込みを行
う場合の処理を示しているが、マイナスの丸め込みを行
う場合には、これは以下のように書き換えることができ
る。

【００３３】

【数４】

【００３４】いま、予測画像の合成における強度値の内
挿の際ににプラスの丸め込みを行う動き補償を、プラス
の丸め込みを用いる動き補償、マイナスの丸め込みを行
う動き補償をマイナスの丸め込みを用いる動き補償とす
る。また、半画素精度のブロックマッチングを行い、か
つプラスの丸め込みを用いる動き補償が適用されるＰフ
レームをＰ＋フレーム、逆にマイナスの丸め込みを用い
る動き補償が適用されるＰフレームをＰ−フレームと呼
ぶことする（この場合、Ｈ．２６３のＰフレームはすべ
てＰ＋フレームということになる）。Ｐ−フレームにお
ける丸め込み誤差の期待値は、Ｐ＋フレームのそれと絶
対値が等しく、符号が逆となる。したがって、時間軸に
対し、Ｐ＋フレームとＰ−フレームが交互に現れるよう
にすれば、丸め込み誤差の蓄積を防ぐことができる。

【００３５】図５の例では、フレーム５０３、５０７を
Ｐ＋フレーム、フレーム５０５、５０９をＰ−フレーム
とすれば、この処理を実現することができる。また、Ｐ
＋フレームとＰ−フレームが交互に発生することは、Ｂ
フレームにおいて双方向の予測を行う際にＰ＋フレーム
とＰ−フレームが一枚ずつ参照画像として使用されるこ
とを意味している。一般的にＢフレームにおいては順方
向の予測画像（例えば図５のフレーム５０４を符号化す
る際に、フレーム５０３を参照画像として合成される予
測画像）と逆方向の予測画像（例えば図５のフレーム５
０４を符号化する際に、フレーム５０５を参照画像とし
て合成される予測画像）の平均が予測画像として使用で
きる場合が多い。したがって、ここでＰ＋フレームとＰ
−フレームから合成した画像を平均化することは、誤差
の影響を打ち消す意味で有効である。

【００３６】なお、上で述べた通り、Ｂフレームにおけ
る丸め込み処理は誤差の蓄積の原因とはならない。した
がって、すべてのＢフレームに対して同じ丸め込み方法
を適用しても問題は発生しない。例えば、図５のＢフレ
ーム５０２、５０４、５０６、５０８のすべてが正の丸
め込みに基づく動き補償を行ったとしても、特に画質の
劣化の原因とはならない。Ｂフレームの復号化処理を簡
略化する意味では、Ｂフレームに関しては１種類の丸め
込み方法のみを用いることが望ましい。

【００３７】図１６に、上で述べた複数の丸め込み方法
に対応した画像符号化器のブロックマッチング部１６０
０の例を示す。他の図と同じ番号は、同じものを指して
いる。図１のブロックマッチング部１１６を１６００に
入れ換えることにより、複数の丸め込み方法に対応する
ことができる。動き推定器１６０１において、入力画像
１０１と前フレームの復号画像１１２との間で動き推定
の処理が行われる。この結果、動き情報１２０が出力さ
れる。この動き情報は、予測画像合成器１６０３におい
て予測画像を合成する際に利用される。

【００３８】丸め込み方法決定器１６０２は、現在符号
化を行っているフレームにおいて使用する丸め込み方法
を正の丸め込みとするか、負の丸め込みとするかを判定
する。決定した丸め込み方法に関する情報１６０４は、
予測画像合成器１６０３に入力される。この予測画像合
成器では、１６０４によって指定された丸め込み方法に
基づいて予測画像１１７が合成、出力される。なお、図
１のブロックマッチング部１１６には、図１６の１６０
２、１６０４に相当する部分が無く、予測画像は、正の
丸め込みによってのみ合成される。また、ブロックマッ
チング部から決定した丸め込み方法１６０５を出力し、
この情報をさらに多重化して伝送ビットストリームに組
み込んで伝送しても良い。

【００３９】図１７に、複数の丸め込み方法に対応した
画像復号化器の予測画像合成部１７００の例を示す。他
の図と同じ番号は、同じものを指している。図２の予測
画像合成部２１１を１７００に入れ換えることにより、
複数の丸め込み方法に対応することが可能となる。丸め
込み方法決定器１７０１では、復号化を行う際の予測画
像合成処理に適用される丸め込み方法が決定される。

【００４０】なお、正しい復号化を行うためには、ここ
で決定される丸め込み方法は、符号化の際に適用された
丸め込み方法と同じものでなければならない。例えば、
最後に符号化されたＩフレームから数えて奇数番目のＰ
フレームには正の丸め込み、偶数番目のＰフレームに対
しては負の丸め込みが適用されることを原則とし、符号
化側の丸め込み方法決定器（例えば、図１６の１６０
２）と復号化側の丸め込み方法決定器１７０１の両者が
この原則に従えば、正しい復号化を行うことが可能とな
る。このようにして決定された丸め込み方法に関する情
報１７０２と、前フレームの復号画像２１０、動き情報
２０２から、予測画像合成器１７０３では、予測画像が
合成される。この予測画像２１２は出力され、復号画像
の合成に活用される。

【００４１】なお、ビットストリーム内に丸め込み方法
に関する情報が組み込まれる場合（図１６の符号化器
で、丸め込み方法に関する情報１６０５が出力されるよ
うな場合）も考えることができる。この場合、丸め込み
方法決定器１７０１は使用されず、符号化ビットストリ
ームから抽出された丸め込み方法に関する情報１７０４
が予測画像合成器１７０３に入力される。

【００４２】本発明は、図１、２に示されている従来型
の専用回路・専用チップを用いる画像符号化装置、画像
復号化装置の他に、汎用プロセッサを用いるソフトウェ
ア画像符号化装置、ソフトウェア画像復号化装置にも適
用することができる。図６と７にこのソフトウェア画像
符号化装置６００とソフトウェア画像復号化装置７００
の例を示す。ソフトウェア符号化器６００では、まず入
力画像６０１は入力フレームメモリ６０２に蓄えられ、
汎用プロセッサ６０３はここから情報を読み込んで符号
化の処理を行う。この汎用プロセッサを駆動するための
プログラムはハードディスクやフロッピーディスクなど
による蓄積デバイス６０８から読み出されてプログラム
用メモリ６０４に蓄えられる。また、汎用プロセッサは
処理用メモリ６０５を活用して符号化の処理を行う。汎
用プロセッサが出力する符号化情報は一旦出力バッファ
６０６に蓄えられた後に符号化ビットストリーム６０７
として出力される。

【００４３】図６に示したソフトウェア符号化器上で動
作する符号化ソフトウェア(コンピュータ読み取り可能
な記録媒体）のフローチャートの例を図８に示す。まず
８０１で処理が開始され、８０２で変数Ｎに０が代入さ
れる。続いて８０３、８０４でＮの値が１００である場
合には、０が代入される。Ｎはフレーム数のカウンタで
あり、１枚のフレームの処理が終了する度に１が加算さ
れ、符号化を行う際には０〜９９の値をとることが許さ
れる。Ｎの値が０であるときには符号化中のフレームは
Ｉフレームであり、奇数のときにはＰ＋フレーム、０以
外の偶数のときにはＰ−フレームとなる。Ｎの値の上限
が９９であることは、Ｐフレーム（Ｐ＋またはＰ−フレ
ーム）が９９枚符号化された後にＩフレームが１枚符号
化されることを意味している。

【００４４】このように、何枚かのフレームの中に必ず
１枚Ｉフレームを入れることにより、（ａ）符号化器と
復号化器の処理の不一致（例えば、ＤＣＴの演算結果の
不一致）による誤差の蓄積を防止する、（ｂ）符号化デ
ータから任意のフレームの再生画像を得る処理（ランダ
ムアクセス）の処理量を減少させる、などの効果を得る
ことができる。Ｎの最適な値は符号化器の性能や符号化
器が使用される環境により変化する。この例では１００
という値を使用したが、これはＮの値が必ず１００でな
ければならいことを意味しているわけではない。

【００４５】フレームごとの符号化モード、丸め込み方
法を決定する処理は８０５で行われるが、その処理の詳
細を表すフローチャートの例を図９に示す。まず、９０
１でＮは０であるか否かが判定され、０である場合には
９０２で予測モードの識別情報として’Ｉ’が出力バッ
ファに出力され、これから符号化処理を行うフレームは
Ｉフレームとなる。なお、ここで「出力バッファに出力
される」とは、出力バッファに蓄えられた後に符号化ビ
ットストリームの一部として符号化装置から外部に出力
されることを意味している。Ｎが０ではない場合には、
９０３で予測モードの識別情報として’Ｐ’が出力され
る。Ｎが０ではない場合には、さらに９０４でＮが奇数
か偶数であるかが判定される。Ｎが奇数の場合には９０
５で丸め込み方法の識別情報として’＋’が出力され、
これから符号化処理を行うフレームはＰ＋フレームとな
る。一方、Ｎが偶数の場合には９０６で丸め込み方法の
識別情報として’−’が出力され、これから符号化処理
を行うフレームはＰ−フレームとなる。

【００４６】再び図８に戻る。８０５で符号化モードを
決定した後、８０６で入力画像はフレームメモリＡに蓄
えられる。なお、ここで述べたフレームメモリＡとは、
ソフトウェア符号化器のメモリ領域（例えば、図６の６
０５のメモリ内にこのメモリ領域が確保される）の一部
を意味している。８０７では、現在符号化中のフレーム
がＩフレームであるか否かが判定される。そして、Ｉフ
レームではない場合には８０８で動き推定・動き補償処
理が行われる。

【００４７】この８０８における処理の詳細を表すフロ
ーチャートの例を図１０に示す。まず、１００１でフレ
ームメモリＡとＢ（本段落の最後に書かれている通り、
フレームメモリＢには前フレームの復号画像が格納され
ている）に蓄えられた画像の間でブロックごとに動き推
定の処理が行われ、各ブロックの動きベクトルが求めら
れ、その動きベクトルは出力バッファに出力される。続
いて１００２で現フレームがＰ＋フレームであるか否か
が判定され、Ｐ＋フレームである場合には１００３で正
の丸め込みを用いて予測画像が合成され、この予測画像
はフレームメモリＣに蓄えられる。一方、現フレームが
Ｐ−フレームである場合には１００４で負の丸め込みを
用いて予測画像が合成され、この予測画像がフレームメ
モリＣに蓄えられる。そして１００５ではフレームメモ
リＡとＣの差分画像が求められ、これがフレームメモリ
Ａに蓄えられる。

【００４８】ここで再び図８に戻る。８０９における処
理が開始される直前、フレームメモリＡには、現フレー
ムがＩフレームである場合には入力画像が、現フレーム
がＰフレーム（Ｐ＋またはＰ−フレーム）である場合に
は入力画像と予測画像の差分画像が蓄えられている。８
０９では、このフレームメモリＡに蓄えられた画像に対
してＤＣＴが適用され、ここで計算されたＤＣＴ係数は
量子化された後に出力バッファに出力される。そしてさ
らに８１０で、この量子化ＤＣＴ係数には逆量子化さ
れ、逆ＤＣＴが適用され、この結果得られた画像はフレ
ームメモリＢに格納される。続いて８１１では、再び現
フレームがＩフレームであるか否かが判定され、Ｉフレ
ームではない場合には８１２でフレームメモリＢとＣの
画像が加算され、この結果がフレームメモリＢに格納さ
れる。ここで、１フレーム分の符号化処理が終了するこ
とになる。

【００４９】そして、８１３の処理が行われる直前にフ
レームメモリＢに格納されている画像は、符号化処理が
終了したばかりのフレームの再生画像（復号側で得られ
るものと同じ）である。８１３では、符号化が終了した
フレームが最後のフレームであるか否かが判定され、最
後のフレームであれば、符号化処理が終了する。最後の
フレームではない場合には、８１４でＮに１が加算さ
れ、再び８０３に戻って次のフレームの符号化処理が開
始される。

【００５０】図７にソフトウェア復号化器７００の例を
示す。入力された符号化ビットストリーム７０１は一旦
入力バッファ７０２に蓄えられた後に汎用プロセッサ７
０３に読み込まれる。汎用プロセッサはハードディスク
やフロッピーディスクなどによる蓄積デバイス７０８か
ら読み出されたプログラムを蓄えるプログラム用メモリ
７０４、および処理用メモリ７０５を活用して復号化処
理を行う。この結果得られた復号化画像は一旦出力フレ
ームメモリ７０６に蓄えられた後に出力画像７０７とし
て出力される。

【００５１】図７に示したソフトウェア復号化器上で動
作する復号化ソフトウェアのフローチャートの例を図１
１に示す。１１０１で処理が開始され、まず１１０２で
入力情報があるか否かが判定される。ここで入力情報が
無ければ１１０３で復号化の処理を終了する。入力情報
がある場合には、まず、１１０４で符号化識別情報が入
力される。なお、この「入力される」とは、入力バッフ
ァ（例えば、図７の７０２）に蓄えられた情報を読み込
むことを意味している。１１０５では、読み込んだ符号
化モード識別情報が’Ｉ’であるか否かが判定される。
そして、’Ｉ’ではない場合には、１１０６で丸め込み
方法の識別情報が入力され、続いて１１０７で動き補償
処理が行われる。

【００５２】この１１０７で行われる処理の詳細を表し
たフローチャートの例を図１２に示す。まず、１２０１
でブロックごとの動きベクトル情報が入力される。そし
て、１２０２で１１０６で読み込まれた丸め込み方法の
識別情報が’＋’であるか否かが判定される。これが’
＋’である場合には、現在復号化中のフレームがＰ＋フ
レームである。このとき１２０３で正の丸め込みにより
予測画像が合成され、この予測画像はフレームメモリＤ
に格納される。

【００５３】なお、ここで述べたフレームメモリＤと
は、ソフトウェア復号化器のメモリ領域（例えば、図７
の７０５のメモリ内にこのメモリ領域が確保される）の
一部を意味している。一方、丸め込み方法の識別情報
が’＋’ではない場合には、現在復号化中のフレームが
Ｐ−フレームであり、１２０４で負の丸め込みにより予
測画像が合成され、この予測画像はフレームメモリＤに
格納される。このとき、もし何らかの誤りにより、Ｐ＋
フレームがＰ−フレームとして復号化されたり、逆にＰ
−フレームがＰ＋フレームとして復号化された場合に
は、符号化器が意図したものとは異なる予測画像が復号
化器において合成されることになり、正しい復号化が行
われずに画質が劣化する。

【００５４】ここで図１１に戻る。１１０８では量子化
ＤＣＴ係数が入力され、これに逆量子化、逆ＤＣＴを適
用して得られた画像がフレームメモリＥに格納される。
１１０９では、再び現在復号化中のフレームがＩフレー
ムであるか否かが判定される。そして、Ｉフレームでは
ない場合には、１１１０でフレームメモリＤとＥに格納
された画像が加算され、この結果の画像がフレームメモ
リＥに格納される。１１１１の処理を行う直前にフレー
ムメモリＥに格納されている画像が、再生画像となる。
１１１１では、このフレームメモリＥに格納された画像
が出力フレームメモリ（例えば、図７の７０６）に出力
され、そのまま出力画像として復号化器から出力され
る。こうして１フレーム分の復号化処理が終了し、処理
は再び１１０２に戻る。

【００５５】図６と７に示したソフトウェア画像符号化
器、ソフトウェア画像復号化器に図８〜１２に示したフ
ローチャートに基づくプログラムを実行させると、専用
回路・専用チップを用いる装置を使用した場合と同様の
効果を得ることができる。

【００５６】図６のソフトウェア符号化器６０１が図８
〜１０のフローチャートに示した処理を行うことにより
生成されたビットストリームを記録した蓄積メディア
(記録媒体）の例を図１３に示す。ディジタル情報を記
録することができる記録ディスク（例えば磁気、光ディ
スクなど）１３０１には、同心円上にディジタル情報が
記録されている。このディスクに記録されているディジ
タル情報の一部１３０２を取り出すと、符号化されたフ
レームの符号化モード識別情報１３０３、１３０５、１
３０８、１３１１、１３１４、丸め込み方法の識別情報
１３０６、１３０９、１３１２、１３１５、動きベクト
ルやＤＣＴ係数等の情報１３０４、１３０７、１３１
０、１３１３、１３１６が記録されている。図８〜１０
に示した方法に従えば、１３０３には’Ｉ’、１３０
５、１３０８、１３１１、１３１４には’Ｐ’、１３０
６、１３１２には’＋’、１３０９、１３１５には’
−’を意味する情報が記録されることとなる。この場
合、例えば’Ｉ’と’＋’は１ビットの０、’Ｐ’と’
−’は１ビットの１で表せば、復号化器は正しく記録さ
れた情報を解釈し、再生画像を得ることが可能となる。
このようにして蓄積メディアに符号化ビットストリーム
を蓄積することにより、このビットストリームを読み出
して復号化した場合に丸め込み誤差の蓄積が発生するこ
とを防ぐことができる。

【００５７】図５に示したＰ＋フレーム、Ｐ−フレー
ム、Ｂフレームが存在する画像系列に関する符号化ビッ
トストリームを記録した蓄積メディアの例を図１５に示
す。図１３の１３０１と同様に、ディジタル情報を記録
することができる記録ディスク（例えば磁気、光ディス
クなど）１５０１には、同心円上にディジタル情報が記
録されている。このディスクに記録されているディジタ
ル情報の一部１５０２を取り出すと、符号化されたフレ
ームの符号化モード識別情報１５０３、１５０５、１５
０８、１５１０、１５１３、丸め込み方法の識別情報１
５０６、１５１２、動きベクトルやＤＣＴ係数等の情報
１５０４、１５０７、１５０９、１５１１、１５１４が
記録されている。

【００５８】このとき、１５０３には’Ｉ’、１５０
５、１５１０には’Ｐ’、１５０８、１５１３には’
Ｂ’、１５０５には’＋’、１５１１には’−’を意味
する情報が記録されている。例えば’Ｉ’、’Ｐ’、’
Ｂ’をそれぞれ２ビットの００、０１、１０、’＋’
と’−’はそれぞれ１ビットの０と１で表せば、復号化
器は正しく記録された情報を解釈し、再生画像を得るこ
とが可能となる。

【００５９】このとき図５の５０１（Ｉフレーム）に関
する情報が１５０３と１５０４、５０２（Ｂフレーム）
に関する情報が１５０８と１５０９、フレーム５０３
（Ｐ＋フレーム）に関する情報が１５０５〜１５０７、
フレーム５０４（Ｂフレーム）に関する情報が１５１３
と１５１４、フレーム５０５（Ｐ−フレーム）に関する
情報が１５１０〜１５１２である。このように動画像を
Ｂフレームを含む形で符号化場合、一般的にフレームに
関する情報を伝送する順番と、再生する順番は異なる。
これは、あるＢフレームを復号化する前に、このＢフレ
ームが予測画像を合成する際に使用する前後の参照画像
を復号化しておかなければならないためである。このた
め、フレーム５０２はフレーム５０３の前に再生される
にもかかわらず、フレーム５０２が参照画像として使用
するフレーム５０３に関する情報がフレーム５０２に関
する情報の前に伝送されるる。

【００６０】上述の通り、Ｂフレームは丸め込み誤差の
蓄積を引き起こす要員とはならないため、Ｐフレームの
ように複数の丸め込み方法を適用する必要はない。この
ため、ここに示した例では、Ｂフレームに関してはは丸
め込み方法を指定する’＋’や’−’のような情報は伝
送されていない。こうすることにより、例えばＢフレー
ムに関しては常に正の丸め込みのみが適用されるように
したとしても、誤差の蓄積の問題は発生しない。このよ
うにして、蓄積メディアにＢフレームに関する情報を含
む符号化ビットストリームを蓄積することにより、この
ビットストリームを読み出して復号化した場合に丸め込
み誤差の蓄積が発生することを防ぐことができる。

【００６１】図１４に、本明細書で示したＰ＋フレーム
とＰ−フレームが混在する符号化方法に基づく符号化・
復号化装置の具体例を示す。パソコン１４０１に画像符
号化・復号化用のソフトウェアを組み込むことにより、
画像符号化・復号化装置として活用することが可能であ
る。このソフトウェアはコンピュータ読み取り可能な記
録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フ
ロッピーディスク、ハードディスクなど）１４１２に記
録されており、これをパソコンが読み込んで使用する。
また、さらに何らかの通信回線にこのパソコンを接続す
ることにより、映像通信端末として活用することも可能
となる。

【００６２】記録媒体である蓄積メディア１４０２に記
録した符号化ビットストリームを読み取り、復号化する
再生装置１４０３にも本明細書に示した復号化方法を実
装することが可能である。この場合、再生された映像信
号はテレビモニタ１４０４に表示される。また、１４０
３の装置は符号化ビットストリームを読み取るだけであ
り、テレビモニタ１４０４内に復号化装置が組み込まれ
ている場合も考えられる。

【００６３】最近は衛星、地上波によるディジタル放送
が話題となっているが、ディジタル放送用のテレビ受信
機１４０５にも復号化装置を組み込むことができる。

【００６４】また、ケーブルテレビ用のケーブル１４０
８または衛星／地上波放送のアンテナに接続されたセッ
トトップボックス１４０９内に復号化装置を実装し、こ
れをテレビモニタ１４１０で再生する構成も考えられ
る。このときも１４０４の場合と同様に、セットトップ
ボックスではなく、テレビモニタ内に符号化装置を組み
込んでも良い。

【００６５】１４１３、１４１４、１４１５は、ディジ
タル衛星放送システムの構成例を示したものである。放
送局１４１３では映像情報の符号化ビットストリームが
電波を介して通信または放送衛星１４１４に伝送され
る。これを受けた衛星は、放送用の電波を発信し、この
電波を衛星放送受信設備をもつ家庭１４１５が受信し、
テレビ受信機またはセットトップボックスなどの装置に
より符号化ビットストリームを復号化してこれを再生す
る。

【００６６】低い伝送レートでの符号化が可能となった
ことにより、最近はディジタル携帯端末１４０６による
ディジタル動画像通信も注目されるようになっている。
ディジタル携帯端末の場合、符号器・復号化器を両方持
つ送受信型の端末の他に、符号化器のみの送信端末、復
号化器のみの受信端末の３通りの実装形式が考えられ
る。

【００６７】動画像撮影用のカメラ１４０７の中に符号
化装置を組み込むことも可能である。この場合撮影用カ
メラは符号化装置と該符号化装置からの出力を記録媒体
に記録する記録装置とを持ち、符号化装置から出力され
た符号化ビットストリームを記録媒体に記録する。ま
た、カメラは映像信号を取り込むのみであり、これを専
用の符号化装置１４１１に組み込む構成も考えられる。

【００６８】この図に示したいずれの装置・システムに
関しても、本明細書に示した方法を実装することによ
り、従来の技術を活用した場合と比較して、より画質の
高い画像情報を扱うことが可能となる。

【００６９】なお、以下の変形も本発明に含まれること
は明らかである。

【００７０】（１）上の議論では、動き補償方式として
ブロックマッチングが使用されることが前提となってい
た。しかし、本発明は動きベクトルの水平・垂直成分が
水平・垂直方向の画素のサンプリング間隔の整数倍以外
値をとることができ、サンプル値の存在しない位置にお
ける強度値を共１次内挿によって求める動き補償方式を
採用する画像符号化方式および画像復号化方式すべてに
対して適用することができる。たとえば特願平08-06057
2に記載されているグローバル動き補償や、特願平08-24
9601に記載されているワーピング予測に対しても、本発
明は適用可能である。

【００７１】（２）これまでの議論では、動きベクトル
の水平・垂直成分が１／２の整数倍の値をとる場合のみ
について議論してきた。しかし、議論を一般化すれば、
本発明は動きベクトルの水平・垂直成分が１／ｄの整数
倍（ｄは正の整数、かつ偶数）をとる方式に対して適用
可能である。しかし、ｄが大きくなった場合には、共１
次内挿の除算の除数（ｄの２乗、数２参照）が大きくな
るため、相対的に通常の除算の結果が整数に0.５を足し
た値となる確率が低くなる。したがって、プラスの丸め
込みのみを行った場合の、丸め込み誤算の期待値の絶対
値が小さくなり、誤差の蓄積による悪影響が目立ちにく
くなる。そこで、例えばｄの値が可変である動き補償方
式などにおいては、ｄがある一定値より小さい場合には
プラスの丸め込みとマイナスの丸め込みの両方を使用
し、ｄが上記一定値以上の場合にはプラスまたはマイナ
スの丸め込みのみを用いるという方法も有効である。

【００７２】（３）従来の技術で述べた通り、ＤＣＴを
誤差符号化方式として利用した場合、丸め込み誤差の蓄
積による悪影響はＤＣＴ係数の量子化ステップサイズが
大きい場合に現れやすい。そこで、ＤＣＴ係数の量子化
ステップサイズがある一定値より大きい場合にはプラス
の丸め込みとマイナスの丸め込みの両方を使用し、ＤＣ
Ｔ係数の量子化ステップサイズが上記一定値以下の場合
にはプラスまたはマイナスの丸め込みのみを用いるとい
う方法も有効である。

【００７３】（４）輝度プレーンで丸め込み誤差の蓄積
が起こった場合と色差プレーンで丸め込み誤差の蓄積が
起こった場合では、一般的に色差プレーンで発生した場
合の方が再生画像に与える影響が深刻である。これは、
画像が全体的にわずかに明るくなったり暗くなったりす
ることよりも、画像の色が全体的に変化した場合の方が
目立ちやすいためである。そこで、色差信号に対しては
プラスの丸め込みとマイナスの丸め込みの両方を使用
し、輝度信号に対してはプラスまたはマイナスの丸め込
みのみを用いるという方法も有効である。

【００７４】また、従来の技術でＨ．２６３における１
／４画素精度の動きベクトルの１／２画素精度の動きベ
クトルへの丸め込み方法に関して述べたが、この方法に
多少の変更を加えることにより、丸め込み誤差の期待値
の絶対値を小さくすることが可能である。従来の技術で
とりあげたＨ．２６３では、輝度プレーンの動きベクト
ルの水平成分または垂直成分を半分にした値がｒ＋ｓ／
４（ｒは整数、ｓは０以上４未満の整数）で表されると
して、ｓが１または３であるときに、これを２に丸め込
む操作がおこなわれる。これをｓが１のときにはこれを
０とし、ｓが３であるときにはｒに１を加えてｓを０と
する丸め込みを行うように変更すればよい。こうするこ
とにより、図４の４０６〜４０８の位置の強度値を計算
する回数が相対的に減少する（動きベクトルの水平・垂
直成分が整数となる確率が高くなる）ため、丸め込み誤
差の期待値の絶対値が小さくなる。しかし、この方法で
は発生する誤差の大きさを抑えることはできても、誤差
が蓄積することを防ぐことはできない。

【００７５】（５）Ｐフレームに対して、２種類の動き
補償方式によるフレーム間予測画像の平均を最終的なフ
レーム間予測画像とする方式がある。例えば特願平8-36
16では、縦横１６画素のブロックに対して一個の動きベ
クトルを割り当てるブロックマッチングと、縦横１６画
素のブロックを４個の縦横８画素のブロックに分割し
て、それぞれに対して動きベクトルを割り当てるブロッ
クマッチングの２種類の方法によって得た２種類のフレ
ーム間予測画像を用意し、これらのフレーム間予測画像
の強度値の平均を求めたものを最終的なフレーム間予測
画像とする方法が述べられている。この方法において２
種類の画像の平均値を求める際にも丸め込みが行われ
る。この平均化の操作でプラスの丸め込みのみを行い続
けると、新たな丸め込み誤差の蓄積の原因を作ることに
なる。この方式では、ブロックマッチングにおいてプラ
スの丸め込みを行うＰ＋フレームに対しては、平均化の
操作ではマイナスの丸め込みを行い、Ｐ−フレームに対
しては平均化の操作ではプラスの丸め込みを行うように
すれば、同一フレーム内でブロックマッチングによる丸
め込み誤差と平均化による丸め込み誤差が打ち消し合う
効果を得る （６）Ｐ＋フレームとＰ−フレームを交互に配置する方
法を用いた場合、符号化装置と復号化装置は現在符号化
しているＰフレームがＰ＋フレームであるＰ−フレーム
であるかを判定するために、例えば以下の処理を行なう
ことが考えられる。現在符号化または復号化しているＰ
フレームが、最も最近に符号化または復号化されたＩフ
レームの後の何番目のＰフレームであるかを数え、これ
が奇数であるときにはＰ＋フレーム、偶数であるときは
Ｐ−フレームとすれば良い（これを暗示的方法と呼
ぶ）。また、符号化装置側が現在符号化しているＰフレ
ームがＰ＋フレームであるか、Ｐ−フレームであるかを
識別する情報を、例えばフレーム情報のヘッダ部分に書
き込むという方法もある（これを明示的方法と呼ぶ）。
この方法の方が、伝送誤りに対する耐性は強い。

【００７６】また、Ｐ＋フレームと、Ｐ−フレームを識
別する情報をフレーム情報のヘッダ部分に書き込む方法
には、以下の長所がある。「従来の技術」で述べた通
り、過去の符号化標準（例えばＭＰＥＧ−１やＭＰＥＧ
−２）では、Ｐフレームにおいて正の丸め込みのみが行
われる。したがって、例えば既に市場に存在しているＭ
ＰＥＧ−１／２用の動き推定・動き補償装置（例えば、
図１の１０６に相当する部分）は、Ｐ＋フレームとＰ−
フレームが混在する符号化には対応できないことにな
る。いま、Ｐ＋フレームとＰ−フレームが混在する符号
化に対応した復号化器があるとする。この場合に、もし
この復号化器が上記暗示的方法に基づくものであれば、
ＭＰＥＧ−１／２用の動き推定・動き補償装置を用い
て、この暗示的方法に基づく復号化器が正しく復号化で
きるようなビットストリームを生成する符号化器を作る
ことは困難である。

【００７７】しかし、復号化器が上記明示的方法に基づ
くものである場合には、この問題を解決することができ
る。ＭＰＥＧ−１／２用の動き推定・動き補償装置を使
用した符号化器は、常にＰ＋フレームを送り続け、これ
を示す識別情報をフレーム情報のヘッダに書き込み続け
れば良い。こうすれば、明示的方法に基づく復号化器
は、この符号化器が生成したビットストリームを正しく
再生することができる。

【００７８】もちろん、この場合にはＰ＋フレームのみ
が存在するため、丸め込み誤差の蓄積は発生しやすくな
る。しかし、この符号化器がＤＣＴ係数の量子化ステッ
プサイズとして小さい値のみを用いるもの（高レート符
号化専用の符号化器）であるような場合には、誤差の蓄
積は大きな問題とはならない。

【００７９】この過去の方式との互換性の問題以外に
も、明示的方法にはさらに、（ａ）高レート符号化専用
の符号化器や、頻繁にＩフレームを挿入することにより
丸め込み誤差が発生しにくい符号化器は、正か負のどち
らかの丸め込み方法のみを実装すれば良く、装置のコス
トを抑えることができる、（ｂ）上記の丸め込み誤差が
発生しにくい符号化器は、Ｐ＋またはＰ−フレームのど
ちらか一方のみを送り続ければ良いため、現在符号化を
行っているフレームをＰ＋フレームとするか、Ｐ−フレ
ームとするかの判定を行う必要がなく、処理を簡略化で
きる、といった長所がある。

【００８０】（７）本発明は、フレーム間予測画像に対
し、丸め込み処理を伴うフィルタリングを行う場合にも
適用することができる。例えば、動画像符号化の国際標
準であるＨ．２６１では、フレーム間予測画像において
動きベクトルが０ではなかったブロック内の信号に対し
ては、低域通過型フィルタ（これをループフィルタと呼
ぶ）が適用される。また、Ｈ．２６３では、ブロックの
境界部に発生する不連続（いわゆるブロック歪み）を平
滑化するためのフィルタを使用することができる。これ
らのフィルタでは、画素の強度値に対して重み付け平均
化の処理が行われ、フィルタリング後の強度値に対して
整数への丸め込みの操作が行われる。ここでもプラスの
丸め込みとマイナスの丸め込みを使い分けることによ
り、誤差の蓄積を防ぐことが可能である。

【００８１】（８）ＩＰ＋Ｐ−Ｐ＋Ｐ−…の他に、ＩＰ
＋Ｐ＋Ｐ−Ｐ−Ｐ＋Ｐ＋…や、ＩＰ＋Ｐ−Ｐ−Ｐ＋Ｐ＋
…など、Ｐ＋フレームとＰ−フレームの混在の仕方には
様々な方法が考えられる。例えば、それぞれ１／２の確
率で０と１が発生する乱数発生器を使用し、０が出れば
Ｐ＋、１が出ればＰ−としても良い。いずれにせよ、一
般的にＰ＋とＰ−フレームが混在し、かつ一定時間内の
それぞれの存在確率の差が小さいほど、丸め混み誤差の
蓄積は発生しにくくなる。また、符号化器に対し、任意
のＰ＋フレームとＰ−フレームの混在の仕方を許すよう
な場合、符号化器と復号化器は（６）で示した暗示的方
法に基づくものではなく、明示的方法に基づくものでな
ければならない。したがって、符号化器と復号化器に関
してより柔軟な実装形態を許すという観点からは、明示
的方法の方が有利となる。

【００８２】（９）本発明は、画素の存在しない点の強
度値を求める方法を共１次内挿に限定するものではな
い。強度値の内挿方法は一般化すると、以下の式のよう
に表すことができる。

【００８３】

【数５】

【００８４】ここで、ｒ、ｓは実数、ｈ(ｒ，ｓ)は内挿
のための実数の関数、Ｔ(ｚ)は実数ｚを整数に丸め込む
関数であり、Ｒ（ｘ，ｙ）、ｘ、ｙの定義は数４と同じ
である。Ｔ（ｚ）が、プラスの丸め込みを表す関数であ
る場合にはプラスの丸め込みを用いる動き補償、マイナ
スの丸め込みを表す関数である場合にはマイナスの丸め
込みを用いる動き補償が行われる。この数５の形式で表
すことのできる内挿方法に対しては、本発明を適用する
ことが可能である。例えばｈ（ｒ，ｓ）を、

【００８５】

【数６】

【００８６】のように定義すれば共１次内挿が行われ
る。しかし、例えばｈ（ｒ，ｓ）を

【００８７】

【数７】

【００８８】のように定義すれば、共１次内挿とは異な
る内挿方法が実施されるが、この場合も本発明を適用す
ることは可能である。

【００８９】（１０）本発明は、誤差画像の符号化方法
をＤＣＴに限定するものではない、例えば、ＤＣＴでは
なく、ウェーブレット変換（例えば、M. Antonioni, e
t. al,"Image Coding Using Wavelet Transform", IEEE
Trans. Image Processing, vol. 1, no.2, April 199
2）や、ウォルシューアダマール変換（Walsh-Hadamard
Transform）（例えば、A. N. Netravalli and B. G. Ha
skell, "Digital Pictures", Plenum Press, 1998）を
使用した場合でも本発明は適用可能である。

【００９０】

【発明の効果】本発明により、フレーム間予測画像にお
ける丸め込み誤差の蓄積を抑えることが可能となり、再
生画像の画質を向上させることが可能となる。

【図面の簡単な説明】

【図１】Ｈ．２６３の画像符号化器の構成例を示した図
である。

【図２】Ｈ．２６３の画像復号化器の構成例を示した図
である。

【図３】Ｈ．２６３におけるマクロブロックの構成を示
した図である。

【図４】半画素成度のブロックマッチングにおける輝度
値の内挿処理の様子を示した図である。

【図５】符号化された画像系列の様子を示した図であ
る。

【図６】ソフトウェア画像符号化装置の構成例を示した
図である。

【図７】ソフトウェア画像復号化装置の構成例を示した
図である。

【図８】ソフトウェア画像符号化装置における処理のフ
ローチャートの例を示した図である。

【図９】ソフトウェア画像符号化装置における符号化モ
ード決定処理のフローチャートの例を示した図である。

【図１０】ソフトウェア画像符号化装置における動き推
定・動き補償処理のフローチャートの例を示した図であ
る。

【図１１】ソフトウェア画像復号化装置における処理の
フローチャートの例を示した図である。

【図１２】ソフトウェア画像復号化装置における動き補
償処理のフローチャートの例を示した図である。

【図１３】ＩフレームとＰ＋フレームとＰ−フレームを
混在させる符号化方法により符号化されたビットストリ
ームを記録した蓄積メディアの例を示した図である。

【図１４】Ｐ＋フレームとＰ−フレームを混在させる符
号化方法を使用する装置の具体例を示した図である。

【図１５】ＩフレームとＢフレームとＰ＋フレームとＰ
−フレームを混在させる符号化方法により符号化された
ビットストリームを記録した蓄積メディアの例を示した
図である。

【図１６】Ｐ＋フレームとＰ−フレームを混在させる符
号化方法を使用する装置に含まれるブロックマッチング
部の例を示した図である。

【図１７】Ｐ＋フレームとＰ−フレームを混在させる符
号化方法により符号化されたビットストリームを復号化
する装置に含まれる予測画像合成部の例を示した図であ
る。

【符号の説明】

１００…画像符号化器、１０１…入力画像、１０２…減
算器、１０３…誤差画像、１０４…ＤＣＴ変換器、１０
５…ＤＣＴ係数量子化器、１０６、２０１…量子化ＤＣ
Ｔ係数、１０８、２０４…ＤＣＴ係数逆量子化器、１０
９、２０５…逆ＤＣＴ変換器、１１０、２０６…復号誤
差画像、１１１、２０７…加算器、１１２…現フレーム
の復号画像、１１３、２１５…フレーム間／フレーム内
符号化切り換えスイッチの出力画像、１１４、２０９…
フレームメモリ、１１５、２１０…前フレームの復号画
像、１１６、１６００…ブロックマッチング部、１１
７、２１２…現フレームの予測画像、１１８、２１３…
「０」信号、１１９、２１４…フレーム間／フレーム内
符号化切り換えスイッチ、１２０、２０２…動きベクト
ル情報、１２１、２０３…フレーム間／フレーム内識別
フラグ、１２２…多重化器、１２３…伝送ビットストリ
ーム、２００…画像復号化器、２０８…出力画像、２１
１、１７００…予測画像合成部、２１６…分離器、３０
１…Ｙブロック、３０２…Ｕブロック、３０３…Ｖブロ
ック、４０１〜４０４…画素、４０５〜４０８…共１次
内挿により強度値を求める位置、５０１…Ｉフレーム、
５０３、５０５、５０７、５０９…Ｐフレーム、５０
２、５０４、５０６、５０８…Ｂフレーム、６００…ソ
フトウェア画像符号化器、６０２…入力画像用フレーム
メモリ、６０３、７０３…汎用プロセッサ、６０４、７
０４…プログラム用メモリ、６０５、７０５…処理用メ
モリ、６０６…出力バッファ、６０７、７０１…符号化
ビットストリーム、６０８、７０８…蓄積デバイス、７
００…ソフトウェア画像復号化器、７０２…入力バッフ
ァ、７０６…出力画像用フレームメモリ。８０１〜８１
５、９０１〜９０６、１００１〜１００５、１１０１〜
１１１１、１２０１〜１２０４…フローチャートの処理
項目、１３０１、１４０２、１５０１…蓄積メディア、
１３０２、１５０２…ディジタル情報を記録したトラッ
ク、１３０３〜１３１６、１５０３〜１５１４…ディジ
タル情報、１４０１…パソコン、１４０３…蓄積メディ
アの再生装置、１４０４、１４１０…テレビモニタ、１
４０５…テレビ放送受信機、１４０６…無線携帯端末、
１４０７…テレビカメラ、１４０８…ケーブルテレビ用
のケーブル、１４０９…セットトップボックス、１４１
１…画像符号化装置、１４１２…ソフトウェア情報を記
録した蓄積メディア、１４１３…放送局、１４１４…通
信または放送衛星、１４１５…衛星放送受信設備を持つ
家庭、１６０１…動き推定器、１６０２、１７０１…丸
め込み方法決定器、１６０４、１６０５、１７０２、１
７０４…丸め込み方法に関する情報、１６０３、１７０
３…予測画像合成器。

フロントページの続き (56)参考文献 特開 平６−214754（ＪＰ，Ａ) 特許3092610（ＪＰ，Ｂ２) 中屋雄一郎，外３名，半画素精度の動 き補償における丸め込み誤差の蓄積防 止，1998年電子情報通信学会総合全国大 会講演論文集情報・システム２，日本, 電子情報通信学会，1998年 ３月，ｐ. 44 ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔ ｉｏｎ Ｈ．263，1998年 ２月 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H03M 7/30 - 7/50 G06G 7/38

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】ＰフレームとＢフレームを含む動画像の符
   号化ビットストリームを受け取る段階と、前記符号化ビ
   ットストリームに含まれる動きベクトル情報、及び、既
   に復号化したフレームの復号画像(以下、参照画像とい
   う)とを用いて、これから復号化するフレーム(以下、現
   フレームという)の予測画像を合成する動き補償を行う
   段階とを有し、 前記動き補償を行う段階は、前記参照画像で画素の存在
   しない点の強度値を内挿演算で求める段階を含み、 前記現フレームがＰフレームとＢフレームのうちＰフレ
   ームの場合は、該Ｐフレームに関する内挿演算で用いる
   丸め込み方法がプラスの丸め込み或いはマイナスの丸め
   込みのいずれかであることを特定する情報に従って、Ｂ
   フレームの場合は、プラスの丸め込み方法かマイナスの
   丸め込み方法のうち予め固定された一方の丸め込み方法
   で前記内挿演算を行うことを特徴とする動画像の復号化
   方法。
2. 【請求項２】請求項１に記載の動画像の復号化方法にお
   いて、前記現フレームがＢフレームの場合の丸め込み方
   法は、プラスの丸め込み方法であることを特徴とする復
   号化方法。
3. 【請求項３】請求項１又は２のいずれかに記載の動画像
   の復号化方法において、 前記プラスの丸め込み方法は、前記参照画像中の、強度
   Laを有する第１の画素と、前記第１の画素と水平方向に
   隣接し強度Lbを有する第２の画素と、前記第１の画素と
   垂直方向に隣接し強度Lcを有する第３の画素と、前記第
   ２の画素と垂直方向に隣接し、かつ前記第３の画素と水
   平方向に隣接し強度Ldを有する第４の画素とから、画素
   の存在しない前記第１の画素と前記第２の画素の中間点
   における強度Ibと、前記第１の画素と前記第３の画素の
   中間点における強度Icと、前記第１と第２と第３と第４
   の画素とに囲まれ前記第１、第２、第３、および第４の
   画素から等距離にある点における強度Idとを求める際
   に、 Ib=[(La+Lb+1)/2]、Ic=[(La+Lc+1)/2]、Id=[(La+Lb+Lc+
   Ld+2)/4] を用いる丸め込み方法であり、 前記マイナスの丸め込み方法は、 Ib=[(La+Lb)/2]、Ic=[(La+Lc)/2]、Id=[(La+Lb+Lc+Ld+
   1)/4] を用いる丸め込み方法であることを特徴とする動画像の
   復号化方法。
4. 【請求項４】ＰフレームとＢフレームを含む動画像の符
   号化情報を復号化する動画像の復号化方法において、符
   号化情報から誤差画像の情報と動きベクトルの情報とを
   分離する段階と、前記動きベクトルの情報と過去に復号
   化されたフレームの復号画像とを用いて動き補償を行い
   予測画像を合成する段階と、前記予測画像に前記誤差画
   像の情報を逆変換することで得られる誤差画像を加える
   ことによって復号画像を合成する段階とを有し、Ｐフレ
   ームの予測画像は、該Ｐフレームの予測画像をプラスの
   丸め込み方法による動き補償によって合成するかマイナ
   スの丸め込み方法による動き補償によって合成するかを
   特定する丸め込み方法の識別情報に従って動き補償を行
   い合成され、Ｂフレームの予測画像は、プラスの丸め込
   み方法かマイナスの丸め込み方法のうち予め固定された
   一方の丸め込み方法のみを用いる動き補償によって合成
   されることを特徴とする動画像の復号化方法。
5. 【請求項５】請求項４に記載の動画像の復号化方法にお
   いて、 前記Ｂフレームの予測画像は、プラスの丸め込み方法を
   用いる動き補償によって合成されることを特徴とする復
   号化方法。
6. 【請求項６】請求項４又は５に記載の動画像の復号化方
   法において、 前記プラスの丸め込み方法は、前記過去に復号化された
   フレームの復号画像中の、強度Laを有する第１の画素
   と、前記第１の画素と水平方向に隣接し強度Lbを有する
   第２の画素と、前記第１の画素と垂直方向に隣接し強度
   Lcを有する第３の画素と、前記第２の画素と垂直方向に
   隣接し、かつ前記第３の画素と水平方向に隣接し強度Ld
   を有する第４の画素とから、画素の存在しない前記第１
   の画素と前記第２の画素の中間点における強度Ibと、前
   記第１の画素と前記第３の画素の中間点における強度Ic
   と、前記第１と第２と第３と第４の画素とに囲まれ前記
   第１、第２、第３、および第４の画素から等距離にある
   点における強度Idとを求める際に、 Ib=[(La+Lb+1)/2]、Ic=[(La+Lc+1)/2]、Id=[(La+Lb+Lc+
   Ld+2)/4] を用いる丸め込み方法であり、 前記マイナスの丸め込み方法は、 Ib=[(La+Lb)/2]、Ic=[(La+Lc)/2]、Id=[(La+Lb+Lc+Ld+
   1)/4] を用いる丸め込み方法であることを特徴とする動画像の
   復号化方法。
7. 【請求項７】動画像の復号化方法が記録されたコンピュ
   ータ読みとり可能な記録媒体において、 ＰフレームとＢフレームを含む動画像の符号化ビットス
   トリームを受け取る段階と、前記符号化ビットストリー
   ムに含まれる動きベクトル情報、及び、過去に復号化し
   たフレームの復号画像(以下、参照画像という)とを用い
   て、これから復号化するフレーム(以下、現フレームと
   いう)の予測画像を合成する動き補償を行う段階とを有
   し、 前記動き補償を行う段階は、前記参照画像で画素の存在
   しない点の強度値を内挿演算で求める段階を含み、 前記現フレームがＰフレームとＢフレームのうちＰフレ
   ームの場合は、該Ｐフレームに関する符号化ビットスト
   リームに含まれる、内挿演算で用いる丸め込み方法がプ
   ラスの丸め込み或いはマイナスの丸め込みのいずれかで
   あることを特定する情報に従って、Ｂフレームの場合
   は、プラスの丸め込み方法かマイナスの丸め込み方法の
   うち予め固定された一方の丸め込み方法で前記内挿演算
   を行うことを特徴とする動画像の復号化方法が記録され
   たコンピュータ読みとり可能な記録媒体。
8. 【請求項８】請求項７に記載の動画像の復号化方法が記
   録されたコンピュータ読みとり可能な記録媒体におい
   て、 前記現フレームがＢフレームの場合の丸め込み方法は、
   プラスの丸め込みであることを特徴とする動画像の復号
   化方法が記録されたコンピュータ読みとり可能な記録媒
   体。
9. 【請求項９】請求項７又は８のいずれかに記載の動画像
   の復号化方法が記録されたコンピュータ読みとり可能な
   記録媒体において、 前記プラスの丸め込み方法は、前記参照画像中の、強度
   Laを有する第１の画素と、前記第１の画素と水平方向に
   隣接し強度Lbを有する第２の画素と、前記第１の画素と
   垂直方向に隣接し強度Lcを有する第３の画素と、前記第
   ２の画素と垂直方向に隣接し、かつ前記第３の画素と水
   平方向に隣接し強度Ldを有する第４の画素とから、画素
   の存在しない前記第１の画素と前記第２の画素の中間点
   における強度Ibと、前記第１の画素と前記第３の画素の
   中間点における強度Icと、前記第１と第２と第３と第４
   の画素とに囲まれ前記第１、第２、第３、および第４の
   画素から等距離にある点における強度Idとを求める際
   に、 Ib=[(La+Lb+1)/2]、Ic=[(La+Lc+1)/2]、Id=[(La+Lb+Lc+
   Ld+2)/4] を用いる丸め込み方法であり、 前記マイナスの丸め込み方法は、 Ib=[(La+Lb)/2]、Ic=[(La+Lc)/2]、Id=[(La+Lb+Lc+Ld+
   1)/4] を用いる丸め込み方法であることを特徴とする動画像の
   復号化方法が記録されたコンピュータ読みとり可能な記
   録媒体。
10. 【請求項１０】ＰフレームとＢフレームを含む動画像の
    符号化ビットストリームを受け取る手段と、前記符号化
    ビットストリームに含まれる動きベクトル情報、及び、
    既に復号化したフレームの復号画像(以下、参照画像と
    いう)とを用いて、これから復号化するフレーム(以下、
    現フレームという)の予測画像を合成する動き補償を行
    う手段とを有し、 前記動き補償を行う手段は、前記参照画像で画素の存在
    しない点の強度値を内挿演算で求める際に、 前記現フレームがＰフレームとＢフレームのうちＰフレ
    ームの場合は、内挿演算で用いる丸め込み方法がプラス
    の丸め込み方法或いはマイナスの丸め込み方法のいずれ
    かであることを特定する情報に従って前記内挿演算を行
    い、Ｂフレームの場合は、プラスの丸め込み方法かマイ
    ナスの丸め込み方法のうち予め固定された一方の丸め込
    み方法で前記内挿演算を行うことを特徴とする動画像の
    復号化装置。
11. 【請求項１１】請求項１０に記載の動画像の復号化装置
    において、前記現フレームがＢフレームの場合の丸め込
    み方法は、プラスの丸め込み方法であることを特徴とす
    る復号化装置。
12. 【請求項１２】ＰフレームとＢフレームを含む動画像の
    符号化情報から、現フレームの誤差画像に関する量子化
    DCT係数と動きベクトルに関する情報とを分離する分離
    器と、 前記量子化DCT係数を逆量子化してDCT係数を出力する逆
    量子化器と、 前記DCT係数を逆DCT変換して、誤差画像を出力する逆DC
    T変換器と、 前記動きベクトルに関する情報と既に復号化されたフレ
    ームの復号画像とを用いて予測画像を合成する予測画像
    合成器と、 前記誤差画像と前記予測画像とを加算して前記現フレー
    ムの復号画像を出力する加算器とを有する動画像の復号
    化装置において、前記予測画像合成器は、前記現フレー
    ムがＰフレームとＢフレームのうちＰフレームの場合
    は、丸め込み方法を特定する情報に従い、プラスの丸め
    込みを用いる動き補償、或いは、マイナスの丸め込みを
    用いる動き補償によって予測画像を合成し、Ｂフレーム
    の場合は、プラスの丸め込み方法かマイナスの丸め込み
    方法のうち予め固定された一方の丸め込み方法のみを用
    いる動き補償によって予測画像を合成することを特徴と
    する動画像の復号化装置。
13. 【請求項１３】請求項１２に記載の復号化装置におい
    て、 前記予測画像合成器は、前記現フレームがＰフレームと
    ＢフレームのうちＢフレームの場合は、プラスの丸め込
    み方法を用いる動き補償によって予測画像を合成するこ
    とを特徴とする動画像の復号化装置。
14. 【請求項１４】請求項１２又は１３のいずれかに記載の
    動画像の復号化装置において、 前記プラスの丸め込み方法は、前記既に復号化されたフ
    レームの復号画像中の、強度Laを有する第１の画素と、
    前記第１の画素と水平方向に隣接し強度Lbを有する第２
    の画素と、前記第１の画素と垂直方向に隣接し強度Lcを
    有する第３の画素と、前記第２の画素と垂直方向に隣接
    し、かつ前記第３の画素と水平方向に隣接し強度Ldを有
    する第４の画素とから、画素の存在しない前記第１の画
    素と前記第２の画素の中間点における強度Ibと、前記第
    １の画素と前記第３の画素の中間点における強度Icと、
    前記第１と第２と第３と第４の画素とに囲まれ前記第
    １、第２、第３、および第４の画素から等距離にある点
    における強度Idとを求める際に、 Ib=[(La+Lb+1)/2]、Ic=[(La+Lc+1)/2]、Id=[(La+Lb+Lc+
    Ld+2)/4] を用いる丸め込み方法であり、 前記マイナスの丸め込み方法は、 Ib=[(La+Lb)/2]、Ic=[(La+Lc)/2]、Id=[(La+Lb+Lc+Ld+
    1)/4] を用いる丸め込み方法であることを特徴とする動画像の
    復号化装置。