JPH1169362A

JPH1169362A - 動画像の符号化方法および復号化方法

Info

Publication number: JPH1169362A
Application number: JP16020598A
Authority: JP
Inventors: Yuichiro Nakaya; 雄一郎中屋; Yoshito Nene; 義人禰寝
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-06-09
Filing date: 1998-06-09
Publication date: 1999-03-09
Anticipated expiration: 2018-06-09
Also published as: JP2998741B2

Abstract

(57)【要約】【課題】輝度または色差の強度値が整数に量子化され
る画像符号化方法において、動き補償において行われる
共１次内挿の処理によって発生する丸め込み誤差の蓄積
を防ぐ方法を提供する。【解決手段】片方向の動き補償予測を行うＰフレーム
に関し、整数に0.5を加えた値を切り上げるＰ＋フレー
ム５０３、５０７と、整数に0.5を加えた値を切り捨て
るＰ−フレーム５０５、５０９の２種類を用意する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フレーム間予測を
行い、輝度または色の強度が量子化された数値として表
される動画像符号化および復号化方法、ならびに動画像
の符号化装置および復号化装置に関するものである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用するフレーム間予
測（動き補償）は情報圧縮に大きな効果を示すことが知
られている。現在の画像符号化技術の主流となっている
動き補償方式は、動画像符号化方式の国際標準である
Ｈ．２６３、ＭＰＥＧ１、ＭＰＥＧ２に採用されている
半画素精度のブロックマッチングである。この方式で
は、符号化しようとする画像を多数のブロックに分割
し、ブロックごとにその動きベクトルを水平・垂直方向
に隣接画素間距離の半分の長さを最小単位として求め
る。

【０００３】この処理を数式を用いて表現すると以下の
ようになる。符号化しようとするフレーム（現フレーム
）の予測画像Ｐの座標(ｘ, ｙ)におけるサンプル値
（輝度または色差の強度のサンプル値）をＰ(ｘ, ｙ)、
参照画像Ｒ（Ｐと時間的に近接しており、既に符号化が
完了しているフレームの復号画像）の座標(ｘ, ｙ)にお
けるサンプル値をＲ(ｘ, ｙ)とする。また、ｘとｙは整
数であるとして、ＰとＲでは座標値が整数である点に画
素が存在すると仮定する。また、画素のサンプル値は負
ではない整数として量子化されているとする。このと
き、ＰとＲの関係は、

【０００４】

【数１】

【０００５】で表される。ただし、画像はＮ個のブロッ
クに分割されるとして、Ｂiは画像のｉ番目のブロック
に含まれる画素、(ｕi, ｖi)はｉ番目のブロックの動き
ベクトルを表している。

【０００６】ｕiとｖiの値が整数ではないときには、参
照画像において実際には画素が存在しない点の強度値を
求めることが必要となる。この際の処理としては、周辺
４画素を用いた共１次内挿が使われることが多い。この
内挿方式を数式で記述すると、ｄを正の整数、０≦ｐ,
ｑ＜ｄとして、Ｒ(ｘ＋ｐ／ｄ, ｙ＋ｑ／ｄ)は、

【０００７】

【数２】

【０００８】で表される。ただし「//」は除算の一種
で、通常の除算（実数演算による除算）の結果を近隣の
整数に丸め込むことを特徴としている。

【０００９】図１にＨ．２６３の符号化器の構成例１０
０を示す。Ｈ．２６３は、符号化方式として、ブロック
マッチングとＤＣＴ（離散コサイン変換）を組み合わせ
たハイブリッド符号化方式（フレーム間／フレーム内適
応符号化方式）を採用している。

【００１０】減算器１０２は入力画像（現フレームの原
画像）１０１とフレーム間／フレーム内符号化切り換え
スイッチ１１９の出力画像１１３（後述）との差を計算
し、誤差画像１０３を出力する。この誤差画像は、ＤＣ
Ｔ変換器１０４でＤＣＴ係数に変換された後に量子化器
１０５で量子化され、量子化ＤＣＴ係数１０６となる。
この量子化ＤＣＴ計数は伝送情報として通信路に出力さ
れると同時に、符号化器内でもフレーム間予測画像を合
成するために使用される。

【００１１】以下に予測画像合成の手順を説明する。上
述の量子化ＤＣＴ係数１０６は、逆量子化器１０８と逆
ＤＣＴ変換器１０９を経て復号誤差画像１１０（受信側
で再生される誤差画像と同じ画像）となる。これに、加
算器１１１においてフレーム間／フレーム内符号化切り
換えスイッチ１１９の出力画像１１３（後述）が加えら
れ、現フレームの復号画像１１２（受信側で再生される
現フレームの復号画像と同じ画像）を得る。この画像は
一旦フレームメモリ１１４に蓄えられ、１フレーム分の
時間だけ遅延される。したがって、現時点では、フレー
ムメモリ１１４は前フレームの復号画像１１５を出力し
ている。この前フレームの復号画像と現フレームの入力
画像１０１がブロックマッチング部１１６に入力され、
ブロックマッチングの処理が行われる。

【００１２】ブロックマッチングでは、画像を複数のブ
ロックに分割し、各ブロックごとに現フレームの原画像
に最も似た部分を前フレームの復号画像から取り出すこ
とにより、現フレームの予測画像１１７が合成される。
このときに、各ブロックが前フレームと現フレームの間
でどれだけ移動したかを検出する処理（動き推定処理）
を行う必要がある。動き推定処理によって検出された各
ブロックごとの動きベクトルは、動きベクトル情報１２
０として受信側へ伝送される。

【００１３】受信側は、この動きベクトル情報と前フレ
ームの復号画像から、独自に送信側で得られるものと同
じ予測画像を合成することができる。予測画像１１７
は、「０」信号１１８と共にフレーム間／フレーム内符
号化切り換えスイッチ１１９に入力される。このスイッ
チは、両入力のいずれかを選択することにより、フレー
ム間符号化とフレーム内符号化を切り換える。予測画像
１１７が選択された場合（図２はこの場合を表してい
る）には、フレーム間符号化が行われる。一方、「０」
信号が選択された場合には、入力画像がそのままＤＣＴ
符号化されて通信路に出力されるため、フレーム内符号
化が行われることになる。受信側が正しく復号化画像を
得るためには、送信側でフレーム間符号化が行われたか
フレーム内符号化が行われたかを知る必要がある。この
ため、識別フラグ１２１が通信路へ出力される。最終的
なＨ．２６３符号化ビットストリーム１２３は多重化器
１２２で量子化ＤＣＴ係数、動きベクトル、フレーム内
／フレーム間識別フラグの情報を多重化することによっ
て得られる。

【００１４】図２に図１の符号化器が出力した符号化ビ
ットストリームを受信する復号化器２００の構成例を示
す。受信したＨ．２６３ビットストリーム２１７は、分
離器２１６で量子化ＤＣＴ係数２０１、動きベクトル情
報２０２、フレーム内／フレーム間識別フラグ２０３に
分離される。量子化ＤＣＴ係数２０１は逆量子化器２０
４と逆ＤＣＴ変換器２０５を経て復号化された誤差画像
２０６となる。この誤差画像は加算器２０７でフレーム
間／フレーム内符号化切り換えスイッチ２１４の出力画
像２１５を加算され、復号化画像２０８として出力され
る。フレーム間／フレーム内符号化切り換えスイッチは
フレーム間／フレーム内符号化識別フラグ２０３に従っ
て、出力を切り換える。フレーム間符号化を行う場合に
用いる予測画像２１２は、予測画像合成部２１１におい
て合成される。ここでは、フレームメモリ２０９に蓄え
られている前フレームの復号画像２１０に対して、受信
した動きベクトル情報２０２に従ってブロックごとに位
置を移動させる処理が行われる。一方フレーム内符号化
の場合、フレーム間／フレーム内符号化切り換えスイッ
チは、「０」信号２１３をそのまま出力する。

【００１５】

【発明が解決すようとする課題】Ｈ．２６３が符号化す
る画像は、輝度情報を持つ１枚の輝度プレーン（Ｙプレ
ーン）と色情報（色差情報とも言う）を持つ２枚の色差
プレーン（ＵプレーンとＶプレーン）で構成されてい
る。このとき、画像が水平方向に２ｍ画素、垂直方向に
２ｎ画素持っている場合に（ｍとｎは正の整数とす
る）、Ｙプレーンは水平方向に２ｍ、垂直方向に２ｎ個
の画素を持ち、ＵおよびＶプレーンは水平方向にｍ、素
直方向にｎ個の画素を持つことを特徴としている。この
ように色差プレーンの解像度が低いのは、人間の視覚が
色差の空間的な変化に比較的鈍感であるという特徴を持
つためである。このような画像を入力として、Ｈ．２６
３ではマクロブロックと呼ばれるブロックを単位として
符号化・復号化の処理が行われる。

【００１６】図３にマクロブロックの構成を示す。マク
ロブロックはＹブロック、Ｕブロック、Ｖブロックの３
個のブロックで構成され、輝度値情報を持つＹブロック
３０１の大きさは１６×１６画素、色差情報をもつＵブ
ロック３０２およびＶブロック３０３の大きさは８×８
画素となっている。

【００１７】Ｈ．２６３では、各マクロブロックに対し
て半画素精度のブロックマッチングが適用される。した
がって、推定された動きベクトルを(ｕ, ｖ)とすると、
ｕとｖはそれぞれ画素間距離の半分、つまり１／２を最
小単位として求められることになる。このときの強度値
（以下では、「輝度値」と色差の強度値を総称して「強
度値」と呼ぶ）の内挿処理の様子を図４に示す。Ｈ．２
６３では、数２の内挿を行う際に、除算の結果は最も近
い整数に丸め込まれ、かつ除算の結果が整数に0.5を加
えた値となるときには、これを０から遠ざける方向に切
り上げる処理が行われる。

【００１８】つまり、図４において、画素４０１、４０
２、４０３、４０４の強度値をそれぞれＬa、Ｌb、Ｌ
c、Ｌdとすると（Ｌa、Ｌb、Ｌc、Ｌdは負ではない整
数）、内挿により強度値を求めたい位置４０５、４０
６、４０７、４０８の強度値Ｉa、Ｉb、Ｉc、Ｉdは（Ｉ
a、Ｉb、Ｉc、Ｉdは負ではない整数）、以下の式によっ
て表される。

【００１９】

【数３】

【００２０】ただし、「[ ]」は小数部分を切り捨てる
処理を表している。

【００２１】このとき、除算の結果を整数値に丸め込む
処理によって発生する誤差の期待値を計算することを考
える。内挿により強度値を求めたい位置が、図４の位置
４０５、４０６、４０７、４０８となる確率をそれぞれ
１／４とする。このとき、位置４０５の強度値Ｉaを求
める際の誤差は明らかに０である。また、位置４０６の
強度値Ｉbを求める際の誤差は、Ｌa＋Ｌbが偶数の場合
は０、奇数の場合は切り上げが行われるので１／２とな
る。Ｌa＋Ｌbが偶数になる確率と奇数になる確率は共に
１／２であるとすれば、誤差の期待値は、０・１／２＋
１／２・１／２＝１／４となる。位置４０７の強度値Ｉ
cを求める際も誤差の期待値はＩbの場合と同様に１／４
となる。位置４０８の強度値Ｉcを求める際には、Ｌa＋
Ｌb＋Ｌc＋Ｌdを４で割った際のあまりが０、１、２、
３である場合の誤差はそれぞれ０、−１／４、１／２、
１／４となり、あまりが０から３になる確率をそれぞれ
等確率とすれば、誤差の期待値は０・１／４−１／４・
１／４＋１／２・１／４＋１／４・１／４＝１／８とな
る。上で述べた通り、位置４０５〜４０８における強度
値が計算される確率は等確率であるとすれば、最終的な
誤差の期待値は、０・１／４＋１／４・１／４＋１／４
・１／４＋１／８・１／４＝５／３２となる。これは、
一回ブロックマッチングによる動き補償を行う度に、画
素の強度値に５／３２の誤差が発生することを意味して
いる。

【００２２】一般的に低レート符号化の場合には、フレ
ーム間予測誤差を符号化するためのビット数を十分に確
保することができないため、ＤＣＴ係数の量子化ステッ
プサイズを大きくする傾向がある。したがって、動き補
償で発生した誤差を誤差符号化によって修正しにくくな
る。このようなときにフレーム内符号化を行わずにフレ
ーム間符号化をずっと続けた場合には、上記誤差が蓄積
し、再生画像が赤色化するなどの悪い影響を与える場合
がある。

【００２３】上で説明した通り、色差プレーンの画素数
は縦方向、横方向共に画素数が半分となっている。した
がって、ＵブロックとＶブロックに対しては、Ｙブロッ
クの動きベクトルの水平・垂直成分をそれぞれ２で割っ
た値が使用される。このとき、もとのＹブロックの動き
ベクトルの水平・垂直成分であるｕとｖが１／２の整数
倍の値であるため、通常の割り算を実行した場合には、
動きベクトルは１／４の整数倍の値が出現することにな
る。しかし、座標値が１／４の整数倍をとるときの強度
値の内挿演算が複雑となるため、Ｈ．２６３ではＵブロ
ックとＶブロックの動きベクトルも半画素精度に丸め込
まれる。このときの丸め込みの方法は以下の通りであ
る。

【００２４】いま、ｕ／２＝ｒ＋ｓ／４であるとする。
このとき、ｒとｓは整数であり、さらにｓは０以上３以
下の値をとるとする。ｓが０または２のときはｕ／２は
１／２の整数倍であるため、丸め込みを行う必要がな
い。しかし、ｓが１または３のときは、これを２に丸め
込む操作が行われる。これは、ｓが２となる確率を高く
することにより、強度値の内挿が行われる回数を増や
し、動き補償処理にフィルタリングの作用を持たせるた
めである。

【００２５】丸め込みが行われる前のｓの値が０〜３の
値をとる確率をそれぞれ１／４とした場合、丸め込みが
終わったあとにｓが０、２となる確率はそれぞれ１／４
と３／４となる。以上は動きベクトルの水平成分ｕに関
する議論であったが、垂直成分であるｖに関しても全く
同じ議論が適用できる。

【００２６】したがって、ＵブロックおよびＶブロック
において、４０１の位置の強度値が求められる確率は１
／４・１／４＝１／１６、４０２および４０３の位置の
強度値が求められる確率は共に１／４・３／４＝３／１
６、４０４の位置の強度値が求められる確率は３／４・
３／４＝９／１６となる。これを用いて上と同様の手法
により、強度値の誤差の期待値を求めると、０・１／１
６＋１／４・３／１６＋１／４・３／１６＋１／８・９
／１６＝２１／１２８となり、上で説明したＹブロック
の場合と同様にフレーム内符号化を続けた場合の誤差の
蓄積の問題が発生する。

【００２７】フレーム間予測を行い、輝度または色の強
度が量子化された数値として表される動画像符号化およ
び復号化方法では、フレーム間予測において輝度または
色の強度を量子化する際の誤差が蓄積する場合がある。
本発明の目的は、上記誤差の蓄積を防ぐことにより、再
生画像の画質を向上させることにある。

【００２８】

【課題を解決するための手段】誤差の発生を抑えるか、
発生した誤差を打ち消す操作を行うことにより、誤差の
蓄積を防ぐ。

【００２９】

【発明の実施の形態】まず、「従来の技術」で述べた丸
め込み誤差の蓄積がどのような場合に発生するかについ
て考える。

【００３０】図５にＭＰＥＧ１、ＭＰＥＧ２、Ｈ．２６
３などの双方向予測と片方向予測の両方を実行すること
ができる符号化方法により符号化された動画像の例を示
す。画像５０１はフレーム内符号化によって符号化され
たフレームであり、Ｉフレームと呼ばれる。これに対
し、画像５０３、５０５、５０７、５０９はＰフレーム
と呼ばれ、直前のＩまたはＰフレームを参照画像とする
片方向のフレーム間符号化により符号化される。したが
って、例えば画像５０５を符号化する際には画像５０３
を参照画像とするフレーム間予測が行われる。画像５０
２、５０４、５０６、５０８はＢフレームと呼ばれ、直
前と直後のＩまたはＰフレームを用いた双方向のフレー
ム間予測が行われる。Ｂフレームは、他のフレームがフ
レーム間予測を行う際に参照画像として利用されないと
いう特徴も持っている。

【００３１】まず、Ｉフレームでは動き補償が行われな
いため、動き補償が原因となる丸め込み誤差は発生しな
い。これに対し、Ｐフレームでは動き補償が行われる上
に、他のＰまたはＢフレームの参照画像としても使用さ
れるため、丸め込み誤差の蓄積を引き起こす原因とな
る。一方、Ｂフレームは動き補償は行われるために丸め
込み誤差の蓄積の影響は現れるが、参照画像としては使
用されないために丸め込み誤差の蓄積の原因とはならな
い。このことから、Ｐフレームにおける丸め込み誤差の
蓄積を防げば、動画像全体で丸め込み誤差の悪影響を緩
和することができる。なお、Ｈ．２６３ではＰフレーム
とＢフレームをまとめて符号化するＰＢフレームと呼ば
れるフレームが存在するが（例えばフレーム５０３と５
０４をＰＢフレームとしてまとめて符号化することがで
きる）、組み合わされた２枚のフレームを別々の物とし
て考えれば、上と同じ議論を適用することができる。つ
まり、ＰＢフレームの中でＰフレームに相当する部分に
対して丸め込み誤差への対策を施せば、誤差の蓄積を防
ぐことができる。

【００３２】丸め込み誤差は、強度値の内挿を行う際
に、通常の除算（演算結果が実数になる除算）の結果と
して整数値に0.5を加えた値が出るような場合に、これ
を０から遠ざける方向に切り上げているために発生して
いる。例えば内挿された強度値を求めるために４で割る
操作を行うような場合、あまりが１である場合と３であ
る場合は発生する誤差の絶対値が等しくかつ符号が逆に
なるため、誤差の期待値を計算する際に互いに打ち消し
合う働きをする（より一般的には、正の整数ｄ’で割る
場合には、あまりがｔである場合とｄ’−ｔである場合
が打ち消し合う）。しかし、あまりが２である場合、つ
まり通常の除算の結果が整数に0.5を加えた値が出る場
合には、これを打ち消すことができず、誤差の蓄積につ
ながる。

【００３３】そこで、このように通常の除算の結果、整
数に0.5を加えた値が出た際にに切り上げを行う丸め込
み方法と切り捨てを行う丸め込み方法の両者を選択可能
とし、これらをうまく組み合わせることより、発生した
誤差を打ち消すことを考える。以下では、通常の除算の
結果を最も近い整数に丸め込み、かつ整数に0.5を加え
た値は０から遠ざける方向に切り上げる丸め込み方法を
「プラスの丸め込み」と呼ぶ。また、通常の除算の結果
を最も近い整数に丸め込み、かつ整数に0.5を加えた値
は０に近づける方向に切り捨てる丸め込み方法を「マイ
ナスの丸め込み」と呼ぶこととする。数３は、半画素精
度のブロックマッチングにおいてプラスの丸め込みを行
う場合の処理を示しているが、マイナスの丸め込みを行
う場合には、これは以下のように書き換えることができ
る。

【００３４】

【数４】

【００３５】いま、予測画像の合成における強度値の内
挿の際ににプラスの丸め込みを行う動き補償を、プラス
の丸め込みを用いる動き補償、マイナスの丸め込みを行
う動き補償をマイナスの丸め込みを用いる動き補償とす
る。また、半画素精度のブロックマッチングを行い、か
つプラスの丸め込みを用いる動き補償が適用されるＰフ
レームをＰ＋フレーム、逆にマイナスの丸め込みを用い
る動き補償が適用されるＰフレームをＰ−フレームと呼
ぶことする（この場合、Ｈ．２６３のＰフレームはすべ
てＰ＋フレームということになる）。Ｐ−フレームにお
ける丸め込み誤差の期待値は、Ｐ＋フレームのそれと絶
対値が等しく、符号が逆となる。したがって、時間軸に
対し、Ｐ＋フレームとＰ−フレームが交互に現れるよう
にすれば、丸め込み誤差の蓄積を防ぐことができる。

【００３６】図５の例では、フレーム５０３、５０７を
Ｐ＋フレーム、フレーム５０５、５０９をＰ−フレーム
とすれば、この処理を実現することができる。また、Ｐ
＋フレームとＰ−フレームが交互に発生することは、Ｂ
フレームにおいて双方向の予測を行う際にＰ＋フレーム
とＰ−フレームが一枚ずつ参照画像として使用されるこ
とを意味している。一般的にＢフレームにおいては順方
向の予測画像（例えば図５のフレーム５０４を符号化す
る際に、フレーム５０３を参照画像として合成される予
測画像）と逆方向の予測画像（例えば図５のフレーム５
０４を符号化する際に、フレーム５０５を参照画像とし
て合成される予測画像）の平均が予測画像として使用で
きる場合が多い。したがって、ここでＰ＋フレームとＰ
−フレームから合成した画像を平均化することは、誤差
の影響を打ち消す意味で有効である。

【００３７】なお、上で述べた通り、Ｂフレームにおけ
る丸め込み処理は誤差の蓄積の原因とはならない。した
がって、すべてのＢフレームに対して同じ丸め込み方法
を適用しても問題は発生しない。例えば、図５のＢフレ
ーム５０２、５０４、５０６、５０８のすべてが正の丸
め込みに基づく動き補償を行ったとしても、特に画質の
劣化の原因とはならない。Ｂフレームの復号化処理を簡
略化する意味では、Ｂフレームに関しては１種類の丸め
込み方法のみを用いることが望ましい。

【００３８】図１６に、上で述べた複数の丸め込み方法
に対応した画像符号化器のブロックマッチング部１６０
０の例を示す。他の図と同じ番号は、同じものを指して
いる。図１のブロックマッチング部１１６を１６００に
入れ換えることにより、複数の丸め込み方法に対応する
ことができる。動き推定器１６０１において、入力画像
１０１と前フレームの復号画像１１２との間で動き推定
の処理が行われる。この結果、動き情報１２０が出力さ
れる。この動き情報は、予測画像合成器１６０３におい
て予測画像を合成する際に利用される。

【００３９】丸め込み方法決定器１６０２は、現在符号
化を行っているフレームにおいて使用する丸め込み方法
を正の丸め込みとするか、負の丸め込みとするかを判定
する。決定した丸め込み方法に関する情報１６０４は、
予測画像合成器１６０３に入力される。この予測画像合
成器では、１６０４によって指定された丸め込み方法に
基づいて予測画像１１７が合成、出力される。なお、図
１のブロックマッチング部１１６には、図１６の１６０
２、１６０４に相当する部分が無く、予測画像は、正の
丸め込みによってのみ合成される。また、ブロックマッ
チング部から決定した丸め込み方法１６０５を出力し、
この情報をさらに多重化して伝送ビットストリームに組
み込んで伝送しても良い。

【００４０】図１７に、複数の丸め込み方法に対応した
画像復号化器の予測画像合成部１７００の例を示す。他
の図と同じ番号は、同じものを指している。図２の予測
画像合成部２１１を１７００に入れ換えることにより、
複数の丸め込み方法に対応することが可能となる。丸め
込み方法決定器１７０１では、復号化を行う際の予測画
像合成処理に適用される丸め込み方法が決定される。

【００４１】なお、正しい復号化を行うためには、ここ
で決定される丸め込み方法は、符号化の際に適用された
丸め込み方法と同じものでなければならない。例えば、
最後に符号化されたＩフレームから数えて奇数番目のＰ
フレームには正の丸め込み、偶数番目のＰフレームに対
しては負の丸め込みが適用されることを原則とし、符号
化側の丸め込み方法決定器（例えば、図１６の１６０
２）と復号化側の丸め込み方法決定器１７０１の両者が
この原則に従えば、正しい復号化を行うことが可能とな
る。このようにして決定された丸め込み方法に関する情
報１７０２と、前フレームの復号画像２１０、動き情報
２０２から、予測画像合成器１７０３では、予測画像が
合成される。この予測画像２１２は出力され、復号画像
の合成に活用される。

【００４２】なお、ビットストリーム内に丸め込み方法
に関する情報が組み込まれる場合（図１６の符号化器
で、丸め込み方法に関する情報１６０５が出力されるよ
うな場合）も考えることができる。この場合、丸め込み
方法決定器１７０１は使用されず、符号化ビットストリ
ームから抽出された丸め込み方法に関する情報１７０４
が予測画像合成器１７０３に入力される。

【００４３】本発明は、図１、２に示されている従来型
の専用回路・専用チップを用いる画像符号化装置、画像
復号化装置の他に、汎用プロセッサを用いるソフトウェ
ア画像符号化装置、ソフトウェア画像復号化装置にも適
用することができる。図６と７にこのソフトウェア画像
符号化装置６００とソフトウェア画像復号化装置７００
の例を示す。ソフトウェア符号化器６００では、まず入
力画像６０１は入力フレームメモリ６０２に蓄えられ、
汎用プロセッサ６０３はここから情報を読み込んで符号
化の処理を行う。この汎用プロセッサを駆動するための
プログラムはハードディスクやフロッピーディスクなど
による蓄積デバイス６０８から読み出されてプログラム
用メモリ６０４に蓄えられる。また、汎用プロセッサは
処理用メモリ６０５を活用して符号化の処理を行う。汎
用プロセッサが出力する符号化情報は一旦出力バッファ
６０６に蓄えられた後に符号化ビットストリーム６０７
として出力される。

【００４４】図６に示したソフトウェア符号化器上で動
作する符号化ソフトウェア(コンピュータ読み取り可能
な記録媒体）のフローチャートの例を図８に示す。まず
８０１で処理が開始され、８０２で変数Ｎに０が代入さ
れる。続いて８０３、８０４でＮの値が１００である場
合には、０が代入される。Ｎはフレーム数のカウンタで
あり、１枚のフレームの処理が終了する度に１が加算さ
れ、符号化を行う際には０〜９９の値をとることが許さ
れる。Ｎの値が０であるときには符号化中のフレームは
Ｉフレームであり、奇数のときにはＰ＋フレーム、０以
外の偶数のときにはＰ−フレームとなる。Ｎの値の上限
が９９であることは、Ｐフレーム（Ｐ＋またはＰ−フレ
ーム）が９９枚符号化された後にＩフレームが１枚符号
化されることを意味している。

【００４５】このように、何枚かのフレームの中に必ず
１枚Ｉフレームを入れることにより、（ａ）符号化器と
復号化器の処理の不一致（例えば、ＤＣＴの演算結果の
不一致）による誤差の蓄積を防止する、（ｂ）符号化デ
ータから任意のフレームの再生画像を得る処理（ランダ
ムアクセス）の処理量を減少させる、などの効果を得る
ことができる。Ｎの最適な値は符号化器の性能や符号化
器が使用される環境により変化する。この例では１００
という値を使用したが、これはＮの値が必ず１００でな
ければならいことを意味しているわけではない。

【００４６】フレームごとの符号化モード、丸め込み方
法を決定する処理は８０５で行われるが、その処理の詳
細を表すフローチャートの例を図９に示す。まず、９０
１でＮは０であるか否かが判定され、０である場合には
９０２で予測モードの識別情報として’Ｉ’が出力バッ
ファに出力され、これから符号化処理を行うフレームは
Ｉフレームとなる。なお、ここで「出力バッファに出力
される」とは、出力バッファに蓄えられた後に符号化ビ
ットストリームの一部として符号化装置から外部に出力
されることを意味している。Ｎが０ではない場合には、
９０３で予測モードの識別情報として’Ｐ’が出力され
る。Ｎが０ではない場合には、さらに９０４でＮが奇数
か偶数であるかが判定される。Ｎが奇数の場合には９０
５で丸め込み方法の識別情報として’＋’が出力され、
これから符号化処理を行うフレームはＰ＋フレームとな
る。一方、Ｎが偶数の場合には９０６で丸め込み方法の
識別情報として’−’が出力され、これから符号化処理
を行うフレームはＰ−フレームとなる。

【００４７】再び図８に戻る。８０５で符号化モードを
決定した後、８０６で入力画像はフレームメモリＡに蓄
えられる。なお、ここで述べたフレームメモリＡとは、
ソフトウェア符号化器のメモリ領域（例えば、図６の６
０５のメモリ内にこのメモリ領域が確保される）の一部
を意味している。８０７では、現在符号化中のフレーム
がＩフレームであるか否かが判定される。そして、Ｉフ
レームではない場合には８０８で動き推定・動き補償処
理が行われる。

【００４８】この８０８における処理の詳細を表すフロ
ーチャートの例を図１０に示す。まず、１００１でフレ
ームメモリＡとＢ（本段落の最後に書かれている通り、
フレームメモリＢには前フレームの復号画像が格納され
ている）に蓄えられた画像の間でブロックごとに動き推
定の処理が行われ、各ブロックの動きベクトルが求めら
れ、その動きベクトルは出力バッファに出力される。続
いて１００２で現フレームがＰ＋フレームであるか否か
が判定され、Ｐ＋フレームである場合には１００３で正
の丸め込みを用いて予測画像が合成され、この予測画像
はフレームメモリＣに蓄えられる。一方、現フレームが
Ｐ−フレームである場合には１００４で負の丸め込みを
用いて予測画像が合成され、この予測画像がフレームメ
モリＣに蓄えられる。そして１００５ではフレームメモ
リＡとＣの差分画像が求められ、これがフレームメモリ
Ａに蓄えられる。

【００４９】ここで再び図８に戻る。８０９における処
理が開始される直前、フレームメモリＡには、現フレー
ムがＩフレームである場合には入力画像が、現フレーム
がＰフレーム（Ｐ＋またはＰ−フレーム）である場合に
は入力画像と予測画像の差分画像が蓄えられている。８
０９では、このフレームメモリＡに蓄えられた画像に対
してＤＣＴが適用され、ここで計算されたＤＣＴ係数は
量子化された後に出力バッファに出力される。そしてさ
らに８１０で、この量子化ＤＣＴ係数には逆量子化さ
れ、逆ＤＣＴが適用され、この結果得られた画像はフレ
ームメモリＢに格納される。続いて８１１では、再び現
フレームがＩフレームであるか否かが判定され、Ｉフレ
ームではない場合には８１２でフレームメモリＢとＣの
画像が加算され、この結果がフレームメモリＢに格納さ
れる。ここで、１フレーム分の符号化処理が終了するこ
とになる。

【００５０】そして、８１３の処理が行われる直前にフ
レームメモリＢに格納されている画像は、符号化処理が
終了したばかりのフレームの再生画像（復号側で得られ
るものと同じ）である。８１３では、符号化が終了した
フレームが最後のフレームであるか否かが判定され、最
後のフレームであれば、符号化処理が終了する。最後の
フレームではない場合には、８１４でＮに１が加算さ
れ、再び８０３に戻って次のフレームの符号化処理が開
始される。

【００５１】図７にソフトウェア復号化器７００の例を
示す。入力された符号化ビットストリーム７０１は一旦
入力バッファ７０２に蓄えられた後に汎用プロセッサ７
０３に読み込まれる。汎用プロセッサはハードディスク
やフロッピーディスクなどによる蓄積デバイス７０８か
ら読み出されたプログラムを蓄えるプログラム用メモリ
７０４、および処理用メモリ７０５を活用して復号化処
理を行う。この結果得られた復号化画像は一旦出力フレ
ームメモリ７０６に蓄えられた後に出力画像７０７とし
て出力される。

【００５２】図７に示したソフトウェア復号化器上で動
作する復号化ソフトウェアのフローチャートの例を図１
１に示す。１１０１で処理が開始され、まず１１０２で
入力情報があるか否かが判定される。ここで入力情報が
無ければ１１０３で復号化の処理を終了する。入力情報
がある場合には、まず、１１０４で符号化識別情報が入
力される。なお、この「入力される」とは、入力バッフ
ァ（例えば、図７の７０２）に蓄えられた情報を読み込
むことを意味している。１１０５では、読み込んだ符号
化モード識別情報が’Ｉ’であるか否かが判定される。
そして、’Ｉ’ではない場合には、１１０６で丸め込み
方法の識別情報が入力され、続いて１１０７で動き補償
処理が行われる。

【００５３】この１１０７で行われる処理の詳細を表し
たフローチャートの例を図１２に示す。まず、１２０１
でブロックごとの動きベクトル情報が入力される。そし
て、１２０２で１１０６で読み込まれた丸め込み方法の
識別情報が’＋’であるか否かが判定される。これが’
＋’である場合には、現在復号化中のフレームがＰ＋フ
レームである。このとき１２０３で正の丸め込みにより
予測画像が合成され、この予測画像はフレームメモリＤ
に格納される。

【００５４】なお、ここで述べたフレームメモリＤと
は、ソフトウェア復号化器のメモリ領域（例えば、図７
の７０５のメモリ内にこのメモリ領域が確保される）の
一部を意味している。一方、丸め込み方法の識別情報
が’＋’ではない場合には、現在復号化中のフレームが
Ｐ−フレームであり、１２０４で負の丸め込みにより予
測画像が合成され、この予測画像はフレームメモリＤに
格納される。このとき、もし何らかの誤りにより、Ｐ＋
フレームがＰ−フレームとして復号化されたり、逆にＰ
−フレームがＰ＋フレームとして復号化された場合に
は、符号化器が意図したものとは異なる予測画像が復号
化器において合成されることになり、正しい復号化が行
われずに画質が劣化する。

【００５５】ここで図１１に戻る。１１０８では量子化
ＤＣＴ係数が入力され、これに逆量子化、逆ＤＣＴを適
用して得られた画像がフレームメモリＥに格納される。
１１０９では、再び現在復号化中のフレームがＩフレー
ムであるか否かが判定される。そして、Ｉフレームでは
ない場合には、１１１０でフレームメモリＤとＥに格納
された画像が加算され、この結果の画像がフレームメモ
リＥに格納される。１１１１の処理を行う直前にフレー
ムメモリＥに格納されている画像が、再生画像となる。
１１１１では、このフレームメモリＥに格納された画像
が出力フレームメモリ（例えば、図７の７０６）に出力
され、そのまま出力画像として復号化器から出力され
る。こうして１フレーム分の復号化処理が終了し、処理
は再び１１０２に戻る。

【００５６】図６と７に示したソフトウェア画像符号化
器、ソフトウェア画像復号化器に図８〜１２に示したフ
ローチャートに基づくプログラムを実行させると、専用
回路・専用チップを用いる装置を使用した場合と同様の
効果を得ることができる。

【００５７】図６のソフトウェア符号化器６０１が図８
〜１０のフローチャートに示した処理を行うことにより
生成されたビットストリームを記録した蓄積メディア
(記録媒体）の例を図１３に示す。ディジタル情報を記
録することができる記録ディスク（例えば磁気、光ディ
スクなど）１３０１には、同心円上にディジタル情報が
記録されている。このディスクに記録されているディジ
タル情報の一部１３０２を取り出すと、符号化されたフ
レームの符号化モード識別情報１３０３、１３０５、１
３０８、１３１１、１３１４、丸め込み方法の識別情報
１３０６、１３０９、１３１２、１３１５、動きベクト
ルやＤＣＴ係数等の情報１３０４、１３０７、１３１
０、１３１３、１３１６が記録されている。図８〜１０
に示した方法に従えば、１３０３には’Ｉ’、１３０
５、１３０８、１３１１、１３１４には’Ｐ’、１３０
６、１３１２には’＋’、１３０９、１３１５には’
−’を意味する情報が記録されることとなる。この場
合、例えば’Ｉ’と’＋’は１ビットの０、’Ｐ’と’
−’は１ビットの１で表せば、復号化器は正しく記録さ
れた情報を解釈し、再生画像を得ることが可能となる。
このようにして蓄積メディアに符号化ビットストリーム
を蓄積することにより、このビットストリームを読み出
して復号化した場合に丸め込み誤差の蓄積が発生するこ
とを防ぐことができる。

【００５８】図５に示したＰ＋フレーム、Ｐ−フレー
ム、Ｂフレームが存在する画像系列に関する符号化ビッ
トストリームを記録した蓄積メディアの例を図１５に示
す。図１３の１３０１と同様に、ディジタル情報を記録
することができる記録ディスク（例えば磁気、光ディス
クなど）１５０１には、同心円上にディジタル情報が記
録されている。このディスクに記録されているディジタ
ル情報の一部１５０２を取り出すと、符号化されたフレ
ームの符号化モード識別情報１５０３、１５０５、１５
０８、１５１０、１５１３、丸め込み方法の識別情報１
５０６、１５１２、動きベクトルやＤＣＴ係数等の情報
１５０４、１５０７、１５０９、１５１１、１５１４が
記録されている。

【００５９】このとき、１５０３には’Ｉ’、１５０
５、１５１０には’Ｐ’、１５０８、１５１３には’
Ｂ’、１５０５には’＋’、１５１１には’−’を意味
する情報が記録されている。例えば’Ｉ’、’Ｐ’、’
Ｂ’をそれぞれ２ビットの００、０１、１０、’＋’
と’−’はそれぞれ１ビットの０と１で表せば、復号化
器は正しく記録された情報を解釈し、再生画像を得るこ
とが可能となる。

【００６０】このとき図５の５０１（Ｉフレーム）に関
する情報が１５０３と１５０４、５０２（Ｂフレーム）
に関する情報が１５０８と１５０９、フレーム５０３
（Ｐ＋フレーム）に関する情報が１５０５〜１５０７、
フレーム５０４（Ｂフレーム）に関する情報が１５１３
と１５１４、フレーム５０５（Ｐ−フレーム）に関する
情報が１５１０〜１５１２である。このように動画像を
Ｂフレームを含む形で符号化場合、一般的にフレームに
関する情報を伝送する順番と、再生する順番は異なる。
これは、あるＢフレームを復号化する前に、このＢフレ
ームが予測画像を合成する際に使用する前後の参照画像
を復号化しておかなければならないためである。このた
め、フレーム５０２はフレーム５０３の前に再生される
にもかかわらず、フレーム５０２が参照画像として使用
するフレーム５０３に関する情報がフレーム５０２に関
する情報の前に伝送されるのである。

【００６１】上述の通り、Ｂフレームは丸め込み誤差の
蓄積を引き起こす要員とはならないため、Ｐフレームの
ように複数の丸め込み方法を適用する必要はない。この
ため、ここに示した例では、Ｂフレームに関してはは丸
め込み方法を指定する’＋’や’−’のような情報は伝
送されていない。こうすることにより、例えばＢフレー
ムに関しては常に正の丸め込みのみが適用されるように
したとしても、誤差の蓄積の問題は発生しない。このよ
うにして、蓄積メディアにＢフレームに関する情報を含
む符号化ビットストリームを蓄積することにより、この
ビットストリームを読み出して復号化した場合に丸め込
み誤差の蓄積が発生することを防ぐことができる。

【００６２】図１４に、本明細書で示したＰ＋フレーム
とＰ−フレームが混在する符号化方法に基づく符号化・
復号化装置の具体例を示す。パソコン１４０１に画像符
号化・復号化用のソフトウェアを組み込むことにより、
画像符号化・復号化装置として活用することが可能であ
る。このソフトウェアはコンピュータ読み取り可能な記
録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フ
ロッピーディスク、ハードディスクなど）１４１２に記
録されており、これをパソコンが読み込んで使用する。
また、さらに何らかの通信回線にこのパソコンを接続す
ることにより、映像通信端末として活用することも可能
となる。

【００６３】記録媒体である蓄積メディア１４０２に記
録した符号化ビットストリームを読み取り、復号化する
再生装置１４０３にも本明細書に示した復号化方法を実
装することが可能である。この場合、再生された映像信
号はテレビモニタ１４０４に表示される。また、１４０
３の装置は符号化ビットストリームを読み取るだけであ
り、テレビモニタ１４０４内に復号化装置が組み込まれ
ている場合も考えられる。

【００６４】最近は衛星、地上波によるディジタル放送
が話題となっているが、ディジタル放送用のテレビ受信
機１４０５にも復号化装置を組み込むことができる。

【００６５】また、ケーブルテレビ用のケーブル１４０
８または衛星／地上波放送のアンテナに接続されたセッ
トトップボックス１４０９内に復号化装置を実装し、こ
れをテレビモニタ１４１０で再生する構成も考えられ
る。このときも１４０４の場合と同様に、セットトップ
ボックスではなく、テレビモニタ内に符号化装置を組み
込んでも良い。

【００６６】１４１３、１４１４、１４１５は、ディジ
タル衛星放送システムの構成例を示したものである。放
送局１４１３では映像情報の符号化ビットストリームが
電波を介して通信または放送衛星１４１４に伝送され
る。これを受けた衛星は、放送用の電波を発信し、この
電波を衛星放送受信設備をもつ家庭１４１５が受信し、
テレビ受信機またはセットトップボックスなどの装置に
より符号化ビットストリームを復号化してこれを再生す
る。

【００６７】低い伝送レートでの符号化が可能となった
ことにより、最近はディジタル携帯端末１４０６による
ディジタル動画像通信も注目されるようになっている。
ディジタル携帯端末の場合、符号器・復号化器を両方持
つ送受信型の端末の他に、符号化器のみの送信端末、復
号化器のみの受信端末の３通りの実装形式が考えられ
る。

【００６８】動画像撮影用のカメラ１４０７の中に符号
化装置を組み込むことも可能である。この場合撮影用カ
メラは符号化装置と該符号化装置からの出力を記録媒体
に記録する記録装置とを持ち、符号化装置から出力され
た符号化ビットストリームを記録媒体に記録する。ま
た、カメラは映像信号を取り込むのみであり、これを専
用の符号化装置１４１１に組み込む構成も考えられる。

【００６９】この図に示したいずれの装置・システムに
関しても、本明細書に示した方法を実装することによ
り、従来の技術を活用した場合と比較して、より画質の
高い画像情報を扱うことが可能となる。

【００７０】なお、以下の変形も本発明に含まれること
は明らかである。

【００７１】（１）上の議論では、動き補償方式として
ブロックマッチングが使用されることが前提となってい
た。しかし、本発明は動きベクトルの水平・垂直成分が
水平・垂直方向の画素のサンプリング間隔の整数倍以外
値をとることができ、サンプル値の存在しない位置にお
ける強度値を共１次内挿によって求める動き補償方式を
採用する画像符号化方式および画像復号化方式すべてに
対して適用することができる。たとえば特願平08-06057
2に記載されているグローバル動き補償や、特願平08-24
9601に記載されているワーピング予測に対しても、本発
明は適用可能である。

【００７２】（２）これまでの議論では、動きベクトル
の水平・垂直成分が１／２の整数倍の値をとる場合のみ
について議論してきた。しかし、議論を一般化すれば、
本発明は動きベクトルの水平・垂直成分が１／ｄの整数
倍（ｄは正の整数、かつ偶数）をとる方式に対して適用
可能である。しかし、ｄが大きくなった場合には、共１
次内挿の除算の除数（ｄの２乗、数２参照）が大きくな
るため、相対的に通常の除算の結果が整数に0.５を足し
た値となる確率が低くなる。したがって、プラスの丸め
込みのみを行った場合の、丸め込み誤算の期待値の絶対
値が小さくなり、誤差の蓄積による悪影響が目立ちにく
くなる。そこで、例えばｄの値が可変である動き補償方
式などにおいては、ｄがある一定値より小さい場合には
プラスの丸め込みとマイナスの丸め込みの両方を使用
し、ｄが上記一定値以上の場合にはプラスまたはマイナ
スの丸め込みのみを用いるという方法も有効である。

【００７３】（３）従来の技術で述べた通り、ＤＣＴを
誤差符号化方式として利用した場合、丸め込み誤差の蓄
積による悪影響はＤＣＴ係数の量子化ステップサイズが
大きい場合に現れやすい。そこで、ＤＣＴ係数の量子化
ステップサイズがある一定値より大きい場合にはプラス
の丸め込みとマイナスの丸め込みの両方を使用し、ＤＣ
Ｔ係数の量子化ステップサイズが上記一定値以下の場合
にはプラスまたはマイナスの丸め込みのみを用いるとい
う方法も有効である。

【００７４】（４）輝度プレーンで丸め込み誤差の蓄積
が起こった場合と色差プレーンで丸め込み誤差の蓄積が
起こった場合では、一般的に色差プレーンで発生した場
合の方が再生画像に与える影響が深刻である。これは、
画像が全体的にわずかに明るくなったり暗くなったりす
ることよりも、画像の色が全体的に変化した場合の方が
目立ちやすいためである。そこで、色差信号に対しては
プラスの丸め込みとマイナスの丸め込みの両方を使用
し、輝度信号に対してはプラスまたはマイナスの丸め込
みのみを用いるという方法も有効である。

【００７５】また、従来の技術でＨ．２６３における１
／４画素精度の動きベクトルの１／２画素精度の動きベ
クトルへの丸め込み方法に関して述べたが、この方法に
多少の変更を加えることにより、丸め込み誤差の期待値
の絶対値を小さくすることが可能である。従来の技術で
とりあげたＨ．２６３では、輝度プレーンの動きベクト
ルの水平成分または垂直成分を半分にした値がｒ＋ｓ／
４（ｒは整数、ｓは０以上４未満の整数）で表されると
して、ｓが１または３であるときに、これを２に丸め込
む操作がおこなわれる。これをｓが１のときにはこれを
０とし、ｓが３であるときにはｒに１を加えてｓを０と
する丸め込みを行うように変更すればよい。こうするこ
とにより、図４の４０６〜４０８の位置の強度値を計算
する回数が相対的に減少する（動きベクトルの水平・垂
直成分が整数となる確率が高くなる）ため、丸め込み誤
差の期待値の絶対値が小さくなる。しかし、この方法で
は発生する誤差の大きさを抑えることはできても、誤差
が蓄積することを防ぐことはできない。

【００７６】（５）Ｐフレームに対して、２種類の動き
補償方式によるフレーム間予測画像の平均を最終的なフ
レーム間予測画像とする方式がある。例えば特願平8-36
16では、縦横１６画素のブロックに対して一個の動きベ
クトルを割り当てるブロックマッチングと、縦横１６画
素のブロックを４個の縦横８画素のブロックに分割し
て、それぞれに対して動きベクトルを割り当てるブロッ
クマッチングの２種類の方法によって得た２種類のフレ
ーム間予測画像を用意し、これらのフレーム間予測画像
の強度値の平均を求めたものを最終的なフレーム間予測
画像とする方法が述べられている。この方法において２
種類の画像の平均値を求める際にも丸め込みが行われ
る。この平均化の操作でプラスの丸め込みのみを行い続
けると、新たな丸め込み誤差の蓄積の原因を作ることに
なる。この方式では、ブロックマッチングにおいてプラ
スの丸め込みを行うＰ＋フレームに対しては、平均化の
操作ではマイナスの丸め込みを行い、Ｐ−フレームに対
しては平均化の操作ではプラスの丸め込みを行うように
すれば、同一フレーム内でブロックマッチングによる丸
め込み誤差と平均化による丸め込み誤差が打ち消し合う
効果を得ることができる。

【００７７】（６）Ｐ＋フレームとＰ−フレームを交互
に配置する方法を用いた場合、符号化装置と復号化装置
は現在符号化しているＰフレームがＰ＋フレームである
Ｐ−フレームであるかを判定するために、例えば以下の
処理を行なうことが考えられる。現在符号化または復号
化しているＰフレームが、最も最近に符号化または復号
化されたＩフレームの後の何番目のＰフレームであるか
を数え、これが奇数であるときにはＰ＋フレーム、偶数
であるときはＰ−フレームとすれば良い（これを暗示的
方法と呼ぶ）。また、符号化装置側が現在符号化してい
るＰフレームがＰ＋フレームであるか、Ｐ−フレームで
あるかを識別する情報を、例えばフレーム情報のヘッダ
部分に書き込むという方法もある（これを明示的方法と
呼ぶ）。この方法の方が、伝送誤りに対する耐性は強
い。

【００７８】また、Ｐ＋フレームと、Ｐ−フレームを識
別する情報をフレーム情報のヘッダ部分に書き込む方法
には、以下の長所がある。「従来の技術」で述べた通
り、過去の符号化標準（例えばＭＰＥＧ−１やＭＰＥＧ
−２）では、Ｐフレームにおいて正の丸め込みのみが行
われる。したがって、例えば既に市場に存在しているＭ
ＰＥＧ−１／２用の動き推定・動き補償装置（例えば、
図１の１０６に相当する部分）は、Ｐ＋フレームとＰ−
フレームが混在する符号化には対応できないことにな
る。いま、Ｐ＋フレームとＰ−フレームが混在する符号
化に対応した復号化器があるとする。この場合に、もし
この復号化器が上記暗示的方法に基づくものであれば、
ＭＰＥＧ−１／２用の動き推定・動き補償装置を用い
て、この暗示的方法に基づく復号化器が正しく復号化で
きるようなビットストリームを生成する符号化器を作る
ことは困難である。

【００７９】しかし、復号化器が上記明示的方法に基づ
くものである場合には、この問題を解決することができ
る。ＭＰＥＧ−１／２用の動き推定・動き補償装置を使
用した符号化器は、常にＰ＋フレームを送り続け、これ
を示す識別情報をフレーム情報のヘッダに書き込み続け
れば良い。こうすれば、明示的方法に基づく復号化器
は、この符号化器が生成したビットストリームを正しく
再生することができる。

【００８０】もちろん、この場合にはＰ＋フレームのみ
が存在するため、丸め込み誤差の蓄積は発生しやすくな
る。しかし、この符号化器がＤＣＴ係数の量子化ステッ
プサイズとして小さい値のみを用いるもの（高レート符
号化専用の符号化器）であるような場合には、誤差の蓄
積は大きな問題とはならない。

【００８１】この過去の方式との互換性の問題以外に
も、明示的方法にはさらに、（ａ）高レート符号化専用
の符号化器や、頻繁にＩフレームを挿入することにより
丸め込み誤差が発生しにくい符号化器は、正か負のどち
らかの丸め込み方法のみを実装すれば良く、装置のコス
トを抑えることができる、（ｂ）上記の丸め込み誤差が
発生しにくい符号化器は、Ｐ＋またはＰ−フレームのど
ちらか一方のみを送り続ければ良いため、現在符号化を
行っているフレームをＰ＋フレームとするか、Ｐ−フレ
ームとするかの判定を行う必要がなく、処理を簡略化で
きる、といった長所がある。

【００８２】（７）本発明は、フレーム間予測画像に対
し、丸め込み処理を伴うフィルタリングを行う場合にも
適用することができる。例えば、動画像符号化の国際標
準であるＨ．２６１では、フレーム間予測画像において
動きベクトルが０ではなかったブロック内の信号に対し
ては、低域通過型フィルタ（これをループフィルタと呼
ぶ）が適用される。また、Ｈ．２６３では、ブロックの
境界部に発生する不連続（いわゆるブロック歪み）を平
滑化するためのフィルタを使用することができる。これ
らのフィルタでは、画素の強度値に対して重み付け平均
化の処理が行われ、フィルタリング後の強度値に対して
整数への丸め込みの操作が行われる。ここでもプラスの
丸め込みとマイナスの丸め込みを使い分けることによ
り、誤差の蓄積を防ぐことが可能である。

【００８３】（８）ＩＰ＋Ｐ−Ｐ＋Ｐ−…の他に、ＩＰ
＋Ｐ＋Ｐ−Ｐ−Ｐ＋Ｐ＋…や、ＩＰ＋Ｐ−Ｐ−Ｐ＋Ｐ＋
…など、Ｐ＋フレームとＰ−フレームの混在の仕方には
様々な方法が考えられる。例えば、それぞれ１／２の確
率で０と１が発生する乱数発生器を使用し、０が出れば
Ｐ＋、１が出ればＰ−としても良い。いずれにせよ、一
般的にＰ＋とＰ−フレームが混在し、かつ一定時間内の
それぞれの存在確率の差が小さいほど、丸め混み誤差の
蓄積は発生しにくくなる。また、符号化器に対し、任意
のＰ＋フレームとＰ−フレームの混在の仕方を許すよう
な場合、符号化器と復号化器は（６）で示した暗示的方
法に基づくものではなく、明示的方法に基づくものでな
ければならない。したがって、符号化器と復号化器に関
してより柔軟な実装形態を許すという観点からは、明示
的方法の方が有利となる。

【００８４】（９）本発明は、画素の存在しない点の強
度値を求める方法を共１次内挿に限定するものではな
い。強度値の内挿方法は一般化すると、以下の式のよう
に表すことができる。

【００８５】

【数５】

【００８６】ここで、ｒ、ｓは実数、ｈ(ｒ，ｓ)は内挿
のための実数の関数、Ｔ(ｚ)は実数ｚを整数に丸め込む
関数であり、Ｒ（ｘ，ｙ）、ｘ、ｙの定義は数４と同じ
である。Ｔ（ｚ）が、プラスの丸め込みを表す関数であ
る場合にはプラスの丸め込みを用いる動き補償、マイナ
スの丸め込みを表す関数である場合にはマイナスの丸め
込みを用いる動き補償が行われる。この数５の形式で表
すことのできる内挿方法に対しては、本発明を適用する
ことが可能である。例えばｈ（ｒ，ｓ）を、

【００８７】

【数６】

【００８８】のように定義すれば共１次内挿が行われ
る。しかし、例えばｈ（ｒ，ｓ）を

【００８９】

【数７】

【００９０】のように定義すれば、共１次内挿とは異な
る内挿方法が実施されるが、この場合も本発明を適用す
ることは可能である。

【００９１】（１０）本発明は、誤差画像の符号化方法
をＤＣＴに限定するものではない、例えば、ＤＣＴでは
なく、ウェーブレット変換（例えば、M. Antonioni, e
t. al,"Image Coding Using Wavelet Transform", IEEE
Trans. Image Processing, vol. 1, no.2, April 199
2）や、ウォルシューアダマール変換（Walsh-Hadamard
Transform）（例えば、A. N. Netravalli and B. G. Ha
skell, "Digital Pictures", Plenum Press, 1998）を
使用した場合でも本発明は適用可能である。

【００９２】

【発明の効果】本発明により、フレーム間予測画像にお
ける丸め込み誤差の蓄積を抑えることが可能となり、再
生画像の画質を向上させることが可能となる。

【図面の簡単な説明】

【図１】Ｈ．２６３の画像符号化器の構成例を示した図
である。

【図２】Ｈ．２６３の画像復号化器の構成例を示した図
である。

【図３】Ｈ．２６３におけるマクロブロックの構成を示
した図である。

【図４】半画素成度のブロックマッチングにおける輝度
値の内挿処理の様子を示した図である。

【図５】符号化された画像系列の様子を示した図であ
る。

【図６】ソフトウェア画像符号化装置の構成例を示した
図である。

【図７】ソフトウェア画像復号化装置の構成例を示した
図である。

【図８】ソフトウェア画像符号化装置における処理のフ
ローチャートの例を示した図である。

【図９】ソフトウェア画像符号化装置における符号化モ
ード決定処理のフローチャートの例を示した図である。

【図１０】ソフトウェア画像符号化装置における動き推
定・動き補償処理のフローチャートの例を示した図であ
る。

【図１１】ソフトウェア画像復号化装置における処理の
フローチャートの例を示した図である。

【図１２】ソフトウェア画像復号化装置における動き補
償処理のフローチャートの例を示した図である。

【図１３】ＩフレームとＰ＋フレームとＰ−フレームを
混在させる符号化方法により符号化されたビットストリ
ームを記録した蓄積メディアの例を示した図である。

【図１４】Ｐ＋フレームとＰ−フレームを混在させる符
号化方法を使用する装置の具体例を示した図である。

【図１５】ＩフレームとＢフレームとＰ＋フレームとＰ
−フレームを混在させる符号化方法により符号化された
ビットストリームを記録した蓄積メディアの例を示した
図である。

【図１６】Ｐ＋フレームとＰ−フレームを混在させる符
号化方法を使用する装置に含まれるブロックマッチング
部の例を示した図である。

【図１７】Ｐ＋フレームとＰ−フレームを混在させる符
号化方法により符号化されたビットストリームを復号化
する装置に含まれる予測画像合成部の例を示した図であ
る。

【符号の説明】

１００…画像符号化器、１０１…入力画像、１０２…減
算器、１０３…誤差画像、１０４…ＤＣＴ変換器、１０
５…ＤＣＴ係数量子化器、１０６、２０１…量子化ＤＣ
Ｔ係数、１０８、２０４…ＤＣＴ係数逆量子化器、１０
９、２０５…逆ＤＣＴ変換器、１１０、２０６…復号誤
差画像、１１１、２０７…加算器、１１２…現フレーム
の復号画像、１１３、２１５…フレーム間／フレーム内
符号化切り換えスイッチの出力画像、１１４、２０９…
フレームメモリ、１１５、２１０…前フレームの復号画
像、１１６、１６００…ブロックマッチング部、１１
７、２１２…現フレームの予測画像、１１８、２１３…
「０」信号、１１９、２１４…フレーム間／フレーム内
符号化切り換えスイッチ、１２０、２０２…動きベクト
ル情報、１２１、２０３…フレーム間／フレーム内識別
フラグ、１２２…多重化器、１２３…伝送ビットストリ
ーム、２００…画像復号化器、２０８…出力画像、２１
１、１７００…予測画像合成部、２１６…分離器、３０
１…Ｙブロック、３０２…Ｕブロック、３０３…Ｖブロ
ック、４０１〜４０４…画素、４０５〜４０８…共１次
内挿により強度値を求める位置、５０１…Ｉフレーム、
５０３、５０５、５０７、５０９…Ｐフレーム、５０
２、５０４、５０６、５０８…Ｂフレーム、６００…ソ
フトウェア画像符号化器、６０２…入力画像用フレーム
メモリ、６０３、７０３…汎用プロセッサ、６０４、７
０４…プログラム用メモリ、６０５、７０５…処理用メ
モリ、６０６…出力バッファ、６０７、７０１…符号化
ビットストリーム、６０８、７０８…蓄積デバイス、７
００…ソフトウェア画像復号化器、７０２…入力バッフ
ァ、７０６…出力画像用フレームメモリ。８０１〜８１
５、９０１〜９０６、１００１〜１００５、１１０１〜
１１１１、１２０１〜１２０４…フローチャートの処理
項目、１３０１、１４０２、１５０１…蓄積メディア、
１３０２、１５０２…ディジタル情報を記録したトラッ
ク、１３０３〜１３１６、１５０３〜１５１４…ディジ
タル情報、１４０１…パソコン、１４０３…蓄積メディ
アの再生装置、１４０４、１４１０…テレビモニタ、１
４０５…テレビ放送受信機、１４０６…無線携帯端末、
１４０７…テレビカメラ、１４０８…ケーブルテレビ用
のケーブル、１４０９…セットトップボックス、１４１
１…画像符号化装置、１４１２…ソフトウェア情報を記
録した蓄積メディア、１４１３…放送局、１４１４…通
信または放送衛星、１４１５…衛星放送受信設備を持つ
家庭、１６０１…動き推定器、１６０２、１７０１…丸
め込み方法決定器、１６０４、１６０５、１７０２、１
７０４…丸め込み方法に関する情報、１６０３、１７０
３…予測画像合成器。

Claims

【特許請求の範囲】

【請求項１】動き補償を用いて予測画像を合成し、前記
予測画像と入力画像との差分に関する情報と、前記動き
補償によって求められた動きベクトルに関する情報とを
多重化する動画像の符号化方法において、前記予測画像
は、プラスの丸め込みを用いる動き補償によって合成さ
れる場合と、マイナスの丸め込みを用いる動き補償によ
って合成される場合とを有することを特徴とする動画像
の符号化方法。
【請求項２】請求項１に記載の動画像符号化方法におい
て、前記予測画像がプラスの丸め込みによる動き補償に
よって合成されたかマイナスの丸め込みによる動き補償
によって合成されたかを判別する丸め込み方法に関する
情報を前記差分に関する情報と前記動きベクトルに関す
る情報とに多重化することを特徴とする動画像の符号化
方法。
【請求項３】動き補償を用いて予測画像を合成し、前記
予測画像と入力画像との差分に関する情報と、前記動き
補償によって求められた動きベクトルに関する情報とを
多重化する動画像の符号化方法において、前記動き補償
において画素の強度値の内挿に用いられる丸め込み方法
に関する情報を前記差分に関する情報と前記動きベクト
ルに関する情報とにさらに多重化することを特徴とする
動画像の符号化方法。
【請求項４】動き補償を用いて予測画像を合成し、前記
予測画像と入力画像との差分に関する情報と、前記動き
補償動き補償によって求められた動きベクトルに関する
情報とを多重化する動画像の符号化方法において、前記
動き補償は半画素精度を有し、参照画像の画素の存在し
ない点における輝度又は色差の強度値を共１次内挿によ
って求める動き補償であって、前記参照画像中の、強度
Laを有する第１の画素と、前記第１の画素と水平方向に
隣接し強度Lbを有する第２の画素と、前記第１の画素と
垂直方向に隣接し強度Lcを有する第３の画素と、前記第
２の画素と垂直方向に隣接し、かつ前記第３の画素と水
平方向に隣接する第４の画素とから、画素の存在しない
前記第１の画素と前記第２の画素の中間点における強度
Ibと、前記第１の画素と前記第３の画素の中間点におけ
る強度Icと、前記第１と第２と第３と第４の画素とに囲
まれ前記第1、第2、第3、および第4の画素から等距離に
ある点における強度Idとを求める際に、Ib=[(La+Lb+1)/
2]、Ic=[(La+Lc+1)/2]、Id=[(La+Lb+Lc+Ld+2)/4]によっ
てプラスの丸め込みを行う場合と、Ib=[(La+Lb)/2]、Ic
=[(La+Lc)/2]、Id=[(La+Lb+Lc+Ld+1)/4]によってマイナ
スの丸め込みを行う場合とを有することを特徴とする動
画像の符号化方法。
【請求項５】請求項４に記載の動画像符号化方法におい
て、前記予測画像がプラスの丸め込みによる動き補償に
よって合成されたかマイナスの丸め込みによる動き補償
によって合成されたかを判別する丸め込み方法に関する
情報を前記差分に関する情報と前記動きベクトルに関す
る情報とに多重化することを特徴とする動画像の符号化
方法。
【請求項６】複数のフレームによって表現された動画像
を前記フレームごとに符号化する動画像の符号化方法に
おいて、第1の動き補償によって現フレームの入力画像
と過去に符号化されたフレームの復号画像とから現フレ
ームの予測画像を合成する段階と、前記予測画像と現フ
レームの入力画像との差分に関する情報を検出する段階
と、前記第1の動き補償によって求められた動きベクト
ルに関する情報と前記差分に関する情報とを多重化する
段階と、前記差分に関する情報と前記現フレームの予測
画像をとを用いて現フレームの復号画像を合成する段階
と、前記現フレームの復号画像と未来に符号化されるフ
レームの入力画像とから第2の動き補償によって前記未
来に符号化されるフレームの予測画像を合成する段階と
を有し、前記第1の動き補償と前記第２の動き補償は、
プラスの丸め込みまたはマイナスの丸め込み方法を用
い、前記第1の動き補償と前記第２の動き補償とに用い
られた丸め込み方法は異なることを特徴とする動画像の
符号化方法。
【請求項７】請求項６に記載の動画像符号化方法におい
て、前記第1の動き補償に用いられた丸め込み方法がプ
ラスの丸め込みかマイナスの丸め込みかを判別する丸め
込み方法に関する情報を前記動きベクトルに関する情報
と前記差分に関する情報とに多重化する段階を有するこ
とを特徴とする動画像の符号化方法。
【請求項８】複数のフレームによって表現された動画像
を動き補償を用いて前記フレームごとに符号化する動画
像の符号化方法において、前記動画像は複数のPフレー
ムを含み、前記動画像において前記複数のPフレームが
時間的に発生する順に、プラスの丸め込みを用いる動き
補償とマイナスの丸め込みを用いる動き補償とを交互に
用いて前記複数のPフレームの各Pフレームの予測画像を
合成することを特徴とする動画像の符号化方法。
【請求項９】複数のフレームによって表現された動画像
を動き補償を用いて前記フレームごとに符号化する動画
像の符号化方法において前記動画像は、Ｉフレームと複
数のＰフレームを有し、前記Ｐフレームについて前記Ｉ
フレームから時間軸上の発生が何番目か数えられ、奇数
番目のＰフレームと偶数番目のＰフレームとでは、動き
補償に用いられる丸め込み方法が異なることを特徴とす
る動画像の符号化方法。
【請求項１０】複数のフレームによって表現された動画
像を動き補償を用いて前記フレームごとに符号化する動
画像の符号化方法において、前記フレームごとにプラス
の丸め込みを用いる動き補償とマイナスの丸め込みを用
いる動き補償のどちらを用いるかを決定することを特徴
とする動画像の符号化方法。
【請求項１１】請求項１０に記載の動画像の符号化方法
において、前記決定は第１の値と第２の値がほぼ2分の1
の確立で発生する乱数に基づいて決定されることを特徴
とする動画像の符号化方法。
【請求項１２】動き補償を用いて合成された現フレーム
の予測画像と現フレームの入力画像との差分をＤＣＴ変
換するＤＣＴ変換器と、変換されたＤＣＴ係数を量子化
する量子化器と、参照フレームの復号画像を記録するフ
レームメモリと、前記参照フレームの復号画像と前記現
フレームの入力画像との間で動き補償を行い現フレーム
の予測画像の合成と動きベクトルの検出を行うブロック
マッチング部と、前記量子化されたＤＣＴ係数に関する
情報と前記動きベクトルに関する情報と丸め込み方法に
関する情報とを多重化する多重化器とを有することを特
徴とする動画像の符号化装置。
【請求項１３】動き補償を用いて合成された現フレーム
の予測画像と現フレームの入力画像との差分をＤＣＴ変
換するＤＣＴ変換器と、変換されたＤＣＴ係数を量子化
する量子化器と、参照フレームの復号画像を記録するフ
レームメモリと、前記参照フレームの復号画像と前記現
フレームの入力画像との間で動き補償を行い現フレーム
の予測画像の合成と動きベクトルの検出を行うブロック
マッチング部と、前記量子化されたＤＣＴ係数に関する
情報と、前記動きベクトルに関する情報とを多重化する
多重化器とを有する動画像の符号化装置において、前記
ブロックマッチング部は、動き推定を行い動きベクトル
に関する情報を検出する動き推定器と、予測画像を合成
する予測画像合成器と、プラスの丸め込みを行うかマイ
ナスの丸め込みを行うかを決定する丸め込み方法決定器
とを有し、前記予測画像合成器は前記丸め込み方法決定
器から出力された前記丸め込み方法に関する情報と前記
動き推定器から出力された動きベクトルに関する情報と
に基づいて前記予測画像の合成を行うことを特徴とする
動画像の符号化装置。
【請求項１４】請求項１３に記載の動画像の符号化装置
において、前記ブロックマッチング部は、前記丸め込み
方法に関する情報を前記多重化手段に出力することを特
徴とする動画像の符号化装置。
【請求項１５】請求項１３に記載の動画像の符号化装置
において、前記予測画像合成部は複数のＰフレームの予
測画像を合成し、前記丸め込み方法決定器は、各々のＰ
フレームについて時間軸上で過去の方向に最も近いＩフ
レームから何番目のＰフレームであるかを数え、奇数番
目のＰフレームの予測画像と偶数番目のＰフレームの予
測画像とは異なった丸め込み方法を行うことを決定する
ことを特徴とする動画像の符号化装置。
【請求項１６】符号化器で合成された復号画像と予測画
像との差分に関する情報と動きベクトルに関する情報と
を分離し、前記動きベクトルに関する情報と過去に復号
化されたフレームの復号画像とから動き補償を用いて予
測画像を合成し、前記予測画像に前記差分に関する情報
を逆変換することで得られる誤差画像を加えることによ
って復号画像を合成する動画像の復号化方法において、
前記予測画像は、プラスの丸め込みを用いる動き補償に
よって合成される場合と、マイナスの丸め込みを用いる
動き補償によって合成される場合とを有することを特徴
とする動画像の復号化方法。
【請求項１７】請求項１６に記載の動画像の復号化方法
において、前記入力情報は、符号化器において前記予測
画像がプラスの丸め込みによる動き補償によって合成さ
れたかマイナスの丸め込みによる動き補償によって合成
されたかを判別する丸め込み方法に関する情報を有し、
前記丸め込み方法に関する情報に基づいて前記予測画像
を合成することを特徴とする動画像の復号化方法。
【請求項１８】入力情報から符号化器で合成された復号
画像と予測画像との差分にＤＣＴを適用することにより
発生したＤＣＴ係数に関する情報と動きベクトルに関す
る情報とを分離し、前記動きベクトルに関する情報と過
去に復号化されたフレームの復号画像とから動き補償を
用いて予測画像を合成し、前記予測画像に前記ＤＣＴ係
数に関する情報をＤＣＴ逆変換することで得られる誤差
画像を加えることによって復号画像を合成する動画像の
復号化方法において、前記動き補償は半画素精度を有
し、前記過去に復号化された過去のフレームの復号画像
の画素の存在しない点における輝度又は色差の強度値を
共１次内挿によって求める動き補償であって、前記過去
のフレームの復号画像中の、強度Laを有する第１の画素
と、前記第１の画素と水平方向に隣接し強度Lbを有する
第２の画素と、前記第１の画素と垂直方向に隣接し強度
Lcを有する第３の画素と、前記第２の画素と垂直方向に
隣接し、かつ前記第３の画素と水平方向に隣接する第４
の画素とから、画素の存在しない前記第１の画素と前記
第２の画素の中間点における強度Ibと、前記第１の画素
と前記第３の画素の中間点における強度Icと、前記第１
と第２と第３と第４の画素とに囲まれ前記第1、第2、第
3、および第4の画素から等距離にある点における強度Id
とを求める際に、Ib=[(La+Lb+1)/2]、Ic=[(La+Lc+1)/
2]、Id=[(La+Lb+Lc+Ld+2)/4]によってプラスの丸め込み
を行う場合と、Ib=[(La+Lb)/2]、Ic=[(La+Lc)/2]、Id=
[(La+Lb+Lc+Ld+1)/4]によってマイナスの丸め込みを行
う場合とを有することを特徴とする動画像の復号化方
法。
【請求項１９】請求項１８に記載の動画像の復号化方法
において、前記入力情報は、符号化器において前記予測
画像がプラスの丸め込みによる動き補償によって合成さ
れたかマイナスの丸め込みによる動き補償によって合成
されたかを判別する丸め込み方法に関する情報を有し、
前記丸め込み方法に関する情報に基づいて前記予測画像
を合成することを特徴とする動画像の復号化方法。
【請求項２０】複数のフレームによって表現された動画
像に関する入力情報を前記フレームごとに復号化する動
画像の復号化方法において、入力情報から、符号化器で
合成された復号画像と予測画像との差分に関する情報と
動きベクトルに関する情報とを分離する段階と、前記動
きベクトルに関する情報と前フレームの復号画像とから
第1の動き補償を用いて予測画像を合成する段階と、前
記予測画像に前記差分に関する情報を逆変換することで
得られる誤差画像を加えることによって復号画像を合成
する段階と、未来に復号化されるフレームの動きベクト
ルに関する情報と前記復号画像とから第2の動き補償を
用いて予測画像を合成する段階とを有し、前記第1の動
き補償と前記第２の動き補償は、プラスの丸め込みまた
はマイナスの丸め込み方法を用い、前記第1の動き補償
と前記第２の動き補償とに用いられた丸め込み方法は異
なることを特徴とする動画像の復号化方法。
【請求項２１】請求項２０に記載の動画像の復号化方法
において、前記入力情報は、符号化器で合成された予測
画像がプラスの丸め込みによる動き補償によって合成さ
れたかマイナスの丸め込みによる動き補償によって合成
されたかを判別する丸め込み方法に関する情報を有し、
前記丸め込み方法に関する情報に基づいて前記第1の動
き補償を行う特徴とする動画像の復号化方法。
【請求項２２】複数のフレームによって表現された動画
像を動き補償を用いて前記フレームごとに復号化する動
画像の復号化方法において、前記動画像は複数のPフレ
ームを含み、前記動画像において前記複数のPフレーム
が時間的に発生する順に、プラスの丸め込みを用いる動
き補償とマイナスの丸め込みを用いる動き補償を交互に
用いて前記Pフレームの予測画像が合成されることを特
徴とする動画像の復号化方法。
【請求項２３】複数のフレームによって表現された動画
像を動き補償を用いて前記フレームごとに復号化する動
画像の復号化方法において前記動画像は、Ｉフレームと
複数のＰフレームを含み、各々のＰフレームについて前
記Ｉフレームから時間軸上の発生が何番目か数えられ、
奇数番目のＰフレームと偶数番目のＰフレームとでは、
動き補償に用いられる丸め込みに方法が異なることを特
徴とする動画像の復号化方法。
【請求項２４】入力情報から、符号化器で合成された復
号画像と予測画像との差分を表わす量子化DCT係数と動
きベクトルに関する情報とを分離する分離器と、前記量
子化DCT係数を逆量子化してDCT係数を出力する逆量子化
器と、前記DCT係数を逆DCT変換して、誤差画像を出力す
る逆DCT変換器と、予測画像を合成する予測画像合成器
と、前記誤差画像と前記予測画像とを加算して復号画像
を出力する加算器とを有する動画像の復号化装置におい
て、前記予測画像合成器はプラスの丸め込みを用いる動
き補償とマイナスの丸め込みを用いる動き補償によって
予測画像を合成することを特徴とする動画像の復号化装
置。
【請求項２５】請求項２４に記載の動画像の復号化装置
において、前記入力情報は、前記符号化器で合成された
予測画像がプラスの丸め込み又はマイナスの丸め込みの
いずれかによって合成されたかを判別する丸め込み方法
に関する情報を有し、前記予測画像合成部は、前記丸め
込み方法に関する情報に基づいてプラスの丸め込みによ
る動き補償とマイナスの丸め込みによる動き補償のいず
れかによって予測画像を合成することを特徴とする動画
像の復号化装置。
【請求項２６】入力情報から量子化DCT係数と動きベク
トル情報とを分離する分離器と、前記量子化DCT係数を
逆量子化してDCT係数を出力する逆量子化器と、前記DCT
係数を逆DCT変換して、誤差画像を出力する逆DCT変換器
と、予測画像を合成する予測画像合成器と、前記誤差画
像と前記予測画像とを加算して復号画像を出力する加算
器とを有する動画像の復号化装置において、前記予測画
像合成器は、プラスの丸め込みによる動き補償とマイナ
スの丸め込みによる動き補償のいずれかを行うかを決定
する丸め込み方法決定器を有することを特徴とする動画
像の復号化装置。
【請求項２７】請求項２６に記載の動画像の符号化装置
において、前記予測画像合成器は、Ｉフレームの予測画
像とそれに続く複数のＰフレームの予測画像とを合成
し、前記丸め込み方法決定器は、各々のＰフレームにつ
いて前記Ｉフレームから何番目かを数え、奇数番目のＰ
フレームと偶数番目のＰフレームとでは異なる丸め込み
方法を決定することを特徴とする動画像の復号化装置。
【請求項２８】動画像の符号化方法が記録されたコンピ
ュータ読みとり可能な記録媒体において、前フレームの
復号画像を第１のフレームメモリに蓄える段階と、入力
画像を第２のフレームメモリに蓄える段階と、前記入力
画像と前記前フレームの復号画像との間で動き補償を行
う段階と、前記動き補償において用いられた丸め込み方
法に関する情報を出力する段階とが記録されていること
を特徴とするコンピュータ読みとり可能な記録媒体。
【請求項２９】複数のフレームによって表現された動画
像に関する入力情報を前記フレームごとに復号化する方
法が記録されたコンピュータ読みとり可能な記録媒体に
おいて、現フレームを符号化する際に用いられた丸め込
み方法の識別情報を受け取る段階と、前記丸め込み方法
の識別情報に基づいてプラスの丸め込み又はマイナスの
丸め込みを用いる動き補償によって現フレームの予測画
像を合成し、前記予測画像をフレームメモリに蓄える段
階とを有することを特徴とするコンピュータ読み取り可
能な記録媒体。
【請求項３０】動画像の符号化情報が複数のフレームに
関する情報として記録された記録媒体において、前記フ
レーム情報は、動き補償によって求められた現フレーム
の予測画像と現フレームの入力画像との差分に関する情
報と、前記動き補償によって求められた動きベクトルに
関する情報と、前記動き補償がプラスの丸め込みによる
動き補償か又はマイナスの丸め込みによる動き補償かを
識別する情報とが記録されていることを特徴とする記録
媒体。
【請求項３１】輝度および色差の強度値が負ではない整
数値をとり、かつ画素の動きベクトルの水平・垂直成分
が画素の水平・垂直方向のサンプリング間隔の整数倍以
外の値をとることができ、かつ近隣の画素のサンプル値
からの共１次内挿によって参照画像内の画素の存在しな
い点における強度値を求める動き補償方法において、実
数演算による共１次内挿を行った結果得られた強度値を
最も近い整数に丸め込み、かつ整数に0.5を加えた値を
０から遠ざける方向に切り上げる丸め込み方法を行う動
き補償をプラスの丸め込みによる動き補償と呼び、実数
演算による共１次内挿を行った結果得られた強度値を最
も近い整数に丸め込み、かつ整数に0.5を加えた値を０
に近づける方向に切り捨てる丸め込み方法を行う動き補
償をマイナスの丸め込みによる動き補償と呼ぶとして、
一つの動画像を符号化する際に、プラスの丸め込みによ
る動き補償と、マイナスの丸め込みによる動き補償の両
方を行うことを特徴とする画像符号化方法。
【請求項３２】輝度信号に対してはプラスの丸め込み又
はマイナスの丸め込みのいずれか一方による動き補償の
みを実行し、色差信号に対してはプラスの丸め込みによ
る動き補償とマイナスの丸め込みによる動き補償の両方
を行うことを特徴とする請求項３１に記載の画像符号化
方法。
【請求項３３】フレーム内符号化によって符号化される
フレームをＩフレーム、片方向の動き補償を用いるフレ
ーム間符号化によって符号化されるフレームをＰフレー
ム、両方向の動き補償を用いるフレーム間符号化によっ
て符号化されるフレームをＢフレームと呼ぶとして、動
画像において発生する順番に並べたＰフレームの輝度信
号と色差信号に対し、交互にプラスの丸め込みによる動
き補償とマイナスの丸め込みによる動き補償を実行する
ことを特徴とする請求項３１に記載の画像符号化方法。
【請求項３４】フレーム内符号化によって符号化される
フレームをＩフレーム、片方向の動き補償を用いるフレ
ーム間符号化によって符号化されるフレームをＰフレー
ム、両方向の動き補償を用いるフレーム間符号化によっ
て符号化されるフレームをＢフレームと呼ぶとして、動
画像において発生する順番に並べたＰフレームの色差信
号に対し、交互にプラスの丸め込みによる動き補償とマ
イナスの丸め込みによる動き補償を実行することを特徴
とする請求項３２に記載の画像符号化方法。
【請求項３５】誤差符号化方式としてＤＣＴ（離散コサ
イン変換）を使用し、ＤＣＴ係数の量子化ステップサイ
ズがある一定値より小さい場合にはプラスの丸め込み又
はマイナスの丸め込みのいずれか一方による動き補償を
実行することを特徴とする請求項３１に記載の画像符号
化方法。
【請求項３６】画素の水平・垂直方向のサンプリング間
隔を１として、動きベクトルの水平・垂直成分が１／ｄ
の整数倍の値（ｄは正の整数で、かつ偶数）をとり、複
数のｄの値に対応した動き補償を実行し、ｄの値がある
一定値より大きい場合にはプラスの丸め込み又はマイナ
スの丸め込みのいずれか一方による動き補償を実行する
ことを特徴とする請求項３１に記載の画像符号化方法。
【請求項３７】あるフレームにおいて、プラスの丸め込
みによる動き補償を実行するか、マイナスの丸め込みに
よる動き補償を行うかの判別情報をそのフレームの符号
化データとして出力することを特徴とする請求項３１に
記載の画像符号化方法。
【請求項３８】あるフレームの色差信号に対し、プラス
の丸め込みによる動き補償を実行するか、マイナスの丸
め込みによる動き補償を行うかの判別情報をそのフレー
ムの符号化データとして出力することを特徴とする請求
項３２に記載の画像符号化方法。
【請求項３９】フレーム内符号化によって符号化される
フレームをＩフレーム、片方向の動き補償を用いるフレ
ーム間符号化によって符号化されるフレームをＰフレー
ムと呼ぶとして、最も最近に符号化されたＩフレームの直後から何番目に
符号化されたＰフレームであるかを数え、これが偶数で
あるか奇数であるかによってプラスの丸め込みによる動
き補償を行うか、マイナスの丸め込みによる動き補償を
行うかの制御を行うことを特徴とする請求項３１に記載
の画像符号化方法。
【請求項４０】フレーム内符号化によって符号化される
フレームをＩフレーム、片方向の動き補償を用いるフレ
ーム間符号化によって符号化されるフレームをＰフレー
ムと呼ぶとして、最も最近に符号化されたＩフレームの直後から何番目に
符号化されたＰフレームであるかを数え、これが偶数で
あるか奇数であるかによって色差信号に対してプラスの
丸め込みによる動き補償を行うか、マイナスの丸め込み
による動き補償を行うかの制御を行うことを特徴とする
請求項３１に記載の画像符号化方法。
【請求項４１】輝度および色差の強度値が負ではない整
数値をとり、かつ画素の動きベクトルの水平・垂直成分
が画素の水平・垂直方向のサンプリング間隔の整数倍以
外の値をとることができ、かつ近隣の画素のサンプル値
からの共１次内挿によって参照画像内の画素の存在しな
い点における強度値を求める動き補償方法を２種類実行
し、これら２種類の動き補償方法によって得られた２種
類のフレーム間予測画像に対し、強度値の平均化の処理
を行うことによってフレーム間予測画像を合成する動き
補償方法を実行し、実数演算による平均化を行った結果
得られた強度値を最も近い整数に丸め込み、かつ整数に
0.5を加えた値を０から遠ざける方向に切り上げる丸め
込みを行う平均化方法をプラスの丸め込みによる平均化
と呼び、実数演算による平均化を行った結果得られた強
度値を最も近い整数に丸め込み、かつ整数に0.5を加え
た値を０に近づける方向に切り捨てる丸め込みを行う平
均化方法をマイナスの丸め込みによる平均化と呼ぶとし
て、マイナスの丸め込みによる動き補償が行われた場合
にはプラスの平均化を行い、プラスの丸め込みによる動
き補償が行われた場合にはマイナスの平均化を行うこと
を特徴とする請求項３１に記載の画像符号化方法。
【請求項４２】輝度および色差の強度値が負ではない整
数値をとり、かつ２種類の動き補償方法によって得られ
た２種類のフレーム間予測画像に対し、強度値の平均化
の処理を行うことによってフレーム間予測画像を合成す
る動き補償方法を実行し、実数演算による平均化を行っ
た結果得られた強度値を最も近い整数に丸め込み、かつ
整数に0.5を加えた値を０から遠ざける方向に切り上げ
る丸め込みを行う平均化方法をプラスの丸め込みによる
平均化と呼び、実数演算による平均化を行った結果得ら
れた強度値を最も近い整数に丸め込み、かつ整数に0.5
を加えた値を０に近づける方向に切り捨てる丸め込みを
行う平均化方法をマイナスの丸め込みによる平均化と呼
ぶとして、一つの動画像を符号化する際に、プラスの平
均化とマイナスの平均化の両方を行うことを特徴とする
画像符号化方法。
【請求項４３】参照画像を記憶する段階と、入力画像と
前記参照画像とを比較して動き補償を行い予測画像の合
成と、動きベクトルの検出とを行う段階と、前記動きベ
クトルに関する情報と前記動き補償における画素の強度
値の内挿に用いられた丸め込み方法を特定する情報とを
多重化する段階とを有することを特徴とする動画像の符
号化方法
【請求項４４】参照画像を記憶する段階と、入力画像と
前記参照画像とを比較して動き補償を行い予測画像の合
成と、動きベクトルの検出とを行う段階とを有する動画
像の符号化方法において、前記動き補償において画像の
強度値の内挿に用いられる丸め込み方法は、前記参照画
像の符号化において用いられた丸め込み方法と異なるこ
とを特徴とする動画像の符号化方法。
【請求項４５】参照画像を記録するメモリと、入力画像
と前記参照画像とを比較して動き補償を行い予測画像の
合成と、動きベクトルの検出とを行うブロックマッチン
グ部と、前記動きベクトルに関する情報と前記動き補償
における画素の強度値の内挿に用いられる丸め込み方法
を特定する情報とを多重化する多重化器とを有すること
を特徴とする動画像の符号化装置。
【請求項４６】参照画像を記録するメモリと、入力画像
と前記参照画像とを比較して動き補償を行い予測画像の
合成と、動きベクトルの検出とを行うブロックマッチン
グ部とを有する動画像の符号化装置において、前記動き
補償において画像の強度値の内挿に用いられる丸め込み
方法は、前記参照画像の符号化において用いられた丸め
込み方法と異なることを決定する丸め込み方法決定器と
を有することを特徴とする動画像の符号化方法。
【請求項４７】参照画像を記録する段階と、動きベクト
ルに関する情報と画素の強度値の内挿に用いられた丸め
込み方法を特定する情報とを受け取る段階と、前記参照
画像と前記動きベクトルに関する情報を用い前記丸め込
み方法に従って動き補償を行い予測画像を合成する段階
とを有する動画像の復号化方法。
【請求項４８】参照画像を記録する段階と、動きベクト
ルに関する情報と画素の強度値の内挿に用いられた丸め
込み方法を特定する情報とを受け取る段階と、前記参照
画像と前記動きベクトルに関する情報を用い動き補償を
行い予測画像を合成する段階とを有する動画像の復号化
方法において、記動き補償において画像の強度値の内挿
に用いられる丸め込み方法は、前記参照画像の復号化に
おいて用いられた丸め込み方法と異なることを特徴とす
る動画像の符号化方法。
【請求項４９】参照画像を記録するメモリと、予測画像
の合成を行う予測画像合成器とを有する動画像の復号化
装置において、前記予測画像合成器は、動きベクトルに
関する情報と、丸め込み方法を特定する情報を受け取
り、前記丸め込み方法にしたがって前記動きベクトルと
前記参照画像とから前記予測画像の合成を行うことを特
徴とする動画像の復号化装置。
【請求項５０】参照画像を記録するメモリと、動きベク
トルに関する情報を受け取り、前記動きベクトルと前記
参照画像とから動き補償を行い予測画像の合成を行う予
測画像合成器と、前記動き補償において画像の強度値の
内挿に用いられる丸め込み方法と前記参照画像の符号化
において用いられた丸め込み方法とが異なるように制御
する丸め込み方法決定器とを有することを特徴とする動
画像の復号化装置。
【請求項５１】動画像に関する情報が符号化ビットスト
リームとして記録された記録媒体において、前記動画像
は動き補行を用いて符号化され、前記符号化ビットスト
リームは、前記情動き補償において画素の強度値の内挿
に用いられた丸め込み方法を特定するビット情報を有す
る特徴とする記録媒体。
【請求項５２】請求項５１に記載の記録媒体において、
前記丸め込み方法を特定する情報は1ビットであること
を特徴とする記録媒体。
【請求項５３】記録媒体に記録された動画像の符号化情
報を読み取り該符号化情報を復号化する再生装置におい
て、動画像の符号化情報を読み込む手段と、前記符号化
情報を複合化する復号化装置と、復号化された画像を伝
送路又はモニタに出力する手段とを有し、前記復号化装
置は、前記符号化情報に含まれる丸め込み方法を特定す
る情報に従って予測画像の合成を行う予測画像合成部を
有することを特徴とすることを特徴とする再生装置。
【請求項５４】ディジタル放送信号を受信し、該信号に
含まれる動画像の符号化情報を複合化するディジタル放
送受信機において、動画像の符号化情報を受信するアン
テナと、前記符号化情報を複合化する復号化装置と、復
号化された信号を表示するモニタとを有し、前記復号化
装置は、前記符号化情報に含まれる丸め込み方法を特定
する情報に従って予測画像の合成を行う予測画像合成部
を有することを特徴とするディジタル放送受信機。
【請求項５５】ディジタル信号を送受信するアンテナ
と、受信したディジタル信号を複合化し復号画像を出力
する復号化装置と、前記復号画像を表示するモニタとを
有するディジタル通信携帯端末において、前記復号化装
置は参照画像を記録するメモリと、予測画像の合成を行
う予測画像合成器とを有し、前記予測画像合成器は、受
信したディジタル情報から動きベクトルに関する情報
と、丸め込み方法を特定する情報を受け取り、前記丸め
込み方法にしたがって前記動きベクトルと前記参照画像
とから前記予測画像の合成を行うことを特徴とするディ
ジタル通信携帯端末。
【請求項５６】撮影した画像を符号化する符号化装置
と、符号化情報を記録媒体に記録する記録装置とを有す
る撮影カメラにおいて、前記符号化装置は、参照画像を
記録するメモリと、入力画像と前記参照画像とを比較し
て動き補償を行い予測画像の合成と、動きベクトルの検
出とを行うブロックマッチング部と、前記動きベクトル
に関する情報と前記動き補償における画素の強度値の内
挿に用いられる丸め込み方法を特定する情報とを多重化
する多重化器とを有し、前記記録装置は前記多重化器か
らの出力を前記記録媒体に記録することを特徴とする撮
影カメラ。
【請求項５７】動画像の復号化方法を記録するプログラ
ム用メモリと、動画像の符号化情報が入力される入力バ
ッファと、前記符号化情報に含まれる動きベクトルに関
する情報と丸め込み方法に関する情報とを用いて予測画
像の合成を実行するプロセッサと、前記予測画像を記録
する第１のフレームメモリと、前記予測画像に前記符号
化情報に含まれる誤差画像に関する情報を加算して得ら
れる復号画像を記録する第２のフレームメモリと、前記
復号画像を表示するモニタとを有することを特徴とする
コンピュータシステム。