JPH10145792A

JPH10145792A - 画像符号化装置および画像符号化方法

Info

Publication number: JPH10145792A
Application number: JP29534296A
Authority: JP
Inventors: Shinya Iki; 信弥伊木; Motoki Kato; 元樹加藤; Satoshi Mihashi; 聡三橋; Yuji Ando; 裕司安藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-11-07
Filing date: 1996-11-07
Publication date: 1998-05-29
Anticipated expiration: 2016-11-07
Also published as: JP3700801B2

Abstract

(57)【要約】【課題】画像の符号化効率を向上させる。【解決手段】時間的に先行する過去参照画像に対す
る、符号化対象の画像の動きベクトルである順方向動き
ベクトルと、時間的に後行する未来参照画像に対する、
符号化対象の画像の動きベクトルである逆方向動きベク
トルとが検出され、順方向動きベクトルまたは逆方向動
きベクトルにしたがってそれぞれ得られる予測画像に対
する残差ＥｆまたはＥｂの大小関係に対応して、予測モ
ードが選択される。この場合において、双方向予測符号
化モードは、残差ＥｆまたはＥｂが所定値以上となると
きにのみ、選択され得るようになされており、その所定
値は、順方向動きベクトルまたは逆方向動きベクトルに
対応して設定されるようになされている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法に関し、特に、例えば、動画像を、
光磁気ディスクや磁気テープなどの記録媒体に記録した
り、テレビ会議システムや、テレビ電話システム、放送
用機器などにおいて、動画像を、伝送路を介して、送信
側から受信側に伝送する場合などに用いて好適な画像符
号化装置および画像符号化方法に関する。

【０００２】

【従来の技術】例えば、動画像をディジタル化して記録
したり、伝送する場合においては、そのデータ量が膨大
であることから、従来より、画像データを圧縮符号化す
ることが行われている。動画像の代表的な符号化方式と
しては、動き補償予測符号化などがある。

【０００３】動き補償予測符号化は、画像の時間軸方向
の相関を利用する符号化方法で、図１３に示すように、
参照する画像（参照画像）（参照フレーム）に対する、
符号化対象の画像（符号化対象画像）（現フレーム）の
動きベクトルを検出し、その動きベクトルにしたがっ
て、既に符号化されて復号化された参照画像を動き補償
することにより、予測画像を生成する。そして、この予
測画像に対する、符号化対象画像の予測残差を求め、こ
の予測残差と動きベクトルを符号化することにより、動
画像の情報量が圧縮される。

【０００４】動き補償予測符号化の具体的なものとして
は、ＭＰＥＧ（Moving Picture Experts Group）符号化
がある。これは、ＩＳＯ（国際標準化機構）とＩＥＣ
（国際電気標準会議）のＪＴＣ（Joint Technical Comm
ittee）１のＳＣ（Sub Committee）９のＷＧ（Working
Group）１１においてまとめられた動画像符号化方式の
通称である。

【０００５】ＭＰＥＧでは、１フレームまたは１フィー
ルドが、１６ライン×１６画素で構成されるマクロブロ
ックに分割され、このマクロブロック単位で、動き補償
予測符号化が行われる。

【０００６】ここで、動き補償予測符号化には、大別し
て、イントラ符号化と、インター符号化（非イントラ符
号化）の２つの符号化方式がある。イントラ符号化で
は、符号化対象のマクロブロックに関して、自身の情報
がそのまま符号化され、インター符号化では、他の時刻
のフレーム（またはフィールド）を参照画像として、そ
の参照画像から生成される予測画像と、自身の情報との
差分が符号化される。

【０００７】ＭＰＥＧでは、各フレームが、Ｉピクチャ
（Intra coded picture）、Ｐピクチャ（Predictive co
ded picture）、またはＢピクチャ（Bidirectionally p
redictive picture）のうちのいずれかとして符号化さ
れる。また、ＭＰＥＧでは、ＧＯＰ（Group Of Pictur
e）単位で処理が行われる。

【０００８】即ち、ＭＰＥＧにおいては、ＧＯＰは、例
えば、図１４に示すように、１７フレームで構成され
る。そして、いま、このＧＯＰを構成するフレームを、
その先頭から、Ｆ１，Ｆ２，・・・，Ｆ１７とすると
き、例えば、同図に示すように、フレームＦ１はＩピク
チャとして、フレームＦ２はＢピクチャとして、フレー
ムＦ３はＰピクチャとして処理される。その後のフレー
ムＦ４乃至Ｆ１７は、交互に、ＢピクチャまたはＰピク
チャとして処理される。

【０００９】Ｉピクチャはイントラ符号化されるが、Ｐ
およびＢピクチャは、基本的に、インター符号化され
る。即ち、Ｐピクチャは、図１４（Ａ）に矢印で示すよ
うに、基本的には、その直前のＩまたはＰピクチャを参
照画像として用いて、インター符号化される。Ｂピクチ
ャは、図１４（Ｂ）に矢印で示すように、基本的には、
その直前のＩまたはＰピクチャと、その直後のＰピクチ
ャとの両方、あるいは、そのいずれか一方を参照画像と
して用いて、インター符号化される。

【００１０】より具体的には、図１５に示すように、ま
ず、フレームＦ１がＩピクチャとして処理される。即
ち、そのすべてのマクロブロックはイントラ符号化され
（ＳＰ１）、伝送データＦ１Ｘとして、伝送路を介して
伝送される。

【００１１】次に、時間的に後行する画像（未来の画
像）を参照画像とする可能性のあるＢピクチャであるフ
レームＦ２をスキップして、Ｐピクチャであるフレーム
Ｆ３が先に処理される。フレームＦ３については、その
直前のＩピクチャであるフレームＦ１を参照画像とし
て、その参照画像から生成される予測画像に対する予測
残差が求められ（順方向予測符号化され）（ＳＰ３）、
これが、フレームＦ１に対する動きベクトルｘ３ととも
に、伝送データＦ３Ｘとして伝送される。あるいは、ま
た、フレームＦ３は、フレームＦ１と同様にイントラ符
号化され（ＳＰ１）、伝送データＦ３Ｘとして伝送され
る。Ｐピクチャを、イントラ符号化するか、または順方
向予測符号化するかは、マクロブロック単位で切り換え
ることができる。

【００１２】フレームＦ３の符号化後は、Ｂピクチャで
あるフレームＦ２が処理される。Ｂピクチャは、イント
ラ符号化、順方向予測符号化、逆方向予測符号化、また
は双方向予測符号化される。

【００１３】即ち、イントラ符号化では、フレームＦ２
は、フレームＦ１と同様に、そのデータがそのまま伝送
データＦ２Ｘとして伝送される（ＳＰ１）。

【００１４】順方向予測符号化では、フレームＦ２は、
その直前の（時間的に先行する）ＩまたはＰピクチャで
あるフレームＦ１を参照画像として、その参照画像から
生成される予測画像に対する予測残差が求められ（順方
向予測符号化され）（ＳＰ３）、これが、フレームＦ１
に対する動きベクトルｘ１とともに、伝送データＦ２Ｘ
として伝送される。

【００１５】逆方向予測符号化では、フレームＦ２は、
その直後の（時間的に後行する）ＩまたはＰピクチャで
あるフレームＦ３を参照画像として、その参照画像から
生成される予測画像に対する予測残差が求められ（逆方
向予測符号化され）（ＳＰ２）、これが、フレームＦ３
に対する動きベクトルｘ２とともに、伝送データＦ２Ｘ
として伝送される。

【００１６】双方向予測符号化では、フレームＦ２は、
フレームＦ１とＦ３を参照画像として、その参照画像か
ら生成される予測画像の平均値などに対する予測残差が
求められ（双方向予測符号化され）（ＳＰ４）、これ
が、フレームＦ１とＦ３に対する動きベクトルｘ１とｘ
２とともに、伝送データＦ２Ｘとして伝送される。

【００１７】なお、Ｂピクチャを、イントラ符号化、順
方向予測符号化、逆方向予測符号化、または双方向予測
符号化のうちのいずれで符号化するかも、Ｐピクチャと
同様に、マクロブロック単位で切り換えることができ
る。

【００１８】また、イントラ符号化に対して、順方向予
測符号化、逆方向予測符号化、および双方向予測符号化
が、インター符号化（非イントラ符号化）と呼ばれる。

【００１９】ここで、以下、適宜、時間的に先行または
後行する参照画像を、過去参照画像または未来参照画像
という。

【００２０】

【発明が解決しようとする課題】画像符号化装置には、
Ｂピクチャのマクロブロックを符号化させる際に、イン
トラ符号化、順方向予測符号化、逆方向予測符号化、ま
たは両方向予測符号化のうちの、最も符号化効率の良い
予測モードを選択させるのが望ましい。

【００２１】そこで、Ｂピクチャを、上述の４つの予測
モードそれぞれで符号化し、その結果得られるデータ量
の最も少ないものを選択する方法がある。

【００２２】しかしながら、この方法では、４つの予測
モードそれぞれで符号化する必要があるため、処理に時
間を要し、あるいは、装置規模が大きくなる。

【００２３】そこで、過去参照画像に対する、符号化対
象の画像の動きベクトルである順方向動きベクトルと、
未来参照画像に対する、符号化対象の画像の動きベクト
ルである逆方向動きベクトルとを検出（ＭＥ（Motion E
stimation））し、順方向動きベクトルまたは逆方向動
きベクトルに対応して過去参照画像または未来参照画像
をそれぞれ動き補償することにより予測画像を求め、そ
れぞれの予測画像に対する、符号化対象の画像の予測残
差（ME Error）（以下、適宜、動きベクトル推定残差と
もいう）に対応して、Ｂピクチャの予測モードを決定す
る方法（正確には、３種類のインター符号化（順方向予
測符号化、逆方向予測符号化、および両方向予測符号
化）のうちの１つを選択する方法））を、本件出願人は
先に提案している。

【００２４】この方法（以下、適宜、第１の方法とい
う）においては、まず最初に、例えば、符号化対象のマ
クロブロックと、参照画像を動き補償して得られる予測
マクロブロックとの、各画素値の差分の絶対値和が、動
きベクトル推定残差として求められる。

【００２５】そして、過去参照画像または未来参照画像
に対する動きベクトル推定残差を、それぞれＥｆまたは
Ｅｂとするとき、インター符号化の中のどれを用いるか
が、例えば、図１６に示すように決定される。

【００２６】即ち、式Ｅｂ＞ｊ×Ｅｆが成り立つ場合、
順方向予測符号化が選択され、式Ｅｂ＜ｋ×Ｅｆが成り
立つ場合、逆方向予測符号化が選択される。そして、こ
れら以外の場合、即ち、式ｋ×Ｅｆ≦Ｅｂ≦ｊ×Ｅｆが
成り立つ場合、双方向予測符号化が選択される。

【００２７】なお、０＜ｋ＜ｊで、図１６においては、
ｊ＝２，ｋ＝１／２としてある。

【００２８】ここで、本明細書中において、記号＜，＞
は、記号≦，≧としても良い。同様に、記号≦，≧は、
記号＜，＞としても良い。

【００２９】従って、順方向動きベクトルによる予測残
差Ｅｆが、逆方向動きベクトルによる予測残差Ｅｂに比
べ、比較的小さい場合（図１６では、１／２未満（以
下）である場合）、順方向予測符号化が選択される。ま
た、逆方向動きベクトルによる予測残差Ｅｂが、順方向
動きベクトルによる予測残差Ｅｆに比べ、比較的小さい
場合（図１６では、１／２未満（以下）である場合）、
逆方向予測符号化が選択される。さらに、予測残差Ｅｆ
とＥｂとの比がそれほど大きなものおよび小さなもので
ない場合（図１６では、Ｅｆ／Ｅｂが１／２以上（より
大きく）、かつ２以下（未満）の場合）、双方向予測が
選択される。

【００３０】ところで、画像のシーケンスが、図１４に
示したように、ＩまたはＰピクチャの間に、１枚（フレ
ームまたはフィールド）のＢピクチャが配置されて構成
されている場合においては、Ｂピクチャに対する過去参
照画像または未来参照画像それぞれとなるＩあるいはＰ
ピクチャ（Ｉ／Ｐピクチャ）から、そのＢピクチャまで
の時間的な距離が、いずれも同一であるから、第１の方
法によって、符号化効率の向上を図ることができる。

【００３１】しかしながら、画像のシーケンスが、Ｉま
たはＰピクチャの間に、２枚以上のＢピクチャが配置さ
れて構成されている場合、即ち、例えば、図１７に示す
ように、２枚のＢピクチャが配置されて構成されている
場合においては、インター符号化の中で、順方向予測符
号化または逆方向予測符号化が、最も符号化効率が高い
のにも拘らず、双方向予測符号化が選択されることがあ
った。

【００３２】なお、このことは、本件発明者が行ったシ
ミュレーションにより確認している。

【００３３】これは、図１７に示すように、Ｂピクチャ
から、その過去参照画像または未来参照画像それぞれと
なるＩ／Ｐピクチャまでの距離が異なることに起因す
る。

【００３４】即ち、２枚のＢピクチャが配置されている
場合においては、１枚目のＢピクチャについては、未来
参照画像までの距離の方が、過去参照画像までの距離よ
り遠くなり、２枚目のＢピクチャについては、その逆
に、過去参照画像までの距離の方が、未来参照画像まで
の距離より遠くなる。従って、１枚目のＢピクチャにつ
いては、逆方向動きベクトルによる予測精度が劣化し、
２枚目のＢピクチャについては、順方向動きベクトルに
よる予測精度が劣化する。

【００３５】そこで、本件出願人は、Ｂピクチャから過
去参照画像または未来参照画像それぞれまでの距離を考
慮して、予測モードを決定することにより、過去参照画
像と未来参照画像との間に、２枚以上のＢピクチャが配
置されていても、画像を効率良く符号化することが可能
な方法（以下、適宜、第２の方法という）を、先に提案
している（例えば、特願平７−２１０６６５号）。

【００３６】この第２の方法では、符号化対象のＢピク
チャが、過去参照画像または未来参照画像のうちのいず
れに近いかによって、インター符号化の中から１つを選
択する条件が変更されるようになされている。

【００３７】即ち、符号化対象のＢピクチャが、過去参
照画像に近い場合（例えば、図１７におけるフレームＦ
２や、Ｆ５，Ｆ８，・・・）、図１８（Ａ）に示すよう
に、式Ｅｂ＞ａ×Ｅｆが成り立つとき、順方向予測符号
化が選択され、式Ｅｂ＜ｂ×Ｅｆが成り立つとき、逆方
向予測符号化が選択される。また、式ｂ×Ｅｆ≦Ｅｂ≦
ａ×Ｅｆが成り立つとき、双方向予測符号化が選択され
る。

【００３８】但し、０＜ｂ＜ａで、また、ａは、図１６
におけるｊより小さい値である。図１８（Ａ）において
は、ａ＝４／３，ｂ＝１／２としてある。

【００３９】一方、符号化対象のＢピクチャが、未来参
照画像に近い場合（例えば、図１７におけるフレームＦ
３や、Ｆ６，Ｆ９，・・・）、図１８（Ｂ）に示すよう
に、式Ｅｂ＞ｃ×Ｅｆが成り立つとき、順方向予測符号
化が選択され、式Ｅｂ＜ｄ×Ｅｆが成り立つとき、逆方
向予測符号化が選択される。また、式ｄ×Ｅｆ≦Ｅｂ≦
ｃ×Ｅｆが成り立つとき、双方向予測符号化が選択され
る。

【００４０】但し、０＜ｄ＜ｃで、また、ｄは、図１６
におけるｋより大きい値である。図１８（Ｂ）において
は、ｃ＝２，ｄ＝３／４としてある。

【００４１】以上のようにすることで、符号化対象のＢ
ピクチャが、過去参照画像に近い場合には、その過去参
照画像のみを用いる順方向予測符号化が選択され易くな
り、また、未来参照画像に近い場合には、その未来参照
画像のみを用いる逆方向予測符号化が選択され易くな
る。従って、予測精度が高い参照画像だけを用いて予測
符号化され易くなり、その結果、符号化効率を向上させ
ることができる。

【００４２】しかしながら、第２の方法によれば、例え
ば、動きの遅い画像、あるいは、物体が、水平方向にパ
ンしているなど、一定の単純な動きをしている画像など
を符号化対象とすると、符号化効率が若干低下する場合
があった。

【００４３】即ち、動きの遅い画像や、一定の単純な動
きをしている画像については、順方向予測符号化または
逆方向予測符号化するより、双方向予測符号化する方が
予測精度が高くなり、従って、符号化効率も高くなる。
しかしながら、第２の方法では、図１８に示したよう
に、図１６における場合に比較して、双方向予測符号化
が選択される範囲を狭くして、順方向予測符号化または
逆方向予測符号化が選択される範囲を広くしている。こ
れにより、第２の方法によれば、動きの遅い画像や、一
定の単純な動きをしている画像を符号化する場合におい
ても、双方向予測符号化より、順方向予測符号化または
逆方向予測符号化が選択され易く、その結果、符号化効
率が劣化する。

【００４４】一方、従来においては、動きベクトルの伝
送に必要なビット量を考慮せずに、インター符号化の選
択（順方向予測符号化、逆方向予測符号化、または双方
向予測符号化のうちのいずれか１つの選択）を行ってい
た。

【００４５】即ち、従来においては、基本的に、順方向
予測符号化、逆方向予測符号化、または双方向予測符号
化のうちの、予測残差が最も小さいものが選択されるよ
うになされていた。

【００４６】しかしながら、例えば、順方向予測符号
化、逆方向予測符号化、および双方向予測符号化につい
てのいずれの予測残差も小さい場合においては、そのう
ちの双方向予測符号化についてのものが最も小さくて
も、動きベクトルの伝送に要するビット量をも考慮する
と、双方向予測符号化よりも、順方向予測符号化または
逆方向予測符号化の方が、符号化効率が良くなることが
あった。

【００４７】なお、このようなケースは、例えば、動き
の速い画像を符号化する場合に生じることが多かった。

【００４８】本発明は、このような状況に鑑みてなされ
たものであり、画像の符号化効率を、より向上させるこ
とができるようにするものである。

【００４９】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、時間的に先行する過去参照画像に対する、
符号化対象の画像の動きベクトルである順方向動きベク
トルと、時間的に後行する未来参照画像に対する、符号
化対象の画像の動きベクトルである逆方向動きベクトル
とを検出する動きベクトル検出手段と、順方向動きベク
トルまたは逆方向動きベクトルに対応して、符号化対象
の画像の予測モードを決定する予測モード決定手段とを
備えることを特徴とする。

【００５０】請求項１０に記載の画像符号化方法は、時
間的に先行する過去参照画像に対する、符号化対象の画
像の動きベクトルである順方向動きベクトルと、時間的
に後行する未来参照画像に対する、符号化対象の画像の
動きベクトルである逆方向動きベクトルとを検出し、順
方向動きベクトルまたは逆方向動きベクトルに対応し
て、符号化対象の画像の予測モードを決定することを特
徴とする。

【００５１】請求項１に記載の画像符号化装置において
は、動きベクトル検出手段は、時間的に先行する過去参
照画像に対する、符号化対象の画像の動きベクトルであ
る順方向動きベクトルと、時間的に後行する未来参照画
像に対する、符号化対象の画像の動きベクトルである逆
方向動きベクトルとを検出し、予測モード決定手段は、
順方向動きベクトルまたは逆方向動きベクトルに対応し
て、符号化対象の画像の予測モードを決定するようにな
されている。

【００５２】請求項１０に記載の画像符号化方法におい
ては、時間的に先行する過去参照画像に対する、符号化
対象の画像の動きベクトルである順方向動きベクトル
と、時間的に後行する未来参照画像に対する、符号化対
象の画像の動きベクトルである逆方向動きベクトルとを
検出し、順方向動きベクトルまたは逆方向動きベクトル
に対応して、符号化対象の画像の予測モードを決定する
ようになされている。

【００５３】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００５４】即ち、請求項１に記載の画像符号化装置
は、時間的に先行する過去参照画像に対する、符号化対
象の画像の動きベクトルである順方向動きベクトルと、
時間的に後行する未来参照画像に対する、符号化対象の
画像の動きベクトルである逆方向動きベクトルとを検出
する動きベクトル検出手段（例えば、図６に示す動きベ
クトル推定回路６など）と、順方向動きベクトルまたは
逆方向動きベクトルに対応して、符号化対象の画像の予
測モードを決定する予測モード決定手段（例えば、図７
に示す予測モード決定回路２１など）と、予測モードに
対応する動き補償を行うことにより、予測画像を生成す
る動き補償手段（例えば、図７に示す動き補償回路２０
など）と、符号化対象の画像と、予測画像との差分値を
演算する差分値演算手段（例えば、図７に示す演算部１
１など）と、差分値を符号化する符号化手段（例えば、
図７に示すＤＣＴ回路１２や、量子化回路１３、可変長
符号化回路１５など）とを備えることを特徴とする。

【００５５】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００５６】次に、本発明の原理について説明する。

【００５７】動画像においては、一般に、画像どうしの
時間軸方向の相関は、その画像どうしの距離（間隔）が
大きくなるほど小さくなる。

【００５８】従って、例えば、図１４と同一の図１に示
すような、Ｉ／Ｐピクチャの間に１枚のＢピクチャが配
置されたシーケンスにおいては、Ｂピクチャと、過去参
照画像または未来参照画像それぞれとの相関は等しく、
その結果、過去参照画像および未来参照画像に対する動
きベクトル推定残差Ｅｆ，Ｅｂについての統計的な性質
も等しくなる。

【００５９】一方、例えば、図１７と同一の図２に示す
ような、Ｉ／Ｐピクチャの間に２枚以上のＢピクチャが
配置されたシーケンスにおいては、Ｂピクチャと、過去
参照画像または未来参照画像それぞれとの相関は、その
距離に対応して変化する。

【００６０】このため、例えば、図３に示すように、Ｐ
ピクチャＰ_nとＰ_n+4との間に、３枚のＢピクチャ
Ｂ_n+1，Ｂ_n+2，Ｂ_n+3が配置されている場合において、
この３枚のＢピクチャＢ_n+1，Ｂ_n+2，Ｂ_n+3を、Ｐピク
チャＰ_nまたはＰ_n+4それぞれを過去参照画像または未来
参照画像として予測符号化すると、過去参照画像Ｐ_nに
対するＢピクチャＢ_n+1，Ｂ_n+2，Ｂ_n+3それぞれの動き
ベクトル残差Ｅ_f1，Ｅ_f2，Ｅ_f ₃は、一般に、Ｅ_f1＜Ｅ_f2
＜Ｅ_f3の関係になる。

【００６１】同様に、未来参照画像Ｐ_n+4に対するＢピ
クチャＢ_n+1，Ｂ_n+2，Ｂ_n+3それぞれの動きベクトル残
差Ｅ_b1，Ｅ_b2，Ｅ_b3は、一般に、Ｅ_b1＞Ｅ_b2＞Ｅ_b3の関
係になる。

【００６２】以上のように、Ｉ／Ｐピクチャの間に、２
枚以上のＢピクチャが配置されている場合には、各Ｂピ
クチャについて、過去参照画像または未来参照画像それ
ぞれまでの距離が異なるため、その相関も異なる。その
結果、過去参照画像または未来参照画像に対する動きベ
クトル残差それぞれの統計的性質も、各Ｂピクチャによ
って異なり、従って、符号化効率を向上させるには、各
Ｂピクチャを符号化する際の予測モードの決定方法を、
その統計的性質に応じて変える必要がある。

【００６３】次に、双方向予測符号化による予測精度
は、一般に、画像の動きが速いほど低下する。このた
め、双方向予測符号化による場合には、順方向動きベク
トルと逆方向動きベクトルとの両方を伝送しなければな
らないことをも考慮すると、画像の動きが速い場合に
は、双方向予測符号化による予測残差が最も小さいとき
であっても、符号化対象のＢピクチャから時間的に最も
近い参照画像のみを用いて予測符号化を行う方が、発生
する全体のデータ量が少なくなることが多い。

【００６４】一方、画像の動きの速さは、例えば、動き
ベクトルをＭＶと表し、そのｘ成分（水平方向の成分）
をｖ_xと、ｙ成分（垂直方向の成分）をｖ_yと表すとき、
動きベクトルの大きさ｜ＭＶ｜＝（ｖ_x ²＋ｖ_y ²）^1/2で
表すことができる。

【００６５】そこで、Ｉ／Ｐピクチャの間に、例えば、
図２に示したように、２枚のＢピクチャが配置されてい
る場合においては、動きベクトルの大きさ｜ＭＶ｜に対
応して、次のように予測モードを設定することにより、
符号化効率を向上させることができる。

【００６６】即ち、いま、符号化対象のＢピクチャか
ら、過去参照画像または未来参照画像までのフレーム数
を、それぞれＤｆまたはＤｂとすると、Ｄｆ＝１および
Ｄｂ＝２の場合（符号化対象のＢピクチャからの距離
が、過去参照画像の方が近い場合）、例えば、図４
（Ａ）に示すように、式Ｅｂ＞ｐ×ＥｆかつＥｂ＞ｑ×
Ｅｆ＋（１−ｐ×ｑ）×Ｔ_iが成り立つとき、順方向予
測符号化を選択し、式Ｅｂ≦ｐ×ＥｆかつＥｂ＜ｒ×Ｅ
ｆ＋（１−ｐ×ｒ）×Ｔ_iが成り立つとき、逆方向予測
符号化を選択する。また、式ｒ×Ｅｆ＋（１−ｐ×ｒ）
×Ｔ_i≦ＥｂかつＥｂ≦ｑ×Ｅｆ＋（１−ｐ×ｑ）×Ｔ_i
が成り立つとき、双方向予測符号化を選択する。

【００６７】ここで、Ｔ_iは０以上の定数で、０＜ｒ＜
ｑであり、また、ｑは、図１６におけるｊより小さい値
である。図４（Ａ）においては、ｑ＝５／４，ｒ＝３／
４となっている。また、ｐ＝１となっている。

【００６８】この場合、予測残差ＥｆがＴ_i未満（以
下）か、または予測誤差Ｅｂがｐ×Ｔ_ｉ未満となるとき
は、双方向予測符号化は選択されない。即ち、この場
合、双方向予測符号化は、予測残差ＥｆがＴ_ｉ以上とな
る（より大きくなる）か、または予測誤差Ｅｂがｐ×Ｔ
_i以上となるときに限り選択され得る。

【００６９】従って、この場合、動きベクトルの大きさ
｜ＭＶ｜が大きくなるにつれて、定数Ｔ_iを大きな値に
設定することにより、双方向予測符号化が選択され難く
なる。

【００７０】即ち、Ｔ₁＜Ｔ₂＜・・・＜Ｔ_n＜Ｔ_n+1、お
よび０＜ｍｖ₀＜ｍｖ₁＜・・・＜ｍｖ_n-1＜ｍｖ_nとする
場合において、動きベクトルの大きさ｜ＭＶ｜が、ｍｖ
₀以上ｍｖ₁未満のときは、Ｔ_iをＴ₁に、ｍｖ₁以上ｍｖ₂
未満のときは、Ｔ_iをＴ₂に、・・・、ｍｖ_n-1以上ｍｖ_n
未満のときは、Ｔ_iをＴ_nに、ｍｖ_n以上のときは、Ｔ_iを
Ｔ_n+1に設定する。このようにすることで、画像の動き
が速いほど、予測精度の低下し、動きベクトルに割り当
てるビット量が大きく増加する双方向予測符号化が選択
され難くなり、その結果、符号化効率を向上させること
ができる。

【００７１】また、この場合、符号化対象のＢピクチャ
が、過去参照画像に近いことから、その過去参照画像の
みを用いる順方向予測符号化が選択され易くなっている
ので、この点からも、符号化効率を向上させることがで
きる。

【００７２】一方、Ｄｆ＝２およびＤｂ＝１の場合（符
号化対象のＢピクチャからの距離が、未来参照画像の方
が近い場合）、例えば、図４（Ｂ）に示すように、式Ｅ
ｂ＞ｓ×ＥｆかつＥｂ＞ｔ×Ｅｆ＋（１−ｓ×ｔ）×Ｔ
_iが成り立つとき、順方向予測符号化を選択し、式Ｅｂ
≦ｓ×ＥｆかつＥｂ＜ｕ×Ｅｆ＋（１−ｓ×ｕ）×Ｔ_i
が成り立つとき、逆方向予測符号化を選択する。また、
式ｕ×Ｅｆ＋（１−ｓ×ｕ）×Ｔ_i≦ＥｂかつＥｂ≦ｔ
×Ｅｆ＋（１−ｓ×ｔ）×Ｔ_iが成り立つとき、双方向
予測符号化を選択する。

【００７３】ここで、０＜ｕ＜ｔであり、また、ｕは、
図１６におけるｋより大きい値である。図４（Ｂ）にお
いては、ｔ＝４／３，ｕ＝４／５となっている。また、
ｓ＝１となっている。

【００７４】この場合も、予測残差ＥｆがＴ_i未満か、
または予測誤差Ｅｂがｓ×Ｔ_i未満となるときは、双方
向予測符号化は選択されない。即ち、この場合、双方向
予測符号化は、予測残差ＥｆがＴ_i以上となるか、また
は予測誤差Ｅｂがｓ×Ｔ_i以上となるときに限り選択さ
れ得る。

【００７５】従って、上述の場合と同様に、動きベクト
ルの大きさ｜ＭＶ｜が大きくなるにつれて、定数Ｔ_iを
大きな値に設定することにより、双方向予測符号化が選
択され難くなり、その結果、符号化効率を向上させるこ
とができる。

【００７６】また、この場合、符号化対象のＢピクチャ
が、未来参照画像に近いことから、その未来参照画像の
みを用いる逆方向予測符号化が選択され易くなっている
ので、この点からも、符号化効率を向上させることがで
きる。

【００７７】なお、画像の動きが遅い場合には、前述し
たように、双方向予測符号化の予測精度が高く、また、
発生符号量も少なくなるので、双方向予測符号化が選択
されるのが望ましい。そこで、動きベクトルの大きさ｜
ＭＶ｜が所定の値ｍｖ₀未満となった場合には、例え
ば、図１６と同一の図５に示すように、式Ｅｂ＞ｊ×Ｅ
ｆが成り立つときは、順方向予測符号化を選択し、式Ｅ
ｂ＜ｋ×Ｅｆが成り立つときは、逆方向予測符号化を選
択し、式ｋ×Ｅｆ≦Ｅｂ≦ｊ×Ｅｆが成り立つときは、
双方向予測符号化を選択するようにする。

【００７８】即ち、図４において、例えば、ｔ＝ｑ＝
ｊ，ｒ＝ｕ＝ｋ，Ｔ_i＝０とする。

【００７９】このようにすることで、動きベクトルの大
きさ｜ＭＶ｜がｍｖ₀未満となった場合には、予測精度
の高い双方向予測符号化が選択され易くなり、その結
果、符号化効率を向上させることができる。

【００８０】なお、画像の動きの速さは、動きベクトル
の大きさ｜ＭＶ｜の他、例えば、動きベクトルＭＶのｘ
成分の絶対値とｙ成分の絶対値との和｜ｘ｜＋｜ｙ｜な
どにも反映される。そこで、上述の定数Ｔ_iは、この成
分の絶対値和｜ｘ｜＋｜ｙ｜に対応して設定することも
可能である。

【００８１】次に、双方向予測符号化による予測精度
は、画像の動きの速さの他、その複雑さによっても変化
する。即ち、双方向予測符号化による予測精度は、基本
的に、画像の動きが、物体が、水平方向にパンしている
など、一定の単純なものであるときは高くなり、複雑に
なるほど低下する。

【００８２】このため、双方向予測符号化による場合に
は、順方向動きベクトルと逆方向動きベクトルとの両方
を伝送しなければならないことをも考慮すると、画像の
動きが複雑な場合には、双方向予測符号化による予測残
差が最も小さいときであっても、符号化対象のＢピクチ
ャから時間的に最も近い参照画像（過去参照画像または
未来参照画像までの距離が等しい場合には、そのうちの
いずれか一方）のみを用いて予測符号化を行う方が、発
生する全体のデータ量が少なくなることが多い。

【００８３】一方、例えば、物体が平行移動している画
像においては、その順方向動きベクトルと逆方向動きベ
クトルの方向は逆になる。即ち、順方向動きベクトルの
ｘ成分またはｙ成分の符号と、逆方向動きベクトルのｘ
成分またはｙ成分の符号とは（ｘ成分どうしの符号とｙ
成分どうしの符号は）、それぞれ異なるものとなる。

【００８４】逆に、物体が複雑な動きをしている場合、
ｘ成分どうしの符号またはｙ成分どうしの符号のうちの
少なくとも一方は同一となる。

【００８５】従って、例えば、いま、順方向動きベクト
ルのｘ成分またはｙ成分をそれぞれＦｘまたはＦｙとす
るとともに、逆方向動きベクトルのｘ成分またはｙ成分
をそれぞれＢｘまたはＢｙとすると、次式で表されるＳ
ＭＶは、画像の動きの複雑さを反映したものとなる。

【００８６】ＳＭＶ＝｜Ｆｘ＋Ｂｘ｜＋｜Ｆｙ＋Ｂｙ｜

【００８７】なお、このＳＭＶは、画像の動きの複雑さ
に対応して変化する他、順方向予測符号化および逆方向
予測符号化の両方の予測精度が高い場合には小さくな
り、いずれか一方の予測精度が低い場合には大きくなる
傾向がある。

【００８８】そこで、Ｉ／Ｐピクチャの間に、例えば、
図２に示したように、２枚のＢピクチャが配置されてい
る場合においては、ＳＭＶに対応して、次のように予測
モードを設定することによっても、符号化効率を向上さ
せることができる。

【００８９】即ち、まず、Ｄｆ＝１およびＤｂ＝２の場
合、例えば、図４（Ａ）に示したように、式Ｅｂ＞ｐ×
ＥｆかつＥｂ＞ｑ×Ｅｆ＋（１−ｐ×ｑ）×Ｔ_iが成り
立つとき、順方向予測符号化を選択し、式Ｅｂ≦ｐ×Ｅ
ｆかつＥｂ＜ｒ×Ｅｆ＋（１−ｐ×ｒ）×Ｔ_iが成り立
つとき、逆方向予測符号化を選択する。また、式ｒ×Ｅ
ｆ＋（１−ｐ×ｒ）×Ｔ_i≦ＥｂかつＥｂ≦ｑ×Ｅｆ＋
（１−ｐ×ｑ）×Ｔ_iが成り立つとき、双方向予測符号
化を選択する。

【００９０】この場合、上述したように、予測残差Ｅｆ
がＴ_i未満か、または予測誤差Ｅｂがｐ×Ｔ_i未満となる
ときは、双方向予測符号化は選択されない。即ち、この
場合、双方向予測符号化は、予測残差ＥｆがＴ_i以上と
なるか、または予測誤差Ｅｂがｐ×Ｔ_i以上となるとき
に限り選択され得る。

【００９１】従って、この場合、ＳＭＶが大きくなるに
つれて、定数Ｔ_iを大きな値に設定することにより、双
方向予測符号化が選択され難くなる。

【００９２】即ち、０＜ＭＶ₀＜ＭＶ₁＜・・・＜ＭＶ
_n-1＜ＭＶ_nとする場合において、ＳＭＶが、ＭＶ₀以上
ＭＶ₁未満のときは、Ｔ_iをＴ₁に、ＭＶ₁以上ＭＶ₂未満
のときは、Ｔ_iをＴ₂に、・・・、ＭＶ_n-1以上ＭＶ_n未満
のときは、Ｔ_iをＴ_nに、ＭＶ_n以上のときは、Ｔ_iをＴ
_n+1に設定する。このようにすることで、画像の動きが
複雑なほど、予測精度の低下する双方向予測符号化が選
択され難くなり、その結果、符号化効率を向上させるこ
とができる。

【００９３】また、この場合、符号化対象のＢピクチャ
が、過去参照画像に近いことから、その過去参照画像の
みを用いる順方向予測符号化が選択され易くなっている
ので、この点からも、符号化効率を向上させることがで
きる。

【００９４】一方、Ｄｆ＝２およびＤｂ＝１の場合、例
えば、図４（Ｂ）に示したように、式Ｅｂ＞ｓ×Ｅｆか
つＥｂ＞ｔ×Ｅｆ＋（１−ｓ×ｔ）×Ｔ_iが成り立つと
き、順方向予測符号化を選択し、式Ｅｂ≦ｓ×Ｅｆかつ
Ｅｂ＜ｕ×Ｅｆ＋（１−ｓ×ｕ）×Ｔ_iが成り立つと
き、逆方向予測符号化を選択する。また、式ｕ×Ｅｆ＋
（１−ｓ×ｕ）×Ｔ_i≦ＥｂかつＥｂ≦ｔ×Ｅｆ＋（１
−ｓ×ｔ）×Ｔ_iが成り立つとき、双方向予測符号化を
選択する。

【００９５】この場合も、予測残差ＥｆがＴ_i未満か、
または予測誤差Ｅｂがｓ×Ｔ_i未満となるときは、双方
向予測符号化は選択されない。即ち、この場合、双方向
予測符号化は、予測残差ＥｆがＴ_i以上となるか、また
は予測誤差Ｅｂがｓ×Ｔ_i以上となるときに限り選択さ
れ得る。

【００９６】従って、やはり、上述の場合と同様に、Ｓ
ＭＶが大きくなるにつれて、定数Ｔ_iを大きな値に設定
することにより、双方向予測符号化が選択され難くな
り、その結果、符号化効率を向上させることができる。

【００９７】また、この場合、符号化対象のＢピクチャ
が、未来参照画像に近いことから、その未来参照画像の
みを用いる逆方向予測符号化が選択され易くなっている
ので、この点からも、符号化効率を向上させることがで
きる。

【００９８】なお、画像の動きが非常に単純な場合、即
ち、例えば、物体が、一定方向に平行移動しているよう
な場合には、ＳＭＶは非常に小さな値となる（理想的に
は、０となる）。また、この場合、前述したように、双
方向予測符号化の予測精度が高く、また、発生符号量も
少なくなるので、双方向予測符号化が選択されるのが望
ましい。そこで、ＳＭＶが所定の値ＭＶ₀未満となった
場合には、例えば、図１６と同一の図５に示すように、
式Ｅｂ＞ｊ×Ｅｆが成り立つときは、順方向予測符号化
を選択し、式Ｅｂ＜ｋ×Ｅｆが成り立つときは、逆方向
予測符号化を選択し、式ｋ×Ｅｆ≦Ｅｂ≦ｊ×Ｅｆが成
り立つときは、双方向予測符号化を選択するようにす
る。

【００９９】即ち、図４において、例えば、ｔ＝ｑ＝
ｊ，ｒ＝ｕ＝ｋ，Ｔ_i＝０とする。

【０１００】このようにすることで、ＳＭＶがＭＶ₀未
満となった場合には、予測精度の高い双方向予測符号化
が選択され易くなり、その結果、符号化効率を向上させ
ることができる。

【０１０１】また、画像の動きが非常に単純な場合の例
として、ビデオカメラをパンして撮影した画像がある
が、この場合、動きベクトルのｘ成分が、そのｙ成分に
比較して非常に大きくなる。そこで、例えば、ｇを所定
の定数（１より大きい値である、例えば４など）とし
て、式｜ｘ｜＞ｇ｜ｙ｜が成り立つときにも、上述のよ
うに、双方向予測符号化が選択され易くするようにする
ことが可能である。なお、このことは、式ｇ｜ｘ｜＜｜
ｙ｜が成り立つときについても同様である。

【０１０２】以上のように、画像の動きの速さや複雑さ
に対応して、適応的に、予測モードを選択（決定）する
ようにすることで、符号化効率を、従来より向上させる
ことができる。

【０１０３】なお、上述の場合においては、Ｉ／Ｐピク
チャの間に、２枚のＢピクチャが配置されているとした
が、その間に、１枚だけまたは３枚以上のＢピクチャが
配置されている場合についても同様のことがいえる。

【０１０４】次に、図６および図７は、本発明を適用し
た画像符号化装置の一実施の形態の構成を示している。

【０１０５】この画像符号化装置は、上述した、例え
ば、画像の動きの複雑さを反映するＳＭＶに対応して予
測モードを決定し、画像を、動き補償とＤＣＴ（Discre
te Cosine Transform）とを組み合わせたハイブリッド
符号化するようになされている。

【０１０６】即ち、符号化すべき画像データは、例え
ば、フレーム（またはフィールド）単位で、画像符号化
タイプ指定回路３に供給される。画像符号化タイプ指定
回路３は、そこに入力されるフレームを、Ｉ，Ｐ、また
はＢピクチャ（以下、適宜、これらをまとめてピクチャ
タイプという）のいずれとして処理するのかを指定す
る。

【０１０７】具体的には、画像符号化タイプ指定回路３
は、例えば、図８（Ａ）に示すように、そこに入力され
る１６フレームの画像Ｆ１乃至Ｆ１６を１ＧＯＰのデー
タとして処理し、同図（Ｂ）に示すように、最初のフレ
ームＦ１をＩピクチャとして、２番目および３番目のフ
レームＦ２およびＦ３をＢピクチャとして、４番目のフ
レームＦ４をＰピクチャとして指定する。さらに、画像
符号化タイプ指定回路３は、５番目および６番目のフレ
ームＦ５およびＦ６をＢピクチャとして、７番目のフレ
ームＦ７をＰピクチャとして指定し、以下、同様にし
て、残りのフレームＦ８乃至Ｆ１６を、ＢまたはＰピク
チャとして指定する。

【０１０８】なお、図８（Ｂ）（同図（Ｃ）についても
同様）において、Ｉ，Ｐ，Ｂに付してある下付けの数字
は、ＭＰＥＧにおけるテンポラルリファレンス（tempor
al referencd）に相当し、各フレームの表示順を表す。

【０１０９】画像符号化タイプ指定回路３においてピク
チャタイプの指定されたフレームは、画像符号化順序替
え回路４に出力される。画像符号化順序替え回路４で
は、フレームの並びが符号化順に並び替えられる。即
ち、Ｂピクチャは、受信側において、自己が表示された
後に表示される画像を参照画像（未来参照画像）として
用いて復号化される場合があるため、その未来参照画像
が既に復号化されていないと、Ｂピクチャを復号化する
ことができない。そこで、画像符号化順序替え回路４で
は、未来参照画像となるフレームが、Ｂピクチャより先
に符号化されるように、ＧＯＰを構成するフレームの並
びが替えられる。

【０１１０】具体的には、例えば、図８（Ｃ）に示すよ
うに並び替えられる。

【０１１１】画像符号化順序替え回路４で並びの替えら
れたフレームのシーケンスは、スキャンコンバータ５に
供給される。スキャンコンバータ５では、ラスタスキャ
ンで入力されるフレームがブロックフォーマットの信号
に変換される。

【０１１２】即ち、スキャンコンバータ５には、例え
ば、Ｈドットで構成されるラインを、Ｖラインだけ集め
たフレームフォーマットの画像データが入力される。そ
して、スキャンコンバータ５は、この画像データを、図
９（Ａ）に示すように、１６ラインで構成されるＮ個の
スライスに区分し（従って、ここでは、Ｖ＝１６×
Ｎ）、さらに、同図（Ｂ）に示すように、各スライス
を、１６ドットごとに区分することで、Ｍ個のマクロブ
ロックに分割する（従って、ここでは、Ｈ＝１６×
Ｍ）。

【０１１３】従って、各マクロブロックは、１６×１６
ドットに対応する輝度信号で構成される。なお、マクロ
ブロックは、図９（Ｃ）に示すように、８×８ドットに
対応する輝度信号Ｙ［１］乃至Ｙ［４］に区分され、さ
らに、マクロブロックには、８×８ドットに対応する色
差信号Ｃｂ［５］とＣｒ［６］が対応付けられる。後述
するＤＣＴ回路１２（図７）では、この８×８ドットの
ブロック単位で、ＤＣＴ処理が施される。

【０１１４】以上のようにして、スキャンコンバータ５
で得られたマクロブロックは、図７の演算部１１に供給
される。

【０１１５】図６に戻り、カウンタ９は、画像符号化順
序替え回路４が出力するフレーム同期信号をカウントし
ている。

【０１１６】即ち、画像符号化順序替え回路４は、スキ
ャンコンバータ５に、並び替えたフレームを出力するタ
イミングで、フレーム同期信号を、カウンタ９に出力し
ている。さらに、画像符号化順序替え回路４は、スキャ
ンコンバータ５に出力するフレームのピクチャタイプＴ
ＹＰＥを検出し、動きベクトル推定回路６、カウンタ
９、および図７の予測モード決定回路２１に出力してい
る。

【０１１７】カウンタ９は、画像符号化順序替え回路４
が出力するフレーム同期信号をカウントし、そのカウン
ト値ＣＮＴを、画像間距離発生回路１０に出力する。な
お、カウンタ９は、画像符号化順序替え回路４が出力す
るピクチャタイプＴＹＰＥがＩまたはＰピクチャのと
き、そのカウント値ＣＮＴを、例えば０にリセットする
ようになされている。

【０１１８】従って、カウンタ９が出力するカウント値
ＣＮＴは、ＩまたはＰピクチャの間に配置されたＢピク
チャの数を表す。

【０１１９】ここで、本実施の形態では、図８（Ｂ）に
示したように、ＩまたはＰピクチャの間に、２枚のＢピ
クチャが配置されているので、カウンタ９が出力するカ
ウント値ＣＮＴは、同図（Ｄ）に示すように、０，１、
または２となる。

【０１２０】画像間距離発生回路１０は、カウンタ９か
らのカウント値ＣＮＴに基づいて、Ｂピクチャから、そ
の予測符号化（インター符号化）に用いられる過去参照
画像または未来参照画像それぞれまでの距離（フレーム
数）ＤｆまたはＤｂを算出し、図７の予測モード決定回
路２１に出力する。

【０１２１】即ち、画像間距離発生回路１０は、過去参
照画像までの距離Ｄｆとして、図８（Ｅ）に示すよう
に、カウント値ＣＮＴと同一の値を出力し、また、未来
参照画像までの距離Ｄｂとして、図８（Ｆ）に示すよう
に、カウント値ＣＮＴを逆に並べた値を出力する。

【０１２２】一方、動きベクトル推定回路６では、順方
向動きベクトルＭＶｆおよび逆方向動きベクトルＭＢｂ
が検出（推定）され、さらに、その順方向動きベクトル
ＭＶｆまたは逆方向動きベクトルＭＶｂそれぞれに対す
る予測残差（動きベクトル推定残差）ＥｆまたはＥｂが
算出される。

【０１２３】即ち、動きベクトル推定回路６には、画像
符号化順序替え回路４から、ピクチャタイプＴＹＰＥが
指定されたフレームと、そのピクチャタイプＴＹＰＥが
供給されるようになされている。

【０１２４】動きベクトル推定回路６は、画像符号化順
序替え回路４から供給されるフレームを、そのピクチャ
タイプＴＹＰＥにしたがって、記憶部７を構成する過去
参照画像記憶部７Ａ、現在画像記憶部７Ｂ、または未来
参照画像記憶部７Ｃのうちのいずれかに記憶させ、現在
画像記憶部７Ｂに記憶された画像を対象に、その動きベ
クトルを検出する。

【０１２５】具体的には、動きベクトル推定回路６は、
例えば、図８に示した場合において、Ｉ₁を過去参照画
像記憶部７Ａに記憶させ、Ｐ₄を現在画像記憶部７Ｂに
記憶させ、これにより、Ｉ₁を過去参照画像として、Ｐ₄
の動きベクトル（順方向動きベクトル）ＭＶｆを検出
し、その予測残差Ｅｆを求める。次に、現在画像記憶部
７Ｂに記憶されていたＰ₄を未来参照画像記憶部７Ｃに
転送し、Ｂ₂を現在画像記憶部７Ｂに記憶させ、これに
より、Ｉ₁またはＰ₄を、それぞれ過去参照画像または未
来参照画像として、Ｂ₂の順方向動きベクトルＭＶｆま
たは逆方向動きベクトルＭＶｂを検出し、それぞれの予
測残差ＥｆまたはＥｂを求める。

【０１２６】続いて、Ｂ₃を現在画像記憶部７Ｂに記憶
させ、これにより、上述した場合と同様に、Ｂ₃の順方
向動きベクトルＭＶｆまたは逆方向動きベクトルＭＶｂ
を検出し、それぞれの予測残差ＥｆまたはＥｂを求め
る。

【０１２７】その後、未来参照画像記憶部７Ｃに記憶さ
れていたＰ₄を、過去参照画像記憶部７Ａに転送して記
憶させる（上書きする）とともに、Ｐ₇を現在画像記憶
部７Ｂに記憶させ、これにより、Ｐ₄を過去参照画像と
して、Ｐ₇の動きベクトルＭＶｆを検出し、その予測残
差Ｅｆを求める。

【０１２８】次に、現在画像記憶部７Ｂに記憶されてい
たＰ₇を未来参照画像記憶部７Ｃに転送し、Ｂ₅を現在画
像記憶部７Ｂに記憶させ、これにより、Ｐ₄またはＰ
₇を、それぞれ過去参照画像または未来参照画像とし
て、Ｂ₅の順方向動きベクトルＭＶｆまたは逆方向動き
ベクトルＭＶｂを検出し、それぞれの予測残差Ｅｆまた
はＥｂを求める。以下、同様にして、動きベクトルの検
出と、予測残差の算出が行われていく。

【０１２９】ここで、予測誤差ＥｆおよびＥｂの算出方
法について説明する。

【０１３０】いま、あるマクロブロックを注目マクロブ
ロックとし、その注目マクロブロックを構成する左から
ｉ番目で、上からｊ番目の画素の画素値をＡ_ijと表すと
ともに、注目マクロブロックに最も近似する過去参照画
像の１６×１６の範囲を構成する、左からｉ番目で、上
からｊ番目の画素の画素値をＦ_ijと表す。この場合、予
測誤差Ｅｆは、例えば、次式にしたがって算出される。

【０１３１】Ｅｆ＝Σ｜Ａ_ij−Ｆ_ij｜なお、上式において、Σは、ｉ，ｊを１乃至１６に変え
てのサメーションを表す。

【０１３２】また、注目マクロブロックに最も近似する
未来参照画像の１６×１６の範囲を構成する、左からｉ
番目で、上からｊ番目の画素の画素値をＢ_ijと表すと、
予測誤差Ｅｂは、例えば、次式にしたがって算出され
る。

【０１３３】Ｅｂ＝Σ｜Ａ_ij−Ｂ_ij｜なお、上式においても、Σは、ｉ，ｊを１乃至１６に変
えてのサメーションを表す。

【０１３４】以上のようにして求められた動きベクトル
ＭＶｆ，ＭＢｂ、予測誤差Ｅｆ，Ｅｂは、図７の予測モ
ード決定回路２１に供給される。また、動きベクトルＭ
Ｖｆ，ＭＢｂは、図７の可変長符号化回路１５および動
き補償回路２０にも供給される。さらに、Ｂピクチャに
ついての動きベクトルＭＶｆ，ＭＢｂは、動き量算出回
路８にも供給される。

【０１３５】動き量算出回路８では、動きベクトルＭＶ
ｆ，ＭＢｂから、上述したＳＭＶが算出され、図７の予
測モード決定回路２１に供給される。

【０１３６】図７の予測モード決定回路２１では、距離
Ｄｆ，Ｄｂ、動きベクトルＭＶｆ，ＭＶｂ、ピクチャタ
イプＴＹＰＥ、およびＳＭＶに基づいて、マクロブロッ
クの予測モードが決定される。

【０１３７】即ち、ピクチャタイプＴＹＰＥがＩピクチ
ャである場合、即ち、符号化対象のマクロブロックがＩ
ピクチャである場合、予測モード決定回路２１は、予測
モードを、イントラ符号化モードに決定する。

【０１３８】また、ピクチャタイプＴＹＰＥがＰピクチ
ャである場合、即ち、符号化対象のマクロブロックがＰ
ピクチャである場合、予測モード決定回路２１は、次の
ようにして、予測モードを、イントラ符号化モードまた
は順方向予測符号化モードのうちのいずれかに決定す
る。

【０１３９】即ち、この場合、予測モード決定回路２１
は、まず、イントラ符号化時の予測残差として、例え
ば、次式で定義されるＥ_intraを算出する。

【０１４０】Ｅ_intra＝Σ｜Ａ_ij−Ａ_av｜なお、上式において、Ａ_ijは、符号化対象のマクロブロ
ックを構成する左からｉ番目で、上からｊ番目の画素の
画素値を表し、Ａ_avは、その平均値を表す。また、Σ
は、ｉ，ｊを１乃至１６に変えてのサメーションを表
す。

【０１４１】そして、予測モード決定回路２１は、イン
トラ符号化時の予測残差Ｅ_intraが、順方向予測符号化
における予測残差Ｅｆより小さいとき（以下のとき）、
予測モードを、イントラ符号化モードに決定する。ま
た、イントラ符号化時の予測残差Ｅ_intraが、順方向予
測符号化における予測残差Ｅｆ以上のとき（より大きい
とき）、予測モードを、順方向予測符号化モードに決定
する。

【０１４２】次に、ピクチャタイプＴＹＰＥがＢピクチ
ャである場合、即ち、符号化対象のマクロブロックがＢ
ピクチャである場合、予測モード決定回路２１は、次の
ようにして、予測モードを、イントラ符号化モード、順
方向予測符号化モード、逆方向予測符号化モード、また
は双方向予測符号化モードのうちのいずれかに決定す
る。

【０１４３】即ち、まず、予測モード決定回路２１は、
インター符号化、つまり、順方向予測符号化モード、逆
方向予測符号化モード、または双方向予測符号化モード
のうちの１つを選択（決定）する。

【０１４４】この選択は、ＳＭＶ、予測残差Ｅｆ，Ｅ
ｂ、距離Ｄｆ，Ｄｂ、および動きベクトルＭＶｆ，ＭＶ
ｂに基づいて行われる。

【０１４５】即ち、まず、ＳＭＶに対応して、図４で説
明した定数Ｔ_iが設定される。そして、距離Ｄｆおよび
Ｄｂに対応して、図４（Ａ）または図４（Ｂ）のうちの
いずれか一方が選択され、その選択された方において、
予測残差ＥｆとＥｂとの上述したような大小関係に基づ
いて、順方向予測符号化モード、逆方向予測符号化モー
ド、または双方向予測符号化モードの中から１つが選択
される。

【０１４６】なお、ＳＭＶが所定値ＭＶ₀以下の場合
や、動きベクトルＭＶｆ，ＭＶｂのｘ成分またはｙ成分
の絶対値のうちのいずれか一方が、他方に比較して充分
大きい場合などには、上述したように、図５で説明した
予測残差ＥｆとＥｂとの大小関係に基づいて、順方向予
測符号化モード、逆方向予測符号化モード、または双方
向予測符号化モードの中から１つが選択される。

【０１４７】そして、インター符号化の中から選択され
た予測モードに対応する予測残差が、インター符号化に
ついての予測残差Ｅ_interとされる。なお、双方向予測
符号化モードが選択された場合、予測残差Ｅ_interは、
例えば、予測残差ＥｆとＥｂの平均値とされる。従っ
て、順方向予測符号化モード、逆方向予測符号化モー
ド、または双方向予測符号化モードが選択された場合、
予測残差Ｅ_interは、それぞれＥｆ，Ｅｂ、または（Ｅ
ｆ＋Ｅｂ）／２とされる。

【０１４８】さらに、予測モード決定回路２１では、上
述した場合と同様にして、イントラ符号化時の予測残差
Ｅ_intraが算出される。そして、予測モード決定回路２
１は、イントラ符号化時の予測残差Ｅ_intraが、インタ
ー符号化の中から選択したものの予測残差Ｅ_interより
小さいとき、予測モードを、イントラ符号化モードに決
定する。また、イントラ符号化時の予測残差Ｅ
_intraが、予測残差Ｅ_inter以上のとき、予測モードを、
インター符号化の中から選択したものに決定する。

【０１４９】従って、Ｂピクチャについては、画像の動
き複雑さ、さらには、参照画像までの距離に対応して、
その予測モードが適応的に決定されるので、その符号化
効率を、より向上させることが可能となる。

【０１５０】以上のようにして決定された予測モード
は、予測モード決定部２１から、演算部１１、可変長符
号化回路１５、および動き補償回路２０に供給される。

【０１５１】演算部１１には、予測モード決定回路２１
から供給される予測モードで予測符号化すべきマクロブ
ロック（符号化対象のマクロブロック）が、図６のスキ
ャンコンバータ５から供給される。演算部１１は、演算
器１１Ａ乃至１１ＣおよびスイッチＳＷを有しており、
予測モードに対応して、スイッチＳＷが切り換えられ
る。

【０１５２】即ち、演算部１１にＩピクチャのマクロブ
ロックが入力される場合においては、予測モードはイン
トラ符号化モードとなっている。この場合、スイッチＳ
Ｗは端子ａを選択する。端子ａには、符号化対象のマク
ロブロックが、そのまま供給されるようになされてお
り、従って、このマクロブロックは、端子ａを介して、
ＤＣＴ回路１２に供給される。

【０１５３】ＤＣＴ回路１２では、演算部１１からのマ
クロブロックがＤＣＴ処理され、これにより、ＤＣＴ係
数に変換される。このＤＣＴ係数は、量子化回路１３に
供給され、そこで、所定の量子化ステップで量子化され
た後、可変長符号化回路１５に供給される。

【０１５４】可変長符号化回路１５には、量子化回路１
３から量子化されたＤＣＴ係数が供給される他、同じく
量子化回路１３から量子化ステップが、予測モード決定
回路２１から予測モードが、図６の動きベクトル推定回
路６から動きベクトルＭＶｆ，ＭＶｂが、それぞれ供給
されるようになされている。可変長符号化回路１５は、
適宜、これらのデータを、例えば、ハフマン符号などの
可変長符号に変換し、送信バッファ１４に出力する。

【０１５５】送信バッファ１４は、可変長符号化回路１
５からの可変長符号を一時記憶し、例えば、一定のデー
タレートにして出力する。送信バッファ１４から出力さ
れる可変長符号は、例えば、光ディスクや、光磁気ディ
スク、磁気ディスク、光カード、磁気テープ、相変化デ
ィスクなどの記録媒体３１に記録され、あるいは、衛星
回線、地上波、ＣＡＴＶ網、インターネットなどの伝送
路３２を介して伝送される。

【０１５６】なお、送信バッファ１４は、そのデータの
蓄積量を量子化回路１３に供給（フィードバック）する
ようになされている。量子化回路１３は、この蓄積量に
基づいて、量子化ステップを設定するようになされてい
る。即ち、量子化回路１３は、送信バッファ１４がオー
バーフローしそうなとき、量子化ステップを大きくし、
これにより、データ発生量を減少させる。また、量子化
回路１３は、送信バッファ１４がアンダーフローしそう
なとき、量子化ステップを小さくし、これにより、デー
タ発生量を増加させる。以上のようにして、送信バッフ
ァ１４のオーバーフローおよびアンダーフローを防止す
るようになされている。

【０１５７】一方、量子化回路１３が出力する量子化さ
れたＤＣＴ係数と量子化ステップとは、可変長符号化回
路１５の他、逆量子化回路１６にも供給される。逆量子
化回路１６は、量子化回路１３からの量子化されたＤＣ
Ｔ係数を、同じく量子化回路１３からの量子化ステップ
で逆量子化し、その結果得られるＤＣＴ係数を、ＩＤＣ
Ｔ回路１７に出力する。

【０１５８】ＩＤＣＴ回路１７では、逆量子化回路１６
からのＤＣＴ係数が逆ＤＣＴ処理され、これにより、演
算部１１の出力とほぼ同一の値の画像データが復元さ
れ、演算器１８に供給される。演算器１８は、そこに入
力される画像データが、イントラ符号化されるものであ
る場合には、特に処理を行わず、その画像データを、そ
のままフレームメモリ１９に出力して記憶させる。

【０１５９】なお、フレームメモリ１９は、未来参照画
像または過去参照画像として用いられる画像を記憶する
未来参照画像記憶回路１９Ａおよび過去参照画像記憶回
路１９Ｂを有しており、最初に符号化され、復号化され
たＩピクチャは、過去参照画像記憶回路１９Ｂに記憶さ
れる。

【０１６０】次に、演算部１１に入力されたマクロブロ
ックがＰピクチャである場合において、予測モードがイ
ントラ符号化モードであるときには、スイッチＳＷは端
子ａを選択する。従って、この場合、Ｐピクチャのマク
ロブロックは、上述のＩピクチャにおける場合と同様に
符号化され、また、ローカルデコードされて、フレーム
メモリ１９に供給される。なお、Ｉピクチャの次に符号
化され、復号化されたＰピクチャは、未来参照画像記憶
回路１９Ａに記憶される。

【０１６１】一方、演算部１１に入力されたマクロブロ
ックがＰピクチャである場合において、予測モードが順
方向予測符号化モードであるときには、スイッチＳＷ
は、端子ｂを選択する。端子ｂには、演算器１１Ａの出
力が供給されるようになされており、また、演算器１１
Ａには、符号化対象のマクロブロックと、動き補償回路
２０の出力とが供給されるようになされている。

【０１６２】動き補償回路２０は、予測モードが順方向
予測符号化モードの場合、過去参照画像記憶回路１９Ｂ
に記憶されている画像（いまの場合、Ｉピクチャ）を過
去参照画像として読み出し、動きベクトルＭＶｆにした
がって動き補償を施すことにより予測画像を生成する。
即ち、動き補償回路２０は、符号化対象のマクロブロッ
クに対応する位置から、動きベクトルＭＶｆに対応する
分だけずらしたアドレスのデータを、過去参照画像記憶
回路１９Ｂから読み出し、これを予測画像として演算器
１１Ａに供給する。

【０１６３】演算器１１Ａは、符号化対象のマクロブロ
ックを構成する各画素値から、予測画像を構成する、対
応する画素値を減算し、その減算値（差分値）を出力す
る。従って、この場合、演算部１１からは、符号化対象
のマクロブロックと、過去参照画像から得られた予測画
像との差分値が、ＤＣＴ回路１２に供給される。この差
分値は、イントラ符号化における場合と同様に符号化さ
れて出力される。

【０１６４】さらに、この差分値は、上述した場合と同
様に、ＤＣＴ回路１２、量子化回路１３、逆量子化回路
１６、およびＩＤＣＴ回路１７を介することで、元の値
とほぼ同一の値に復元され、演算器１８に供給される。

【０１６５】この場合、演算器１８には、動き補償回路
２０から、演算器１１Ａに供給される予測画像と同一の
データが供給されており、演算器１８では、復元された
差分値と、その予測画像とが加算され、これにより、Ｐ
ピクチャがローカルデコードされる。このローカルデコ
ードされたＰピクチャは、フレームメモリ１９に供給さ
れて記憶される。

【０１６６】なお、Ｉピクチャの次に符号化され、復号
化されたＰピクチャは、上述したように、未来参照画像
記憶回路１９Ａに記憶される。

【０１６７】次に、演算部１１に入力されたマクロブロ
ックがＢピクチャである場合において、予測モードがイ
ントラ符号化モードまたは順方向予測符号化モードであ
るときには、スイッチＳＷは端子ａまたはｂをそれぞれ
選択する。従って、この場合、Ｂピクチャのマクロブロ
ックは、上述した場合と同様に符号化される。

【０１６８】一方、演算部１１に入力されたマクロブロ
ックがＢピクチャである場合において、予測モードが逆
方向予測符号化モードであるときには、スイッチＳＷ
は、端子ｃを選択する。端子ｃには、演算器１１Ｂの出
力が供給されるようになされており、また、演算器１１
Ｂには、符号化対象のマクロブロックと、動き補償回路
２０の出力とが供給されるようになされている。

【０１６９】動き補償回路２０は、予測モードが逆方向
予測符号化モードの場合、未来参照画像記憶回路１９Ａ
に記憶されている画像（いまの場合、Ｐピクチャ）を未
来参照画像として読み出し、動きベクトルＭＶｂにした
がって動き補償を施すことにより予測画像を生成する。
即ち、動き補償回路２０は、符号化対象のマクロブロッ
クに対応する位置から、動きベクトルＭＶｂに対応する
分だけずらしたアドレスのデータを、未来参照画像記憶
回路１９Ａから読み出し、これを予測画像として演算器
１１Ｂに供給する。

【０１７０】演算器１１Ｂは、符号化対象のマクロブロ
ックを構成する各画素値から、予測画像を構成する、対
応する画素値を減算し、その減算値（差分値）を出力す
る。従って、この場合、演算部１１からは、符号化対象
のマクロブロックと、未来参照画像から得られた予測画
像との差分値が、ＤＣＴ回路１２に供給される。この差
分値は、イントラ符号化における場合と同様に符号化さ
れて出力される。

【０１７１】また、演算部１１に入力されたマクロブロ
ックがＢピクチャである場合において、予測モードが双
方向予測符号化モードであるときには、スイッチＳＷ
は、端子ｄを選択する。端子ｄには、演算器１１Ｃの出
力が供給されるようになされており、また、演算器１１
Ｃには、符号化対象のマクロブロックと、動き補償回路
２０の出力とが供給されるようになされている。

【０１７２】動き補償回路２０は、予測モードが双方向
予測符号化モードの場合、過去参照画像記憶回路１９Ｂ
に記憶されている画像（いまの場合、Ｉピクチャ）を過
去参照画像として読み出し、動きベクトルＭＶｆにした
がって動き補償を施すことにより予測画像（以下、適
宜、過去予測画像という）を生成するとともに、未来参
照画像記憶回路１９Ａに記憶されている画像（いまの場
合、Ｐピクチャ）を未来参照画像として読み出し、動き
ベクトルＭＶｂにしたがって動き補償を施すことにより
予測画像（以下、適宜、未来予測画像という）を生成す
る。この過去予測画像および未来予測画像は、演算器１
１Ｃに供給される。

【０１７３】演算器１１Ｃは、まず、動き補償回路２０
より供給される過去予測画像および未来予測画像の、例
えば平均値（以下、適宜、平均予測画像という）を演算
する。そして、演算器１１Ｃは、符号化対象のマクロブ
ロックを構成する各画素値から、平均予測画像を構成す
る、対応する画素値を減算し、その減算値（差分値）を
出力する。従って、この場合、演算部１１からは、符号
化対象のマクロブロックと、平均予測画像との差分値
が、ＤＣＴ回路１２に供給される。この差分値は、イン
トラ符号化における場合と同様に符号化されて出力され
る。

【０１７４】なお、本実施の形態においては、Ｂピクチ
ャは、他の画像を符号化する際に、参照画像として用い
られないため、ローカルデコードされない（する必要が
ない）。また、過去参照画像記憶回路１９Ａおよび未来
参照画像記憶回路１９Ｂは、必要に応じてバンク切り換
えすることができるようになされており、これにより、
過去参照画像記憶回路１９Ａおよび未来参照画像記憶回
路１９Ｂに記憶されている画像データを、過去参照画像
および未来参照画像のいずれとしても用いることができ
るようになされている。さらに、上述の処理は、輝度信
号Ｙおよび色差信号Ｃｂ，Ｃｒのすべてに施される。但
し、色差信号Ｃｂ，Ｃｒについては、例えば、輝度信号
Ｙを処理するときに用いた動きベクトルの大きさを１／
２にしたものが、その動きベクトルとして用いられる。

【０１７５】次に、図１０のフローチャートを参照し
て、図７の予測モード決定回路２１の処理（予測モード
決定処理）について、さらに説明する。

【０１７６】予測モード決定回路２１では、図１０のフ
ローチャートにしたがった処理が、マクロブロックごと
に行われる。

【０１７７】即ち、予測モード決定回路２１では、まず
最初に、ステップＳ１において、ＳＭＶが、閾値ＭＶ₀
未満かどうかが判定される。ステップＳ１において、Ｓ
ＭＶが、閾値ＭＶ₀未満であると判定された場合、ステ
ップＳ２に進み、以下、図５で説明したようにして、イ
ンター符号化の中の１つが選択される。

【０１７８】即ち、ステップＳ２では、予測残差Ｅｂ
が、予測残差Ｅｆのｊ倍（ｊ×Ｅｆ）より大きいかどう
かが判定される。ステップＳ２において、Ｅｂがｊ×Ｅ
ｆより大きいと判定された場合、ステップＳ３に進み、
インター符号化として、順方向予測符号化が選択され、
処理を終了する。

【０１７９】その後は、上述したように、選択されたイ
ンター符号化についての予測残差と、イントラ符号化に
ついての予測残差との大小関係に基づいて、最終的な予
測モードが決定される。

【０１８０】一方、ステップＳ２において、Ｅｂがｊ×
Ｅｆより大きくないと判定された場合、ステップＳ４に
進み、予測残差Ｅｂが、予測残差Ｅｆのｋ倍（ｋ×Ｅ
ｆ）未満であるかどうかが判定される。ステップＳ４に
おいて、Ｅｂがｋ×Ｅｆ未満であると判定された場合、
ステップＳ５に進み、インター符号化として、逆方向予
測符号化が選択され、処理を終了する。

【０１８１】また、ステップＳ４において、Ｅｂがｋ×
Ｅｆ未満でないと判定された場合、即ち、Ｅｂが、ｋ×
Ｅｆ以上かつｊ×Ｅｆ以下である場合、ステップＳ６に
進み、インター符号化として、双方向予測符号化が選択
され、処理を終了する。

【０１８２】なお、予測モード決定回路２１は、ステッ
プＳ１の処理を行う前に、順方向動きベクトルＭＶｆま
たは逆方向動きベクトルＭＶｂのｘ成分およびｙ成分に
ついて、例えば、式｜ｘ｜＞ｇ｜ｙ｜または｜ｙ｜＞ｇ
｜ｘ｜が成り立つかどうかを判定し、成り立つ場合に
は、ＳＭＶを、０などのＭＶ₀未満の値に、強制的に設
定するようになされている。従って、例えば、物体が、
ほぼ水平または垂直方向に移動しているような画像につ
いては、図５で説明したように、双方向予測符号化が選
択され易い条件の下で、インター符号化の選択が行われ
る。

【０１８３】一方、ステップＳ１において、ＳＭＶがＭ
Ｖ₀未満でないと判定された場合、ステップＳ７₁に進
み、以下、図４で説明したようにして、インター符号化
の選択が行われる。

【０１８４】即ち、ステップＳ７₁では、ＳＭＶが、Ｍ
Ｖ₀以上ＭＶ₁未満であるかどうかが判定される。ステッ
プＳ７₁において、ＳＭＶが、ＭＶ₀以上ＭＶ₁未満であ
ると判定された場合、ステップＳ８₁に進み、定数Ｔｉ
がＴ₁に設定され、ステップＳ９に進む。

【０１８５】また、ステップＳ７₁において、ＳＭＶ
が、ＭＶ₀以上ＭＶ₁未満でないと判定された場合、ステ
ップＳ７₂に進み、ＳＭＶが、ＭＶ₁以上ＭＶ₂未満であ
るかどうかが判定される。

【０１８６】以下、同様に、ステップＳ７_cでは、ＳＭ
Ｖが、ＭＶ_c-1以上ＭＶ_c未満であるかどうかが判定さ
れ、ＳＭＶが、ＭＶ_c-1以上ＭＶ_c未満である場合には、
ステップＳ８_cに進み、定数ＴｉがＴ_cに設定され、ステ
ップＳ９に進む。また、ＳＭＶが、ＭＶ_c-1以上ＭＶ_c未
満でない場合には、ステップＳ７_c+1に進む。

【０１８７】そして、ステップＳ７_nにおいて、ＳＭＶ
が、ＭＶ_n-1以上ＭＶ_n未満でないと判定された場合、即
ち、ＳＭＶがＭＶ_n以上の場合、ステップＳ８_n+1に進
み、定数ＴｉがＴ_n+1に設定され、ステップＳ９に進
む。

【０１８８】ステップＳ９では、距離Ｄｆ，Ｄｂに対応
した画像間距離判定処理が行われ、処理を終了する。

【０１８９】次に、図１１のフローチャートは、図１０
のステップＳ９における画像間距離判定処理の詳細を示
している。なお、図１１においては、ＩまたはＰピクチ
ャの間に、１または２枚のＢピクチャが配置されている
ことを前提としている。

【０１９０】画像間距離判定処理では、まず最初に、ス
テップＳ１１において、Ｄｆが１で、かつＤｂが２であ
るかどうかが判定される。ステップＳ１１において、Ｄ
ｆが１で、かつＤｂが２であるかと判定された場合、ス
テップＳ１２に進み、以下、図４（Ａ）で説明したよう
にして、インター符号化が選択される。

【０１９１】即ち、ステップＳ１２では、Ｅｂが、ｑ×
Ｅｆ＋（１−ｐ×ｑ）×Ｔｉより大きく、かつｐ×Ｅｆ
より大きいかどうかが判定される。ステップＳ１２にお
いて、Ｅｂが、ｑ×Ｅｆ＋（１−ｐ×ｑ）×Ｔｉより大
きく、かつｐ×Ｅｆより大きいと判定された場合、ステ
ップＳ１３に進み、順方向予測符号化が選択され、リタ
ーンする。また、ステップＳ１２において、Ｅｂが、ｑ
×Ｅｆ＋（１−ｐ×ｑ）×Ｔｉより大きくないか、また
はｐ×Ｅｆより大きくないと判定された場合、ステップ
Ｓ１４に進み、Ｅｂが、ｒ×Ｅｆ＋（１−ｐ×ｒ）×Ｔ
ｉ未満で、かつｐ×Ｅｆ未満であるかどうかが判定され
る。

【０１９２】ステップＳ１４において、Ｅｂが、ｒ×Ｅ
ｆ＋（１−ｐ×ｒ）×Ｔｉ未満で、かつｐ×Ｅｆ未満で
あると判定された場合、ステップＳ１５に進み、逆方向
予測符号化が選択され、リターンする。また、ステップ
Ｓ１４において、Ｅｂが、ｒ×Ｅｆ＋（１−ｐ×ｒ）×
Ｔｉ未満でないか、またはｐ×Ｅｆ未満でないと判定さ
れた場合、ステップＳ１６に進み、双方向予測符号化が
選択され、リターンする。

【０１９３】一方、ステップＳ１１において、Ｄｆが１
でないか、またはＤｂが２でないと判定された場合、ス
テップＳ１７に進み、Ｄｆが２で、かつＤｂが１である
かどうかが判定される。

【０１９４】ステップＳ１７において、Ｄｆが２で、か
つＤｂが１であると判定された場合、ステップＳ１８に
進み、以下、図４（Ｂ）で説明したようにして、インタ
ー符号化が選択される。

【０１９５】即ち、ステップＳ１８では、Ｅｂが、ｔ×
Ｅｆ＋（１−ｓ×ｔ）×Ｔｉより大きく、かつｓ×Ｅｆ
より大きいかどうかが判定される。ステップＳ１８にお
いて、Ｅｂが、ｔ×Ｅｆ＋（１−ｓ×ｔ）×Ｔｉより大
きく、かつｓ×Ｅｆより大きいと判定された場合、ステ
ップＳ１９に進み、順方向予測符号化が選択され、リタ
ーンする。また、ステップＳ１８において、Ｅｂが、ｔ
×Ｅｆ＋（１−ｓ×ｔ）×Ｔｉより大きくないか、また
はｓ×Ｅｆより大きくないと判定された場合、ステップ
Ｓ２０に進み、Ｅｂが、ｕ×Ｅｆ＋（１−ｓ×ｕ）×Ｔ
ｉ未満で、かつｓ×Ｅｆ未満であるかどうかが判定され
る。

【０１９６】ステップＳ２０において、Ｅｂが、ｕ×Ｅ
ｆ＋（１−ｓ×ｕ）×Ｔｉ未満で、かつｓ×Ｅｆ未満で
あると判定された場合、ステップＳ２１に進み、逆方向
予測符号化が選択され、リターンする。また、ステップ
Ｓ２０において、Ｅｂが、ｕ×Ｅｆ＋（１−ｓ×ｕ）×
Ｔｉ未満でないか、またはｓ×Ｅｆ未満でないと判定さ
れた場合、ステップＳ２２に進み、双方向予測符号化が
選択され、リターンする。

【０１９７】一方、ステップＳ１７において、Ｄｆが２
でないか、またはＤｂが１でないと判定された場合、ス
テップＳ２３に進み、以下、図５で説明したようにし
て、インター符号化の中の１つが選択される。即ち、ス
テップＳ２３乃至Ｓ２７において、図１０のステップＳ
２乃至Ｓ６における場合とそれぞれ同様の処理が行わ
れ、これにより、インター符号化の選択が行われる。

【０１９８】以上のように、画像の動きの複雑さを表す
ＳＭＶに対応して、予測モードを決定するようにしたの
で、その符号化効率を、従来より向上させることが可能
となる。

【０１９９】即ち、画像の動きが複雑な場合は、予測精
度、さらには、動きベクトルの伝送に必要なデータ量を
考慮して、双方向予測符号化モードが選択され難くし、
その逆に、画像の動きが単純な場合は、双方向予測符号
化モードが選択され易くしたので、効率的な符号化を行
うことが可能となる。

【０２００】なお、画像の動きの複雑さの他、上述した
ように、画像の動きの速さ、さらには、その両方などに
対応して、予測モードを決定するようにすることなども
可能である。

【０２０１】また、本実施の形態では、画像の動きの複
雑さを、上述のＳＭＶで表すようにしたが、その他の物
理量によって表すようにすることも可能である。

【０２０２】さらに、本実施の形態においては、画像の
動きの速さを、動きベクトルの大きさや、そのｘ成分お
よびｙ成分の絶対値の和によって表現するようにした
が、やはり、その他の物理量により表すことも可能であ
る。

【０２０３】また、本実施の形態では、双方向予測符号
化モードを選択され易くする場合、図５で説明した条件
の下で、インター符号化の選択を行うようにしたが、そ
の他、例えば、図１８と同様の図１２に示すような条件
の下で、インター符号化の選択を行うようにすることに
より、双方向予測符号化モードを選択され易くすること
も可能である。但し、この場合、図１８における場合よ
りも、定数ａおよびｃは大きくし、または定数ｂおよび
ｄは小さくするのが望ましい。

【０２０４】なお、本件発明者が行ったシミュレーショ
ンによれば、図４におけるｑまたはｔは、図１２におけ
るａまたはｃそれぞれより小さい方が、また、図４にお
けるｒまたはｕは、図１２におけるｂまたはｄそれぞれ
より大きい方が、符号化効率が向上することが確認され
ている。さらに、予測誤差ＥｂおよびＥｆが小さい場合
には、双方向予測符号化モードを用いないようにする方
が、符号化効率が向上することも確認されている。

【０２０５】

【発明の効果】以上の如く、請求項１に記載の画像符号
化装置および請求項１０に記載の画像符号化方法によれ
ば、時間的に先行する過去参照画像に対する、符号化対
象の画像の動きベクトルである順方向動きベクトルと、
時間的に後行する未来参照画像に対する、符号化対象の
画像の動きベクトルである逆方向動きベクトルとが検出
され、その順方向動きベクトルまたは逆方向動きベクト
ルに対応して、符号化対象の画像の予測モードが決定さ
れる。従って、画像の動きに基づいて、効率的な符号化
を行うことが可能となる。

【図面の簡単な説明】

【図１】ＧＯＰを示す図である。

【図２】ＧＯＰを示す図である。

【図３】ＩまたはＰピクチャとの距離によって、Ｂピク
チャの予測残差が異なることを説明するための図であ
る。

【図４】予測モードを選択する条件を説明するための図
である。

【図５】双方向予測符号化モードが選択され易くする場
合の、予測モードを選択する条件を示す図である。

【図６】本発明を適用した画像符号化装置の一実施の形
態の構成を示すブロック図である。

【図７】図６に続くブロック図である。

【図８】図６および図７の画像符号化装置の処理を説明
するための図である。

【図９】図６のスキャンコンバータ５の処理を説明する
ための図である。

【図１０】図７の予測モード決定回路２１の処理を説明
するためのフローチャートである。

【図１１】図１０におけるステップＳ９の画像間距離判
定処理の詳細を説明するためのフローチャートである。

【図１２】双方向予測符号化モードが選択され易くする
場合の、予測モードを選択する条件を示す図である。

【図１３】動き補償予測符号化を説明するための図であ
る。

【図１４】ＧＯＰを示す図である。

【図１５】ＭＰＥＧ符号化を説明するための図である。

【図１６】予測モードを選択する条件を示す図である。

【図１７】ＧＯＰを示す図である。

【図１８】予測モードを選択する条件を示す図である。

【符号の説明】

３画像符号化タイプ指定回路，４画像符号化順序
替え回路，５スキャンコンバータ，６動きベク
トル推定回路，７記憶部，７Ａ過去参照画像記
憶部，７Ｂ現在画像記憶部，７Ｃ未来参照画像
記憶部，８動き量算出回路，９カウンタ，１０
画像間距離発生算出回路，１１演算部，１１Ａ乃
至１１Ｃ演算器，１２ＤＣＴ回路，１３量子
化回路，１４送信バッファ，１５可変長符号化
回路，１６逆量子化回路，１７ＩＤＣＴ回路，
１８演算器，１９フレームメモリ，１９Ａ未
来参照画像記憶回路，１９Ｂ過去参照画像記憶回
路，２０動き補償回路，２１予測モード決定回
路，３１記録媒体，３２伝送路

フロントページの続き (72)発明者安藤裕司東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】時間的に先行する過去参照画像に対す
る、符号化対象の画像の動きベクトルである順方向動き
ベクトルと、時間的に後行する未来参照画像に対する、
符号化対象の画像の動きベクトルである逆方向動きベク
トルとを検出する動きベクトル検出手段と、前記順方向動きベクトルまたは逆方向動きベクトルに対
応して、符号化対象の画像の予測モードを決定する予測
モード決定手段と、前記予測モードに対応する動き補償を行うことにより、
予測画像を生成する動き補償手段と、符号化対象の画像と、前記予測画像との差分値を演算す
る差分値演算手段と、前記差分値を符号化する符号化手段とを備えることを特
徴とする画像符号化装置。
【請求項２】前記予測モード決定手段は、前記過去参
照画像または未来参照画像それぞれに対する、符号化対
象の画像の予測残差にも対応して、前記予測モードを決
定することを特徴とする請求項１に記載の画像符号化装
置。
【請求項３】前記過去参照画像または未来参照画像そ
れぞれに対する予測残差をＥｆまたはＥｂとするととも
に、α，β，γ，δを所定の定数とする場合において
（但し、γ＜β）、前記予測モード決定手段は、式Ｅｂ＞α×ＥｆかつＥｂ＞β×Ｅｆ＋（１−α×β）
×δが成り立つとき、前記過去参照画像のみから予測画
像を生成する順方向予測符号化モードに、前記予測モー
ドを決定し、式Ｅｂ≦α×ＥｆかつＥｂ＜γ×Ｅｆ＋（１−α×γ）
×δが成り立つとき、前記未来参照画像のみから予測画
像を生成する逆方向予測符号化モードに、前記予測モー
ドを決定し、式γ×Ｅｆ＋（１−α×γ）×δ≦ＥｂかつＥｂ≦β×
Ｅｆ＋（１−α×β）×δが成り立つとき、前記過去参
照画像および未来参照画像の両方から予測画像を生成す
る双方向予測符号化モードに、前記予測モードを決定す
ることを特徴とする請求項２に記載の画像符号化装置。
【請求項４】前記予測モード決定手段は、前記順方向
動きベクトルまたは逆方向動きベクトルに対応して、前
記所定の定数δを設定することを特徴とする請求項３に
記載の画像符号化装置。
【請求項５】前記予測モード決定手段は、前記順方向
動きベクトルまたは逆方向動きベクトルに対応して、前
記所定の定数αとβを設定することを特徴とする請求項
３に記載の画像符号化装置。
【請求項６】前記予測モード決定手段は、前記過去参
照画像または未来参照画像に対する、符号化対象の画像
の予測残差が所定値以上となる場合にのみ、前記過去参
照画像および未来参照画像の両方から予測画像を生成す
る双方向予測符号化モードに、前記予測モードを決定す
ることを特徴とする請求項２に記載の画像符号化装置。
【請求項７】前記予測モード決定手段は、前記順方向
動きベクトルまたは逆方向動きベクトルに対応して、前
記所定値を設定することを特徴とする請求項６に記載の
画像符号化装置。
【請求項８】前記予測モード決定手段は、前記順方向
動きベクトルおよび逆方向動きベクトルのｘ成分どうし
の差と、ｙ成分どうしの差とに対応して、前記予測モー
ドを決定することを特徴とする請求項１に記載の画像符
号化装置。
【請求項９】前記予測モード決定手段は、符号化対象
の画像と、前記過去参照画像または未来参照画像それぞ
れとの間の距離にも対応して、前記予測モードを決定す
ることを特徴とする請求項１に記載の画像符号化装置。
【請求項１０】時間的に先行する過去参照画像に対す
る、符号化対象の画像の動きベクトルである順方向動き
ベクトルと、時間的に後行する未来参照画像に対する、
符号化対象の画像の動きベクトルである逆方向動きベク
トルとを検出し、前記順方向動きベクトルまたは逆方向動きベクトルに対
応して、符号化対象の画像の予測モードを決定し、前記予測モードに対応する動き補償を行うことにより、
予測画像を生成し、符号化対象の画像と、前記予測画像との差分値を演算
し、前記差分値を符号化することを特徴とする画像符号化方
法。