JPH08149481A - 映像信号符号化・復号化装置及び符号化・復号化方法 - Google Patents

Abstract

(57)【要約】 【目的】 探索領域を広げても符号化効率が劣化せず、
また、ハード／ソフトウェア規模を小規模のものとする
ことができる、映像信号符号化・復号化装置及び符号化
・復号化方法を得る。 【構成】 画像情報の大域的な動きを示す第１の動きベ
クトルを得る第１の動き検出手段１０ｃと、局所的な動
きを示す第２の動きベクトルを得る第２の動き検出手段
１８ｃの組み合わせによって、画像情報の符号化対象領
域の動き補償予測をするように構成することで、第１の
動きベクトルの符号量を小さくし、また、第２の動きベ
クトルの検出のための複数の探索領域を設けておく必要
がなくなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、動き補償予測を用い
て映像信号の符号化・復号化を行う映像信号符号化・復
号化装置及び符号化・復号化方法に関するものである。

【０００２】

【従来の技術】映像信号符号化・復号化装置における符
号化手段として、動き補償予測とＤＣＴ（離散コサイン
変換）を併用したものがよく使われている。以下に説明
する従来例もこれを用いたものである。

【０００３】図１１乃至図１５は、例えば、ISO/IEC 13
818-2 Draft International Standardに示されたよう
な、従来の映像信号符号化装置及び該符号化装置により
符号化された映像信号を再生する復号化装置について説
明するための図である。ここに、図１１は映像信号符号
化装置の概略構成を示すブロック図、図１２は映像信号
復号化装置の概略構成を示すブロック図であり、また、
図１３，図１４は映像信号の符号化に際して行われる動
き補償予測の概念を示すための概念図、図１５は符号化
のためのベクトルコードを示す図（なお、同図ではいく
つかの探索範囲におけるベクトルコードのみを示してい
る。）である。また、図１６は後述する動きベクトルの
差分値とその出現確率との関係を示した図である。

【０００４】一般に、動き補償予測とＤＣＴを用いた符
号化では、１枚の画像情報を格子状の複数の小領域（以
下、符号化対象領域と呼ぶ。）に分割し、かかる小領域
毎に符号化を行う。この動き補償予測と呼ばれるもの
は、現在符号化しようとしている画像（以下、符号化対
象画像と呼ぶ。）の符号化対象領域に対して、過去に符
号化したいくつかの画像（以下、参照画像と呼ぶ。）に
おける最も類似し、かつ符号化対象領域と同じ大きさの
領域（以下、予測領域と呼ぶ。）を検出し、当該予測領
域と符号化対象領域との差信号のみを符号化して伝送す
るものである。

【０００５】この際、どの領域が当該予測領域であるか
という情報も同時に復号化手段に伝送することが必要で
あるが、この情報を動きベクトルと呼び、インタレース
画像とノンインタレース画像とでは異なるが、本従来例
では、説明上、水平動きベクトルと垂直動きベクトルの
２つのベクトルによって構成されるものとする。この動
き補償予測を概念的に示したものが図１４である。

【０００６】一方、復号化手段では、伝送されてきた上
述の動きベクトルと再生された参照画像とから予測領域
を検出し、該予測領域の映像信号に伝送されてきた差信
号を加えるようにされており、ここに元の符号化対象領
域の信号を再生できる。

【０００７】また、予測領域は、図１３に示すように、
参照画像において符号化対象画像の符号化対象領域と同
じ水平／垂直位置を中心として水平方向に±ｈ画素、垂
直方向に±ｖライン分拡張した領域（以下、探索領域と
呼ぶ。）内から選択される。一般に、動きの速い映像に
対して符号化効率を上げるためにはその探索領域を広げ
ることが必要である。そこで、従来の装置ではこの探索
領域の大きさを適宜選択可能にし得るように構成されて
いる。

【０００８】では、従来の映像信号符号化装置の具体的
な構成について、図１１に基づき説明する。図におい
て、１ａは映像信号の入力端子、２ａは符号化された映
像信号の出力端子、３ａは減算手段、４ａは情報圧縮の
ため映像信号を水平／垂直の空間周波数に変換するＤＣ
Ｔ手段、５ａは量子化手段、６ａは逆量子化手段、７ａ
は周波数変換された映像信号を元の映像信号に再変換す
るＩＤＣＴ（逆離散コサイン変換）手段、８ａは加算手
段、９ａはメモリ手段、１２ａはスイッチ（切替）手
段、１３ａは可変長符号化手段、１４ａは送信バッファ
手段、１５ａは符号量制御手段、１８ａは動き検出手段
である。

【０００９】入力端子１ａから入力された映像信号１０
１は、動きベクトル生成のため、その一部が動き検出手
段１８ａに入力されるとともに、減算手段３ａにおいて
予測領域の信号との差信号１０２とされる。この差信号
１０２は、ＤＣＴ手段４ａにおいて周波数変換され、さ
らに量子化手段５ａによって量子化される。

【００１０】そして、量子化された差信号１０４の一部
は逆量子化手段６ａ及び逆ＤＣＴ手段７ａを介して再変
換されて元の差信号とされ、加算手段８ａで予測領域の
信号が加算されて元の映像信号となり、メモリ手段９ａ
に参照画像として蓄えられる。 一方、残りの差信号１
０４は可変長符号化手段１３ａにおいて、動き検出手段
１８ａで生成された動きベクトル１１２とともに符号化
され、多重化される。ここで、可変長符号化とは、出現
確率の高いシンボルには短い符号語を、出現確率の低い
シンボルには長い符号語を割り当てる符号化手法の一つ
である。

【００１１】そして、多重化信号１１４は送信バッファ
手段１４ａを経て、出力端子２ａより伝送、あるいは、
図示せぬ記録媒体に記録されることになる。なお、符号
量制御手段１５ａは、送信バッファ手段１４ａにおける
メモリ残量等の信号を受けて、オーバーフローが発生し
ないよう、量子化手段５ａの量子化ステップを適応的に
変化させている。

【００１２】一方、メモリ手段９ａに蓄えられた参照画
像はスイッチ手段１２ａの第１の端子に入力されるとと
もに、動き検出手段１８ａにも入力される。（スイッチ
手段１２ａの第２の端子には零信号が入力されてい
る。）

【００１３】動き検出手段１８ａでは、入力された参照
画像１０８、及び、映像信号（符号化対象画像）１０１
から符号化対象画像の符号化対象領域毎に、上述したよ
うな動きベクトル１１２を検出する（図１３，図１４参
照）。検出された動きベクトル１１２は可変長符号化手
段１３ａに送出され、ここで隣接する符号化対象領域の
動きベクトルとの差分値が算出され、これを可変長符号
化したベクトルコードは、可変長符号化された差信号１
０４に多重化される。

【００１４】また、動き検出手段１８ａの出力１１０
は、スイッチ手段１２ａの切替信号としても用いられ、
かかる信号に基づき参照画像の映像信号は予測領域の信
号１０９に変換されて減算手段３ａ及び加算手段８ａに
入力される。さらに、かかる信号１１０は可変長符号化
手段１３ａにおいて、差信号１０４と動きベクトルの符
号化切替信号としても用いられる。

【００１５】次に、上述のごとく符号化された映像信号
を復号化する映像信号復号化装置の具体的構成につい
て、図１２に基づき説明する。図において、１ｂは符号
化された映像信号の入力端子、２ｂは復号化された映像
信号の出力端子、１４ｂは受信バッファ手段、１３ｂは
可変長復号化手段、５ｂは逆量子化手段、４ｂはＩＤＣ
Ｔ手段、８ｂは加算手段、９ｂはメモリ手段、１２ｂは
スイッチ手段である。

【００１６】入力端子１ｂから入力された符号化映像信
号２０１は、受信バッファ手段１４ｂを介して、可変長
復号化手段１３ｂに入力される。可変長復号化手段１３
ｂではこの符号化映像信号２０２を復号化し、動きベク
トル２１３と差信号２０３とに分離する。分離された差
信号２０３は逆量子化手段５ｂで逆量子化され、ＩＤＣ
Ｔ手段４ｂで元の差信号２０５に変換される。さらに、
この差信号２０５は、加算手段８ｂにおいて予測領域の
信号２０８と加算されて元の符号化対象領域の信号２０
６に戻され、その一部がメモリ手段９ｂに蓄えられると
ともに、元の符号化対象画像として出力端子２ｂから出
力される。

【００１７】一方、メモリ手段９ｂは加算手段８ｂから
の符号化対象領域信号２０６と可変長復号化手段で復号
化された動きベクトル２１３とから予測領域の信号２０
７を生成し、該予測領域信号２０７を可変長復号化手段
で生成した動き補償予測のための切替信号２０９に基づ
いて切り替えられるスイッチ手段１２ｂを介して加算手
段８ｂに入力させるように構成されている。なお、スイ
ッチ手段１２ｂの一端には零信号が入力されており、こ
の端子が選択されている場合には動き補償予測のなされ
ていない信号が８ｂより出力される。

【００１８】

【発明が解決しようとする課題】従来の映像信号符号化
・復号化装置は以上のように構成されており、動きの速
い映像に対する符号化効率を上げるため、探索領域の大
きさを適宜設定することができるように構成されてい
た。

【００１９】しかし、図１６に示すように、探索領域の
大きさが異なると、それに伴って動きベクトルの差分値
の出現確率が異なってくる。このため、可変長符号化手
段１３ａにおいて動きベクトルのベクトルコードを作成
する際にはその探索領域の大きさに応じてベクトルコー
ドを異ならせることが必要となる。

【００２０】そこで、従来の装置では、図１５に示すよ
うに、motion code（ある定められた可変長コード）
と、motion residual（探索範囲に応じて符号長の定め
られたコード）の２つのコードを組み合わせることによ
ってベクトルコードを作成するように構成されており、
これらを組み合わせることで探索領域の大きさに応じた
異なるベクトルコードを作成していた。

【００２１】ここで、動きベクトルの差分値は、図１６
に示されるように、その探索領域の大きさにかかわら
ず、ベクトルの差分値の小さいものの出現確率が高いと
いう特徴を有している。しかし、従来のベクトルコード
ではこの点を全く考慮していなかったため、図１５に示
すように、探索領域が大きくなるにしたがって、ベクト
ル差分値の小さい値を示すベクトルコードの符号長が長
くなるという特徴を持っている。

【００２２】このことは、動きの速い映像に対して符号
化効率を上げるために探索領域を広げているのにもかか
わらず、広げたことによりベクトルコードの平均語長が
長くなってしまい、その結果、符号化効率が悪化し、画
質を劣化させてしまうという問題を生じさせていた。

【００２３】また、従来の装置では、motion codeと、m
otion residualの２つのコードを組み合わせることによ
って探索領域の大きさに応じて異なるベクトルコードを
作成するようにしているため、あらゆる探索領域に対し
て最適なベクトルコードを得るために探索領域の大きさ
に対応した複数種類のベクトルコードを並列的に持つこ
とが必要となる。従って、ハードウェア／ソフトウェア
規模が必然的に大きくならざるを得ず、実用的ではない
という問題点もあった。

【００２４】本発明は、以上述べたような従来装置の問
題点を解消するためになされたものであり、探索領域を
広げても、符号化効率が劣化しない、また、ハードウェ
ア／ソフトウェア規模を小規模のものとすることができ
る、映像信号符号化・復号化装置及び符号化・復号化方
法を得ることを目的としている。

【００２５】

【課題を解決するための手段】本発明にかかる映像信号
符号化・復号化装置及び映像信号符号化・復号化方法
は、動き補償予測を用いて映像信号の符号化・復号化を
行うものにおいて、現在符号化しようとしている１枚の
画像情報を複数の領域に分割した上位符号化対象領域の
各領域毎に、その領域の時間的な動きを示す第１の動き
ベクトルを、過去に符号化した参照画像に対して検出
し、第１の動きベクトルが検出された前記上位符号化対
象領域を複数の領域に分割した符号化対象領域の各領域
毎に、その領域の時間的な動きを示す第２の動きベクト
ルを、前記第１の動きベクトルによって指定された位置
を中心とする前記参照画像の所定の探索領域内において
検出し、前記第１，第２の動きベクトルにより指定され
る前記参照画像の予測領域の信号と前記符号化対象領域
の信号との差信号を検出し、前記第１，第２の動きベク
トルと前記差信号とを可変長符号化して多重化した信号
を伝送するとともに、多重化された信号を受信して前記
第１，第２の動きベクトルと前記差信号とに分離して可
変長復号化し、可変長復号化された前記第１，第２の動
きベクトルに基づき、過去に再生した前記参照画像から
前記予測領域を検出して可変長復号化された前記差信号
に加算することで前記符号化対象領域の信号を検出し、
前記１枚の画像情報を再生するものである。

【００２６】本発明にかかる映像信号符号化装置及び映
像信号符号化方法は、動き補償予測を用いて映像信号の
符号化を行うものにおいて、現在符号化しようとしてい
る１枚の画像情報を複数の領域に分割した上位符号化対
象領域の各領域毎に、その領域の時間的な動きを示す第
１の動きベクトルを、過去に符号化した参照画像に対し
て検出し、第１の動きベクトルが検出された前記上位符
号化対象領域を複数の領域に分割した符号化対象領域の
各領域毎に、その領域の時間的な動きを示す第２の動き
ベクトルを、前記第１の動きベクトルによって指定され
た位置を中心とする前記参照画像の所定の探索領域内に
おいて検出し、前記第１，第２の動きベクトルにより指
定される前記参照画像の予測領域の信号と前記符号化対
象領域の信号との差信号を検出し、前記第１，第２の動
きベクトルと前記差信号とを可変長符号化して多重化す
るものである。

【００２７】本発明にかかる映像信号復号化装置及び映
像信号復号化方法は、動き補償予測を用いて符号化され
た映像信号の復号化を行うものであって、１枚の画像情
報を複数の領域に分割した上位符号化対象領域の各領域
毎に、その領域の過去に符号化した参照画像に対する時
間的な動きを示す第１の動きベクトルと、該第１の動き
ベクトルが検出された前記上位符号化対象領域をさらに
複数の領域に分割した符号化対象領域の各領域毎に、そ
の領域の前記第１の動きベクトルによって指定された位
置を中心とする前記参照画像の所定の探索領域内におけ
る時間的な動きを示す第２の動きベクトルと、前記第
１，第２の動きベクトルによって指定される前記参照画
像の予測領域の信号と前記符号化対象領域の信号との差
信号とを多重化した多重化信号の復号を行うものにおい
て、受信した多重化信号を前記第１，第２の動きベクト
ルと、前記差信号とに分離し可変長復号化し、可変長復
号化された前記第１，第２の動きベクトルに基づき、過
去に再生した前記参照画像から前記予測領域を検出し、
前記検出手段で検出した前記予測領域の信号と可変長復
号化された前記差信号とを加算することで前記符号化対
象領域の信号を検出し、前記１枚の画像情報を再生する
ものである。

【００２８】また、本発明においては、第１の動きベク
トルが検出されなかった上位符号化対象領域における第
１の動きベクトルを、前記上位符号化対象領域が近接す
る未来の画像の上位符号化対象領域において検出された
第１の動きベクトルから、符号化装置と復号化装置との
間に定められた一定の規則に基づき作成するものであ
る。

【００２９】また、本発明においては、第１の動きベク
トルが検出されなかった上位符号化対象領域における第
１の動きベクトルを、該上位符号化対象領域を含む画像
情報における他の上位符号化対象領域において検出され
た第１の動きベクトルによって代用するものである。

【００３０】

【作用】本発明によれば、画像情報の大域的な動きを示
す第１の動きベクトルと局所的な動きを示す第２の動き
ベクトルとの組み合わせによって、画像情報の符号化対
象領域の動きベクトルを表すようにしているので、第１
の動きベクトルの符号量を小さくできるとともに、第２
の動きベクトルの検出のために複数の探索領域を設けて
おく必要がなくなる。

【００３１】また、本発明によれば、第１の動きベクト
ルが検出されない場合にも、パンニング等、通常の画像
情報の特徴及び人間の視覚特性に基づいて、他の第１の
動きベクトルを用いて当該第１の動きベクトルの作成あ
るいは検出された第１の動きベクトルによる代用をさせ
ることができる。

【００３２】

【実施例】

実施例１．以下、本発明の実施例について図に基づき説
明する。図１乃至図８は、本発明の第１の実施例にかか
る映像信号符号化装置及び該符号化装置により符号化さ
れた映像信号を再生する復号化装置について説明するた
めの図である。

【００３３】ここに、図１は映像信号符号化装置の概略
構成を示すブロック図、図２は映像信号復号化装置の概
略構成を示すブロック図、図３は第１の動き検出手段の
構成の一例を示すブロック図である。また、図４は本実
施例における符号化対象領域と上位符号化対象領域の概
念を示す概念図、図５，図６は本実施例の映像信号の符
号化に際して行われる動き補償予測の概念を示すための
概念図、図７は符号化のためのベクトルコードを示す
図、図８は本実施例の第１の動きベクトルと画像との関
係を示す概念図である。

【００３４】上述の図１６で説明したように、通常の画
像における動きベクトルの差分値は、その探索領域の大
きさにかかわらず、ベクトル差分値の小さいものの出現
確率が非常に高い。これは、通常の画像の時間的な動き
は、カメラのパンニング等に代表されるように、あるま
とまった領域においては同じような動きをすることが多
いことを意味している。よって、動きの速い画像の場
合、その動きベクトル自体は大きな値をとるとしても、
動きベクトルの差分値については大部分は小さな値をと
ることになる。また、人間の視覚特性を考慮すると、こ
のパンニングのような、あるまとまった領域毎の速い動
きに対しては、人間の視覚特性は比較的良好であるのに
対し、逆に画面の局所的な速い動きに対しては、人間の
視覚特性は極度に劣化するという特徴がある。

【００３５】本発明はかかる画像及び人間の視覚特性の
特徴を利用したものであり、本実施例においては、ま
ず、図４に示したような、上位符号化対象領域というも
のを定義する。これは、従来の符号化対象領域を複数集
めることで構成されるものである。そして、図５に示す
ように、この符号化対象画像を構成する全ての上位符号
化対象領域に対して、大域的な動きを示す第１の動きベ
クトルをそれぞれ検出する。その後、図６に示すよう
に、第１の動きベクトルの検出された上位符号化対象領
域に含まれた符号化対象領域の各々に対し、第１の動き
ベクトルにて指定された位置を中心とする所定の探索領
域内における第２の動きベクトルを検出し、これらの動
きベクトルを各々符号化するようにしている。

【００３６】このような本実施例によれば、第１の動き
ベクトルは広い領域に対して検出されるため、全体の符
号量に対する第１の動きベクトルの符号量は非常に少な
いものとなる。また、第２の動きベクトルは既に第１の
動きベクトルにより広い領域の動きを検出しているた
め、動きの速い画像であっても、限られた範囲の中での
局所的な動き検出を行えば十分であり、予め適当な１つ
の探索領域を設定しておき、この探索領域内において第
２の動きベクトルを検出すればよい。従って、従来のよ
うに複数のベクトルコードを並列的に設ける必要はなく
なる。

【００３７】では、本実施例の具体的な装置構成につい
て以下、説明する。図１は、このような本発明の第１の
実施例にかかる映像信号符号化装置の構成を示すブロッ
ク図である。図において、１ｃは映像信号の入力端子、
２ｃは符号化された映像信号の出力端子、３ｃは減算手
段、４ｃは情報圧縮のため映像信号を水平／垂直の空間
周波数に変換するＤＣＴ手段、５ｃは量子化手段、６ｃ
は逆量子化手段、７ｃは周波数変換された映像信号を元
の映像信号に再変換するＩＤＣＴ（逆離散コサイン変
換）手段、８ｃは加算手段、９ｃはメモリ手段、１０ｃ
は第１の動き検出手段、１２ｃはスイッチ（切替）手
段、１３ｃは可変長符号化手段、１４ｃは送信バッファ
手段、１５ｃは符号量制御手段、１８ｃは第２の動き検
出手段である。

【００３８】入力端子１ｃから入力された映像信号３０
１は、その一部が第１の動き検出手段１０ｃ及び第２の
動き検出手段１８ｃに入力されるとともに、減算手段３
ｃ入力されて予測領域の信号３０９との差信号３０２と
される。この差信号３０２は、ＤＣＴ手段４ｃにおいて
周波数変換され、さらに量子化手段５ｃによって量子化
される。

【００３９】そして、量子化された差信号３０４の一部
は逆量子化手段６ｃ及び逆ＤＣＴ手段７ｃを介して再変
換されて元の差信号とされ、加算手段８ｃで予測領域の
信号３０９が加算されて元の映像信号となり、メモリ手
段９ｃに参照画像として蓄えられる。一方、残りの差信
号３０４は可変長符号化手段１３ｃにおいて、第１の動
き検出手段１０ｃ及び第２の動き検出手段１８ｃで生成
された第１，第２の動きベクトル３１２，３１３ととも
に符号化され、多重化される。

【００４０】そして、多重化信号３１４は送信バッファ
手段１４ｃを経て、出力端子２ｃより伝送、あるいは、
図示せぬ記録媒体に記録されることになる。なお、符号
量制御手段１５ｃは、送信バッファ手段１４ｃにおける
メモリ残量等の信号を受けて、オーバーフローが発生し
ないよう、量子化手段５ｃの量子化ステップを適応的に
変化させている。

【００４１】一方、メモリ手段９ｃに蓄えられた参照画
像はスイッチ手段１２ｃの第１の端子に入力されるとと
もに、第２の動き検出手段１８ｃにも入力される。（ス
イッチ手段１２ｃの第２の端子には零信号が入力されて
いる。）

【００４２】第２の動き検出手段１８ｃでは、入力され
た参照画像３０８、映像信号（符号化対象画像）３０１
及び第１の動き検出手段１０ｃで生成された第１の動き
ベクトル３１３から符号化対象画像の符号化対象領域毎
に、上位符号化対象領域の第１の動きベクトルで指定さ
れる領域を中心とした所定の探索領域内において動き検
出されて第２の動きベクトルを検出する（図６参照）。
検出された第１の動きベクトル３１３及び第２の動きベ
クトル３１２は可変長符号化手段１３ｃに送出され、こ
こでそれぞれ隣接する上位符号化対象領域及び符号化対
象領域における動きベクトルとの差分値が算出され、こ
れを図７に示すようなベクトルコードによりベクトルコ
ード化し、可変長符号化された差信号３０４に多重化さ
れる。

【００４３】また、第２の動き検出手段１８ｃの出力３
１０は、スイッチ手段１２ｃの切替信号としても用いら
れ、かかる信号に基づき参照画像の映像信号３０８は予
測領域の信号３０９に変換されて減算手段３ｃ及び加算
手段８ｃに入力され、また、かかる信号３１０は可変長
符号化手段１３ｃにおいて、差信号３０４と第１，第２
の動きベクトルとの符号化切替信号としても用いられ
る。

【００４４】なお、図７に示すように、本実施例では第
１の動きベクトルのベクトルコードと、第２の動きベク
トルのベクトルコードとにより動きベクトルがコード化
される。また、本実施例では第１の動きベクトルのベク
トルコードとして８ビット固定長のコードを示したが、
これに限られるものではなく、他のビット長でも、可変
長コードでもよい。さらに、本実施例では第２の動きベ
クトルのベクトルコードとして従来例に示した基準探索
範囲におけるベクトルコードを示したが、これに限られ
るものではなく、他の探索範囲におけるベクトルコード
としてもよい。

【００４５】次に、上述のごとく符号化された映像信号
を復号化する映像信号復号化装置について、図２に基づ
き説明する。図において、１ｄは符号化された映像信号
の入力端子、２ｄは復号化された映像信号の出力端子、
１４ｄは受信バッファ手段、１３ｄは可変長復号化手
段、５ｄは逆量子化手段、４ｄはＩＤＣＴ手段、８ｄは
加算手段、９ｄはメモリ手段、１２ｄはスイッチ手段、
１７ｄは動きベクトル再生手段である。

【００４６】入力端子１ｄから入力された符号化映像信
号４０１は、受信バッファ手段１４ｄを介して、可変長
復号化手段１３ｄに入力される。可変長復号化手段１３
ｄではこの符号化映像信号４０２を復号化し、第１の動
きベクトル４１０と第２の動きベクトル４１１と差信号
４０３とに分離する。分離された差信号４０３は逆量子
化手段５ｄで逆量子化され、ＩＤＣＴ手段４ｄで元の差
信号４０５に変換される。さらに、この差信号４０５
は、加算手段８ｄにおいて予測領域の信号４０８と加算
されて元の符号化対象領域の信号４０６に戻され、その
一部がメモリ手段９ｄに蓄えられるとともに、元の符号
化対象画像として出力端子２ｄから出力される。

【００４７】一方、メモリ手段９ｄは加算手段８ｄから
の符号化対象領域信号４０６と可変長復号化手段で復号
化され、動きベクトル再生手段１７ｄでベクトル合成さ
れた動きベクトル４１２とから予測領域の信号４０７を
生成し、該予測領域信号４０７を可変長復号化手段で生
成した動き補償予測のための切替信号４０９に基づいて
切り替えられるスイッチ手段１２ｄを介して加算手段８
ｄに入力させるように構成されている。なお、スイッチ
手段１２ｄの一端には零信号が入力されており、この信
号端子が選択されている場合には動き補償予測のなされ
ていない再生信号が加算手段８ｄより出力されることに
なる。

【００４８】次に、本実施例における第１の動きベクト
ルの検出方法について説明する。図３は、図１に示した
第１の動き検出手段１０ｃの具体的構成の一例を示す図
である。図において、１９ｃは低域通過フィルタ（ＬＰ
Ｆ）手段、２０ｃはサブサンプリング手段、２１ｃはメ
モリ手段、２２ｃは代表ベクトル検出手段である。

【００４９】第１の動き検出手段１０ｃに入力された映
像信号３０１は、ＬＰＦ手段１９ｃを通過することによ
り高周波成分が除去されるとともに、サブサンプリング
手段２０ｃによりハードウェア規模を縮小するためにサ
ブサンプリングされる。この際、サブサンプリングの前
処理としてＬＰＦ手段１９ｃを施しているので、動き検
出に与える折り返し歪の影響を除去することができる。
サブサンプリングされた映像信号は、メモリ手段２１ｃ
において参照画像として蓄えられるとともに、代表ベク
トル検出手段２２ｃに直接与えられる。代表ベクトル検
出手段２２ｃでは、入力された映像信号から構成される
符号化対象画像の上位符号化対象領域とメモリ手段２１
ｃからの参照画像を基に、図５で説明したように第１の
動きベクトルを検出する。

【００５０】また、図８は本実施例における第１の動き
ベクトルと画像との関係を示す図である。図において、
縦線は各画像、横の短線は上位符号化対象領域の境界、
矢印は第１の動きベクトルを示している。同図からわか
るように、第１の動きベクトルはすべての上位符号化対
象領域に対して検出される。

【００５１】実施例２．次に、本発明の第２の実施例を
説明する。図９は第１の動きベクトルと画像との間の第
１の関係を示す図である。

【００５２】上述の実施例１では、符号化対象画像のす
べての上位符号化対象領域に対して第１の動きベクトル
が検出される場合について説明したが、第１の動きベク
トルは、その画像の動きの早さや上位符号化対象領域の
大きさの取り方によっては検出されない場合がある。

【００５３】本実施例は、このような第１の動きベクト
ルが検出されない上位符号化対象領域における第１の動
きベクトルの作成方法に関するものであり、符号化装置
と復号化装置との間に定められた一定の規則に基づき、
他の上位符号化対象領域の第１の動きベクトルから当該
上位符号化対象領域の第１の動きベクトルを作成する。

【００５４】図９は、ある画像間隔をおいて、第１の動
きベクトルが検出された場合である。 同図では、ｍ枚
の画像毎に第１の動きベクトルが検出される。この際、
第１の動きベクトルが検出されなかった画像では、第１
の動きベクトルの検出された最も近接する未来の画像に
おける当該第１の動きベクトルから、以下のような方法
で第１の動きベクトルを作成する。

【００５５】すなわち、第ｎ画像及び第ｎ＋ｍ画像の第
１の動きベクトルが検出されている時、第ｎ＋ｍ画像に
おける第１の動きベクトルをｖとすると、第ｎ＋ｙ画像
では過去の画像に対する第１の動きベクトルｖｆと未来
の画像に対する第１の動きベクトルｖｂを以下のように
作成する。 ｖｆ＝｛ｙ／ｍ｝×ｖ ｖｂ＝｛(ｍ−ｙ)／ｍ｝×（−ｖ）

【００５６】なお、第１のベクトル作成方法としては、
基本的には符号化装置と復号化装置との間で共通の規則
に従って定められた方法であれば良く、上記式以外の方
法であっても良い。

【００５７】実施例３．図１０は本発明の第３の実施例
を示す図であり、第１の動きベクトルと画像との間の第
２の関係を示すものである。

【００５８】本実施例は、上記実施例２とは異なり、符
号化対象画像のうち１つの上位符号化対象画像に対して
のみ第１の動きベクトルが検出された場合である。この
ような場合、本実施例では、他の上位符号化対象画像の
第１の動きベクトルとして、この検出された第１の動き
ベクトルを代用するようにしている。このようにしたと
しても、上述したように、通常の画像は、パンニング
等、画面全体を一つの塊として移動することが多いた
め、大きな問題とはならない。

【００５９】なお、上述の実施例２及び実施例３におい
て、第１の動きベクトルが検出されない上位符号化対象
領域ではかかる第１の動きベクトルのベクトルコードを
第２の動きベクトルや差信号のベクトルコードに多重化
して伝送する必要のないことはいうまでもない。また、
上記各実施例においては、第１，第２の動きベクトルの
検出に際して１枚の画像すなわち、ＴＶにおけるフレー
ム画像を単位としていたが、フィールド画像を単位に第
１，第２の動きベクトルを検出するようにしてもよい。

【００６０】

【発明の効果】以上のように、本発明によれば、画像情
報の動きをその大域的な動きを示す第１の動きベクトル
と、局所的な動きを示す第２の動きベクトルとにより２
段階の動き補償予測を行うようにしているため、ハード
ウェア／ソフトウェア規模を小規模なものとしながら、
動きの早い画像にあっても符号化効率の高い映像信号符
号化・復号化装置及び符号化・復号化方法が得られると
いう効果がある。

【００６１】また、本発明によれば、第１の動きベクト
ルが検出できない上位符号化対象領域があったとして
も、容易にこれに代わる第１の動きベクトルを得ること
ができ、また、本発明により得た第１の動きベクトル
は、パンニング等の画像情報の特徴及び人間の視覚特性
に基づいて得たものであるため、再生画質の劣化も僅か
なものに押さえた映像信号符号化・復号化装置及び符号
化・復号化方法が得られるという効果がある。

【図面の簡単な説明】

【図１】 本発明の映像信号符号化・復号化装置におけ
る符号化装置の概略構成を示すブロック図である。

【図２】 本発明の映像信号符号化・復号化装置におけ
る復号化装置の概略構成を示すブロック図である。

【図３】 本発明の映像信号符号化・復号化装置におけ
る第１の動き検出手段の構成を示すブロック図である。

【図４】 本発明の映像信号符号化・復号化装置におけ
る符号化対象領域及び上位符号化対象領域の概念を示す
概念図である。

【図５】 本発明の映像信号符号化・復号化装置におけ
る第１の動きベクトル検出の概念を示す概念図である。

【図６】 本発明の映像信号符号化・復号化装置におけ
る第２の動きベクトル検出の概念及び第１，第２の動き
ベクトルの関係を示す概念図である。

【図７】 本発明の映像信号符号化・復号化装置におけ
るベクトルコードを示す図である。

【図８】 本発明の映像信号符号化・復号化装置におけ
る第１の動きベクトルと各画像間の関係を示す図であ
る。

【図９】 本発明の映像信号符号化・復号化装置におい
て検出されなかった第１の動きベクトルを作成する方法
を示す図である。

【図１０】 本発明の映像信号符号化・復号化装置にお
いて検出されなかった第１の動きベクトルを検出された
他の第１の動きベクトルで代用する方法を示す図であ
る。

【図１１】 従来の映像信号符号化・復号化装置におけ
る符号化装置の概略構成を示すブロック図である。

【図１２】 従来の映像信号符号化・復号化装置におけ
る復号化装置の概略構成を示すブロック図である。

【図１３】 従来の映像信号符号化・復号化装置におい
て動きベクトルを検出するための探索領域の概念を示す
概念図である。

【図１４】 従来の映像信号符号化・復号化装置におけ
る動きベクトル検出の概念を示す概念図である。

【図１５】 従来の映像信号符号化・復号化装置におけ
るベクトルコードを示す図である。

【図１６】 従来の映像信号符号化・復号化装置におけ
る動きベクトルの差分値とその出現確率との関係を示す
図である。

【符号の説明】

１ａ，１ｂ，１ｃ，１ｄ：入力端子、２ａ，２ｂ，２
ｃ，２ｄ：出力端子、３ａ，３ｃ：減算手段、４ａ，４
ｃ：ＤＣＴ（離散コサイン変換）手段、４ｂ：ＩＤＣＴ
（逆離散コサイン変換）手段、５ａ，５ｃ：量子化手
段、５ｂ，５ｄ：逆量子化手段、６ａ，６ｃ：逆量子化
手段、７ａ，７ｃ：ＩＤＣＴ手段、８ａ，８ｂ，８ｃ，
８ｄ：加算手段、９ａ，９ｂ，９ｃ，９ｄ：メモリ手
段、１０ｃ：第１の動き検出手段、１２ａ，１２ｂ，１
２ｃ，１２ｄ：スイッチ（切替）手段、１３ａ，１３
ｃ：可変長符号化手段、１３ｂ，１３ｄ：可変長復号化
手段、１４ａ，１４ｃ：送信バッファ手段、１４ｂ，１
４ｄ：受信バッファ手段、１５ａ，１５ｃ：符号量制御
手段、１７ｄ：動きベクトル再生手段、１８ａ，１８
ｃ：第２の動き検出手段、１９ｃ：低域通過フィルタ
（ＬＰＦ）手段、２０ｃ：サブサンプリング手段、２１
ｃ：メモリ手段、２２ｃ：代表ベクトル検出手段

フロントページの続き (72)発明者 岡崎 幸治 京都府長岡京市馬場図所１番地 三菱電機 株式会社映像システム開発研究所内

Claims (14)

【特許請求の範囲】
1. 【請求項１】 動き補償予測を用いて映像信号の符号化
   ・復号化を行う映像信号符号化・復号化装置において、 現在符号化しようとしている１枚の画像情報を複数の領
   域に分割した上位符号化対象領域の各領域毎に、その領
   域の時間的な動きを示す第１の動きベクトルを、過去に
   符号化した参照画像に対して検出する第１の動き検出手
   段と、 第１の動きベクトルが検出された前記上位符号化対象領
   域を複数の領域に分割した符号化対象領域の各領域毎
   に、その領域の時間的な動きを示す第２の動きベクトル
   を、前記第１の動きベクトルによって指定された位置を
   中心とする前記参照画像の所定の探索領域内において検
   出する第２の動き検出手段と、 前記第１，第２の動きベクトルにより指定される前記参
   照画像の予測領域の信号と前記符号化対象領域の信号と
   の差信号を検出する減算手段と、 前記第１，第２の動きベクトルと前記差信号とを可変長
   符号化して多重化する可変長符号化手段と、 前記可変長符号化手段により多重化された信号を伝送す
   る伝送手段と、 多重化された信号を受信する受信手段と、 受信した多重化信号を前記第１，第２の動きベクトルと
   前記差信号とに分離して可変長復号化する可変長復号化
   手段と、 可変長復号化された前記第１，第２の動きベクトルに基
   づき、過去に再生した前記参照画像から前記予測領域を
   検出する検出手段と、 前記検出手段で検出した前記予測領域の信号と可変長復
   号化された前記差信号とを加算することで前記符号化対
   象領域の信号を検出し、前記１枚の画像情報を再生する
   加算手段とを備えたことを特徴とする映像信号符号化・
   復号化装置。
2. 【請求項２】 第１の動きベクトルが検出されなかった
   上位符号化対象領域における第１の動きベクトルを、前
   記上位符号化対象領域が近接する未来の画像の上位符号
   化対象領域において検出された第１の動きベクトルか
   ら、符号化装置と復号化装置との間に定められた一定の
   規則に基づき作成することを特徴とする請求項１記載の
   映像信号符号化・復号化装置。
3. 【請求項３】 第１の動きベクトルが検出されなかった
   上位符号化対象領域における第１の動きベクトルを、該
   上位符号化対象領域を含む画像情報における他の上位符
   号化対象領域において検出された第１の動きベクトルに
   よって代用するようにしたことを特徴とする請求項１記
   載の映像信号符号化・復号化装置。
4. 【請求項４】 動き補償予測を用いて映像信号の符号化
   を行う映像信号符号化装置において、 現在符号化しようとしている１枚の画像情報を複数の領
   域に分割した上位符号化対象領域の各領域毎に、その領
   域の時間的な動きを示す第１の動きベクトルを、過去に
   符号化した参照画像に対して検出する第１の動き検出手
   段と、 第１の動きベクトルが検出された前記上位符号化対象領
   域を複数の領域に分割した符号化対象領域の各領域毎
   に、その領域の時間的な動きを示す第２の動きベクトル
   を、前記第１の動きベクトルによって指定された位置を
   中心とする前記参照画像の所定の探索領域内において検
   出する第２の動き検出手段と、 前記第１，第２の動きベクトルにより指定される前記参
   照画像の予測領域の信号と前記符号化対象領域の信号と
   の差信号を検出する減算手段と、 前記第１，第２の動きベクトルと前記差信号とを可変長
   符号化して多重化する可変長符号化手段とを備えたこと
   を特徴とする映像信号符号化装置。
5. 【請求項５】 第１の動きベクトルが検出されなかった
   上位符号化対象領域における第１の動きベクトルを、前
   記上位符号化対象領域が近接する未来の画像の上位符号
   化対象領域において検出された第１の動きベクトルか
   ら、符号化装置と復号化装置との間に定められた一定の
   規則に基づき作成することを特徴とする請求項４記載の
   映像信号符号化装置。
6. 【請求項６】 第１の動きベクトルが検出されなかった
   上位符号化対象領域における第１の動きベクトルを、該
   上位符号化対象領域を含む画像情報における他の上位符
   号化対象領域において検出された第１の動きベクトルに
   よって代用するようにしたことを特徴とする請求項４記
   載の映像信号符号化装置。
7. 【請求項７】 動き補償予測を用いて符号化された映像
   信号の復号化を行うものであって、 １枚の画像情報を複数の領域に分割した上位符号化対象
   領域の各領域毎に、その領域の過去に符号化した参照画
   像に対する時間的な動きを示す第１の動きベクトルと、
   該第１の動きベクトルが検出された前記上位符号化対象
   領域をさらに複数の領域に分割した符号化対象領域の各
   領域毎に、その領域の前記第１の動きベクトルによって
   指定された位置を中心とする前記参照画像の所定の探索
   領域内における時間的な動きを示す第２の動きベクトル
   と、前記第１，第２の動きベクトルによって指定される
   前記参照画像の予測領域の信号と前記符号化対象領域の
   信号との差信号とを多重化した多重化信号の復号を行う
   映像信号復号化装置において、 前記多重化信号を受信する受信手段と、 受信した多重化信号を前記第１，第２の動きベクトル
   と、前記差信号とに分離し可変長復号化する可変長復号
   化手段と、 可変長復号化された前記第１，第２の動きベクトルに基
   づき、過去に再生した前記参照画像から前記予測領域を
   検出する検出手段と、 前記検出手段で検出した前記予測領域の信号と可変長復
   号化された前記差信号とを加算することで前記符号化対
   象領域の信号を検出し、前記１枚の画像情報を再生する
   加算手段とを備えたことを特徴とする映像信号復号化装
   置。
8. 【請求項８】 現在符号化しようとしている１枚の画像
   情報を複数の領域に分割した上位符号化対象領域の時間
   的な動きを示す第１の動きベクトルを、過去に符号化し
   た参照画像に対して検出する工程、 前記上位符号化対象領域を複数の領域に分割した符号化
   対象領域の時間的な動きを示す第２の動きベクトルを、
   前記第１の動きベクトルによって指定された位置を中心
   とする前記参照画像の所定の探索領域内において検出す
   る工程、 前記第１．第２の動きベクトル、及び、該第１，第２の
   動きベクトルにより指定される前記参照画像の予測領域
   の信号と前記符号化対象領域の信号とを減算して得た差
   信号を可変長符号化して多重化する工程、 前記多重化信号を前記第１，第２の動きベクトルと前記
   差信号とに分離して可変長復号化する工程、 前記可変長復号化された前記第１，第２の動きベクトル
   に基づき、過去に再生した前記参照画像から前記予測領
   域の信号を検出し、該信号と可変長復号化された前記差
   信号とを加算することで前記符号化対象領域の信号を検
   出し、前記１枚の画像情報を再生する工程とを備えてな
   る映像信号符号化・復号化方法。
9. 【請求項９】 第１の動きベクトルが検出されなかった
   上位符号化対象領域における第１の動きベクトルを、前
   記上位符号化対象領域が近接する未来の画像の上位符号
   化対象領域において検出された第１の動きベクトルか
   ら、符号化装置と復号化装置との間に定められた一定の
   規則に基づき作成する工程を備えてなる請求項８記載の
   映像信号符号化・復号化方法。
10. 【請求項１０】 第１の動きベクトルが検出されなかっ
    た上位符号化対象領域における第１の動きベクトルを、
    該上位符号化対象領域を含む画像情報における他の上位
    符号化対象領域において検出された第１の動きベクトル
    によって代用する工程を備えてなる請求項８記載の映像
    信号符号化・復号化方法。
11. 【請求項１１】 現在符号化しようとしている１枚の画
    像情報を複数の領域に分割した上位符号化対象領域の時
    間的な動きを示す第１の動きベクトルを、過去に符号化
    した参照画像に対して検出する工程、 前記上位符号化対象領域を複数の領域に分割した符号化
    対象領域の時間的な動きを示す第２の動きベクトルを、
    前記第１の動きベクトルによって指定された位置を中心
    とする前記参照画像の所定の探索領域内において検出す
    る工程、 前記第１，第２の動きベクトル、及び、該第１，第２の
    動きベクトルにより指定される前記参照画像の予測領域
    の信号と前記符号化対象領域の信号とを減算して得た差
    信号を可変長符号化して多重化する工程を備えてなる映
    像信号符号化方法。
12. 【請求項１２】 第１の動きベクトルが検出されなかっ
    た上位符号化対象領域における第１の動きベクトルを、
    前記上位符号化対象領域が近接する未来の画像の上位符
    号化対象領域において検出された第１の動きベクトルか
    ら、符号化装置と復号化装置との間に定められた一定の
    規則に基づき作成する工程を備えてなる請求項１１記載
    の映像信号符号化方法。
13. 【請求項１３】 第１の動きベクトルが検出されなかっ
    た上位符号化対象領域における第１の動きベクトルを、
    該上位符号化対象領域を含む画像情報における他の上位
    符号化対象領域において検出された第１の動きベクトル
    によって代用する工程を備えてなる請求項１１記載の映
    像信号符号化方法。
14. 【請求項１４】 １枚の画像情報を複数の領域に分割し
    た上位符号化対象領域の各領域毎に、その領域の過去に
    符号化した参照画像に対する時間的な動きを示す第１の
    動きベクトルと、該第１の動きベクトルが検出された前
    記上位符号化対象領域をさらに複数の領域に分割した符
    号化対象領域の各領域毎に、その領域の前記第１の動き
    ベクトルによって指定された位置を中心とする前記参照
    画像の所定の探索領域内における時間的な動きを示す第
    ２の動きベクトルと、前記第１，第２の動きベクトルに
    よって指定される前記参照画像の予測領域の信号と前記
    符号化対象領域の信号との差信号とを多重化することで
    符号化された映像信号の復号を行う映像信号復号化方法
    であって、 符号化された前記映像信号を前記第１，第２の動きベク
    トルと、前記差信号とに分離し可変長復号化する工程、 可変長復号化された前記第１，第２の動きベクトルを基
    に、過去に再生した前記参照画像から前記予測領域の信
    号を検出し、該信号と可変長復号化された前記差信号と
    を加算することで前記符号化対象領域の信号を検出し、
    前記１枚の画像情報を再生する工程を備えてなる映像信
    号復号化方法。