JPH08205172A

JPH08205172A - 領域分割型動き予測回路、領域分割型動き予測回路内蔵画像符号化装置および領域分割型動き予測画像復号化装置

Info

Publication number: JPH08205172A
Application number: JP1066995A
Authority: JP
Inventors: Takahiro Fukuhara; 隆浩福原
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-01-26
Filing date: 1995-01-26
Publication date: 1996-08-09

Abstract

(57)【要約】【目的】予測誤差が少なくて効能率な領域分割型動き
予測回路およびそれを用いた画像符号化・復号化装置を
得る。【構成】ブロック毎の入力画像信号の特徴を抽出して
ブロックを必要に応じて複数の領域に分割する領域分割
手段と、この分割された領域毎に動きベクトルを検出す
る動きベクトル検出手段と、ブロック中の上記分割され
た領域の境界からブロックのパターンとレベルを定める
領域境界線近似手段と、この得られたパターンとレベル
から動きベクトルを調整して領域境界情報と動きベクト
ルと予測画像情報を出力する動きベクトル再探索手段を
備えた。また、符号化装置は、これから成る領域分割型
動き予測回路を構成要素とした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報の動き検出と
動き予測を行う動き予測回路と、それを適用した画像符
号化・復号化装置に関するものである。

【０００２】

【従来の技術】従来の動き予測回路として、例えば、特
開平４−３４７９８７に示されるものがある。図１０
は、上記方法による実施例を示した図である。図におい
て、１１は動きベクトル検出回路、１２は領域分割回
路、１３は動きパラメータ検出回路、１０１は入力画
像、１０２はフレーム間動きベクトル、１０３は領域分
割情報、１０４は各領域毎に検出された動きパラメータ
である。次に、この回路の動作を説明する。動きベクト
ル検出回路１１と領域分割回路１２とに入力画像１０１
が供給される。動きベクトル検出回路１１では、入力画
像１０１の画素毎、或は、小ブロック毎の動きベクトル
１０２を検出して、動きパラメータ検出回路１３に供給
する。一方、領域分割回路１２では、入力画像１０１を
動きの異なる複数の領域に分割し、領域分割の状態を示
す領域分割情報１０３を出力する。なお、領域分割回路
１２では、動きベクトル検出回路１１の出力である動き
ベクトル１０２を参照することで、入力画像１０１の領
域分割が動きの異なる領域毎となるように領域分割・統
合を行う。動きパラメータ検出回路１３では、領域分割
情報１０３を参照して、供給された動きベクトル１０２
から特定領域に属する動きベクトルを選択し、この選択
された動きベクトルを用いた領域の動きを記述する１次
変換係数である動きパラメータを求める。この処理を全
ての領域で行い、検出された動きパラメータ１０４を入
力画像の動き情報として出力する。

【０００３】また、図１１は、動きパラメータ検出回路
１３内部の動作を説明したもので、動きパラメータ検出
の対象としている領域に属するＮ個の実測値と、その実
測座標位置を選択する。次に、Ｎ個の実測座標位置が重
心点検出回路２１に供給され、Ｎ個の実測点の重心座標
位置を算出する。更に、重心点検出回路２１は、Ｎ個の
実測点の座標位置を、計算により求めた重心座標位置と
の相対座標位置に変換して、平均値検出回路２２，２
３，２４に供給する。ところで、平均値検出回路２２に
は、Ｎ個の動きベクトル実測値ｘ方向生成分Ｖ_x（Ｘ，
Ｙ）が供給され、平均値検出回路２４には、Ｎ個の動き
ベクトル実測値のｙ方向成分Ｖ_y（Ｘ，Ｙ）が供給され
る。各平均値計算回路は、各種平均値を計算して１次変
換係数検出回路２５，２６に供給する。１次変換係数検
出回路２５では、供給された各種平均値から最小２乗法
により、１次変換係数ａ，ｂ，ｅを算出する。また、同
様の手法により１次変換係数検出回路２６では、１次変
換係数ｃ，ｄ，ｆを算出する。これら係数を領域の動き
パラメータとする。以上の処理を画像内の各領域につい
て実行して、領域毎に動きパラメータを得る。一方、他
の従来例として、特開平５−３２８３３４に示すものが
ある。この例では、ブロック単位で符号化する場合、付
近の同様のブロックを統合して拡大したブロック単位で
符号化してしまう方式を開示している。

【０００４】

【発明が解決しようとする課題】上記従来例によれば、
第１に、動きベクトル１０２より、１次変換係数である
動きパラメータ１０４に変換する際に、最小２乗法を用
いている。これは、領域の動きが十分に小さいという仮
定により、求めることができるものである。従って、動
きが大きい場合には、検出誤差が増大してしまうという
課題がある。第２に、動きパラメータを検出する際、対
象領域に属するＮ個の実測値が必要としているが、リア
ルタイムの動画像通信において、入力画像中の各領域の
実測値を自動、且つ、高速、高精度に検出する必要があ
るという課題がある上、現実的でない。第３に、従来例
では、領域分割された領域が、動きベクトル検出処理に
対して最適か否かの判定基準が存在しないため、領域分
割の精度により、予測性能が大きく左右されるという課
題があった。他の従来例では、符号化単位がブロックで
あり、しかも固定的に複数ブロックをまとめて拡大して
符号化するもので、画像の予測誤差はブロック単位以上
には改善されないという課題があった。

【０００５】本発明は、上記の課題を解決するためにな
されたもので、検出誤差をブロック単位以下で正しく予
測し、しかも高速計算を必要としないで実測値なしで
も、常に正しい予測が行える動き予測回路を得ることを
目的とする。

【０００６】

【課題を解決するための手段】本発明に係る領域分割型
動き予測回路は、ブロック毎の入力画像信号の特徴を抽
出してブロックを必要に応じて複数の領域に分割する領
域分割手段と、この分割された領域毎に動きベクトルを
検出する動きベクトル検出手段と、ブロック中の上記分
割された領域の境界からブロックのパターンとレベルを
定める領域境界線近似手段と、この得られたパターンと
レベルから領域境界情報と動きベクトルと予測画像情報
を出力する動きベクトル再探索手段を備えた。

【０００７】また更に、基本構成に加えて、複数の分割
された領域の組み合わせを設定評価基準で評価して、統
合可能な組み合わせの領域を統合する領域統合手段を付
加した。

【０００８】また更に、領域統合化手段は、領域を統合
する評価基準に符号化ビット量または符号化ビットレー
トも参照して領域統合するようにした。

【０００９】また更に、入力画像信号の特徴を抽出して
幾つかの領域に分割する領域分割手段を異なる特徴の抽
出の仕方で異なる領域に分割する構成として複数個設
け、この分割された領域毎に動きベクトルを検出する動
きベクトル検出手段と、ブロック中の上記分割された領
域の境界からブロックのパターンとレベルを定める領域
境界線近似手段と、この得られたパターンとレベルから
動きベクトルを調整して領域境界情報、動きベクトルと
予測画像情報を出力する動きベクトル再探索手段を備
え、複数の領域分割手段による各領域分割の中で入力画
像信号との予測誤差が少ない領域分割に基づいて領域境
界情報と動きベクトルを出力するようにした。

【００１０】また更に、領域分割手段は、ブロック毎の
入力画像信号の特徴を抽出してブロックを必要に応じて
複数の領域に分割する第１の領域分割手段と、先ず１フ
レーム分の入力画像信号の特徴を抽出して幾つかの領域
に分割して後その各ブロックの情報を出力する第２の領
域分割手段とを設け、予測回路としては入力画像信号と
の予測誤差が少ない領域分割を選択する領域分割手段を
選択するようにした。

【００１１】また更に、動きベクトル再探索手段は、予
め動きベクトル検出手段で得られた動きベクトルを参照
して最終の動きベクトルを得るようにした。

【００１２】この発明に係る画像符号化装置は、入力画
像信号の特徴を抽出してブロックを複数の領域に分割す
る領域分割手段と、この分割された領域毎に動きベクト
ルを検出する動きベクトル検出手段と、分割された領域
の境界からブロックのパターンとレベルを定める領域境
界線近似手段と、この得られたパターンとレベルから動
きベクトルを再度探索して予測画像情報を出力する動き
ベクトル再探索手段とから成り、領域境界情報と動きベ
クトルを送信する領域分割型動き予測回路と、入力画像
信号と上記領域分割型動き予測回路出力の予測画像信号
との差を符号化して得られた変換係数を量子化する量子
化手段と、この量子化手段出力の量子化係数を逆量子化
する逆量子化手段と、この逆量子化手段出力の変換係数
を逆変換したものと前フレームの符号化画像信号とを加
算して現フレームの符号化済画像信号として記憶するフ
レームメモリと、上記量子化係数を符号化する可変長符
号化手段とを備えた。

【００１３】この発明に係る画像復号化装置は、受信ま
たは再生画像データの符号を復号して、復号化された量
子化係数を逆量子化する逆量子化手段と、この逆量子化
出力の変換係数を逆変換復号化して受信画像を生成する
逆変換復号化手段と、受信または再生した領域境界情報
からブロック内のパターンと境界線を得る領域境界線復
号化手段と、この得られた境界線と、受信または再生し
た境界毎の動きベクトルと、前フレームの画像とから予
測画像を得る予測画像生成手段とを備え、逆変換復号化
手段出力の受信画像と予測画像生成手段出力の予測画像
とから現フレームの画像を得るようにした。

【００１４】

【作用】本発明による領域分割型動き予測回路は、入力
画像信号の特徴に基づいてブロックが幾つかの領域に分
割され、この分割された領域毎に動きベクトルが与えら
れ、更に分割された領域の境界からブロックのパターン
とレベルが定められ、この得られたパターンとレベルか
ら動きベクトルを調整して領域境界情報と動きベクトル
と予測画像情報が出力されて送信または出力される。

【００１５】また更に、ブロック中の複数の分割された
領域の組み合わせが設定評価基準で評価され、この基準
に基づいて統合可能な組み合わせの領域であれば領域が
まとめられて少ない領域数で表現される。そしてまとめ
られた領域に対して領域境界情報と動きベクトルと予測
画像情報が選択される。

【００１６】また更に、領域統合化に際しては、領域を
まとめる評価基準に符号化ビット量または符号化ビット
レートも参照し、符号化ビットレートが低い場合は領域
をまとめ、符号化ビットレートが高い場合は領域は統合
されないよう作用する。

【００１７】また更に、入力画像信号の特徴抽出に際し
ては、異なる特徴の抽出の仕方をする複数の領域分割手
段を設け、この分割された領域毎に動きベクトルと、ブ
ロックのパターンとレベルが得られ、これら複数の領域
分割の中で入力画像信号との予測誤差が少ない領域分割
が選択され、この選択された領域分割に基づいて領域境
界情報と動きベクトルと予測画像情報が出力される。

【００１８】また更に、領域分割手段は、ブロック毎の
入力画像信号の特徴を抽出してブロックを必要に応じて
複数の領域に分割する第１の領域分割手段と、先ず１フ
レーム分の入力画像信号の特徴を抽出して幾つかの領域
に分割して後、その各ブロックの情報を出力する第２の
領域分割手段とを設け、予測回路としては入力画像信号
との予測誤差が少ない領域分割をする領域分割手段を選
択するようにした。

【００１９】また更に、動きベクトル再探索に際して
は、予め動きベクトル検出手段で得られた動きベクトル
を参照して少ない探索回路で最終の動きベクトルが得ら
れる。

【００２０】この発明による画像符号化装置は、入力画
像信号のブロックが複数の領域に分割されて領域毎に動
きベクトルとブロックのパターンとレベルが与えられる
領域分割型動き予測回路により、入力画像信号と動き予
測回路出力信号との差が符号化され、以後この符号化さ
れた結果、得られる変換係数が量子化され、この量子化
された量子化係数が逆量子化され、この逆量子化された
変換係数を逆変換したものと前フレームの符号化画像信
号とを加算して、現フレームの信号として、フレームメ
モリに記憶して動き予測回路に与えられるとともに、ブ
ロックのパターンとレベルおよび量子化係数は符号化し
て送信される。

【００２１】この発明による画像復号化装置は、受信ま
たは再生画像データの符号が復号され、復号化された量
子化係数が逆量子化され、更にこの逆量子化出力の変換
係数を逆変換復号化して受信画像がを生成され、また受
信または再生した領域境界情報からブロック内のパター
ンとレベルが得られ、この得られた境界線と受信または
再生した境界毎の動きベクトルと前フレームの画像とか
ら予測画像を得られる。そして、逆変換復号化手段出力
の受信画像と予測画像生成手段出力の予測画像とから現
フレームの画像が得られる。

【００２２】

【実施例】

実施例１．本発明の第１の実施例である動き予測回路の
構成と動作を説明する。図１は、この動き予測回路の構
成図である。図において、新規な構成要素として５１の
領域分割部、５４の領域境界部近似部、５５の動きベク
トル再探索部がある。５３は領域統合部を表す。その
他、従来と同様の構成要素として、５２の動きベクトル
検出部、５６の領域境界線符号化部、５７のフレームメ
モリがある。また、５０１は入力の画像信号、５０２は
領域分割した領域毎の領域画像、５０３は統合された領
域画像、５０４は近似された領域画像、５０５はフレー
ムメモリ内に蓄積されている予測領域画像、５０６は同
じくフレームメモリ内の予測領域画像、５０７も同じく
予測領域画像である。また、５０８は領域境界線情報、
５０９はこの発明で新規に生成される領域境界線符号化
情報、５０１も同じく新規に生成される動きベクトル、
５１１は制御情報、５１２は動きベクトル、５３４は予
測ブロック画像である。

【００２３】次に、この回路の動作を説明する。図１に
おいて、入力である画像信号５０１は、領域分割部５１
に入力される。領域分割部５１では、入力されるブロッ
ク単位の入力信号を画像中に存在する複数の領域に分割
し、領域画像５０２を出力する。１ブロックを更に、複
数の領域に分割する手法としては、従来より輝度による
分割、色差による分割、エッジ情報を利用した分割等が
提案されており、本実施例でもこれらのいずれかの手法
を用いて、領域分割をする。

【００２４】図２は、本実施例における領域分割、領域
統合、動きベクトルの再探索の動作を説明する図であ
る。本実施例において、領域分割をする構成自体は従来
の手法であるが、図２に示すように、入力のブロック内
の画像を更に細分化して、領域分割することが第１の要
点である。領域分割部５１では、図２の［Ｉ］に示す形
でブロック単位の画像を、例えば、Ａ，Ｂ，Ｃの３つの
領域に分割する。この出力信号５０２を動きベクトル検
出部５２は、フレームメモリ５７に記憶されている符号
化済みの画像情報５０５を参照して、図２のＡ，Ｂ，Ｃ
の各領域毎に動きベクトル５１２を検出する。動きベク
トルの検出自体は、従来手法と同様であり、入力画像ブ
ロックと最も誤差の少ない予測画像ブロックを符号化済
み画像の中から探索し、この時の入力画像ブロックから
見た予測画像の相対位置をもって、動きベクトルとす
る。

【００２５】次に、領域統合部５３の動作を説明する。
本構成要素は、付加的な要素であるが、これを付加する
ことによって、領域は最適な状態で統合され、少ない領
域で最適な近似ができる。即ち、図２で説明すれば、図
の［Ｉ］において、Ａ，Ｂ，Ｃの３つの領域に分割され
た画像情報の組み合わせは、ＡとＢ対Ｃ、ＡとＣ対Ｂ、
ＢとＣ対Ａの組み合わせがあり得る。もし、制御情報５
１１により、領域を２つに統合するという制御があった
場合に、上記３つの組み合わせの中で最も予測誤差の少
ない組み合わせを計算する。図２の［ＩＩ］の例では、
ＢとＣ対Ａの組み合わせ、つまり、ＡとＡ以外の領域を
Ｂとする２つの領域に統合するのが、一番予測誤差が少
ない場合を示している。この場合には、領域統合部５３
では、図２の［ＩＩ］に示す形で領域画像情報５０３を
出力する。この時、フレームメモリ５７からは、予測領
域画像５０６が領域統合部５３に出力される。次に、領
域境界線近似部は、入力された領域画像５０３を入力と
し、図２の［ＩＩＩ］に示す境界線近似を行う。

【００２６】図３は、領域境界線近似部の動作を説明す
る図である。図において、（１）ないし（８）は、領域
境界線近似部５４が持っている８つのパターンとその変
化方法、つまり、レベルの方法を説明している。即ち、
領域境界線近似部は、入力画像信号をこの８つのパター
ンのどれかに当てはめて近似をするものである。図１の
例では、領域境界線近似部５３は、図３の（３）のパタ
ーンを選択する。こうして、入力画像信号である図２の
［ＩＩ］に示すパターンは、図２の［ＶＩ］に示すパタ
ーンとして出力される。近似された領域画像５０４は、
動きベクトル再探索部５５に入力される。

【００２７】動きベクトル再探索部５５の動作を図２に
より説明する。動きベクトル再探索部５５の構成自体
は、動きベクトル検出部５２と同様である。ただ、改め
て全ての動きベクトルの検出を行うのではなく、図２の
［Ｖ］に示すように、近似されたパターンの中でレベル
調整をし、フレームメモリ５７から読み出された予測領
域画像５０７と比較して、再探索をして領域境界線５０
８を定める。そして、領域境界線５０８を境にして
Ａ’，Ｂ’の領域毎の動きベクトル５１０と領域境界線
情報５０８と、予測ブロック画像５３４を出力する。こ
こで、予測ブロック画像５３４は、現在処理中の複数個
の領域が存在するブロックの画像を意味する。即ち、図
２の正方形のブロックである。領域境界線符号化部５６
は、入力の領域境界線情報５０８を符号化し、領域境界
線符号化情報５０９として出力する。本実施例での領域
境界線近似部５４は、上記説明したように、例えば、８
つの複数のパターンを所持しており、図３の（１）に示
す水平方向の変化、（２）の垂直方向の変化、（３）の
右斜め方向の変化、（４）の左斜め方向の変化、（５）
の内部に四角の領域があり、それが四方に伸縮する変
化、（６）の内部に円形領域があり、それが四方に拡大
・縮小する変化、（７）の正方形の領域が右斜め方向に
変化するもの、（８）の正方形の領域が左斜め方向に変
化するもの、の複数のパターンがあり、入力画像信号は
このいずれかに近似して出力される。こうして、入力画
像を高速計算して形を定める必要はなく、単に８つのパ
ターンと比較して、予測誤差が最も少ないパターンとレ
ベルが選択できる。

【００２８】図４は、本実施例の領域境界線の符号化法
を説明する図である。図４に示す入力画像信号の例で
は、最終的に図４（ｂ）に示すパターンが選ばれる。即
ち、これは図３の（３）のパターンである。図４（ａ）
に示すＰａｔｔｅｒｎというのは、図３の（１）〜
（８）のどのパターンであるかを示している。また、図
４（ａ）のＬｅｖｅｌは、図４（ｂ）または図２［Ｉ
Ｖ］に示す境界線の位置を示している。例えば、レベル
３は、左上端に境界線が近く、レベル６とレベルが増加
するに従って、次第に右下の方向に境界線が変化してい
くことを示している。この数値を符号化して、図４
（ａ）のＬｅｖｅｌに示す数値として出力をする。つま
り、図４（ａ）のＰａｔｔｅｒｎとＬｅｖｅｌが出力信
号５０９となる。一方、図４（ａ）のｄｍｖ１，ｄｍｖ
２が動きベクトル５１０を示す。即ち、図４（ｂ）のハ
ッチング部分を、例えば、ｄｍｖ１とし、白い部分をｄ
ｍｖ２として出力する。こうして、領域数が２個である
場合に、領域分割符号化を行ったことを示すＣＯＤＥ
（１）のコードを付加し、ｄｍｖ１，ｄｍｖ２，Ｐａｔ
ｔｅｒｎ，Ｌｅｖｅｌを付加して送信する。例えば、領
域単位の動き補償予測符号化を行わず、従来と同様ブロ
ック単位で予測符号化を行う場合には、ＣＯＤＥ（０）
とし、ｄｍｖ１の１個の動きベクトルを送信するだけで
よい。こうした方式を採用する場合のビット数は、図３
に示す複数のパターンのパターン数とレベル数で決ま
る。例えば、図３の８つの形状の場合であれば、パター
ンは３ビットであり、３０個のレベルがある場合には、
レベルは５ビットになる。

【００２９】尚、上記実施例において、領域統合部５３
は、例えば、制御信号５１１の制御で２領域に分割を指
示された場合に上記実施例となる。この他に領域統合の
評価値を定めておき、一定の統合許容誤差を定め、この
許容誤差内であれば統合する、という方式にすれば、制
御信号５１１がない場合でも統合ができる。即ち、いく
つかの領域の組み合わせが、予測誤差に許容誤差を加算
した値以下であれば良いとする場合である。また更に、
制御信号５１１として、符号化ビット量または符号化ビ
ットレートを入力し、この値があるスレッシュホールド
を超えると統合化する方式としてもよい。こうすること
で、ビットレートに余裕がない場合は領域をまとめ、ビ
ットレートに余裕がある場合は、領域を分割するように
し、予測近似度を高めることができる。

【００３０】実施例２．本実施例では、領域分割部を異
なる方式の複数の手段で構成する例を説明する。図５
は、実施例２の領域分割部５１の構成を示す図である。
図において、５８は特徴量１による領域分割部、例え
ば、輝度により領域を分割する手段である。５９は特徴
量２による領域分割部、例えば、色差による領域分割手
段、６０は特徴量ｎよる領域分割部、例えば、エッジ情
報を利用した領域分割手段である。５２０，５２１，５
２２は、それぞれ異なる領域分割部５８，５９，６０に
よる分割された領域画像群を示す。これらの領域画像
は、後段の動きベクトル再探索部出力の境界線情報と動
きベクトルを用いて予測誤差の評価が行われる。その結
果、最も予測誤差が少ない領域分割手段５８，５９ない
し６０が選択され、その出力信号である５２０，５２
１，５２２のいずれかが選択されて、それが領域画像５
０２となって後段に出力される。予測誤差を最小にする
評価部は、動きベクトル再探索部５５に設けてもよい
し、この図１の構成外のプロセッサが行ってもよい。

【００３１】実施例３．本実施例では、領域分割部５１
を更に他の構成とした例を説明する。図６は、本実施例
の領域分割部の構成と、関連する要素を示す図である。
図において、７６は一画面分のフレームバッファ、６１
は一画面分の画像をまず複数の領域に分割する領域分割
部、６２はその出力された領域画像をブロック単位に分
割して、ブロック毎の領域画像を作るブロック化部であ
る。また、６２は入力信号を画像単位であるブロックに
分割するブロック化部、６３はブロック単位に分割され
た入力信号を、ブロック中の複数の領域に分割するブロ
ック画像の領域分割部である。５４４は一画面分の領域
分割画像、５４５は一画面分の原画像である。実施例１
の領域分割部５１は、本実施例の領域分割部６１からブ
ロック化部６２と、フレームメモリ７６からブロック画
像の領域分割部６３までの双方を合わせたものに相当す
る。

【００３２】次に、本構成の動作を説明する。本構成の
特徴は、一画面の領域分割部６１とそのブロック化部６
２を用いて、入力の一画面の画像情報をまず大まかに領
域分割し、それをブロック情報として細分化して出力す
る部分を付加したことである。こうして、上記の、まず
一画面の画像情報に基づいて領域分割した領域分割画像
５３０とその領域分割ブロック化情報５３２を生成する
過程と、実施例１と同様にまずブロック化しそのブロッ
ク化の集合情報５３１に対して領域分割を行い、ブロッ
ク化領域分割画像情報５３３を得る動作は、出力情報と
して得られる領域分割ブロック画像が相違する。前者は
画像の大まかな構造、領域を抽出するのに有効であり、
後者はブロック内での更に精密な細部の領域の抽出に有
効である。これらの情報は、その後領域境界線近似部５
４、動きベクトル再探索部５５を経て動きベクトルや境
界線情報を得ることになる。そして、符号化ビット量、
符号化ビットレートを考慮し、実施例２と同様予測誤差
が少なくなる方が選ばれる。従って、上記ブロック化領
域画像情報５３２，５３３のいずれかが選択され、図１
における領域画像情報５０２となる。

【００３３】図７は、領域分割部の動作を説明する図で
ある。図において、領域画像Ａの動きベクトルを検索す
る動きベクトル検出部では、Ｐ１，Ｐ２，Ｐ３，Ｐ４を
４頂点とする四角形内を検索して、最も予測誤差が小さ
くなる時の動きベクトルを検出する。この時、領域画像
Ａ内のある点Ｐ（Ｘ，Ｙ）の移動する領域は、検索幅を
前後（ＤＸ，ＤＹ）とすれば、（Ｘ−ＤＸ，Ｙ−ＤＹ）
〜（Ｘ＋ＤＸ，Ｙ＋ＤＹ）となる。また、この時の動き
ベクトル５１２をＭＶ（ＭＶ_x，ＭＶ_y）とする。領域
境界線近似部５４において近似された領域画像Ａ”は、
前記動きベクトル５１２を用いて、この動きベクトル分
だけ領域画像Ａ”を移動した地点から、検索幅を前後
（ｄ_x，ｄ_y）として、動きベクトルの検索範囲を小さ
くすることができる。つまり、ｄ_x＜ＤＸ，ｄ_y＜ＤＹ
とする。領域画像Ａ”内のある点Ｑの移動する領域は、
Ｑ１，Ｑ２，Ｑ３，Ｑ４の四角形内になる。各頂点の座
標は、図７に記載の通りである。以降の処理は、実施例
１と同様であるのでここでは説明を省略する。

【００３４】実施例４．本実施例では、上記実施例で説
明した動き予測回路を適用した画像符号化装置の説明を
する。図８は、本実施例における符号化装置の構成図で
あり、図中の６４の領域処理部は実施例１、図１で説明
した領域分割型動き予測回路６４である。図８におい
て、以下に述べる各要素は、一般的な符号化装置の標準
的な要素に対応する。６９は入力信号と領域処理部６４
の出力信号の差をとる減算器、６５は上記減算器の出力
である予測誤差ブロック画像５３５を変換係数５３６に
変える変換符号化部、６６は更にその出力を量子化し、
量子化係数５３７を得る量子化部である。６７は上記出
力の量子化係数を逆量子化する逆量子化部、６８は更に
それを予測誤差ブロック画像５３９に戻す逆変換復号
部、７０はフレームメモリ５７からの出力がある予測画
像５４１と上記予測誤差ブロック画像５３９を加算する
加算器であり、その出力は次フレームの予測のために前
フレームの画像情報としてフレームメモリ５７に入力さ
れる。フレームメモリ５７の出力は、領域処理部６４に
予測画像５４１として戻される。一方、７１は量子化部
６６出力の量子化係数５３７を可変長符号語５４２に変
換する可変長符号化部、７２は入力の可変長符号語５４
２を必要時間蓄積し、出力の可変長符号語５４３を送信
路に送信するためのバッファである。

【００３５】次に、上記構成の画像符号化装置の動作を
説明する。領域処理部６４は、入力信号５０１とフレー
ムメモリからの参照画像情報５４１を用いて、予測ブロ
ック画像５３４を出力する。尚、フレームメモリからの
予測領域画像５４１は、図１における予測領域画像５０
５，５０６，５０７を含むものである。こうして、領域
処理部６４は、図１にも示す予測ブロック画像５３４を
出力し、予測ブロック画像５３４と入力信号５０１の差
が変換符号化部６５で変換係数に変換され、更に、量子
化部６６により量子化係数５３７に変換される。この量
子化係数５３７は、一方では逆量子化部６７、逆変換復
号化部６８を経由して、予測誤差ブロック画像５３９と
なり、フレームメモリに記憶されている前フレームの予
測画像５４１との和が再びフレームメモリ５７に符号化
ブロック画像５４０として記憶される。一方、量子化係
数５３７は、可変長符号化されて可変長符号語５４２に
なり、バッファメモリに蓄積された後、可変長符号語５
４３として送信路に送信される。ここでバッファ内の蓄
積情報量により、制御信号５１１として実施例でも述べ
たように領域処理部６４、更に詳しくは領域統合部５３
にフィードバックされ、ブロック内の領域の統合を制御
する。領域処理部６４からは、領域境界線符号化情報５
０９と、その各領域の動きベクトル５１０が同様に送信
路に送信される。

【００３６】実施例５．本実施例では、上記で説明した
画像符号化装置に対応する画像復号化装置を説明する。
図９は、本実施例の復号化装置の構成を示す図である。
本実施例において、本発明の特徴を表す構成要素は、７
４の領域境界線復号化部と７５の予測画像生成部であ
る。また、以下に述べる各要素は、一般的な復号化装置
の構成要素と同等のものである。即ち、７３は可変長復
号化部、６７は逆量子化部、６８は逆変換復号化部、７
０は加算器、５７はフレームメモリである。

【００３７】次に、上記構成の復号化装置の動作を説明
する。通信路を経由して受信された可変長符号語５４３
は、可変長復号化器７３でまず可変長復号化され、量子
化係数５３７が得られる。この量子化係数５３７が逆量
子化部６７で逆量子化されて変換係数５３８が得られ
る。この信号は、逆変換復号化部６８で予測誤差ブロッ
ク画像５３９に変換される。この予測誤差ブロック画像
５３９は、加算器７０で前フレームの予測ブロック画像
５３４と加算され、新たな符号化部ブロック画像５４０
となり、フレームメモリ５７に記憶される。一方、領域
境界線復号化部７４には、受信信号中から分離された領
域境界線符号化情報５０９が入力され、実施例１とは逆
の変換手続きが行われ、領域境界線の復号化を行い、領
域境界線５０８を得る。即ち、図２の［ＶＩ］の状態が
復元される。予測画像生成部７５では、この領域画像５
０８とまた受信信号から分離された動きベクトル５１０
を入力し、フレームメモリ５７から読み出された前フレ
ーム予測領域画像５４１を参照して、予測ブロック画像
５３４を出力する。即ち、ブロックを複数領域に分割し
た精密な領域画像を生成する。

【００３８】実施例６．本実施例では、実施例１で述べ
た領域分割型動き予測回路の他の例を説明する。本実施
例では、実施例１で述べた動きベクトル検出部５２にお
いて、検出した各領域の動きベクトル５１２を利用し
て、動きベクトル再探索部５５での動作を簡略しようと
する。つまり、領域境界線近似部５４において、新たに
近似された領域画像は、近似される前の領域画像と画像
性質が類似していると考えられるので、改めて全探索を
するのではなく、その近辺を参照して動きベクトルを定
めようとする。このことで、探索時間を短縮することが
できる。

【００３９】

【発明の効果】以上述べたようにこの発明によれば、動
き予測回路は領域分割手段と動きベクトル検出手段と領
域境界線近似手段と動きベクトル再探索手段を備えたの
で、入力のブロックの画像を、少ない画像情報として効
率よくまたは予測誤差を少なく伝送または出力できる効
果がある。

【００４０】また更に、領域統合手段を設けたので、ブ
ロックの画像は更に効率よくまとめて画像情報となり、
伝送または出力できる効果がある。

【００４１】また更に、領域統合化に際しては、符号化
ビット量または符号化ビットレートも参照され、ビット
またはビットレート変化量が多い場合は領域をまとめ、
変化量が少ない場合は領域は統合されないよう動作する
ので、伝送速度の制約条件内で高品質の画像情報が得ら
れる効果がある。

【００４２】また更に、入力画像信号の特徴抽出に際し
ては、異なる特徴の抽出の仕方をする複数の領域分割手
段を設けて予測誤差の少ない領域分割が選択されるの
で、高品質の画像情報が得られる効果がある。

【００４３】また更に、領域分割手段は、先にブロック
に分けてブロック毎の画像信号の特徴を抽出する第１の
領域分割手段と、まず１画面分の画像信号の特徴を抽出
して領域分割してその後各ブロックの情報を出力する第
２の領域分割手段とを選択するようにしたので、高品質
の画像情報を効率よく伝送または出力できる効果があ
る。

【００４４】また更に、動きベクトル再探索に際して
は、動きベクトルを参照して出力するので、短時間に最
終の動きベクトルが得られる効果がある。

【００４５】この発明の画像符号化装置によれば、入力
画像信号のブロックを領域分割して領域毎の動きベクト
ルとブロックのパターンとレベルが得られる領域分割型
動き予測回路と、量子化手段と、逆量子化手段と、フレ
ームメモリと、可変長符号化手段とを備えたので、少な
い符号量で高い予測効率の画像を符号化できる効果があ
る。

【００４６】この発明の画像復号化装置によれば、復号
化手段と、逆量子化手段と、領域境界情報からブロック
内のパターンと境界線を得る領域境界線復号化手段と、
動きベクトルと前フレームの画像とから予測画像を得る
予測画像生成手段を備えたので、少ない符号量で高い予
測効率の画像を復号化できる効果がある。

【図面の簡単な説明】

【図１】本発明の実施例１の領域分割型動き予測回路
の構成図である。

【図２】実施例１における領域統合部、領域境界線近
似部、動きベクトル再探索部の動作を説明するための図
である。

【図３】実施例１における領域境界線近似部が持つパ
ターンを示す図である。

【図４】実施例１における領域境界線符号化コードと
領域境界線パターン、レベルを説明する図である。

【図５】本発明の実施例２の動き予測回路の領域分割
部の構成図である。

【図６】本発明の実施例３の動き予測回路の領域分割
部の構成図である。

【図７】実施例３の領域分割部の動作を説明する図で
ある。

【図８】本発明の実施例４の領域分割型動き予測回路
を適用した符号化装置の構成図である。

【図９】本発明の実施例５の領域分割型動き予測回路
を適用した復号化装置の構成図である。

【図１０】従来の動き予測回路の構成を示すブロック
図である。

【図１１】従来の動き予測回路中の動きパラメータ検
出回路の構成を示す図である。

【符号の説明】

５１領域分割部、５２動きベクトル検出部、５３
領域統合部、５４領域境界線近似部、５５動きベク
トル再探索部、５６領域境界線符号化部、５７フレ
ームメモリ、５８特徴量１による領域分割、５９特
徴量２による領域分割、６０特徴量ｎによる領域分
割、６１一画面の領域分割部、６２ブロック化部、
６３ブロック画像の領域分割部、６４領域処理部、
６５変換符号化部、６６量子化部、６７逆量子化
部、６８逆変換復号化部、６９減算器、７０加算
器、７１可変長符号化部、７２バッファ、７３可
変長復号化部、７４領域境界線復号化部、７５予測
画像生成部、７６フレームバッファ、５０１入力画
像信号、５０２領域画像、５０３統合された領域画
像、５０４近似された領域画像、５０５予測領域画
像、５０６予測領域画像、５０７予測領域画像、５
０８領域境界線、５０９領域境界線符号化情報、５
１０動きベクトル、５１１制御情報、５１２動き
ベクトル、５２０特徴量１を用いて分割された領域
群、５２１特徴量２を用いて分割された領域群、５２
２特徴量ｎを用いて分割された領域群、５３０一画
面の領域分割画像、５３１ブロックの集合、５３２
ブロック化領域分割画像、５３３ブロック化領域分割画
像、５３４予測ブロック画像、５３５予測誤差ブロ
ック画像、５３６変換係数、５３７量子化係数、５
３８変換係数、５３９予測誤差ブロック画像、５４０
符号化ブロック画像、５４１予測領域画像、５４２
可変長符号語、５４３可変長符号語、５４４一画
面分の領域分割画像、５４５一画面分の原画像。

Claims

【特許請求の範囲】

【請求項１】ブロック毎の入力画像信号の特徴を抽出
してブロックを必要に応じて複数の領域に分割する領域
分割手段と、上記分割された領域毎に動きベクトルを検出する動きベ
クトル検出手段と、ブロック中の上記分割された領域の境界からブロックの
パターンとレベルを定める領域境界線近似手段と、上記で得られたパターンとレベルから上記動きベクトル
を調整して領域境界情報、動きベクトルと予測画像情報
を出力する動きベクトル再探索手段を備えた領域分割型
動き予測回路。
【請求項２】更に、複数の分割された領域の組み合わ
せを設定評価基準で評価して統合可能な組み合わせの領
域をまとめる領域統合手段を付加したことを特徴とする
請求項１記載の領域分割型動き予測回路。
【請求項３】領域をまとめる評価基準に符号化ビット
量または符号化ビットレートも参照して領域統合するよ
うにしたことを特徴とする請求項２記載の領域分割型動
き予測回路。
【請求項４】入力画像信号の特徴を抽出して幾つかの
領域に分割する領域分割手段を、異なる特徴の抽出の仕
方で異なる領域に分割する構成として複数個設け、上記分割された領域毎に動きベクトルを検出する動きベ
クトル検出手段と、ブロック中の上記分割された領域の境界からブロックの
パターンとレベルを定める領域境界線近似手段と、上記で得られたパターンとレベルから上記動きベクトル
を調整して領域境界情報、動きベクトルと予測画像情報
を出力する動きベクトル再探索手段を備え、上記複数の領域分割手段による各領域分割の中で入力画
像信号との予測誤差が少ない領域分割に基づいて領域境
界情報と動きベクトルを出力することを特徴とする請求
項１記載の領域分割型動き予測回路。
【請求項５】領域分割手段は、ブロック毎の入力画像
信号の特徴を抽出してブロックを必要に応じて複数の領
域に分割する第１の領域分割手段と、先ず１フレーム分
の入力画像信号の特徴を抽出して幾つかの領域に分割し
て後その各ブロックの情報を出力する第２の領域分割手
段とを設け、入力画像信号との予測誤差が少ない領域分
割をする領域分割手段を選択することを特徴とする請求
項１記載の領域分割型動き予測回路。
【請求項６】動きベクトル再探索手段は、予め動きベ
クトル検出手段で得られた動きベクトルを参照して最終
の動きベクトルを得る動きベクトル再探索手段であるこ
とを特徴とする請求項１記載の領域分割型動き予測回
路。
【請求項７】入力画像信号の特徴を抽出してブロック
を複数の領域に分割する領域分割手段と、この分割され
た領域毎に動きベクトルを検出する動きベクトル検出手
段と、分割された領域の境界からブロックのパターンと
レベルを定める領域境界線近似手段と、上記で得られた
パターンとレベルから動きベクトルを求め、同時に予測
画像情報を出力する動きベクトル再探索手段とから成
り、また領域境界情報と動きベクトルを送信する領域分
割型動き予測回路と、上記入力画像信号と上記領域分割型動き予測回路出力の
予測画像信号との差を変換符号化した結果得られる変換
係数を量子化する量子化手段と、上記量子化手段出力の量子化係数を逆量子化する逆量子
化手段と、上記逆量子化手段出力の変換係数を逆変換したものと前
フレームの符号化画像信号とを加算して現フレームの符
号化済画像信号として記憶するフレームメモリと、上記量子化係数を符号化して画像データを送信する可変
長符号化手段とを備えた領域分割型動き予測回路内蔵画
像符号化装置。
【請求項８】受信または再生画像データの符号を復号
し、この復号化された量子化係数を逆量子化する逆量子
化手段と、上記逆量子化出力の変換係数を逆変換復号化して受信画
像を生成する逆変換復号化手段と、受信または再生した領域境界情報からブロック内のパタ
ーンと境界線を得る領域境界線復号化手段と、上記得られた境界線と、受信または再生した境界毎の動
きベクトルと、前フレームの画像とから予測画像を得る
予測画像生成手段とを備え、上記逆変換復号化手段出力の受信画像と、上記予測画像
生成手段出力の予測画像とから現フレームの画像を得る
ようにした領域分割型動き予測画像復号化装置。