JPH0746595A

JPH0746595A - 動画像符号化器および復号化器

Info

Publication number: JPH0746595A
Application number: JP10881594A
Authority: JP
Inventors: Yutaka Watanabe; 裕渡辺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-05-21
Filing date: 1994-05-23
Publication date: 1995-02-14

Abstract

(57)【要約】【目的】この発明は、伝送されるべき情報量を低減し
て、高い伝送効率を得ることができる動画像伝送方法を
提供することを目的とする。【構成】本願に係る発明によれば、ｎ個（ｎは自然数
とする）の符号化処理済みフレームごとに、その局部復
号画像を区分領域に分割し、その輪郭情報を抽出する輪
郭抽出手段と、ｎ個の符号化処理済みフレームごとに、
該輪郭情報をもとに、動きパラメータを抽出する動きパ
ラメータ抽出手段と、ｎ個の符号化処理済みフレームご
との該局部復号画像、前記輪郭情報、および該動きパラ
メータをもとに、予測画像を作成する動き補償手段と、
現フレームと該予測画像の差分信号を量子化して符号化
情報を作成する符号化手段と、該符号化情報を逆量子化
した信号に、前記予測画像を加算して局部復号画像を作
成しフレームメモリに格納する局部復号化手段と、前記
符号化情報と、ｎ個の符号化処理済みフレームごとの動
きパラメータを送信する送信手段を有することを特徴と
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を符号化して符
号化器から復号器への伝送を行う動画像符号化器および
復号器に関するものである。より詳細には、動画像の符
号化と伝送を、より効率的に行なう動画像符号化器およ
び復号化器に関する。

【０００２】

【従来の技術】画像に対しエッジ検出処理または動きの
一様な部分を統合するといった処理を施すことによって
画像を区分領域に分割し、それらの各区分領域が前の時
刻の画像からどのように変化したかを示す動きパラメー
タを生成し、この動きパラメータを符号化して伝送する
区分領域符号化方法が知られている（"Object-Oriented
Analysis-Synthesis Coding of Moving Images", H. G.
Husmann, et al., p117-p138, Signal Processing, El
svier Science Publishers B.V., 1989）。従来の方法
によれば、このようにして得られる動き情報に加えて、
区分領域の輪郭情報をも各時刻毎に符号化して受信側へ
伝送されていた。

【０００３】図８は、動きパラメータおよび輪郭情報を
共に符号化して伝送する、従来の動画像符号化器の構成
を示すブロック図である。図８に示すように、従来の動
画像符号化器は、差分器１、離散コサイン変換部２、量
子化器３、逆量子化器４、離散コサイン逆変換部５、加
算器６、フレームメモリ７、動き補償部８、輪郭抽出部
９、動きパラメータ抽出部１０を有する。

【０００４】以上の構成において、符号化されて伝送さ
れる入力画像Ｉｎは差分器１に入力される。差分器１に
より入力画像Ｉｎと予測画像Ｐｎとの差分が演算され、
差分画像△ｎが出力される。なお、予測画像Ｐｎについ
ては後述する。次いで差分画像△ｎに対して、離散コサ
イン変換部２によって例えば離散コサイン変換等の直交
変換が施され、この結果得られる変換係数Ｃｎが出力さ
れる。この変換係数Ｃｎは、量子化器３によって量子化
され、符号化情報Ｄｎとなって受信側に送られる。符号
化情報Ｄｎは、受信側に送られると共に逆量子化部４に
送られ、逆量子化部４によって逆量子化が施される。こ
の逆量子化のなされた情報に対し、離散コサイン逆変換
部５によって離散コサイン逆変換が施され、量子化差分
信号Ｑ△ｎが出力される。ここで、量子化差分画像Ｑ△
ｎと差分画像△ｎとの間には量子化器３による量子化に
よって生じた量子化誤差相当の差異がある。量子化差分
画像Ｑ△ｎは加算器６によって予測画像Ｐｎと加算さ
れ、この加算の結果、受信側に送った符号化情報Ｄｎに
対応する量子化差分画像Ｑ△ｎと予測画像Ｐｎとの和、
すなわち、受信側に実質的に送った画像情報（以下の記
述においては「局部復号画像」と称す）が得られる。こ
の加算器６から得られる画像情報は、局部復号画像とし
てフレームメモリ７に記憶される。

【０００５】一方、動きベクトル検出手段により例えば
ブロックマッチング法等の検出方法によって動きベクト
ル（Ｖｘ、Ｖｙ）が検出され、この動きベクトルおよび
入力画像Ｉｎが輪郭抽出部９に入力される。輪郭検出部
９により、入力画像Ｉｎに含まれるエッジ情報と動きベ
クトル（Ｖｘ、Ｖｙ）とから、入力画像Ｉｎにおいて動
きに共通性を有する部分が抽出され、入力画像Ｉｎが各
々動きに共通性を有する部分からなる複数の領域に分割
される（セグメント化）。そして、輪郭抽出部９により
各区分領域の輪郭を表す輪郭情報Ｓｎが抽出され、この
輪郭情報Ｓｎは復号器へ伝送されると共に動き補償部８
および動きパラメータ抽出部１０へ送られる。

【０００６】動きパラメータ抽出部１０では、輪郭Ｓｎ
内の領域の動きベクトルに対して平均自乗誤差の意味に
おいて最適なアフィン変換パラメータａ、…、ｆが領域
毎に演算され、復号器へ伝送されると共に動き補償部８
へ送られる。そして、動き補償部８は、送信を終えたフ
レームに対応した局部復号画像Ｉｃ_n-1 を読み出し、読
みだされた局部復号画像Ｉｃ_n-1 における輪郭情報Ｓｎ
によって指定された各区分領域内の各画素に対し、当該
区分領域に対応したアフィン変換パラメータを動きパラ
メータとして作用させ、各区分領域内の画素の予測画素
値を求める。

【０００７】動きベクトルの抽出は、Ｊ₁=ｇ[Ｉ(N,ｉ,ｊ)-Ｉc（Ｎ−１, Ａ₁[ｉ,ｊ]）] ｇ：評価ノルム（Ｌ１, Ｌ２など）Ｉc（Ｎ−１,Ａ₁[i,j]）)：Ｎ−１時刻の符号化済み画
像のＡ₁[i,j]の画素値Ｉ(N, i, j)：N時刻の入力画像の領域Ｒに属する座標
（i, j）の画素値Ａ₁は領域ＲｃのＩからＩcへの変換を
示す。なる評価関数Ｊ₁を最小化するアフィン変換Ａ₁を探索す
ることにより得られる。同様の処理を、Ａ₁の逆変換を
用いて評価することもできる。このとき、

【数１】なる評価関数

【数２】

【０００８】図１０は、従来の画像伝送方法における領
域予測を概念的に示したものである。従来法によれば、
まず、予想すべき画像上（Ｎフレーム）において予測さ
れる領域を決定し、具体的には、動きに共通性を有する
部分の輪郭情報を決定し、次に、前記予測される領域の
予測のために前の画像（Ｎ−１フレーム）のどの領域を
用いるべきかを決定する。

【０００９】図９は、従来の動画像符号化器と共に用い
られる動画像復号器の構成を示すブロック図である。復
号器９０は、逆量子化器９１、離散コサイン逆変換部９
２、加算器９３、フレームメモリ９４、輪郭再生部９
５、動き補償部９６を有する。

【００１０】従来の動画像伝送方法においては、符号化
情報Ｄｎ、動きパラメータａ、…、ｆに加えて輪郭情報
Ｓｎを受信装置側へ伝送していた。これは次の理由によ
るものである。まず、図９に示すように、復号器におい
ては、符号化情報Ｄｎに対し、逆量子化および離散コサ
イン逆変換を施すことによって局部復号画像を復元し、
この局部復号画像に対し、受信側において生成した予測
画像を加算することによって送信側の入力画像Ｉｎを復
元する。この予測画像の復元は、図１０に示すように、
局部復号画像に対し、符号化器から受信した各動きパラ
メータａ、…、ｆを作用させることによって行う。しか
しながら、前述したように各動きパラメータは、各々入
力画像Ｉｎを分割した各区分領域毎に定められるもので
あるため、予測画像の復元には各動きパラメータと共に
動きパラメータを作用させるべき区分領域に関する情報
が必要となる。そこで、従来は、符号化器において求め
た輪郭情報Ｓｎをチェイン符号や多角形近似等を用いて
符号化して復号器に伝送していた。復号器ではこの輪郭
情報Ｓｎに基づいて局部復号画像を複数の領域に分割
し、各区分領域に対し各々に対応した動きパラメータを
作用させ、予測画像を得ていた。

【００１１】従来の画像伝送方法における、動画像符号
化器および動画像復号器の処理の流れを図１１のフロー
チャートに示す。動画像符号化器においては、現画像と
前画像の両方に基づき動きパラメータ、輪郭情報、およ
び差分情報を抽出して復号器側に送信する。また、復号
器側では、符号化器から送信された上記の情報に基づい
て再生画像を作成する。

【００１２】図１３は、従来手法に基づく処理の流れ
を、極めて概念的ではあるが、視覚的に表現したもので
ある。送信側では、送信すべき画像情報（入力画像Ｉ
ｎ）をうけると３００、エッジ検出処理等によって画像
を区分領域に分割し、区分領域の輪郭データを受信側に
送信する３０１。続いて、送信側では、入力画像Ｉｎお
よび局部複合画像Ｉｃ_n-1 に基づき動きパラメータを抽
出し３０２、動きパラメータを受信側に送信する。送信
側では、さらに、動きパラメータを作用させるべき局部
複合画像Ｉｃ_n-1 上の作用元を求め３０３、動きパラメ
ータを作用させて３０４予測画像Ｐｎを求める３０５。
最終的には、入力画像Ｉｎと予測画像Ｐｎとの差を求め
て受信側に送信する。

【００１３】受信側においては、受信した輪郭データお
よび動きパラメータに基づいて作用元を求める３０７。
記憶されていた局部複合画像Ｉｃ_n-1 の作用元に対して
受信した動きパラメータを作用させ予測画像Ｐｎを求め
る３０９。この予測画像Ｐｎは、送信側と同一の情報に
基づいて作成されるものである以上送信側において得ら
れた予測画像Ｐｎと同一である。そこで、受信した入力
画像Ｉｎと予測画像Ｐｎとの差（Ｉｎ−Ｐｎ）を予測画
像Ｐｎとの和を求めれば入力画像Ｉｎが復号される３１
０。

【００１４】

【発明が解決しようとする課題】しかし、このように、
符号化器から復号器へ送る情報の中に輪郭情報Ｓｎが含
まれる場合、送られる全情報量が大きくなるという問題
があった。また、特に区分領域の形状が複雑であった
り、区分領域が多数である場合に、送信すべき情報量が
膨大なものとなり、伝送効率が著しく低下するという問
題があった。

【００１５】

【課題を解決するための手段】この発明は上述した事情
に鑑みてなされたものであり、伝送されるべき情報量を
低減して、高い伝送効率を得ることができる動画像伝送
方法を提供することを目的とする。この目的を達成する
ために、本発明においては、区分領域毎に動きパラメー
タを求めてフレーム間予測を行なう画像符号化方法にお
いて、送信側の符号化器および受信側の復号器は、ｎ個
（ｎは自然数とする）の符号化済みフレームの画像に対
してそれぞれ独立に区分領域を決定する。符号化器は、
前フレームの画像に対して求めた区分領域から現フレー
ムの相当部分を予測するために必要な動きパラメータを
求め、この動きパラメータを符号化情報と共に復号器に
送信する。復号器においては、符号化器から受信した符
号化情報と動きパラメータに加えて、前フレームの画像
に対して独自に決定した区分領域情報を用いてフレーム
間予測を行なう。

【００１６】本願発明に係る動画像伝送方法によれば、
送信側と受信側の両方において、同一の領域分割手法に
したがって復号済みの局部復号画像を領域分割するた
め、輪郭情報を伝送する必要がない。したがって、伝送
すべき情報は、符号化情報、および、動きパラメータだ
けとなるために、伝送すべき情報量を低減することがで
きる。符号化済みのフレームを複数用いる場合には、区
分領域毎に、Ｎ個の符号化済みのフレームのうちのＭ個
（Ｍ＜ＮまたはＭ＝Ｎ）のフレームを参照して、フレー
ム間予測を行なう。

【００１７】さらに、本願発明の一実施態様によれば、
上記の手法によって予測された現フレームの中に空白部
分が生じた場合、すなわち、予測が存在しない領域ある
いは前フレーム画像から予測できない領域を生じた場合
には、所定の補間処理が実行される。さらに、本願発明
の他の実施態様によれば、上記の手法によって予測され
た現フレームが重なり合う場合には、所定の重複処理が
実行される。

【００１８】上記、本願発明の一実施態様によれば、補
間処理と重複処理を実施することによって、予測が存在
しない領域および予測が重複する領域に対して迅速な画
像再現を行なうことができる。

【００１９】

【実施例】図１は、本発明の一実施例による動画像伝送
方法を実施するための符号化器の構成を示すブロック図
である。図２は、本発明の一実施例による動画像伝送方
法を実施するための復号器の構成を示すブロック図であ
る。図３は、本願発明に係る画像予測を示す概念図であ
る。図４は、補間の一例を示す概念図である。図５は、
本願発明に係る動画像伝送方法を示すフロー図である。
図６は、本願発明に係る動画像伝送方法を実施するため
の符号化器の他の構成を示すブロック図である。図７
は、本願発明に係る動画像伝送方法を実施するための符
号化器の他の構成を示すブロック図である。図８は、従
来の動き補償を用いた区分領域符号化伝送に係る符号化
器の構成を示すブロック図である。図９は、従来の動き
補償を用いた区分領域符号化伝送に係る復号器の構成を
示すブロック図である。図１０は、従来手法による画像
予測を示す概念図である。図１１は、従来手法による動
画像伝送方法を示すフロー図である。図１２は、本願発
明による符号化および復号を示す概念図である。図１３
は、従来方法による符号化および復号を示す概念図であ
る。

【００２０】以下、図面を参照して本発明の実施例を説
明する。

【００２１】図１はこの発明の一実施例による動画像伝
送方法に係る符号化器の構成を示すブロック図である。
なお、この図において上述した図８の構成と対応する部
分には同一の符号を付した。

【００２２】前述の図８に示す装置において輪郭抽出部
９は、入力画像Ｉｎについて区分領域への分割および輪
郭情報Ｓｎの抽出を行っていたが、本実施例において輪
郭抽出部９は、予測に用いる画像を対象として領域分割
する。すなわち、輪郭抽出部９は、フレームメモリ７か
ら読み出された送信済みフレームの局部復号画像Ｉｃ
_n-1 について輝度または色差信号に基づくエッジ検出を
行い、区分領域への分割および輪郭情報Ｓ_n-1 の抽出を
行う。

【００２３】本発明では、フレームメモリに蓄えられて
いる符号化済みの前の画像の領域が、予測すべき画像の
どの部分を予測すればよいかを動きパラメータとして符
号化する。

【００２４】動きベクトルの抽出は、Ｊ₂=ｇ[Ｉ(Ｎ，Ａ₂[i,j])-Ｉc(N-1, i, j)] ｇ：評価関数（Lnノルムなど）Ｉc(N-1, i, j)：N-1時刻の符号化済み画像で領域Ｒｃ
に属する座標(i, j)の画素値 I(N,Ａ₂[i,j]：N時刻の入力画像の画素値Ａ₂は領域ＲｃのＩcからＩへの変換を示す。なる評価関数Ｊ₂を最小化するアフィン変換Ａ₂を探索す
ることにより得られる。

【００２５】同様の処理をＡ₂の逆変換を用いて評価す
ることもできる。この時、

【数３】

【００２６】図３は、本願発明に係る動画像伝送方法に
よる領域予測を概念的に示したものである。本方法によ
れば、まず、前の画像上（Ｎ−１フレーム）において領
域を決定し、次に、該領域が予測すべき画像（Ｎフレー
ム）のどの領域に該当するかを決定する。

【００２７】また、図１における動きパラメータ抽出部
１０は、前述の図８に示すものと同様、輪郭Ｓ_n-1 内の
領域の動きベクトルに対して平均自乗誤差を最小にする
意味において最適な動きパラメータを演算する。ここ
で、動きパラメータは、様々なものを用いることができ
るが、アフィン変換に基づく６パラメータを用いる手法
が代表的である。各画素毎の動きベクトルがブロックマ
ッチング法等によって求められていれば、６個のパラメ
ータは最小自乗近似法により決定される。これらは移動
量、回転量、伸縮率によって動き量を記述することがで
きる。ここで、点（ｘ、ｙ）における水平・垂直動きベ
クトル（Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ））はアフィン
パラメータａ、…、ｆにより以下のように近似すること
ができる。

【数４】ここでは、画素毎の動きベクトル（Ｖｘ, Ｖｙ）を求め
てアフィン変換パラメータを計算する手法を示したが、
Ｖｘ, Ｖｙを求めなくても、領域の画素値の対応だけか
ら領域間の動きパラメータを得ることもできる。

【００２８】実施例では、２次元のアフィン変換を用い
る場合を示したが、３次元のアフィン変換を求め、２次
元平面に射影する手法を用いることもできる。

【００２９】動き補償部８は、局部復号画像Ｉｃ
_n-1を、輪郭情報Ｓ_n-1、すなわち、局部復号画像Ｉｃ
_n-1 から動きパラメータの抽出を行う各区分領域を得る
ために使用した輪郭情報に従って分割し、この分割によ
って得られた各区分領域に対し動きパラメータ抽出部１
０から供給される各動きパラメータを作用させて予測画
像Ｐｎを作成する。

【００３０】前フレームからのみで予測画像を作成する
手法について説明してきたが、遅延が許容される場合
や、符号化データを蓄積してから復号する場合には時間
的に未来のフレームであっても、符号化処理済みであれ
ば、予測画像の作成に使用することができる。

【００３１】一般的には複数の符号化処理済みフレーム
を用いて予測画像を生成できる。Ｎ時刻のフレームを符
号化しようとするとき、Ｎ−１時刻とＮ＋１時刻のフレ
ームが符号化済みであれば、それぞれのフレームの区分
領域から現在のフレームの区分領域を動きパラメータを
用いて予測することができる。このとき、どちらか片方
の予測を用いるのか、２つの予測画素を相加平均して予
測画像とするのかを選択する手法も用いることができ
る。参照フレームは２フレーム以上の場合もあり、一般
に符号化済みのフレームを複数用いる場合には、区分領
域毎に、Ｎ個の符号化済みフレームのうちのＭ個（Ｍ＜
Ｎ）のフレームを参照して、フレーム間予測を行うこと
ができる。

【００３２】比較のために、従来の手法においてＮ−１
フレームの区分領域を用いてＮフレームの区分領域を予
測する方法について説明する。従来装置を示す前述の図
８においては、各動きパラメータの抽出を行う区分領域
が入力画像Ｉｎにより決定されるので、図１０に示すよ
うに、入力画像Ｉｎにおける区分領域は過不足無く組み
合わせられているのに対して、対応する局部復号画像Ｉ
ｃ_n-1 上の区分領域が重複することがある。図１０にお
いては、Ｎフレーム上の区分領域１１０、１２０には、
Ｎ−１フレーム上の区分領域１３０、１４０が対応する
が、区分領域１３０および区分領域１４０には重複部分
がある。また、局部複合画像Ｉｃ_n-1 Ｉは、入力画像Ｉ
ｎの予測に用いられない部分が存在することがあり、さ
らには、入力画像Ｉｎには局部複合画像Ｉｃ_n-1 からは
予測できない区分領域が存在することもある。従来手法
では、符号化器において予測すべき画像上で領域を決定
し、その領域を予測するのに、前の画像のどの位置の画
素を用いたら良いかを決定して動きパラメータとして符
号化する。そのため、予測すべき画像の領域分割が、過
不足なく行われていれば、予測されない部分というもの
は存在しない（ただし、上述のように、予測のために必
要な情報がＮ−１フレームに存在しないことは起こりえ
る）。

【００３３】これに対して本発明に係る方法によった場
合には、図３に示すように、前画像の情報は過不足無く
分割される代わりに、領域３１のように現画像の領域が
前画像の２以上の領域から予測される場合と、逆に、前
画像に基づく予測によっては予測値が存在しない領域が
存在することがある。前者の場合には重複する二つの予
測値の平均等が必要となり、後者の場合には補間処理が
必要となる。前画像の２つ以上の領域から予測値が得ら
れた領域３１に対しては、予測値の平均値を用いたり、
動きの方向を監視して、前の時刻の動きベクトルと異な
った動きを示した方の予測値を用いる手法などが考えら
れる。

【００３４】図４は、補間処理が必要になる場合を示し
た概念図である。現画像４０中には、前画像から予測さ
れる３つの領域４１、４２、４３が存在するが、これら
の領域に囲まれた部分４４は、前画面の何れの区分領域
からも予測されない部分である。部分４４については、
予測値が得られない以上別の手段で画像情報を予測する
必要があるが、そのための手段の一つが補間処理であ
る。補間処理としては、周囲の予測画像の画素の平均値
を補間部分の全ての画素の予測値として用いる方法や、
水平方向に関して、補間部分の外側の左右の画素の平均
値を用いる方法や、垂直方向に関して、補間部分の外側
の上下の画素の平均値を用いる方法や、補間部分の左右
の部分の動きの方向を検査し、補間部分に向かって侵入
してくる方向の動きを持つ側の領域に注目してその領域
の補間部分との接点の画素の値を用いる方法や、上下方
向の動きをもつ側の領域に注目してその領域の補間部分
との接点の画素の値を用いる方法や、補間部分の周囲の
水平と垂直の両方の動きに注目して、補間領域に侵入し
てくる動きを持つ領域の画素を用いる方法や、周囲の動
きベクトルを画素単位に内挿あるいは外挿して、その動
きベクトルを用いて画素単位に補間する手法など、多く
の手法が考えられる。

【００３５】図１中の後処理部１１は、補間演算による
予測画像の修正を行う。すなわち、後処理部１１は、予
測画像を構成する各画素の画素値に対して補間演算を施
し、予測画像の画素値を演算する。また、所定の優先順
位に従って補間による画素値または予測画像の画素値の
いずれかを予測画像の画素値とする。このようにして差
分器１に供給されるべき予測画像Ｐｎが演算される。差
分器１は、前述の従来の装置と同様、入力画像Ｉｎと予
測画像Ｐｎとの差分を出力する。ただし、入力画像と予
測画像との差分が著しく大きい場合、換言すれば、予測
画像を用いた場合のノルムが予測画像を用いない場合の
ノルムよりも大きくなるような場合には、予測画像を用
いることが不適当であると判断し、後処理部１１は該当
する領域の予測画像の各画素値を０とし、差分器１は入
力画像をそのまま離散コサイン変換部２へ送る。離散コ
サイン変換部２、量子化器３は前述した図２に示す装置
と同様に差分画像△ｎを符号化情報Ｄｎに変換して復号
器へ伝送する。他の構成要素である逆量子化器４、離散
コサイン逆変換部５、加算器６、フレームメモリ７の動
作についても前述した図２に示す装置と同様である。

【００３６】補間処理をするべきかいなかの判断は、よ
り詳細には以下のような手順にしたがって行なわれる。
すなわち、後処理部において補間処理をおこなおうとす
る部分は前フレームの画像のある部分の変形によっては
予測することができない部分である。補間されるべき部
分の画素が周囲の画素と相関を有しない場合には、補間
画素によって現フレーム画素の予測を行なっても予測効
率は向上しない。これらの関係は、以下の数式によって
表現することができる。ａ＝ｆ[Ｉ（ｉ、ｊ）−Ｐ（ｉ、ｊ）] ｂ＝ｆ[Ｉ（ｉ、ｊ）] ここで、Ｉ（ｉ、ｊ）は、輪郭が得られた領域Ｒに含ま
れる入力画像Ｐ（ｉ、ｊ）は、補間処理によって得られる領域Ｒの予
測画像。

【数５】

【００３７】上記の式によって表されるノルムが小さい
ことが予測効率が高いことを意味する。したがって、ａ
およびｂの比較を行ない、ａ＜ｂであれば補間処理を行
ない、ａ＞ｂまたはａ＝ｂであれば補間処理を行なわな
い旨決定すればよい。補間処理を行なわず、予測値を０
と設定したとしても、予測誤差は、新たに出現した部分
の画素を同一フレーム内で符号化したことに相当する。
予測がまったく無効な場合には、新たに出現した部分を
フレーム内符号化することが、最も高い符号化効率を得
る手段である。したがって、補間処理を行なわないとし
ても、符号化の効率としては一定の効果がある。

【００３８】区分領域による予測画像の生成には動きパ
ラメータを用いる場合を示したが、動きパラメータに加
えて、輝度やコントラスト補償して予測画像を生成する
ことができる。区分領域が一様な輝度変化をしていれ
ば、その値を補正して予測画像を生成する。またコント
ラストが変化していればコントラストを補正して予測画
像を生成する。これらの補正と動きパラメータを作用さ
せる処理の順番は任意に設定できる。

【００３９】本実施例においては、符号化器から復号器
へ符号化情報Ｄｎおよび動きパラメータは送られるが、
輪郭情報Ｓ_n-1 は送られない。復号器では、符号化情報
Ｄｎおよび動きパラメータに基づき、以下のようにして
入力画像を復元する。

【００４０】復号器では、図２に示したように、まず、
受信した符号化情報Ｄｎに対して逆量子化を施し、次い
でこの結果に対して離散コサイン逆変換を施す。このよ
うに符号化器において差分画像△ｎを符号化情報Ｄｎを
得るために行った変換の逆変換を行ない、差分画像△ｎ
に相当する画像が復元される。次いでこの差分画像△ｎ
に対し、その時点における受信側での予測画像を加算
し、符号化器において作成された局部復号画像と同等な
受信側での局部復号画像を復元する。そして、符号化器
において行ったのと全く同じ方法により局部復号画像を
各々動きの一様な複数の区分領域に分割し、これらの各
区分領域に対し、受信した動きパラメータを適用して変
形し、その結果に対し、符号化器の後処理部が行うのと
全く同様な予測画像の修正を行ない、受信側での予測画
像を生成する。

【００４１】このように復号器においては、符号化器か
ら各区分領域についての輪郭情報を受信することなく、
自装置内で符号化器において行われるのと全く同じよう
に局部復号画像の分割および動きパラメータの適用が行
われ、符号化器と全く同じ予測画像が作成される。

【００４２】図５は、上記の実施態様における符号化器
および復号器の処理をあらわすフローチャートである。

【００４３】図１２は、温顔発明に基づく処理の流れを
極めて概念的ではあるが、視覚的に表現したものであ
り、図１３に示す従来手法に基づく処理の流れに対応す
るものである。送信側では、送信すべき画像情報（入力
画像Ｉｎ）をうけると２００、局部複合画像Ｉｃ_n-1 に
対してエッジ検出処理等を施し画像を区分領域に分割
し、区分領域の輪郭データを抽出する２０１。続いて、
送信側では、入力画像Ｉｎおよび局部複合画像Ｉｃ_n-1
に基づき動きパラメータを抽出し２０２、動きパラメー
タを受信側に送信する。送信側では、さらに、動きパラ
メータの作用先を求め２０３、動きパラメータを作用さ
せて２０４予測画像Ｐｎを求める２０５。この予測画像
は、予測値が存在しない部分あるいは予測値が重複する
部分が存在する可能性があるので、これらの場合にはそ
れぞれ補間処理および重複処理を行ない修正された予測
画像Ｐｎ’を求める２０７。最終的には、入力画像Ｉｎ
と修正された予測画像Ｐｎ’との差を求めて受信側に送
信する２０８。

【００４４】受信側においては、記憶されていた局部複
合画像Ｉｃ_n-1 に対して送信側と同一の処理を行なって
輪郭情報を抽出し２０９、これに対して受信した動きパ
ラメータを作用させ予測画像Ｐｎを求める２１１。この
予測画像Ｐｎは、送信側と同一の情報に基づいて作成さ
れるものである以上送信側において得られた予測画像Ｐ
ｎと同一である。そこで、受信した入力画像Ｉｎと修正
された予測画像Ｐｎ’との差（Ｉｎ−Ｐｎ’）を修正さ
れた予測画像Ｐｎとの和を求めれば入力画像Ｉｎが復号
される２１４。

【００４５】なお、本発明は以上説明した実施例に限定
されることなく様々な態様で実施可能である。以下、そ
の例を列挙する。

【００４６】（１）局部復号画像からの輪郭情報の抽出
は、復号器においても同様に実施可能なものであれば、
多様な方法を採用することができる。

【００４７】例えば、局部復号画像に含まれる輪郭情報
のみならず、動きパラメータのセットの数を用いる方法
が考えられる。すなわち、セットの数がＫであれば回帰
的に領域数を減少させる領域抽出アルゴリズムを動作さ
せ、領域数がＫになった時点で領域分割を終了させる手
法でもよい。また、過去の動きパラメータのうち一様な
部分を統合することもできる。

【００４８】（２）動きパラメータの抽出は、ブロック
マッチング型動き補償または２次元アフィン変換または
３次元アフィン変換を２次元平面に投影する手法に限ら
ず、少ないパラメータで移動・回転・縮小等の変形を表
現できるものであれば様々な変換を使用することができ
る。

【００４９】（３）後処理部が行う予測画像の修正のた
めの内挿、外挿等の補間は、復号器が実施し得るもので
あれば如何なる方法でもよい。

【００５０】また予測画像が重複した部分の処理は、単
純な相加平均または任意の比率を持つ荷重平均または動
きベクトルの方向によって選択する手法または動きベク
トルの方向によって比率を変化させる荷重平均など、受
信装置側が実施し得るものであれば如何なる方法でもよ
い。

【００５１】（４）差分画像の符号化は、離散コサイン
変換などの直交変換および量子化に限らず、図６に示し
たようにＤＰＣＭのような差分予測符号化、図７に示し
た分析フィルタ等、逆変換や合成フィルタの存在する様
々な符号化方法を採用することが可能である。

【００５２】分析・合成フィルタには、並列なフィルタ
バンクまたはウェーブレットを用いることもできる。

【００５３】

【発明の効果】以上説明したように、本発明によれば、
符号化器から復号器へ輪郭情報を伝送することなく、動
き補償または輝度・コントラスト補正を用いた区分領域
の符号化伝送を行うことができ、伝送効率を高めること
ができるという効果が得られる。さらに、補間処理や重
複処理を用いることによって、前記方法を実施した際に
想定される、予測値が得られない部分が存在しうる起因
する問題と、複数の予測値が存在しうることに起因する
問題を迅速に処理することが可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例による動画像伝送方法を実施
するための符号化器の構成を示すブロック図である。

【図２】本発明の一実施例による動画像伝送方法を実施
するための復号器の構成を示すブロック図である。

【図３】本願発明に係る画像予測を示す概念図である。

【図４】補間の一例を示す概念図である。

【図５】本願発明に係る動画像伝送方法を示すフロー図
である。

【図６】本願発明に係る動画像伝送方法を実施するため
の符号化器の他の構成を示すブロック図である。

【図７】本願発明に係る動画像伝送方法を実施するため
の符号化器の他の構成を示すブロック図である。

【図８】従来の動き補償を用いた区分領域符号化伝送に
係る符号化器の構成を示すブロック図である。

【図９】従来の動き補償を用いた区分領域符号化伝送に
係る復号器の構成を示すブロック図である。

【図１０】従来手法による画像予測を示す概念図であ
る。

【図１１】従来手法による動画像伝送方法を示すフロー
図である。

【図１２】本願発明による符号化および復号を示す概念
図である。

【図１３】従来方法による符号化および復号を示す概念
図である。

【符号の説明】

１差分器２離散コサイン変換部３量子化器４逆量子化器５離散コサイン逆変換部６加算器７フレームメモリ８動き補償部９輪郭抽出部１０動きパラメータ抽出部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/137 Ｚ

Claims

【特許請求の範囲】

【請求項１】ｎ個（ｎは自然数とする）の符号化処理
済みフレームごとに、その局部復号画像を区分領域に分
割し、その輪郭情報を抽出する輪郭抽出手段と、ｎ個の符号化処理済みフレームごとに、該輪郭情報をも
とに、動きパラメータを抽出する動きパラメータ抽出手
段と、ｎ個の符号化処理済みフレームごとの該局部復号画像、
前記輪郭情報、および該動きパラメータをもとに、予測
画像を作成する動き補償手段と、現フレームと該予測画像の差分信号を量子化して符号化
情報を作成する符号化手段と、該符号化情報を逆量子化した信号に、前記予測画像を加
算して局部復号画像を作成しフレームメモリに格納する
局部復号化手段と、前記符号化情報と、ｎ個の符号化処理済みフレームごと
の動きパラメータを送信する送信手段を有することを特
徴とする動画像符号化器。
【請求項２】前記符号化手段が、現フレームと該予測
画像の差分信号を変換し量子化して符号化情報を作成す
るように構成され、かつ、前記局部復号化手段が、該符号化情報を逆量子化し逆変
換した信号に、該予測画像を加算して局部復号画像を作
成しフレームメモリに格納するように構成されることを
特徴とする請求項１記載の動画像符号化器。
【請求項３】前記予測画像に対して補間処理する手段
を有することを特徴とする請求項１記載の動画像符号化
器。
【請求項４】前記予測画像に対して重複処理する手段
を有することを特徴とする請求項１記載の動画像符号化
器。
【請求項５】前記動き補償手段が、輝度またはコント
ラストを補正して予測画像を作成するように構成される
ことを特徴とする請求項１記載の動画像符号化器。
【請求項６】符号化情報と、ｎ個の符号化処理済みフ
レームごとの動きパラメータを受信する受信手段と、ｎ個の符号化処理済みフレームについての各復号画像を
区分領域に分割し、その輪郭情報を抽出する輪郭抽出手
段と、ｎ個の符号化処理済みフレームごとの該復号画像、該輪
郭情報、および該動きパラメータをもとに、予測画像を
作成する動き補償手段と、該符号化情報を逆量子化した信号に、該予測画像を加算
して復号画像を作成しフレームメモリに格納する復号化
手段とを有することを特徴とする動画像復号化器。
【請求項７】前記復号化手段が、前記復号化情報を逆
量子化し逆変換した信号に、該予測画像を加算して復号
画像を作成しフレームメモリに格納するように構成され
ることを特徴とする請求項６記載の動画像復号化器。
【請求項８】前記予測画像に対して補間処理する手段
を有することを特徴とする請求項６記載の動画像復号化
器。
【請求項９】前記予測画像に対して重複処理する手段
を有することを特徴とする請求項６記載の動画像復号化
器。
【請求項１０】前記動き補償手段が、輝度またはコン
トラストを補正して予測画像を作成するように構成され
ることを特徴とする請求項６記載の動画像復号化器。