JP3977494B2 - 輪郭線符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号で表現される物体の輪郭線を符号化する装置に関し、特に、現フレームの輪郭線と前フレームの対応する輪郭線との間の整合程度を体系的に管理するべく制御信号を発生し得る輪郭線符号化装置に関する。
【０００２】
【従来の技術】
通常、テレビ電話、電子会議及び高精細度テレビジョンシステムのようなディジタルテレビジョンシステムにおいて、映像フレーム信号のビデオライン信号が「画素値」と呼ばれる一連のディジタルデータよりなっているため、各映像フレーム信号を定義するには大量のディジタルデータが必要である。しかしながら、従来の伝送チャネル上の利用可能な周波数帯域幅は制限されているため、特に、テレビ電話及び電子会議のシステムのような低ビットレートの映像信号符号化器の場合、このような伝送チャネルを通じて多量のディジタルデータを伝送するためには、多様なデータ圧縮技法を用いて伝送すべきデータの量を圧縮するか減らす必要がある。
【０００３】
低ビットレートの符号化システムに於いて、映像信号の符号化方法の中の一つに、いわゆる、物体指向分析/合成符号化方法がある（Ｍｉｃｈａｅｌ Ｈｏｔｔｅｒの論文、「Ｏｂｊｅｃｔ−Ｏｒｉｅｎｔｅｄ Ａｎａｌｙｓｉｓ−Ｓｙｎｔｈｅｓｉｓ Ｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ ＭＯＶＩＮＧ Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｏｂｊｅｃｔｓ」、Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ２，４０９−４２８頁（１９９０年１２月）参照）。
【０００４】
この物体指向分析/合成符号化方法によれば、入力映像信号は複数の物体に分けられ、各物体の動き、輪郭線及び画素データを定義するための三つの組よりなるパラメータが異なる符号化チャネルを通して処理される。
【０００５】
物体の輪郭線の処理の際、輪郭線情報は物体の形状を分析、合成するのに重要に用いられる。この輪郭線情報を表す通常の符号化方法に、チェーン符号化方法（ｃｈａｉｎ ｃｏｄｉｎｇ ｍｅｔｈｏｄ）がある。しかし、このチェーン符号化方法は、たとえ輪郭線情報を損失なく符号化しても、輪郭線情報を表現するのに大量のデータビットを必要とするという短所を有する。
【０００６】
これに関連して、Ｂ−スプライン近似化技法及び多角近似化技法のような輪郭線情報符号化法が幾つか提案されてきた。多角近似化方法には、輪郭線が粗く表現されるという短所がある。一方、Ｂ−スプライン近似化技法は輪郭線をより詳しく表現し得るが、近似化エラーを減らすため高次多項式を要するので、映像信号符号化器の全体的な計算量が増加されるという不都合がある。
【０００７】
上記のような輪郭線の粗い表現及び計算量の複雑さのような問題点を克服するための方法の一つに、離散的サイン変換（ＤＳＴ）を用いる輪郭線近似化方法がある。
【０００８】
しかし、上記のＤＳＴに基づく輪郭線近似化技法を用いて、たとえ、輪郭線の粗い表現及び計算量の複雑さを克服することができたとしても、例えば、６４ｋｂ／ｓの伝送チャネル帯域幅を有する低ビットレートのコーデックシステムを効果的に具現するには、伝送すべきデータの量をより一層減らすことが好ましい。
【０００９】
このため、現輪郭線と前輪郭線との間の差に基づいた輪郭線動き推定技法を用いる輪郭線符号化方法が提案されている。この方法は、本特許出願と出願人を同じくする係属中の日本特許出願平成９年第１７６，０７９号明細書に、「輪郭線符号化装置」との名称で開示されている。この方法によれば、現フレーム内の各現輪郭線が前フレーム内の前輪郭線のうち、現輪郭線と最も類似な一つの輪郭線と整合される。現輪郭線とこの現輪郭線と整合された前輪郭線（以下、「整合前輪郭線」と称する）との間の形状差、その整合前輪郭線に割当てられたインデックスデータ及び現輪郭線と整合前輪郭線との間の空間的変位(動きベクトル)が多重化され、その多重化データは符号化輪郭線データとして伝送される。
【００１０】
しかしながら、上記の方法は、現フレーム内の各現輪郭線に対応する形状差、インデックスデータ及び動きベクトルを有する輪郭線符号化情報を散発的に伝送するので、伝送すべきデータの量が相当多く、伝送データの量を正確に推定することが困難である。その結果、現輪郭線と整合前輪郭線との間の整合程度を体系的に管理するべく制御信号を発生して、輪郭線符号化情報を効果的に統合し、更に、伝送するべきデータの量を減らして、例えば、64kb/s伝送チャンネル帯域を有する低ビットレートのコーデックシステムを効果的に具現することが望ましい。
【００１１】
【発明が解決しようとする課題】
従って、本発明の主な目的は、現輪郭線とこの現輪郭線と整合される前輪郭線との間の整合程度を体系的に管理するべく制御信号を発生して、輪郭線動き推定技法に基づいて生成された輪郭線符号化情報を効果的に伝送し得る輪郭線符号化装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、各フレームは各々が輪郭線を有する一つまたは複数の物体からなり、前フレームに基づいて現フレーム内の物体の輪郭線を符号化する輪郭線符号化装置であって、
現輪郭線と、前記現輪郭線と重複する時最大の物体画素をもたらす前記前フレームとの間の変位を表す全域動きベクトルを発生する全域動きベクトル発生手段と、
前記前フレーム内の物体の輪郭線を前輪郭線として検出し、前記前輪郭線の数を表す輪郭線数を供給し、予め定められた処理順に従って前記各前輪郭線にインデックスデータを割当てる輪郭線検出手段と、
前記現フレーム内の輪郭線のうちのいずれか一つを現輪郭線として選択する現輪郭線選択手段と、
前記現フレーム内の前記各現輪郭線に対して、前記前輪郭線のうちで前記現輪郭線と最も類似な最適輪郭線を決定し、前記現輪郭線と前記最適輪郭線との間の変位を局所動きベクトル(ＬＭＶ)として定める最適輪郭線決定手段と、
前記各現輪郭線に対して、前記最適輪郭線を前記全域動きベクトル及び前記局所動きベクトルだけシフトさせて予測輪郭線を発生する予測輪郭線発生手段と、前記各現輪郭線に対して、前記予測輪郭線と前記現輪郭線との間の差分を表すエラーを検出するエラー検出手段と、
前記輪郭線数と、前記最適輪郭線のインデックスデータ、前記エラー及び前記局所動きベクトルを有する前記各現輪郭線に対応する輪郭線符号化情報とに基づいて、前記前輪郭線が対応する現輪郭線とどの位類似であるかを表すフラグ信号を発生するフラグ信号発生手段と、
前記各現輪郭線に対応する前記輪郭線符号化情報に基づいて、前記現フレームに対する前記エラー及び前記局所動きベクトルのシーケンスを発生するシーケンス発生手段と、
前記全域動きベクトルと、前記エラー及び前記局所動きベクトルのシーケンスと、前記フラグ信号とを符号化して、前記現フレームに対する符号化輪郭線データを出力する符号化手段とを有することを特徴とする輪郭線符号化装置が提供される。
【００１３】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００１４】
図１を参照すると、本発明の輪郭線符号化装置５のブロック図が示されている。一つまたは複数の物体を有する現フレームの輪郭線映像信号は、輪郭線検出部100及び動き推定部300にラインＬ50を通じて分割マスク形態で入力される。ここで、分割マスクにおける各画素は、該当する画素が属している領域を報知するラベルを有する。例えば、背景にある画素はゼロのラベルを有し、物体にある各画素は０でない値のラベルを有する。
【００１５】
輪郭線検出部100は受け取った分割マスクから輪郭線を検出し、予め定められた処理順に従って輪郭線映像信号に含まれている各輪郭線の処理順を決定し、現フレームの各輪郭線に対する輪郭線情報を順に出力する。輪郭線情報は輪郭線上の輪郭線画素の位置を表す輪郭線データを有する。輪郭線検出部100は検出した輪郭線情報を現輪郭線情報として、ラインＬ10を通じて輪郭線符号化部200及び動き推定部300に各々供給する。
【００１６】
動き推定部300はラインＬ50からの輪郭線映像信号、ラインＬ10からの現輪郭線情報、及びラインＬ30を通じてフレームメモリ700から入力された再構成済みの前輪郭線映像信号に基づいて、ラインＬ10からの現輪郭線と最も類似な前輪郭線を「最適輪郭線」として検出する。再構成済みの前輪郭線映像信号は分割マスクの形状になっている前フレームを表し、フレーム内の各画素は該当する画素が属している領域を表すラベルを有する。その後、動き推定部300は、ラインL20に最適輪郭線のインデックスデータを、ラインL40に現輪郭線と最適輪郭線との間の変位を表す動き情報を各々出力する。以下、図2及び図３を参照して、動き推定部300の動作を説明する。
【００１７】
図２を参照すると、動き推定部300は全域動きベクトル検出部310、予測輪郭線映像発生部320、及び最適輪郭線検出部330から構成されている。
【００１８】
全域動きベクトル検出部310はラインＬ30上の前輪郭線映像信号及びラインＬ50上の現輪郭線映像信号に基づいて、現フレームと前フレームとの間の空間的変位を表す全域動きベクトル（ＧＭＶ）を検出する。この時、前フレームが現フレームと重複する場合に、物体画素の数が最大となるフレームである。ＧＭＶの検出は、例えば、±16画素よりなる予め定められた探索範囲内で行われる。全域動きベクトル検出部310にて求められたＧＭＶは、予測輪郭線映像発生部320に、ラインL22を介して動き補償部400に、ラインL42を介してデータストリーム形成部800に各々供給される。
【００１９】
予測輪郭線映像発生部320は、ラインＬ30からの前フレームを、受け取ったＧＭＶだけシフトさせて、予測輪郭線映像を発生する。更に、図１中の輪郭線検出部100と同様に、予測輪郭線映像発生部320は予測輪郭線映像における輪郭線を検出し、予め定められた処理順に従って予測輪郭線映像に含まれた各輪郭線にインデックスデータを割当て、予測輪郭線映像内の各輪郭線に対する輪郭線情報を順に出力する。この輪郭線情報は、予測輪郭線映像における輪郭線上の輪郭線画素の位置を表す輪郭線データ及びそのインデックスデータを有する。予測輪郭線映像発生部320は、検出した各予測輪郭線に対する輪郭線情報をラインL60を介して最適輪郭線検出部330に供給する。また、予測輪郭線映像発生部320は、前フレーム内の数と同一の予測輪郭線映像内の輪郭線の数を検出し、その数を輪郭線数ＬとしてラインＬ45上に供給する。
【００２０】
最適輪郭線検出部330はラインＬ60からの予測輪郭線情報及びラインＬ10からの現輪郭線情報に基づいて、現輪郭線と最も類似な予測輪郭線の最適輪郭線を例えば、予め定められた探索範囲内(±８画素よりなる現輪郭線)にある予測輪郭線のうちで検出し、現輪郭線と最適輪郭線との間の空間的変位を表す局所動きベクトル(ＬＭＶ)及び最適輪郭線のインデックスデータをラインＬ20及びラインＬ40上に各々出力する。
【００２１】
図３は、最適輪郭線検出部330の詳細なブロック図であって、候補輪郭線決定部331、整合部333、及び最適輪郭線決定部335を備える。
【００２２】
候補輪郭線決定部331はラインＬ10からの現輪郭線情報及びラインＬ60からの予測輪郭線情報に基づいて、現輪郭線から予め定められた探索範囲内にある予測輪郭線を検出し、現輪郭線の長さ及び検出した予測輪郭線の長さを計算する。その後、現輪郭線の長さと予め定められた探索範囲内にある予測輪郭線の各長さとを比較する。現輪郭線の長さと予測輪郭線の長さとの間の差が、両輪郭線のうちより短い輪郭線の長さのＭ倍より小さい場合、該当予測輪郭線が現輪郭線に対する候補輪郭線として決定される。ここで、Ｍは予め定められた数である。現輪郭線に対する一つまたは複数の候補輪郭線を決定した後、各候補輪郭線を表す表示信号(例えば、候補輪郭線のインデックスデータ)を整合部333に供給する。輪郭線の長さは、例えば、該当輪郭線を構成する輪郭線画素の数で定義され得る。
【００２３】
本発明の他の実施例によると、候補輪郭線は、輪郭線の長さの代わりに各輪郭線内に位置した画素の数に基づいて決定され得る。
【００２４】
整合部333は受け取った各候補輪郭線の表示信号に応じて、ラインＬ60を通じて予測輪郭線映像発生部320から各候補輪郭線に対する輪郭線情報を取出す。続いて、整合部333はラインＬ10からの現輪郭線情報及びラインＬ60からの候補輪郭線情報に基づいて、現輪郭線と該現輪郭線の候補輪郭線との間の整合を行う。その後、整合部333は各候補輪郭線に対する整合情報を最適輪郭線決定部335に供給する。整合情報は、候補輪郭線のインデックスデータ、動き変位及び整合長さを有する。候補輪郭線に対する整合過程の際、候補輪郭線は予め定められた探索範囲内において、例えば、一つの画素単位に置換えられ、各変位における現輪郭線と候補輪郭線との間の整合線分が決定される。その後、整合線分の全体の長さが各変位に対して計算される。計算された長さは互いに比較され、その中の一番長いものが候補輪郭線の整合長さとして決定され、最大の長さをもたらす変位が候補輪郭線に対する動き変位として決められる。
【００２５】
図５は、整合線分決定方法を説明するための模式図であって、現輪郭線10と候補輪郭線20とが重ね合わせられている。輪郭線10と候補輪郭線20との間の重ね合わせを行った後、各交点ＰＶ１〜ＰＶ６、Ｅ１及びＥ２を検出し、各重複線分ＰＶ６-ＰＶ１、ＰＶ２-ＰＶ３、Ｅ１-Ｅ２及びＰＶ４-ＰＶ５の長さを計算する。重複線分の長さが閾値ＴＨ１より大きい場合、その重複線分は整合線分として決定される。図５において、交点Ｅ１と交点Ｅ２との間の重複線分の長さがＴＨ１以下であり、残余の重複線分の長さがＴＨ１より大きいと仮定する。従って、例えば、残余の重複線分(例えば、ＰＶ２〜ＰＶ３、ＰＶ４〜ＰＶ５及びＰＶ６〜ＰＶ１)が整合線分として決定される。本発明の他の好適実施例によれば、整合線分は長さの代わりに与えられた重複線分に位置する輪郭線画素の数に基づいて決定され得る。
【００２６】
最適輪郭線決定部335は各候補輪郭線に対する整合情報に応じて、各候補輪郭線の整合長さを互いに比較し、最大の整合長さを有する候補輪郭線を現輪郭線の最適輪郭線として決定する。最適輪郭線に対応する動き変位は局所動きベクトル(ＬＭＶ)として決定される。最適輪郭線決定部335はＬＭＶをラインＬ20上に、最適輪郭線のインデックスデータをラインＬ40上に各々出力する。また、最適輪郭線決定部335は、最適輪郭線のインデックスデータをラインＬ25を通じて候補輪郭線決定部331に供給して、次の整合過程において、予め最適輪郭線として決定された予測輪郭線を候補輪郭線としてそれ以上選択しないように候補輪郭線決定部331を制御する。従って、予測輪郭線映像内の各予測輪郭線は一回のみ最適輪郭線として選択される。
【００２７】
図１を再び参照すると、動き補償部400はラインＬ22からのＧＭＶ、ラインＬ20からのＬＭＶ及び最適輪郭線のインデックスデータに基づいて、ラインＬ30を通じてフレームメモリ700から最適輪郭線に対する輪郭線情報を取出して予測現輪郭線を発生する。ここで、予測現輪郭線は、ＧＭＶとＬＭＶとの和だけシフトされた最適輪郭線を表す。動き補償部400は予測現輪郭線を構成する輪郭線画素の位置データを表す予測現輪郭線情報を、ラインＬ55を通じて輪郭線符号化部200及び輪郭線再構成部600に各々供給する。
【００２８】
既存の輪郭線符号化技法を用いて、輪郭線符号化部200はラインＬ55からの予測現輪郭線情報及びラインＬ10からの現輪郭線情報に基づいて、現輪郭線と予測現輪郭線との間の差を表すエラーを検出し、このエラーを符号化して符号化エラーデータを発生する。この符号化エラーデータは、輪郭線復号化部500及びデータストリーム形成部800に伝達される。
【００２９】
輪郭線復号化部500は輪郭線符号化部200からの符号化エラーデータを復号化して、復号化エラーデータを輪郭線再構成部600に供給する。
【００３０】
輪郭線再構成部600は、輪郭線復号化部500からの復号化エラーデータとラインＬ55を通じて入力された予測現輪郭線情報とを用いて、現映像信号を再構成する。再構成過程において、分割マスクの形状でフレームを表す再構成済みの現輪郭線映像信号を発生するために、輪郭線再構成部600はフレームを構成する各輪郭線に含まれている各画素にラベルを割当てる。従って、分割マスク内の各画素はその画素が属している領域を表すラベルを有する。その後、再構成済みの現輪郭線映像信号はフレームメモリ700に格納され、次の現輪郭線映像信号に対する再構成済みの前映像信号として用いられる。
【００３１】
一方、データストリーム形成部800はラインＬ70からの符号化エラーデータと、ラインＬ42からのＧＭＶと、ラインＬ40からのＬＭＶ及び最適輪郭線のインデックスデータと、ラインＬ45からの輪郭線の数Ｌとに基づいて、例えば、フラグ信号等の制御信号を有する符号化輪郭線データをその伝送のために伝送器（図示せず）に供給する。ここで、フラグ信号は現フレーム内の輪郭線と前フレーム内の輪郭線との間の整合程度を表して、輪郭線動き予測技法に基づいて生成された符号化結果を効果的に伝送するに用いられる。
【００３２】
図４には、格納部820、フラグ信号発生部840及びマルチプレクサ(ＭＵＸ)860から構成されるデータストリーム形成部800の詳細なブロック図が示されている。
【００３３】
現フレームの各輪郭線に対して、格納部820は各現輪郭線の対応するラインＬ40からのＬＭＶ及び最適輪郭線のインデックスデータとラインＬ70からの符号化エラーデータとよりなる輪郭線符号化情報を格納し、インデックスデータをラインＬ76を通じてフラグ信号発生部840に供給し、格納された符号化エラーデータ及びＬＭＶに基づいてラインＬ72上に第1状態信号を、ラインＬ74上に第2状態信号を各々供給する。
【００３４】
上記において、第1及び第2状態信号は、符号化エラーデータ及びＬＭＶの状態を表す。即ち、第1状態信号は符号化エラーデータがゼロ値を有するか否かをを表し、第2状態信号はＬＭＶがあるか否かを表し、ＬＭＶが存在する場合には、ＬＭＶがゼロ値であるか否かを表す。更に、格納部820は、ラインＬ78を通じてフラグ信号発生部840から供給された出力制御信号に応じて、ラインＬ82を通じて符号化エラーデータを、ラインＬ84を通じてＬＭＶをＭＵＸ860に供給する。
【００３５】
フラグ信号発生部840はラインＬ76からのインデックスデータ、ラインＬ72からの第1状態信号、ラインＬ74からの第2状態信号及びラインＬ45からの輪郭線の数Ｌに基づいて、出力制御信号及びフラグ信号を発生する。フラグ信号は、現輪郭線と対応する前輪郭線との間の整合程度を体系的に表すのに用いられる。フラグ信号を発生するためには、インデックスデータと第1及び第2状態信号に基づいて、現輪郭線と前輪郭線との間の整合程度が次のように決定されることに注目されたい。
【００３６】
【表２】

【００３７】
上記表２で、「Ｙ」は対応する値がゼロでない値を有することを、「Ｎ」は対応する値がないことを、「ＺＥＲＯ」は対応する値がゼロであることを表す。
【００３８】
更に、表２において、整合程度ＧＭはＧＭＶ(即ち、全域動き補償)だけ前フレームをシフトして、現輪郭線が前輪郭線のうちのいずれか一つと完全に整合されることを表す。従って、整合程度ＧＭにおいては、インデックスデータが存在し、符号化エラーデータ及びＬＭＶはゼロ値を有する。
【００３９】
整合程度ＬＭは、全域動き補償及び局所動き補償によって現輪郭線が前輪郭線のうちのいずれか一つと完全に整合された時、ＬＭＶ及びインデックスデータはゼロでない値を有し、符号化エラーデータはゼロ値を有することを表す。ここで、局所動き補償は、全域動き補償の後、予め定められた探索範囲内で前輪郭線をシフトさせることによって実行される。
【００４０】
一方、整合程度ＰＭは、全域動き補償及び局所動き補償によって現輪郭線が前輪郭線のうちのいずれか一つと部分的に整合された時、表２に示すように２つのデータ条件が存在する。即ち、第1条件は符号化エラーデータ、ＬＭＶ及びインデックスデータが存在しても、ＬＭＶはゼロである場合である。
【００４１】
これは、全域動き補償によって現輪郭線と整合された前輪郭線が現輪郭線の最適輪郭線であることを意味する。第2条件は、全域動き補償及び局所動き補償によって現輪郭線が前輪郭線のうちのいずれか一つと部分的に整合された時、現輪郭線に対応する符号化エラーデータ、インデックスデータ及びＬＭＶが存在し、各値はゼロでない値を有する。整合程度ＮＭは、現輪郭線が前輪郭線のうちのいずれか一つとも整合されない場合であり、符号化エラーデータのみが格納部820に入力される。ここで、符号化エラーデータは、現輪郭線をイントラ符号化して得られた符号化の結果である。
【００４２】
各現輪郭線に対する整合程度が表２に示したように決定されると、現輪郭線と前輪郭線との間の整合程度に基づいてフラグ信号が生成される。
【００４３】
本発明によれば、フラグ信号はGfs_flag、Global_flag、Contour_flag及びContour_flag_statusのような四つの信号を有する。以下、各フラグ信号を記述する。
【００４４】
Gfs_flag信号は、全域動き補償によって現輪郭線に完全に整合される前輪郭線の数が選択された範囲内に属するか否かを表すことで、次のような論理値を有する。
Ｌ＜４×ＧＰＭの場合、Gfs_flag＝１
Ｌ≧４×ＧＰＭの場合、Gfs_flag＝０
ここで、ＧＰＭは全域動き補償によって現輪郭線と完全に整合される前輪郭線の数であり、Ｌは輪郭線の数である。
【００４５】
Gfs_flag信号を用いて、Global_flag信号が生成されるか否かを検出することができる。即ち、Gfs_flag信号が論理値１を有する場合は Global_flag信号が出力され、そうでない場合には Global_flag信号が生成されない。
【００４６】
Gfs_flag信号が論理値１を有する時生成される Global_flag信号は、Ｌビットで構成され、各ビットは該当する前輪郭線が全域動き補償によって前輪郭線のうちのいずれか一つと完全に整合されたか否かを表す。即ち、 Global_flag信号が論理値１のビットを有する場合、Global_flag信号は該当する前輪郭線が現輪郭線のうちのいずれか一つと完全に整合されることを表す。
【００４７】
Contour_flag 信号は、 Gfs_flag信号が論理値１である場合にＭビットで表示され、各ビットは対応する前輪郭線が全域動き補償及び局所動き補償に基づいて現輪郭線のうちのいずれか一つと完全にまたは部分的に整合されるか否かを表す。ＭはＬ−ＧＰＭである。この場合、 Contour_flag 信号は全域動き補償によって、現輪郭線のうちのいずれか一つと完全に整合される前輪郭線を除いた残余の前輪郭線を表す。即ち、 Contour_flag信号が論理値１のビットを有する場合、該当する前輪郭線が現輪郭線のうちのいずれか一つと整合される。そうでない場合には、該当する前輪郭線が現輪郭線のうちのいずれか一つとも整合されない。一方、Gfs_flag信号が論理値０を有する場合、Contour_flag信号は生成されない。従って、全域動き補償及び局所動き補償によって、各前輪郭線が現輪郭線のうちのいずれか一つと整合されるかを表すためにContour_flag信号はＬビットを備える。
【００４８】
Gfs_flag信号が論理値１を有する場合、Contour_flag_status信号は、全域動き補償及び局所動き補償に基づいて前輪郭線が現輪郭線のうちのいずれか一つと完全に整合されるかを表す。ここで、Contour_flag_status 信号は、全域動き補償及び局所動き補償に基づいて現輪郭線のうちのいずれか一つと完全にまた部分的に整合される前輪郭線の数を表すＣＰＭビットを有する。しかしながら、ＣＰＭは、ＧＰＭに対応する前輪郭線は含まない。また、前輪郭線が現輪郭線のうちのいずれか一つとも整合されない場合には、対応するビットはContour_flag_status 信号内にはない。一方、Gfs_flag信号が論理値０を有する場合、Contour_flag_status信号はＣＰＭ＋ＧＰＭビットで表現され、全域動き補償及び局所動き補償によって現輪郭線と完全にまたは部分的に整合される前輪郭線の整合程度を表す。
【００４９】
上述したように、フラグ信号発生部840から生成されたフラグ信号はラインＬ80を通じてＭＵＸ860に供給される。一方、フラグ信号発生部840は出力制御信号を格納部820に供給する。
【００５０】
格納部820はフラグ信号発生部840からの出力制御信号に応じて、現フレームに対する一連の符号化エラーデータをラインＬ82を通じて、現フレームに対するＬＭＶをラインＬ84を通じて各々ＭＵＸ860に供給する。一連の符号化エラーデータ及びＬＭＶは、前フレーム内の前輪郭線の処理順に従う。また、前輪郭線のうちのどれとも整合されない現輪郭線に対する符号化エラーデータは、整合現輪郭線に対する符号化エラーデータの後に順に出力される。
【００５１】
図６及び図７を参照すると、本発明によるフラグ信号の決定過程と、一連の符号化エラー及びＬＭＶとを詳細に説明するための模式図が示されている。
【００５２】
図６(Ａ)は複数の輪郭線よりなる前フレームの一例であり、図６(Ｂ)は複数の輪郭線よりなる現フレームの一例である。図６(Ａ)の前フレームは、インデックスデータＰ１〜Ｐ７が割り当てられた７つの前輪郭線からなり、図６(Ｂ)の現フレームはインデックスデータＣ１〜Ｃ９が割り当てられた９つの現輪郭線からなる。
【００５３】
図７(Ａ)及び図７(Ｂ)を参照すると、図６(Ａ)及び図６(Ｂ)に示した前輪郭線及び現輪郭線に基づいて生成されたフラグ信号の二つの例が各々示されている。
【００５４】
第1例において、全域動き補償によって現輪郭線Ｃ１は前輪郭線Ｐ１と、現輪郭線Ｃ３は前輪郭線Ｐ３と各々完全に整合され、現輪郭線Ｃ２は全域動き補償の後に行われた局所動き補償によって前輪郭線Ｐ２と完全に整合され、現輪郭線Ｃ４、Ｃ５及びＣ６は全域動き補償及び局所動き補償によって前輪郭線Ｐ４、Ｐ５及びＰ６と各々部分的に整合され、現輪郭線Ｃ７、Ｃ８及びＣ９は前輪郭線のうちのどれとも整合されなく、前輪郭線Ｐ７はどの現輪郭線とも整合されないと仮定する。
【００５５】
図６及び上記仮定によると、輪郭線数Ｌが７であり、ＧＰＭが２であるので、Ｌは４×ＧＰＭより小さくなる。従って、Gfs_flag信号は論理値１を有し、Global_flag信号、Contour_flag信号及びContour_flag_status信号はフラグ信号の定義に基づいて図７(Ａ)に示すように決定される。
【００５６】
図７(Ａ)から分かるように、フラグ信号のビット配列は前輪郭線の処理順に従う。その結果、フラグ信号を考慮して、前輪郭線と現輪郭線との間の整合程度がわかり、また、整合輪郭線に対応する一連のＬＭＶ及び符号化エラーデータが決定される。即ち、第1例においては、上記表２のように、前輪郭線Ｐ１〜Ｐ６に該当するＬＭＶが存在する。従って、前輪郭線Ｐ１及びＰ３に対応するＬＭＶがゼロ値を有しても、整合輪郭線に対するＬＭＶのシーケンスはＰ1-Ｐ2-Ｐ3-Ｐ4-Ｐ5-Ｐ6の順を従う。
【００５７】
一方、整合輪郭線に対する符号化エラーデータのシーケンスは現輪郭線及び前輪郭線の処理順に左右される。現輪郭線及び前輪郭線のインデックスデータを考慮して、符号化エラーデータのシーケンスはＰ1-Ｐ2-Ｐ3-Ｐ4-Ｐ5-Ｐ6-Ｐ7-Ｐ8-Ｐ9の順によって決定される。ここで、各前輪郭線Ｐ1、Ｐ2及びＰ3に対応する各現輪郭線Ｃ1、Ｃ2及びＣ3に対する符号化エラーデータはゼロ値を有し、各現輪郭線Ｃ7、Ｃ8及びＣ9に対する符号化エラーデータは各現輪郭線線Ｃ7、Ｃ8及びＣ9をイントラ符号化することによって得られる。
【００５８】
第2例では、現輪郭線Ｃ3が全域及び局所動き補償に基づいて前輪郭線Ｐ3と部分的に整合されることを除いては、第1例の仮定と同一である。第２例の仮定によると、輪郭線数Ｌが７であり、ＧＰＭが１であるので、Ｌは４×ＧＰＭより大きくなる。従って、Gfs_flag信号は論理値０を有し、Global_flag信号を除いた他のフラグ信号、即ち、Contour_flag信号及びContour_flag_status信号は図７(Ｂ)に示したように決定される。
【００５９】
図７(Ｂ)におけるフラグ信号によると、各前輪郭線Ｐ1〜Ｐ6に対応するＬＭＶは表２と同様であり、整合輪郭線に対するＬＭＶはＰ1-Ｐ2-Ｐ3-Ｐ4-Ｐ5-Ｐ6と同一の順に伝達される。しかしながら、第1例とは異なり第２例においては、前輪郭線Ｐ3が現輪郭線Ｃ3と部分的に整合されるため、前輪郭線Ｐ1に対応するＬＭＶはゼロ値のみを有する。
【００６０】
一方、現輪郭線に対する符号化エラーデータのシーケンスはP1-P2-P3-P4-P5-P6-C7-C8-C9のシーケンスに応答して決定される。ここで、前輪郭線Ｐ1及びＰ2に各々対応する現輪郭線Ｃ1及びＣ2に対する符号化エラーデータはゼロ値を有し、現輪郭線Ｃ7、Ｃ8及びＣ9に対する符号化エラーデータは各現輪郭線Ｃ7、Ｃ8及びＣ9をイントラ符号化することによって得られる。
【００６１】
以上で説明したように、現フレームに対するフラグ信号と一連の符号化エラーデータ及びＬＭＶとはフラグ信号発生部840及び格納部820から発生され、その後、ＭＵＸ860に供給される。
【００６２】
ＭＵＸ860はラインＬ42からのＧＭＶ、ラインＬ80からのフラグ信号、ラインＬ82からの一連の符号化エラーデータ及びラインＬ84からの一連のＬＭＶに基づいて、符号化輪郭線データを生成して、その伝送のために伝送器(図示せず)に送り出す。
【００６３】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００６４】
【発明の効果】
従って、本発明によれば、現輪郭線とこの現輪郭線と整合される前輪郭線との間の整合程度を体系的に管理する制御信号を発生して、輪郭線動き推定技法に基づいて生成された輪郭線符号化情報を効果的に伝送することができる。
【図面の簡単な説明】
【図１】本発明による輪郭線符号化装置の概略的なブロック図。
【図２】図１の動き推定部の詳細なブロック図。
【図３】図２の最適輪郭線検出部の詳細なブロック図。
【図４】図１のデータストリーム形成部の詳細なブロック図。
【図５】本発明の好適実施例による輪郭線整合過程を説明するための模式図。
【図６】Ａ及びＢよりなり、Ａは、複数の輪郭線よりなる前輪郭線を示す模式図、Ｂは、複数の輪郭線よりなる現輪郭線を示す模式図。
【図７】Ａ及びＢよりなり、Ａは、本発明によって生成されたフラグ信号の状態を示す模式図、Ｂは、本発明によって生成されたフラグ信号の状態を示す模式図。
【符号の説明】
１００ 輪郭線検出部
２００ 輪郭線符号化部
３００ 動き推定部
３１０ 全域動きベクトル検出部
３２０ 予測輪郭線映像発生部
３３０ 最適輪郭線検出部
３３１ 候補輪郭線決定部
３３３ 整合部
３３５ 最適輪郭線決定部
４００ 動き補償部
５００ 輪郭線復号化部
６００ 輪郭線再構成部
７００ フレームメモリ
８００ データストリーム形成部
８２０ 格納部
８４０ フラグ信号発生部
８６０ ＭＵＸ

Claims (8)

1. 各フレームは各々が輪郭線を有する一つまたは複数の物体からなり、前フレームに基づいて現フレーム内の物体の輪郭線を符号化する輪郭線符号化装置であって、
   現輪郭線と、前記現輪郭線と重複する時最大の物体画素をもたらす前記前フレームとの間の変位を表す全域動きベクトルを発生する全域動きベクトル発生手段と、
   前記前フレーム内の物体の輪郭線を前輪郭線として検出し、前記前輪郭線の数を表す輪郭線数を供給し、予め定められた処理順に従って前記各前輪郭線にインデックスデータを割当てる輪郭線検出手段と、
   前記現フレーム内の輪郭線のうちのいずれか一つを現輪郭線として選択する現輪郭線選択手段と、
   前記現フレーム内の前記各現輪郭線に対して、前記前輪郭線のうちで前記現輪郭線と最も類似な最適輪郭線を決定し、前記現輪郭線と前記最適輪郭線との間の変位を局所動きベクトル(ＬＭＶ)として定める最適輪郭線決定手段と、
   前記各現輪郭線に対して、前記最適輪郭線を前記全域動きベクトル及び前記局所動きベクトルだけシフトさせて予測輪郭線を発生する予測輪郭線発生手段と、
   前記各現輪郭線に対して、前記予測輪郭線と前記現輪郭線との間の差分を表すエラーを検出するエラー検出手段と、
   前記輪郭線数と、前記最適輪郭線のインデックスデータ、前記エラー及び前記局所動きベクトルを有する前記各現輪郭線に対応する輪郭線符号化情報とに基づいて、前記前輪郭線が対応する現輪郭線とどの位類似であるかを表すフラグ信号を発生するフラグ信号発生手段と、
   前記各現輪郭線に対応する前記輪郭線符号化情報に基づいて、前記現フレームに対する前記エラー及び前記局所動きベクトルのシーケンスを発生するシーケンス発生手段と、
   前記全域動きベクトルと、前記エラー及び前記局所動きベクトルのシーケンスと、前記フラグ信号とを符号化して、前記現フレームに対する符号化輪郭線データを出力する符号化手段とを有し、
   前記フラグ信号発生手段が、
   前記各現輪郭線に対して、前記エラーがゼロ値を有するか否かを表す第１状態信号と、前記ＬＭＶが存在するか否かを表し、存在すれば、前記ＬＭＶがゼロ値であるか否かを表す第２状態信号とを発生する状態信号発生手段と、
   前記各現輪郭線に対して、前記輪郭線の数、前記インデックスデータ、前記第１及び第２状態信号に基づいて、前記各前輪郭線が対応する現輪郭線とどの位類似であるかを決定することによって前記フラグ信号を発生するフラグ信号発生手段とを有し、
   前記各前輪郭線が対応する現輪郭線とどの位類似であるかは、次のように決定され、
   

   

   ここで、「Ｙ」は対応する値がゼロでない値を有することを、「Ｎ」は対応する値がないことを、「ＺＥＲＯ」は対応する値がゼロであることを各々表し、
   前記整合程度ＧＭは、全域動き補償によって予め決められた探索範囲内で、対応する現輪郭線が前記前輪郭線のうちのいずれか一つと完全に整合されることを表し、
   前記整合程度ＬＭは、全域動き補償及び局所動き補償によって前記予め決められた探索範囲内で、対応する現輪郭線が前記前輪郭線のうちのいずれか一つと完全に整合されることを表し、
   前記整合程度ＰＭは、前記全域動き補償及び局所動き補償によって前記予め決められた探索範囲内で、対応する現輪郭線が前記前輪郭線のうちのいずれか一つと部分的に整合されることを表し、
   前記整合程度ＮＭは、前記予め決められた探索範囲内で、対応する現輪郭線が前記前輪郭線のうちのどれとも整合されないことを表し、
   前記エラー及び前記ＬＭＶの状態は、前記第１及び第２状態信号によって示され、
   前記フラグ信号発生手段が、
   前記整合程度ＧＭに該当する前輪郭線の数と予め定められた閾値とを比較してGfs_flag信号を発生するGfs_flag信号発生手段と、
   前記Gfs_flag信号に応じて、対応する前輪郭線が前記整合程度ＧＭに該当する時、各ビットが論理値「１」を有するＬ（Ｌは前記輪郭線数）ビットのGlobal_flag信号を発生するGlobal_flag信号発生手段と、
   前記Gfs_flag信号に応じて、各ビットが対応する前輪郭線が前記整合程度のうちのどれに該当するかを表すＭ（正の整数）ビットのContour_flag信号を発生するContour_flag信号発生手段と、
   前記Gfs_flag信号に応じて、各ビットが対応する前輪郭線が前記整合程度ＬＭまたはＰＭに該当するかを表すＮ（正の整数）ビットのContour_flag_status信号を発生するContour_flag_status信号発生手段とを有することを特徴とする輪郭線符号化装置。
2. 前記Gfs_flag信号が、ＧＰＭが前記整合程度ＧＭに該当する前記前輪郭線の数を表す時、
   Ｌ＜４×ＧＰＭの場合、１
   Ｌ≧４×ＧＰＭの場合、０
   の論理値を有することを特徴とする請求項１に記載の輪郭線符号化装置。
3. 前記Gfs_flag信号が論理値「１」を有する場合、前記Global_flag信号が発生され、そうでない場合には、前記Global_flag信号が発生されないことを特徴とする請求項２に記載の輪郭線符号化装置。
4. 前記Contour_flag信号が、
   前記Contour_flag信号が論理値「１」である場合、各ビットが前記整合程度ＧＭに該当する前記前輪郭線を除く残余の各前輪郭線を表す時、前記Contour_flag信号はＬ−ＧＰＭと同一のＭビットによって表われるビットストリームと、
   前記Gfs_flag信号が論理値「０」を有する場合には、各ビットが前記全域動き補償及び局所動き補償によって前記各前輪郭線が対応する現輪郭線とどの類似であるかを表す時、前記Gfs_flag信号はＬと同一のＭビットによって表われるビットストリームとの２つの異なるビットストリームを有し、
   前記Contour_flag信号が論理値「１」のビットを有する場合、対応する前輪郭線が、前記整合程度ＧＭ、ＬＭまたはＰＭに該当し、
   前記Contour_flag信号が論理値「１」でないビットを有する場合、対応する前輪郭線が、前記整合程度ＮＭに該当することを特徴とする請求項３に記載の輪郭線符号化装置。
5. 前記Contour_flag_statusが、
   前記Gfs_flag信号が論理値「１」を有する場合、対応する前輪郭線が前記整合程度ＬＭに該当する時、各ビットは論理値「１」を有し、ＣＰＭが前記整合程度ＬＭまたはＰＭに該当する前記前輪郭線の数である時、前記Gfs_flag信号はＣＰＭと同一のＮビットによって表されるビットストリームと、
   前記Gfs_flag信号が論理値「０」を有する場合、対応する前輪郭線が前記整合程度ＧＭまたはＬＭに該当する時、各ビットは論理値「１」を有し、前記Gfs_flag信号はＣＰＭ＋ＧＰＭと同一のＮビットによって表されるビットストリームとの２つの異なるビットストリームを有することを特徴とする請求項４に記載の輪郭線符号化装置。
6. 前記現フレームに対する前記エラー及び前記局所動きベクトルのシーケンスが、前記各前輪郭線に割当てたインデックスデータのシーケンスに対応して変化することを特徴とする請求項５に記載の輪郭線符号化装置。
7. 前記整合程度ＮＭに該当する前記現輪郭線が存在する場合、前記現輪郭線はイントラ符号化され、前記輪郭線符号化情報が前記イントラ符号化によって求められたエラーのみを有することを特徴とする請求項６に記載の輪郭線符号化装置。
8. 前記エラーのシーケンスにおいて、前記整合程度ＮＭに該当する現輪郭線に対するエラーが前記現フレームにおける前記現輪郭線の処理順に従って、他の整合程度に該当する現輪郭線に対するエラーが出力された後に、順次的に出力されることを特徴とする請求項７に記載の輪郭線符号化装置。

Images