JP3736869B2 - 両方向の動き推定方法および装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、低伝送率の動画像コデックシステムにおいて、両方向の動き推定方法および装置に係り、特に一定領域内で動く物体を任意の形態に抽出し、抽出された物体単位で両方向の動き予測を遂行することにより、動きベクトルのみで一定領域を補償するための動き推定方法および装置に関する。
【０００２】
【従来の技術】
今日の情報化社会は、受け入れて処理せねばならない情報の量が増加しつつある趨勢である。したがって、既存の伝送帯域を効果的に利用するために、データ圧縮は必須不可欠である。特に、ディジタル映像信号は、情報の表現に多くのメモリを必要とするので、映像情報圧縮は、情報の貯蔵や検索や伝送などをより効率的にする効果を有する。このような理由から映像データに対する圧縮技法が多く開発されてきた。
【０００３】
映像データ圧縮技法は、情報の損失があるか否かにより損失符号化技法と無損失符号化技法とに分けることができ、静止映像に存する空間的な重複性を取り除くイントラフレーム符号化と、動映像に存する時間的な重複性を取り除くインタフレーム符号化とに分けられる。一方、情報の損失が少なく、国際的な標準案が完成されている第１世代符号化技法と、人間の視覚構造および映像の特性を利用する第２世代符号化技法とに分けられる。第１世代符号化技法は、ＰＣＭ（Pulse Coded Modulation），差分ＰＣＭ（Differential PCM），デルタ変調（Delta Modulation）などの空間符号化および Karhunen-Loeve ，フーリエ，コサイン，Harr，Hadamard，サインなどの変換符号化と、前記の２つを結合したハイブリッド符号化と、動映像に利用する動き補償符号化などがある。第２世代符号化技法は、ピラミッド符号化、非等方非定在（anisotropic nonstationary ）予測符号化、輪郭−テキスチャーに基づく技法、方向分解に基づく符号化技法などがある。
【０００４】
前述した方法のうち、ＨＤＴＶ放送システムやＭＰＥＧ（Moving Picture Experts Group）では動き補償符号化方法を利用する。動き補償符号化に用いられる動き推定方式には、画素循環アルゴリズム（Pel −Reculsive Algorithm ）とブロック整合アルゴリズム（Block Matching Algorithm）があり、ブロック整合アルゴリズムが画素循環アルゴリズムに比べて正確度が劣るが、実時間処理とハードウェアが簡単である点から動映像に多く使用されている。ブロック整合アルゴリズムは映像を一定の大きさのブロック（例えば、１６×１６或いは８×８）に分割した後、最小絶対エラーを利用してそれぞれブロックに対する動きベクトルを求める技法である。
【０００５】
該ブロック整合アルゴリズムは、既に現在に国際標準案として確定されたＭＰＥＧ−１およびＭＰＥＧ−２に利用されており、米国特許ＵＳＰ５，１５１，７８４号、ＵＳＰ５，０６０，０６４号、ＵＳＰ４，８６４，３９４号などでも前記アルゴリズムに対する技術をクレームしている。
【０００６】
これとは別に、ＦＦＴ（Fast Fourier Transform）係数を利用して空間座標から周波数座標に変換した後、信号の周波数データのピーク分布を利用して動きを推定する方式（′93 ICASSP ；Arica Kojima，Norihoko Sakurai and Junichi Kishikami，“Motion Detection Using 3−D FFT Spectrum”，1993，4 ）が提案されており、これに類似してＷＴ（Wavelet Transform ）技法を利用して動きを推定する方式（′93 ICASSP ；C ， K Cheong ， K．Aizawa， T．Saito and M ．Hatori，“Motion Estimation with Wavelet Transform and the application to Motion Compensated Interpolation”，1993．4 ） などが提案されている。
【０００７】
前記の方式は、大部分のビデオシーケンスについて割合に正確な動きを遂行するという長所を有する。しかしながら、ブロック整合アルゴリズムは、一定のブロック内に相異なる動きを有する物体が含まれている場合には動きベクトルを捜すのが不可能であり、ＦＦＴやＷＴを使用する方式は、一定の空間に変換することによる時間的な浪費や複雑性を伴う。また、画像に分布する動く物体の構造的な解釈を考慮しないために、動く物体単位への正確な動きが推定できなくなる。前記述べた方式の短所のために、非常に高い圧縮比を必要とする次世代の動画像通信、例えば総合ディジタル情報サービス網ＩＳＤＮを利用した画像電話、画像会議およびその他の視聴覚通信のためのディジタルビデオ圧縮には前記の方式を適用するのが不可能である。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、前述した問題点を解決するために、低伝送率の動画像コデックシステムにおいて、一定領域内で動く物体を任意の形態に抽出し、抽出された物体単位で両方向の動き予測を遂行することにより、動きベクトルのみで一定領域を補償するための動き推定方法を提供することである。
【０００９】
本発明の他の目的は、前記動き推定方法を実現するのに最も適した装置を提供することである。
【００１０】
【課題を解決するための手段】
前記目的を達成するために本発明による両方向の動き推定方法は、低伝送率の動画像コデックシステムにおいて、フレーム内の一定ブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出する後方動き予測過程と、前記後方動き予測過程を通じて現在のフレームで捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と物体のインデックス情報とを抽出する前方動き予測過程と、予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するデータ伝送過程とを含むことを特徴とする。
【００１１】
前記他の目的を達成するために本発明による両方向動き推定装置は、低伝送率の動画像コデックシステムにおいて、フレーム内の一定のブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出するための後方動き予測手段と、前記後方動き予測手段を通じて現在フレームで捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と前記物体のインデックス情報とを抽出するための前方動き予測手段と、予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するためのモードおよびデータ手段とを含むことを特徴とする。
【００１２】
【作用】
以上のように構成された本発明によれば、一定ブロックで同一の動きを有する物体単位で両方向の動き推定を通じて動きベクトルを抽出し、予め設定されたフレームの動き予測モードに応じて前方動き予測結果、発生する動きベクトル或いは後方動き予測結果、発生する動きベクトルを利用して動きを補償するために、正確な動きベクトルが捜せるだけでなく、小さい情報量でフレーム間の動きが描写できる。
【００１３】
【実施例】
以下、添付した図面に基づき本発明の実施例を詳細に説明する。
【００１４】
図１は本発明による両方向の動き推定装置の一実施例によるブロック図である。
【００１５】
図１に示したブロック図の構成は、入力される画像シーケンス１０を毎フレーム単位で貯蔵するためのフレームメモリ２０と、フレームメモリ２０に貯蔵された画像シーケンス１０に対してそれぞれ前方動きおよび後方動きを独立的に推定するための前方動き予測部４０および後方動き予測部３０と、前方動き予測部４０および後方動き予測部３０の動き予測結果を入力して現在のフレームが前方予測モードを選択するか後方予測モードを選択するかを決定し、現在のフレームの動き予測モードに応じて該当するデータを選択して出力するモードおよびデータ選択器５０と、モードおよびデータ選択器５０から出力されるデータを一定速度で伝送するための伝送バッファー６０とからなる。
【００１６】
ここで、前方動き予測部４０は、動き推定部４１，第２動きベクトル抽出部４２および形状情報インデクシング４２からなり、後方動き予測部３０は、減算器３１，動き成分抽出部３２，同一の動き物体抽出部３３，第１動きベクトル抽出部３４，形状情報抽出部３５，動き補償部３６および再生メモリ３７からなる。図２は本発明に適用される前方動き予測と後方動き予測との関係を示したフレーム配列図であり、連続するビデオシーケンスで一番目のフレームのみイントラフレームＩとして受信端に伝送された後、連続するフレームの奇数番目は、後方予測モードＰB で動きを推定し、偶数番目は前方予測モードＰF で動きを推定する。
【００１７】
図３は動きの同一の物体を選択した後、該物体に対して後方動き予測および前方動き予測をする例を示すものであり、先ずＮ番目のフレームで抽出された物体（中間の黒色で表示された物体）に基づき、（Ｎ−１）番目のフレームから物体の移動された距離を推定するのを後方動き予測とし、（Ｎ＋１）番目のフレームを対象にＮ番目にあった物体がどの程度移動したかを捜し出すのを前方動き予測（図４において右側のフレームを参照する場合）という。
【００１８】
図４および図５は、現在フレームで捜された物体の境界成分（形状情報）あるいは非常に小さい単位のブロックを利用し、物体単位で動きを推定して動きベクトルを捜し出す過程を示す。
【００１９】
Ｎ番目のフレームで選択された物体の境界成分を利用して（Ｎ＋１）番目のフレームの一定領域を画素あるいは非常に小さいブロック単位で移動しながらエラーの絶対値が最も小さくなる領域を選択することにより、該移動距離を物体の動きベクトル（右側の太い矢印）として選択する。
【００２０】
本発明の動作を図１ないし図５を参照して説明する。
【００２１】
図２のような画像シーケンス配列を基準として後方予測と前方予測を交互に動き推定を施すが、ここでは図１を参照して説明する。
【００２２】
本発明の核心は、捜された物体の形状情報を利用して前方および後方動き予測に使用し、前方および後方動き予測結果のうち、与えられたモード選択器に選択されるデータのみを伝送させることである。
【００２３】
先ず、後方動き予測過程を説明すると、次の通りである。
【００２４】
ディジタル化された画像シーケンス１０が入力されると、これがフレームメモリ２０に１フレームずつ順次に貯蔵される。
【００２５】
減算器３１では、直ぐ以前に送られたフレームの形状情報と動き情報を利用して伝送端で参照するために、局部的に再生された画像が貯蔵されている再生メモリ３７の出力データとフレームメモリ２０に貯蔵された現在フレームデータの差成分を計算し、動き成分抽出部３２では減算器３１から出力される差成分からフレーム間の動き成分を抽出して実際に動きが発生した部分のみを貯蔵する。
【００２６】
同一の動き物体抽出部３３では、動き成分抽出部３２から抽出された実際に動きが発生した部分のうち、同一の方向へ動きを有する成分を一団にして、同一の物体を１つの単位でインデクシングした後、それぞれのインデクシングした物体を順に貯蔵する。
【００２７】
第１動きベクトル抽出部３４では、同一動き物体抽出部３３に貯蔵された同一の動きを有する物体を利用し、以前に再生され再生メモリ３７に貯蔵された画像を参照しながら、現在の物体がどの方向へ移動したかを推定するが、この際物体を構成しているそれぞれの画素値と再生された画素値との平均絶対値（ＭＡＥ：Mean Absolute Error)が最小になる部分を動きベクトルとして選択する。その結果、制限された一定の領域をサーチしながら捜された動きベクトルは第１動きベクトル抽出部３４に貯蔵され、物体の境界成分は形状情報抽出部３５に貯蔵される。このように、求められた形状情報と動き情報とはモードおよびデータ選択器５０に入力される。
【００２８】
次に、前方動き予測過程について説明すると次の通りである。
【００２９】
先ず、フレームメモリ２０に貯蔵されていた現在のフレーム画像データと、再生メモリ３７に貯蔵されていた以前フレーム画像データと、後方動き予測で使用されたそれぞれのインデクシングされた物体の形状情報と、現在フレームで以前フレームとの差により動いたと判断され動き成分抽出部３２に貯蔵されていた実際に動きが発生した部分に対するデータとが動き推定部４１に入力される。
【００３０】
動き推定部４１では、以前フレームから求めた物体の形状情報と現在フレームの動き成分の領域による情報とを利用して物体の動きを推定し、第２動きベクトル抽出部４２では、図４に示したように、以前フレームから求めた形状情報のみを利用し、形状情報に該当する再生画像が現在フレームのどの部分へ移動したかを示す動きベクトルを捜し出す。この際、ＭＡＥ値が動き推定の基準として用いられる。
【００３１】
こうして求められた動きベクトルを第２動きベクトル抽出部４２に貯蔵し、この際に用いられた形状情報のインデックスを形状情報抽出部３５から受けて、該インデックス情報と動き情報のみをモードおよびデータ選択器５０に伝送する。モードおよびデータ選択器５０では、図２に示したフレーム配列図により、現在フレームの動き予測モードに応じて後方予測データを選択するかあるいは前方予測データを選択するかを決定すれば、受信端では以前フレームから伝送された形状情報に対するインデックスを利用して簡単に現在フレームの画像が再生できる。
【００３２】
現在フレームと以前フレームで移動成分が一致しない場合には、その領域に対する情報を伝送するイントラフレームモードを別に設けることにより、動き情報抽出に失敗した領域に対して補完することができる。
【００３３】
要約すると、後方動き予測では、同一の動きを有する物体の形状情報および動き情報（動きベクトル）を伝送し、前方動き予測では予め伝送された物体の形状情報を利用して動きを推定した後、動き情報のみを伝送するので、形状情報ほどのデータが節約できて、圧縮に用いられる情報量を非常に減らすことができる。本発明は、現在のＰＳＤＮ（Public Switching Telephone Network），ＬＡＮ（Local Area Network）およびワイヤレスネット（Wireless Network）を通じたビデオ通信に広範囲に使用されることができ、特にモビール通信において動画像伝送に核心的に使用され得るために、その応用分野が非常に広く、次世代の国際標準技術にも使用される可能性がある。
【００３４】
【発明の効果】
前述したように、低伝送率の動画像コデックシステムにおいて、本発明による両方向動き推定方法および装置では既存のブロック整合アルゴリズムに比べて正確な動きベクトルが捜せるだけでなく、小さい情報量でフレーム間の動きが描写できるために、圧縮に必要なデータの量が既存の方式に比べて著しく小さいので、圧縮比および相対的な画質向上を可能にする。
【００３５】
また、動く物体単位で動き情報を抽出し補償するために補償後、画像のブロッキング効果がほぼ現れず、特に動きが少なく物体の単位が大きい場合、例えばディジタルビデオフォン（Video Phone ）イメージの場合には、時間が節約できる効果がある。
【図面の簡単な説明】
【図１】 本発明による両方向動き推定装置の一実施例によるブロック図である。
【図２】 本発明に適用される前方動き予測と後方動き予測の関係を示したフレーム配列図である。
【図３】 現在のフレーム（Ｎ），以前フレーム（Ｎ−１）および次のフレーム（Ｎ＋１）での物体の動き推定方向を示した図面である。
【図４】 前方動き予測で以前に捜された物体の境界成分から次のフレームの移動距離を捜す過程を示す図面である。
【図５】 前方動き予測で以前に捜された物体の境界成分から次のフレームの移動距離を捜す過程を示す図面である。
【符号の説明】
４…対物レンズ、 ５…光ディスク、
１２，１３…集束レンズ、 １４…光検出器ユニット、
１５，１６…３分割光検出器。

Claims (4)

1. 低伝送率の動画像コデック(codec) システムにおいて、
   フレーム内の一定ブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出する後方動き予測過程と、
   前記後方動き予測過程を通じて現在のフレームで捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と物体のインデックス情報とを抽出する前方動き予測過程と、
   予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するデータ伝送過程とを含むことを特徴とする両方向の動き推定方法。
2. 前記データ伝送過程で、連続するビデオシーケンスで第１のフレームのみイントラフレームとして受信端に伝送した後、連続するフレームの奇数番目は後方予測モードに動きを推定し、偶数番目は前方予測モードに動きを推定することを特徴とする請求項１項記載の両方向の動き推定方法。
3. 低伝送率の動画像コデックシステムにおいて、
   フレーム内の一定のブロックで動きが発生した領域に対して同一の動きを有する物体単位で動きを推定して現在のフレームで捜された物体がどの方向へ移動したかを示す動き情報と前記物体の形状情報とを抽出するための後方動き予測手段と、
   前記後方動き予測手段を通じて現在捜された物体の形状情報を利用して次のフレームで物体がどの方向へ移動するかを示す動き情報と前記物体のインデックス情報とを抽出するための前方動き予測手段と、
   予め設定されたフレームの動き予測モードに応じて前記後方動き予測過程で出力される動き情報および形状情報あるいは前方動き予測過程で出力される動き情報およびインデックス情報を選択して伝送するためのモードおよびデータ選択手段とを含むことを特徴とする両方向の動き推定装置。
4. 前記モードおよびデータ選択手段では、連続するビデオシーケンスで一番目のフレームのみイントラフレームとして受信端に伝送された後、連続するフレームの奇数番目は後方予測モードで動きを推定し、偶数番目は前方予測モードで動きを推定することを特徴とする請求項３項記載の両方向の動き推定装置。

Images