JP3917692B2 - ディジタル映像信号符号化装置及びその方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はディジタル映像信号符号化装置及び方法に関し、特に、改善された特徴点に基づく動き推定を用いてディジタル映像信号を符号化／復号化することによって、良好な画質を維持しつつ伝送レートを効果的に低下し得るディジタル映像信号符号化装置及び方法に関する。
【０００２】
【従来の技術】
通常、テレビ電話、電子会議及び高精細度テレビジョンシステムのようなディジタルビデオシステムでは、ビデオフレーム信号のビデオライン信号は「画素値」と呼ばれる一連のディジタルデータからなるため、各ビデオフレーム信号を表すのに相当量のディジタルデータが必要である。
【０００３】
しかし、通常の伝送チャネルの使用可能な周波数帯域幅は制限されているため、特に、テレビ電話のような低ビットレートの映像信号符号化／復号化システムにおいては、多様なデータ圧縮技法を通じて相当量のデータを減らすまたは圧縮する必要がある。
【０００４】
このような多様な圧縮技法のうち、確率的符号化技法と時間的、空間的圧縮技法を組み合わせた、いわゆる、ハイブリッド符号化技法が最も効率的なものとして知られている。
【０００５】
ほとんどのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化、ＶＬＣ（可変長符号化）方法を用いている。動き補償ＤＰＣＭは、現フレームと基準フレーム（前フレームまたは将来フレーム（future frame））との間の物体（オブジェクト）の動きを推定して、物体の動きに従って現フレームを予測し、現フレームとその予測値と間の差を表す差分信号を生成する方法である。この方法は、例えば、Staffan Ericssonによる“「Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding」,IEEE Transactions on Communications,COM-33,NO.12(1985年12月)”またはNinomiya及びOhtsukaによる“「A Motion-Compensated Interframe Coding Scheme for Television Pictures」,IEEE Transactions on Communications,COM-30,NO.1(1982年1月)”に開示されている。
【０００６】
２次元ＤＣＴは、映像データ間の空間的冗長性を活用または除去し、ディジタル映像データのブロック（例えば、８×８画素のブロック）をＤＣＴ変換係数データの組に変換する。この技法は、Chen及びPrattによる“「Scene Adaptive Coder」,IEEE Transactions on Communications,COM-32,NO.3(1984年3月)”に開示されている。このようなＤＣＴ変換係数データを、量子化器、ジグザグ走査、ＶＬＣなどを通じて処理することによって、伝送すべきデータの量を効果的に圧縮することができる。
【０００７】
詳述すると、動き補償ＤＰＣＭにおいては、現フレームと基準フレームとの間の動き推定に基づいて、現フレームデータは対応する基準フレームから予測される。この推定された動きは基準フレームと現フレームとの間の画素の変位を表す２次元動きベクトルとして表すことができる。
【０００８】
物体の画素の変位を推定するには２つの基本的方法がある。その一方は、ブロック単位の動き推定法であり、他方は画素単位の動き推定法である。
【０００９】
ブロック単位の動き推定においては、現フレームのブロックを基準フレームのブロックと比較して、最適整合ブロックを決定する。これから、伝送すべき現フレームに対して、全ブロックに対するフレーム間変位ベクトル（フレーム間で画素のブロックがどの位移動するかを表す）が推定される。
【００１０】
このようなブロック整合技法はフレーム（画像）シーケンスに含まれるＰ（予測）フレーム及びＢ（双方向予測）フレームの予測に用いられる。このような技術は、“ITU Telecommunication Standardization Sector Study Group 15,Working Party 15/1 Expert's Group on Very Low Bit Rate Visual Telephony”における“「Video Codec Test Model,TMN4 Revl」,(1994年10月25日)”に開示されている。ここで、Ｐフレームまたはフレーム間順方向予測符号化画像は前フレームを基準フレームとして予測される画面であり、Ｂフレームまたは双方向予測符号化画像は、前フレーム及び将来フレームを基準フレームとして予測される画面である。Ｂフレームの符号化の際には、順方向変位ベクトル及び逆方向変位ベクトルを得るために、双方向動き推定法が用いられる。ここで、順方向変位ベクトルは基本フレームとして前フレーム（イントラ（Ｉ）フレーム（フレーム内符号化画像）またはＰフレーム）を用いて物体の動きを推定することによって得られ、逆方向変位ベクトルは将来フレーム（ＩフレームまたはＰフレーム）を基準フレームとして動き推定することによって得られる。
【００１１】
しかし、ブロック単位の動き推定では、動き補償過程においてブロックの境界でブロッキング効果が発生する恐れがあり、ブロック内の全ての画素が同一方向へ移動しない場合、良好な推定がなされず全体的な画質が低下する。
【００１２】
一方、画素単位の動き推定を用いる場合、変位は各画素に対して求められる。このような方法では画素値の推定がより正確になされ、スケール変化（例えば、映像面に対し垂直方向の動き（ズーミング））も容易に扱い得る。しかし、画素単位法においては、動きベクトルが各画素に対して個別に決定されるため、全ての動きベクトルを受信機へ伝送することは実質的に不可能である。
【００１３】
画素単位動き推定方法で生じる過剰な伝送データ量を減らすために、特徴点に基づいた動き推定法が提案されている。
【００１４】
この特徴点に基づいた動き推定法においては、選択された１組の画素（即ち、特徴点）に対する動きベクトルが受信側へ伝送される。ここで、各特徴点は近接した画素を代表し得る画素であって、非特徴点に対する動きベクトルは、受信機側で特徴点に対する動きベクトルから復元または近似することができる。特徴点に基づいた動き推定を行う符号化器は、本特許出願と出願人を同じくする係属中のＰＣＴ国際特許出願番号ＰＣＴ/ＫＲ９５/０００５０号明細書に「Method and Apparatus for Encoding a Video Signal Using Feature Point Based Motion Estimation」との名称で開示されている。この符号化器においては、まず、複数の特徴点が前フレームに含まれる全ての画素から選択される。しかる後、選択された特徴点に対する動きベクトルが決定される。各動きベクトルは前フレームの１つの特徴点と現フレームの対応する整合点（最も類似した画素）との間の変位を表す。詳述すれば、各特徴点に対する整合点は、公知のブロック整合アルゴリズムを用いて現フレーム内の探索領域内でサーチされる。ここで、特徴点ブロックは選択された特徴点を取り囲むブロックとして定義され、探索領域は対応する特徴点を取り囲む予め定められたエリアとして定義される。
【００１５】
前述した特徴点に基づいた動き推定技法を用いて伝送すべきデータの量を大幅に減らすことができるが、このような方法においてグリッド技法または／及びエッジ技法を用いる場合、動いている物体だけでなく動きのない固定した物体に対しても特徴点が選定されるため、選択される特徴点の数は依然として多い。従って、多数の特徴点を取り扱うために複雑な回路が必要であり、且つ動きベクトルを推定するために相当量の計算が必要である。従って、例えば６４ｋｂ／ｓ伝送チャネル幅を有する低ビットレートのコデックシステムを実用化するためには、伝送すべきデータの量をより減らす必要がある。
【００１６】
【発明が解決しようとする課題】
従って、本発明の主な目的は、映像信号符号化装置に用いられ、特徴点に基づいた動き推定技法を用いてディジタル映像信号の双方向予測符号化を効果的に行うことによって高画質を維持しつつ映像信号の伝送レートを減らし得る映像信号符号化装置及びその方法を提供することである。
【００１７】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、ディジタル映像信号内の双方向予測フレーム（Ｂフレーム）の符号化を、そのＢフレームに隣接する２つの再構成済みのフレームに基づいて特徴点に基づいた動き推定法を用いて行うディジタル映像信号符号化方法であって、第１の再構成済みの隣接フレームを基準フレームとして割り当てる第１過程と、前記再構成済みの２つの隣接フレーム間の差異に基づいて、前記ディジタル映像信号内の動いている物体の動きを表す処理領域を検出して、検出された処理領域を表す領域情報を発生する第２過程と、前記領域情報に基づいて、前記基準フレームの前記検出された処理領域内に含まれる複数の画素の中から一組の特徴点を選択する第３過程と、各特徴点の前記現フレームと前記前フレームとの間の動きを表す一組の動きベクトルを決定する第４過程と、前記一組の動きベクトルを第１組の動きベクトルとして割り当てると共に、第２の再構成済みの隣接フレームを前記基準フレームとして割り当てる第５過程と、前記第３過程及び第４過程を繰り返して、前記第４過程から得られる動きベクトルを第２組の動きベクトルとして割り当てる第６過程と、前記第１及び第２組の動きベクトルから前記特徴点の組に対する動きベクトルの組を選択することによって、選択された動きベクトルの組とそれを表す選択情報を符号化済みのＢフレームとして発生する第７過程とを含むことを特徴とするディジタル映像信号符号化方法が提供される。
【００１８】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【００１９】
図１を参照すれば、本発明による映像信号符号化装置のブロック図が示されている。この映像信号符号化装置はフレーム再配列ブロック１０、動き補償ー離散的コサイン変換（ＭＣ−ＤＣＴ）符号化器２０、動き推定（ＭＥ）符号化器３０、エントロピー符号化器４０を備えている。
【００２０】
図２に示すように、入力されるディジタル映像信号は入力フレーム（または画面）シーケンスからなり、このフレームシーケンスは、１つのイントラ（Ｉ）フレームＩ１と、Ｎ個の双方向予測フレーム（Ｂ１、Ｂ２、Ｂ３、...、ＢＮ）と、Ｎ−１個の予測（Ｐ）フレーム（Ｐ１、Ｐ２、Ｐ３、...、ＰＮ−１）とを含む。従って、入力フレームシーケンス（Ｉ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３、．．．）がフレーム再配列ブロック１０へ入力される。このフレーム再配列ブロック１０で、入力フレームシーケンスは、Ｂフレームの符号化のため再配列されたフレームシーケンス（Ｉ１、Ｐ１、Ｂ１、Ｐ２、Ｂ２、Ｐ３、Ｂ３、．．．）に再配列される。その後、再配列されたフレームシーケンスはＭＣ−ＤＣＴ符号化器２０及びＭＥ符号化器３０に供給される。即ち、Ｉフレーム及びＰフレームはＭＣ−ＤＣＴ符号化器２０へ、ＢフレームはＭＥ符号化器３０へ各々供給される。
【００２１】
ＭＣ−ＤＣＴ符号化器２０は、２つの符号化モード（即ち、イントラ符号化モード及びインター符号化（フレーム間符号化）モード）を用いてＩフレーム及びＰフレーム信号を各々符号化して、イントラ符号化済みのＩフレーム信号及びインター符号化済みのＰフレーム信号を発生する。その後、これらの信号はスイッチＳＷ１を介してエントロピー符号化器４０へ伝送される。また、ＭＣ−ＤＣＴ符号化器２０は、再構成されたＩフレーム信号及びＰフレーム信号を生成してＭＥ符号化器３０へ送る。
【００２２】
しかる後、Ｂフレーム信号はＭＥ符号化器３０に入力される。このＭＥ符号化器３０は、再構成されたＩフレーム信号及びＰフレーム信号を用いて入力されたＢフレーム信号を符号化して動き推定符号化済みのＢフレーム信号を発生する。その後、動き推定符号化済みのＢフレーム信号はスイッチＳＷ１を介してエントロピー符号化器４０へ送られる。スイッチＳＷ１は、システムコントローラ（図示せず）からの制御信号ＣＳ１により駆動される。
【００２３】
エントロピー符号化器４０において、イントラ符号化済みのＩフレーム信号、インター符号化済みのＰフレーム信号及び動き推定符号化済みのＢフレーム信号は、例えば、公知の可変長符号化技法を用いて各々符号化され、符号化済みの映像信号として伝送器（図示せず）へ送られる。
【００２４】
図２を参照すれば、前述した入力フレームシーケンスを示す例示的な図が示されている。示されているように、現フレームがＰフレームＰ１である場合、ＭＣ−ＤＣＴ符号化器２０において、１組の動きベクトルＳＭＶ１が、再構成されたＩフレームＩ１を基準フレームとして用いてブロック単位の動き推定により得られる。同様な方法で、現フレームがＰ２及びＰ３の場合に対しても１組のＳＭＶ２及びＳＭＶ３が基準フレームとしてＰ１及びＰ２を用いて各々得られる。
【００２５】
現フレームがＢ１の場合、ＭＥ符号化器３０において、第１基準フレームとしてＭＣ−ＤＣＴ符号化器２０からの再構成されたＩ１フレームを用いて、改善された特徴点に基づいた動き推定によって１組の順方向動きベクトルＦＭＶ１が求められる。同様な方法にて、現フレームＢ１に対する１組の逆方向動きベクトルＢＭＶ１が、ＭＣ−ＤＣＴ符号化器２０からの再構成されたＰフレームＰ１を第２基準フレームとして用いて求められる。その後、１組の順方向動きベクトルＦＭＶ１及び１組の逆方向動きベクトルＢＭＶ１を用いて、ＭＥ符号化器３０は現フレームＢ１に対する１組の動きベクトルを動き推定されたＢフレームとして発生する。
【００２６】
従って、本発明の好適実施例によると、ＰフレームＰ１、Ｐ２、Ｐ３、．．．はブロック単位動き推定を用いたＤＣＴに基づいた予測符号化法を用いて符号化され、内挿フレーム（即ち、ＢフレームＢ１、Ｂ２、Ｂ３、．．．）は、特徴点に基づく動き推定符号化法を用いて符号化される。
【００２７】
図３を参照すれば、映像信号符号器１０５、映像信号復号化器１１３、現フレーム予測ブロック１５０及び２つの前フレームメモリ（即ち、第１前フレームメモリ１２４及び第２前フレームメモリ１２５）を含むＭＣ−ＤＣＴ符号化器２０のブロック図が示されている。
【００２８】
ＭＣ−ＤＣＴ符号化器２０はスイッチＳＷ２及びスイッチＳＷ３も備えており、各スイッチは２つのフレーム符号化モード、即ち、イントラ符号化モード及びインター符号化モードを選択的に行うために用いられる。公知のように、スイッチＳＷ２、ＳＷ３は、システムコントローラからの符号化モード制御信号ＣＳ２により同時に駆動される。
【００２９】
イントラ符号化モードにおいては、現フレーム信号としてＩフレームＩ１が映像信号符号化器１０５に供給される。ここで、現フレーム信号は、例えば離散コサイン変換ＤＣＴ及び周知の量子化法を用いることによって、１組の量子化変換係数に符号化される。この量子化変換係数はインター符号化済みのＩフレーム信号として映像信号復号化器１１３及び図１に示したエントロピー符号化器４０へ伝送される。エントロピー符号化器４０では映像信号符号化器１０５からの量子化変換係数は、例えば、可変長符号化技法を用いて符号化され、伝送器（図示せず）へ伝送される。
【００３０】
映像信号復号化ブロック１１３は映像信号復号化器１０５からの量子化変換係数を逆量子化及び逆離散コサイン変換を用いて、復元（または再構成）されたＩフレーム信号に再変換する。その後、復元されたＩフレーム信号は映像信号復号化ブロック１１３から第１前フレームメモリブロック１２４へと送られ前フレームとして格納される。
【００３１】
ＰフレームＰ１は、インター符号化モードにおいて、現フレーム信号として減算器１０２と現フレーム予測ブロック１５０へ供給される。
【００３２】
現フレーム予測ブロック１５０は、通常のブロック単位動き補償技法を用いて現フレーム信号及び復元されたＩフレーム信号（基準信号）を処理して現フレームを予測し、予測された現フレーム及び１組の動きベクトルを発生する。
【００３３】
予測された現フレーム信号は、減算器１０２にて現フレーム信号から減算され、その結果、即ち差分画素値を表すエラー（誤差）信号が映像信号符号化器１０５へ供給される。ここで、エラー信号は、例えば、ＤＣＴ及び公知の量子化技法を用いて１組の量子化変換係数に符号化される。即ち、現フレームから予測された現フレームを引き算することによって得られたエラー信号は、ＤＣＴ符号化される。
【００３４】
その後、量子化変換係数は１組の動きベクトルとともにインター符号化済みのＰフレーム信号として、映像信号復号化器１１３へ供給されるとともに、スイッチＳＷ１を通じてエントロピー符号化器４０へ伝送される。エントロピー符号化器４０では、映像信号符号化器１０５からのインター符号化済みのＰフレーム信号及び現フレーム予測フレーム１５０からの動きベクトルは、例えば可変長符号化技法を用いて符号化され、伝送器(図示せず)へ送られる。
【００３５】
一方、映像信号復号化器１１３は、映像信号符号化器１０５からの１組の量子化変換係数を逆量子化及び逆離散コサイン変換を用いて復元されたエラー信号に再変換する。
【００３６】
映像信号復号化器１１３からの復元されたエラー信号及び現フレーム予測ブロック１５０からスイッチＳＷ３を介して供給される予測された現フレーム信号は、加算器１１５にて加え合わされた後、復元されたＰフレーム信号として第１前フレームメモリ１２４に格納される。このとき、第１前フレームメモリ１２４に予め格納されていた復元されたＩフレーム信号は、第２前フレームメモリ１２５へ送られる。このようなプロセスは、映像信号符号化処理が行われている間繰り返される。
【００３７】
図４には、図１のＭＣ符号化器３０の詳細ブロック図が示されている。図３に示すように、ＭＥ符号化器３０は処理領域検出ブロック３１０、エッジ検出ブロック３１２、グリッド点発生ブロック３１４、特徴点選択ブロック３１５、動きベクトル推定ブロック３１６及び動きベクトル決定ブロック３１８を含む。
【００３８】
図１の再配列ブロック１０からのＢフレームＢ１が現フレーム信号Ｆ（ｔ）としてＭＥ符号化器３０へ供給されるとき、第１及び第２前フレームメモリ１２４、１２５から復元されたＩフレーム及び復元されたＰフレームが、第１及び第２基準フレーム信号Ｆ（ｔ＋１）及びＦ（ｔー１）として処理領域検出ブロック３１０へ送られる。
【００３９】
処理領域検出ブロック３１０においては、２つの基準フレーム信号Ｆ（ｔ＋１）及びＦ（ｔー１）間の差分を用いて、入力ディジタル映像信号の動いている物体の動きを表す処理領域が検出される。即ち、第１基準フレームＦ（ｔ＋１）の各画素値が第２基準フレーム信号Ｆ（ｔー１）の対応する各画素値から引き算される。その結果、複数の画素差分値を含むフレーム差分信号が得られる。
【００４０】
続いて、各画素差分値は予め定められた閾値と比較される。それにより、予め定められた閾値以上の値を有する画素差分値からなる領域が決定される。この予め定められた閾値値は、ディジタル映像信号内に含まれ得るノイズ及びカメラペニングベクトル（camera penning vectors）を考慮して決定される。その後、処理領域検出ブロック３１０は、検出された処理領域を表す処理領域情報を発生する。この処理領域情報は、特徴点選択ブロック３１５及び動きベクトル決定ブロック３１８へ送られる。
【００４１】
また、ＭＥ符号化器３０はスイッチＳＷ４を有している。このスイッチＳＷ４は、順方向動き推定モード及び逆方向動き推定モードを順次行うのに用いられる。スイッチＳＷ４は、システムコントローラからのモード制御信号ＣＳ４によって順次切り換えられる。
【００４２】
順方向動き推定モードにおいては、復元されたＩフレームは第１基準フレーム信号Ｆ（ｔ＋１）としてエッジ検出ブロック３１２、動きベクトル推定ブロック３１６及び動きベクトル決定ブロック３１８に入力される。
【００４３】
エッジ検出ブロック３１２においては、動いている物体のエッジが、例えば公知のソベルエッジ検出器（Sobel edge detector）を用いて、第１基準フレーム信号Ｆ（ｔ＋１）内において検出される。検出されたエッジを表すエッジ情報は特徴点選択ブロック３１５へ送られる。グリッド点発生ブロック３１４は、予め定められたグリッド（例えば、複数の交点を有する方形のグリッド）を表すグリッド情報を発生する働きをする。予め定められたグリッド情報も特徴点選択ブロック３１５へ送られる。
【００４４】
特徴点選択ブロック３１５においては、複数の特徴点が、処理領域情報、エッジ情報及び予め定められたグリッド情報を用いて、第１基準フレーム信号Ｆ（ｔ＋１）の処理領域内の画素から選択される。即ち、図５に示すように、各グリッド点（例えば、Ｇ４）に対して非重複サーチ範囲（例えば、ＳＲ４）が設定される。ここで、参照符号ＰＲは選択された処理領域を表す。サーチ範囲（例えばＳＲ４）内に位置するエッジ点（例えば、Ｅ１）は、その値が最大となる場合、そのグリッド点（例えば、Ｇ４）に対する特徴点となる。また、グリッドとエッジＥＬとの交点Ｅ２も特徴点として選択される。一方、サーチ範囲内にエッジ点を有しないグリッドのノードＧ１、Ｇ２及びＧ３は、特徴点として選択されない。このように、特徴点の組はグリッド及びエッジ技法を用いて選択されるので、選択された特徴点はディジタル映像信号の物体の動きを表し得る画素となる。
【００４５】
動きベクトル推定ブロック３１６においては、選択された特徴点に対する第１組の動きベクトルが第１基準フレーム信号Ｆ（ｔ＋１）及び現フレーム信号に基づいて検出される。第１組の動きベクトルの各々は、第１基準フレーム信号の特徴点の一つと現フレーム内でそれに最も類似する画素との間の空間的変位を表す。動きベクトルを画素単位で検出するための処理アルゴリズムとしては様々なものが知られている。
【００４６】
図６に示すように、本発明の好適実施例によれば、ブロック整合アルゴリズムが用いられる。このアルゴリズムでは、平均絶対エラーＭＡＥまたは平均２乗エラーＭＳＥのようなエラー関数を用いて、その中心に特徴点Ｆ１を含む特徴点ブロックＫ１と、特徴点ブロックＫ１より一般に大きい現フレームのＰ×Ｑ画素（例えば、１０×１０画素）の大きさを有するサーチ領域Ｋ２内に含まれる複数の同一の大きさの候補ブロックとの間の類似度を計算することにより、類似度が最大となる（最小エラー関数値をもたらす）候補ブロックＫ３を求め、特徴点ブロックに対する動きベクトルＭＶ１を求める。ここで、サーチ領域Ｋ２は処理領域内に含まれるよう選択されており、動きベクトルＭＶ１は特徴点ブロックＫ１と候補ブロックＫ３との間の変位を表す。決定された動きベクトルＭＶ１は特徴点Ｆ１の動きベクトルとして設定され、その後、全ての特徴点に対する第１組の動きベクトルが得られる。この第１組の動きベクトルは動きベクトル決定ブロック３１８へ送られる。
【００４７】
逆方向動き推定モードでは、復元されたＰフレームが、スイッチＳＷ４を介して第２基準フレーム信号Ｆ（ｔ−１）としてエッジ検出ブロック３１２、動きベクトル推定ブロック３１６及び動きベクトル決定ブロック３１８の各々に入力される。第２組の動きベクトルは、特徴点の組が第２基準フレームＦ（ｔ−１）から選択されること、及び第２組の動きベクトルは第２基準フレームＦ（ｔ−１）と現フレームとを用いて得られることを除いては、前述した順方向動き推定モードと同様の方法で決定される。その後、第２組の動きベクトルは動きベクトル決定ブロック３１８へ送られる。
【００４８】
動きベクトル決定ブロック３１８では、動き推定符号化済みのＢフレーム信号として、１組の動きベクトルが第１及び第２組の動きベクトルを用いて選択される。この選択される動きベクトルの組は、信号対ノイズ比（ＰＳＮＲ）を最小とするより類似した予測された現フレームを発生させるものである。そのために、２つの予測された現フレーム（即ち、順方向及び逆方向予測された現フレーム）が、第１及び第２組の動きベクトルを用いて最初に決定される。
【００４９】
まず、順方向予測された現フレームが、第１組の動きベクトル、現フレーム及び第１基準フレームＦ（ｔ＋１）を用いて決定される。順方向予測現フレームを得るために、現フレーム内に含まれる全画素に対する動きベクトル（第１グループの動きベクトル）が第１組の順方向動きベクトルと領域情報を用いて決定される。第１グループの動きベクトルは、２つのサブグループの動きベクトル（例えば、準特徴点に対する第１サブグループ動きベクトル及び非準特徴点に対する第２サブグループ動きベクトル）を含む。ここで、準特徴点とは、前フレームの処理領域内に含まれる特徴点から第１組の動きベクトルだけシフトされた現フレームの画素である。また、非準特徴点とは、現フレームの処理領域内に含まらる残りの画素である。準特徴点が第１組の動きベクトルを用いて決定されると、これらの動きベクトルは、求められた準特徴点に対する第１サブグループ動きベクトルに変換される。その後、現フレームの処理領域内に含まられる非準特徴点に対する第２サブグループ動きベクトルが、第１サブグループ動きベクトルに基づいて検出される。
【００５０】
図７に示すように、各非準特徴点（例えば、ＰＭ）に対する各動きベクトルを決定するために、サーチ範囲（例えば、ＱＳ）が設定される。動きサーチ範囲ＱＳ内に位置する準特徴点ＱＦ１及びＱＦ２に対する動きベクトルＱＭＶ１、ＱＭＶ２が、非準特徴点ＰＭに対する動きベクトルを計算するのに用いられる。このように、動きサーチ範囲内に含まられる幾つかの準特徴点が、影響する準特徴点として選択されると、非準特徴点ＰＭに対する動きベクトルＱＭＶ_PMは次式のように計算される。
【００５１】
【数１】

【００５２】
ここで、ＱＭＶ_i：ｉ番目の準特徴点に対する動きベクトル
Ｍ：現フレーム内の準特徴点の数
Ｌ_i：ｉ番目の準特徴点と非準特徴点ＰＭとの間の距離
Ｗ_i：ｉ番目の準特徴点に対する重みファクターである。
【００５３】
ｉ番目の準特徴点が影響のある準特徴点として動きサーチ範囲ＱＳ内に含まれる場合、重みファクターは１となり、そうでない場合はゼロとなる。同様にして、全ての非準特徴点に対する第２サブグループの動きベクトルが決定される。
【００５４】
準特徴点に対する第１サブグループ動きベクトル及び非準特徴点に対する第２サブグループ動きベクトルは、現フレーム内に含まれる全画素に対する第１グループの動きベクトルとして設定される。ここで、現フレームにおける処理領域の外側に位置する画素に対する動きベクトルはゼロに設定される。
【００５５】
その後、現フレーム内の全画素に対する第１グループの動きベクトルは、現フレームの順方向予測に用いられる。即ち、予測された現フレームに含まれるべき各画素の値が、第１グループに含まられる各動きベクトルを用いて第１基準フレームから取り出され、順方向予測された現フレーム信号が発生される。
【００５６】
同様にして、逆方向予測された現フレームが、第２基準フレーム及び現フレームに基づく第２組の動きベクトルから得られる第２グループ動きベクトルを用いて求められる。
【００５７】
その後、順方向及び逆方向に予測されたフレームに基づいて、特徴点に対する動きベクトルの１組が、第１及び第２組の動きベクトルから選択される。即ち、選択される動きベクトルの組は、最小のＰＳＮＲをもたらすより類似した予測された現フレームを発生するように求められる。その後、選択された動きベクトル及び動きベクトル決定ブロック３１８からの該動きベクトルを表す選択情報は、動き推定符号化済みのＢフレーム信号として、スイッチＳＷ１を介してエントロピー符号化器４０ヘ送られる。
【００５８】
図８を参照すれば、図１に示された映像符号化装置に対応する映像復号化装置のブロック図が示されている。この映像復号化装置は、エントロピー復号化器８１０、ＭＣ−ＤＣＴ復号化器８２０、ＭＥ復号化器８３０及びフレーム再配列ブロック８４０を有し、イントラ符号化済みのＩフレーム信号、インター符号化済みのＰフレーム信号及び動き推定符号化済みのＢフレーム信号からなる符号化済みの映像信号を復号化する働きをする。
【００５９】
イントラ符号化済みのＩフレーム信号、インター符号化済みのＰフレーム信号及び動き推定符号化済みのＢフレーム信号からなる符号化済みの映像信号は、伝送チャンネルを介して映像信号復号化装置へ送られる。イントラ符号化済みのＩフレーム信号及びインター符号化済みのＰフレーム信号は、エントロピー復号化器８１０及びスイッチＳＷ５を介してＭＣ−ＤＣＴ復号化器８２０へ入力される。このＭＣ−ＤＣＴ復号化器８２０は、入力された信号を復元されたＩフレーム信号及び復元されたＰフレーム信号に各々変換する。これらの復元されたＩ及びＰフレーム信号は、フレーム再配列ブロック８４０に送られる。
【００６０】
一方、動き推定されたＢフレーム信号は、エントロピー復号化器８１０及びスイッチＳＷ５を介してＭＥ復号化器８３０へ送られる。このＭＥ復号化器８３０は、入力された信号を復元されたＢフレーム信号に変換する。復元されたＢフレームは、フレーム再配列ブロック８４０に送られる。
【００６１】
フレーム再配列ブロック８４０では、ＭＣ−ＤＣＴ復号化器８２０及びＭＥ復号化器８３０からの、復元されたフレームシーケンス（Ｉ１、Ｐ１、Ｂ１、Ｐ２、Ｂ２、Ｐ３、Ｂ３、．．．）を、再配列された復元されたフレームシーケンス（Ｉ１、Ｂ１、Ｐ１、Ｂ２、Ｐ２、Ｂ３、Ｐ３．．．）に変換する。その後、再配列された復元されたフレームシーケンスは表示スクリーン（図示せず）に送られ、表示される。
【００６２】
図９を参照すれば、図８に示したＭＣ−ＤＣＴ復号化器８２０のブロック図が示されている。
【００６３】
イントラ符号化済みのＩフレーム信号が、符号化装置のときと同様ににして、情報分割器９１０を介して映像信号復号化器１１３′に入力されると、この映像信号復号化器１１３′はイントラ符号化済みのＩフレーム信号の量子化変換係数を逆量子化及び逆離散的コサイン変換を用いて復元されたＩフレーム信号に変換する。映像信号復号化器１１３′によって復元されたＩフレーム信号は、第３前フレームメモリ９１８に格納される。
【００６４】
インター符号化済みのＰフレーム信号が情報分割器９１０に入力されると、情報分割器９１０はインター符号化済みのＰフレーム信号を量子化変換係数と１組の動きベクトルとに分けてこれらを映像信号復号化器１１３′と現フレーム予測ブロック９１６に供給する。現フレーム予測ブロック９１６では、１組の動きベクトルを用いて現フレームが予測される。一方、映像信号復号化器１１３′では、量子化変換係数が逆量子化及び逆離散的コサイン変換を用いて復元されたエラー信号に再構成される。
【００６５】
その後、復元されたエラー信号及び予測された現フレーム信号は加算器９１７にて加え合わされ、復元されたＰフレーム信号が発生され、第３前フレームメモリ９１８に格納される。このとき、第３前フレームメモリ９１８に予め格納されていた復元されたＩフレーム信号は第４前フレームメモリ９２０に送られる。このようなプロセスは、映像信号の復号化処理が行われる間繰り返される。
【００６６】
図１０を参照すれば、図８に示したＭＥ復号化器８３０のブロック図が示されている。
【００６７】
図９のように、図４及び図１０で同一な部分は同一な符号を使って表す。動き推定符号化済みのＢフレーム信号がＭＥ復号化器８３０に入力されるとき、第３及び第４前フレームメモリ９１８、９２０からの復元されたＩフレーム及び復元されたＰフレームが、第１及び第２基準フレーム信号Ｆ（ｔ＋１）、Ｆ（ｔ−１）として処理領域検出ブロック３１０′に送られる。この処理領域検出ブロック３１０′においては、ＭＥ符号化器と同様に、動いている物体の動きをを表す処理領域が２つの基準フレーム信号Ｆ（ｔ＋１）、Ｆ（ｔ−１）間の差分を用いて検出される。
【００６８】
一方、基準フレーム信号が、動き推定符号化済みのＢフレームの選択情報によって駆動されるスイッチＳＷ６により選択される。選択された基準フレーム信号はエッジ検出ブロック３１２′及び動き補償ブロック９３０に送られる。しかる後、ＭＥ符号化器で説明したのと同様に、１組の特徴点が処理領域情報及び選択された基準フレームに基づいて、エッジ検出ブロック３１２′、グリッド点発生ブロック３１４′及び特徴点検出ブロック３１５′によって選択される。
【００６９】
動き補償ブロック９３０は、動き推定符号化済みのＢフレーム信号の１組の動きベクトルを受け取り、図４に示した動きベクトル決定ブロック３１８に用いられた現フレーム予測プロセスに基づいて、復元されたＢフレーム信号を発生する。
【００７０】
上記において、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００７１】
【発明の効果】
従って、本発明によれば、上述したことから分かるように、双方向予測されたフレームを符号化に特徴点単位の動き推定方法を用いるため、画質の低下なしに伝送すべきデータの量を大幅に減らすことができる。また、本発明の特徴点単位の動き推定符号化方法においては、処理領域から選択された限られた数の特徴点しか動き推定に用いられないため、計算量や伝送すべき動きベクトルの量を一層減らすことができ、それによって符号化効率を一層向上させることができる。
【図面の簡単な説明】
【図１】本発明による特徴点に基づいた動き推定符号化器を有する映像信号符号化装置のブロック図である。
【図２】ディジタル映像のフレームシーケンスを説明する模式図である。
【図３】図１に示された動き補償−離散的コサイン変換（ＭＣ−ＤＣＴ）符号化器の詳細ブロック図である。
【図４】図１の動き推定符号化器のＭＥ符号化器の詳細ブロック図である。
【図５】特徴点選択方法を説明するための例示的な模式図である。
【図６】選択された特徴点に対する動きベクトル推定法を説明するための例示的な図である。
【図７】特徴点以外の画素に対する動きベクトル推定を説明するための説明図である。
【図８】図１の映像信号符号化装置と共に利用可能な映像信号復号化装置の概略的なブロック図である。
【図９】図９の動き推定補償−離散コサイン変換（ＭＣ−ＤＣＴ）復号化器の詳細ブロック図である。
【図１０】図９の動き推定（ＭＥ）復号化器の詳細ブロック図である。
【符号の説明】
１０ フレーム再配列ブロック
２０ ＭＣ−ＤＣＴ符号化器
３０ ＭＥ符号化器
４０ エントロピー符号化器
１０２ 減算器
１０５ 映像信号符号化器
１１３、１１３′ 映像信号復号化器
１１５、９１７ 加算器
１２４ 第１前フレームメモリ
１２５ 第２前フレームメモリ
１５０ 現フレーム予測ブロック
３１０、３１０′ 処理領域検出ブロック
３１２、３１２′ エッジ検出ブロック
３１４、３１４′ グリッド点発生ブロック
３１５、３１５′ 特徴点選択ブロック
３１６ 動きベクトル推定ブロック
３１８ 動きベクトル決定ブロック
８１０ エントロピー復号化器
８２０ ＭＣ−ＤＣＴ復号化器
８３０ ＭＥ復号化器
８４０ フレーム再配列ブロック
９１０ 情報分割器
９１６ 現フレーム予測ブロック
９１８ 第３前フレームメモリ
９２０ 第４前フレームメモリ
９３０ 動き補償ブロック
ＳＷ１〜ＳＷ６ スイッチ

Claims (14)

1. ディジタル映像信号内の双方向予測フレーム（Ｂフレーム）の符号化を、そのＢフレームに隣接する２つの再構成済みのフレームに基づいて特徴点に基づいた動き推定法を用いて行うディジタル映像信号符号化方法であって、
   第１の再構成済みの隣接フレームを基準フレームとして割り当てる第１過程と、
   前記再構成済みの２つの隣接フレーム間の差異に基づいて、前記ディジタル映像信号内の動いている物体の動きを表す処理領域を検出して、検出された処理領域を表す領域情報を発生する第２過程と、
   前記領域情報に基づいて、前記基準フレームの前記検出された処理領域内に含まれる複数の画素の中から一組の特徴点を選択する第３過程と、
   各特徴点の現フレームと前記基準フレームとの間の動きを表す一組の動きベクトルを決定する第４過程と、
   前記一組の動きベクトルを第１組の動きベクトルとして割り当てると共に、第２の再構成済みの隣接フレームを前記基準フレームとして割り当てる第５過程と、
   前記第３過程及び第４過程を繰り返して、前記第４過程から得られる動きベクトルを第２組の動きベクトルとして割り当てる第６過程と、
   前記第１及び第２組の動きベクトルから前記特徴点の組に対する動きベクトルの組を選択することによって、選択された動きベクトルの組とそれを表す選択情報を符号化済みのＢフレームとして発生する第７過程とを含み、
   前記第２過程が、
   前記第１の再構成済みの隣接フレームの各画素の値を前記第２の再構成済みの隣接フレームの対応する各画素の値から引き算することによって、複数の画素差分値を含むフレーム差分信号を発生する第２−１過程と、
   前記画素差分値の各々と予め決められた閾値とを比較して、前記予め決められた閾値以上の画素差分値を含む領域を前記処理領域として検出し、前記処理領域情報を発生する第２−２過程とを含むことを特徴とするディジタル映像信号符号化方法。
2. 前記第７過程が、
   前記第１組の動きベクトルに基づいて、前記Ｂフレームの処理領域内に含まれる全画素に対する第１グループの動きベクトルを決定する第７−１過程と、
   前記第２組の動きベクトルに基づいて、前記Ｂフレームの処理領域内に含まれる全画素に対する第２グループの動きベクトルを決定する第７−２過程と、
   前記第１及び第２グループの動きベクトルを用いて、それぞれ第１の予測済みのＢフレームと第２の予測済みのＢフレームとを発生する第７−３過程と、
   前記第１組及び第２組の動きベクトルから、前記特徴点の組に対して、前記Ｂフレームに最も類似した予測済みのＢフレームを発生する前記動きベクトルの組を選択する第７−４過程とを含むことを特徴とする請求項１に記載のディジタル映像信号符号化方法。
3. 前記第７−１過程が、
   前記第１組の動きベクトルを、前記第１隣接フレームの特徴点画素から前記第１組の動きベクトルだけシフトされた前記Ｂフレームに含まれる画素を表す準特徴点画素に対する第１サブグループの動きベクトルに変換する第７−１−１過程と、
   前記第１サブグループの動きベクトルを用いて、前記Ｂフレームの処理領域に含まれる残りの画素に対する第２サブグループの動きベクトルを求めることによって、前記第１グループの動きベクトルを前記第１及び第２サブグループの動きベクトルを含むものとして発生する第７−１−２過程とを含むことを特徴とする請求項２に記載のディジタル映像信号符号化方法。
4. 前記第７−２過程が、
   前記第２組の動きベクトルを、前記第２基準フレームの特徴点画素から前記第２組の動きベクトルだけシフトされた前記Ｂフレームに含まれる画素を表す準特徴点画素に対する第１サブグループの動きベクトルに変換する第７−２−１過程と、
   前記第１サブグループの動きベクトルを用いて、前記Ｂフレームの処理領域に含まれる残りの画素に対する第２サブグループの動きベクトルを求めることによって、前記第２グループの動きベクトルを前記第１及び第２サブグループの動きベクトルを含むものとして発生する第７−２−２過程とを含むことを特徴とする請求項３に記載のディジタル映像信号符号化方法。
5. 前記第７−１−２過程及び第７−２−２過程が、前記現フレームの残りの画素の各々を目標画素として割り当てる過程と、
   前記目標画素を取り囲む予め定められた領域内に含まれる１以上の準特徴点画素を選択する過程と、
   前記選択された準特徴点画素に対する動きベクトルを用いて、前記目標画素に対する動きベクトル計算することによって、前記残りの全ての画素に対する前記第２サブグループの動きベクトルを発生する過程とを含むことを特徴とする請求項４に記載のディジタル映像信号符号化方法。
6. 前記第３過程が、エッジ上に位置する画素を前記特徴点画素として選択するグリッド及びエッジ検出方法を用いて前記基準フレームから前記特徴点画素の組を選択する過程を有し、ここで前記選択される画素の各々は前記グリッドの対応するノードを取り囲む予め定められたサーチ範囲内に位置し、且つ前記予め定められたサーチ範囲内に含まられる画素値の中で最大値を有するものであることを特徴とする請求項５に記載のディジタル映像符号化方法。
7. 前記グリッドが、方形グリッドであることを特徴とする請求項６に記載のディジタル映像信号符号化方法。
8. ディジタル映像信号内の双方向予測フレーム（Ｂフレーム）の符号化を、そのＢフレームに隣接する２つの再構成済みのフレームに基づいて特徴点に基づいた動き推定法を用いて行う、映像信号符号化システムに用いられるディジタル映像信号符号化装置であって、
   第１の再構成済みの隣接フレームを第１基準フレームとして割り当てると共に、第２の再構成済みの隣接フレームを第２基準フレームとして割り当てる基準フレーム割り当て手段と、
   前記第１及び第２の再構成済みの隣接フレーム間の差異に基づいて、前記ディジタル映像信号内の動いている物体の動きを表す処理領域を検出して、検出された処理領域を表す領域情報を発生する処理領域検出手段と、
   前記領域情報に基づいて、前記第１及び第２基準フレームの前記検出された処理領域内に含まれる画素の中から２グループの画素を第１及び第２組の特徴点として選択する第１選択手段と、
   前記現フレームと前記第１基準フレームとの間の前記第１組の各特徴点の動きを表す第１組の動きベクトルを決定すると共に、前記現フレームと前記第２基準フレームとの間の前記第２組の各特徴点の動きを表す第２組の動きベクトルを決定する動き推定手段と、
   前記第１組及び第２組の動きベクトルから前記特徴点に対する動きベクトルの組を選択し、前記選択された動きベクトルの組と前記選択された動きベクトル組を表す選択情報とを符号化されたＢフレームとして発生する第２選択手段とを含み、
   前記処理領域検出手段が、
   前記第１の再構成済みの各画素の値を前記第２の再構成済みの隣接フレームの対応する各画素の値から引き算することによって、複数の画素差分値を含むフレーム差分信号を発生する減算手段と、
   前記画素差分値の各々と予め定められた閾値とを比較して、前記予め決められた閾値以上の画素差分値を含む領域を前記処理領域として検出し、前記処理領域情報を発生する手段とを含むことを特徴とするディジタル映像信号符号化装置。
9. 前記第２選択手段が、
   前記第１組の動きベクトルに基づいて、前記Ｂフレームの処理領域内に含まれる全画素に対する第１グループの動きベクトルを決定する第１動きベクトル決定手段と、
   前記第２組の動きベクトルに基づいて、前記Ｂフレームの処理領域内に含まれる全画素に対する第２グループの動きベクトルを決定する第２動きベクトル決定手段と、
   前記第１及び第２グループの動きベクトルを用いて、それぞれ第１の予測済みのＢフレームと第２の予測済みのＢフレームとを求める予測済みＢフレーム発生手段と、
   前記第１組及び第２組の動きベクトルから、前記特徴点の組に対して、前記Ｂフレームに最も類似した予測済みのＢフレームを発生する前記動きベクトルの組を選択する動きベクトル選択手段とを含むことを特徴とする請求項８に記載のディジタル映像信号符号化装置。
10. 前記第１動きベクトル決定手段が、
    前記第１組のベクトルを、前記第１基準フレームの前記特徴点画素から前記第１組の動きベクトルだけシフトされた前記Ｂフレームに含まれる画素を表す準特徴点画素に対する第１サブグループの動きベクトルに変換する変換手段と、
    前記第１サブグループの動きベクトルを用いて、前記Ｂフレームの処理領域に含まれる残りの画素に対する第２サブグループの動きベクトルを取り出すことによって、前記第１グループの動きベクトルを前記第１及び第２サブグループの動きベクトルを含むものとして発生する動きベクトル取り出し手段とを含むことを特徴とする請求項９に記載のディジタル映像信号符号化装置。
11. 前記第２動きベクトル決定手段が、
    前記第２組のベクトルを、前記第２基準フレームの前記特徴点画素から前記第２組の動きベクトルだけシフトされた前記Ｂフレームに含まれる画素を表す準特徴点画素に対する第１サブグループの動きベクトルに変換する変換手段と、
    前記第１サブグループの動きベクトルを用いて、前記Ｂフレームの処理領域に含まれる残りの画素に対する第２サブグループの動きベクトルを取り出すことによって、前記第２グループの動きベクトルを前記第１及び第２サブグループの動きベクトルを含むものとして発生する動きベクトル取り出し手段とを含むことを特徴とする請求項１０に記載のディジタル映像信号符号化装置。
12. 前記動きベクトル取り出し手段が、
    前記現フレームの残りの画素の各々を目標画素として割り当てる目標画素割当て手段と、
    前記目標画素を取り囲む予め定められた領域内に含まれる１以上の準特徴点画素を選択する選択手段と、
    前記選択された準特徴点画素に対する動きベクトルを用いて、前記目標画素に対する動きベクトル計算することによって、前記残りの全ての画素に対する前記第２サブグループの動きベクトルを計算する動きベクトル計算手段とを含むことを特徴とする請求項１１に記載のディジタル映像信号符号化装置。
13. 前記第１選択手段が、
    エッジ上に位置する画素を前記特徴点画素として選択するグリッド及びエッジ検出方法を用いて前記基準フレームから前記特徴点画素の組を選択する選択手段を含んでおり、ここで前記選択される画素の各々は前記グリッドの対応するノードを取り囲む予め定められたサーチ範囲内に位置し、且つ前記予め定められたサーチ範囲に含まられる画素値の中で最大値を有するものであることを特徴とする請求項１２に記載のディジタル映像符号化装置。
14. 前記グリッドが、方形グリッドであることを特徴とする請求項１３に記載のディジタル映像信号符号化装置。

Images