JP4694903B2 - 符号化方法およびこの方法を実施するための回路装置 - Google Patents

Description

本発明は、原画像のシーケンスを符号化するための方法または装置、もっと特定すればペル・リカーシブ（pel-recursive＝画素逐次）動き推定タイプの事前解析フェーズおよびブロックマッチング動き推定が行われる特有の符号化フェーズを有している方法に関する。

分野はビデオ圧縮である。特に関係するのはＭＰＥＧ４規格コンパチブルな符号化回路である。

「ブロックマッチング」タイプの動き推定は画像シーケンスにおける画像の時間相関が使用されるようにエンコーダにおいて実施される。その際インターモード（画像間モード）における符号化に対して予選択ブロックが計算され現ブロックから減算される。規格よって提案された符号化パラメータにおける種々様々な選択のために、例えば動き推定のための画像ブロックのサイズ、参照画像またはそこから動き推定が行われる画像、これら参照画像に対する上側のフィールド、下側のフィールドまたはフレームなどのために、符号化コスト、膨大な量の動き計算のような判断基準に従って行われる選択がエンコーダによって実現されなければならない。これらの計算は時間および処理能力の点で膨大である。動き推定器はエンコーダに固有のものであるかまたは規格において提案されかつエンコーダによって実施される多数の選択にコンパチブルでなければならない。

例えば、Ｈ２６４またはＭＰＥＧ４ part １０規格とコンパチブルなエンコーダに対する「ブロックマッチング」タイプの階層的動き推定器の場合、動きベクトルフィールドはそれぞれのブロックサイズ（４×４，４×８，８×４，８×８，８×１６，１６×８，１６×１６）に対しておよびそれぞれの参照画像に対して計算される。ＭＢＡＦＦ（＝MacroBlock Adaptive Frame Field）として知られているようにモノブロック対づつ符号化するために、推定器は、マクロブロックごとに、フレームに対して１つの動きベクトルフィールド、２つのフィールドに対して２つの動きベクトルフィールドを生成する。したがって、１６×１６サイズのマクロブロックの場合、それぞれの参照画像に対して４１×３個の動きベクトルが計算されることになり、マルチ参照モードのように数個の参照画像が使用されるならば、この数は数倍になる。

別の問題は階層タイプの動き推定器を使用すること自体にある。このタイプの推定器は１つの余分な均一動きフィールドを生成するので、低解像度／高解像度アプローチのために、小さなオブジェクトの動きを捕らえることは容易にはできない。

本発明の課題は上述した欠点を克服することである。

この課題の解決のために、本発明の対象の１つは、ペル・リカーシブタイプの動き推定が行われる事前解析フェーズと１つまたは複数のサブブロックから成る画像ブロックに対するブロックマッチング動き推定が行われる本来の符号化フェーズとを有する原画像のシーケンスを符号化する方法において、符号化フェーズは次のステップも有している：
サブブロックを含んでいるブロックをマッチングすることによって計算される動きベクトルに基づいてかつサブブロックに属しているピクセルまたはピクセル群に対するペル・リカーシブタイプの推定器によって計算される動きベクトルに基づいて画像サブブロックに対する動きベクトルを選択し、
１つのブロックを構成するサブ・マクロブロックから選択される動きベクトルを考慮した相関計算に基づいてサブ・マクロブロック内の画像ブロックの最高のパーティションを計算する
ことを特徴とする符号化方法である。

実施形態によれば、本発明の方法は、選択ステップがこれらサブブロックに相応するペル・リカーシブタイプ動きベクトルに対してサブブロックの相関レベルを計算するようになっていて、該動きベクトルは自動的に選択されるブロックマッチングによって自動的に得らる。

本発明の実施形態によれば、画像ブロックのサイズはＭＰＥＧ２規格において定義されたサイズに相応しかつサブブロックのサイズはＭＰＥＧ４規格において使用可能なサイズである。

本発明の実施形態によれば、ブロックマッチング動き推定は階層的タイプのものである。

本発明の実施形態によれば、事前解析フェーズは、同じ解像度に対してまたは低い解像度に対して、現画像および先行画像の間のペル・リカーシブタイプ動き推定ステップと、該ペル・リカーシブタイプの動き推定に基づいた動き補償フィルタリングによるノイズ低減ステップとを有している。

本発明の実施形態によれば、事前解析フェーズは現画像の種々のフィールドに対する相関計算も実施して、符号化されるべきそれぞれのブロックに対しておよび参照画像に対して、最高の相関にしたがって使用されるべき相応のフィールドまたはフレームを求めかつこの情報をブロックマッチングタイプの動き推定回路に送出して相応する参照画像に基づいたこの推定が実施されるようにする。

本発明は、原画像のシーケンスの符号化方法を実施するための符号化回路であって、ペル・リカーシブタイプの動き推定器を有する事前解析回路と１つまたは複数のサブブロックによって構成された画像ブロックに対するブロックマッチング動き推定器を有している本来の符号化回路とを有している形式のものにおいて、符号化回路は、サブブロックを含んでいるブロックに関連するブロック動き推定器によって計算される動きベクトルに基づいてかつサブブロックに属しているピクセルまたはピクセル群に関連してペル・リカーシブタイプの推定器によって計算される動きベクトルに基づいて画像サブブロックに対する動きベクトルを選択し、１つのブロックを構成するサブブロックから選択される動きベクトルを考慮した相関計算に基づいてサブブロック内の画像ブロックの最高のパーティションを計算するための符号化モード決定回路も含んでいることを特徴とする符号化回路にも関する。

データ圧縮に非常に適しているブロックマッチング動き推定器と、身体的な動き計算に非常に適しているペル・リカーシブ動き推定器との組み合わせにより、申し分ない品質の動きフィールドおよび申し分ない圧縮レートを得ることができる。計算は簡素化される。

これら推定器の動きベクトルフィールドの組み合わせにより、「ブロックマッチング」タイプの動き推定器では無視されるであろうような、画像中の動く小さな物体を捕らえるのが容易になる。身体領域を表している動きベクトルに対して相対的である情報を使用することによって、例えば階層的である、「ブロックマッチング」タイプの動き推定器は、予測器としてこの種推定器を使用することによってこれらベクトルに対する動きサーチをイニシャライズすることができる。

サブ・マクロブロックより大きい画像ブロック用に設計されている「ブロックマッチング」タイプの推定回路、例えば規格ＭＰＥＧ２タイプの推定器を使用することも可能であり、これによりコストは低減される。予測モードに対する相関または符号化コスト計算は比較的小さなサブ・マクロブロックの場合、こうしてペル・リカーシブタイプの動き推定器および既述の「ブロックマッチング」タイプの動き推定回路によって、例えばベクトルを組み合わせるまたは選択することによって生成される動きベクトルフィールドから実施される。

別の利点は、ペル・リカーシブ動き推定器からの情報を使用して、階層的動き推定器によって、例えば使用される参照画像、フィールドまたはフレームを選択することによって計算が制限されるようにすることにある。

次に本発明を図示の実施例につき図面を用いて詳細に説明する。

図１には本発明による、ビデオシーケンスのエンコーダが示されている。

原画像のデジタルビデオデータはエンコーダの入力側で受信され、事前解析回路６に送られる。画像はフィルタリングされかつ画像ブロックごとに減算器１の第１入力側に送出される。符号化モードイントラまたはインターに応じて、減算器１は第１入力側で受信されたカレントブロックに関連する情報を送出するまたは第１の入力側に入力されたものから、第２の入力側に取り出される予測されたブロックに相応する最新情報を減算する。減算器の出力データは離散余弦および量子化変換回路２に送出される。この回路の量子化された出力係数に対してエントロピーエンコーダ３によりエントロピー符号化が行われる。符号化された出力係数はそれからバッファメモリ４に記憶される。このメモリの充填レベルはビットレート制御回路５に送出される。この回路は事前解析回路６からのデータも受信し、かつ量子化器２の量子化ステップをコントロールする。

現画像は予測ブロックを形成するように再構成される。したがって、量子化された係数は回路７を通って逆量子化および逆離散余弦変換が行われて復号化された輝度値が得られるようになっている。

加算器８は予測されたブロックが、それがインターモードにおいて符号化されているならば、復号化された係数ブロックと加算されるようにする。再構成されたブロックはフィルタリング回路９によってフィルタリングされてから、再構成された現画像を記憶する画像メモリ１０に記憶される。

階層的動き推定器を含んでいるブロック動き推定器回路１１は画像メモリ１０によって記憶されている復号化されたまたは再構成された画像に関連する情報と、事前解析回路６から原画像の符号化されるべき現マクロブロックに関連する情報とを受信する。階層的動き推定器は公知の原理にしたがってこの現マクロブロックと再構成された画像との間の相関計算を実施して、マクロブロックごとの動きベクトルが形成されるようにする。これらベクトルは符号化モード決定回路１３に送られる。この回路も、事前解析回路６からペル・リカーシブ動き推定器によって計算された動きベクトルを受信する。それは相応の符号化モードにより最高のマクロブロックパーティションを選択する。

符号化モードおよび相応の動きベクトルは動き補償回路１２に送出され、そこで再構成された単数または複数の参照画像の動き補償が行われて予測画像ブロックが生成される。動きベクトルはエントロピー符号化回路３にも供給されて、そこで符号化されてかつデコーダに送出される。

もっと詳細には、エンコーダの入力側には、解像度低減回路と、ペル・リカーシブタイプの動き推定回路と、フィルタリング回路とを含んでいる事前解析回路３がある。これらの回路により画像のノイズを、画像が符号化される前に低減することができる。この分野において、ペル・リカーシブタイプの動き推定はブロックごとの動き推定よりもノイズ低減により適していることが認められている。したがってこのタイプのアルゴリズムがエンコーダのこの事前解析フェーズにおいて実施される。

エンコーダの入力側で受信されたシーケンスの原画像は事前解析回路によってサブサンプリングされて、低解像度の画像が生成される。ペル・リカーシブタイプの動き推定は、画像の本来のエンコードの前に、この事前解析回路によって実施される。すなわち、サイズがこの実施例においては２つの水平方向および垂直方向に分割されている低解像度の画像に基づいてピクセルごとに計算される。この推定によって予め、動きにおけるエリアの検出、予測できないエリア、有利な予測方向などのような、エンコーディングモジュールに対して役立つある程度の量の情報を生成することもできる。

それからこの動き推定に基づいて動き補償されたフィルタリング動作がフル解像度画像に基づいて実施される。すなわちこのフィルタリングによって画像のノイズが低減され、したがってエンコーダの効率が改善される。

事前解析回路は符号化されるべきシーケンスのＧＯＰストラクチャ、すなわち画像のタイプ、インターかイントラか、参照画像、双方向などを定義するために使用してもよい。ＧＯＰという用語は、Group Of Pictures であって、ＭＰＥＧ規格において定義されている。

事前解析は予め定めた数の画像において実施される。事前解析と本来の符号化との間の遅延期間はビットレートコントロールに対して考えられた画像群のオーダであってよい。それは例えばＭＰＥＧ規格に対して１つまたは数個のＧＯＰに相応する。

この実施例において、動き推定回路１１は階層的ストラクチャおよびブロックマッチングアプローチに基づいている。現マクロブロックは、復号化された画像と比較され、マクロブロックのピラミッドの最低の解像度に始まって最高の解像度レベルまで解像度が増加していくピラミッドにしたがって構成される。動きベクトルフィールドは、最低のレベルから最高のレベルまでそれぞれの解像度レベルに対して推定され、あるレベルで実施された推定を次に高いレベルに対する予測として使用することができる。ピラミッドは符号化回路の種々異なっている符号化モードに依存している。したがって、フレームに対する、フィールドに対するピラミッドがあり、かつ参照画像に対するピラミッドがある。したがってマルチプル参照アプローチでは、この数は数倍になる。

符号化ループにおけるこのフィルタリング回路９はブロックの効果を低減するために再構成された画像のフィルタリングを実施する。このフィルタリングされた画像は画像メモリ１０に記憶される。

事前解析回路６はビットレートコントロール回路５に接続されていて、画像タイプごとにＧＯＰストラクチャ情報および符号化コスト情報を与えてビットレートコントロールが簡単になるようにする。こうして情報を後から統合することができる。事前解析回路は例えば、イントラモードにおけるファーストパスで、符号化の観点で画像の複雑さを突き止めかつ画像タイプごとに符号化コスト推定をコントロール回路に送出するので、コントロール回路はＤＣＴ＋Ｑ回路に対する量子化ステップを計算すればよい。

上述したように、符号化モード決定回路１３は最良のマクロブロックパーティションおよびマクロブロック符号化モードを選択する。

図２にはＭＰＥＧ規格セクション１０を使用するエンコーダに対して、１６個のサンプルの１６本のラインの分割マクロブロックの種々異なっているタイプを示している。

１列目は１６×１６サイズのマクロブロックの、それぞれ２つのサブ・マクロブロックサイズの１６×８および８×１６の水平方向および垂直方向の分割および４つの８×８サイズのサブ・マクロブロックへの分割に相応している。２列目は同じ分割に相応しているが、レベルはより低く、８×８サイズのサブ・マクロブロックが扱われている。

ペル・リカーシブ動き推定は低い解像度の画像で実施され、例えば原画像より水平方向にも垂直方向にも２倍低い。

ブロックマッチング動き推定回路１１はＭＰＥＧ２タイプのもので、すなわち処理される輝度マクロブロックのサイズは１６個のサンプルの１６本のラインのものである。マクロブロックの内部オルガニゼーションは画像のタイプ、フィールドまたはフレームにしたがって相異している。したがって、それは２つのフィールドＤＣＴ画像符号化または単一のフィールドＤＣＴ画像符号化における輝度マクロブロックであってよく、マクロブロックは後者の場合、奇数フィールドに対して上側の１６×８のブロックおよび偶数フィールドに対して下側の１６×８ブロックによって構成されている。計算される動きベクトルは符号化される画像のタイプ、Ｐ予測またはＢ双方向符号化画像に依存している。これらは「フォワードベクトル」（ＭＰＥＧ２規格における）および「バックワードベクトル」である。

図３には符号化モード決定回路１３によって実施される符号化モード決定フローダイヤグラムが示されている。

２×２ブロックの動きベクトルフィールドが事前解析回路６から受信される（ステップ１４）。

１６×１６のマクロブロックの動きベクトルフィールドが動き推定回路１１から受信される（ステップ１５）。

ステップ１６はステップ１４およびステップ１５に対するベクトルフィールドの動きベクトルを処理する。それは動きベクトルを種々の可能なマクロブロックパーティションに割り当てる。

例えば、可能なパーティションはサブブロック、すなわち８×８ブロック、これ以上分割されないサブブロックに制限されている。

第１のフェーズにおいて、動きベクトルはブロックにリンクされる。

したがって、考察中のサブブロックの場合、このサブ・マクロブロックに含まれている２×２のブロックの動きベクトルに加えてこのサブ・マクロブロックを有している１６×１６のマクロブロックの動きベクトルがサブ・マクロブロックにリンクされる。

第２フェーズにおいて、動きベクトルはサブ・マクロブロックに割り当てられる。

種々の割り当てが可能である：
例えば、すべての動きベクトルをサブ・マクロブロックにリンクするという割り当てが簡単である。

割り当てられるベクトルの数も、サブ・マクロブロックにリンクされた２×２のブロックの動きベクトルの中で予選択を行うことによって、これらベクトルの成分の中間値を選択することによってまたはＳＡＤまたはＨａｄａｍａｒｔ計算による最高の相関を行って１つを選択することによって制限されるようにしてもよい。

ステップ１７ではステップ１６から到来する、種々のパーティションのサブ・マクロブロックに割り当てられたベクトルが受信される。動きベクトルの選択はそれぞれのサブ・マクロブロックに対して、割り当てられた単数または複数の動きベクトルに基づいた相関計算の実施によっておよび最高の相関を提供する動きベクトルを選択することによって実施される。

ステップ１８では、パーティションから成るサブ・マクロブロックに割り当てられた選択されたベクトルが受信される。このステップでは、可能なパーティションのそれぞれについて全体のマクロブロックに対して相関計算を実施することによって、このパーティションに相応するサブ・マクロブロックに割り当てられた動きベクトルに基づいて、マクロブロックを構成するサブ・マクロブロックのそれぞれの相関の和をとることによって、最高のパーティションの選択が実施される。

最高の相関レートを示すパーティションが選択される。

先のステップは、テストされるべきモードのそれぞれに対して、１つの動きベクトルおよび１つの参照画像を用いる予測モードまたは２つの動きベクトルおよび２つの参照画像を用いる予測モードに対して実施される。

相応の符号化コストを比較することによって選択されたパーティションに対して符号化モード決定が、例えばイントラ（符号内）なのか、予測インター（予測符号間）なのか、バイ予測インター（バイ予測符号間）なのかなどが決定される。

本発明の変形形態によれば、事前解析回路６のペル・リカーシブタイプの動き推定器によって計算された動きベクトルは予測器として使用される階層的動き推定器１１に送出される。選択された単数または複数の予測器が使用されて公知の方法で、動きベクトルを求めるために相関が実施される１つまたは複数のサーチウィンドウが位置決めされる。複数の動きベクトルが動き推定器１１によって処理されるブロックに相応するならば、このブロックに対する予測は例えば、これらのベクトルのそれぞれ、これらベクトルの成分の平均または中間値である。

本発明の変形形態によれば、事前解析回路が相関計算を実施して、動き推定回路１１に対する画像／フィールド符号化決定情報を生成する。それはフィールドまたはフレームモードの予選択を行って、それを動き推定回路に送出してこの回路によって実施される計算が簡単になるようにする。

本発明の付加的な変形形態によれば、事前解析回路は相関計算を行って、画像／フィールド符号化に対する決定情報を符号化モード決定回路１３に提供する。例えばフィールドまたはフレームモードの予選択。こうしてこの回路は、受信した動きベクトルの中で、事前解析回路によって選択されないモードに相応するものを取り除く。最高のパーティションの計算は予選択されたモードに対してのみ実施される。

これらは実施例である。もちろん本発明は相関計算が実施される部分に対して、すべてのマクロブロックパーティション化に適用される。

動きベクトルも本発明の思想を離れない限りペル・リカーシブまたは階層的とは別のタイプであってもよい。

適用されるのは伝送または記録のためのビデオデータ圧縮である。

本発明のエンコーダのブロック線図 マクロブロックのパーティションおよびサブ・マクロブロックの略図 本発明の符号化モード決定アルゴリズムのチャート図

符号の説明

１ 減算器、 ２ 離散余弦および量子化変換回路、 ３ エントロピー符号化器、 ４ バッファ、 ５ ビットレートコントロール部、 ６ 事前解析回路、 ７ 逆離散余弦および量子化変換回路、 ８ 加算器、 ９ フィルタリング部、 １０ 画像メモリ、 １１ 動き推定回路、 １２ 動き補償部、 １３ 符号化モード決定部

Claims (7)

1. ペル・リカーシブタイプの動き推定を伴う事前解析フェーズ、及び、複数のサブブロックによって構成される画像ブロックのためのブロックマッチング動き推定を伴う本来の符号化フェーズを有する、ソース画像のシーケンスの符号化方法において、
   前記符号化フェーズは、
   前記画像ブロックの異なるパーティションに対応する複数の画像サブブロックについて動きベクトルを割り当てるステップであって、該画像サブブロックを含む前記画像ブロックについてのブロックマッチングによって計算される動きベクトル及び前記事前解析フェーズにおける前記ペル・リカーシブタイプの動き推定によって該画像サブブロックに属しているピクセルまたはピクセルグループについて計算された動きベクトルに基づく、ステップ、
   １つの画像サブブロックに割り当てられた前記動きベクトルの中で選択する選択ステップであって、該画像サブブロックについての相関計算に基づいている、選択ステップ、並びに、
   １つの画像ブロックの複数のサブブロックへの最良のパーティションを、該画像ブロックを構成している該複数のサブブロックについて選択された前記動きベクトルを考慮した、ブロック全体の前記異なるパーティションについての相関計算に基づいて計算するステップ
   を含むことを特徴とする符号化方法。
2. 前記選択ステップにおいて、前記ペル・リカーシブタイプの動き推定により計算された割り当て済み動きベクトルであって、システマチックに選択されるブロックマッチングによって計算された割り当て済み動きベクトルについてのみ、前記複数のサブブロックの相関レベルを計算することを特徴とする請求項１記載の符号化方法。
3. 前記画像ブロックのサイズは前記ブロックマッチングに関してＭＰＥＧ２標準で定義されたサイズに相応し、及び、前記画像サブブロックのサイズはＭＰＥＧ４標準で利用可能な、より小さなサイズであることを特徴とする請求項１記載の符号化方法。
4. 階層タイプのブロックマッチング動き推定器を使用する請求項１記載の符号化方法。
5. 前記事前解析フェーズは、現画像および先行画像の間の、同一解像度またはより低い解像度に対するペル・リカーシブタイプ動き推定ステップと、該動き推定により計算された動きに基づいた動き補償フィルタリングによるノイズ低減ステップとを含んでいることを特徴とする請求項１記載の符号化方法。
6. 前記事前解析フェーズにおいて、現画像の種々のフィールドに対する相関計算を実施し、符号化されるべきそれぞれのブロックおよび参照画像について対応して使用するフィールドまたはフレームを最良の相関に応じ求め、及び、該情報をブロックマッチングタイプの動き推定回路に送出し、該推定を該対応する参照画像に基づき実施することを特徴とする請求項１記載の符号化方法。
7. ペル・リカーシブタイプの動き推定器を有する事前解析回路、及び、複数のサブブロックによって構成される画像ブロックのためのブロックマッチング動き推定器を有する本来の符号化回路を備え、請求項１記載のソース画像のシーケンスの符号化方法を実施するための符号化回路において、
   符号化モード決定回路をさらに備え、該符号化モード決定回路が、
   前記画像ブロックの異なるパーティションに対応する複数の画像サブブロックについて動きベクトルを割り当てる手段であって、ブロックマッチング動き推定器によって計算され且つ該画像サブブロックを含む前記画像ブロックに関連する動きベクトルに基づき及び前記事前解析フェーズにおける前記ペル・リカーシブタイプの動き推定器によって計算され且つ該画像サブブロックに属しているピクセルまたはピクセルグループに関連する動きベクトルに基づく、手段、
   １つの画像サブブロックに割り当てられた前記動きベクトルの中で割り当てる手段であって、該画像サブブロックについての相関計算に基づいている、手段、並びに、
   １つの画像ブロックの複数のサブブロックへの最良のパーティションを、該画像ブロックを構成している該複数のサブブロックについて選択された前記動きベクトルを考慮した、ブロック全体についての相関計算に基づいて計算する手段
   を有することを特徴とする符号化回路。

Images