JP4377693B2 - 画像データ検索 - Google Patents

Description

本発明は、データ検索に係り、特に、ビデオ画像における動き補償および／または動き推定のためのデータ検索に関する。

例えばビデオ画像のような連続する画像においては、動きの対象は一般的に、連続した画像の異なるゾーンに現れるであろう。

デジタルビデオ画像信号の符号化において、圧縮方法を提供することは公知であり、例えば、ＭＰＥＧ−２はこの信号に組み込まれるべきデータ量の顕著な低減を得るために符号化を行ない、完全な符号化のためには、動き推定技術の種々の形態を用いて連続する画像の総数のほんの一部分を配置することにより行ない、他の画像は符号化された画像や連続する画像間における相関に基づいて予測することにより生成されるように許容されており、ここでは、動きの対象は、符号化された画像の出発セグメントと、連続して予測された画像の到着セグメントとの間の空間的なオフセットを表現するいわゆる動きベクトルの符号化されたビデオ信号内への包含により保証されるようにして出現するであろう。

ＭＰＥＧ規格にしたがったデジタルビデオ信号の符号化に対する動き推定または補償の実施の一般的な開示は、例えば、ハーブ・ベノイツ：「デジタルテレビジョンＭＰＥＧ−１、ＭＰＥＧ−２およびＤＶＢシステムの原理」ロンドン、１９９７年、にみられる。

動き推定または補償の他の実施は、ビデオの走査レートの変換であり、これによれば、ビデオ信号処理システムの出力画像レートが入力画像レートとは異なっている。また、この実施のタイプは、「３−Ｄ帰納的ブロックマッチングを伴う真正の動き推定」、１９９３年１０月ビデオ技術のための回路およびシステムに関するＩＥＥＥトランザクション、Ｖｏｌ．３，Ｎｏ．５におけるゲアード・デ・ハーン（Gerard de Haan）により、また、「動き補償された非インターレーシング、雑音低減および画像レート変換のためのＩＣ」１９９９年８月、消費者の電子工学に関するＩＥＥＥトランザクション、Ｖｏｌ．４５，Ｎｏ．３におけるゲアード・デ・ハーン（Gerard de Haan）により、説明されているような動きベクトルの使用から利益を受けている。

動き推定または補償に関する他の実用上の実施と同様にこのような符号化または走査レート変換方法のために、動きベクトルの決定は、選択された画像セグメントに対して行なうことによりブロックマッチングとしての公知の技術に基づいており、この画像セグメントは、通常画素の正方形の具体的には８×８画素を含むブロックであっても良く、探索領域は、画像の中心に位置するある画素ブロックについて次の画像における対応する画素ブロックを囲むと共に、具体的には８８×４０画素を含むように画定されている。ブロックマッチングにより、探索は選択された画素ブロックの探索領域に合致するデータを含む画素ブロックのための探索領域を介して達成されている。

このシステムにおいては、この探索領域またはウィンドウ内の画像データは、通常、この画像の幅に等しい大きさを有すると共に、相対的に大きなバッファメモリを必要とするローカルバッファまたはワンチップメモリ内に格納される。

動きベクトルが画像の画素ブロックのような新たなセグメントに対して配置されるべきである場合には、探索領域の内容は、バックグラウンド（背景）メモリ内に格納された画像からの新たな画素ブロックを囲んでいる画素ブロックの転送により更新されなくてはならない。この探索領域の更新は、このシステムの全てのデータのスループットを最適化するための画像処理と同時に、パイプライン技術により行なわれる。

発明の概要

この発明の目的は、ウィンドウを更新している顕著に改善された方法を提供することであり、これにより、改善された効率性のために画像アクセスを最適化することができる。この目的を達するために、本発明はデータ検索用の方法および装置並びに独立請求項に定義されたような装置を提供する。

有利な実施形態は従属する請求項に定義されている。

本発明の第１のアスペクトによれば、ある画像の画像セグメントに所属するデータは所定のウィンドウをシフトすることにより画像メモリから検索されており、このウィンドウは、画像上の画像セグメントおよび１つまたはそれ以上の隣接するセグメントを備えると共に前記画像の幅よりも小さい幅を有し、所定の走査方向にシフトさせることにより、前記画像における前記画像セグメントに属するデータを画像メモリから検索する方法であって、現在のウィンドウのデータを格納可能なバッファメモリを用いて、前記画像上の前記ウィンドの位置を垂直走査方向にシフトさせることにより検索される。１つまたはそれ以上の隣接する画像セグメントは、幾つかの実際の実施形態においては同一のサイズではあっても、前記画像セグメントと同一のサイズであるべき必要性はない。

処理されており、これにより連続する垂直のカラムで走査されている画像上の探索ウィンドウの垂直の走査により、バックグラウンドメモリに対するアクセス要求は、水平メモリへの簡単な連続するアクセスに対して低減させることができ、これにより、ハードウェア上の制限が低減されて処理時間が短縮される。選択されかつ対応する画像セグメントが相対的に大きいものであっても、探索領域を格納するためのオンチップメモリに対する帯域幅の要求は依然として完全に受け入れ可能である。

好ましい実施形態において、探索領域を画定することは、画像の幅とは独立しており、バッファメモリは画像の幅から独立したサイズを有している。画像の幅は、例えば７２０画素で外部的に決定されるが、他の値であってもまた可能である。バッファメモリの幅は基本設計概念を考慮して決定される。実用的なバッファメモリの幅は、８画素の倍数、例えば２５６画素である。画像の幅から独立した探索領域およびバッファメモリのサイズを作成することにより、幾つかの画像の幅が同一の基本設計疑念により処理可能である。

この方法の個別の有利な実施によれば、処理時間は画素ブロックの水平方向の列の数を含んでいる探索領域を画定することによりさらに低減されるであろうし、更新領域は、探索領域の外側で走査方向に沿う次の水平方向の列内の画素ブロック用の探索領域に設けられる。

発明の詳細な説明

以下、添付図面を参照しながら、本発明の実施形態をさらに詳細に説明する。
図１において、連続する画像のうち先行する画像に基づいて、連続する画像の順番で画像の補間（内挿）に対する動きの推定の適用が具体例として与えられている。このような補間は具体的には、例えば５０Ｈｚから１００Ｈｚへと画像のフォーマットを変更するビデオ走査レート変換で用いられている。

各動きベクトルＶは、第１の画像Ａにおける出発セグメントＢＤと、第２の画像Ｂにおける到着ゾーンＢＡとの位置の間の差を説明している。したがって、動きベクトルは、第１の画像における出発ゾーンから第２の画像における到着ゾーンへの個別の対象の運動を表現している。

図２は、動きベクトルＶの決定と、入力ビデオ信号の８×８画素のブロックＢの形態における画像セグメントに対するその割り当てとを示している。動きベクトルの推定は、この技術分野において公知である、いわゆるブロックマッチングの技術に基づいており、画像Ｂにおける画素ブロックＢＤ−Ｂについての選択がなされることにより、動きベクトルＶは画像Ｂにおける実際の画素ブロックＢＤ−Ｂを囲む探索領域またはウィンドウＳに割り当てられるべきである。具体的には、探索領域Ｓは水平および垂直方向に画素ブロックＢＤ−Ｂを囲む多数の画素ブロックを備えていても良く、８×８画素のブロックのためには、探索領域Ｓのサイズは例えば８８×４０画素であっても良い。

平易に表現すれば、実際の画素ブロックＢＤ−Ｂに割り当てられるべき動きベクトルＶは、第１の画像Ａにおける画素ブロックＢＤ−Ａに合致する画素ブロックＢＡ−Ｂのための探索領域またはウィンドウを探索することにより決定される。

ブロックマッチング技術の使用により、この探索プロセスは、動き補償または推定の実際の適用例におけるある範囲に依存する複雑さのレベルを変化させながら行うことが可能であるが、予測メモリ内に格納されたいわゆる候補ベクトルのセットの中からの最良のベクトルの典型的な選択を含んでいる。探索プロセスの詳細はここでは説明しないが、種々のオプションの包括的な解析は、上述した、「３−Ｄ帰納的ブロックマッチングを伴う真正の動き推定」、１９９３年１０月ビデオ技術のための回路およびシステムに関するＩＥＥＥトランザクション、Ｖｏｌ．３，Ｎｏ．５におけるゲアード・デ・ハーン（Gerard de Haan）により、また、「動き補償された非インターレーシング、雑音低減および画像レート変換のためのＩＣ」１９９９年８月、消費者の電子工学に関するＩＥＥＥトランザクション、Ｖｏｌ．４５，Ｎｏ．３におけるゲアード・デ・ハーン（Gerard de Haan）により与えられる。

このようにして、動きベクトルは、画像の全ての画素ブロックについて決定されても良い。

図２に示された先行技術の方法においては、探索領域Ｓの範囲は画素ブロックのような新たな画像セグメントに対する動きベクトルの各々の割り当てのために更新されなくてはならず、それは探索領域は垂直および水平の両方向で選択された画素ブロックを囲む多数の画素ブロックを含まなくてはならないからである。画素ブロックに関するこのような更新は重要な帯域幅の要求をして画像データを探索領域バッファへの転送させている。この理由により、先行技術のシステムは具体的には画像の全ての幅を含む局部的なバッファを用いている。これは、帯域幅の問題を解決してはいるが、この実施が画像のサイズにおける限定を提示して、さらにこのバッファが相対的に大きくなるという明らかな不都合を有している。

図３に示されているように、この発明の方法によって、画像の選択された画像セグメントは、この画像の単一の水平方向の列に配置された多数の連続する画素ブロックを含むように画定されている。さらに、画像セグメントＢＤ−Ｂを囲む探索領域Ｓは水平方向の拡張部分を有するように画定されているので、探索領域Ｓは水平方向に第２の数の画素ブロックを含むことができ、この第２の数の画素ブロックは実際の画像セグメントＢＤＰにおける単一の列でのブロックの数よりも大きく、それだけで探索領域Ｓの中心部分に配置されていても良い。

画像内で垂直方向に分散されたセグメントに対するブロックマッチングおよび動きベクトルの割り当てが画像上の探索領域Ｓをあるセグメントから他のセグメントへと垂直走査方向ＳＣにシフトすることにより行なわれるという特徴に結びつけられて、探索領域の更新は著しく容易に行なわれ、これは画像メモリへのアクセス要求が簡単な水平メモリアクセスへと低減可能であるからである。したがって、ハードウェア的な制限を低減することができると共に処理時間が短縮される。

本発明はこの先行技術のシステムの状態よりもより多くの帯域を局部的な探索に要求しているにも拘わらず、本発明は全面的に受け入れ可能な帯域幅の要求の範囲内で、一例としては、結果として３２個の標準的な画素ブロックに対応する２５６バイトの幅となる動きベクトルを介してデータアクセスを許容する両サイドで６４バイトずつの水平方向の拡張を伴う、単一の水平方向の列すなわち１２８バイトの水平長毎に、各々８×８画素の１６個の標準的な画素ブロックを処理するための探索領域を配備することが可能となるべきであることが判明した。このような探索領域の更新は、先行技術のメモリシステムの非常に効果的な使用状態を実行可能である、２５６の連続的なメモリアドレスへのメモリアクセスを要求する。この個別的な例において、２つの因子を上まわる帯域幅があり、これは１２８バイトの画素データを処理するためのバッファ内には２５６バイトがロードされることが必要だからである。多くのシステムにおいて、このような帯域幅の不利な条件は、完全に受け入れ可能であるが、バッファのサイズと帯域幅との間での他のトレードオフも可能である。この個別の例において、バッファはたった２５６バイトの幅のみを有しており、これは、標準的なビデオ信号を処理するための先行技術のシステムの状態で用いられるような７２０バイトの完全な画像の幅に比較して著しく低減されている。

図３に示されているように、探索領域Ｓは、画素ブロックの水平方向の列の数、すなわち、４０バイトの垂直方向の高さに対応する５つの列を含んでいても良い。これに関連して、もしも更新領域ＵＰ−Ｂが探索領域に付着されたならば、処理時間の更に有利な低減を得ることができる。画像における垂直走査方向ＳＣでの探索領域Ｓのシフトが１つの列から次の列への実際のセグメントのシフトにより達成されるときには、更新領域ＵＰＤの利用可能性は、現在のセグメントについてのブロックマッチングや動きベクトルの決定が進行している間に、この次列の画素ブロックの更新領域への転送を許可するであろう。

使用のための例えばビデオ走査レート変換における可能な動き推定の基本設計概念である図４における簡略化されたブロック図において、動き推定は、動きベクトルが決定されるべきであることに関する画像セグメントのグループを備える画像Ａがブロックマッチ部２へと転送されることから、画像メモリ１内に格納された１対の画像ＡおよびＢ上で行なわれる。ブロックマッチ部２においては、画像Ａ内の所定の画像ブロックにマッチングする画像Ｂの画像セグメントグループまたはブロックのための探索は、局部的なバッファまたは探索領域メモリ３からブロックマッチ部２へと転送される探索ウィンドウＳの適用により、また、ベクトルメモリ４からブロックマッチ部２に転送されるセットになった候補動きベクトルＣＶの使用により、行なわれる。

バッファメモリ３に一時的に格納された探索領域Ｓは、画像Ｂのデータのサブセットを含んでいる。

ベクトルメモリ４は、先行する画像のセグメントグループまたはブロックのために決定された全ての動きベクトルを格納し、画像Ａ内で探索されるべき画像ブロックのために、セットになった候補動きベクトルは、具体的には現在の画像における先行する画像または隣接する画像ブロックにおける同じ配置を伴う画像ブロック様に決定された動きベクトルを備えていても良い。

探索領域またはウィンドウＳは、実際の画素ブロックＢＤ−Ｂを囲んで画定された多数の画素ブロックを画像メモリ１から局部的なバッファメモリ３へと転送することにより行なわれ、局部的なバッファメモリ内には、探索およびブロックマッチングプロセスの持続時間のために格納され続けている。この発明によれば、実際の画像セグメントは画像内の同一の水平方向の列に配置された画素ブロックで構成されているので、探索領域Ｓのための画素ブロックの転送は、選択手段５によりメモリ１へとアクセスする簡単な水平ラインにより達成される。ブロックマッチ部２内で処理されるブロックマッチングプロセスは、この技術分野で公知であり、候補ベクトルＣＶの適用により一部分に集められたブロックの比較やマッチングを含んでいる。この処理を通して、マッチＭが各々の候補ベクトルのために見つけられる。最上のマッチは、ベクトルセレクタ６において選択されて、対応する最上のベクトルＢＶは将来の動きベクトルの決定の際に用いるためにベクトルメモリ４内に格納される。

実際の画像セグメント用のブロックマッチングの進展と同時に、更新領域ＵＰ−Ｂへの包含のために、画像メモリ１から探索領域メモリ３への対応する画素ブロックの転送により次のセグメント処理のための準備がなされる。

この技術分野における熟練者にとって、完全な動き推定装置が画像データを画像メモリ１へロードさせるための手段と、更なる処理に用いられるべきベクトルをベクトルメモリ４から読み出す手段とを備えることは明らかなことであろう。

上述した実施形態はこの発明を限定するよりもむしろ明らかにするものであること、およびこの技術分野の熟練者達が特許請求の範囲に記載された請求項の範囲から逸脱することなしに多くの選択的な実施形態を設計することができるであろうことは注目されるべきである。単語「備える」は、請求項にリストされた以上の他の構成要素やステップの存在を排除するものではない。この発明は、幾つかの個別の構成要素を備えるハードウェアの手段により、また、適切にプログラムされたコンピュータの手段により、実施することができる。幾つかの手段を列挙している装置の請求項において、これらの手段の幾つかは、ハードウェアの１つおよび同一の項目により実施化することができる。特定の手段が相互に異なる従属請求項に引用されているという単なる事実は、これらの手段の結合が長所に対して用いられることができることを示すものではない。

要するに、画像メモリからのデータ検索のため、特にデジタルビデオ画像における動きの補償および／または推定のため、ウィンドウＳは実際の画像セグメント（ＢＤ−Ｂ）用に画定され、このウィンドウは実際の画像セグメントおよび１つまたはそれ以上の隣接する画像セグメントを含んでいる。このウィンドウの幅は、画像の幅よりも小さい。画像について進展しているときに、ウィンドウ（Ｓ）は、垂直走査方向（ＳＣ）について１つのセグメントから次のセグメントへとシフトされる。

現在のセグメントの処理と同時に、次の画像セグメントの処理のために準備するウィンドウ（Ｓ）に更新領域（ＵＰ−Ｂ）が付加されても良い。

動き推定の使用による画像予測の簡単な例を示す説明図である。 従来技術のブロックマッチング技術による動きベクトルの決定を示す説明図である。 本発明の一実施形態に係る垂直方向の探索領域の走査に伴う動きベクトルの決定を示す説明図である。 本発明に係る推定装置を示す簡略なブロック図である。

Claims (10)

1. 動き推定を行うため、ブロックマッチングにより画像メモリから第１画像の画像セグメントと一致する第２画像の画像データを探索する方法であって、前記第２画像内の探索領域は、前記第２画像の幅よりも幅が狭く前記第２画像の高さよりも高さが低い所定のウィンドウとして規定され、前記第１画像の前記画像セグメントは、同一の水平方向の列内に配置された複数の連続する画素ブロックから構成され、
   前記画像メモリから前記第２画像内の前記探索領域の前記画像データをバッファメモリに格納するステップと、
   前記各画素ブロックについて動きベクトルを決定するために、前記第１画像の前記画像セグメント内の前記複数の画素ブロックのそれぞれを前記バッファメモリに格納された前記画像データから探索するステップと、
   前記第１画像の次のセグメントの処理のため、前記ウィンドウの垂直方向の次の水平の列の前記第２画像の画像データを、前記画像メモリから前記バッファメモリに転送することによって前記バッファメモリを更新し、これによって前記ウィンドウの位置を垂直の探索方向へシフトさせるステップと、
   を含む方法。
2. 前記ウィンドウのサイズは前記画像のサイズから独立していると共に、前記バッファメモリは前記画像の幅から独立したサイズを有している請求項１に記載の方法。
3. 全体の画像は前記垂直方向でカラム毎に走査されている請求項１に記載の方法。
4. 前記画像セグメントは１つの画素ブロックが８×８画素で１６個の画素ブロックよりなり、前記ウィンドウは１つの画素ブロックが８×８画素で３２個の画素ブロックよりなる請求項１に記載の方法。
5. デジタルビデオ信号内の雑音を低減させるフィルタリングのために用いられることを特徴とする請求項１に記載の方法。
6. ビデオフォーマット変換のために内挿に用いられることを特徴とする請求項１に記載の方法。
7. インターレースのビデオ信号の非飛び越し操作のために用いられることを特徴とする請求項１に記載の方法。
8. 動き推定を行うため、ブロックマッチングにより第１画像の画像セグメントと一致する第２画像の画像データを探索する探索装置であって、前記第２画像内の探索領域は、前記第２画像の幅よりも幅が狭く前記第２画像の高さよりも高さが低い所定のウィンドウとして規定され、前記第１画像の前記画像セグメントは、同一の水平方向の列内に配置された複数の連続する画素ブロックから構成され、
   前記画像データを格納する画像メモリと、
   前記画像メモリから前記ウィンドウの画像データを格納可能なバッファメモリと、
   前記各画素ブロックについて動きベクトルを決定するために、前記第１画像の前記画像セグメント内の前記複数の画素ブロックのそれぞれを前記バッファメモリに格納された前記画像データから探索する探索手段と、
   前記第１画像の次のセグメントの処理のため、前記ウィンドウの垂直方向の次の水平の列の前記第２画像の画像データを、前記画像メモリから前記バッファメモリに転送することによって前記バッファメモリを更新し、これによって、前記ウィンドウの位置を垂直の探索方向にシフトさせる手段と、
   を備える装置。
9. 前記バッファメモリの格納容量は現在のウィンドウおよび前記垂直方向の次の水平の列の画素を含む更新領域を含むように定義される請求項８に記載の装置。
10. 画像を符号化し、または、再生する装置であって、
    ビデオ画像を得るための入力ユニットと、
    画像の画像セグメントに属するデータが画像メモリから検索されることによりデータを検索するための請求項８に記載の装置と
    を備える装置。

Images