JP3610255B2 - 画像アライメント検出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル・ビデオの試験及び測定に関し、特に、２つの画像を合わせるために、画像のアライメント（位置合わせ）状態を検出する方法に関する。
【０００２】
【従来の技術】
ビデオ信号の従来の測定は、従来の波形モニタ及びベクトルスコープを用いてアナログ及び広帯域領域で行われていた。シリアル・デジタル・フォーマット及び圧縮を用いて、ビデオ信号がデジタル領域に移行すると、従来の典型的なビデオ測定では、デジタル信号をアナログの広帯域領域に変換して行われた。しかし、特に、圧縮されたビデオ信号においては、ビデオ信号の測定に付加的な条件があった。これは、圧縮／逆圧縮（伸張）技術の重要な観点が、画像品質の劣化の範囲を制御されたレベルに保証することだからである。すなわち、逆圧縮されたビデオ信号が、圧縮前のビデオ信号に関連して期待された表示品質を示さなければならないためである。
【０００３】
アメリカ合衆国オレゴン州ウィルソンビルのテクトロニクスが製造しているＰＱＡ２００型画像品質分析システムは、圧縮されたビデオの品質を自動的に測定するプログラマブル測定機器であり、例えば、ボジダー・ジェンコ等のアメリカ合衆国特許第５８１８５２０号（特開平９−２３３５０２号に対応）などに記載されている。このＰＱＡ２００型測定機器は、ビデオ信号のアクティブ・ビデオ部分（動きのあるビデオ部分）にストライプ及び登録用マークを付加するので、ビデオ信号を圧縮し、逆圧縮した場合に、受信し逆圧縮したビデオ信号内の画像を、圧縮する前のビデオ信号内の対応画像とアライメント（位置合わせ）することができる。このアライメント処理の精度は、画像品質を最高精度に求めるためには重要である。
【０００４】
【発明が解決しようとする課題】
よって、入力画像と基準画像とを位置合わせして、画像品質を最高精度で測定するために、画像のアライメント状態を高精度で検出する技術が望まれている。
【０００５】
したがって、本発明は、２つの対応する画像を高精度に位置合わせるための画像アライメント検出方法を提供する。
【０００６】
【課題を解決するための手段】
本発明によれば、画像及び基準画像のアライメントをとるのに必要な画像シフトの値を検出する方法は、４段階の処理であり、最初の２段階（第１及び第２段階）において受信画像内のアライメント（位置合わせ）パターンを探すが、このとき、そのアライメント・パターンに対応する基準画像との相互相関を利用する。これにより、単位ピクセル（完全なピクセル）に対して＋／−０．５ピクセルだけシフトした状態を検出する。受信したアライメント・パターンから選択したライン（走査線）を基準画像と共に用いて、次の２段階（第３及び第４段階）で、部分ピクセルのシフト（１ピクセル未満のシフト）を行う。これらの段階の最初（第３段階）では、部分ピクセル・シフトの最初の値を求め、この最初の値に応じて画像をシフトし、最終段階（第４段階）では、反復処理により正確な部分ピクセル・シフト値を求める。この反復処理では、相互相関を用いてピクセル単位のシフト値を再度決定し、以前の測定に基づいて画像シフトと部分ピクセル・シフト値の測定を連続して行うことで、部分ピクセル・シフト値をより正確なものにしていく。最終的なピクセル・シフト値は、受信した画像と基準画像との間のアライメント誤差を表すもので、ピクセル単位のシフトの値と、部分ピクセルのシフトの値との和となる。
【０００７】
本発明のその他の目的、利点及び新規な特徴は、添付図を参照した以下の説明から明らかになろう。
【０００８】
【発明の実施の形態】
上述のＰＱＡ２００型測定機器においては、受信したビデオ・シーケンスを元（オリジナル）のビデオ・シーケンスと比較して、画像品質を求める、即ち、オリジナル・ビデオ・シーケンスの処理及び伝送により、受信したビデオ・シーケンスがオリジナル・ビデオ・シーケンスからどの程度劣化したかを求めている。この際、受信したビデオ・シーケンスの画像と、オリジナル・ビデオ・シーケンスの画像とを正確に位置合わせする必要がある。本発明におけるアライメント（位置合わせ）とは、上述のアメリカ合衆国特許に記載したように、挿入されたアライメント検出パターンを有する画像に基づいている。この検出を画像に対して行うには、画像を水平にシフトすると共に、垂直にもシフトして、これら水平及び垂直の両方向に対するシフトを非常な高精度で検出する。以下の説明では、説明を容易にするため、水平方向のシフトの検出についてのみ説明するが、垂直方向のシフト検出も同じ原理である。
【０００９】
本発明の高精度画像アライメント検出方法、即ち、入力画像及び基準画像のアライメントをとるのに必要な画像シフトの値を求める方法は、多数の段階を含んでおり、最終段階の連続反復アルゴリズムにより、２つの画像を位置合わせするのに必要なシフトの値の内、部分ピクセル（１ピクセル未満）のシフトの値を非常に高精度に検出する。この検出には、基準画像（オリジナル・ビデオ・シーケンスの画像、又はこのオリジナル・ビデオ・シーケンスに正確に対応する画像）又は、その一部、例えば、その単一のライン（走査線）にアクセスする必要がある。例えば、既知のアライメント・パターンがオリジナル・ビデオ・シーケンスに挿入されていれば、挿入されたアライメント・パターンに正確に対応した基準画像を測定機器にて発生する。かかるアライメント・パターンは、黒ブロック及び白ブロックが交互になる高さ方向に７本のライン（走査線）であり、各ブロックの幅は、水平方向にエッジからエッジまでが１４ピクセルである。このアライメント・パターンを図２に示す。これらエッジは、図３、図４及び図５に示すように、ナイキストの条件を満たすように滑らかになっている。なお、図３は、アライメント・パターンのラインの波形を示す図であり、図４は、アライメント・パターンの立ち上がりエッジにおけるデータ点を示す図であり、図５は、アライメント・パターンの立ち下がりエッジにおけるデータ点を示す図である。このパターンを振幅変調して、黒ブロック及び白ブロックの値を、各ブロックにおいて、このパターンのラインの一端から他端にわたって、細かく増加させてもよい。
【００１０】
最初の２段階では、受信した画像内で、アライメント・パターンを探すが、第１段階のシフト検出は、大雑把なピクセルの検出段階である。画像を広い範囲にわたって画像をシフトすることにより、画像の比較的大きな部分で、アライメント・パターンを検索する。アライメント・パターンが現れると期待される画像の領域にわたって、入力画像と基準画像との相互相関を探知する。この相互相関の探知は、上述の期待画像領域から開始するが、１ライン毎に、又は３ライン毎に飛ばして、受信した画像内の位置決めパターンのラインの１つを検出してもよい。最良の一致（マッチ）が、相互相関の最大和として現れる。いくつかの点が同じ結果を示せば、その点の最小のライン番号（スクリーン上で最とも高い位置のライン番号）を用いる。一致が全くなければ、これは、画像がないか、又は、画像にアライメント・パターンがないことを意味する。この場合、検出処理は終了する。
【００１１】
次の段階（第２段階）は、中精度のピクセル検出であり、基本的には大雑把なピクセル検出と同じである。しかし、相違点は、（１）検索する領域が狭いことと、（２）相互相関の探知結果を画像の広い部分から、例えば、アライメント・パターンの総てのラインにわたって求めることである。これは、大雑把なピクセル検出段階で一致が見つかったときにのみ実行される。最良の一致は、相互相関の最大和として現れる。この結果は、正確なライン番号を検出するのに充分に精密であり、＋／−０．５ピクセルの精度で水平ピクセル位置を検出するのに充分である。アライメント・パターンの反復の初めに対応するアライメント・パターンの第１ライン内のピクセルは、この方法で入力画像から探す。
【００１２】
次の２段階（第３及び第４段階）では、受信した画像（入力画像）における基準パターンと基準画像における基準パターンとを一致させるのに必要なシフト量の内、部分ピクセル・シフト値（１ピクセル未満のシフト値）を正確に検出する。これら段階の第１段階（つまり、第３段階）は、部分ピクセルの検出（１ピクセル未満での検出）である。図１は、本発明による高精度画像アライメント検出方法を説明する流れ図である。探索段階で求めた相互相関により、ピクセル単位のシフト（完全なピクセルのシフト）を行う（ステップ５２）。このピクセル単位のシフトにより、アライメント・パターンの目立つ特徴部分、例えば、立ち上がりエッジ及び／又は立ち下がりエッジの中心になっている画像部分のデータを探す。図４及び図５に示すように、アライメント・パターン内のアライメント・シーケンスのエッジを表す傾斜から、部分ピクセルのシフトを検出する情報を計算してもよい。大雑把に言えば、アライメント・パターンの総てのラインを測定に用いる必要はなく、アライメント・パターンの多数ラインの内の内側のラインのみを用いてもよい。選択したラインは、総てであっても、その内のいくつかであっても、画像レジスタ内に保持（蓄積）される。バッファ・レジスタは、アライメント・ブロックの立ち上がりエッジ及び立ち下がりエッジの両方を囲むピクセルのグループの値を蓄積するが、図４及び図５では、説明のために１４個のピクセルが示されている。各エッジにおいて、図示の如く０〜１３の各ピクセル位置用のバッファ・レジスタ内にピクセル値を累積する。理論的には、図４及び図５に示すように、正確な位置合わせには、バッファ内のピクセル６及び７の間の中間の値を求めなければならない。立ち上がりエッジに対するシフト量は、バッファ内の１４個の値の平均から、ピクセル６の値を引いたものを、ピクセル７及び６の間の差で除算した値に等しい。すなわち、［立ち上がりエッジのシフト量］＝（［平均値］−［ピクセル６の値］）／（［ピクセル７の値］−［ピクセル６の値］）となる。同様に、立ち下がりエッジに対するシフト量は、バッファ内の１４個の値の平均から、ピクセル７の値を引いたものを、ピクセル６及び７の間の差で除算した値に等しい。すなわち、［立ち下がりエッジのシフト量］＝（［平均値］−［ピクセル７の値］）／（［ピクセル６の値］−［ピクセル７の値］）となる。画像の総合シフト量は、立ち上がりエッジのシフト量と、立ち下がりエッジのシフト量の補数との和を２で除算した値に等しい。すなわち、［シフト量］＝｛［立ち上がりエッジのシフト量］＋（１−［立ち下がりエッジのシフト量］）｝／２となる。部分ピクセル・シフトの値は、シフト値と０．５との差に等しく、［部分ピクセル・シフト値］＝［シフト量］−０．５となる。
【００１３】
この部分ピクセル値の検出段階（第３段階）では、低品質の画像においてさえ、大雑把であるが、２つの不確実性がある。すなわち、（１）第２段階までの相互相関が、＋／−０．５ピクセル・シフトの点で問題を有し、完全に失敗すること、即ち、ピクセル単位のシフトでは、シフトの単位が１ピクセルなので、シフト値の１ピクセルより小さい部分が＋／−０．５ピクセル前後の場合に、この部分によるシフト値を０ピクセルとするか、＋／−１ピクセルとするかで、ピクセル１個分まるまる検出を誤るかもしれないことと、（２）検出精度が、＋／−０．１ピクセル・シフト未満の範囲においては高いが、シフト値が大きいほど下がること、例えば、＋／−０．５のシフト値において、実際には＋／−０．３３であるかもしれないことである。
【００１４】
これら潜在的な不確実性により、特に、相互相関の検知を完全に失敗する可能性があるので、本発明は、連続反復を用いた超細かな部分ピクセルの検出段階を付加して、検出精度を上げている。図１において、部分ピクセル・シフトに対する第１（最初の）測定値（ステップ５４、第３段階）を、＋／−０．３３などのしきい値ｔと比較する（ステップ５６）。しきい値を超えていれば（ステップ５６でイエスならば）、検出精度を高くするため、部分ピクセル・シフト値の絶対値を小さくする方向に画像を０．５ピクセルだけそれぞれシフトする（ステップ５８）。そうでなければ（ノーならば）、１．５の如く、１よりも大きいオプションの乗算補正係数と部分ピクセル・シフト値とを乗算して得た値だけ、画像をシフトする（ステップ６０）。オプションの乗算補正係数を用いて、０．５ピクセルの正確なシフトに迅速に収束させることにより、必要な反復回数を減らしている。ステップ５８及び６０は、ステップ６２に進む。
【００１５】
線形フィルタ又は（ｓｉｎＸ）／Ｘフィルタなどの適切なフィルタを用いて、図６に示すように、補間アルゴリズムを用いた画像のシフトを行う。各部分ピクセル・シフト値に対して、例えば、適切なルックアップ・テーブルをアクセスして、補間用のフィルタ係数を与えてもよい。代わりに、部分ピクセル・シフトの各値に対してフィルタ係数を計算してもよい。画像レジスタからの画像を補間アルゴリズムによってシフトし、シフトした画像として、シフト後用レジスタ（シフトした後の画像を蓄積するレジスタ）に蓄積する。このシフト後用レジスタ内の画像に対して、測定を行う。
【００１６】
シフト後用レジスタ内の画像に対して他の相互相関を求め、ピクセル単位のシフト値を再度求める（ステップ６２）。ピクセル単位のシフトに応じて抽出したデータ値により、シフトした画像に対して他の測定を実行する（ステップ６４）。例えば、特定の反復回数、又は特定のしきい値未満の測定の範囲などの如き特定の終了条件が満たされなければ（即ち、判断ステップ６６でノーならば）、前の測定の和を別のオプション補正係数で乗算した値だけ、画像レジスタから画像をシフトさせて、シフト後用レジスタに蓄積する（ステップ６８）。その後、ステップ６２又は６４に戻り、相互相関及び測定を実行して、終了条件に一致するまで（即ち、判断ステップ６６がイエスになるまで）、この処理を繰り返す。ピクセル単位のシフトが変化しないならば、この反復ループにおいて、相互相関のステップ６２を省いてもよい。画像の最終のシフト値は、部分ピクセル・シフトの総ての測定値の和（ステップ７０）に、ピクセル単位のシフトを加算したものである。
【００１７】
例として、画像が３．７ピクセルだけシフトされる場合、最初の３段階で、＋４ピクセルのシフト（ピクセル単位のシフト）から、０．３ピクセル・シフト（部分ピクセル・シフト）を引いた値を発生すべきである。しかし、第３段階の実際の測定は、−０．２２の部分ピクセル・シフトの値を実際には検出するかもしれない。そこで、最終の超微細の部分ピクセル検出（第４段階）は、−０．２２ピクセルに対して行われる。各反復において、初めに蓄積された受信画像に対してシフトを行う、即ち、画像レジスタから補間を介してシフト後用レジスタに入れる。すなわち、画像の既にシフトしたラインは、再度、シフトされない。ピクセル単位のシフトは、上述の如く、相互相関により決まり、部分ピクセル・シフトは、上述の如く、反復処理により決まる。例えば、先の−０．２２ピクセルの部分ピクセル・シフトは、測定で得られた０．２８のシフト量を上述の式［部分ピクセル・シフト値］＝［シフト量］−０．５に適用した結果である。画像は、−０．２２だけシフトされ、測定が再度行われる。その結果の部分ピクセル・シフト値は、−０．０６であり、総合して総合部分ピクセル・シフトが−０．２８となる。画像は、−０．２８だけシフトされ、測定が再度行われる。今度の部分ピクセル・シフト値は、−０．０１７である。これが充分な精度ならば、最終の部分ピクセル・シフトの総合は−０．２９７であるので、高精度画像シフト値（即ち、入力画像と基準画像の基準部分を位置合わせするために必要なシフト量）が、＋４のピクセル単位シフト値と−０．２９７の部分ピクセル・シフト値を合計して、＋３．７０３として求まる。
【００１８】
オプションの乗算係数は、各反復において異なっているが、好ましくは、１．１及び１．５の間の範囲である。このオプションの乗算係数を上述の例で用いた場合、例えば、−０．２２の値が１．４５の乗算係数で補正されて、−０．３１９になる。画像レジスタからの画像を−０．３１９だけシフトして、シフト後用レジスタに入れ、他の測定を行う。新たな測定が＋０．０１５ならば、その測定結果を１．３５の如き別の補正係数と乗算して、＋０．０２０２５とする。この値を前に補正した測定結果に加算して、新たなシフト値−０．２９８７５を発生する。他のシフト及び測定により、−０．００２５の値を発生する。終了条件を満たせば、測定結果を前の和に加算して、最終部分ピクセル・シフト値−０．３０１２５を発生し、総合ピクセル・シフトが３．６９８７５になる。
【００１９】
特定パターンを説明のために用いたが、種々の周波数パターン又は画像自体から得たパターンなどの任意の既知のパターンを用いてもよい。エッジの１つのデータのみを用いて部分ピクセル・シフトの測定を行ったが、上述の如く、アライメント・パターンを変更してもよいという事実により、又は、対向するエッジの非対称な処理により、これら両方のエッジからのデータを用いることは、高精度部分ピクセル・シフトにおいて、一層正確な結果が得られる。
【００２０】
【発明の効果】
よって、本発明は、アライメント・パターンに対応する基準画像に対する入力画像（受信した画像）との相互相関を用いて、入力画像内からアライメント・パターンを探し、＋／−０．５ピクセル以内でのピクセル単位のシフトを行い、反復処理により、部分ピクセルのシフト値（１ピクセル未満のシフト値）を正確に検出することによって、高精度の画像アライメント検出を行える。
【図面の簡単な説明】
【図１】本発明による高精度画像アライメント検出方法を説明する流れ図である。
【図２】アライメント・パターンを示す図である。
【図３】アライメント・パターンのラインの波形を示す図である。
【図４】アライメント・パターンの立ち上がりエッジにおけるデータ点を示す図である。
【図５】アライメント・パターンの立ち下がりエッジにおけるデータ点を示す図である。
【図６】本発明による高精度画像アライメント検出方法における補間を用いて画像をシフトする際の説明図である。
【符号の説明】
５２〜７０ ステップ

Claims (2)

1. 画像と基準画像を合わせるための画像アライメント検出方法であって、
   上記画像内の複数のラインから成るアライメント・パターンの位置を、該アライメント・パターンに対応する上記基準画像との相互相関によって特定するステップと、
   上記基準画像と位置を特定した上記画像の上記アライメント・パターンとの相互相関から求めたピクセル単位シフト値で定めた上記画像のデータ点を用いて上記画像の正確な部分ピクセル・シフト値を反復して検出するステップであって、上記画像の上記データ点を測定して最初の部分ピクセル・シフト値を求め、特定の終了条件により決まる正確な上記部分ピクセル・シフト値に達するまで、以前の検出で得た上記部分ピクセル・シフト値の総和でシフトした上記データ点に関して上記部分ピクセル・シフト値を反復して検出する検出ステップとを具える画像アライメント検出方法。
2. 上記検出ステップは、
   上記画像の上記アライメント・パターンの選択したラインと上記基準画像の相互相関から上記ピクセル単位シフト値を決めるステップと、
   上記ピクセル単位シフト値に応じて選択した上記画像の上記アライメント・パターンの特定部分の中央にある連続する上記データ点を測定することにより、上記最初の部分ピクセル・シフト値を測定する測定ステップと、
   上記最初の部分ピクセル・シフト値に応じて上記アライメント・パターンの選択したラインをシフトするシフト・ステップと、
   特定の終了条件に達するまで上記測定ステップと上記シフト・ステップを反復し、反復毎に得る上記部分ピクセル・シフト値の総和を正確な上記部分ピクセル・シフト値にする反復ステップであって、反復する上記シフト・ステップでは上記最初の部分ピクセル・シフト値を始めとして、以前に得られた上記部分ピクセル・シフト値の総和に応じてシフトを行う反復ステップと
   を具える請求項１記載の画像アライメント検出方法。

Images