JP4904502B2

JP4904502B2 - ビデオ・フレーム測定装置及び方法

Info

Publication number: JP4904502B2
Application number: JP2007303155A
Authority: JP
Inventors: ケビン・エム・ファーガソン
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2006-11-22
Filing date: 2007-11-22
Publication date: 2012-03-28
Anticipated expiration: 2027-11-22
Also published as: US20080152257A1; US7920758B2; JP2008131658A

Description

本発明は、一般に、ビデオ技術に関し、特に、ビデオ空間のスケール、オフセット及びクロッピングについてビデオ・フレームを測定する装置及び方法に関する。

ビデオ・フォーマット及びデバイスの拡張に関連し、画像サイズの変更、レジストレーション及びクロッピング（cropping）が頻繁に生じる。再度の目的を果たすためにビデオを再フォーマットすることは、より一般的になってきている。６０１ＳＤビデオ信号を１ライン当たり７２０サンプルとして７０４ＡＴＳＣデジタル放送信号として送信するには、再フォーマットが必要となる。同様に、図１（従来技術）に示すような７２０ＳＤビデオ信号を図２（従来技術）に示すような１９２０ＨＤビデオ信号に変換することは、ＳＤ（標準解像度）及びＨＤ（高解像度）の同時放送の結果であるが、ここでも再フォーマットが必要となる。放送オプションを変更するには再フォーマットの他に、ＨＤビデオを移動電話又はＰＤＡ（Personal Data Assistance）用のＱＣＩＦ（Quarter Common Intermediate Format）に変換するように、移動電話又はＰＤＡで用いるビデオの変換でも、再フォーマットを必要とする。この再フォーマットでは、画像サイズの変更、レジストレーションと言われる空間的シフト、クロッピングと言われる画像境界付近における画像の削除も必要となる。かかる再フォーマットは、画像を新たなアスペクト比、例えば、１６：９対４：３などに合わせる必要がある。再フォーマットは、例えば、レターボックス画像（画像の縦横比を調整せずに放送する場合の画像）の場合に、画像の側部における剪断（打ち切り）又はクロッピングや、側部又は画像の上又は下に空白の境界セグメントを追加することも必要である。この再フォーマットには、製造業者、放送局、編集者、その他のビデオ専門家及びサービス・プロバイダにとっての問題がある。処理装置を不正確なモードに設定するかもしれず、機能不全になるかもしれず、また、上述の例のように７２０ピクセルから７０４ピクセルのように標準が変化するかもしれない。

ビデオ出力の空間歪、スケール、オフセット又はシフト、及びクロッピングの測定方法を実行できる測定機器は、有用である。さらに、完全基準測定用の試験シーケンス及び基準シーケンスの対の間の空間的アライメントから画像品質測定をできる。

従来から上述のことが、少なくとも部分的には、元のビデオ画像に重ねた独自のストライプを用いて、行われてきた。しかし、このストライプは、余分なものであり、試験及び基準の両方のビデオ・シーケンスがストライプを持つ必要がある。このためには、ビデオを圧縮する前、又は伝送又は蓄積に必要な他の処理の前に、ストライプを追加する必要がある。これは、いくつかのアプリケーションにおいては、測定が必要になる度にストライプを追加することが実際的ではないし望ましくないので、自動画質測定アプリケーションに対して制限を加えている。

民生電子ビデオ出力の検査のような自動ビデオ測定（ＶＭ：video measurement）アプリケーションのために空間歪測定の自動方法は、有用である。自動画質（ＰＱ：picture quality）測定に関連して用いる自動空間アライメントの方法も有用である。デジタル圧縮アーティファクト、ランダム・ノイズ、量子化エラー、非直線歪、線形歪、干渉が存在しても、この方法が影響を受けにくい場合、有用である。ビデオ信号に追加されたストライプ、アスペクト比、ＤＵＴ（被測定装置）ピクセル・クロック、適度な水平又は垂直スケール、オフセット又はクロッピングの他の指針を含むビデオ内容の従来の知識がなくても、操作できる方法は有用である。この方法で精度と計算の両方の効率がよいと、この方法の実際的な有用性が改善される。計算効率は、所定の精度を得るのに必要な処理量に関連する。精度の所望レベルに達するのに必要な処理が少ないほど、計算効率が良くなる。

特公平７−２８４０７２号公報米国特許第６７５１３６０号明細書

そこで、０．１未満から１０．０よりも大きい値までの広い範囲のスケール比にわって、また、０．６５未満から１．３５よりも大きい値までの大幅なクロッピングができると共に、従来技術の他の欠点を解決して、空間歪測定を正確且つ効率的な計算で行える方法が望まれている。可能な空間歪測定は、空間スケール、シフトと共に、水平及び垂直の両方の次元でのクロッピングを含んでいる。また、この方法が少なくとも部分的で、全体的な自動化でなければ、有用である。

よって、本発明は、ビデオ・フレームを測定する測定装置であって；試験ビデオ・フレーム及び基準ビデオ・フレームを受け、フレームのそのままのアライメントを実行するアライメント・モジュールと；そのままのアライメントの実行が続く試験ビデオ・フレーム及び基準ビデオ・フレームを受け、代表試験ライン及び代表基準ラインを提供する代表ライン・モジュールと；これら代表試験ライン及び代表基準ラインに基づいてローカル・ピアソン相互相関係数（LPCCC）画像を生成するローカル・ピアソン相互相関係数モジュールと；ローカル・ピアソン相互相関係数画像にハフ変換を実行する変換モジュールと；ローカル・ピアソン相互相関係数画像のハフ変換から最高輝度のピクセルを識別して、リファインしたアライメント測定結果を求めるピクセル輝度モジュールと；そのままのアライメント測定結果及びリファインしたアライメント測定結果を集め、更なる分析のためにこれら集めた測定結果を蓄積する集合モジュールとを具えている。
また、本発明は、ビデオ・フレームを測定する方法であって；試験ビデオ・フレーム及び基準ビデオ・フレームのそのままのアライメントを実行し；そのままのアライメントの実行が続く試験ビデオ・フレーム及び上記基準ビデオ・フレームの各々に対して代表試験ライン及び代表基準ラインを提供し；これら代表試験ライン及び代表基準ラインに基づいてローカル・ピアソン相互相関係数（LPCCC）画像を生成し；ローカル・ピアソン相互相関係数画像にハフ変換を実行し；ローカル・ピアソン相互相関係数画像のハフ変換から最高輝度のピクセルを識別して、リファインしたアライメント測定結果を求め；そのままのアライメント測定結果及びリファインしたアライメント測定結果を集め、更なる分析のためにこれら集めた測定結果を蓄積することを特徴とする。

本発明は、空間歪を測定する方法及び装置を提供する。境界を測定し除去し、アクティブな試験画像、アクティブな基準画像又はこれらの両方を再スケール調整（再度の大きさの調整）し、これら画像が同じサイズになる。一実施例においては、２つの画像の大きい方のスケールを小さくする。別の実施例においては、小さい方の画像のスケールを大きくする。

基準代表ライン（基準ＲＬ）及び試験代表ライン（TestRL）を提供する各画像から、代表ラインを求めるか、又は選択する。方法の実施例において、最大分散ライン方法（maximum variance line method）を用いて、TestRLを選択する。別の実施例では、ライン平均化方法がエッジを有するライン結果を求めるという条件で、このライン平均化方法を用いてTestRLを求める。

異なる水平シフトにて基準ＲＬ及びTestRLの両方から、局部的ピアソン相互相関係数（ＬＰＣＣＣ：Local Pearson' Cross-Correlation Coefficient）画像を作成する。

ＬＰＣＣＣ画像を横切る最も高い平均輝度ラインを見つけ、最高輝度のハフ変換画像ピクセルの座標を見つける。

ハフ変換シータ及びＲを空間スケール及びオフセットに変換する。

垂直次元用にリファインした（洗練した）スケール及びオフセット値を計算する。

元のまま及びリファインしたオフセット値及びスケール値を組合せて、総合的な水平及び垂直スケール及びオフセット値を発生する。

これら空間測定を装置製造業者、放送局、編集者、その他のビデオ専門及びサービス・プロバイダに提供できるし、追加の画質測定もできる。これにより、エンド・ユーザに提供するビデオの品質を測定し、モニタし、場合によっては改善できる。

種々のアプローチを用いて、空間歪の測定をできる。いくつかの方法は、１．０ではないスケール比に対して強固ではない。これらの方法は、本願出願人のテクトロニクス社製ＰＱＡ２００型に用いている独自のストライプの如きビデオ内容の知識をしばしば必要とする。別のいくつかの方法は、従来の知識を必要としない。なお、これら従来知識は、シフトを測定するためにＦＦＴ係数から総計位相情報（ＡＮＳＩＴ．１．８０１．０３−１９９６．５．４「アクティブ・ビデオ・シフト」）を用いたり、空間の代わりに時間に１Ｄ（１次元）を適用する（Jiujuai Luの米国特許第６７５１３６０号「高速ビデオ時間ミスアライメントの推定」）が、正規化差画像の分散（ＡＮＳＩＴ１．８０１．０３−２００３＿６．１「空間レジストレーション」）を利用したりする。ＦＦＴ方法を用いて、２Ｄ（２次元）相互相関の計算効率を改善できる（米国特許第６７５１３６０号）が、空間次元のスケール問題が周波数次元のスケール問題となるが、これが１．０のスケール比に制限する。

他の方法は、１．０以外のスケール比に対して強固であるが、実際にはスケールを測定しないで、これらを認識アルゴリズムの一部として用いる。

別の方法では、１．０以外のスケール比に対して強固であり、スケール測定を行うが、そのようにするには非常に粗雑で不正確な方法を用いているか、又は、正確に測定するが、コストが複雑で、高価で、計算方法が遅く、計算が効率的でない。これらの別の方法は、例えば、個別のブロックの間での２次元相互相関を含んでいるか、又は、試験画像対基準画像から得た小さな画像セグメントを含んでいる。この方法は、一般に、相関が貧弱になる傾向があるので、１．０から離れたスケールに対して全く正確でないか、又は、水平及び垂直シフト及びスケールの総ての組合せについて総ての領域を検索するので、複雑さや計算コストが高くなる。ここで用いる計算コストとは、長い処理時間や非常に大きな処理能力を言う。なお、これは、経済的には高価になるので、多くのアプリケーションに適さない。

本発明の実施例を図３及び図４に示す。図３及び図４に示す種々のブロック又はモジュールは、汎用プロセッサ上で実行されるソフトウェアにより実現できる。その代わりに、これらブロック又はモジュールは、専用回路及びソフトウェアの組合せや、完全な組み込みコード回路として実現してもよい。これら回路は、ＦＰＧＡ、ＡＳＩＣ、ＤＳＰ、パーソナル・コンピュータに用いる如き汎用プロセッサ、又はこれら及び他の要素との組合せでもよい。

図３に示すように、試験ビデオ・フレーム１０及び基準ビデオ・フレーム１２をそのままの（crude）アライメント測定モジュール１４に入力する。このモジュール１４は、ブラインドのコーナー対コーナーのアライメント（位置合わせ）を実行する。境界除去モジュール１６は、試験ビデオ・フレーム１０及び基準ビデオ・フレーム１２を受け、これらフレームの一方又は両方からブランキングを測定し、除去する。試験（画像）ビデオ・フレーム及び基準（画像）ビデオ・フレームの縁の位置を求める。本発明の実施例において、この動作を行うには、画像ビデオ・フレームのアクティブ部分ではなく、画像ビデオ・フレームの右、左、上及び下でどの位のピクセルがブランキングされているか、又は境界のピクセルであるかを判断する。アクティブ部分は、典型的には、ビデオ・シーケンスにて時間経過に伴って変化する画像又はフレームの部分であり、典型的には、観察者が関心のあるビデオ・シーケンスの部分に対応する。

本発明の実施例において、再スケール・モジュール１８は、試験ビデオ・フレーム及び基準ビデオ・フレームを受けて、これらを同じサイズに再スケール調整（再度の大きさの調整）する。第１実施例においては、オリジナルの試験ビデオ・フレーム及びオリジナルの基準ビデオ・フレームに再スケールを適用する。別の実施例においては、再スケール・モジュール１８は、既にクロッピングされ、ブランキングが除去された試験ビデオ・フレーム及び基準ビデオ・フレームを受ける。図示の如く、再スケール・モジュール１８は、その機能として、オリジナルの又はクロッピングされた入力のいずれかを受ける。再スケール・モジュールの実施例において、コーナー対コーナーのマッピング（角と角との位置合わせ）により、画像の再スケール調整を行う。一実施例において、試験ビデオ・フレームを再スケール調整して、基準ビデオ・フレームにマッチングさせる。他の実施例においては、基準ビデオ・フレームを再スケール調整して、更に別の実施例では、再スケール・モジュールが試験ビデオ・フレームか基準ビデオ・フレームかにかかわらず、大きい方のビデオ・フレームが小さい方のビデオ・フレームにマッチするように縮小スケール調整する。この代わりに、小さい方のビデオ・フレームを大きい方のビデオ・フレームにマッチするように拡大スケール調整することもできる。いくつかの場合において、両方の画像は、既に同じスケールである。この場合、コーナー対コーナーのマッピングでは、画像の差を識別できない。

再スケール・モジュール１８は、再スケール調整した試験及び基準ビデオ・フレームを、リファインしたアライメントの測定モジュール２０に供給する。このモジュール２０は、１次元リファイン測定モジュール２２Ａを有し、このモジュール２２Ａは、スケールにマッチしオフセットされた画像を集合モジュール２４に提供する。別の実施例では、第２の１次元リファイン測定モジュール２２Ｂを設けて、回転モジュール２６が供給する回転済み画像を受ける。集合モジュール２４は、１つ以上の測定、即ち、クロッピング、そのままのスケール、そのままのオフセット、リファインされたスケール、リファインされたオフセットなどを集合させる。図示のように、この集合モジュール２４は、１次元リファイン・アライメント測定モジュール２２の他に、境界モジュール１６及び再スケール・モジュール１８からも入力を受ける。画像を９０度回転させることにより、水平及び垂直の両方向に沿って２次元分析を行える。集合モジュール２４は、その出力として、空間歪測定結果３０を発生する。

図４は、１次元リファイン・アライメント測定モジュール２２の詳細を示す。このモジュール２２は、試験及び基準ビデオ・シーケンスに対応する再スケール調整されたフレームを受ける。代表ライン・モジュール４４は、基準ビデオ・フレーム及び試験ビデオ・フレームの両方の代表ライン（ＲＬ）を発生する。代表ライン（ＲＬ）は、モジュール２２Ａ及びモジュール２２Ｂのいずれに接続されるかに応じて、水平代表ライン又は垂直代表ラインである。代表ライン（ＲＬ）が与えられると、ＬＰＣＣＣモジュール４６は、ローカル・ピアソン相互相関係数（ＬＰＣＣＣ）画像を生成する。ハフ変換（Hough Transform）モジュール４８は、ＬＰＣＣＣ画像に対してハフ変換を行い、その出力をピクセル輝度モジュール５０に供給する。このモジュール５０は、最大輝度のピクセルの座標を求める。モジュール２２は、図３の集合モジュール２４にリファイン・アライメント測定結果を供給する。

測定を実行する方法の実施例は、次のステップから構成される。

試験ビデオ・フレーム、基準ビデオ・フレーム又はこれら両方から境界を取り去り、測定する。試験画像ビデオ・フレーム及び基準画像ビデオ・フレームの各々のエッジの位置を求める。この方法の実施例において、これを行うには、画像ビデオ・フレームの右、左、上及び下のどの位の数のピクセルが、画像のアクティブ部分ではなくブランキング又は境界ピクセルかを判断する。アクティブ部分は、ビデオ・シーケンスの時間で典型的に変化する画像の一部であり、典型的には観察者が関心のあるビデオ・シーケンスの一部にも対応する。試験画像及び基準画像の対応識別アクティブ部分をその後の測定処理に用いる。

試験画像及び基準画像のアクティブ部分を水平及び垂直次元の両方でマッチさせる。アクティブ部分は、フレームのエッジに沿った境界又はブランキング内の領域である。本願において、アクティブ部分は、アクティブ画像ともいう。これは、後での測定処理に用いるものである。第１実施例において、２つのアクティブ画像部分の大きい方をこれら２つの小さい方に合うように再スケール調整する（再度大きさを調整する）ことにより達成する。これは、同じ分解能の２つの画像を発生する。例えば、幅が７０４ピクセルで高さが４８０ピクセルのアクティブ試験画像部分と、１９２０×１０８０ピクセルのアクティブ基準画像部分を入力ビデオ・フレームとして与えると、その結果のアクティブ試験画像部分とアクティブ基準画像部分が共に７０４×４８０ピクセルとなる。これは、大きい方のアクティブ基準画像部分がサンプル数を減らすように再サンプリングされて、小さい方のアクティブ試験画像部分にマッチするためである。この方法は、２つの画像を合わせる迅速な方法である。事実、２つのアクティブ画像部分をコーナーからコーナーに互いにマッピングする。この方法により、アスペクト比にかかわらず、正確な測定ができる。アスペクト比の変化は、測定結果から推断できる。例えば、水平及び垂直のスケールが共に１で、試験側のクロッピングが総合で７５％ならば、これは、試験側のアスペクト比が変化したことを意味する。アスペクト比の違いは、次のステップのリファインしたアライメントで考慮する。しかし、この第１ステップであるありのままのアライメントが役立つ。それは、低い計算コスト方法により、計算的により高価なリファイン・アライメントを必要とするよりも、大幅に低減できるためである。第２実施例において、小さな画像を大きな画像に合うように再スケール調整する。この第２の方法は、第１の方法よりも早くはないが、精度を改善できる。

試験及び基準画像の各々から代表的なライン（ＲＬ）を求めて、TestRL及びReferenceRLとする。第１実施例において、最大分散ライン方法（maximum variance line method）を用いて各代表ラインを得る。アクティブ試験画像からTestRLに対応する最高分散試験ライン（ＨＶＴＬ）と、アクティブ基準画像内に対応基準ライン（ReferenceRL）を見つける。アクティブ試験画像から垂直画像セグメントを選択する。ＨＶＴＬのよりも上及び下の同じ数のラインを含むことにより、試験画像セグメントを定義できる。この選択された試験画像セグメントは、最大の分散の基準ラインにて中心となる検索窓及び２次元相関を用いて基準画像にレジストレーションされる。なお、これは、クロッピングの許容及び検索窓の範囲内である。図６に示す例においては、上の画像がアクティブ試験画像であり、下の画像がアクティブ基準画像である。この方法のステップの実施例において、アクティブ画像セグメントのアクティブ基準画像への空間的レジストレーションは、ＡＮＳＩ＿Ｔ１．８０１．０３−１９９６，５．４（アクティブ・ビデオ・シフト）の測定で用いられている。ＡＮＳＩ＿Ｔ１．８０１．０２−２００６，６．１（空間レジストレーション）で用いられる空間レジストレーション方法のように別の方法を用いてもよい。いずれの方法も、どの基準ラインが最も大きな分散の試験ラインに対応するかも見つけるために、垂直セグメント用の空間シフトに対する最良の適合に対応する最適な測定基準を検索する。対応する基準垂直セグメントの中央ラインを基準ＲＬ（ReferenceRL）として選択し、ＨＶＴＬをその後の処理用の試験ＲＬ（TestRL）として用いる。

第２実施例において、ライン平均化方法を用いて、代表ライン（ＲＬ）候補を求める。この方法は、ピクセル・ワイズ・ライン（pixel-wise line）平均化により平均ラインを生成する。
ReferenceRL（ピクセル）= [ライン上の総和] （基準（ピクセル、ライン））
TestRL （ピクセル）= ［ライン上の総和］（試験（ピクセル、ライン））
基準代表ライン候補（ReferenceRL）及び試験代表ライン公報（TestRL）の両方に、直流又は平坦でない有効エッジがある場合、ReferenceRL及びTestRLをその後の処理用の基準ラインとして用いる。基準ライン候補の一方又は両方にエッジがないと、上述の最大分散ライン方法を用いて基準ラインを求める。

アクティブ試験画像及びアクセス基準画像の両方に対して代表ラインが求まると、ローカル・ピアソン相互相関係数（ＬＰＣＣＣ）画像を異なる水平シフトで生成する。この方法の実施例において、入力として、アクティブ基準画像の代表ラインと、アクティブ試験画像の代表ラインの水平にシフトしたバージョンを用いて、ＬＰＣＣＣ画像の各ラインを発生する。ローカルな相互相関は、米国特許第６９７５７７６号「ヒューマン・ビジョン知覚及び知覚差の予測」に記載のローカル２次元相関で用いる一般的方法の１次元バージョンを用いる。この方法は、個別の全体測定の内容を連続測定に外挿するまでのローカル基本量での相互相関を計算する。この個別の全体測定は、例えば、平均値、分散、共分散を含んでいる。連続測定は、例えば、ＩＩＲ（無限インパルス）ＬＰＦ（ロウパス・フィルタ）出力として得たローカル平均、複数ピクセル値をＩＩＲ_ＬＰＦで処理した差として得たローカル分散LocalVariance、ピクセル値のローカル平均を含んでいる。ＩＩＲ＿ＬＰＦで処理した複数のピクセル値の差及び複数ピクセル値のローカル平均は、連続測定の１例である。ＩＩＲ＿ＬＰＦは、図７に示す循環フィルタとして実現してもよく、入力ラインに信号を順方向に供給し、中間出力を順方向から後ろに戻す。事実、離散統計計算に用いた総ての合計をＩＩＲ＿ＬＰＦ動作と置換できる。試験及び基準の分散の積の平方根で除算した共分散として、ピアソン相関係数を計算するが、試験及び基準ローカル分散の積の平方根で除算したローカル共分散として、アクティブ基準画像の対応代表ライン（ReferenceRL）の各ピクセルに対して、ＬＰＣＣＣを計算する。各基準代表ラインReferenceRLに対して、ローカルReferenceRLピクセル平均からのReferenceRLピクセル偏差と、ローカル試験基準ライン（TestRL）ピクセル平均からの対応試験基準ライン（TestRL）ピクセル偏差との積に適用したＩＩＲ＿ＬＰＦとして、ローカル共分散LocalConvarianceを計算する。ピクセル平均は、ＩＩＲ＿ＬＰＦ各ラインを当てた結果である。よって、ＬＰＣＣＣ［行］［列］画像は次のようになる。
LPCCC[シフト][n] = LocalCovariance(TestRL[シフト], ReferenceRL)[n] /
√(LocalVariance(TestRL[シフト])[n]×LocalVariance(ReferenceRL)[n])
なお、√は、その後の括弧内に対する平方根を意味する。また、IIR_LPF(X)[n] = 入力画像ラインＸへの両方向で連続的に適用された図８のＩＩＲ＿ＬＰＦのｎ番目の出力である。よって、ＩＩＲ＿ＬＰＦ（Ｘ）［ｎ］は、ｎ番目のピクセルでのＸのローカル平均である。
LocalVariance(X)[n]=(X[n]-IIR_LPF(X)[n])^2
LocalCovariance(X,Y)[n]=IIR_LPF((X[n]-IIR_LPF(X)[n])×
(Y[n]-IIR_LPF(Y)[n]))[n]
なお、＾２は、２乗を意味する。このフィルタは、前方向パスと、逆方向パスで等しくＸ［０］で初期化される。

TestRLシフト範囲は、TestRLに対する、アルゴリズムが検出できるReferenceRL画像スケール範囲の比に対応する。スケール測定範囲に対応する高いシフト範囲は、対応する高い計算コストがかかる。

ＬＰＣＣＣ画像にわたる最高の平均ライン輝度を見つける。このラインの傾斜は、TestRLとReferenceRLとの画像スケールの比に対応し、ｙインタセプト（断片）は、シフト＝空間オフセットに対応する。ＬＰＣＣＣ画像の例を図８〜１３に示す。例えば、「魚眼」レンズ形式の歪である非線形伸縮の如き非線形歪の結果、ＬＰＣＣＣ画像内の直線から対応する偏差が生じる。よって、ＬＰＣＣＣを波形モニタ表示の形式として用いて、試験画像から基準画像への空間的マッピングのスケール、オフセット及び線形性をチェックする。

図８は、ピアソン相関係数＋１２８（輝度）対ピクセル（水平）対ピクセル（垂直）を示す。すなわち、各ラインは、２つのローカル標準偏差の積で除算したローカル基準及び試験ＡＣのＬＰＦのドットの生成物である。この例における基準＋試験の画像では、水平スケール割り当て＝１．０である。ＬＰＦのパラメータは、al＝０．６５、水平シフト検索窓＋／−１５０ピクセルである。

図９は、図８に対応するが、水平スケールが１．０よりもわずかに大きい。

図１０は、図８に対応するが、水平スケールが１．１である。

図１１は、図８に対応するが、水平スケールが１．２である。

図１２は、図８に対応するが、水平スケールが１．２５である。

図１３は、図８に対応するが、水平スケールが１．３５である。

方法の実施例において、線形グレー・スケール・ハフ変換を用いて、最高平均輝度のラインを識別する。

ＬＰＣＣＣ画像内の各ピクセル／ポイントは、パラメトリック・ライン方程式によりハフ変換ラインにマッピングする。
入力画像=LPCCC[行=y][列=x]
であり、
x=オリジナル画像ピクセル・インデックス
y=相関用水平シフト−負の最大シフト
各ＬＰＣＣＣ（ｘ，ｙ）に対して、各シータに対してハフ変換［シータ、Ｒ］にマッピングする（シータ増分インデックスThetaAngleBinを用いてパラメータ化する）。
Theta[ThetaAngleIndex]=PI×ThetaAngleIndex / ThetaIndexMax
なお、PIは、定数pi（π）である。
R=x×cos(Theta) + y×sin(Theta)
HoughTransformImage[ThetaAngleIndex][R]+=LPCCC
魚眼歪により生じる非線形スケーリングにより、ＬＰＣＣＣの最も明るいライン内の対応歪が生じる。例えば、ノイズが存在する非線形曲線パラメータを求めるための高次のハフ変換又は既存の方法を用いて、この非線形性も測定できる。

最高輝度のハフ変換画像ピクセル（maxHough[ThetaAngleBin][R]輝度）の座標を求める。これは、ReferenceRLに関連するTestRLのスケール及びオフセットに対応して、ＬＰＣＣＣ画像を通じて最良にフィットするラインを定義する。図１４〜１７は、ハフ変換画像の例を示す。

図１４は、スケール０．７であることを除き、図８に対応するピアソン相関係数＋１２８（輝度）対ピクセル（水平）対ピクセル（垂直）のハフ変換を示す。ハフ変換の例は、形式R=x×cos(Theta)+7×sin(Theta)対Thetaを有する。水平次元は７２０ピクセルであり、Theta=-PIから０であり、垂直次元は１７６ピクセルであり、R=０から３５２．５である。明るいドットはTheta=-1.864139に配置され、水平スケールが０．６９９０３４である。これは、０．９９４ピクセルでエラー／７０４に対応して用いた実際の０．７水平スケールに非常に近い。

図１５は、スケール１．００５であることを除き、図８に対応するピアソン相関係数＋１２８（輝度）対ピクセル（水平）対ピクセル（垂直）のハフ変換を示す。ハフ変換の例は、形式R=x×cos(Theta)+7×sin(Theta)対Thetaを有する。水平次元は７２０ピクセルであり、Theta=-PIから０であり、垂直次元は１７６ピクセルであり、R=０から３５２．５である。明るいドットはTheta=-1.566543に配置され、水平スケールが１．００４３６３である。これは、０．４５６ピクセルでエラー／７０４に対応して用いた実際の１．００５水平スケールに非常に近い。

図１６は、スケール１．３５であることを除き、図８に対応するピアソン相関係数＋１２８（輝度）対ピクセル（水平）対ピクセル（垂直）のハフ変換を示す。ハフ変換の例は、形式R=x×cos(Theta)+7×sin(Theta)対Thetaを有する。水平次元は７２０ピクセルであり、Theta=-PIから０であり、垂直次元は１７６ピクセルであり、R=０から３５２．５である。明るいドットはTheta=-1.234820に配置され、水平スケールが１．３４９２１６である。これは、０．４１８ピクセルでエラー／７０４に対応して用いた実際の１．３５水平スケールに非常に近い。

図１７は、スケール１．４であることを除き、図８に対応するピアソン相関係数＋１２８（輝度）対ピクセル（水平）対ピクセル（垂直）のハフ変換を示す。ハフ変換の例は、形式R=x×cos(Theta)+7×sin(Theta)対Thetaを有する。水平次元は７２０ピクセルであり、Theta=-PIから０であり、垂直次元は１７６ピクセルであり、R=０から３５２．５である。明るいドットはTheta=-1.191187に配置され、水平スケールが１．３９８９６である。これは、０．５３５ピクセルでエラー／７０４に対応して用いた実際の１．４水平スケールに非常に近い。

ハフ変換シータ（Theta）及びＲを空間スケール及びオフセットに変換する。この方法の実施例において、次の式を用いて変換を行う。
refinedScale=1+tan(ThetaMaxHough+(PI/2))
nominalVerticalDatum=LPCCC_Height/2
yIntercept=RMaxHough/sin(ThetaMaxHough)
refinedOffset=nominalVerticalDatum-yIntercept

垂直次元用のリファインしたスケール及びオフセットを計算する。一実施例において、これを行うには、上述と同じ方法を再度用い、試験及び基準画像の各々から代表ライン（ＲＬ）を求めることから開始し、アクティブ試験画像及びアクセス基準画像の９０度回転させたバージョンを用いる。

そのままの及びリファインしたオフセット及びスケール値を組合せて、総合水平及び垂直スケール及びオフセット値を得る。同様にブランキング及び境界測定をリファインした測定と組合せて用いて、当業者に理解できるように、対応したクロッピング測定を行う。

標準分解能（ＳＤ）フレームを示す図である。図１のＳＤフレームに対応する高分解能（ＨＤ）フレームを示す図である。スケール、オフセット及びクロッピングのパラメータを含むビデオ（画像）空間歪を測定するブロック図である。１次元のリファインしたアライメントを測定するブロック図である。図１のＳＤフレーム及び図２のＨＤフレームの間のそのままのアライメントを説明する図である。イメージ・セグメントのレジストレーションを説明する図である。ローカル・ピアソン相互相関（ＬＰＣＣＣ）画像を示す図である。「ローカル」統計計算に用いる２重パスＩＩＲ＿ＬＰＦの応答及び単一パス式を示す図である。水平スケールが１．０よりもわずかに大きく、図７に対応するＬＰＣＣＣ画像を示す図である。水平スケールが１．１であり、図７に対応するＬＰＣＣＣ画像を示す図である。水平スケールが１．２であり、図７に対応するＬＰＣＣＣ画像を示す図である。水平スケールが１．２５であり、図７に対応するＬＰＣＣＣ画像を示す図である。水平スケールが１．３５であり、図７に対応するＬＰＣＣＣ画像を示す図である。スケールが０．７であり、図７の画像のハフ変換を示す図である。スケールが１．００５であり、図７の画像のハフ変換を示す図である。スケールが１．３５であり、図１３の画像のハフ変換を示す図である。スケールが１．４であり、図７の画像のハフ変換を示す図である。

符号の説明

１０試験ビデオ・フレーム
１２基準ビデオ・フレーム
１４アライメント測定モジュール
１６境界除去モジュール
１８再スケール・モジュール
２０測定モジュール
２２１次元リファイン測定モジュール
２４集合モジュール
２６回転モジュール
３０空間歪測定結果
４４代表ライン・モジュール
４６ローカル・ピアソン相互相関係数モジュール
４８ハフ変換モジュール
５０ピクセル輝度モジュール

Claims

ビデオ・フレームを測定する測定装置であって、
試験ビデオ・フレーム及び基準ビデオ・フレームを受け、上記フレームのそのままのアライメントを実行するアライメント・モジュールと、
そのままのアライメントの実行が続く上記試験ビデオ・フレーム及び上記基準ビデオ・フレームを受け、代表試験ライン及び代表基準ラインを提供する代表ライン・モジュールと、
上記代表試験ライン及び上記代表基準ラインに基づいてローカル・ピアソン相互相関係数（LPCCC）画像を生成するローカル・ピアソン相互相関係数モジュールと、
上記ローカル・ピアソン相互相関係数画像にハフ変換を実行する変換モジュールと、
上記ローカル・ピアソン相互相関係数画像のハフ変換から最高輝度のピクセルを識別して、リファインしたアライメント測定結果を求めるピクセル輝度モジュールと、
そのままのアライメント測定結果及びリファインしたアライメント測定結果を集め、更なる分析のためにこれら集めた測定結果を蓄積する集合モジュールと
を具えたビデオ・フレーム測定装置。
上記アライメント・モジュールは、境界除去モジュールを具えることを特徴とする請求項１のビデオ・フレーム測定装置。
上記アライメント・モジュールは、上記試験ビデオ・フレームのスケールを上記基準ビデオ・フレームのスケールとマッチさせる再スケール・モジュールを具えることを特徴とする請求項１のビデオ・フレーム測定装置。
上記代表ライン・モジュールは、最大分散ラインを識別することにより代表ラインを提供することを特徴とする請求項１のビデオ・フレーム測定装置。
ビデオ・フレームを測定する方法であって、
試験ビデオ・フレーム及び基準ビデオ・フレームのそのままのアライメントを実行し、
そのままのアライメントの実行が続く上記試験ビデオ・フレーム及び上記基準ビデオ・フレームの各々に対して代表試験ライン及び代表基準ラインを提供し、
上記代表試験ライン及び上記代表基準ラインに基づいてローカル・ピアソン相互相関係数（LPCCC）画像を生成し、
上記ローカル・ピアソン相互相関係数画像にハフ変換を実行し、
上記ローカル・ピアソン相互相関係数画像のハフ変換から最高輝度のピクセルを識別して、リファインしたアライメント測定結果を求め、
そのままのアライメント測定結果及びリファインしたアライメント測定結果を集め、更なる分析のためにこれら集めた測定結果を蓄積する
ことを特徴とするビデオ・フレーム測定方法。