JP3529302B2 - ビデオ・シーケンスの空間−時間アライメント方法 - Google Patents
ビデオ・シーケンスの空間−時間アライメント方法Info
- Publication number
- JP3529302B2 JP3529302B2 JP16738699A JP16738699A JP3529302B2 JP 3529302 B2 JP3529302 B2 JP 3529302B2 JP 16738699 A JP16738699 A JP 16738699A JP 16738699 A JP16738699 A JP 16738699A JP 3529302 B2 JP3529302 B2 JP 3529302B2
- Authority
- JP
- Japan
- Prior art keywords
- video sequence
- field
- test
- video
- fields
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ビデオ信号の試験
方法、特に、ビデオ忠実度を試験するために、試験ビデ
オ信号を基準ビデオ信号に空間的及び時間的の両方でア
ライメントする（即ち、空間的及び時間的に一致するよ
うに調整する）ビデオ・シーケンスの空間−時間アライ
メント方法に関する。 【０００２】 【従来の技術】ビデオ処理及び／又は変換システムにお
いて、時間的待ち及び空間的シフトをビデオ信号内に導
入してもよい。この一例は、帯域圧縮及びデジタル・ビ
ット・ストリーム輸送のためにＭＰＥＧ−２圧縮を用い
るビデオ伝送システムである。ビデオ処理システムのビ
デオ信号忠実度を試験するために、被試験信号を、空間
的及び時間的の両方で、元（オリジナル）の基準信号と
正確にアライメントすることが必要である。このアライ
メント・タスクには、空間的及び時間的なシフト検出及
び補正が含まれる。ビデオ・シーケンスは、時間的に等
間隔でサンプリングされた画像を有する。飛び越し走査
ビデオの場合、サンプリングされた画像の各々をビデオ
・フィールドを呼ぶ。 【０００３】２次元画像用のアライメント方法には、例
えば、周知の空間シフト検出用位相相関方法などの多く
の方法がある。この空間シフト検出用位相相関方法は、
１９７５年９月発行のIEEE 1975 International Confer
ence on Cybernetics and Society の１６３〜１６５ペ
ージの C.D. Kuglin 及びD.C. Hines, Jr. による論文
「位相相関画像アライメント方法（The Phase Correlat
ion Image AlignmentMethod）」に記載されている。こ
の位相相関方法は、２つの画像の間のアライメントに関
する情報のほとんどが、これらのクロス・パワー・スペ
クトルの位相内に含まれているという事実に基づいてい
る。離散位相相関関数は、先ず、２つのサンプリングし
た画像の離散２次元フーリエ変換Ｆ１及びＦ２を計算
し、クロス・パワー・スペクトルを計算し、各周波数ビ
ン（各周波数に入る回数）に対するその位相を抽出する
ことにより求まる。位相配列は、フーリエ変換Ｆ１と、
Ｆ２の共役とを乗算し、その積の大きさで除算すること
により計算できる。位相配列の逆フーリエ変換を実行し
て、位相相関面を得る。 【０００４】位相相関面のピクセルの位置が、２つの画
像間の空間シフトの量に関する情報を与える。すなわ
ち、ピークの高さが、２つの画像の類似性に対応する。
理想的な場合の例としては、ベクトル変換Ｓにより画像
がシフトされ、上述のKuglinらの論文に記載された式
（２）により、相関面の位置Ｓにおいて中心となる単位
高さデルタ関数が得られる。１ピクセル未満（ピクセル
の分数分）のシフトに対して、ピークの周囲で適切な曲
線の形式を用いて、ピーク位置を１ピクセル未満の精度
に正確にできる。 【０００５】この位相相関アライメント方法は、ビデオ
・シーケンスの空間−時間アライメントの問題を解決す
る基本的なツールを提供する。互いに関連したビデオ・
シーケンスの空間−時間シフトを検出するには、あるビ
デオ信号内に存在する空間シフト及び時間シフトの不明
確さの両義性を考慮する必要がある。例えば、時間シフ
トは、静止場面では、確実には求まらないであろう。完
全なカメラ・パンによって捕捉したビデオでは、シフト
は、時間シフト又は空間シフトのいずれかにより生じ
る。ビデオ・シーケンスに顕著な空間−時間変化が生じ
た場合のみに、この両義性を解決できる。 【０００６】 【発明が解決しようとする課題】ビデオ・シーケンスに
おいて可能性のある固有の両義性を確実な方法で解決す
るために、複数のビデオ・シーケンスを空間的及び時間
的の両方でアライメントする（即ち、空間的及び時間的
の両方で一致するように調整する）方法が望まれてい
る。 【０００７】 【課題を解決するための手段】よって、本発明は、複数
のビデオ・シーケンスを空間的及び時間的の両方でアラ
イメントする。空間的シフトに対しては、周知の位相相
関方法を用いて、基準ビデオ・シーケンスの隣接した複
数フィールドの相関ピークの急激な低下により時間的遷
移が生じたビデオ・フィールドを検出する。基準ビデオ
・シーケンスにおいて、この遷移フィールドにまたがる
２つのフィールドを選択する。なお、この遷移フィール
ドは、空間的及び時間的の両方のアライメント検出に対
する基本となる。基準ビデオ・シーケンスのこのフィー
ルド対と時間的距離が同じである試験ビデオ・シーケン
スのフィールド対を用いて、基準ビデオ・シーケンスの
フィールド対に対して、空間的にアライメントをとる。
この際、相関関係を求めるが、基準ビデオ・シーケンス
の２つのフィールドの内の最初のフィールドと試験ビデ
オ・シーケンスの２つのフィールドの内の最初のフィー
ルドの空間的シフトが同じで、且つ、基準ビデオ・シー
ケンスの２つのフィールドの内の他方のフィールドと試
験ビデオ・シーケンスの２つのフィールドの内の他方の
フィールドの空間的シフトが同じで、これら最初のフィ
ールド対の相関ピーク（相関の大きさのピーク）とこれ
ら他方のフィールド対の相関ピークの和が、ある最小値
を超していれば、時間的アライメントがとれたことにな
る。この方法において、空間的及び時間的アライメント
の検出は、同時に実行されて、計算量が節約でき、空間
対時間のアライメント検出における両義性を軽減でき
る。 【０００８】本発明の目的、利点及びその他の新規な特
徴は、添付図を参照した以下の詳細説明から明らかにな
ろう。 【０００９】 【発明の実施の形態】図１は、本発明により、空間的及
び時間的の両方におけるアライメントを用いてビデオ処
理システムを試験するシステムのブロック図である。基
準ビデオ・シーケンスは、被試験ビデオ処理システム
（ＳＵＴ）１０及び空間−時間アライメント・プロセッ
サ１２に入力する。被試験ビデオ処理システム１０の出
力は、試験ビデオ・シーケンスであり、このビデオ・シ
ーケンスは、空間−時間アライメント・プロセッサ１２
に入力する。空間−時間アライメント・プロセッサ１２
は、２つのビデオ・シーケンスを空間的及び時間的の両
方でアライメントして（即ち、２つのビデオ・シーケン
スが空間的及び時間的の両方で一致するように調整し
て）出力する。これら基準ビデオ・シーケンス及び試験
ビデオ・シーケンスは、空間−時間アライメント・プロ
セッサ１２から出力するが、任意の空間的及び時間的ミ
スアライメントが補正されており、忠実度試験プロセッ
サ１４に供給される。忠実度試験プロセッサ１４は、試
験ビデオ・シーケンスが被試験ビデオ処理システム１０
によって基準ビデオ・シーケンスよりもどの程度劣化し
たかを分析する。これら空間−時間アライメント・プロ
セッサ１２及び忠実度試験プロセッサ１４は、アメリカ
合衆国オレゴン州ウィルソンビルのテクトロニクス・イ
ンコーポレイテッド製ＰＱＡ２００型の如き試験測定装
置１６の一部でもよい。なお、基準ビデオ・シーケンス
及び試験ビデオ・シーケンスの各フィールドは、時間コ
ードを有する。 【００１０】ビデオ信号内に存在する潜在的な空間−時
間的両義性を解決するために、第１ステップでは、顕著
な時間的遷移を含んだ基準ビデオ・シーケンス内のビデ
オ・フィールドＲ（Ｔ）を見つける。時間領域における
時間遷移は、空間領域におけるエッジ信号に類似してい
る。基準における隣接フィールドを横切る位相相関を計
算すると、相関ピークの大きさの急激な低下は、時間遷
移が生じたことを示す。この遷移は、多数のカメラを用
いた制作において、一方のカメラから他方のカメラに切
り替えたことによって生じたり、又は、ビデオ信号にお
いて、他の場面への切り替えにより生じる。 【００１１】基準ビデオ・シーケンス及び試験ビデオ・
シーケンスの全体又は長い部分を相関させようとする代
わりに、図２に示すように、基準ビデオ・シーケンス
を、遷移フィールドＲ（Ｔ）をまたぐ２つのフィールド
Ｒ（Ｌ）及びＲ（Ｒ）に収縮（代表）させてもよい。実
際には、これら２つのフィールドは、オリジナルの基準
ビデオ・シーケンスから、サブサンプリングされたビデ
オ・シーケンスを形成する。 【００１２】図３に示すように、試験ビデオ・シーケン
スの開始から、空間的及び時間的シフトが見つかるま
で、次の動作を繰り返し実行する。 【００１３】（１）基準ビデオ・シーケンス内のビデオ
・フィールドＲ（Ｌ）及びＲ（Ｒ）の間と同じ時間的距
離Ｋである２つのビデオ・フィールドＴ（Ｃ）及びＴ
（Ｃ＋Ｋ）を試験ビデオ・シーケンスから選択する。こ
の際、現在のフィールド位置をＴ（Ｃ）とする。これら
フィールドＴ（Ｃ）及びＴ（Ｃ＋Ｋ）は、時間順にサブ
サンプリングした基準ビデオ・シーケンス内の２つのフ
ィールドと対になる。すなわち、基準ビデオ・シーケン
ス内で早く生じたフィールドＲ（Ｌ）は、試験ビデオ・
シーケンス内で早く生じたフィールドＴ（Ｃ）と対にな
る。同様に、基準ビデオ・シーケンス内で遅く生じたフ
ィールドＲ（Ｒ）は、試験ビデオ・シーケンス内で遅く
生じたフィールドＴ（Ｃ＋Ｋ）と対になる。 【００１４】（２）フィールドＲ（Ｌ）及びＴ（Ｃ）の
空間的アライメント（空間的一致状態）を計算すると共
に、フィールドＲ（Ｒ）及びＴ（Ｃ＋Ｋ）との空間的ア
ライメントも計算して、フィールドＲ（Ｌ）及びＴ
（Ｃ）の空間的シフトとフィールドＲ（Ｒ）及びＴ（Ｃ
＋Ｋ）の空間的シフトを求める。更に、フィールドＲ
（Ｌ）及びＴ（Ｃ）の相関の大きさ（相関ピーク）とフ
ィールドＲ（Ｒ）及びＴ（Ｃ＋Ｋ）の相関の大きさ（相
関ピーク）を求める。すなわち、相関関係を求める。 【００１５】（３）２つの対の空間的シフトが同じであ
り、即ち、Ｒ（Ｌ）／Ｔ（Ｃ）の空間シフトがＲ（Ｒ）
／Ｔ（Ｃ＋Ｋ）の空間シフトと同じであり、２つの対の
相関の大きさの和が最小しきい値を超えていれば、空間
−時間アライメントが達成されていることになる。空間
シフトは、ステップ（２）で既に計算された。基準ビデ
オ・シーケンスのフィールド及び試験ビデオ・シーケン
スのフィールドとの対の各々の間の時間コードの差か
ら、基準ビデオ・シーケンスと試験ビデオ・シーケンス
との間の時間シフト（時間のずれ）が求まる。空間的及
び時間的の両方のアライメントがとれていなければ、試
験サイクルは、試験ビデオ・シーケンス対の現在の位置
を１フィールドだけ進行させて、上述のステップ（１）
から繰り返えす。 【００１６】上述のステップ（３）で、空間的及び時間
的の両方のアライメントがとれたときの基準ビデオ・シ
ーケンス及び試験ビデオ・シーケンスの時間のずれを維
持すれば、基準ビデオ・シーケンス及び試験ビデオ・シ
ーケンスは、空間的及び時間的の両方のアライメントが
とれた状態になる。 【００１７】 【発明の効果】したがって、本発明によれば、場面の変
化に対応する基準ビデオ・シーケンス内の遷移フィール
ドを検出し（即ち、時間的遷移のフィールドを検出
し）、この遷移フィールドをまたぐ１対の基準フィール
ドを、サブサンプリングした基準ビデオ・シーケンスと
して選択する。そして、空間的及び時間的アライメント
が達成されるまで、基準ビデオ・シーケンスの２つのフ
ィールドと同じ時間だけ離れた試験ビデオ・シーケンス
の２つのフィールドを繰り返し比較する。これによっ
て、試験ビデオ・シーケンスと基準ビデオ・シーケンス
とを空間的及び時間的の両方でアライメントできる。
方法、特に、ビデオ忠実度を試験するために、試験ビデ
オ信号を基準ビデオ信号に空間的及び時間的の両方でア
ライメントする（即ち、空間的及び時間的に一致するよ
うに調整する）ビデオ・シーケンスの空間−時間アライ
メント方法に関する。 【０００２】 【従来の技術】ビデオ処理及び／又は変換システムにお
いて、時間的待ち及び空間的シフトをビデオ信号内に導
入してもよい。この一例は、帯域圧縮及びデジタル・ビ
ット・ストリーム輸送のためにＭＰＥＧ−２圧縮を用い
るビデオ伝送システムである。ビデオ処理システムのビ
デオ信号忠実度を試験するために、被試験信号を、空間
的及び時間的の両方で、元（オリジナル）の基準信号と
正確にアライメントすることが必要である。このアライ
メント・タスクには、空間的及び時間的なシフト検出及
び補正が含まれる。ビデオ・シーケンスは、時間的に等
間隔でサンプリングされた画像を有する。飛び越し走査
ビデオの場合、サンプリングされた画像の各々をビデオ
・フィールドを呼ぶ。 【０００３】２次元画像用のアライメント方法には、例
えば、周知の空間シフト検出用位相相関方法などの多く
の方法がある。この空間シフト検出用位相相関方法は、
１９７５年９月発行のIEEE 1975 International Confer
ence on Cybernetics and Society の１６３〜１６５ペ
ージの C.D. Kuglin 及びD.C. Hines, Jr. による論文
「位相相関画像アライメント方法（The Phase Correlat
ion Image AlignmentMethod）」に記載されている。こ
の位相相関方法は、２つの画像の間のアライメントに関
する情報のほとんどが、これらのクロス・パワー・スペ
クトルの位相内に含まれているという事実に基づいてい
る。離散位相相関関数は、先ず、２つのサンプリングし
た画像の離散２次元フーリエ変換Ｆ１及びＦ２を計算
し、クロス・パワー・スペクトルを計算し、各周波数ビ
ン（各周波数に入る回数）に対するその位相を抽出する
ことにより求まる。位相配列は、フーリエ変換Ｆ１と、
Ｆ２の共役とを乗算し、その積の大きさで除算すること
により計算できる。位相配列の逆フーリエ変換を実行し
て、位相相関面を得る。 【０００４】位相相関面のピクセルの位置が、２つの画
像間の空間シフトの量に関する情報を与える。すなわ
ち、ピークの高さが、２つの画像の類似性に対応する。
理想的な場合の例としては、ベクトル変換Ｓにより画像
がシフトされ、上述のKuglinらの論文に記載された式
（２）により、相関面の位置Ｓにおいて中心となる単位
高さデルタ関数が得られる。１ピクセル未満（ピクセル
の分数分）のシフトに対して、ピークの周囲で適切な曲
線の形式を用いて、ピーク位置を１ピクセル未満の精度
に正確にできる。 【０００５】この位相相関アライメント方法は、ビデオ
・シーケンスの空間−時間アライメントの問題を解決す
る基本的なツールを提供する。互いに関連したビデオ・
シーケンスの空間−時間シフトを検出するには、あるビ
デオ信号内に存在する空間シフト及び時間シフトの不明
確さの両義性を考慮する必要がある。例えば、時間シフ
トは、静止場面では、確実には求まらないであろう。完
全なカメラ・パンによって捕捉したビデオでは、シフト
は、時間シフト又は空間シフトのいずれかにより生じ
る。ビデオ・シーケンスに顕著な空間−時間変化が生じ
た場合のみに、この両義性を解決できる。 【０００６】 【発明が解決しようとする課題】ビデオ・シーケンスに
おいて可能性のある固有の両義性を確実な方法で解決す
るために、複数のビデオ・シーケンスを空間的及び時間
的の両方でアライメントする（即ち、空間的及び時間的
の両方で一致するように調整する）方法が望まれてい
る。 【０００７】 【課題を解決するための手段】よって、本発明は、複数
のビデオ・シーケンスを空間的及び時間的の両方でアラ
イメントする。空間的シフトに対しては、周知の位相相
関方法を用いて、基準ビデオ・シーケンスの隣接した複
数フィールドの相関ピークの急激な低下により時間的遷
移が生じたビデオ・フィールドを検出する。基準ビデオ
・シーケンスにおいて、この遷移フィールドにまたがる
２つのフィールドを選択する。なお、この遷移フィール
ドは、空間的及び時間的の両方のアライメント検出に対
する基本となる。基準ビデオ・シーケンスのこのフィー
ルド対と時間的距離が同じである試験ビデオ・シーケン
スのフィールド対を用いて、基準ビデオ・シーケンスの
フィールド対に対して、空間的にアライメントをとる。
この際、相関関係を求めるが、基準ビデオ・シーケンス
の２つのフィールドの内の最初のフィールドと試験ビデ
オ・シーケンスの２つのフィールドの内の最初のフィー
ルドの空間的シフトが同じで、且つ、基準ビデオ・シー
ケンスの２つのフィールドの内の他方のフィールドと試
験ビデオ・シーケンスの２つのフィールドの内の他方の
フィールドの空間的シフトが同じで、これら最初のフィ
ールド対の相関ピーク（相関の大きさのピーク）とこれ
ら他方のフィールド対の相関ピークの和が、ある最小値
を超していれば、時間的アライメントがとれたことにな
る。この方法において、空間的及び時間的アライメント
の検出は、同時に実行されて、計算量が節約でき、空間
対時間のアライメント検出における両義性を軽減でき
る。 【０００８】本発明の目的、利点及びその他の新規な特
徴は、添付図を参照した以下の詳細説明から明らかにな
ろう。 【０００９】 【発明の実施の形態】図１は、本発明により、空間的及
び時間的の両方におけるアライメントを用いてビデオ処
理システムを試験するシステムのブロック図である。基
準ビデオ・シーケンスは、被試験ビデオ処理システム
（ＳＵＴ）１０及び空間−時間アライメント・プロセッ
サ１２に入力する。被試験ビデオ処理システム１０の出
力は、試験ビデオ・シーケンスであり、このビデオ・シ
ーケンスは、空間−時間アライメント・プロセッサ１２
に入力する。空間−時間アライメント・プロセッサ１２
は、２つのビデオ・シーケンスを空間的及び時間的の両
方でアライメントして（即ち、２つのビデオ・シーケン
スが空間的及び時間的の両方で一致するように調整し
て）出力する。これら基準ビデオ・シーケンス及び試験
ビデオ・シーケンスは、空間−時間アライメント・プロ
セッサ１２から出力するが、任意の空間的及び時間的ミ
スアライメントが補正されており、忠実度試験プロセッ
サ１４に供給される。忠実度試験プロセッサ１４は、試
験ビデオ・シーケンスが被試験ビデオ処理システム１０
によって基準ビデオ・シーケンスよりもどの程度劣化し
たかを分析する。これら空間−時間アライメント・プロ
セッサ１２及び忠実度試験プロセッサ１４は、アメリカ
合衆国オレゴン州ウィルソンビルのテクトロニクス・イ
ンコーポレイテッド製ＰＱＡ２００型の如き試験測定装
置１６の一部でもよい。なお、基準ビデオ・シーケンス
及び試験ビデオ・シーケンスの各フィールドは、時間コ
ードを有する。 【００１０】ビデオ信号内に存在する潜在的な空間−時
間的両義性を解決するために、第１ステップでは、顕著
な時間的遷移を含んだ基準ビデオ・シーケンス内のビデ
オ・フィールドＲ（Ｔ）を見つける。時間領域における
時間遷移は、空間領域におけるエッジ信号に類似してい
る。基準における隣接フィールドを横切る位相相関を計
算すると、相関ピークの大きさの急激な低下は、時間遷
移が生じたことを示す。この遷移は、多数のカメラを用
いた制作において、一方のカメラから他方のカメラに切
り替えたことによって生じたり、又は、ビデオ信号にお
いて、他の場面への切り替えにより生じる。 【００１１】基準ビデオ・シーケンス及び試験ビデオ・
シーケンスの全体又は長い部分を相関させようとする代
わりに、図２に示すように、基準ビデオ・シーケンス
を、遷移フィールドＲ（Ｔ）をまたぐ２つのフィールド
Ｒ（Ｌ）及びＲ（Ｒ）に収縮（代表）させてもよい。実
際には、これら２つのフィールドは、オリジナルの基準
ビデオ・シーケンスから、サブサンプリングされたビデ
オ・シーケンスを形成する。 【００１２】図３に示すように、試験ビデオ・シーケン
スの開始から、空間的及び時間的シフトが見つかるま
で、次の動作を繰り返し実行する。 【００１３】（１）基準ビデオ・シーケンス内のビデオ
・フィールドＲ（Ｌ）及びＲ（Ｒ）の間と同じ時間的距
離Ｋである２つのビデオ・フィールドＴ（Ｃ）及びＴ
（Ｃ＋Ｋ）を試験ビデオ・シーケンスから選択する。こ
の際、現在のフィールド位置をＴ（Ｃ）とする。これら
フィールドＴ（Ｃ）及びＴ（Ｃ＋Ｋ）は、時間順にサブ
サンプリングした基準ビデオ・シーケンス内の２つのフ
ィールドと対になる。すなわち、基準ビデオ・シーケン
ス内で早く生じたフィールドＲ（Ｌ）は、試験ビデオ・
シーケンス内で早く生じたフィールドＴ（Ｃ）と対にな
る。同様に、基準ビデオ・シーケンス内で遅く生じたフ
ィールドＲ（Ｒ）は、試験ビデオ・シーケンス内で遅く
生じたフィールドＴ（Ｃ＋Ｋ）と対になる。 【００１４】（２）フィールドＲ（Ｌ）及びＴ（Ｃ）の
空間的アライメント（空間的一致状態）を計算すると共
に、フィールドＲ（Ｒ）及びＴ（Ｃ＋Ｋ）との空間的ア
ライメントも計算して、フィールドＲ（Ｌ）及びＴ
（Ｃ）の空間的シフトとフィールドＲ（Ｒ）及びＴ（Ｃ
＋Ｋ）の空間的シフトを求める。更に、フィールドＲ
（Ｌ）及びＴ（Ｃ）の相関の大きさ（相関ピーク）とフ
ィールドＲ（Ｒ）及びＴ（Ｃ＋Ｋ）の相関の大きさ（相
関ピーク）を求める。すなわち、相関関係を求める。 【００１５】（３）２つの対の空間的シフトが同じであ
り、即ち、Ｒ（Ｌ）／Ｔ（Ｃ）の空間シフトがＲ（Ｒ）
／Ｔ（Ｃ＋Ｋ）の空間シフトと同じであり、２つの対の
相関の大きさの和が最小しきい値を超えていれば、空間
−時間アライメントが達成されていることになる。空間
シフトは、ステップ（２）で既に計算された。基準ビデ
オ・シーケンスのフィールド及び試験ビデオ・シーケン
スのフィールドとの対の各々の間の時間コードの差か
ら、基準ビデオ・シーケンスと試験ビデオ・シーケンス
との間の時間シフト（時間のずれ）が求まる。空間的及
び時間的の両方のアライメントがとれていなければ、試
験サイクルは、試験ビデオ・シーケンス対の現在の位置
を１フィールドだけ進行させて、上述のステップ（１）
から繰り返えす。 【００１６】上述のステップ（３）で、空間的及び時間
的の両方のアライメントがとれたときの基準ビデオ・シ
ーケンス及び試験ビデオ・シーケンスの時間のずれを維
持すれば、基準ビデオ・シーケンス及び試験ビデオ・シ
ーケンスは、空間的及び時間的の両方のアライメントが
とれた状態になる。 【００１７】 【発明の効果】したがって、本発明によれば、場面の変
化に対応する基準ビデオ・シーケンス内の遷移フィール
ドを検出し（即ち、時間的遷移のフィールドを検出
し）、この遷移フィールドをまたぐ１対の基準フィール
ドを、サブサンプリングした基準ビデオ・シーケンスと
して選択する。そして、空間的及び時間的アライメント
が達成されるまで、基準ビデオ・シーケンスの２つのフ
ィールドと同じ時間だけ離れた試験ビデオ・シーケンス
の２つのフィールドを繰り返し比較する。これによっ
て、試験ビデオ・シーケンスと基準ビデオ・シーケンス
とを空間的及び時間的の両方でアライメントできる。
【図面の簡単な説明】
【図１】本発明により、空間的及び時間的の両方におけ
るアライメントを用いてビデオ処理システムを試験する
システムのブロック図である。 【図２】本発明により、ビデオ・シーケンスを空間的及
び時間的の両方におけるアライメントを説明する図であ
る。 【図３】本発明により、ビデオ・シーケンスを空間的及
び時間的の両方におけるアライメントを説明する図であ
る。 【符号の説明】 １０ 被試験ビデオ処理システム １２ 空間−時間アライメント・プロセッサ １４ 忠実度試験プロセッサ １６ 試験測定装置
るアライメントを用いてビデオ処理システムを試験する
システムのブロック図である。 【図２】本発明により、ビデオ・シーケンスを空間的及
び時間的の両方におけるアライメントを説明する図であ
る。 【図３】本発明により、ビデオ・シーケンスを空間的及
び時間的の両方におけるアライメントを説明する図であ
る。 【符号の説明】 １０ 被試験ビデオ処理システム １２ 空間−時間アライメント・プロセッサ １４ 忠実度試験プロセッサ １６ 試験測定装置
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 17/00
Claims (1)
- (57)【特許請求の範囲】 【請求項１】 基準ビデオ・シーケンスを試験ビデオ・
シーケンスに空間的及び時間的にアライメントする方法
であって、 上記基準ビデオ・シーケンスから、時間的遷移のあるフ
ィールドを検出し、 上記遷移のあるフィールドをまたいで、所定時間間隔だ
け離れた１対のフィールドを上記基準ビデオ・シーケン
スからサブサンプリングされた基準ビデオ・シーケンス
として選択し、 空間的及び時間的なアライメントを達成するまで、上記
所定時間間隔だけ離れた上記試験ビデオ・シーケンスの
１対のフィールドと、上記サブサンプリングされた基準
ビデオ・シーケンスとの相関関係を繰り返し求め、 上記繰り返しの各々の後に、上記試験ビデオ・シーケン
スの１対のフィールドを１フィールドだけ増分すること
を特徴とするビデオ・シーケンスの空間−時間アライメ
ント方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/103,669 | 1998-06-23 | ||
| US09/103,669 US6259477B1 (en) | 1998-06-23 | 1998-06-23 | Joint spatial-temporal alignment of video sequences |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000032496A JP2000032496A (ja) | 2000-01-28 |
| JP3529302B2 true JP3529302B2 (ja) | 2004-05-24 |
Family
ID=22296416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16738699A Expired - Fee Related JP3529302B2 (ja) | 1998-06-23 | 1999-06-14 | ビデオ・シーケンスの空間−時間アライメント方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6259477B1 (ja) |
| EP (1) | EP0967811B1 (ja) |
| JP (1) | JP3529302B2 (ja) |
| DE (1) | DE69910311T2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3739274B2 (ja) | 2000-10-31 | 2006-01-25 | Ｋｄｄｉ株式会社 | ２系統映像の位置ずれ補正装置 |
| JP3995925B2 (ja) * | 2001-11-27 | 2007-10-24 | パイオニア株式会社 | 画像表示装置 |
| KR100824711B1 (ko) * | 2003-08-22 | 2008-04-24 | 니뽄 덴신 덴와 가부시키가이샤 | 영상 정합 장치, 영상 정합 방법, 및 영상 정합 프로그램을기록한 기록매체 |
| US7586515B2 (en) * | 2005-05-23 | 2009-09-08 | Tektronix, Inc. | Instrument for real-time video quality measurement |
| US8396468B1 (en) | 2005-09-15 | 2013-03-12 | At&T Mobility Ii Llc | Assessing performance and quality of a mobile communication service |
| US8509761B2 (en) * | 2005-09-15 | 2013-08-13 | At&T Mobility Ii Llc | Location based services quality assessment |
| US8587630B1 (en) | 2005-09-15 | 2013-11-19 | At&T Mobility Ii Llc | Assessing performance and quality of a mobile communication service |
| US8620293B2 (en) * | 2005-09-15 | 2013-12-31 | At&T Mobility Ii Llc | Location-based transmitter selection and handoff |
| DE102006044929B4 (de) * | 2006-09-22 | 2008-10-23 | Opticom Dipl.-Ing. Michael Keyhl Gmbh | Vorrichtung zum Bestimmen von Informationen zur zeitlichen Ausrichtung zweier Informationssignale |
| EP2114080A1 (en) * | 2008-04-30 | 2009-11-04 | Thomson Licensing | Method for assessing the quality of a distorted version of a frame sequence |
| US8326087B2 (en) * | 2008-11-25 | 2012-12-04 | Xerox Corporation | Synchronizing image sequences |
| CN102413357A (zh) * | 2010-09-24 | 2012-04-11 | 富泰华工业（深圳）有限公司 | 测试装置及其测试方法 |
| US11638051B2 (en) * | 2020-02-27 | 2023-04-25 | Ssimwave, Inc. | Real-time latency measurement of video streams |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9022710D0 (en) * | 1990-10-18 | 1990-11-28 | Crosfield Electronics Ltd | Methods and apparatus for testing image processing apparatus |
| US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
| US5602586A (en) * | 1994-05-03 | 1997-02-11 | Honeywell Inc. | Built-in test for dynamic raster video output |
| US5818520A (en) * | 1996-02-12 | 1998-10-06 | Tektronix, Inc. | Programmable instrument for automatic measurement of compressed video quality |
| US5764284A (en) * | 1996-06-26 | 1998-06-09 | Mci Corporations | System and method for measuring the fidelity of video |
| US5940124A (en) * | 1997-07-18 | 1999-08-17 | Tektronix, Inc. | Attentional maps in objective measurement of video quality degradation |
| US5894324A (en) * | 1997-12-03 | 1999-04-13 | Tektronix, Inc. | Video alignment using a selected partial picture |
-
1998
- 1998-06-23 US US09/103,669 patent/US6259477B1/en not_active Expired - Lifetime
-
1999
- 1999-06-14 JP JP16738699A patent/JP3529302B2/ja not_active Expired - Fee Related
- 1999-06-18 EP EP99304795A patent/EP0967811B1/en not_active Expired - Lifetime
- 1999-06-18 DE DE69910311T patent/DE69910311T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0967811A3 (en) | 2001-01-24 |
| US6259477B1 (en) | 2001-07-10 |
| DE69910311D1 (de) | 2003-09-18 |
| EP0967811B1 (en) | 2003-08-13 |
| EP0967811A2 (en) | 1999-12-29 |
| JP2000032496A (ja) | 2000-01-28 |
| DE69910311T2 (de) | 2004-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3529302B2 (ja) | ビデオ・シーケンスの空間−時間アライメント方法 | |
| EP2711926B1 (en) | Audio-visual signature, method of deriving a signature, and method of comparing audio-visual data | |
| JP5844394B2 (ja) | 適応探索範囲を用いた動き推定 | |
| CA2227390C (en) | Improved correlation processing for motion estimation | |
| CN1853416B (zh) | 运动矢量场的再定时 | |
| JP2003163894A (ja) | 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 | |
| US6351494B1 (en) | Classified adaptive error recovery method and apparatus | |
| EP1444837B1 (en) | Occlusion detector for and method of detecting occlusion areas | |
| Bestagini et al. | Video recapture detection based on ghosting artifact analysis | |
| JP2004312558A (ja) | 映像信号処理装置及びそれを用いたテレビ受像機 | |
| KR20030011311A (ko) | 움직임 추정을 용이하게 하는 방법 및 장치 | |
| EP1127455B1 (en) | Video signal processing | |
| JPH07200832A (ja) | 画像間の大域変位の検出方法 | |
| Argyriou et al. | Sub-pixel motion estimation using gradient cross-correlation | |
| JP2007501561A (ja) | ブロックアーティファクトの検出 | |
| KR100503090B1 (ko) | 주파수 변환을 사용한 영화 영상 검출 방법 및 장치 | |
| JP3655927B2 (ja) | シーンチェンジ検出装置 | |
| KR100337723B1 (ko) | 화상데이터의확대율또는축소율을검출하기위한장치및방법 | |
| US9307186B2 (en) | Conversion of video frame rate | |
| GB2487499A (en) | Audio-Visual Signature, Method of Deriving a Signature, and Method of Comparing Audio-Visual Data | |
| JPH07222143A (ja) | 画像間の大域変位の検出方法 | |
| JP3694052B2 (ja) | 動きベクトル検知装置 | |
| JPH08223576A (ja) | 境界整合の動き推定装置 | |
| JPH09284729A (ja) | 画像エッジ検出装置 | |
| JPH06178284A (ja) | 動きベクトル検出回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3529302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120305 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120305 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |