JP5448926B2

JP5448926B2 - スキップ・フレーム数検出方法及び装置

Info

Publication number: JP5448926B2
Application number: JP2010042677A
Authority: JP
Inventors: ケビン・エム・ファーガソン
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 2009-03-05
Filing date: 2010-02-26
Publication date: 2014-03-19
Anticipated expiration: 2030-02-26
Also published as: US20100225767A1; US8184163B2; JP2010206793A; EP2227031A2; EP2227031A3

Description

本発明は、一般に、ビデオ処理方法及び装置、特に、ビデオ品質の測定及び分析を行うためのスキップ・フレーム数検出方法及び装置に関する。

ビデオ品質の測定及び分析には、基準ビデオ・シーケンスの対応フレームを再生するのと同時に試験ビデオ・シーケンスの各フレームを再生する必要がある。これは、試験ビデオ・シーケンス及び基準ビデオ・シーケンスの時間的レジストレーションと呼ばれる。

試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間のビデオ・フォーマットの違い、フレーム・レートの違い、時間的歪、時間的損傷、その他の違いにより、時間的レジストレーションは、手動又は自動方法のいずれによっても困難である。さらに、エンコード、伝送、放送、配信、デコード、その他のビデオ処理は、ビデオ・シーケンスにて１つ以上のフレームがスキップすることに影響する。これは、基準シーケンス及び試験シーケンスにおいて、次のように例示できる。
基準シーケンス：ＡＢＣＤＥＦＧ
試験シーケンス：ＡＢＣＤＥＧＨ
なお、同じ文字は、基準シーケンス及び試験シーケンスの間の対応するビデオ・フレームや考察するフレームを意味する。この例において、フレームＡ、Ｂ、Ｃ、Ｄ及びＥが整列している。しかし、試験ビデオ・シーケンスにおいて、基準ビデオ・シーケンスのフレームＦがスキップされているので、試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間で、最後の２つのフレームが不一致である。

特開２００９−９５０２９公報

そこで、基準ビデオ・シーケンスに対する試験ビデオ・シーケンスにおいてスキップしたフレームの数及び位置を測定する自動的な方法及び装置が望まれている。特に、デジタル圧縮アーティファクト、ランダム・ノイズ、量子化エラー、他の非線形及び線形歪及び干渉の存在に強い測定方法及び装置が望まれている。さらに、ビデオ内容、アスペクト比、ＤＵＴ（被試験装置）ピクセル・クロック、フレーム・レート、ビデオ・パラメータ、他のビデオ特性の予備知識を必要としない測定方法及び装置が望まれている。なお、ビデオ・パラメータには、例えば、水平スケール、垂直スケール、オフセット及びクロッピングなどの相対空間マッピングが含まれる。正確で、コンピュータの効果がある方法及び装置も望まれている。

上述の課題を解決する本発明の態様は、次のようなものである。
（１）試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間のスキップされたフレーム（スキップ・フレーム）を検出する方法であって；複数の試験フレームを有する試験ビデオ・シーケンスと複数の基準フレームを有する基準ビデオ・シーケンスとに関連する第１の複数セグメント対を識別し、上記第１の複数セグメント対内の各セグメント対が上記基準フレームの部分及び上記試験フレームの時間的に整列された部分を有し；上記第１の複数セグメント対内の各セグメント対に対して、関連した整列オフセット及び関連したフリーズ・フレーム・カウントを受け；上記第１の複数セグメント対内の第１セグメント対と上記第１の複数セグメント対内の第２セグメント対との間のセグメント整列オフセットを計算し、上記第２セグメント対が上記第１セグメント対に時間的に続いており；上記第１セグメント対及び上記第２セグメント対の間に時間的に介在する上記第１の複数セグメント対内の任意のセグメント対を有する第２の複数セグメント対内の各セグメント対と上記第１セグメント対に対して、上記関連したフリーズ・フレームのカウントを加算し；上記セグメント整列オフセットを上記加算したフリーズ・フレームのカウントから減算して、上記第１セグメント対及び上記第２セグメント対に関連したスキップ・フレーム・カウントを生じるスキップ・フレーム検出方法。
（２）上記第１セグメント対に対して、上記第１セグメント対の基準フレーム及び上記第１セグメント対に時間的に整列された試験フレームにおける対応フレームの間の類似性の尺度を計算して、第１の複数類似性尺度を求めるステップと；上記第２の複数セグメント対内の各セグメント対に対して、上記セグメント対の基準フレーム内の対応フレームと上記セグメント対に時間的に整列された試験フレームとの間の類似性の尺度を計算して、第２の複数類似性尺度を求めるステップと；上記第１の複数類似性尺度及び上記第２の複数類似性尺度の不連続性を識別するステップと；上記スキップ・フレームのカウントを用いて、上記認識された不連続性を解消するステップを更に具える態様１の方法。
（３）上記第１セグメント対の基準フレーム及び上記第１セグメント対に時間的に整列された試験フレームにおける対応フレームを空間的に整列させるステップを更に具えた態様２の方法。
（４）上記第１セグメントの基準フレーム及び上記第１セグメント対に時間的に整列された試験フレームにおける対応フレーム感の類似性尺度の上記計算は、エラー尺度及び相関尺度から成るグループから選択された尺度を計算することである態様２の方法。
（５）第１の複数セグメント対を識別するステップは；上記複数の試験フレーム内の各試験フレーム及び上記複数の基準フレーム内の各基準フレームをフレーム蒸留測定量に蒸留し；上記フレーム蒸留測定量から、上記試験及び基準ビデオ・シーケンスの間のフレームの空間的整列に対して、局部ピアソン相互相関係数（ＬＰＣＣＣ）の線形ハフ変換を用いて、線形整列測定を実行して、上記ＬＰＣＣＣに至る最良のフィット・ラインを見つけ；上記最良のフィットに沿ったＬＰＣＣＣイメージの各ピクセルに対して、上記ピクセルがしきい値未満の値のときに、高い相関係数を垂直方向に検索して、上記試験及び基準ビデオ・シーケンスの間のフレームの時間的整列に一致する良好なフレームを見つける態様１の方法。
（６）上記フレーム蒸留測定量は、上記試験ビデオ・シーケンス及び上記基準ビデオ・シーケンスの対応フレームの間の平均、標準偏差及び実行値（ＲＭＳ）の差のサマリーである態様５の方法。
（７）上記フレーム蒸留測定量は、上記試験ビデオ・シーケンス及び上記基準ビデオ・シーケンスの対応フレームの各対用のサブイメージの間の平均、標準偏差及び実行値（ＲＭＳ）の差のサマリーである態様５の方法。
（８）上記フレーム蒸留測定量は、上記ＬＰＣＣＣイメージのサマリー・ライン及びサマリー列の１次元イメージである態様５の方法。
（９）試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間のスキップされたフレーム（スキップ・フレーム）を検出する装置であって；複数の試験フレームを有する試験ビデオ・シーケンス及び複数の基準フレームを有する基準ビデオ・シーケンスに関連した第１の複数セグメント対を識別し、上記第１の複数セグメント対内の各セグメント対が上記基準フレームの部分及び上記試験フレームの時間的に整列された部分を有するセグメント対識別器と；上記第１の複数セグメント対内の各セグメント対に関連したフリーズ・フレームのカウント及び整列オフセットを受けるセグメント対パラメータ受信器と；上記第１の複数セグメント対内の第１セグメント対及び上記第１の複数セグメント対内の第２セグメント対の間のセグメント整列オフセットを計算し、上記第２セグメント対が上記第１セグメント対に時間的に続くセグメント整列計算器と；上記第１セグメント対及び上記第２セグメント対の間に時間的に介在する上記第１の複数セグメント対内の任意のセグメント対を有する第２の複数セグメント対内の各セグメント対と上記第１セグメント対に関連した上記関連フリーズ・フレームのカウントを加算するフレーム・フレーム加算器と；上記セグメント整列オフセットを上記加算したフリーズ・フレームのカウントから減算して、上記第１セグメント対及び上記第２セグメント対に関連したスキップ・フレームのカウントを生じる減算器とを具えたスキップ・フレーム検出装置。
（１０）第１基準フレーム及び第１時間的整列試験フレームの間の類似性尺度を計算する類似性尺度計算器と；複数の類似性尺度内の不連続性を識別する不連続性検出器と；上記スキップ・フレーム・カウントを用いて、識別した不連続性を解消する不連続性解消器とを更に具えた態様９の装置。
（１１）上記第１基準フレーム及び上記第１時間的整列試験フレームを空間的に整列させる空間整列器を更に具えた態様１０の装置。
（１２）上記類似性尺度計算器は、エラー尺度及び相関尺度のグループから選択された尺度を計算する態様１０の装置。

本発明の方法及び装置の実施例では、基準ビデオ・シーケンスに対して試験ビデオ・シーケンスにてスキップされたフレーム（本願では、スキップ・フレームという）を検出及び探索する。本発明のいくつかの実施例では、時間的に整列した基準セグメント及び試験セグメントの対を識別する。各セグメント対に関連した整列オフセット及びフリーズされたフレーム（本願では、フリーズ・フレームという）のカウント（計数値）を受信し、これらを用いて、第１セグメント対及び第２セグメント対の間のスキップ・フレームの数を計算する。なお、第２セグメント対は、第１セグメント対に時間的に続く。本発明のいくつかの実施例において、これら２つのセグメントの間のセグメント・オフセットを計算し、第１セグメント対及び第２セグメント対の間に時間的に介在する全てのセグメント対及び第１セグメント対に関連したフリーズ・フレームの数の和からセグメント・オフセット値を減算して、第１セグメント対及び第２セグメント対の間のスキップ・フレームの数を決定する。

本発明のいくつかの実施例は、セグメント対内の対応フレームの間の類似性尺度を計算し、計算した類似性尺度内の不連続性を識別する。これら実施例において、セグメント対に関連したスキップ・フレーム及びフリーズ・フレームのカウントを用いて不連続性を解消することにより、スキップ・フレームの位置を求める。

本発明の上述及びその他の目的、特徴及び利点は、添付図を参照した以下の詳細な説明から明らかになろう。

時間的に整列したセグメント対を形成し、オフセット及びフリーズ・フレームのカウントを用いてスキップ・フレームの数を計算する本発明の実施例の動作を説明する流れ図である。スキップ・フレームを探索するために、類似性尺度計算、類似性尺度の不連続性識別、不連続性解消を行う本発明の実施例の動作を説明する流れ図である。類似性尺度計算の前に空間的整列を行う本発明の実施例の動作を説明する流れ図である。本発明の実施例により、基準セグメント及び試験セグメントに対する類似性尺度の不連続性の解消を説明する図である。本発明の実施例により、基準セグメント及び試験セグメントに対する類似性尺度の不連続性の解消を説明する図である。本発明の実施例により、基準セグメント及び試験セグメントに対する類似性尺度の不連続性の解消を説明する図である。

本発明の実施例は、添付図を参照して最良に理解できよう。なお、同じ要素は、同じ参照符号で示す。これら添付図は、本発明の詳細説明の一部である。

ここでは一般的に説明し図示する本発明の構成要素は、種々の異なる構成で実現できることが理解できよう。よって、本発明の方法及び装置の実施例に関する以下の詳細説明は、本発明の要旨をそのものに限定するものではなく、本発明の実施例を単に示すものである。

本発明の実施例は、試験測定機器内にも実現できる。例えば、本発明の実施例は、ピクチャ品質分析器などのビデオ試験機器内に実現してもよい。テクトロニクス社製ＰＱＡ５００型の如きピクチャ品質分析器が本発明の実施例を含んでもよい。

本発明の実施例の要素は、ハードウェア、ファームウェア及び／又はソフトウェアにより実現できる。ここで開示する実施例は、これら実現方法の１つであるが、本発明の要旨の範囲内で、これら要素を任意の形式で実現できることが当業者には理解できよう。

本発明の実施例を用いて、ビデオ装置からの信号を処理できる。ＤＶＤ再生器やセットトップ・ボックスなどの再生装置、又は、プロダクション装置により、これらビデオ信号を生成する。なお、プロダクション装置は、エンド・ユーザにコンテンツを送信する前に、放送局やその他のプロバイダーが用いる。

ビデオ品質測定及び分析では、基準ビデオ・シーケンスの対応フレームが再生するのと同時に試験ビデオの各フレームを再生する必要がある。これは、試験ビデオ・シーケンス及び基準ビデオ・シーケンスの時間的レジストレーションという。

試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間のビデオ・フォーマットの違い、フレーム・レートの違い、時間的歪、時間的損傷、その他の違いにより、時間的レジストレーションは、手動又は自動方法のいずれによっても困難である。さらに、エンコード、伝送、放送、配信、デコード、その他のビデオ処理は、ビデオ・シーケンスにて１つ以上のフレームがスキップすることに影響する。これは、基準シーケンス及び試験シーケンスにおいて、次のように例示できる。
基準シーケンス：ＡＢＣＤＥＦＧ
試験シーケンス：ＡＢＣＤＥＧＨ
なお、同じ文字は、基準シーケンス及び試験シーケンスの間の対応するビデオ・フレームを意味する。この例において、フレームＡ、Ｂ、Ｃ、Ｄ及びＥが整列している。しかし、試験ビデオ・シーケンスにおいて、基準ビデオ・シーケンスのフレームＦがスキップされているので、試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間で、最後の２つのフレームが不一致である。

本発明の実施例の方法及び装置は、基準シーケンスと呼ぶ基準ビデオ・シーケンスに対して、試験シーケンスと呼ぶ試験ビデオ・シーケンス内のスキップ・フレームを検出して探索する。

図１に関連して、本発明のいくつかの実施例を説明する。これら実施例において、試験シーケンス及び基準シーケンスを受ける（ステップ１０）。この基準シーケンスをセグメント化し（ステップ１２）、試験シーケンス・セグメントを基準シーケンス・セグメントに時間的に整列させて（ステップ１４）、時間的に整列されたセグメントの対を発生する。各試験シーケンス・セグメントに関連する整列オフセットを判断する（ステップ１６）。試験シーケンス・セグメントのオフセットは、セグメント対における基準シーケンス・セグメントの開始フレーム及び試験シーケンス・セグメントの開始フレームの基準シーケンスに対する試験シーケンスにおけるオフセットである。各試験シーケンス・セグメントにおけるフリーズ・フレームの数を判断する（ステップ１８）。siで表す少なくとも第１セグメント対の中間とsjで表す少なくとも第２セグメント対の中間との間で、SkippedFrameBetween(・,・)で表すスキップ・フレームの数は、次式に応じてオフセット値及びフリーズ・フレームのカウントを用いて、計算される（ステップ２０）。

なお、FreezeFrames(s)は、セグメント対sの試験シーケンス・セグメント内のフリーズ・フレームの数を表し、alignOS(s)は、セグメント対s内の試験シーケンス・セグメントの整列オフセットを表す。セグメントの対の間で検出されたスキップ・フレームの数に基づき、スキップ・フレームの位置を判断する（ステップ２２）。本発明のいくつかの実施例において、スキップ・フレームが第１セグメントの開始又は最終フレームの終了のほぼ傍で生じたとき、スキップ・フレームの不正確なカウントが判断される。これらが原因で、終点ベースの一貫性のない結果となる。本発明のいくつかの実施例において、２つのセグメント対の間で検出されないスキップ・フレームは、他の２つのセグメント対の間で検出される。

スキップ・フレームの数を計算するステップ２０は、以下の例に関連して理解できよう。この例において、基準フレームのシーケンスを有する基準シーケンスと試験フレームのシーケンスを有する試験シーケンスとを次のように示す。
ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklm
及び
ABCDEFIJKLMNNOPRSTUVWXYZabcdddefghijklm
なお、フレームＧ、Ｈ及びＱが基準シーケンスに対して試験シーケンスにてスキップしており、試験シーケンス内のフレームＮ及びｄがフリーズ・フレームであり、夫々１つ又は２つのフリーズ・フレームが生じる。典型的なセグメント配列は、セグメント対により与えられる。

セグメント対０： s=0
基準シーケンス・セグメント：ＡＢＣＤＥＦＧＨ
試験シーケンス・セグメント：ＡＢＣＤＥＦＩＪ
FreezeFrames(0)=0及びalignOS(0)=0

セグメント対１： s=1
基準シーケンスのセグメント：ＩＪＫＬＭＮＯＰ
試験シーケンスのセグメント：ＫＬＭＮＮＯＰＲ
FreezeFrames(1)=1及びalignOS(1)=-2

セグメント対２： s=2
基準シーケンス・セグメント：ＱＲＳＴＵＶＷＸ
試験シーケンス・セグメント：ＳＴＵＶＷＸＹＺ
FreezeFrames(2)=0及びalignOS(2)=-2

セグメント対３： s=3
基準シーケンス・セグメント：ＹＺａｂｃｄｅｆ
試験シーケンス・セグメント：ａｂｃｄｄｄｅｆ
FreezeFrames(3)=2及びalignOS(3)=-2

セグメント対４： s=4
基準シーケンス・セグメント：ｇｈｉｊｋｌｍ
試験シーケンス・セグメント：ｇｈｉｊｋｌｍ
FreezeFrames(4)=0及びalignOS(4)=0

ステップ２０では、フリーズ・フレーム及び整列オフセットの数を用いて、セグメント対の間のスキップ・フレームの数を計算する。フリーズ・フレーム及び整列情報の数は、この例では、表１のように要約できる。

少なくともセグメント対０の中間と、少なくともセグメント対１の中間との間のスキップ・フレームの数は、次式により計算できる。

よって、スキップ・フレームの数が２に決定され、これは、基準フレームＧ及びＨが試験セグメント内でスキップしているので、矛盾しない。

少なくともセグメント対０の中間と、少なくともセグメント対２の中間との間のスキップ・フレームの数は、次式により計算できる。

よって、スキップ・フレームの数が３に決定され、これは、基準フレームＧ、Ｈ及びＱが試験セグメント内でスキップしているので、矛盾しない。

少なくともセグメント対０の中間と、少なくともセグメント対３の中間との間のスキップ・フレームの数は、次式により計算できる。

少なくともセグメント対０の中間と、少なくともセグメント対４の中間との間のスキップ・フレームの数は、次式により計算できる。

少なくともセグメント対１の中間と、少なくともセグメント対２の中間との間のスキップ・フレームの数は、次式により計算できる。

よって、スキップ・フレームの数が１に決定され、これは、基準フレームＱが試験セグメント内でスキップしているので、矛盾しない。

少なくともセグメント対１の中間と、少なくともセグメント対３の中間との間のスキップ・フレームの数は、次式により計算できる。

少なくともセグメント対１の中間と、少なくともセグメント対４の中間との間のスキップ・フレームの数は、次式により計算できる。

少なくともセグメント対２の中間と、少なくともセグメント対３の中間との間のスキップ・フレームの数は、次式により計算できる。

よって、スキップ・フレームの数が０に決定され、これは、終点状態により、矛盾しない。

少なくともセグメント対２の中間と、少なくともセグメント対４の中間との間のスキップ・フレームの数は、次式により計算できる。

少なくともセグメント対３の中間と、少なくともセグメント対４の中間との間のスキップ・フレームの数は、次式により計算できる。

よって、スキップ・フレームの数が０に決定され、これは、フレームが試験セグメント内でスキップしないので、矛盾しない。

本発明のいくつかの実施例において、各セグメント対に対する時間的整列ステップ１４、オフセット判断ステップ１６及びフリーズ・フレーム判断ステップ１８は、ケビン・エム・ファーガソンにより２００８年４月１６日に出願された米国特許出願第１２／１０４３８０号明細書「強固なビデオ時間的レジストレーション用のシステム及び方法」（特願２０１０-５０４２３１号及び国際公開第ＷＯ２００８／１２８２４９号パンフレットに対応）に記載された方法及び装置により実現できる。これら実施例において、各セグメント結果を用いることにより、上述の米国特許出願の方法及び装置を連続的に適用して、次の検索を開始する。

本発明の別の実施例において、別の方法により、時間的整列ステップ１４、オフセット判断ステップ１６及びフリーズ・フレーム判断ステップ１８を実行してもよい。典型的な別の方法は、手動方法、自動方法、当該分野で既知の他の方法でもよい。

図１及び図２に関して説明する本発明のいくつかの実施例において、１つ以上のセグメント対内のスキップ・フレームの位置を判断するステップ２２は、セグメント対内の基準シーケンス・フレーム及び試験シーケンス・フレームの間の類似性を測定するステップ３０を有する。典型的な類似性尺度は、ピーク信号対ノイズ比（ＰＳＲＮ）、相関、又は当該分野で既知の類似性の他の尺度である。類似性のフレーム・レベルでの不連続性を識別し（ステップ３２）、この不連続性を解消して（ステップ３４）、スキップ・レベルを探す。

図１及び図３に関して説明する本発明のいくつかの実施例において、スキップ・フレームの位置を判断するステップ２２は、セグメントを空間的に整列させ（ステップ４０）、試験シーケンス・セグメント及び基準シーケンス・セグメントにおける整列済みフレームの間の類似性を計算し（ステップ４２）、類似性におけるフレーム・レベルの不連続性を識別し（ステップ４４）、不連続性を解消する（ステップ４６）。本発明のいくつかの実施例において、空間的に整列させるステップ４０をケビン・エム・ファーガソンが開発した方法及び装置により実行してもよい。かかる方法及び装置は、２００７年１１月２１日に出願された米国特許出願第１１／９４４０５０号明細書「ビデオ空間スケール、オフセット及びクロッピングの測定装置及び測定方法」（特開２００８−１３１６５８号公報に対応）に記載されている。

本発明のいくつかの実施例において、不連続性の解消ステップ３４、４６は、フリーズ・フレームの整列補償である。

本発明のいくつかの実施例において、セグメント対毎の多数のスキップ・フレームを探すには、以前にスキップ・フレーム不連続性と判断された最悪の整列で、その部分が好ましくなるように、そのセグメント対内でセグメントを整列調整し、上述の実施例によって追加のスキップ・フレームを連続的に探す。

本発明によるいくつかの実施例による不連続性の解消は、図４、図５及び図６に示す例に関連して理解できよう。

図４は、典型的な基準セグメント５０及び典型的な試験セグメント５２を示す。例示の基準セグメント５０は、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ及びＨで夫々示す８個のフレーム６０〜６７を具え、例示の試験セグメント５２は、８個のフレーム７０〜７７を具える。ここで、基準セグメント５０に対して、試験セグメント５２では、フレームＣがスキップしており、セグメントＦがフレーム７４及び７５に２回現れている。この典型的なセグメント対用のフリーズ・フレームのカウントは１であり、スキップ・フレームのカウントは１である。典型的な類似性プロット７８を示すが、類似のフレームが高レベルの類似性尺度値９０、９８を発生し、非類似のフレームが低レベルの類似性尺度値９４を発生する。不連続性９２、９６は、高及び低の類似性尺度値の間の遷移にて生じる。よって、この例では、基準フレームＡ６０及び試験フレームＡ７０は、整列しており、高の類似性尺度値８０を発生し；基準フレームＢ６１及び試験フレームＢ７１は、整列しており、高の類似性尺度値８１を発生し；基準フレームＣ６２及び試験フレームＤ７２は、整列しておらず、低の類似性尺度値８２を発生し；基準フレームＤ６３及び試験フレームＥ７３は、整列しておらず、低の類似性尺度値８３を発生し；基準フレームＥ６４及び試験フレームＦ７４は、整列しておらず、低の類似性尺度値８４を発生し；基準フレームＦ６５及び試験フレーム（フリーズ・フレーム）Ｆ７５は、整列しており、高の類似性尺度値８５を発生し；基準フレームＧ６６及び試験フレームＧ７６は、整列しており、高の類似性尺度値８６を発生し；基準フレームＨ６７及び試験フレームＨ７７は、整列しており、高の類似性尺度値８７を発生する。試験セグメント５２のフレームＣが基準セグメント５０に対して失われるので、基準セグメント５０におけるフレームＣの位置で不連続性９２が生じて、スキップ・フレームの位置が判る。フリーズ・フレームがセグメントを整列状態に戻すまで、類似性尺度が低レベルの値９４に留まる。ここで、類似性尺度のプロットにおける他の不連続性９６が生じる。

図５は、典型的な基準セグメント５０及び典型的な試験セグメント１０２を示す。例示の基準セグメント５０は、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ及びＨで夫々示す８個のフレーム６０〜６７を具え、例示の試験セグメント１０２は、８個のフレーム１１０〜１１７を具える。ここで、基準セグメント５０に対して、試験セグメント１０２では、フレームＣ及びＥがスキップしており、セグメントＦがフレーム１１３及び１１４に２回現れている。この例示のセグメント対でのフリーズ・フレームのカウントは１であり、スキップ・フレームのカウントは２である。典型的な類似性プロット１１８を示すが、類似のフレームが高レベルの類似性尺度値１３０を発生し、非類似のフレームが低レベルの類似性尺度値１３４を発生する。不連続性１３２は、高及び低の類似性尺度値の間の遷移にて生じる。よって、この例では、基準フレームＡ６０及び試験フレームＡ１１０は、整列しており、高の類似性尺度値１２０を発生し；基準フレームＢ６１及び試験フレームＢ１１１は、整列しており、高の類似性尺度値１２１を発生し；基準フレームＣ６２及び試験フレームＤ１１２は、整列しておらず、低の類似性尺度値１２２を発生し；基準フレームＤ６３及び試験フレームＦ１１３は、整列しておらず、低の類似性尺度値１２３を発生し；基準フレームＥ６４及び試験フレーム（フリーズ・フレーム）Ｆ１１４は、整列しておらず、低の類似性尺度値１２４を発生し；基準フレームＦ６５及び試験フレームＧ１１５は、整列しておらず、低の類似性尺度値１２５を発生し；基準フレームＧ６６及び試験フレームＨ１１６は、整列しておらず、低の類似性尺度値１２６を発生し；基準フレームＨ６７及び試験フレームＩ１１７は、整列しておらず、低の類似性尺度値８７を発生する。試験セグメント１０２のフレームＣが基準セグメント５０に対して失われているので、基準セグメント５０におけるフレームＣの位置で不連続性１３２が生じて、スキップ・フレームの位置が判る。フリーズ・フレームが過ぎても類似性尺度が低レベルの値１３４に留まるので、第２スキップ・フレームの位置が示される。

図６は、典型的な基準セグメント５０及び典型的な試験セグメント１３８を示す。例示の基準セグメント５０は、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ及びＨで夫々示す８個のフレーム６０〜６７を具え、例示の試験セグメント１３８は、８個のフレーム１４０〜１４７を具える。ここで、基準セグメント５０に対して、試験セグメント１３８では、フレームＣ及びＥがスキップしており、セグメントＤがフレーム１４２及び１４３に２回現れている。この例示のセグメント対でのフリーズ・フレームのカウントは１であり、スキップ・フレームのカウントは２である。典型的な類似性プロット１４８を示すが、類似のフレームが高レベルの類似性尺度値１６０及び１６８を発生し、非類似のフレームが低レベルの類似性尺度値１６４及び１７２を発生する。不連続性１６２、１６６、１７０は、高及び低の類似性尺度値の間の遷移にて生じる。よって、この例では、基準フレームＡ６０及び試験フレームＡ１４０は、整列しており、高の類似性尺度値１５０を発生し；基準フレームＢ６１及び試験フレームＢ１４１は、整列しており、高の類似性尺度値１５１を発生し；基準フレームＣ６２及び試験フレームＤ１４２は、整列しておらず、低の類似性尺度値１５２を発生し；基準フレームＤ６３及び試験フレーム（フリーズ・フレーム）Ｄ１４３は、整列しており、高の類似性尺度値１５３を発生し；基準フレームＥ６４及び試験フレームＦ１４４は、整列しておらず、低の類似性尺度値１５４を発生し；基準フレームＦ６５及び試験フレームＧ１４５は、整列しておらず、低の類似性尺度値１５５を発生し；基準フレームＧ６６及び試験フレームＨ１４６は、整列しておらず、低の類似性尺度値１５６を発生し；基準フレームＨ６７及び試験フレームＩ１４７は、整列しておらず、低の類似性尺度値１５７を発生する。試験セグメント１３８のフレームＣが基準セグメント５０に対して失われているので、基準セグメント５０におけるフレームＣの位置で不連続性１６２が生じて、スキップ・フレームの位置が判る。フリーズ・フレームがセグメントを整列状態に戻すときに、類似性尺度１６６が低の値１６４から高の値１６８にジャンプする。フリーズ・フレーム・カウントが１に対応するフリーズ・フレームが既に不連続性解消にて使用されているので、続く不連続性１７０は、第２スキップ・フレームを示す。よって、２個のスキップ・フレーム及び１個のフレーム・フレームが解消した。

上述の例は、不連続性の解消を示すためであり、不連続性解消の規則の網羅的な説明を目的としたものではない。

上述で用いた用語及び説明は、本発明の説明のためであり、そのものに限定するものではない。かかる用語及び表現は、図示し説明した特徴と均等なものを排除するものではない。

５０基準セグメント
５２、１０２、１３８試験セグメント
７８、１１８、１４８類似性プロット

Claims

試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間でスキップ・フレームの数を検出する方法であって、
ａ）複数の試験フレームを有する試験ビデオ・シーケンスと複数の基準フレームを有する基準ビデオ・シーケンスとに関し、上記基準フレームの部分と上記試験フレームの時間的に整列する部分とから夫々構成される複数セグメント対を特定する処理と、
ｂ）上記複数セグメント対内の上記セグメント対の夫々に関し、最初の上記基準フレームに対する最初の上記試験フレームのオフセットである関連する整列オフセットと、関連するフリーズ・フレーム・カウントとを受ける処理と、
ｃ）上記複数セグメント対内の第１セグメント対と、上記複数セグメント対内の上記第１セグメント対より時間的に後に続く第２セグメント対との間でセグメント間整列オフセットを計算する処理と、
ｄ）上記第１セグメント対及び上記第２セグメント対の時間的に中間に存在する各セグメント対と上記第１セグメント対とに関する上記関連するフリーズ・フレーム・カウントを合算する処理と、
ｅ）上記合算したフリーズ・フレーム・カウントから上記セグメント間整列オフセットを減算して、上記第１セグメント対及び上記第２セグメント対に関するスキップ・フレーム・カウントを生成する処理と
を具えるスキップ・フレーム数検出方法。
試験ビデオ・シーケンス及び基準ビデオ・シーケンスの間でスキップ・フレームの数を検出する方法であって、
ａ）複数の試験フレームを有する試験ビデオ・シーケンスと複数の基準フレームを有する基準ビデオ・シーケンスとに関し、上記基準フレームの部分と上記試験フレームの時間的に整列する部分とから夫々構成される複数セグメント対を特定するセグメント特定部と、
ｂ）上記複数セグメント対内の上記セグメント対の夫々に関し、最初の上記基準フレームに対する最初の上記試験フレームのオフセットである関連する整列オフセットと、関連するフリーズ・フレーム・カウントとを受けるセグメント対パラメータ受信部と、
ｃ）上記複数セグメント対内の第１セグメント対と、上記複数セグメント対内の上記第１セグメント対より時間的に後に続く第２セグメント対との間でセグメント間整列オフセットを計算するセグメント整列計算部と、
ｄ）上記第１セグメント対及び上記第２セグメント対の時間的に中間に存在する各セグメント対と上記第１セグメント対とに関する上記関連するフリーズ・フレーム・カウントを合算するフリーズ・フレーム加算部と、
ｅ）上記合算したフリーズ・フレーム・カウントから上記セグメント間整列オフセットを減算して、上記第１セグメント対及び上記第２セグメント対に関するスキップ・フレーム・カウントを生成する減算部と
を具えたスキップ・フレーム数検出装置。