JP5684321B2 - 部分映像検出装置、部分映像検出方法、及び部分映像検出プログラム - Google Patents

Description

本発明は、部分映像検出装置、部分映像検出方法、及び部分映像検出プログラムにかかり、特に、画像間においてフレームが一致する部分映像の区間を検出する部分映像検出装置、部分映像検出方法、及び部分映像検出プログラムに関する。

従来から、映像間において、フレームが一致する区間（ショット）を検出することが行われており、例えば、蓄積映像と問い合わせ映像との間でフレームが一致する部分映像の区間を検出対象区間として検出することが行われている。また、そのための検出方法が知られている。

従来の一致区間の検出方法として、静的な固定値として設定した閾値を用いる方法がある。当該検出方法では、まず、一致区間を検出するため、一致区間で得られると推定される類似値と不一致区間で得られると推定される類似値とを区別するための閾値を設定する。そして、蓄積映像の各フレームと問い合わせ映像の各フレームとを比較して、両フレーム間の類似値が閾値を上回り始めた個所（フレーム）を検出対象区間の開始位置、下回り始めた個所（フレーム）を検出対象区間の終了位置として検出する。

また、問合せ映像と蓄積映像との比較を行わず、問合せ映像の各フレーム間の類似値の変化を用いて、類似値の変化が大きい位置を、ショットの開始位置及び終了位置として検出する手法がある。例えば、類似値がより大きい方が似ている、より小さい方が似ていないという場合、着目したフレームと次のフレームとの間で類似値が非常に小さくなる変化を示した場合にショットの終了位置及び次ショットの開始位置として検出する手法がある（例えば、非特許文献１参照）。

谷口行信，外村佳信，浜田洋，「映像ショット切換え検出法とその映像アクセスインタフェースへの応用」，電子情報通信学会論文誌 D-II, J79-D-2(4), pp.538-546.

しかしながら、静的な固定値として設定された閾値による検出方法では、問い合わせ映像に何らかの編集処理、例えば輝度の調整や色調整が行われた場合、比較した映像間でフレームの内容が一致するショット区間においても、類似値が閾値を下回ることがある。そのため、検出対象区間の検出が困難になる場合がある。また、検出対象区間の映像と、当該検出対象区間の前もしくは後の不一致区間の映像が極めて類似している場合は、一致区間だけでなく、前もしくは後の不一致区間も類似値が閾値を超える場合がある。そのため、検出対象区間の開始もしくは終了位置を誤検出してしまったり、検出が出来なかったりする場合がある。

また、問合せ映像における各フレーム間の類似値の変化に基づく検出方法では、検出対象区間の映像と、当該検出対象区間の前もしくは後の不一致区間の映像が極めて類似している場合は、検出対象区間と不一致区間の間での類似値の変化が小さいため、検出対象区間の開始もしくは終了位置を誤検出してしまったり、検出出来なかったりする場合がある。

本発明は上記問題点を考慮してなされたものであり、類似値に応じて適切にフレームが一致する部分映像の位置を検出することができる、部分映像検出装置、部分映像検出方法、及び部分映像検出プログラムを提供することを目的とする。

上記目的を達成するために、本発明の部分映像検出装置は、対応する部分映像を含み、かつ、前記部分映像の各フレームについて同期するようにフレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記第１の映像及び前記第２の映像の各々における前記部分映像の開始位置及び終了位置を検出する部分映像検出装置であって、各フレームの画像の特徴を表す特徴値を抽出する特徴抽出手段と、前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、各フレームについて、前記第１の映像と前記第２の映像との間で対応付けられた前記フレームの類似度合いを示す類似値を算出する類似値算出手段と、前記部分映像の開始位置を含むように設定された第１処理対象区間内に設定され、かつ、前記第１処理対象区間より短い複数の第１閾値算出区間の各々について、前記第１閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第１閾値を算出し、前記部分映像の終了位置を含むように設定された第２処理対象区間内に設定され、かつ、前記第２処理対象区間より短い複数の第２閾値算出区間の各々について、前記第２閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第２閾値を算出する閾値算出手段と、前記閾値算出手段で算出した第１閾値と、前記類似値とを比較した比較結果に基づいて、前記第１閾値算出区間毎に、前記部分映像の開始位置の候補を設定し、前記閾値算出手段で算出した第２閾値と、前記類似値とを比較した比較結果に基づいて、前記第２閾値算出区間毎に、前記部分映像の終了位置の候補を設定する検出位置設定手段と、前記検出位置設定手段で設定した前記開始位置の候補毎に、前記開始位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記開始位置の候補が適切であるか否か判定し、前記検出位置設定手段で設定した前記終了位置の候補毎に、前記終了位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記終了位置の候補が適切であるか否か判定する検出位置判定手段と、を備える。

また、本発明の部分映像検出装置の前記閾値算出手段は、前記第１閾値算出区間に含まれる各フレームの前記類似値に基づいて、前記類似値の頻度分布を求め、前記求めた前記類似値の頻度分布のうち、着目した類似値より大きい類似値の頻度分布の分散と、前記着目した類似値より小さい類似値の頻度分布の分散とが最も大きくなるときの前記着目した類似値を、前記第１閾値算出区間について算出される第１閾値とし、前記第２閾値算出区間に含まれる各フレームの前記類似値に基づいて、前記類似値の頻度分布を求め、前記求めた前記類似値の頻度分布のうち、着目した類似値より大きい類似値の頻度分布の分散と、前記着目した類似値より小さい類似値の頻度分布の分散とが最も大きくなるときの前記着目した類似値を、前記第２閾値算出区間について算出される第２閾値とすることが好ましい。

また、本発明の部分映像検出装置の前記検出位置判定手段は、前記検出位置設定手段により設定した前記開始位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記開始位置の候補より前の各フレームの類似値の平均値をm(i)、前記開始位置の候補より前の各フレームの類似値の標準偏差をstd(i)、前記開始位置の候補より後の各フレームの類似値の平均値をm(c)、前記開始位置の候補より後の各フレームの類似値の標準偏差をstd(c)とし、下記（Ｉ）式、（ＩＩ）式、及び（ＩＩＩ）式により算出されたbが所定の閾値以上である場合に、前記開始位置の候補が適切であると判定し、前記検出位置設定手段により設定した前記終了位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記終了位置の候補より後の各フレームの類似値の平均値をm’(i)、前記終了位置の候補より後の各フレームの類似値の標準偏差をstd’(i)、前記終了位置の候補より前の各フレームの類似値をm’(c)、前記終了位置の候補より前の各フレームの類似値の標準偏差をstd’(c)とし、下記（ＩＶ）式、（Ｖ）式、及び（ＶＩ）式により算出されたb’が所定の閾値以上である場合に、前記終了位置の候補が適切であると判定してもよい。
a(i) = std(i)/m(i) ・・・（Ｉ）
a(c) = std(c)/m(c) ・・・（ＩＩ）
b = a(i)/a(c) ・・・（ＩＩＩ）
a’(c) = std’(c)/m’(c) ・・・（ＩＶ）
a’(i) = std’(i)/m’(i) ・・・（Ｖ）
b’ = a’(i)/a’(c) ・・・（ＶＩ）

また、本発明の部分映像検出装置の前記検出位置判定手段は、前記検出位置設定手段により設定した前記開始位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記開始位置の候補より前の各フレームの類似値の平均値をm(i)、前記開始位置の候補より後の各フレームの類似値の平均値をm(c)とし、下記（ＶＩＩ）式により算出されたdが所定の閾値以上である場合に、または、前記開始位置の候補より後の各フレームの類似値の標準偏差をstd(c)とし、下記（ＩＸ）式により算出されたeが所定の閾値以下である場合に、前記開始位置の候補が適切であると判定し、前記検出位置設定手段により設定した前記終了位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記終了位置の候補より後の各フレームの類似値の平均値をm’(i)、前記終了位置の候補より前の各フレームの類似値をm’(c)とし、下記（ＶＩＩＩ）式により算出されたd’が所定の閾値以上である場合に、または、前記終了位置の候補より前の各フレームの類似値の標準偏差をstd’(c)とし、下記（Ｘ）式により算出されたe’が所定の閾値以下である場合に、前記終了位置の候補が適切であると判定してもよい。
d = m(i)/m(c) ・・・（ＶＩＩ）
d’ = m’(i)/m’(c) ・・・（ＶＩＩＩ）
e = std(c)/m(c) ・・・（ＩＸ）
e’ = std’(c)/m’(c) ・・・（Ｘ）

本発明の部分映像検出方法は、対応する部分映像を含み、かつ、前記部分映像の各フレームについて同期するようにフレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記第１の映像及び前記第２の映像の各々における前記部分映像の開始位置及び終了位置を検出する部分映像検出方法であって、特徴抽出手段によって、各フレームの画像の特徴を表す特徴値を抽出するステップと、類似値算出手段によって、前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、各フレームについて、前記第１の映像と前記第２の映像との間で対応付けられた前記フレームの類似度合いを示す類似値を算出するステップと、閾値算出手段によって、前記部分映像の開始位置を含むように設定された第１処理対象区間内に設定され、かつ、前記第１処理対象区間より短い複数の第１閾値算出区間の各々について、前記第１閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第１閾値を算出し、前記部分映像の終了位置を含むように設定された第２処理対象区間内に設定され、かつ、前記第２処理対象区間より短い複数の第２閾値算出区間の各々について、前記第２閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第２閾値を算出するステップと、検出位置設定手段によって、前記閾値算出手段で算出した第１閾値と、前記類似値とを比較した比較結果に基づいて、前記第１閾値算出区間毎に、前記部分映像の開始位置の候補を設定し、前記閾値算出手段で算出した第２閾値と、前記類似値とを比較した比較結果に基づいて、前記第２閾値算出区間毎に、前記部分映像の終了位置の候補を設定するステップと、検出位置判定手段によって、前記検出位置設定手段で設定した前記開始位置の候補毎に、前記開始位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記開始位置の候補が適切であるか否か判定し、前記検出位置設定手段で設定した前記終了位置の候補毎に、前記終了位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記終了位置の候補が適切であるか否か判定するステップと、を備える。

本発明の部分映像検出プログラムは、コンピュータに、本発明の部分映像検出装置の各手段として機能させるためのものである。

本発明の部分映像検出装置、部分映像検出方法、及び部分映像検出プログラムによれば、類似値に応じて適切にフレームが一致する部分映像の位置を検出することができる、という効果が得られる。

本実施の形態の部分映像検出装置の一例の概略を示すブロック図である。 本実施の形態の部分映像検出装置で実行される蓄積処理の一例のフローチャートである。 本実施の形態の部分映像検出装置で実行される開始位置検出処理の一例のフローチャートである。 本実施の形態の部分映像検出装置で実行される開始位置検出処理を説明するための説明図である。 本実施の形態の部分映像検出装置で実行される開始位置検出処理及び検出位置判定処理を説明するための説明図である。 本実施の形態の部分映像検出装置で実行される開始位置の検出位置判定処理の一例のフローチャートである。 本実施の形態の部分映像検出装置で実行される終了位置検出処理の一例のフローチャートである。 本実施の形態の部分映像検出装置で実行される終了位置の検出位置判定処理の一例のフローチャートである。 本実施の形態の部分映像検出装置のその他の一例の概略を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。

まず、本実施の形態の部分映像検出装置の概略構成について説明する。図１には、本実施の形態の部分映像検出装置１０の構成の一例を表したブロック図を示す。本実施の形態では、部分映像検出装置１０が、蓄積映像１２と入力映像１４との間で内容が一致するショット（区間）の開始位置及び終了位置を検出する機能を有する場合について説明する。以下では、内容が一致する区間となる部分映像のショットを「着目ショット」という。また、「ショット」とは、複数のフレームから構成される一連の同じ内容のまとまりのことをいう。

図１に示すように、本実施の形態の部分映像検出装置１０は、特徴抽出部２０、類似値算出部２２、閾値算出部２４、検出位置設定部２６、検出位置判定部２８、及び特徴データベース３０を備えている。部分映像検出装置１０は、予め特徴データベース３０に蓄積映像特徴３２が蓄積された蓄積映像１２と処理対象となる入力映像１４との間で内容が一致する着目ショット区間を検出して検出結果１８を出力する機能を有する。

特徴抽出部２０は、映像の各フレームから特徴を抽出する機能を有する。特徴データベース３０は、入力映像１４の各ショット区間の元素材を含む蓄積映像１２の各フレームから抽出した蓄積映像特徴３２が予め蓄積されたデータベースである。類似値算出部２２は、入力映像１４のフレームから抽出された特徴値と、特徴データベース３０に蓄積された蓄積映像特徴３２のうちの対応するフレームの特徴値との間の類似度合いを示す類似値を算出する機能を有する。閾値算出部２４は、類似値算出部２２で算出された類似値の値から、処理対象区間内をシフトするように設定した複数の閾値算出区間毎に閾値を算出する機能を有する。検出位置設定部２６は、閾値算出部２４にて算出された閾値算出区間毎の閾値を用いて、着目ショット区間の開始位置の候補及び終了位置の候補の位置を閾値算出区間毎に設定する機能を有する。検出位置判定部２８は、検出位置設定部２６により閾値算出区間毎に設定された着目ショット区間の開始位置もしくは終了位置の候補を、検出結果１８として出力するか、誤検出として破棄するかを判定する機能を有する。

部分映像検出装置１０におけるこれら各処理部は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を備えたコンピュータにより実現されており、ＣＰＵが、ＲＯＭに記憶されているプログラムを実行することにより、詳細を後述する各処理部における処理が実行される。

特徴抽出部２０は、 蓄積映像１２及び入力映像１４の各フレームの画像から特徴を抽出し、各フレームを特徴づける情報としての特徴値を出力する機能を有する。特徴値としては、例えば、各フレームの画像を構成する画素のＲＧＢ値が利用可能であるが、特に限定されず、画像の性質や特徴等に応じて予め定めておけばよい。なお、複数種類の特徴を抽出して、複数種類の特徴値を組み合わせて出力するようにしてもよい。

なお、本実施の形態では、着目ショット区間のフレーム位置を検出することを目的としているため、特徴値は、複数のフレームを一組にまとめた形で各組毎に算出して付与するのではなく、フレーム毎に算出することが好ましい。本実施の形態では、例えば、フレーム毎に特徴値を抽出し、当該フレームの特徴値として付与することが考えられる。

特徴データベース３０は、特徴抽出部２０を用いて、予め蓄積映像１２の各フレームの画像から抽出された特徴値を、蓄積映像特徴３２として蓄積しておく機能を有する。

類似値算出部２２は、特徴抽出部２０で抽出された入力映像１４の各フレームから抽出された特徴値と、特徴データベース３０に蓄積されている蓄積映像１２の各フレームの特徴値（蓄積映像特徴３２）とに基づいて、入力映像１４と蓄積映像１２とで対応するフレームの特徴値の類似度の大小を評価可能な類似値を算出する機能を有する。類似値としては、例えば、正規化相関が使用可能である。正規化相関は、比較する特徴値が全く同一であれば１、特徴値の類似度が下がるに従い、１から０に近づく値を出力する類似尺度である。従って、正規化相関の値が１に近いほど比較した特徴間の類似度が高く、正規化相関の値が下がるにつれて、特徴間の類似度が低いことを表す。

なお、本実施の形態では、事前に蓄積映像１２と入力映像１４とは、着目ショット区間に含まれる各フレームが同期するように、着目ショット区間の前後と着目ショット区間とに含まれる各フレームの対応付けが与えられており、類似値算出部２２では、入力映像１４の着目ショット区間の各フレームの特徴値と、当該フレームの各々に対応する蓄積映像１２のフレームの特徴値とが比較される。同期のとり方は、特に限定されるものではないが、例えば、蓄積映像１２の各フレームと入力映像１２の各フレームとを対応付けた場合の、対応するフレーム間のずれ量を求め、ずれ量の総和を算出する。フレーム全体の対応付けを１つずつずらしながら、対応するフレーム間のずれ量の総和を各々算出する。対応するフレーム間のずれ量の総和が最小となるときのフレームの対応付けが、着目ショット区間の各フレームが同期しているときの対応付けとなる。

閾値算出部２４は、類似値算出部２２によって算出された、入力画像１４と蓄積画像１２との間の各フレームの類似値を用いて、閾値を算出して設定する。本実施の形態の閾値算出部２４では、処理対象区間内をシフトするように設定した複数の閾値算出区間毎に、閾値を設定する。本実施の形態の閾値算出部２４では、閾値の設定方法として判別分析を用いた手法により、閾値より大きい類似値の頻度分布と閾値より小さい類似値の頻度分布をより明確に分ける値を閾値として設定する。

なお、閾値の設定方法としては、例えば閾値算出区間内の各フレームの類似値の平均と標準偏差とを用いて閾値を設定する方法が考えられる。しかしながら、このような手法では、類似値の推移の中で細かな変動がある場合は、本来の検出位置以外の非常に多数の位置を検出位置候補として出力するような閾値を設定してしまう場合がある。また、逆に、隣接したショット間で類似しており、ショット間の類似値の変化が非常に小さい場合は、その変化を検出不能な閾値が設定され、全てが不一致区間となるような検出位置候補が出力される懸念がある。

そのため、閾値の設定方法としては、着目している閾値算出区間において、類似値が高い区間と低い区間とに明確に分割可能な閾値を設定できる方法を用いることが好ましく、本実施の形態のように、判別分析を用いることが特に好ましいい。

検出位置設定部２６は、各閾値算出区間において、閾値算出部２４により算出された当該閾値算出区間の閾値を用いて、着目ショット区間の開始位置の候補または終了位置の候補を設定する機能を有する。着目ショット区間から開始位置の候補を検出する場合は、閾値算出区間の開始位置から類似値を映像の進行方向にトラッキングし、類似値が閾値未満から閾値以上に変化する位置を、着目ショット区間の開始位置の候補として出力する。また、着目ショット区間から終了位置の候補を検出する場合は、閾値算出区間の終了位置から類似値を映像の進行方向とは逆方向にトラッキングし、類似値が閾値未満から閾値以上に変化する位置を、ショット区間の終了位置の候補として出力する。このように部分映像検出装置１０では、検出位置設定部２６により、閾値算出区間毎に着目ショット区間の開始位置の候補または終了位置の候補が出力される。

検出位置判定部２８は、本発明の主要をなす部分であり、検出位置設定部２６で設定された、処理対象区間における複数の開始位置の候補及び複数の終了位置の候補に対し、適切であるか否かを判定することにより、最終的な検出位置結果として採用して検出結果１８として出力するか、誤った検出位置候補と判定して結果を破棄するのかの判定を行う機能を有する。

次に、本実施の形態の部分映像検出装置１０の動作について説明する。

本実施の形態の部分映像検出装置１０では、上述したように、予め特徴データベース３０に蓄積映像特徴３２を蓄積させておく。まず、特徴データベース３０に蓄積映像特徴３２を蓄積させるための蓄積処理について説明する。図２には、本実施の形態の蓄積処理の一例のフローチャートを示す。

ステップＳ１００では、蓄積映像１２の全てのフレームの特徴値を蓄積したか否か判断する。本実施の形態の部分映像検出装置１０では、蓄積映像１２のいずれのショットが入力映像１４に使用されている使用区間（着目ショット）となるのかが事前には不明であるため、蓄積映像１２の全てのフレームの特徴値を蓄積映像特徴３２として特徴データベース３０に蓄積しておく。そのため、本ステップでは、蓄積映像１２の全てのフレームの特徴値を蓄積したか否かの判断を行う。特徴値が未蓄積のフレームが存在する場合は、ステップＳ１０２へ進む。

ステップＳ１０２では、特徴抽出部２０により蓄積映像１２のフレームの特徴を抽出して特徴値を特徴データベース３０に出力する。次のステップＳ１０４では、特徴データベース３０により、フレームと特徴値とが対応付けられて蓄積映像特徴３２として蓄積される。

ステップＳ１０４の後は、ステップＳ１００に戻ってステップＳ１００〜Ｓ１０４の処理を繰り返し、蓄積映像１２の全てのフレームの特徴値が蓄積映像特徴３２として特徴データベース３０に蓄積された場合は、本処理を終了する。このようにして事前に、特徴データベース３０に蓄積映像１２の全フレームの特徴値である蓄積映像特徴３２が蓄積される。

さらに、本実施の形態の部分映像検出装置１０における、着目ショット区間の開始位置を検出（設定）するための開始位置検出処理について説明する。当該開始位置検出処理は、特徴抽出部２０、類似値算出部２２、閾値算出部２４、及び検出位置設定部２６により実行される。図３には、本実施の形態の開始位置検出処理の一例のフローチャートを示す。また、図４には、開始位置検出処理を説明するための説明図を示す。さらに、図５には、開始位置検出処理及び検出位置判定処理（詳細後述）を説明するための説明図を示す。

まず、ステップＳ２００では、蓄積映像１２と入力映像１４とに基づいて、推定開始位置を含む一連の区間を第１処理対象区間として設定する。本実施の形態の部分映像検出装置１０では、予め、着目ショットの開始位置を大まかに検出しておき、検出した位置を推定開始位置としておく。推定開始位置の検出方法は特に限定されず、大まかな位置が分かればよいため、例えば、従来の検出方法等を用いてもよい。推定開始位置は大まかな位置であり、実際の開始位置とはずれがあるため、部分映像検出装置１０では、当該ずれを許容するために、ずれると見込まれる時間以上の区間の幅（長さ）を実験的に得ておき、第１処理対象区間として設定する。例えば、推定開始位置を含む前後Ｎ秒間を第１処理対象区間として設定すればよい。図５に示した具体例では、入力映像１４のフレームｆｎ１〜ｆｎ１２までが処理対象区間として設定される。なお、本実施の形態では、第１処理対象区間と後述する終了位置の検出における第２処理対象区間とを総称する場合は、「処理対象区間」と称している。

次のステップＳ２０２では、特徴抽出部２０により、上述したように、入力映像１４の第１処理対象区間内の各フレームの特徴を抽出して特徴値を出力する。図５に示した具体例では、入力映像１４のフレームｆｎ１〜ｆｎ１２各々の特徴値を出力する。

次のステップＳ２０４では、類似値算出部２２により、上述したように、第１処理対象区間内の入力映像１４の各フレームと対応する蓄積映像１２の各フレームとの間の類似値を各々算出する。図５に示した具体例では、入力映像１４のフレームｆｎ１と蓄積映像１２のフレームｆｍ１との類似値を算出し、さらに、入力映像１４のフレームｆｎ２と蓄積映像１２のフレームｆｍ２との類似値を算出する。このように類似値算出部２２は、類似値の算出処理を入力映像１４のフレームｆｎ１２及び蓄積映像１２のフレームｆｍ１２まで繰り返す。

次のステップＳ２０６では、第１処理対象区間の終了位置まで、第１閾値を算出するための第１閾値算出区間をシフトさせたか否か判断する。なお、第１閾値算出区間は、第１処理対象区間に含まれ、かつ第１閾値算出区間の区間長は、第１処理対象区間の区間長よりも短いものとしている。第１処理対象区間の終了位置まで第１閾値算出区間をシフトさせていない場合は、ステップＳ２０８へ進む。なお、本実施の形態では、第１閾値算出区間と後述する終了位置の検出における第２閾値算出区間とを総称する場合は、「閾値算出区間」と称している。また同様に、第１閾値と後述する終了位置の検出における第２閾値とを総称する場合は、「閾値」と称している。

ステップＳ２０８では、閾値算出部２４により、第１処理対象区間の中で、第１閾値算出区間をシフトさせて新たに設定する。なお、本実施の形態では、着目ショット区間の開始位置を検出する場合は、第１処理対象区間の開始位置から順次、第１閾値算出区間をシフトさせて設定する。

ここで、本実施の形態の部分映像検出装置１０において、閾値算出区間を設定する必要について説明する。上述したように、入力映像１４は編集される過程で、輝度値の調整や色の調整等が行われ、蓄積映像１２と同じ内容であっても、抽出された特徴値が変化している場合がある。従って、着目ショット区間の類似値と隣接したショット区間の類似値との差が小さくなり、類似値の変化が小さくなる。また、着目ショット区間と隣接したショット区間とが非常に類似している場合は、同様に着目ショット区間の類似値と隣接したショット区間の類似値との差が非常に小さくなり、類似値の変化が非常に小さくなる。このような場合は、閾値として、小さい変化量を的確に区別出来る値を設定する必要がある。そのためには、類似値の詳細な変化から閾値を得られるように、ある程度短い幅の区間を閾値算出区間とする必要がある。長い閾値区間長を設定すると、着目ショット区間と隣接したショット区間との間の類似値の変化以外の、例えば隣接したショットの不一致区間と入力映像１４の区間との比較により算出された、不要な区間（着目ショット区間以外の区間）の一連の類似値の変化に基づいて、類似値の変化が大きな位置を検出するような閾値が算出され、本来検出すべき位置が検出可能な閾値が算出されない可能性がある。

また、完全に一つのショットを含み、例えば三つのショットにまたがるように閾値算出区間を設定してしまうと、２箇所の開始位置を含むことになり、適切な位置を検出することができない懸念がある。従って、一つのショットを完全に含む事がないような幅に閾値算出区間を設定することが好ましい。閾値算出区間の幅は、処理対象（入力映像１４）に依存し、例えば、ショットの切り替えが頻繁な場合は、当該切り替えよりも短い時間に設定することが好ましい。本実施の形態では、このような閾値算出区間の幅を、予め実験的に得ておく。

次のステップＳ２１０では、ステップＳ２０８で設定した第１閾値算出区間（着目閾値算出区間）内に含まれる各フレームの類似値の頻度分布を作成する。次のステップＳ２１２では、全ての類似値に着目して分離度を算出したか否か判断する。未だ分離度を算出していない類似値が存在する場合は、着目した類似度を変更して、ステップＳ２１４へ進む。

ステップＳ２１４では、着目した類似値での分離度を算出する。具体的には、ある着目した類似値より大きい類似値の頻度分布を一致区間のクラスに、ある着目した類似値より小さい類似値の頻度分布を不一致区間のクラスと分けた時の、各クラスにおける類似度の頻度分布の分散を各々算出し、各クラスの分散に基づいて分離度を算出した後、ステップＳ２１２に戻り、ステップＳ２１２、Ｓ２１４の処理を繰り返す。一方、全ての類似値に着目して分離度を算出した場合は、ステップＳ２１２の後、ステップＳ２１６へ進む。

ステップＳ２１６では、最も分離度の高くなる（各クラスの類似値の頻度分布の分散が最大となる）ときに着目した類似値を、着目閾値算出区間から算出される第１閾値として設定する。

次のステップＳ２１８では、第１閾値算出区間の位置を第１処理対象区間内でシフトした後、ステップＳ２０６に戻り、シフトした第１閾値算出区間を着目閾値算出区間として、ステップＳ２０６〜Ｓ２１８の処理を繰り返して、着目閾値算出区間の第１閾値を設定する。一方、第１処理対象区間の終了位置まで第１閾値算出区間をシフトした場合は、ステップＳ２０６の後、ステップＳ２２０へ進む。このように本実施の形態では、ステップＳ２００〜Ｓ２１８の処理により、第１閾値算出区間毎に、一つの第１閾値が得られる。

次のステップＳ２２０では、全ての第１閾値算出区間における開始位置の候補を設定したか否か判断する。部分映像検出装置１０では、閾値算出区間毎に、検出位置候補を設定するため、未だ設定していない第１閾値算出区間がある場合は、ステップＳ２２２へ進む。

ステップＳ２２２では、第１閾値算出区間（着目閾値算出区間）の開始位置から各フレームの類似値と閾値算出部２４により設定された第１閾値とを比較する。次のステップＳ２２４では、類似値が第１閾値未満から第１閾値以上に変化したか否か判断する。図４に示すように、他のショット区間では、フレームが一致していないため、類似値は第１閾値未満となる。一方、着目ショット区間では、類似値が第１閾値以上となる。そのため、本実施の形態の部分映像検出装置１０では、このように類似値が第１閾値未満から第１閾値以上に変化するフレームを検出する。類似値が第１閾値未満である場合は、ステップＳ２２２に戻り、進行方向にフレームをトラッキングしながら、フレームの類似値と第１閾値との比較を繰り返す。一方、類似値が第１閾値以上に変化した場合は、ステップＳ２２４の後、ステップＳ２２６へ進む。

ステップＳ２２６では、類似値が第１閾値以上に変化したときのフレームを当該着目閾値算出区間における開始位置の候補として設定した後、ステップＳ２２０に戻り、次の第１閾値算出区間を着目閾値算出区間として、ステップＳ２２０〜Ｓ２２６の処理を繰り返して、着目閾値算出区間の開始位置の候補を設定する。一方、全ての第１閾値算出区間における開始位置の候補を設定した場合は、ステップＳ２２０の後、本処理を終了する。このように本実施の形態では、開始位置検出処理により、第１閾値算出区間毎に、開始位置の候補が設定される。

なお、本実施の形態では、全ての第１閾値算出区間に閾値算出部２４により閾値を設定した後に、検出位置設定部２６により、第１閾値算出区間毎に開始位置の候補を設定しているがこれに限らず、第１閾値算出区間毎に、連続して閾値の設定及び開始位置の候補の設定を行うようにしてもよい。

次に、開始位置検出処理に続いて、検出位置判定部２８で行われる検出位置判定処理について説明する。図６には、本実施の形態の検出位置判定処理の一例のフローチャートを示す。

まず、ステップＳ３００では、第１処理対象区間内の終了位置まで検出位置判定を実施したか否か判断する。第１処理対象区間の終了位置まで検出位置判定を実施していない場合は、ステップＳ３０２へ進む。

ステップＳ３０２では、着目する開始位置の候補（着目検出位置候補）を中心に前後に一定幅を持つ検出判定区間を設定する。当該検出判定区間は、開始位置の候補を算出するための第１閾値を算出した際に設定された第１閾値算出区間とは異なる区間である。また検出判定区間の幅は処理対象に応じてあらかじめ実験等により得られた値を設定しておく。

次のステップＳ３０４では、当該検出判定区間内の着目検出位置候補より前の各フレームの類似値、及び検出位置候補より後の各フレームの類似値を用いて、下記（１）式〜（３）式により、以下の値を算出する。なお、下記（１）式〜（３）式において、ｍ(i)、は、当該検出判定区間内の各フレームであって、着目検出位置候補より前の各フレームの類似値の平均値である。また、std(i)は、当該検出判定区間内の各フレームであって、着目検出位置候補より前の各フレームの類似値の標準偏差である。また、ｍ(c)は、当該検出判定区間内の各フレームであって、着目検出位置候補より後の各フレームの類似値の平均値である。さらに、std(c)は、当該検出判定区間内の各フレームであって、着目検出位置候補より後の各フレームの類似値の標準偏差である。

a(i) = std(i)/m(i) ・・・（１）
a(c) = std(c)/m(c) ・・・（２）
b = a(i)/a(c) ・・・（３）

ここで、着目ショット区間の開始位置として適切か否かの判定において、もし適切な開始位置であれば、開始位置の候補より前の区間は不一致区間であるため、正規化相関として得られた類似値は、より１より小さく、また全く異なるフレーム同士を比較しているため、類似値は不規則になり、標準偏差がより大きくなると推測される。また逆に、開始位置の候補より後の区間は一致区間であるため、平均値はより１に近く、また一致区間は１に近い値が連続的に続くと想定されるため、類似値の値はより一定であり、標準偏差もより小さい値になると推測される。従って、上記（１）式により得られるa(i)は、より大きい値となり、逆に、上記（２）式により得られるa(c)はより小さい値となる。従って、開始位置の候補の前後の区間の類似値の変化がより大きいほど、及び前の区間の類似値の変動が大きく、後の区間の類似値の変動が小さいほど、bの値は大きくなる。従って、bの値の大小に着目すると、bは着目する開始位置の候補がどの程度開始位置として信頼がおけるか否かを表す値とみなすことができる。

そこで、次のステップＳ３０６では、ｂの値と、予め設定した閾値とを比較し、bの値が閾値以上であれば、着目する開始位置の候補が、適切な検出位置であると判定して最終的な検出位置として採用し、検出結果１８として出力する。一方、bの値が予め設定した閾値未満であれば、着目する開始位置の候補が、不適切な検出位置として、当該開始位置の候補を採用せずに破棄する。なお、ここで用いる閾値は、予め実験等により得ておいた値を用いている。

次のステップＳ３０８では、次の開始位置の候補を、着目する開始位置の候補に変更した後、ステップＳ３００に戻り、次の開始位置の候補に対して、ステップＳ３００〜Ｓ３０８の処理を繰り返して、着目する開始位置の候補の採用可否の判定を繰り返す。一方、第１処理対象区間内の終了位置まで検出位置判定を繰り返した場合は、本処理を終了する。このように本実施の形態では、検出位置判定処理により、開始位置の候補が適切であるか否か判定し、当該判定結果に基づいて採用可否が判定され、最終結果として採用された検出結果１８が部分映像検出装置１０（検出位置判定部２８）から出力される。具体的には、入力映像１４の着目ショットの開始位置のフレームを示す情報と、当該フレームに対応する蓄積映像１２のフレームを示す情報とが検出結果１８として出力される。

ここで、当該検出判定区間が、閾値算出区間とは異なる理由について説明する。閾値算出区間が入力映像１４及び蓄積映像１２のどこの位置に設定されるか不確定なため、閾値算出区間の大部分が不一致区間で僅かに一致区間を含む場合、若しくは逆に、大部分が一致区間（着目ショット区間）で僅かに不一致区間を含むように設定された場合、検出位置候補の前後の区間長に偏りが生じるため、閾値算出区間においては、a(i) 、a(c)、及びbの各値が必ずしも適切に算出出来ない場合がある。そのため、本実施の形態では、上述したように、着目検出位置候補を中心に前後に一定幅を持つ検出判定区間を設定することにより、検出判定区間内に一致区間と不一致区間とが同程度含まれるようにしている。なお、検出判定区間の幅は、閾値算出区間と同様に、完全に一つのショットを含み、計三つのショットにまたがるように検出判定区間を設定してしまうと、２箇所の開始位置を含むことになり、適切な位置を検出することができない懸念があるため、一つのショットを完全に含む事がないような幅に検出判定区間を設定することが好ましい。検出判定区間の幅は、処理対象（入力映像１４）に依存し、例えば、ショットの切り替えが頻繁な場合は、当該切り替えよりも短い時間に設定することが好ましい。本実施の形態では、処理対象（入力映像１４）に応じて予め実験等により得られた値を検出判定区間の幅として設定しておけばよく、閾値算出区間と同じ幅であってもよい。

以上では、着目ショット区間の開始位置を検出する場合について説明したが、次に、着目ショット区間の終了位置を検出する場合について説明する。

図７には、着目ショット区間の終了位置を検出するための終了位置検出処理の一例のフローチャートを示す。また図８には、終了位置の検出位置判定処理の一例のフローチャートを示す。なお、終了位置検出処理は、上述した開始位置検出処理（図５）と同様の処理を含み、また、終了位置の検出位置判定処理は、上述した開始位置の検出位置判定処理（図６）と同様の処理を含むため、同様の処理については同一の符号を付してその旨を記載し、詳細な説明を省略する。終了位置の検出における第２処理対象区間、第２閾値算出区間、及び第２閾値は、開始位置の検出における第１処理対象区間、第１閾値算出区間、及び第１閾値に対応している。

図７に示すように、終了位置検出処理では、開始位置検出処理のステップＳ２００、Ｓ２０６、Ｓ２２２、Ｓ２２６の各々に替わりステップＳ２０１、Ｓ２０７、Ｓ２２３、Ｓ２２７を設けている。これらのステップの処理について説明する。

まず、ステップＳ２０１では、推定終了位置を含む一連の区間を第２処理対象区間として設定する。本実施の形態の部分映像検出装置１０では、着目ショットの終了位置についても開始位置と同様に、大まかに検出しておき、検出した位置を推定終了位置としておく。

また、ステップＳ２０７では、第２処理対象区間の開始位置まで、第２閾値を算出するための第２閾値算出区間をシフトさせて設定したか否か判断する。当該第２閾値算出区間については、開始位置検出処理と同様であるが、本実施の形態では、終了位置検出処理においては、第２閾値算出区間を第２処理対象区間の終了位置から順次シフトさせて設定するようにしているため、ステップＳ２０７において当該判断を行う。

また、ステップＳ２０７〜Ｓ２１８の処理により、第２閾値が設定された後に、ステップＳ２２３では、第２閾値算出区間（着目閾値算出区間）の終了位置から各フレームの類似値と閾値算出部２４により設定された第２閾値とを比較する。さらに、開始位置検出処理と同様に、次のステップＳ２２４で類似値が第２閾値未満から第２閾値以上に変化したか否か判断した後、変化した場合は、ステップＳ２２７へ進み、類似値が第２閾値以上に変化したときのフレームを当該着目閾値算出区間における終了位置ｎ候補として設定した後本処理を終了する。

着目閾値算出区間の終了位置では、着目ショット区間の後に他のショット区間（フレームが一致していない区間）が続くため、類似値が第２閾値以上の区間の後に第２閾値未満の区間が続くことになる。そのため、本実施の形態では、終了位置を検出する場合は、開始位置検出処理とは逆に、第２閾値算出区間（着目閾値算出区間）の終了位置から各フレームの類似値を映像の進行方向とは逆方向にトラッキングし、類似値が第２閾値未満から第２閾値以上に変化する位置を終了位置の候補として設定する。

また、終了位置の検出位置判定処理では、開始位置の検出位置判定処理のステップＳ３００、Ｓ３０４、Ｓ３０７の各々に替わりステップＳ３０１、Ｓ３０５、Ｓ３０８を設けている。これらのステップの処理について説明する。

ステップＳ３０１では、第２処理対象区間内の開始位置まで検出位置判定を実施したか否か判断する。第２処理対象区間の開始位置まで検出位置判定を実施していない場合は、ステップＳ３０２へ進む。本実施の形態では、終了位置の検出位置判定処理においては、検出位置の判定を第２処理対象区間の終了位置から順次行うようにしているため、ステップＳ３０１において当該判断を行う。なお、終了位置の検出位置判定処理においても、開始位置の検出位置判定処理と同様に、終了位置の候補を中心に前後に一定幅を持つ検出判定区間を設定する。

また、ステップＳ３０５では、当該検出判定区間内の着目する終了位置の候補より前の各フレームの類似値、及び終了位置の候補より後の各フレームの類似値を用いて、下記（４）式〜（６）式により、以下の値を算出する。なお、下記（４）式〜（６）式において、ｍ’(i)は、当該検出判定区間内の各フレームであって、着目する終了位置の候補より後の各フレームの類似値の平均値である。また、std’(i)は、当該検出判定区間内の各フレームであって、着目する終了位置の候補より後の各フレームの類似値の標準偏差である。また、ｍ’(c)は、当該検出判定区間内の各フレームであって、着目する終了位置の候補より前の各フレームの類似値の平均値である。さらに、std’(c)は、当該検出判定区間内の各フレームであって、着目する終了位置の候補より前の各フレームの類似値の標準偏差である。
a’(c) = std’(c)/m’(c) ・・・（４）
a’(i) = std’(i)/m’(i) ・・・（５）
b’ = a’(i)/a’(c) ・・・（６）

ここで、着目ショット区間の終了位置として適切か否かの判定において、もし適切な終了位置であれば、終了位置の候補より前の区間は一致区間であるため、正規化相関として得られた類似値は、平均値はより１に近く、また一致区間は１に近い値が連続的に続くと想定されるため、類似値の値はより一定であり、標準偏差もより小さい値になると推測される。また逆に、終了位置の候補より後の区間は不一致区間であるため、より１より小さく、また全く異なるフレーム同士を比較しているため、類似値は不規則になり、標準偏差がより大きくなると推測される。従って、上記（５）式により得られるa’(i)は、より大きい値となり、逆に、上記（４）式により得られるa’(c)はより小さい値となる。従って、終了位置の候補の前後の区間の類似値の変化がより大きいほど、及び後の区間の類似値の変動が大きく、前の区間の類似値の変動が小さいほど、b’の値は大きくなる。従って、b’の値の大小に着目すると、b’は着目する終了位置の候補がどの程度終了位置として信頼がおけるか否かを表す値とみなすことができる。

そこで、次のステップＳ３０７では、ｂ’の値と、予め設定した閾値とを比較し、b’の値が閾値以上であれば、適切な終了位置と判定して、最終的な検出位置として採用して、検出結果１８として出力する。一方、b’の値が予め設定した閾値未満であれば、不適切な終了位置と判定して、当該終了位置の候補を採用せずに破棄する。なお、ここで用いる閾値は、予め実験等により得ておいた値を用いている。また、当該閾値は、開始位置の検出位置判定処理と同じであってもよいし、異なっていてもよい。

このようにして、本実施の形態の終了位置の検出位置判定処理により、終了位置の候補が適切であるか否か判定し、当該判定結果に基づいて採用可否が判定され、最終結果として採用された検出結果１８が部分映像検出装置１０（検出位置判定部２８）から出力される。具体的には、入力映像１４の着目ショットの終了位置のフレームを示す情報と、当該フレームに対応する蓄積映像１２のフレームを示す情報とが検出結果１８として出力される。

以上、本実施の形態について図面を参照して詳述に説明したが、本実施の形態は一例であり、具体的な構成は本実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。

例えば、本実施の形態の類似値算出部２２では、フレーム間の特徴値の類似度合いを示す値として正規化相関を用いたが、類似度合いを示すことが可能である尺度であれば、他の距離値や類似尺度であっても構わない。

また、本実施の形態では、特徴データベース３０には、予め蓄積処理により蓄積映像１２から特徴を抽出し蓄積させているがこれに限らない。例えば、ストレージの量や処理時間を考慮する必要がなければ、特徴データベース３０に替わりストレージを蓄積映像データベース４０として、当該ストレージに蓄積映像１２を保存しておいてもよい。図９には、この場合の部分映像検出装置１０の一例を表したブロック図を示す。この場合は、処理対象となる入力映像１４が部分映像検出装置１０に入力される度に、特徴抽出部２０は、入力映像１４から特徴を抽出すると共に、蓄積映像１２からも特徴を抽出し、入力映像１４の各フレームの特徴値及び蓄積映像１２の各フレームの特徴値を類似値算出部２２に出力する。また、特徴データベース３０や蓄積映像データベース４０は、部分映像検出装置１０の外部に設けられていてもよい。

また、本実施の形態の特徴抽出部２０では、各フレーム単位で特徴値を算出したが、各フレームの独自性が表現され、検出結果としてフレームが特定できれば良く、本実施の形態に限定されない。例えば、着目フレーム前後の複数のフレームから算出された特徴値を統合した上で着目フレームの特徴としたり、着目フレーム前後の複数のフレームの画像を用いて作成した画像から抽出した特徴を着目フレームの特徴としたりすることも可能である。

また、本実施の形態では、開始位置の検出位置判定処理において、上記（１）式〜（３）式を用いているが、不一致区間と一致区間（着目ショット区間）との比として、下記（７）式を用いて以下の値を算出してもよい。また、本実施の形態では、終了位置の検出位置判定処理において、上記（４）式〜（６）式を用いているが、不一致区間と一致区間（着目ショット区間）との比として、下記（８）式を用いて以下の値を算出してもよい。

d = m(i)/m(c) ・・・（７）
d’ = m’(i)/m’(c) ・・・（８）

d及びd’は比較する区間の類似値の標準偏差を考慮しないことにより、区間内の細かい変動を考慮せず、区間間の類似値の変動を考慮する値となっている。dの値が予め定めた閾値以上であれば、適切な開始位置と判定して最終的な検出位置として採用して、検出結果１８として出力する。一方、dの値が予め設定した閾値未満であれば、不適切な開始位置と判定して、当該開始位置の候補を採用せずに破棄する。また同様に、d’の値の値が予め定めた閾値以上であれば、適切な終了位置と判定して最終的な終了位置として採用して、検出結果１８として出力する。一方、d’の値が予め設定した閾値未満であれば、不適切な終了位置と判定して、当該終了位置の候補を採用せずに破棄する。なお、ここで用いる閾値は、予め実験等により得ておいた値を用いている。

さらに、開始位置の検出位置判定処理において、下記（９）式を用いて以下の値を算出してもよい。また、終了位置の検出位置判定処理において、下記（１０）式を用いて以下の値を算出してもよい。

e = a(c) = std(c)/m(c) ・・・（９）
e’ = a’(c) = std’(c)/m’(c) ・・・（１０）

e及びｅ’は、不一致区間の類似値の値を考慮せず、一致区間（着目ショット区間）の類似値の値のみを考慮した値となっている。eの値が予め定めた閾値以下であれば、適切な開始位置と判定して最終的な開始位置として採用して、検出結果１８として出力する。一方、eの値が予め設定した閾値を超えれば、不適切な開始位置と判定して、当該開始位置の候補を採用せずに破棄する。また同様に、e’の値が予め定めた閾値以下であれば、適切な終了位置と判定して最終的な終了位置として採用して、検出結果１８として出力する。一方、e’の値が予め設定した閾値を超えれば、不適切な終了位置と判定して、当該終了位置の候補を採用せずに破棄する。なお、ここで用いる閾値は、予め実験等により得ておいた値を用いている。

また、本実施の形態では、処理対象区間を推定開始位置や推定終了位置を含むように設定しているがこれに限らない。例えば、推定開始位置や推定終了位置が予め得られていない場合は、入力映像１４全体を処理対象区間としてもよい。なお、この場合は、関係がないフレーム同士を比較することになり、同期が正しくとれたかどうか確定しにくいことや、幅広い範囲が処理対象となるため、処理量が本実施の形態に比べて非常に多くなる。そのため、本実施の形態のように、処理対象区間を推定開始位置や推定終了位置を含むように設定することが好ましい。

また、本実施の形態では、終了位置検出処理では、閾値算出区間を処理対象区間の終了位置から開始位置まで順次シフトさせて設定し、終了位置の検出位置判定処理では、検出判定区間を処理対象区間の終了位置から開始位置まで順次設定しているが、これに限らず、逆に処理対象区間の開始位置から終了位置まで順次設定するようにしてもよい。また終了位置の検出位置判定処理では、閾値算出区間の終了位置から映像の進行方向と逆にトラッキングして各フレームの類似値と閾値とを比較しているが、逆に、開始位置から映像の進行方向にトラッキングして各フレームの類似値と閾値とを比較してもよい。この場合は、類似値が閾値以上から閾値未満に変化した際のフレームを終了位置の候補として設定すればよい。

以上説明したように、本発明の部分映像検出装置１０では、類似値算出部２２が、特徴抽出部２０により処理対象区間内の入力映像１４の各フレームの特徴を抽出した特徴値と、当該フレームの各々に対応する蓄積映像１２のフレームの特徴値とを比較して各フレームの類似値を算出する。閾値算出部２４は、処理対象区間内に設定された複数の閾値算出区間毎に、類似値の頻度分布を作成し、分離度が最大となる類似値を閾値として設定する。検出位置設定部２６は、閾値算出区間毎に、類似値が閾値算出部２４により設定された閾値未満から閾値以上に変化したフレームを閾値算出区間における開始位置の候補または終了位置の候補として設定する。検出位置判定部２８は、開始位置の候補または終了位置の候補に応じて検出判定区間を設定して、開始位置の候補または終了位置の候補より前のフレームの類似値と、後のフレームの類似値とに基づいて、開始位置の候補または終了位置の候補が適切であるか判定し、判定結果に基づいて検出結果１８として採用するか否か判定する。

本発明の部分映像検出装置１０では、入力映像１４が編集等されていることによって着目ショット区間の類似値が低下した場合でも、その低下した類似値に応じた閾値が設定され、設定された閾値と類似値とを比較することにより、着目ショット区間と不一致区間との差が検出可能となる。

また、本発明の部分映像検出装置１０では、着目ショット区間と、不一致区間である隣接したショット区間とが類似しているために両ショット区間の間の類似値の変化が小さい場合でも、その小さい変化の差を分けることが可能な閾値が設定される。さらに、部分映像検出装置１０では、設定された閾値と類似値とを比較することにより、着目ショット区間の位置（開始位置及び終了位置）を検出することが可能となる。

また、本発明の部分映像検出装置１０では、不必要に開始位置の候補または終了位置の候補とされた開始位置の候補または終了位置の候補に対して、適切であるか否か判定して、判定結果に基づいて最終的に検出結果１８として採用するか否かを判定する。これにより部分映像検出装置１０では、本来検出すべきではない位置であるが開始位置の候補または終了位置の候補として設定された不適切な位置を、着目ショット区間の開始位置もしくは終了位置と判定せず、一つのショット区間（着目ショット区間または他のショット区間）内の一部分と判定し、検出結果１８して採用しないことが可能となる。

従って、本発明の部分映像検出装置１０では、部分映像の着目ショット区間を検出するための閾値を動的に設定することができるため、類似値に応じて適切にフレームが一致する部分映像の位置を検出することができる。

１０ 部分映像検出装置
１２ 蓄積映像
１４ 入力映像
２０ 特徴抽出部
２２ 類似値算出部
２４ 閾値算出部
２６ 検出位置設定部
２８ 検出位置判定部
３０ 特徴データベース
３２ 蓄積映像特徴
４０ 蓄積映像データベース

Claims (6)

1. 対応する部分映像を含み、かつ、前記部分映像の各フレームについて同期するようにフレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記第１の映像及び前記第２の映像の各々における前記部分映像の開始位置及び終了位置を検出する部分映像検出装置であって、
   各フレームの画像の特徴を表す特徴値を抽出する特徴抽出手段と、
   前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、各フレームについて、前記第１の映像と前記第２の映像との間で対応付けられた前記フレームの類似度合いを示す類似値を算出する類似値算出手段と、
   前記部分映像の開始位置を含むように設定された第１処理対象区間内に設定され、かつ、前記第１処理対象区間より短い複数の第１閾値算出区間の各々について、前記第１閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第１閾値を算出し、前記部分映像の終了位置を含むように設定された第２処理対象区間内に設定され、かつ、前記第２処理対象区間より短い複数の第２閾値算出区間の各々について、前記第２閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第２閾値を算出する閾値算出手段と、
   前記閾値算出手段で算出した第１閾値と、前記類似値とを比較した比較結果に基づいて、前記第１閾値算出区間毎に、前記部分映像の開始位置の候補を設定し、前記閾値算出手段で算出した第２閾値と、前記類似値とを比較した比較結果に基づいて、前記第２閾値算出区間毎に、前記部分映像の終了位置の候補を設定する検出位置設定手段と、
   前記検出位置設定手段で設定した前記開始位置の候補毎に、前記開始位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記開始位置の候補が適切であるか否か判定し、前記検出位置設定手段で設定した前記終了位置の候補毎に、前記終了位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記終了位置の候補が適切であるか否か判定する検出位置判定手段と、
   を備えた、部分映像検出装置。
2. 前記閾値算出手段は、前記第１閾値算出区間に含まれる各フレームの前記類似値に基づいて、前記類似値の頻度分布を求め、前記求めた前記類似値の頻度分布のうち、着目した類似値より大きい類似値の頻度分布の分散と、前記着目した類似値より小さい類似値の頻度分布の分散とが最も大きくなるときの前記着目した類似値を、前記第１閾値算出区間について算出される第１閾値とし、
   前記第２閾値算出区間に含まれる各フレームの前記類似値に基づいて、前記類似値の頻度分布を求め、前記求めた前記類似値の頻度分布のうち、着目した類似値より大きい類似値の頻度分布の分散と、前記着目した類似値より小さい類似値の頻度分布の分散とが最も大きくなるときの前記着目した類似値を、前記第２閾値算出区間について算出される第２閾値とする、請求項１に記載の部分映像検出装置。
3. 前記検出位置判定手段は、前記検出位置設定手段により設定した前記開始位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記開始位置の候補より前の各フレームの類似値の平均値をm(i)、前記開始位置の候補より前の各フレームの類似値の標準偏差をstd(i)、前記開始位置の候補より後の各フレームの類似値の平均値をm(c)、前記開始位置の候補より後の各フレームの類似値の標準偏差をstd(c)とし、下記（Ｉ）式、（ＩＩ）式、及び（ＩＩＩ）式により算出されたbが所定の閾値以上である場合に、前記開始位置の候補が適切であると判定し、
   前記検出位置設定手段により設定した前記終了位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記終了位置の候補より後の各フレームの類似値の平均値をm’(i)、前記終了位置の候補より後の各フレームの類似値の標準偏差をstd’(i)、前記終了位置の候補より前の各フレームの類似値をm’(c)、前記終了位置の候補より前の各フレームの類似値の標準偏差をstd’(c)とし、下記（ＩＶ）式、（Ｖ）式、及び（ＶＩ）式により算出されたb’が所定の閾値以上である場合に、前記終了位置の候補が適切であると判定する、
   請求項１または請求項２に記載の部分映像検出装置。
   a(i) = std(i)/m(i) ・・・（Ｉ）
   a(c) = std(c)/m(c) ・・・（ＩＩ）
   b = a(i)/a(c) ・・・（ＩＩＩ）
   a’(c) = std’(c)/m’(c) ・・・（ＩＶ）
   a’(i) = std’(i)/m’(i) ・・・（Ｖ）
   b’ = a’(i)/a’(c) ・・・（ＶＩ）
4. 前記検出位置判定手段は、前記検出位置設定手段により設定した前記開始位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記開始位置の候補より前の各フレームの類似値の平均値をm(i)、前記開始位置の候補より後の各フレームの類似値の平均値をm(c)とし、下記（ＶＩＩ）式により算出されたdが所定の閾値以上である場合に、または、前記開始位置の候補より後の各フレームの類似値の標準偏差をstd(c)とし、下記（ＩＸ）式により算出されたeが所定の閾値以下である場合に、前記開始位置の候補が適切であると判定し、
   前記検出位置設定手段により設定した前記終了位置の候補を中心とした所定の幅を有する検出判定区間を設定し、前記設定した前記検出判定区間内において前記終了位置の候補より後の各フレームの類似値の平均値をm’(i)、前記終了位置の候補より前の各フレームの類似値をm’(c)とし、下記（ＶＩＩＩ）式により算出されたd’が所定の閾値以上である場合に、または、前記終了位置の候補より前の各フレームの類似値の標準偏差をstd’(c)とし、下記（Ｘ）式により算出されたe’が所定の閾値以下である場合に、前記終了位置の候補が適切であると判定する、 請求項１または請求項２に記載の部分映像検出装置。
   d = m(i)/m(c) ・・・（ＶＩＩ）
   d’ = m’(i)/m’(c) ・・・（ＶＩＩＩ）
   e = std(c)/m(c) ・・・（ＩＸ）
   e’ = std’(c)/m’(c) ・・・（Ｘ）
5. 対応する部分映像を含み、かつ、前記部分映像の各フレームについて同期するようにフレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記第１の映像及び前記第２の映像の各々における前記部分映像の開始位置及び終了位置を検出する部分映像検出方法であって、
   特徴抽出手段によって、各フレームの画像の特徴を表す特徴値を抽出するステップと、
   類似値算出手段によって、前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、各フレームについて、前記第１の映像と前記第２の映像との間で対応付けられた前記フレームの類似度合いを示す類似値を算出するステップと、
   閾値算出手段によって、前記部分映像の開始位置を含むように設定された第１処理対象区間内に設定され、かつ、前記第１処理対象区間より短い複数の第１閾値算出区間の各々について、前記第１閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第１閾値を算出し、前記部分映像の終了位置を含むように設定された第２処理対象区間内に設定され、かつ、前記第２処理対象区間より短い複数の第２閾値算出区間の各々について、前記第２閾値算出区間内の各フレームについて算出された前記類似値に基づいて、前記類似値に関する第２閾値を算出するステップと、
   検出位置設定手段によって、前記閾値算出手段で算出した第１閾値と、前記類似値とを比較した比較結果に基づいて、前記第１閾値算出区間毎に、前記部分映像の開始位置の候補を設定し、前記閾値算出手段で算出した第２閾値と、前記類似値とを比較した比較結果に基づいて、前記第２閾値算出区間毎に、前記部分映像の終了位置の候補を設定するステップと、
   検出位置判定手段によって、前記検出位置設定手段で設定した前記開始位置の候補毎に、前記開始位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記開始位置の候補が適切であるか否か判定し、前記検出位置設定手段で設定した前記終了位置の候補毎に、前記終了位置の候補を含む検出判定区間の各フレームの前記類似値に基づいて、前記終了位置の候補が適切であるか否か判定するステップと、
   を備えた、部分映像検出方法。
6. コンピュータに、請求項１から請求項４の何れか１項に記載の部分映像検出装置の各手段として機能させるための部分映像検出プログラム。
   
   

Images