JP5061877B2 - 動画像同定装置 - Google Patents

Description

本発明は、動画像を同定する動画像同定装置に関する。

デジタル映像が普及する中、不特定多数の動画像の中から、予め登録された既知の動画像と同じ動画像を同定（検索）する手法が提案されている（以下、同定処理の対象となる不特定の動画像を「対象とする動画像」又は「対象動画像」とよび、予め登録された既知の動画像を「所定の動画像」又は「マスター動画像」とよぶ。）。

例えば、所定の動画像と対象とする動画像とにおける、各フレームの輝度・色差情報等の物理的な動画像特徴量情報に基づいて抽出された情報を比較することにより、複数の対象とする動画像から所定の動画像を検索する動画像検索装置や（特許文献１）、所定の動画像中の１フレームと対象とする動画像中の各フレームにおける、代表点の画素情報などを比較して対象とする動画像の中から目的の画像を検索する動画画像検索装置がある（特許文献２）。

また、所定の動画像と対象とする動画像の再生時間を比較し、再生時間の一致した動画像のカット点のタイムコードが一致していているかを判定することにより、所定の動画像と対象とする動画像が一致しているかを判定する動画一致判定装置がある（特許文献３）。
特開２０００−１９４７２７号公報 特開２００４−２１５９７号公報 特開平１１−１５４１６３号公報

近年、デジタル映像が普及し、インターネット等を介して著作物である動画像を著作権者に無断で複製・配布することが問題となっている。そのような違法な動画像を見つけ出すために、動画像を同定する技術が重要になってきている。

しかし、上述したような従来の技術（特許文献１，２）では、画像サイズ（解像度）が異なる動画像、劣化した動画像、及び、圧縮率の異なる動画像を同定する際に精度よく同定することができないなどの問題点がある（解像度が異なることによりフレームの輝度・色差情報などが異なり、劣化や圧縮により色情報の変化やノイズの発生などがあるため）。また、特許文献３に記載されている発明は、編集されていることによってカット点のタイムコードが異なる動画像を同定することができないなどの問題点がある。

本発明の目的は、そのような問題点を解決し、動画像を精度よく同定するための技術を提供することにある。

上記目的を達成するために、本発明は以下の構成を採用する。

本発明に係る動画像同定装置は、所定の動画像における、複数の参照用フレームの夫々について、その参照用フレーム中の対象物の少なくとも位置及び大きさの情報を予め記憶する参照用フレーム情報記憶手段と、対象とする動画像から比較用フレームを取得する比較用フレーム取得手段と、前記比較用フレームから対象物を検出する比較用フレーム対象物検出手段と、前記比較用フレーム対象物検出手段で検出された対象物の、前記参照用フレーム情報記憶手段に記憶された情報に対応する情報を、前記比較用フレームから取得する比較用フレーム情報取得手段と、参照用フレームごとに、前記参照用フレーム情報記憶手段に記憶された情報と、前記比較用フレーム情報取得手段で取得された情報とを比較することによって、該参照用フレームと前記比較用フレームが同一か否かを判定するフレーム判定手段と、前記フレーム判定手段で前記参照用フレームと同一であると判定される比較用フレームが、前記対象とする動画像中に所定数以上存在する場合に、前記対象とする動画像と前記所定の動画像が同一であると判定する動画像同定手段と、を備え、前記複数の参照用フレームは、複数のフレーム群に区分されており、前記動画像同定手段は、参照用フレームと同一であると判定される比較用フレームが前記対象とする動画像中に所定数以上存在するか否かを前記フレーム群ごとに判定する。

本発明に係る動画像同定装置では、参照用フレームにおける対象物の位置及び大きさの情報と、比較用フレームにおける対象物の位置及び大きさの情報とを比較し、該参照用フレームと該比較用フレームが同一か否かを判定するため、輝度、色差、画素などの情報に基づいて判定するよりも、ノイズなどによる影響を低減することができる。また、該対象物の位置及び大きさの情報がフレーム内の相対位置及びフレームの大きさから見た対象物の相対的な大きさの情報であるならば、画像サイズが異なる動画像（アスペクト比の異なる動画像も含む）も同定することができる。更に、本発明の動画像同定手段は、フレーム判定手段で参照用フレームと同一であると判定される比較用フレームが、対象とする動画像中に所定数以上存在する場合に、対象とする動画像と所定の動画像が同一であると判定するため、カット点のタイムコードの違いによる影響を受けない。これにより、所定の動画像と対象とする動画像を精度よく同定することができる。

前記フレーム判定手段は、前記複数の参照用フレームの夫々について、その参照用フレーム中に複数の対象物が存在する場合、対象物の大きさとその対象物を含む２つの対象物間の距離の比を参照用フレームと比較用フレームとの間で比較することによって、該参照用フレームと該比較用フレームが同一か否かを判定することが好ましい。対象物の大きさとその対象物を含む２つの対象物間の距離の比は、所定の動画像の一部分をトリミングすることによって作製された動画像や、トリミングされたことによってアスペクト比が異なる動画像（トリミングされた後、更にアスペクト比が変更された動画像も含む）であっても影響を受けない値である。そのため、所定の動画像の一部分をトリミングすることによって作製された動画像なども精度よく同定することができる。

前記フレーム判定手段は、対象物の大きさと対象物の移動距離の比を参照用フレームと比較用フレームとの間で比較することによって、該参照用フレームと該比較用フレームが同一か否かを判定することが好ましい。対象物の大きさとその対象物の移動距離との比も、所定の動画像の一部分をトリミングすることによって作製された動画像や、トリミングされたことによってアスペクト比が異なる動画像（トリミングされた後、更にアスペクト比が変更された動画像も含む）であっても影響を受けない値である。そのため、フレーム中に対象物が１つしかない場合でも、所定の動画像の一部分をトリミングすることによって作製された動画像なども精度よく同定することができる。

前記複数の参照用フレームは、複数のフレーム群に区分されており、前記動画像同定手段は、参照用フレームと同一であると判定される比較用フレームが前記対象とする動画像中に所定数以上存在するか否かを前記フレーム群ごとに判定することが好ましい。例えば、同定処理中に１つのフレーム群について、所定の動画像と対象とする動画像が同一でないと判定された場合、その後の処理を中止することにより、処理の高速化が図れる。

前記フレーム判定手段は、前記参照用フレーム情報記憶手段に記憶された情報と、対応する前記比較用フレーム情報取得手段で取得された情報との差が所定の閾値より小さい場合に、前記比較用フレームと前記参照用フレームが同一であると判定することが好ましい。ノイズの影響を考慮した閾値を設定することにより、精度のよい動画像同定処理が図れ
る。

前記参照用フレームとして、所定の範囲内の大きさの対象物を含むフレームが選ばれることが好ましい。これにより、フレーム判定処理の精度を下げる要因となる対象物しか写っていないフレームを避けることができるため、高精度な動画像同定処理を行うことができる（例えば、対象物が人の顔であり、スポーツの試合などの動画像において、観客が大勢写っているだけのフレームの場合、それら対象物の位置関係があいまいになってしまうため、精度が悪くなってしまう）。

前記複数の参照用フレームとして、前記所定の動画像において時間的に離れたフレームが選ばれることが好ましい。１つのシーンのみから参照用フレームが選択されると、２つの動画像がたまたま似たようなシーンを含んでいる場合に同一であると誤判定するおそれが生じる。しかし、時間的に離れたフレームを参照用フレームとして選択することにより、複数のシーンから参照用フレームが選ばれる可能性が高くなる。同一でない動画像間で複数のシーンにおけるフレームが一致する可能性は低いため、高精度な動画像同定処理を行うことができる。

前記参照用フレーム中の対象物として、所定の範囲内の大きさの対象物のみが選ばれることが好ましい。これにより、参照用フレーム中の対象物検出処理の処理負荷は軽減し、且つ、フレーム判定処理の精度を下げる要因となる対象物を避けることができるため、高精度な対象物検出処理が図れる。

また、本発明に係る動画像同定装置は、所定の動画像から複数の参照用フレームを取得する参照用フレーム取得手段と、前記複数の参照用フレームの夫々について、その参照用フレームから対象物を検出する参照用フレーム対象物検出手段と、前記参照用フレーム対象物検出手段で検出された対象物の少なくとも位置及び大きさの情報を前記複数の参照用フレームの夫々から取得する参照用フレーム情報取得手段と、を更に備え、前記参照用フレーム情報記憶手段は、前記参照用フレーム情報取得手段で取得された情報を記憶することが好ましい。これにより、ユーザは、参照用フレーム情報記憶手段に参照用フレームの情報を容易に記憶させることができる。

また、本発明は、上記手段の少なくとも一部を有する動画像同定装置として捉えてもよいし、上記処理の少なくとも一部を含む動画像同定方法、または、かかる方法を実現するための動画像同定プログラムやそのプログラムを記憶した記憶媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明に係る動画像同定装置では、参照用フレームにおける対象物の位置及び大きさの情報と、比較用フレームにおける対象物の位置及び大きさの情報とを比較し、該参照用フレームと該比較用フレームが同一か否かを判定することにより、所定の動画像と対象とする動画像を精度よく同定することができる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜概要＞
本発明の実施形態に係る動画像同定装置は、動画像を同定する装置、すなわち、不特定の対象動画像が既知のマスター動画像と同一か否かを判定するための装置である。このような装置は、例えば、インターネット等を介して配信されている多数の動画像の中から違
法な動画像（著作権者に無断で複製・配布されている動画像など）を検出する目的に利用することができる。また、このような装置を用いて、ユーザは、自身の所有するハードディスクなどの記録媒体に録り貯められた複数の動画像の中から目的の動画像を検索することもできる。

図１を用いて動画像同定装置の基本的な動画像同定手法を説明する。動画像２は、マスター動画像であり、例えば、市販の動画像（映画のＤＶＤ等）やテレビ番組の録画映像などである。動画像３は、対象動画像であり、例えば、インターネット等を介して配信されている動画像やユーザの所有するハードディスクに記録されている動画像などである。

本発明の実施形態に係る動画像同定装置は、マスター動画像から選ばれた複数のフレーム（参照用フレーム）の夫々について、同一のフレームが対象動画像に含まれているかどうかを調べる（対象動画像におけるフレームのことを、比較用フレームと呼ぶ）。そして、同一のフレームが対象動画像中に所定数以上存在する場合に、マスター動画像と対象動画像とが同一であると判定する。

ここで、フレームの同一性は、フレーム内に存在する対象物の位置及び大きさに基づいて判断する。つまり、同じような位置に同じような大きさの対象物が存在すれば同じフレームとみなすのである。フレーム内の対象物の位置及び大きさの情報は、画素の輝度や色などの情報とは異なり、画質が劣化したり画像が編集されたりしてもほとんど影響を受けないという利点がある。なお、対象物は特定物である必要はなく、例えば、「顔」「人」「自動車」「建築物」「木」などの不特定物で構わない。もちろん、「俳優のＡさん」とか「東京タワー」のような特定物を対象物として選べば、フレームの同一性判定結果の信頼性はより向上する（ただし、特定物を認識する処理が必要となる。）。

図１の例では、まず、対象物を人の顔（以後、本実施形態では、対象物を人の顔とする）とし、動画像２における参照用フレーム４ａ〜４ｃの夫々について、その参照用フレーム内の顔の位置及び大きさが一致する比較用フレームを動画像３から探す。その結果、参照用フレーム４ａと比較用フレーム５ａは対象物の位置及び大きさが一致し、参照用フレーム４ｂと比較用フレーム５ｂは対象物の位置及び大きさが一致し、参照用フレーム４ｃと比較用フレーム５ｃは対象物の位置及び大きさが一致したため、動画像２と動画像３が同一の動画像であると判定される。

このように、参照用フレーム内の対象物の位置及び大きさと、比較用フレーム内の対象物の位置及び大きさとを比較し、その比較結果に基づいてマスター動画像と対象動画像が同一か否かを判定するのが本発明の実施形態に係る動画像同定装置の特徴である。

＜装置構成＞
図２は、本発明の実施形態に係る動画像同定装置１の機能構成を示すブロック図である。

動画像同定装置１は、図２に示す複数の機能要素、すなわち、参照用フレーム情報記憶部１１、対象動画像取得部１２、比較用フレーム取得部１３、比較用フレーム対象物検出部１４、比較用フレーム情報取得部１５、フレーム判定部１６、動画像同定部１７、結果記憶部１８、表示部１９を備えている。本実施形態では、これらの機能要素は、コンピュータの演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてハードディスク、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。

参照用フレーム情報記憶部１１は、マスター動画像における、複数の参照用フレームの
夫々について、その参照用フレーム中の対象物の少なくとも位置及び大きさの情報を記憶する記憶装置である（以後、参照用フレーム情報記憶部１１に記憶されている情報を参照用フレーム情報と呼ぶ）。この記憶装置としては、ハードディスクや不揮発性メモリなど、どのような具体的技術が適用されてもよい。なお、本実施形態における参照用フレーム情報は、その参照用フレーム内の対象物の位置、大きさ、及び、その動画像を表すキーワード（映画のタイトル、テレビ番組名、ユーザ自身が付けたファイル名など）である。更に、参照用フレーム情報記憶部１１は、複数の動画像の夫々について該情報を記憶している。キーワードを記憶することにより、参照用フレーム情報記憶部１１に記憶されている複数の動画像を区別することができる。

対象動画像取得部１２は、対象とする複数の動画像のうち１つを取得する機能である。本実施形態の対象動画像取得部１２は、対象動画像記憶部２０に記憶されている対象動画像を取得する。

比較用フレーム取得部１３は、対象動画像取得部１２で取得された対象動画像から比較用フレームを取得する機能である。

比較用フレーム対象物検出部１４は、比較用フレーム取得部１３で取得された比較用フレームから対象物を検出する機能である。比較用フレーム対象物検出部１４による対象物検出処理は、既存の対象物検出処理のどのような技術が適用されてもよい。一例を挙げると、対象物全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって対象物を検出する手法、ニューラルネットワークを使って教師信号による学習を行い、対象物らしい領域を対象物として検出する手法、などがある。

比較用フレーム情報取得部１５は、比較用フレームからその比較用フレーム中の対象物の情報を取得する機能である。なお、比較用フレーム情報取得部１５で取得される情報は、参照用フレーム情報記憶部１１で記憶された情報に対応する情報であり、本実施形態では、対象物の位置及び大きさの情報である。

フレーム判定部１６は、参照用フレームごとに、参照用フレームと比較用フレームが同一か否かを判定する機能である。具体的には、フレーム判定部１６は、参照用フレーム情報記憶部１１に記憶された情報と、比較用フレーム情報取得部１５で取得された情報とを比較することにより、参照用フレームと比較用フレームが同一か否かを判定する。判定に用いる情報（対象物の位置や大きさの情報）は、ノイズ等による輝度、色差、画素の変化に大きく左右されない情報であるため、従来技術に比べ高精度なフレーム判定処理が行える。

動画像同定部１７は、フレーム判定処理の結果に基づいて、マスター動画像と対象動画像が同一か否かを判定する機能である。具体的には、動画像同定部１７は、フレーム判定部１６で参照用フレームと同一であると判定される比較用フレームが、対象動画像中に所定数以上存在する場合に、対象動画像とマスター動画像が同一であると判定する。なお、本実施形態では、比較用フレームと同一であると判定される比較用フレームが、対象動画像中に５つ以上存在する存在する場合に対象動画像とマスター動画像が同一であると判定する。

結果記憶部１８は、動画像同定部１７から出力された結果を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。

表示部１９は、マスター動画像、対象動画像、参照用フレーム情報、同定結果などを表
示する表示装置である。この表示装置としては、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。

＜動画像同定機能＞
図３のフローチャートに沿って、動画像同定装置１の機能及び処理の流れを説明する。

動画像同定処理が起動すると、動画像同定装置１がキーワードの入力を要求する（ステップＳ１１）。キーワードが入力されると、キーワードに対応したマスター動画像における参照用フレーム情報が参照用フレーム情報記憶部１１から取得される（ステップＳ１２）。本実施形態では、参照用フレーム情報記憶部１１に、図４に示す５つのマスター動画像３１ａ〜３１ｅの参照用フレーム情報が記憶されている。本実施形態では、マスター動画像３１ｃの参照用フレーム情報（図５の参照用フレーム３２ａ〜３２ｉ中の顔の情報）が選択されたとする。なお、本実施形態では、キーワードの入力に応じて参照用フレームが取得されているが、ユーザがマスター動画像を選択することによって当該マスター動画像における参照用フレーム情報が取得されるようにしてもよい。

参照用フレーム３２ａ〜３２ｉとしては、マスター動画像３１ｃにおいて夫々時間的に離れたフレームが選ばれる（参照用フレーム３２ａ〜３２ｉは、マスター動画像３１ｃにおいて夫々時刻ｔ１〜ｔ９におけるフレームであり、ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５＜ｔ６＜ｔ７＜ｔ８＜ｔ９である）。時間的に離れたフレームを参照用フレームとして選択することにより、様々なシーンから参照用フレームが選ばれる確率は高くなる。異なる動画像間で様々なシーンにおけるフレームが一致する可能性は低いため、様々なシーンから参照用フレームが選ばれることにより、高精度な動画像同定処理を行うことができる。

次に、動画像同定装置１が対象動画像の保存先（対象動画像記憶部２０の場所）の入力を要求する（ステップＳ１３）。保存先は、例えば、対象動画像が、インターネットを介して配信されている動画像である場合、該動画像がアップロードされているアドレスなどである。また、対象動画像が、ユーザの所有するハードディスク内に保存されている動画像である場合、該動画像が保存されているフォルダなどである。

保存先が入力されると、対象動画像取得部１２が対象動画像記憶部２０から複数の対象動画像のうち１つを取得する（ステップＳ１４）。

そして、動画像同定装置１は、ステップＳ１２で取得されたマスター動画像３１ｃにおける９つの参照用フレーム３２ａ〜３２ｉの情報のうち、１つを選択する（ステップＳ１５）。

次に、比較用フレーム取得部１３が、ステップＳ１４で取得された対象動画像中の全比較用フレームのうち１つを取得する（ステップＳ１６）。

そして、比較用フレーム対象物検出部１４が、ステップＳ１６で取得された比較用フレームから、顔を検出する（ステップＳ１７）。

次に、比較用フレーム情報取得部１５がステップＳ１７で検出された顔の位置及び大きさの情報を取得する（ステップＳ１８）。

そして、ステップＳ１９でフレーム判定部１６がステップＳ１８で取得された比較用フレーム内の顔の位置及び大きさの情報とステップＳ１５で選択された参照用フレーム内の顔の位置及び大きさの情報とを比較し、互いのフレームが同一か否かを判定する（フレーム判定処理の詳しい説明は後で行う）。「同一である」と判定された場合（ステップＳ１
９；ＹＥＳ）、フレーム判定部１６は、同一フレーム数を＋１し（ステップＳ２０）、ステップＳ２１へ進む。ステップＳ１９で「同一でない」と判定された場合、フレーム判定部１６がステップＳ１４で取得された対象動画像中に他の比較用フレームがあるか否かを判定する（ステップＳ２２）。他の比較用フレームがある場合（ステップＳ２２；ＹＥＳ）、ステップＳ１６でその比較用フレームを取得し、ステップＳ１９までの工程を行う。他の比較用フレームが無い場合（ステップＳ２２；ＮＯ）、ステップＳ２１へ進む。

ステップＳ２１では、フレーム判定部１６が、他の参照用フレームの情報があるか否かを判定する。他の参照用フレームの情報がある場合（ステップＳ２１；ＹＥＳ）、そのフレームをステップＳ１５で選択し、ステップＳ１５〜Ｓ２１の工程を繰り返す。ステップＳ１２で取得された全ての参照用フレームについてステップＳ１５〜Ｓ２１の工程を繰り返したら（ステップＳ２１；ＮＯ）、ステップＳ２３へ進む。

ステップＳ２３では、動画像同定部１７がステップＳ２０でカウントされた同一フレーム数若しくは同一フレームの割合、または、同一フレームの類似度の総和若しくは当該類似度から算出された値（例えば、平均値など）に基づいて、マスター動画像と対象動画像が同一か否かを判定する。同一フレームの割合とは、例えば、参照用フレーム数または対象動画像の全フレーム数を基準とする同一フレーム数の割合である。類似度は、例えば、参照用フレームと比較用フレーム内の対象物の位置や大きさがどれだけ一致するか、などに応じて算出されるものである（フレーム判定処理で詳しく説明する）。本実施形態では、同一フレーム数が５以上である場合、「マスター動画像と対象動画像は同一である」としてステップＳ２４に進み、ステップＳ２０でカウントされた回数が５未満である場合、「マスター動画像と対象動画像は同一でない」としてステップＳ２４に進む。

ステップＳ２４では、動画像同定部１７の同定結果が結果記憶部１８に格納される。そして、ユーザは、該同定結果を表示部１９で確認することができる。

以上述べたように、本実施形態では、対象動画像における比較用フレームから対象物の位置及び大きさの情報を取得し、該情報をマスター動画像における参照用フレームの位置及び大きさの情報と比較することによって、参照用フレームと比較用フレームが同一か否かを判定する。そして、該判定結果に基づいてマスター動画像と対象動画像とが同一か否かを判定するため、カット点のタイムコードの違いによる影響を受けずに、輝度、色差、画素などの情報に基づいて判定するよりも、ノイズなどによる影響を低減することができる。従って、マスター動画像と対象動画像を精度よく同定することができる。

＜フレーム判定処理＞
次に、フレーム判定処理の具体例を示す。フレーム判定部１６は、以下に述べるフレーム判定処理１〜５のいずれを用いてもよい。また、動画像のサイズやフレーム内の対象物の検出結果などに応じて、適宜フレーム判定処理を切り替えてもよい。また、複数のフレーム判定処理を実行し、その判定結果を総合してフレームの同一を判定してもよい。

＜フレーム判定処理１＞
図６は、フレーム判定処理１を示している。フレーム判定処理１では、対象物の位置及び大きさの絶対値を比較する。

ここでは、図３のステップＳ１５で参照用フレーム６１が選択され、ステップＳ１６で比較用フレーム６２ａ〜６２ｃのいずれかが選択された場合について説明する。なお、図６における参照用フレーム６１には対象物６３が写っており、比較用フレーム６２ａ〜６２ｃには、夫々、対象物６４ａ〜６４ｃが写っている。また、対象物６３の位置及び大きさは（６３ｘ，６３ｙ）及び６３ｚであり、対象物６４ａの位置及び大きさは（６４ａｘ
，６４ａｙ）及び６４ａｚであり、対象物６４ｂの位置及び大きさは（６４ｂｘ，６４ｂｙ）及び６４ｂｚであり、対象物６４ｃの位置及び大きさは（６４ｃｘ，６４ｃｙ）及び６４ｃｚである。なお、図６の例では、顔の横幅を対象物の大きさとしたが、対象物の大きさは、顔領域の面積など、対象物の大きさを表すものであればどのようなものであってもよい。

この場合、参照用フレーム内の対象物の位置及び大きさが比較用フレーム内の対象物の位置及び大きさと一致する場合、「同一である」と判定し、それ以外は「同一でない」と判定する。本実施形態の例では、参照用フレーム６１内の対象物６３の位置及び大きさは、比較用フレーム６２ａ内の対象物６４ａの位置及び大きさと異なるため（６３ｘ≠６４ａｘ，６３ｙ≠６４ａｙ，６３ｚ≠６４ａｚ）、「同一でない」と判定され、参照用フレーム６１内の対象物６３の位置及び大きさは、比較用フレーム６２ｂ内の対象物６４ｂの位置及び大きさと一致するため（６３ｘ＝６４ｂｘ，６３ｙ＝６４ｂｙ，６３ｚ＝６４ｂｚ）、「同一である」と判定され、参照用フレーム６１内の対象物６３の位置及び大きさは、比較用フレーム６２ｃ内の対象物６４ｃの位置及び大きさと異なるため（６３ｘ≠６４ｃｘ，６３ｙ≠６４ｃｙ，６３ｚ≠６４ｃｚ）、「同一でない」と判定される。

＜フレーム判定処理２＞
図７は、フレーム判定処理２を示している。フレーム判定処理２では、対象物の位置及び大きさの相対値を比較する。この手法は例えば、比較用フレームの画像サイズが参照用フレームの画像サイズと大きく異なる場合に有効である。

図７に示す参照用フレーム７１には対象物７３が写っており、比較用フレーム７２には対象物７４が写っている（対象物７３の位置及び大きさは、絶対値で（７３ｘ，７３ｙ）及び７３ｚであり、対象物７４の位置及び大きさは、絶対値で（７４ｘ，７４ｙ）及び７４ｚである。）。また、参照用フレームの画像サイズはｘ１×ｙ１であり、比較用フレームの画像サイズはＸ１×Ｙ１であり、ｘ１≠Ｘ１、ｙ１≠Ｙ１である。

比較用フレームの画像サイズが参照用フレームの画像サイズと大きく異なる場合には、絶対値である位置及び大きさを単純に比較することができない（同一のフレームであっても、７３ｘ≠７４ｘ，７３ｙ≠７４ｙ，７３ｚ≠７４ｚであるため「同一である」と判定されない）。そこで、対象物の位置及び大きさとして、フレーム内の相対位置（例えば、対象物７３の位置として（７３ｘ／ｘ１、７３ｙ／ｙ１）、対象物７４の位置として（７４ｘ／Ｘ１、７４ｙ／Ｙ１）のような値）及びフレームの大きさから見た対象物の相対的な大きさ（例えば、対象物の大きさが対象物の幅で定義されているならば、対象物７３の大きさとして７３ｚ／ｘ１、対象物７４の大きさとして７４ｚ／Ｘ１のような値）を用いる。相対値である位置及び大きさは、画像サイズが異なることによる影響を受けない（アスペクト比の異なる動画像も含む）ので、参照用フレーム内の対象物と比較用フレーム内の対象物の位置及び大きさを単純に比較することができる。図７の例では、７３ｘ／ｘ１＝７４ｘ／Ｘ１，７３ｙ／ｙ１＝７４ｙ／Ｙ１，７３ｚ／ｘ１＝７４ｚ／Ｘ１であるため、「同一である」と判定される。このように、位置及び大きさの値として相対値を用いることにより、画像サイズの異なるフレーム間のフレーム判定処理を精度よく行うことができる。

＜フレーム判定処理３＞
図８は、フレーム判定処理３を示している。フレーム判定処理３では、対象物の大きさとその対象物を含む２つの対象物間の距離の比を比較する。この手法は、マスター動画像の一部分をトリミングすることによって作製された動画像や、トリミングされたことによってマスター動画像とアスペクト比の異なる動画像（トリミングされた後、更にアスペクト比が変更された動画像も含む）の場合に有効である。

図８における参照用フレーム８１には対象物８３ａ及び対象物８３ｂの２つが写っており、比較用フレーム８２には対象物８４ａ及び対象物８４ｂの２つが写っている（対象物８３ａの位置及び大きさは、（８３ａｘ，８３ａｙ）及び８３ａｚであり、対象物８３ｂの位置及び大きさは、（８３ｂｘ，８３ｂｙ）及び８３ｂｚであり、対象物８４ａの位置及び大きさは、（８４ａｘ，８４ａｙ）及び８４ａｚであり、対象物８４ｂの位置及び大きさは、（８４ｂｘ，８４ｂｙ）及び８４ｂｚである。）。

マスター動画像の一部分をトリミングすることによって作製された動画像における比較用フレームでは、位置及び大きさの値を単純に比較することができない。そこで、フレームごとに、一方の対象物の大きさとその対象物を含む２つの対象物間の距離（対象物８３ａと対象物８３ｂ間の距離ｚ１、対象物７４ａと対象物７４ｂ間の距離Ｚ１）の比（例えば、８３ａｚ／ｚ１、８３ｂｚ／ｚ１、８４ａｚ／Ｚ１、８４ｂｚ／Ｚ１のような値）を算出し、該比を参照用フレームと比較用フレームとで比較する。対象物の大きさとその対象物を含む２つの対象物間の距離の比はトリミングの影響を受けないので、そのような比で表される値は単純に比較することができる。図８の例では、８３ａｚ／ｚ１＝８４ａｚ／Ｚ１であるため、「同一である」と判定される。このように、対象物の大きさとその対象物を含む２つの対象物間の距離の比を用いることによって、マスター動画像の一部分をトリミングすることによって作製された動画像などについても精度よいフレーム判定処理を行うことができる。更に、そのような比を用いることによって、傾いている動画像（例えば、映画館で映画を隠し撮りしたような動画像であって、隠し撮りする際に傾いて撮影されたような動画像）であっても比較することができる。

＜フレーム判定処理４＞
図９は、フレーム判定処理４を示している。フレーム判定処理４では、対象物の大きさと対象物の移動距離の比を比較する。この手法は、フレーム判定処理３で述べた状況で、フレーム内に対象物が１つしか写っていない場合に有効である。

図９における参照用フレーム９１には対象物９３のみが写っており、比較用フレーム９２には対象物９４のみが写っている（対象物９３の位置及び大きさは、（９３ｘ，９３ｙ）及び９３ｚであり、対象物９４の位置及び大きさは、（９４ｘ，９４ｙ）及び９４ｚである。）。

フレーム判定処理３で述べた状況で、フレーム内に対象物が１つしか写っていない場合、フレーム判定処理３の手法を用いることができず、更に、位置及び大きさの情報も単純に比較することができない（つまり、フレーム判定処理１〜３の手法では比較することができない）。そこで、参照用フレームと比較用フレームとで、対象物の大きさと対象物の移動距離の比を算出し、該比を参照用フレームと比較用フレームとで比較する。なお、対象物の移動距離は、例えば、参照用フレームと比較用フレームの両方について、そのフレームの対象物の位置とそのフレームの所定時間前または後のフレーム内の対象物の位置との差によって定義される。対象物の大きさと対象物の移動距離の比もトリミングの影響を受けないので、そのような比で表される値は単純に比較することができる。図９の例では、マスター動画像と対象動画像において、参照用フレーム９１と比較用フレーム９２から、夫々、１０秒前のフレームである準参照用フレーム９５と準比較用フレーム９６を用いる。準参照用フレーム９５には対象物９７が写っており、対象物９７の位置及び大きさは、（９７ｘ，９７ｙ）及び９７ｚであり、準比較用フレーム９６には対象物９８が写っており、対象物９８の位置及び大きさは、（９８ｘ，９８ｙ）及び９８ｚである。また、対象物９３と対象物９７間の距離はｚ２であり、対象物９４と対象物９８間の距離はＺ２である。そして、参照用フレームと比較用フレームとで、対象物の大きさと対象物の移動距離の比は、９３ｚ／ｚ２、９４ｚ／Ｚ２のように算出され、９３ｚ／ｚ２＝９４ｚ／Ｚ２
であるため、「同一である」と判定される。このように、対象物の大きさと対象物の移動距離の比を用いることによって、フレーム内に対象物が１つしか写ってない場合でも、マスター動画像の一部分をトリミングすることによって作製された動画像について精度よいフレーム判定処理を行うことができる（フレーム判定処理３の方法による効果と同様の効果が得られる）。

＜フレーム判定処理５＞
図１０は、フレーム判定処理５を示している。フレーム判定処理５では、参照用フレーム情報記憶部１１に記憶された情報（対象物の位置や大きさ）と、対応する比較用フレーム情報取得部１５で取得された情報との差が所定の閾値（許容値）よりも小さければ同一のフレームと判定する。言い換えれば、参照用フレームと比較用フレームとの類似度に基づいてフレームの同一性を判定する。この手法は、例えば、ノイズ等の影響によりフレーム内の対象物の位置及び大きさの情報に誤差が生じる場合に有効である。なお、この手法はフレーム判定処理１〜４のいずれにも組み合わせ可能である。

図１０における参照用フレーム１０１には対象物１０３が写っており、比較用フレーム１０２には対象物１０４が写っている。また、対象物１０３の位置及び大きさは、（１０３ｘ，１０３ｙ）及び１０３ｚであり、対象物１０４の位置及び大きさは、（１０４ｘ，１０４ｙ）及び１０４ｚであり、１０３ｘ≠１０４ｘ，１０３ｙ≠１０４ｙ，１０３ｚ≠１０４ｚである（｜１０３ｘ−１０４ｘ｜＝ａ、｜１０３ｙ−１０４ｙ｜＝ｂ，｜１０３ｚ−１０４ｚ｜＝ｃである）。

ノイズ等の影響によりフレーム内の対象物の位置及び大きさの情報に誤差が生じているような比較用フレームでは、フレーム判定処理１〜４のどの手法を用いても単純に比較することができない。そこで、参照用フレームと比較用フレームとで、対象物の位置及び大きさの差が閾値以下である場合に、該参照用フレームと該比較用フレームが同一であると判定する。図１０の例では、ａ，ｂ，ｃ＜閾値という閾値を設定することにより、「同一である」と判定される（当該閾値は、ａ，ｂ，ｃの夫々について共通の値であってもよいし、異なる値であってもよい。）。このように、上述したような閾値を予め設定しておくことにより、ノイズの影響を考慮した動画像同定処理を行うことができる。

なお、対象物の中心を対象物の位置とする場合などでは、１０３ｘ＝１０４ｘ，１０３ｙ＝１０４ｙ，１０３ｚ≠１０４ｚのように、ノイズが一部の情報にのみ誤差を与えることも考えられる。そのような動画像を対象とする場合には、ノイズの影響が無い情報のみを判定対象としてもよいし、ノイズが影響を与える情報についてのみ、閾値を設定してもよいし、複数の閾値を設定してよい（例えば、位置用の閾値＜大きさ用の閾値のような２つの閾値など）。なお、閾値の値は、ユーザの経験に基づいて設定してもよいし、ユーザの目的に応じて設定してもよい（例えば、高画質・低ノイズの動画像のみを対象とする場合に小さな値を設定するなど）。

なお、本実施形態では、ａ，ｂ，ｃの夫々を類似度としているが、ａ，ｂ，ｃに基づいて類似度としてのスコアを算出してもよい。スコアは、類似度が高いほど高くなるようなものであってもよいし、類似度が高いほど低くなるようなものであってもよい。

以上述べたように、本実施形態では、対象物の位置及び大きさから得られる種々の値及び閾値を用いてフレーム判定処理を行うことによって様々な状態の動画像を精度よく同定することができる。

＜変形例１＞
図１１は、変形例１における参照用フレーム情報の一例を示している。変形例１では、
複数の参照用フレームが複数のフレーム群に区分されており、フレーム群ごとに動画像同定処理を行う。

図１１に示される参照用フレーム情報は、マスター動画像１１０における複数の参照用フレーム１１１ａ〜１１１ｉが複数のフレーム群１１２ａ〜１１２ｃに区分されている。なお、参照用フレーム１１１ａ〜１１１ｃはフレーム群１１２ａに属し、参照用フレーム１１１ｄ〜１１１ｆはフレーム群１１２ｂに属し、参照用フレーム１１１ｇ〜１１１ｉはフレーム群１１２ｃに属する。

変形例１の好適な動画像同定処理の流れを図１２のフローチャートに沿って説明する。なお、ステップＳ１０１，ステップＳ１０３及びステップＳ１０５での処理は、図３のステップＳ１５〜Ｓ２３の処理と同一であるため、その説明を省略する。

まず、動画像同定装置１は、フレーム群１１２ａについての動画像同定処理を行う（ステップＳ１０１）。

次に、動画像同定装置１は、ステップＳ１０１の同定結果が「マスター動画像と対象動画像は同一である」であるか否かを判定する（ステップＳ１０２）。同定結果が「マスター動画像と対象動画像は同一である」である場合（ステップＳ１０２；ＹＥＳ）、ステップＳ１０３に進み、「マスター動画像と対象動画像は同一でない」である場合（ステップＳ１０２；ＮＯ）、最終的な同定結果を「マスター動画像と対象動画像は同一でない」として図３のステップＳ２４に進む。

ステップＳ１０３では、動画像同定装置１が、フレーム群１１２ｂについての動画像同定処理を行う。

そして、動画像同定装置１は、ステップＳ１０３の同定結果が「マスター動画像と対象動画像は同一である」であるか否かを判定する（ステップＳ１０４）。同定結果が「マスター動画像と対象動画像は同一である」である場合（ステップＳ１０４；ＹＥＳ）、ステップＳ１０５に進み、「マスター動画像と対象動画像は同一でない」である場合（ステップＳ１０４；ＮＯ）、最終的な同定結果を「マスター動画像と対象動画像は同一でない」として図３のステップＳ２４に進む。

ステップＳ１０５では、動画像同定装置１が、フレーム群１１２ｃについての動画像同定処理を行う。

そして、動画像同定装置１は、ステップＳ１０５の同定結果が「マスター動画像と対象動画像は同一である」であるか否かを判定する（ステップＳ１０６）。同定結果が「マスター動画像と対象動画像は同一である」である場合（ステップＳ１０６；ＹＥＳ）、最終的な同定結果を「マスター動画像と対象動画像は同一である」として図３のステップＳ２４に進み、「マスター動画像と対象動画像は同一でない」である場合（ステップＳ１０４；ＮＯ）、最終的な同定結果を「マスター動画像と対象動画像は同一でない」としてステップＳ２４に進む。

以上述べたように、変形例１ではフレーム群ごとに動画像同定処理を行い、１つのフレーム群について「マスター動画像と対象動画像は同一でない」と判定された場合、その後の処理を省略する。これにより、マスター動画像と対象動画像が同一でない場合の処理の効率化を図ることができる。なお、本実施形態では、１つのフレーム群について「マスター動画像と対象動画像は同一でない」と判定された場合、その後の処理を省略しているが、１つでなくてもよい。そうすることにより、１つのフレーム群が誤判定している可能性
を考慮することができるため、高精度な動画像同定処理を行うことができる。

＜変形例２＞
図１３は、変形例２における動画像同定装置１の機能構成を示すブロック図である。変形例２では、動画像同定装置１が、参照用フレーム取得部２１、参照用フレーム対象物検出部２２、及び、参照用フレーム情報取得部２３を更に備えている。なお、図２のブロック図における符号と同一の符号のものについては同じ機能を有するものとし、その説明を省略する。

参照用フレーム取得部２１は、マスター動画像から複数の参照用フレームを取得する機能である。なお、マスター動画像は、図１３中に示されているマスター動画像記憶部２４に記憶されているものとする。

参照用フレーム対象物検出部２２は、参照用フレーム取得部２１で取得された複数の参照用フレームの夫々について、その参照用フレームから所定の対象物を検出する機能であり、参照用フレーム情報取得部２３は、参照用フレーム対象物検出部２２で検出された対象物の情報を複数の参照用フレームの夫々から取得する機能である。更に、変形例２の参照用フレーム情報記憶部１１は参照用フレーム情報取得部２３で取得された情報を記憶する記憶装置である。

上記構成により、動画像から自動（又は半自動）で参照用フレーム情報を取得し、記憶させることが可能となり、マスター動画像の新規登録が容易となる。また、上記構成により、図３のフローチャートのようにキーワードで参照用フレームを選択するのではなく、ユーザが目的のマスター動画像を入力することで参照用フレームを得ることができるようになる。

＜変形例３＞
図１４は、変形例３を示している。変形例３では、参照用フレーム及び比較用フレームとして、所定の範囲内の大きさの対象物を含むフレームが選択され、対象物として、その大きさの対象物のみが選ばれる。なお、所定の範囲はユーザの目的に応じて適宜変更可能な範囲である。

図１４の参照用フレーム１４１と比較用フレーム１４２には、夫々、対象物が２１個写っている（２０個は大きさがｗであり、１個は大きさがＷであり、ｗ＜Ｗである。なお、ユーザは予めｗ＜閾値＜Ｗとなるような閾値を設定しており、該閾値より大きい対象物を含んでいるため、フレーム１４１及びフレーム１４２が選択されている）。このような対象物の位置や大きさを比較することは、処理負荷の増加を招く。更に、同程度の大きさの対象物の数多く写っていることにより、位置関係があいまいになってしまうため、精度よく判定することができない。そこで、閾値の範囲内に大きさの対象物を含むフレームを参照用フレームとして選択することにより、精度よい動画像同定処理を行うことができる。更に、閾値より小さい対象物を対象物として検出しないことにより、効率的且つ高精度な動画像同定処理を行うことができる。図１４の例では、参照用フレーム１４１と比較用フレーム１４２に写っているたった１つの対象物の位置及び大きさで判定することができる。なお、動画像同定処理に悪影響を与える対象物というのは、小さい対象物や極端に大きい対象物（例えば、フレーム全体を占めるような顔など）であるので、そのような対象物を避けるように、ユーザの経験や目的に応じて閾値を設定すればよい。

なお、本実施形態では、対象物を「（人の）顔」としているが、人全体、自動車などの乗り物、建築物、植物など、いかなるものを対象物としてよい。

なお、本実施形態のフレーム判定処理２では、対象物の位置及び大きさとして相対値を用いているが、対象物の位置及び大きさは絶対値であってもよい。その場合、参照用フレームと比較用フレームが同じサイズになるようにどちらかのフレームを拡大又は縮小することにより、画像サイズが異なる動画像を同定することができる。

なお、本実施形態の対象物の情報は、対象物の位置及び大きさの情報であるが、対象物の向きやパターンなどの情報を更に取得してもよい。パターンとは、対象物の特徴を詳しく表すものである（例えば、参照用フレーム内の顔は誰なのかを表すもの等）。これにより、位置及び大きさの情報でフレーム判定処理を行うのに比べ、より精度よいフレーム判定処理が期待できる。また、それら対象物の情報を比較する際、全ての情報が一致していなくてもよいし、それらの情報を組み合わせたような情報を用いて比較してもよい。

なお、本実施形態の参照用フレーム情報記憶部１１には、５つの動画像における複数の参照用フレームの情報が記憶されているが、参照用フレーム情報記憶部１１に記憶されている動画像の数、参照用フレームの数はいくつであってもよい。１つの動画像について参照用フレームの数が多いほど、その動画像を用いた動画像同定処理の精度の向上が期待できる。

なお、本実施形態では、１つのマスター動画像と１つの対象動画像との動画像同定処理について説明しているが、マスター動画像又は／及び対象動画像を複数用いて動画像同定処理を行ってもよいし、本実施形態で説明した動画像同定処理を行った後にマスター動画像又は／及び対象動画像を自動的に別の動画像に切り替え、引き続き動画像同定処理を行うようにしてもよい。これにより、ユーザは一度に複数の動画像の同定結果を確認することができる。

なお、本実施形態では、比較用フレームの選び方について詳しく述べていないが、比較用フレームの選び方は、対象動画像の最初のフレームから順次選択してもよいし、一度フレーム判定処理で「同一である」と判定された後は、その参照用フレームと他の参照用フレームとの時間的な差やフレーム幅（参照用フレームと他の参照用フレームが何フレーム離れているか）に基づいて比較用フレームを選択してもよい。具体的には、「同一である」と判定された参照用フレームＡと他の参照用フレームＢが５分離れた（５分後）フレームである場合、参照用フレームＢと比較する比較用フレームは、当該「同一である」と判定された比較用フレームから５分後のフレーム及びその周辺のフレームから選択すればよい。また、「同一である」と判定された参照用フレームＡと他の参照用フレームＢが１０フレーム（後ろに）離れたフレームである場合、参照用フレームＢと比較する比較用フレームは、当該「同一である」と判定された比較用フレームから１０フレーム後のフレーム及びその周辺のフレームから選択すればよい。「同一である」と判定された参照用フレームと他の参照用フレームとの時間的な差やフレーム幅に基づいて比較用フレームを選択することにより、対象動画像の最初のフレームから選択するよりも効率的なフレーム判定処理が期待できる。

なお、本実施形態では、参照用フレーム３２ａ〜３２ｉが動画像３１ｃにおいて夫々時刻ｔ１〜ｔ９におけるフレームであることが述べられている。各参照用フレームがマスター動画像においてどの時刻のフレームであるかを把握することにより、参照用フレーム同士が時間的にどれだけ離れているかということも比較のパラメータとすることができる。

なお、本実施形態では、図３のフローチャートを用いて処理の流れを説明したが、処理の順番は可能な限り入れ替えてもよい。例えば、本実施形態では、参照用フレームを選択（ステップＳ１５）した後に比較用フレームを取得（ステップＳ１６）しているが、比較用フレームを取得した後に参照用フレームを選択してもよい。

なお、変形例２において、参照用フレーム情報記憶部１１は、参照用フレーム情報を取得し、取り貯めて置くものとして使用してもよいし、動画像同定処理中に一時的に参照用フレーム情報を記憶するものとして使用してもよい。動画像同定処理中に一時的に参照用フレーム情報を記憶するものとして使用すれば、参照用フレーム情報記憶部１１に何も記憶されていなくても、マスター動画像記憶部２４から参照用フレーム情報を取得することができ、該参照用フレーム情報をそのまま使用することができる。

なお、変形例２において、マスター動画像記憶部２４には、マスター動画像そのものが記憶されていなくてもよい。例えば、参照用フレームそのものが記憶されていれば、マスター動画像記憶部２４から参照用フレーム情報を取得することができる。

なお、変形例２において、参照用フレーム取得部２１で取得される参照用フレームは、マスター動画像から自動で選択されたものであってもよいし、ユーザが手動で選択したものであってもよい。自動で選択することにより、ユーザの負担は減り、手動で選択することにより、マスター動画像における特徴的なシーンを選択することができる。

なお、変形例３では、閾値より大きい対象物のみを検出しているが、対象物は大きさに限らず全て検出し、閾値より大きい対象物のみを比較に用いてもよい。

図１は、動画像同定装置１の動画像同定処理の一例を示す図である。 図２は、動画像同定装置１の機能構成を示すブロック図である。 図３は、動画像同定装置１の処理の流れを示すフローチャートである。 図４は、参照用フレーム情報記憶部１１の一例を示す図である。 図５は、ステップＳ１２で取得された参照用フレーム情報の一例を示す図である。 図６は、フレーム判定処理の一例を示す図である。 図７は、フレーム判定処理の一例を示す図である。 図８は、フレーム判定処理の一例を示す図である。 図９は、フレーム判定処理の一例を示す図である。 図１０は、フレーム判定処理の一例を示す図である。 図１１は、変形例１における参照用フレーム情報の一例を示す図である。 図１２は、変形例１における動画像同定装置１の処理の流れを示すフローチャートである。 図１３は、変形例２における動画像同定装置１の機能構成を示すブロック図である。 図１４は、変形例３における対象物検出処理の一例を示す図である。

符号の説明

１ 動画像同定装置
２ マスター動画像
３ 対象動画像
４ａ〜４ｃ， 参照用フレーム
５ａ〜５ｃ 比較用フレーム
１１ 参照用フレーム情報記憶部
１２ 対象動画像取得部
１３ 比較用フレーム取得部
１４ 比較用フレーム対象物検出部
１５ 比較用フレーム情報取得部
１６ フレーム判定部
１７ 動画像同定部
１８ 結果記憶部
１９ 表示部
２０ 対象動画像記憶部
２１ 参照用フレーム取得部
２２ 参照用フレーム対象物検出部
２３ 参照用フレーム情報取得部
２４ 参照用フレーム情報記憶部
３１ａ〜３１ｅ マスター動画像
３２ａ〜３２ｉ 参照用フレーム
６１ 参照用フレーム
６２ａ〜６２ｃ 比較用フレーム
６３，６４ａ〜６４ｃ 対象物
７１ 参照用フレーム
７２ 比較用フレーム
７３，７４ 対象物
８１ 参照用フレーム
８２ 比較用フレーム
８３a，８３ｂ，８４a，８４ｂ 対象物
９１ 参照用フレーム
９２ 比較用フレーム
９５ 準参照用フレーム
９６ 準比較用フレーム
９３，９４，９７，９８ 対象物
１０１ 参照用フレーム
１０２ 比較用フレーム
１０３，１０４ 対象物
１１０ マスター動画像
１１１ａ〜１１１ｉ 参照用フレーム
１１２ａ〜１１２ｃ フレーム群
１４１ 参照用フレーム
１４２ 比較用フレーム

Claims (10)

1. 所定の動画像における、複数の参照用フレームの夫々について、その参照用フレーム中の対象物の少なくとも位置及び大きさの情報を予め記憶する参照用フレーム情報記憶手段と、
   対象とする動画像から比較用フレームを取得する比較用フレーム取得手段と、
   前記比較用フレームから対象物を検出する比較用フレーム対象物検出手段と、
   前記比較用フレーム対象物検出手段で検出された対象物の、前記参照用フレーム情報記憶手段に記憶された情報に対応する情報を、前記比較用フレームから取得する比較用フレーム情報取得手段と、
   参照用フレームごとに、前記参照用フレーム情報記憶手段に記憶された情報と、前記比較用フレーム情報取得手段で取得された情報とを比較することによって、該参照用フレームと前記比較用フレームが同一か否かを判定するフレーム判定手段と、
   前記フレーム判定手段で前記参照用フレームと同一であると判定される比較用フレームが、前記対象とする動画像中に所定数以上存在する場合に、前記対象とする動画像と前記所定の動画像が同一であると判定する動画像同定手段と、
   を備え、
   前記複数の参照用フレームは、複数のフレーム群に区分されており、
   前記動画像同定手段は、参照用フレームと同一であると判定される比較用フレームが前記対象とする動画像中に所定数以上存在するか否かを前記フレーム群ごとに判定する
   動画像同定装置。
2. 前記フレーム判定手段は、前記複数の参照用フレームの夫々について、その参照用フレーム中に複数の対象物が存在する場合、対象物の大きさとその対象物を含む２つの対象物間の距離の比を参照用フレームと比較用フレームとの間で比較することによって、該参照用フレームと該比較用フレームが同一か否かを判定する
   請求項１に記載の動画像同定装置。
3. 前記フレーム判定手段は、対象物の大きさと対象物の移動距離の比を参照用フレームと比較用フレームとの間で比較することによって、該参照用フレームと該比較用フレームが同一か否かを判定する
   請求項１または２に記載の動画像同定装置。
4. 前記フレーム判定手段は、前記参照用フレーム情報記憶手段に記憶された情報と、対応する前記比較用フレーム情報取得手段で取得された情報との差が所定の閾値より小さい場合に、前記比較用フレームと前記参照用フレームが同一であると判定する
   請求項１〜請求項３のいずれかに記載の動画像同定装置。
5. 前記参照用フレームとして、所定の範囲内の大きさの対象物を含むフレームが選ばれる請求項１〜請求項４のいずれかに記載の動画像同定装置。
6. 前記複数の参照用フレームとして、前記所定の動画像において時間的に離れたフレームが選ばれる
   請求項１〜請求項５のいずれかに記載の動画像同定装置。
7. 前記参照用フレーム中の対象物として、所定の範囲内の大きさの対象物のみが選ばれる請求項１〜請求項６のいずれかに記載の動画像同定装置。
8. 所定の動画像から複数の参照用フレームを取得する参照用フレーム取得手段と、
   前記複数の参照用フレームの夫々について、その参照用フレームから対象物を検出する参照用フレーム対象物検出手段と、
   前記参照用フレーム対象物検出手段で検出された対象物の少なくとも位置及び大きさの情報を前記複数の参照用フレームの夫々から取得する参照用フレーム情報取得手段と、を更に備え、
   前記参照用フレーム情報記憶手段は、前記参照用フレーム情報取得手段で取得された情報を記憶する
   請求項１〜請求項７のいずれかに記載の動画像同定装置。
9. コンピュータが、
   所定の動画像における、複数の参照用フレームの夫々について、その参照用フレーム中の対象物の少なくとも位置及び大きさの情報を記憶手段に予め記憶し、
   対象とする動画像から比較用フレームを取得し、
   前記比較用フレームから対象物を検出し、
   前記比較用フレームから検出された対象物の、前記記憶手段に予め記憶された情報に対応する情報を、前記比較用フレームから取得し、
   参照用フレームごとに、前記記憶手段に予め記憶された情報と、前記比較用フレームから取得された情報とを比較することによって、該参照用フレームと前記比較用フレームが同一か否かを判定し、
   前記参照用フレームと同一であると判定される比較用フレームが、前記対象とする動画像中に所定数以上存在する場合に、前記対象とする動画像と前記所定の動画像が同一であると判定する
   動画像同定方法であって、
   前記複数の参照用フレームは、複数のフレーム群に区分されており、
   前記コンピュータは、参照用フレームと同一であると判定される比較用フレームが前記対象とする動画像中に所定数以上存在するか否かを前記フレーム群ごとに判定する
   動画像同定方法。
10. コンピュータに、
    所定の動画像における、複数の参照用フレームの夫々について、その参照用フレーム中の対象物の少なくとも位置及び大きさの情報を記憶手段に予め記憶する参照用フレーム情報記憶ステップと、
    対象とする動画像から比較用フレームを取得する比較用フレーム取得ステップと、
    前記比較用フレームから対象物を検出する比較用フレーム対象物検出ステップと、
    前記比較用フレームから検出された対象物の、前記記憶手段に予め記憶された情報に対応する情報を、前記比較用フレームから取得する比較用フレーム情報取得ステップと、
    参照用フレームごとに、前記記憶手段に予め記憶された情報と、前記比較用フレームから取得された情報とを比較することによって、該参照用フレームと前記比較用フレームが同一か否かを判定するフレーム判定ステップと、
    前記参照用フレームと同一であると判定される比較用フレームが、前記対象とする動画像中に所定数以上存在する場合に、前記対象とする動画像と前記所定の動画像が同一であると判定する動画像同定ステップと、
    を実行させるための動画像同定プログラムであって、
    前記複数の参照用フレームは、複数のフレーム群に区分されており、
    前記動画像同定ステップでは、参照用フレームと同一であると判定される比較用フレームが前記対象とする動画像中に所定数以上存在するか否かを前記フレーム群ごとに判定する
    動画像同定プログラム。

Images