JP4853564B2 - 情報処理装置、情報処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、情報処理装置に関し、特に、動画を検索することが可能な情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、インターネット等のネットワーク技術が向上し、各情報を高速で通信することが可能になるとともに、この通信についての信頼性が向上している。また、インターネットに接続されている動画管理サーバに動画をアップロードしておき、インターネットに接続されている複数のパソコン（パーソナルコンピュータ）間で動画を共有して閲覧することが可能な動画共有システムが普及している。

例えば、インターネットを介して自宅のパソコンと動画管理サーバとを接続し、自宅のパソコンから動画管理サーバに動画をアップロードしておき、この動画を他のパソコンから閲覧することが可能なオンラインサービスが普及している。

このような動画共有システムにおいては、アップロードされた動画が、ユーザにより自ら作成されたものである場合があるとともに、他人の著作権を侵害している動画である場合も考えられる。このように他人の著作権を侵害している動画がアップロードされた場合には、その動画をアップロード禁止にする等により他人に閲覧できないようにすることが重要である。そこで、他人の著作権を侵害しているか否かを判断する場合には、動画管理サーバの管理者がアップロードされた各動画を見て、他人の著作権を侵害しているか否かを判断することが広く行われている。しかしながら、アップロードされる動画の数が多い場合には、全ての動画を管理者が見ることは困難である。

そこで、例えば、特定画像との一致判定や類似判定を行い、ＪＰＥＧ２０００方式等に従って圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と一致する画像を検索する画像検索装置が提案されている（例えば、特許文献１参照。）。

特開２００６−２８５６１５号公報（図１）

上述の従来技術によれば、特定画像と一致する画像を迅速に検索することができる。

しかしながら、ネットワーク上にアップロードされる動画の数は非常に多く、また、他人の著作権を侵害する可能性のある動画の数も非常に多い。このため、動画の検索を特定の動画に関する特徴量等に基づいて迅速に行うためには、検索する側で格納しておくべき情報量と、検索に係る処理量とを削減して迅速に動画を検索することが重要である。

そこで、本発明は、動画の検索を迅速に行うことを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画像におけるチェンジ点間隔を記憶する記憶手段と、入力された動画像からチェンジ点間隔を算出する算出手段と、上記記憶手段に記憶されているチェンジ点間隔と、上記算出手段により算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手段と、上記チェンジ点間隔検出手段により検出された、上記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、上記チェンジ点間隔検出手段により検出された、上記算出手段により算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手段と、上記加算手段により求めた加算値と、上記加算手段による加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手段と、上記加算値判定手段により判定された一致回数が所定の回数以上の場合には、上記記憶手段に記憶されているチェンジ点間隔に係る動画像と、上記算出手段により算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手段とを有する情報処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、記憶手段に記憶されているチェンジ点間隔と、算出手段により算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出し、この検出された、記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、この検出された、算出手段により算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、この小さいチェンジ点間隔の次のチェンジ点間隔とを加算し、これにより求めた加算値と、その加算の対象となっていないチェンジ点間隔とが一致するかを判定し、この判定された一致回数が所定の回数以上の場合には、記憶手段に記憶されているチェンジ点間隔に係る動画像と、算出手段により算出されたチェンジ点間隔に係る動画像とが一致していると判定するという作用をもたらす。

また、この第１の側面において、上記加算値判定手段は、判定結果が一致判定でない場合は、上記加算手段により求めた加算値と、上記加算手段による加算の対象となっていないチェンジ点間隔との間でより小さい値と、当該小さい値に係るチェンジ点間隔の次のチェンジ点間隔とを加算し、当該加算した値と当該加算の対象となっていない値とが一致するかを判定するようにしてもよい。これにより、判定結果が一致判定でない場合は、加算手段により求めた加算値と、加算手段による加算の対象となっていないチェンジ点間隔との間でより小さい値と、この小さい値に係るチェンジ点間隔の次のチェンジ点間隔とを加算し、この加算した値とこの加算の対象となっていない値とが一致するかを判定するという作用をもたらす。

また、この第１の側面において、上記記憶手段は、上記動画像から抽出された特徴量と所定の閾値とを比較することにより求めた上記チェンジ点間隔を、上記特徴量と時系列で関連付けて記憶し、上記算出手段は、上記入力された動画像から抽出された特徴量と上記閾値とを比較することにより、上記チェンジ点間隔を算出し、上記動画像判定手段により一致すると判定された、上記記憶手段に記憶されている動画像から抽出された特徴量に対応するチェンジ点と、上記算出手段により算出された動画像から抽出された特徴量に対応するチェンジ点との間で、画質がより高い動画像に係る特徴量には存在し、画質がより低い動画像に係る特徴量には存在しないチェンジ点を検出するチェンジ点検出手段と、上記チェンジ点検出手段により検出されたチェンジ点の時間軸における位置に対応する、上記画質がより低い動画像に係る特徴量の値を上記閾値とする閾値更新手段とをさらに有するようにしてもよい。これにより、入力された動画像から抽出された特徴量と閾値とを比較することによりチェンジ点間隔を算出し、動画像判定手段により一致すると判定された、記憶手段に記憶されている動画像から抽出された特徴量に対応するチェンジ点と、算出手段により算出された動画像から抽出された特徴量に対応するチェンジ点との間で、画質がより高い動画像に係る特徴量には存在し、画質がより低い動画像に係る特徴量には存在しないチェンジ点を検出し、この検出されたチェンジ点の時間軸における位置に対応する、画質がより低い動画像に係る特徴量の値を閾値とするという作用をもたらす。

また、この第１の側面において、上記閾値更新手段は、上記チェンジ点検出手段により検出されたチェンジ点が複数ある場合は、上記複数のチェンジ点に対応する特徴量の中で最も小さい値を閾値とするようにしてもよい。これにより、チェンジ点検出手段により検出されたチェンジ点が複数ある場合は、複数のチェンジ点に対応する特徴量の中で最も小さい値を閾値とするという作用をもたらす。

また、この第１の側面において、上記チェンジ点を、上記動画像から抽出された特徴量の値が上記閾値を超える点とするようにしてもよい。これにより、動画像から抽出された特徴量の値が閾値を超える点をチェンジ点として用いるという作用をもたらす。

また、この第１の側面において、上記チェンジ点間隔を、連続する上記チェンジ点間における時間又はフレーム数を示す値とするようにしてもよい。これにより、連続するチェンジ点間における時間又はフレーム数を示す値をチェンジ点間隔として用いるという作用をもたらす。

また、この第１の側面において、上記算出手段は、上記入力された動画像における所定数のフレームを単位として上記動画像から抽出された特徴量と、所定の閾値とを比較することにより、上記チェンジ点間隔を算出するようにしてもよい。これにより、入力された動画像における所定数のフレームを単位として動画像から抽出された特徴量と、所定の閾値とを比較することにより、チェンジ点間隔を算出するという作用をもたらす。

本発明によれば、動画の検索を迅速に行うことができるという優れた効果を奏し得る。

情報処理装置１００の機能構成例を示すブロック図である。 特徴量抽出部２００の機能構成例を示すブロック図である。 フレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号（赤）Ｃｒのカラーヒストグラムの一例を示す図である。 動画を構成する各フレームに対応する画像を時系列に並べられた場合を概念的に示す図である。 データベース１４０に格納されているカットチェンジ点間隔リストの概略を示す図である。 カットチェンジ点間隔リスト４００およびカットチェンジ点間隔リスト４２０を示す図である。 カットチェンジ点間隔リスト４００とカットチェンジ点間隔リスト４２０との比較により動画が一致するか否かを判定する判定方法の一例を概略的に示す図である。 情報処理装置１００による動画一致検索処理の処理手順を示すフローチャートである。 情報処理装置１００による動画一致検索処理の処理手順のうちの一致判定処理手順を示すフローチャートである。 カットチェンジ点間隔リスト４８０および４９０を示す図である。 情報処理装置１０１の構成例を示すブロック図である。 特徴量抽出部２０１の機能構成例を示すブロック図である。 データベース１４１に格納されている特徴量リストの概略を示す図である。 特徴量リスト４６０および特徴量リスト４７０を示す図である。 特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を表す折線グラフを示す図である。 特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を表す折線グラフを示す図である。 情報処理装置１００による閾値変更処理の処理手順を示すフローチャートである。 動画の特徴に基づいて動画を分類する場合を示す図である。 特徴量抽出部２０２の機能構成例を示すブロック図である。 動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。 情報処理装置１０２の構成例を示すブロック図である。 特徴量抽出部２０３の機能構成例を示すブロック図である。 データベース１４２に格納されている特徴量リストの概略を示す図である。 情報処理装置１０３の構成例を示すブロック図である。 特徴量抽出部２０４の機能構成例を示すブロック図である。 特徴量照合部１５２の機能構成例を示すブロック図である。 照合方法決定部１５３が照合方法を決定する場合における決定方法の概略を示す図である。 情報処理システム８００を示すシステム構成図である。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。この情報処理装置１００は、動画入力部１１０と、ビデオ・オーディオデマルチプレクサ１２０と、ビデオデコード部１３０と、データベース１４０と、特徴量照合部１５０と、判定結果出力部１６０と、特徴量抽出部２００とを備える。なお、この情報処理装置１００は、例えば、デジタルビデオカメラ等の撮像装置で撮影された動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。

動画入力部１１０は、動画を入力する動画入力部であり、入力された動画をビデオ・オーディオデマルチプレクサ１２０に出力する。動画入力部１１０に入力される動画としては、例えば、撮像装置で撮影された動画やテレビジョン放送で受信された動画等が考えられる。

ビデオ・オーディオデマルチプレクサ１２０は、動画入力部１１０から出力された動画について、ビデオデータ（信号）とオーディオデータ（信号）とに分離するものであり、分離されたビデオデータをビデオデコード部１３０に出力する。なお、分離されたオーディオデータは、本発明の実施の形態においては特に利用されない。

ビデオデコード部１３０は、ビデオ・オーディオデマルチプレクサ１２０から出力されたビデオデータをデコードしてベースバンドデータを生成するものであり、生成されたベースバンドデータを特徴量抽出部２００に出力する。

特徴量抽出部２００は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて特徴量を抽出するものであり、抽出された特徴量をデータベース１４０および特徴量照合部１５０に出力する。本発明の実施の形態では、特徴量抽出部２００が抽出する特徴量として、動画におけるチェンジ点の間隔と、動画を構成するフレーム間のヒストグラム差分値と、チェンジ点間に含まれるフレームのうちの少なくとも１つのフレームのヒストグラムである代表ヒストグラムとを例にして説明する。なお、チェンジ点は、例えば、動画において撮影場面が瞬間的に変化する場合におけるその境界点を示すカットチェンジ点や、動画において撮影場面が比較的大きく変化する場合におけるその境界点を示すクロスフェード点等を含むものであり、チェンジ点の間隔は、連続するチェンジ点間の区間における時間やフレーム数等の間隔を示すものである。この例では、チェンジ点として、カットチェンジ点を用いる場合について説明し、他の特徴量については、図１７等を参照して詳細に説明する。また、特徴量抽出部２００については、図２を参照して詳細に説明する。さらに、カットチェンジ点の間隔については、図４を参照して詳細に説明する。

この特徴量抽出部２００によって抽出されたチェンジ点間隔は、これらを時系列に並べたリストであるカットチェンジ点間隔リストとしてデータベース１４０および特徴量照合部１５０に供給される。なお、カットチェンジ点間隔リストについては、図５、図６等を参照して詳細に説明する。

データベース１４０は、特徴量抽出部２００から出力されたカットチェンジ点の間隔に対応するカットチェンジ点間隔リストを動画毎に格納するデータベースであり、格納されているカットチェンジ点間隔リストを動画毎に特徴量照合部１５０に出力する。

特徴量照合部１５０は、特徴量抽出部２００から出力されたカットチェンジ点の間隔と、データベース１４０に格納されている各カットチェンジ点間隔リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４０に格納されているカットチェンジ点間隔リストに対応する動画とを照合して、両者が一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５０は、動画入力部１１０に入力された動画と一致する動画に対応するカットチェンジ点間隔リストを、データベース１４０に格納されているカットチェンジ点間隔リストの中から検索する。

判定結果出力部１６０は、特徴量照合部１５０から出力された一致リストを出力するものである。例えば、特徴量照合部１５０から出力された一致リストを表示して出力することができる。

図２は、特徴量抽出部２００の機能構成例を示すブロック図である。特徴量抽出部２００は、カラーヒストグラム抽出部２１０と、連続フレーム間ヒストグラム差分算出部２２０と、閾値保持部２３０と、カットチェンジ点判別部２４０と、チェンジ点間隔算出部２５０とを備える。

図３（ａ）および（ｂ）は、ビデオデコード部１３０から出力されたベースバンドデータからフレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号（赤）Ｃｒのカラーヒストグラムの一例を示す図である。図３（ａ）および（ｂ）に示すグラフにおいて、横軸は階調を示し、縦軸は頻度を示す。図３（ｃ）は、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分を示す図である。図３（ｃ）において、斜線で示す領域が、図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分値に相当する領域である。なお、図３については、図２を参照して詳細に説明する。

図４は、動画を構成する各フレームに対応する画像を時系列に並べられた場合を概念的に示す図である。なお、図４については、図２を参照して詳細に説明する。

カラーヒストグラム抽出部２１０は、ビデオデコード部１３０から出力されたベースバンドデータをバッファに保持して、このバッファに保持されたベースバンドデータから画面全体のＹ、ＣｂおよびＣｒのカラーヒストグラムをサンプリングし、このサンプリングされたカラーヒストグラムについて、階調をＮ段階（例えば、Ｎ＝１６）に分け、各階調における頻度の和が一定になるように正規化を行うものである。そして、正規化が施されたＹ、ＣｂおよびＣｒのヒストグラムを連続フレーム間ヒストグラム差分算出部２２０に出力するものである。例えば、動画を構成する１つのフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ａ）に示し、図３（ａ）に示すヒストグラムに対応するフレームの次のフレームについて抽出されたＹ、ＣｂおよびＣｒのヒストグラムを図３（ｂ）に示す。このように、動画入力部１１０に入力された動画を構成する各フレームについて、Ｙ、ＣｂおよびＣｒのヒストグラムが抽出される。

連続フレーム間ヒストグラム差分算出部２２０は、カラーヒストグラム抽出部２１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続する２フレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をカットチェンジ点判別部２４０に出力するものである。例えば、連続する２フレームに対応する図３（ａ）および（ｂ）に示すカラーヒストグラムの面積の差分値として、図３（ｃ）に斜線で示す領域の面積の値が算出される。

閾値保持部２３０は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部２４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をカットチェンジ点判別部２４０に出力する。

カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えたか否かに基づいて、連続する２フレーム間がカットチェンジ点であるか否かを判別するものである。すなわち、カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、チェンジ点間隔算出部２５０に出力する。一方、カットチェンジ点判別部２４０は、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続する２フレーム間がカットチェンジ点ではないと判別する。このようにカットチェンジ点ではないと判別された場合には、チェンジ点間隔算出部２５０には時刻が出力されない。

図４には、撮像装置により撮影された動画３００を構成する各フレームに対応する画像３０１乃至３０９を概略的に示す。画像３０１乃至３０９は、１つの動画３００に含まれる画像ではあるものの、撮影された時刻および場所が異なる４つのシーンが含まれているため、これらのシーンが切り換わるフレームでは被写体の構図や色等が瞬間的に変化する。このため、これらのシーンが切り換わる際の連続する２フレーム間におけるヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えて、その連続する２フレーム間がカットチェンジ点であると判別される。

例えば、画像３０１乃至３０３は、街中を歩いている人物を撮影したものであり、人物が移動しているため、人物の位置が多少異なるものの、画像全体では類似している印象となる。このため、画像３０１乃至３０３に関する連続する２フレーム間におけるヒストグラム差分値が、閾値保持部２３０に保持されている閾値を超えず、その連続する２フレーム間はカットチェンジ点ではないと判別される。

また、画像３０４または３０５は、山の前の家並みを撮影したものであり、撮像装置を水平方向に移動させて撮影しているため、被写体の位置が水平方向に移動して多少異なるものの、画像全体では類似している印象となる。しかしながら、画像３０３と画像３０４とを比較した場合には、撮影された時刻および場所が異なるシーンの切り換え部分に該当するため、画像全体が大きく異なっている。このため、画像３０３と画像３０４との境界がカットチェンジ点とされ、このカットチェンジ点に対応する時刻（開始時刻ｔ１からの時間）ｔ２がチェンジ点間隔算出部２５０に出力される。

また、画像３０５と画像３０６との境界、および、画像３０７と画像３０８との境界についても、同様に、カットチェンジ点として検出され、このカットチェンジ点に対応する時刻ｔ３およびｔ４がチェンジ点間隔算出部２５０に出力される。

チェンジ点間隔算出部２５０は、カットチェンジ点判別部２４０から出力されたカットチェンジ点の時刻に基づいて、隣接する２つのカットチェンジ点間の時間間隔を算出するものであり、算出されたカットチェンジ点の間隔をデータベース１４０および特徴量照合部１５０に出力する。すなわち、チェンジ点間隔算出部２５０は、カットチェンジ点判別部２４０からカットチェンジ点の時刻が出力された場合には、この時刻と、この時刻の直前に出力された時刻との差の値を算出して、隣接する２つのカットチェンジ点間の時間間隔を算出する。なお、隣接する２つのカットチェンジ点間の間隔として、このカットチェンジ点間に含まれるフレームの数を算出し、この算出されたフレーム数をカットチェンジ点の間隔とするようにしてもよい。

次に、特徴量抽出部２００により抽出されたカットチェンジ点間隔に基づいて作成されるカットチェンジ点間隔リストについて、図面を参照して詳細に説明する。

図５は、データベース１４０に格納されているカットチェンジ点間隔リストの概略を示す図である。データベース１４０には、１または複数のカットチェンジ点間隔リストが格納されている。例えば、データベース１４０には、カットチェンジ点間隔リスト４００、４０５、４０６が格納されている。なお、データベース１４０に格納されるカットチェンジ点間隔リストは、特徴量抽出部２００から出力されたカットチェンジ点の間隔を順次格納して作成するようにしてもよく、他の情報処理装置において抽出されたカットチェンジ点の間隔を順次格納して作成するようにしてもよい。

カットチェンジ点間隔リスト４００には、カットチェンジ点間隔４０３が時系列に記録されている。これらは、対応する動画を識別するためのコンテンツＩＤに関連付けられている。コンテンツＩＤは、情報処理装置１００の内部または外部に備えられている動画データベースに格納されている動画を検索するために用いることができるＩＤであり、例えば、カットチェンジ点間隔リスト４００に対応するコンテンツＩＤとして、「＃１２３」が付与されているものとする。また、図５においては、対応する動画において抽出されたカットチェンジ点間隔の識別番号としてノードＩＤ４０２を付して説明する。

カットチェンジ点間隔４０３は、対応する動画において抽出されたカットチェンジ点間隔を時間で示すものであり、時刻の早い順序で記録される。

このように、１または複数のカットチェンジ点間隔リストが格納されているデータベース１４０を用いて、動画入力部１１０から入力された動画について一致検索をする場合には、データベース１４０に格納されているカットチェンジ点間隔リストを１つずつ読み出して、次に示すように検索処理を実行する。

図６は、データベース１４０から取り出されたカットチェンジ点間隔リスト４００と、検索対象として動画入力部１１０から入力された動画において抽出されたカットチェンジ点間隔に対応するカットチェンジ点間隔リスト４２０とを示す図である。ここでは、カットチェンジ点間隔リスト４００とカットチェンジ点間隔リスト４２０とを比較して、これらのリストに対応する動画が一致するか否かを判定する場合について図７を参照して説明する。

図７は、カットチェンジ点間隔リスト４００とカットチェンジ点間隔リスト４２０とを比較して、これらのリストに対応する動画が一致するか否かを判定する場合における判定方法の一例を概略的に示す図である。

最初に、カットチェンジ点間隔リスト４２０の比較対象となるカットチェンジ点間隔リストがデータベース１４０から取り出される。例えば、カットチェンジ点間隔リスト４００が取り出される。続いて、カットチェンジ点間隔リスト４００のカットチェンジ点間隔４０３の値と、カットチェンジ点間隔リスト４２０のカットチェンジ点間隔４２３の値とをノードＩＤの順番で順次比較して、一致する値が検出される。例えば、カットチェンジ点間隔リスト４００におけるノードＩＤ４０２の「１１」に対応するカットチェンジ点間隔４０３の値「０：００：０５．６０５」と、カットチェンジ点間隔リスト４２０におけるノードＩＤ４２２の「２１」に対応するカットチェンジ点間隔４２３の値「０：００：０５．６０５」とが、矢印４３１で示すように一致する（４４１）。なお、図７では、図６に示すカットチェンジ点間隔の各値の前半部分を省略して示す。

このように、２つのカットチェンジ点間隔リストにおいて、一致するカットチェンジ点間隔の値が検出された場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出される。例えば、カットチェンジ点間隔リスト４００におけるノードＩＤ４０２のノードＩＤ４０２の「１２」に対応するカットチェンジ点間隔４０３の値「０：００：０３．６０３」と、カットチェンジ点間隔リスト４２０におけるノードＩＤ４２２の「２２」に対応するカットチェンジ点間隔４２３の値「０：００：０３．５７０」とが取り出される。そして、取り出された２つの値が一致するか否かが判断される（４４２）。ここで、一致した場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出され、一致するか否かが判断される。

一方、図６および図７に示すように、取り出された２つの値が一致しない場合には（４４２）、比較対象となっている２つの値のうちの小さい値が取り出されたカットチェンジ点間隔リストから、この値の次のノードＩＤに対応するカットチェンジ点間隔の値が取り出され、取り出された値と、比較対象となっている値とが加算される。例えば、カットチェンジ点間隔４０３の値「０：００：０３．６０３」とカットチェンジ点間隔４２３の値「０：００：０３．５７０」とを比較した場合には、カットチェンジ点間隔４２３の値「０：００：０３．５７０」が小さい。このため、カットチェンジ点間隔リスト４２０におけるノードＩＤ４２２の「２３」に対応するカットチェンジ点間隔４２３の値「０：００：０１．６３４」が取り出され、カットチェンジ点間隔４２３の値「０：００：０３．５７０」と加算される（４４３）。

続いて、加算された加算値と、加算の対象となっていない値とが一致するか否かが判断される（４４４）。ここで、一致した場合には、この一致した値の次のノードＩＤに対応するカットチェンジ点間隔の値が２つのリストのそれぞれから取り出され、一致するか否かが判断される。このように、最初の一致した値から所定の範囲内の値を順次加算して、２つのカットチェンジ点間隔リストの値が一致するか否かが判断される。所定の範囲として、例えば、ノードＩＤが３つの範囲とすることができる。例えば、図６に示す矢印４３１で結ばれる最初に一致した値から、ノードＩＤが３つの範囲４３２内において、加算処理（４４３、４４５、４４７）が行われるとともに、比較処理が行われる（４４２、４４４、４４６、４４８）。そして、ノードＩＤが３つの範囲４３２内において、矢印４３３で示す位置で比較対象となっている２つの値が一致する（４４８）。

このように、最初に一致した値から所定の範囲内において、２つのカットチェンジ点間隔リストの値が一致した場合には、同様に、この一致した各値から所定の範囲内の値を順次加算して、２つのカットチェンジ点間隔リストの値が一致するか否かが判断される。ここでの所定の範囲として、例えば、最初の範囲と同様に、ノードＩＤが３つの範囲とするようにしてもよく、異なる値とするようにしてもよい。

例えば、図６に示す矢印４３３で結ばれる一致した値から、カットチェンジ点間隔リスト４００におけるノードＩＤが３つの範囲４３５内、および、カットチェンジ点間隔リスト４２０におけるノードＩＤが３つの範囲４３４内において、加算処理（４５０、４５２）が行われるとともに、比較処理が行われる（４４９、４５１、４５３）。そして、ノードＩＤが３つの範囲４３４または４３５内において、矢印４３６で示す位置で比較対象となっている２つの値が一致する（４５３）。

なお、最初に一致した値または２回目以降に一致した値を基準として取り出された２つの値のうちの少なくとも１つが加算前に一致した場合には、その１つの値については加算処理をせずに、この一致した値を基準として次の比較処理を行う。また、所定の範囲内で加算値が一致しない場合には、２つのリストにおいて、一致する値の検出を再度繰り返す。

次に、本発明の実施の形態における情報処理装置１００の動作について図面を参照して説明する。

図８は、情報処理装置１００による動画一致検索処理の処理手順を示すフローチャートである。ここでは、１または複数のカットチェンジ点間隔リストがデータベース１４０に格納されている場合において、動画入力部１１０に入力された動画に一致する動画に対応するカットチェンジ点間隔リストを、データベース１４０に格納されているカットチェンジ点間隔リストの中から検索する例について説明する。

最初に、動画入力部１１０に動画が入力される（ステップＳ９０１）。続いて、ビデオ・オーディオデマルチプレクサ１２０が、入力された動画をビデオデータとオーディオデータとに分離する（ステップＳ９０２）。続いて、ビデオデコード部１３０が、入力された動画から分離されたビデオデータをデコードしてベースバンドデータを生成する（ステップＳ９０３）。続いて、特徴量抽出部２００が、生成されたベースバンドデータに基づいてカットチェンジ点を抽出し（ステップＳ９０４）、抽出されたカットチェンジ点の間隔を算出する（ステップＳ９０５）。

続いて、特徴量抽出部２００により算出されたカットチェンジ点の間隔に基づいて、特徴量照合部１５０が、カットチェンジ点の間隔を時系列に並べたリストであるカットチェンジ点間隔リストを作成する（ステップＳ９０６）。

続いて、特徴量照合部１５０が、データベース１４０に格納されているカットチェンジ点間隔リストの中から１つのカットチェンジ点間隔リストを取得する（ステップＳ９０７）。例えば、図６に示すように、カットチェンジ点間隔リスト４２０が作成されるとともに、データベース１４０からカットチェンジ点間隔リスト４００が取り出される。

続いて、ステップＳ９０６で作成されたカットチェンジ点間隔リストと、データベース１４０から取得されたカットチェンジ点間隔リストとについて、特徴量照合部１５０が一致判定処理を実行する（ステップＳ９２０）。なお、この一致判定処理については、図９を参照して詳細に説明する。

続いて、データベース１４０に格納されているカットチェンジ点間隔リストの中で、一致処理判定がされていないカットチェンジ点間隔リストが存在するか否かが判断される（ステップＳ９０８）。一致処理判定がされていないカットチェンジ点間隔リストがデータベース１４０に存在する場合には（ステップＳ９０８）、ステップＳ９０７に戻り、特徴量照合部１５０が、データベース１４０に格納されているカットチェンジ点間隔リストの中から、一致判定処理がされていないカットチェンジ点間隔リストを取得する。

一方、一致判定処理がされていないカットチェンジ点間隔リストがデータベース１４０に存在しない場合には（ステップＳ９０８）、判定結果出力部１６０が、一致判定処理により一致すると判定された判定結果を示す一致リストを出力する（ステップＳ９０９）。

図９は、情報処理装置１００による動画一致検索処理の処理手順のうちの一致判定処理手順（図８に示すステップＳ９２０の処理手順）を示すフローチャートである。

最初に、変数ｍ、ｎが「１」に初期化されるとともに、変数ｉが「０」に初期化される（ステップＳ９２１）。続いて、ステップＳ９０６で作成されたカットチェンジ点間隔リストのｍ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２２）。続いて、データベース１４０から取得されたカットチェンジ点間隔リストのｎ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２３）。

続いて、ステップＳ９２２およびステップＳ９２３で最後に取得された２つの値を比較して一致するか否かが判断される（ステップＳ９２４）。ステップＳ９２２およびステップＳ９２３で最後に取得された２つの値が一致していなければ（ステップＳ９２４）、変数ｎに「１」が加算され（ステップＳ９３５）、変数ｎが、データベース１４０から取得されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きいか否かが判断される（ステップＳ９３６）。変数ｎが、データベース１４０から取得されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きくない場合には（ステップＳ９３６）、ステップＳ９２３に戻り、データベース１４０から取得されたカットチェンジ点間隔リストのｎ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２３）。

一方、変数ｎが、データベース１４０から取得されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きい場合には（ステップＳ９３６）、変数ｍに「１」が加算され（ステップＳ９３７）、変数ｍが、ステップＳ９０６で作成されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きいか否かが判断される（ステップＳ９３８）。変数ｍが、ステップＳ９０６で作成されたカットチェンジ点間隔リストのカットチェンジ点間隔の値の格納数よりも大きくない場合には（ステップＳ９３６）、データベース１４０の先頭からカットチェンジ点間隔の値を取得するために変数ｎが「１」に初期化され（ステップＳ９３９）、ステップＳ９２２に戻り、ステップＳ９０６で作成されたカットチェンジ点間隔リストのｍ番目のカットチェンジ点間隔の値が取得される（ステップＳ９２２）。このように、２つのカットチェンジ点間隔リストのカットチェンジ点間隔の各値が比較されるように、カットチェンジ点間隔の各値が時系列に順次取得される。

また、ステップＳ９２２およびステップＳ９２３で最後に取得された２つの値が一致する場合には（ステップＳ９２４）、ステップＳ９２２およびステップＳ９２３で取得されて一致した値の次の値が、２つのカットチェンジ点間隔リストのそれぞれから取得される（ステップＳ９２５）。例えば、ステップＳ９０６で作成されたカットチェンジ点間隔リストについては、ｍ＋１番目のカットチェンジ点間隔の値が取得され、データベース１４０から取得されたカットチェンジ点間隔リストについては、ｎ＋１番目のカットチェンジ点間隔の値が取得される（ステップＳ９２５）。

続いて、ステップＳ９２５で取得された２つの値が一致するか否かが判断される（ステップＳ９２６）。ステップＳ９２５で取得された２つの値が一致する場合には（ステップＳ９２６）、ステップＳ９３２に進み、変数ｉに「１」が加算される（ステップＳ９３２）。一方、ステップＳ９２５で取得された２つの値が一致しない場合には（ステップＳ９２６）、比較対象となっている２つの値について、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも大きいか否かが判断される（ステップＳ９２７）。

ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも大きい場合には（ステップＳ９２７）、データベース１４０から取得されたカットチェンジ点間隔リストから次の値が取得され、取得された値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値に加算される（ステップＳ９２８）。例えば、データベース１４０から取得されたカットチェンジ点間隔リストについて、ｎ＋１番目のカットチェンジ点間隔の値が比較対象となっている場合には、ｎ＋２番目のカットチェンジ点間隔の値が取得され、ｎ＋１番目のカットチェンジ点間隔の値と、ｎ＋２番目のカットチェンジ点間隔の値とが加算されて、比較対象の値となる。

一方、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも小さい場合には（ステップＳ９２７）、ステップＳ９０６で作成されたカットチェンジ点間隔リストから次の値が取得され、この取得された値が、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値に加算される（ステップＳ９２９）。例えば、ステップＳ９０６で作成されたカットチェンジ点間隔リストについて、ｍ＋１番目とｍ＋２番目とのカットチェンジ点間隔の値の合計値が比較対象となっている場合には、ｍ＋３番目のカットチェンジ点間隔の値が取得され、ｍ＋１番目とｍ＋２番目とのカットチェンジ点間隔の値の合計値と、ｍ＋３番目のカットチェンジ点間隔の値とが加算されて、比較対象の値となる。

続いて、ステップＳ９２８またはステップＳ９２９において少なくとも一方に加算処理がされた２つの値が一致するか否かが判断される（ステップＳ９３０）。ステップＳ９２８またはステップＳ９２９において少なくとも一方に加算処理がされた２つの値が一致する場合には（ステップＳ９３０）、ステップＳ９３２に進み、変数ｉに「１」が加算される（ステップＳ９３２）。一方、ステップＳ９２８またはステップＳ９２９において少なくとも一方に加算処理がされた２つの値が一致しない場合には（ステップＳ９３０）、ステップＳ９２４またはステップＳ９２６で一致した２つの値を基準値として、この２つの値以降に何れかのカットチェンジ点間隔リストから取得された値が、基準値の次の値からＮ番目の値であるか否かが判断される（ステップＳ９３１）。例えば、ステップＳ９２４で一致した２つの値を基準値とする場合において、ステップＳ９０６で作成されたカットチェンジ点間隔リストについては、ｍ＋Ｎ番目のカットチェンジ点間隔の値が取得されたか否かが判断され、データベース１４０から取得されたカットチェンジ点間隔リストについては、ｎ＋Ｎ番目のカットチェンジ点間隔の値が取得されたか否かが判断される。

ステップＳ９２４またはステップＳ９２６で一致した２つの値以降に何れかのカットチェンジ点間隔リストから取得された値が、基準値の次の値からＮ番目の値である場合には（ステップＳ９３１）、ステップＳ９３５に戻り、変数ｎに「１」が加算される（ステップＳ９３５）。一方、ステップＳ９２４またはステップＳ９２６で一致した２つの値以降に何れかのカットチェンジ点間隔リストから取得された値が、基準値の次の値からＮ番目の値ではない場合には（ステップＳ９３１）、ステップＳ９２７に戻り、比較対象となっている２つの値について、ステップＳ９０６で作成されたカットチェンジ点間隔リストに係る値が、データベース１４０から取得されたカットチェンジ点間隔リストに係る値よりも大きいか否かが判断される（ステップＳ９２７）。

変数ｉに「１」が加算されると（ステップＳ９３２）、変数ｉが定数Ａに等しいが否かが判断される（ステップＳ９３３）。すなわち、ステップＳ９２６またはステップＳ９３０で一致した回数が、Ａ回に達したか否かが判断される。変数ｉが定数Ａに等しい場合には（ステップＳ９３３）、判定の対象となっている値が取得されたカットチェンジ点間隔リストが一致リストに追加される（ステップＳ９３４）。ここで、定数Ａとしては、例えば、「２」または「３」とすることができる。また、定数Ｎとしては、例えば「３」乃至「６」とすることができる。すなわち、最初に一致した値を最初の基準値とし、最初の基準値の次の値からＮの範囲内で加算比較処理を行い、一致するか否かを判別する。そして、Ｎの範囲内で一致した場合において最後に取得された値を２個目の基準値として、２個目の基準値の次の値からＮの範囲内でさらに加算比較処理を行い、一致するか否かを判別する。これらの加算比較処理を繰り返し、連続してＡ回一致したか否かに応じて、目的の動画と一致しているか否かを判別することができる。

一方、変数ｉが定数Ａよりも小さい場合には（ステップＳ９３３）、ステップＳ９２５に戻り、ステップＳ９２６またはステップＳ９３０で一致した場合において最後に取得された値の次の値が、２つのカットチェンジ点間隔リストのそれぞれから取得される（ステップＳ９２５）。

以上で示したように、ステップＳ９２４で２つの値が一致した場合には、一致した値の次の値を順次取得して比較する例について説明した。しかしながら、少なくとも１つのリストの後端において、ステップＳ９２４で２つの値が一致した場合には、一致した値の次の値である比較対象となるカットチェンジ点間隔が存在しないため、一致した値の次の値を順次取得して比較することができない。このため、このような場合でも、一致判定処理を行うことが重要となる。そこで、例えば、カットチェンジ点間隔リストを前半部分と、中央部分と、後半部分とに分けて、ステップＳ９２４で２つの値が一致した位置に応じて比較加算処理を変更することができる。具体的には、前半部分において、ステップＳ９２４で２つの値が一致した場合には、図７および図９に示すように、一致した値の後の値を順次取得して比較する。また、後半部分において、ステップＳ９２４で２つの値が一致した場合には、一致した値の前の値を順次取得して比較する。中央部分において、ステップＳ９２４で２つの値が一致した場合には、一致した値の前後の何れか一方向の値を順次取得して比較する。また、比較対象となる２つのリストのうちの何れかを基準にして、上述した比較加算処理の変更をするようにしてもよく、この２つのリストのうちで、ステップＳ９２４で２つの値が一致した２つの位置に応じて比較加算処理の変更をするようにしてもよい。

次に、連続して短いカットチェンジ点間隔が抽出された場合について図面を参照して詳細に説明する。

図１０は、カットチェンジ点間隔リスト４８０および４９０を示す図である。図１０（ａ）には、比較的短いカットチェンジ点間隔が連続して含まれるカットチェンジ点間隔リスト４８０を示し、図１０（ｂ）には、連続して含まれる比較的短いカットチェンジ点間隔を加算したカットチェンジ点間隔リスト４９０を示す。

図１０（ａ）に示すように、１乃至２フィールド程度の比較的短いカットチェンジ点間隔が抽出されることが考えられる。このような連続する比較的短いカットチェンジ点間隔（例えば、「１」）を多数含むカットチェンジ点間隔リストを用いて、一致判定処理を行うと、ステップＳ９２４で２つの値が一致した後に、ステップＳ９２５およびステップＳ９２６で次の値およびその次の値が一致する可能性が高い。この場合には、本来一致すべきでない他の動画と一致してしまう可能性も考えられる。そこで、チェンジ点間隔算出部２５０において、短いカットチェンジ点間隔が連続して抽出された場合には、図１０（ｂ）に示すように、これらの連続する比較的短いカットチェンジ点間隔を加算し、加算された値を一致判定処理に用いるようにする。

図１０（ｂ）に示すカットチェンジ点間隔リスト４９０では、図１０（ａ）に示すカットチェンジ点間隔リスト４８０に含まれるカットチェンジ点間隔のうちの１０以下のカットチェンジ点間隔が連続する場合に、これらのカットチェンジ点間隔を加算する例を示す。なお、図１０では、加算前のカットチェンジ点間隔と、加算後のカットチェンジ点間隔との関係を矢印４８１乃至４８９で示す。

図１０（ａ）に示すように、連続する１０以下のカットチェンジ点間隔を加算する前のカットチェンジ点間隔の数が４５個である。これに対して、図１０（ｂ）に示すように、連続する１０以下のカットチェンジ点間隔を加算した後のカットチェンジ点間隔の数が３２個である。これにより、データベース１４０に格納するデータ量を削減させることができるとともに、他の動画との誤一致の可能性を低減させることができる。なお、図１０に示す加算処理を行う場合には、データベース１４０に格納されるカットチェンジ点間隔リストおよび一致判定処理の対象となる動画に対応するカットチェンジ点間隔リストの双方に対して行うようにする。

次に、特徴量照合部１５０により判定された判定結果に基づいて、特徴量抽出部２００が用いる閾値を変更する例について説明する。

上述したように、特徴量照合部１５０による一致判定処理は、特徴量抽出部２００により抽出されるカットチェンジ点が大きく影響する。しかしながら、データベース１４０に格納されているカットチェンジ点間隔リストに対応する動画と、動画入力部１１０に入力された動画とが同一の動画であっても、この２つの動画の画質や画枠サイズ等が異なる場合には、一方の動画に係るフレーム箇所がカットチェンジ点として抽出されても、他方の動画に係る同じフレーム箇所がカットチェンジ点として抽出されないことも考えられる。このように、同一の動画であっても、画質や画枠サイズ等が異なる場合には、同一のカットチェンジ点が抽出されない場合も考えられる。この場合には、特徴量照合部１５０による一致判定処理の精度が低下することになる。そこで、特徴量照合部１５０による一致判定処理の精度を高めるためには、動画に対するカットチェンジ点の抽出精度が重要となる。

図１１は、図１に示す情報処理装置１００の一部を変形した情報処理装置１０１の構成例を示すブロック図である。情報処理装置１０１は、図１に示す情報処理装置１００において、データベース１４０および特徴量抽出部２００の代わりに、データベース１４１および特徴量抽出部２０１を設けるとともに、特徴量保持部７１０と、チェンジ点比較部７２０と、閾値更新部７３０とをさらに備える情報処理装置である。なお、データベース１４１、特徴量抽出部２０１、特徴量保持部７１０、チェンジ点比較部７２０および閾値更新部７３０以外の構成は、図１に示す情報処理装置１００と同様であるため、これらの以外の構成についての説明は省略する。なお、特徴量照合部１５０は、一致判定処理において、リスト毎に一致判定処理に係る最初に一致した値の位置を一致リストに記録するものとする。

特徴量抽出部２０１は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて、動画を構成する連続するフレーム間のヒストグラム差分値およびカットチェンジ点の間隔を抽出するものであり、抽出されたカットチェンジ点の間隔を特徴量照合部１５０に出力するとともに、抽出されたヒストグラム差分値およびカットチェンジ点の間隔をデータベース１４１および特徴量保持部７１０に出力する。なお、特徴量抽出部２０１については、図１２を参照して詳細に説明する。

データベース１４１は、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点に対応する特徴量リストを動画毎に格納するデータベースであり、格納されている特徴量リストを動画毎に特徴量照合部１５０に出力する。なお、特徴量リストについては、図１２、図１３等を参照して詳細に説明する。

特徴量照合部１５０は、特徴量抽出部２０１から出力されたカットチェンジ点の間隔と、データベース１４１に格納されている各特徴量リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４０に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５０は、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４０に格納されている特徴量リストの中から検索する。

特徴量保持部７１０は、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点間隔に基づいて、ヒストグラム差分値およびカットチェンジ点間隔を時系列に並べたリストである特徴量リストを作成して保持するものであり、保持されている特徴量リストをチェンジ点比較部７２０に出力する。

チェンジ点比較部７２０は、特徴量照合部１５０から出力された一致リストに含まれる特徴量リストをデータベース１４１から取得して、この取得された特徴量リストと、特徴量保持部７１０から出力された特徴量リストとについて、互いに一致していないチェンジ点を検出して、この検出されたチェンジ点におけるヒストグラム差分値を比較するものである。そして、この比較結果に基づいて閾値を算出し、算出された閾値を閾値更新部７３０に出力する。

閾値更新部７３０は、チェンジ点比較部７２０から出力された閾値に基づいて、特徴量抽出部２０１がカットチェンジ点を抽出する場合に用いられる閾値を更新するものである。なお、閾値の更新については、図１５、図１６等を参照して詳細に説明する。

図１２は、特徴量抽出部２０１の機能構成例を示すブロック図である。特徴量抽出部２０１は、図２に示す特徴量抽出部２００において、閾値保持部２３０の代わりに、閾値保持部２３１を設けるとともに、連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値をデータベース１４１および特徴量保持部７１０に出力し、チェンジ点間隔算出部２５０から出力されたカットチェンジ点の間隔をデータベース１４１、特徴量照合部１５０および特徴量保持部７１０に出力するものである。なお、閾値保持部２３１以外の構成は、図２に示す特徴量抽出部２００と同様であるため、閾値保持部２３１以外の構成についての説明は省略する。

閾値保持部２３１は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部２４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値を閾値更新部７３０からの更新情報に基づいて更新する。また、閾値保持部２３１は、保持されている閾値をカットチェンジ点判別部２４０に出力する。

次に、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点に基づいて作成される特徴量リストについて、図面を参照して詳細に説明する。

図１３は、データベース１４１に格納されている特徴量リストの概略を示す図である。データベース１４１には、１または複数の特徴量リストが格納されている。例えば、データベース１４１には、特徴量リスト４６０、４６５、４６６が格納されている。なお、データベース１４１に格納される特徴量リストは、特徴量抽出部２０１から出力されたヒストグラム差分値およびカットチェンジ点により作成される特徴量リストを順次格納するようにしてもよく、他の情報処理装置において作成された特徴量リストを格納するようにしてもよい。

特徴量リスト４６０には、カットチェンジ点間隔４６３と、連続フレームヒストグラム差分値４６４とが時系列に関連付けて記録されている。これらは、対応する動画を識別するためのコンテンツＩＤ（例えば、「＃２２３」）に関連付けられている。また、図１３においては、対応する動画において抽出されたカットチェンジ点間隔の識別番号としてノードＩＤ４６２を付して説明する。カットチェンジ点間隔４６３は、図５に示すカットチェンジ点間隔４０３と同様であるため、ここでの説明を省略する。

連続フレームヒストグラム差分値４６４は、特徴量抽出部２０１の連続フレーム間ヒストグラム差分算出部２２０から出力されたヒストグラム差分値を示すものであり、フレーム毎に時刻の早い順序で記録される。ここで、カットチェンジ点間隔４６３は、連続フレーム間ヒストグラム差分算出部２２０により算出されたヒストグラム差分値のうちで、閾値保持部２３１に保持されている閾値を超えたヒストグラム差分値に対応する２つの連続するフレームについて記録される。これに対して、連続フレームヒストグラム差分値４６４は、連続フレーム間ヒストグラム差分算出部２２０により算出されたヒストグラム差分値の全ての値が記録される。

上述したように、特徴量照合部１５０による一致判定処理は、特徴量リスト４６０のカットチェンジ点間隔４６３を用いて行われる。このため、特徴量照合部１５０による一致判定処理についての説明は省略する。

次に、特徴量リストに格納されている連続フレームヒストグラム差分値に基づいて閾値を変更する閾値変更方法について図面を参照して詳細に説明する。

図１４は、データベース１４１から取得された特徴量リスト４６０と、特徴量保持部７１０から取得された特徴量リスト４７０とを示す図である。ここでは、特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を比較して、閾値を変更する場合について図１５および図１６を参照して説明する。

図１５および図１６は、特徴量リスト４６０と特徴量リスト４７０との連続フレームヒストグラム差分値を表す折線グラフを示す図である。ここで、折線４８１は、特徴量リスト４６０の連続フレームヒストグラム差分値４６４を表す折線であり、折線４８２は、特徴量リスト４７０の連続フレームヒストグラム差分値４７４を表す折線である。また、図１５では、閾値４８３として「２５０」が設定され、図１６では、閾値４８３の「２５０」から閾値４８４の「２３０」に変更されているものとする。この例では、データベース１４１から取得された特徴量リスト４６０に対応する動画は高画質の動画であるのに対して、特徴量保持部７１０から取得された特徴量リスト４７０に対応する動画は低画質の動画であるものとする。すなわち、比較対象となる２つの動画は同一の動画であるものの、この２つの動画は画質が異なるものである。

図１５に示すように、２つのリストの連続フレームヒストグラム差分値は、時刻ｔ１１乃至ｔ１３で大きく変化する。この場合に、閾値４８３が「２５０」に設定されているため、時刻ｔ１１では、高画質および低画質の動画ともカットチェンジ点として抽出されている。これに対して、ｔ１２においては、高画質では閾値を越えているため、カットチェンジ点として抽出されているものの、低画質では閾値以下であるため、カットチェンジ点として抽出されていない。また、ｔ１３おいては、低画質では閾値を越えているため、カットチェンジ点として抽出されているものの、高画質では閾値以下であるため、カットチェンジ点として抽出されていない。このように、２つの同一の動画であっても、画質や画枠サイズ等が異なる場合には、抽出されるカットチェンジ点の位置が異なる場合がある。

ここで、高画質の動画の場合は、オリジナル映像に近く、カットチェンジ点の抽出精度も高いと考えられる。そこで、２つの同一の動画ついて抽出されるカットチェンジ点の位置が異なる場合には、高画質の動画の連続フレームヒストグラム差分値を信頼して閾値を変更する。すなわち、高画質では閾値を越えているものの、低画質では閾値以下である点が存在する場合には、その点において低画質でもカットチェンジ点として抽出されるようにするため、閾値を変更する。例えば、このような点では、低画質の連続フレームヒストグラム差分値を閾値として設定する。例えば、図１５においては、閾値４８３として設定されている「２５０」を、図１６に示すように、低画質に対応する折線４８２における時刻ｔ１２の値である「２３０」に変更する。これにより、この変更後に、入力される動画について、低画質であっても、さらに適切なカットチェンジ点を抽出することができる。

一方、ｔ１３では低画質のみが閾値を超えている。しかしながら、低画質の場合には、カットチェンジ点の抽出精度も低いと考えられる。このため、低画質のみが閾値を超えている点の場合には、その点は誤差と考え、ｔ１２で行った閾値の変更を行わない。また、高画質では閾値を越えているものの、低画質では閾値以下である点が複数存在する場合には、これらの各点において最も小さい値の連続フレームヒストグラム差分値を閾値として設定するようにすることができる。

図１７は、情報処理装置１００による閾値変更処理の処理手順を示すフローチャートである。ここでは、高画質の動画に対応する特徴量リストをデータベース１４１に格納しておき、検索対象として入力された動画が低画質の動画である場合を例にして説明する。

最初に、特徴量照合部１５０により作成された一致リストがチェンジ点比較部７２０に入力される（ステップＳ９４１）。続いて、入力された一致リストに、一致すると判定された特徴量リストが存在するか否かをチェンジ点比較部７２０が判断し（ステップＳ９４２）、一致すると判定された特徴量リストが存在しない場合には、閾値変更処理の動作を終了する。

一方、一致すると判定された特徴量リストが一致リストに存在する場合には（ステップＳ９４２）、チェンジ点比較部７２０が、一致リストに含まれる特徴量リストをデータベース１４１から取得するとともに、特徴量保持部７１０に保持されている特徴量リストを取得する（ステップＳ９４３）。

続いて、チェンジ点比較部７２０が、データベース１４１から取得された特徴量リストと、特徴量保持部７１０から取得された特徴量リストとのカットチェンジ点を比較して、データベース１４１から取得された特徴量リスト（高画質の動画に係る特徴量リスト）に含まれるものの、特徴量保持部７１０から取得された特徴量リスト（低画質の動画に係る特徴量リスト）に含まれない点を検出する（ステップＳ９４４）。すなわち、低画質の動画に係る特徴量リストにおけるカットチェンジ点の抜けを検出する。そして、高画質の動画に係る特徴量リストに含まれるものの、低画質の動画に係る特徴量リストに含まれない点が存在しない場合には（ステップＳ９４５）、閾値変更処理の動作を終了する。

一方、高画質の動画に係る特徴量リストに含まれるものの、低画質の動画に係る特徴量リストに含まれない点が存在する場合には（ステップＳ９４５）、チェンジ点比較部７２０が、ステップＳ９４４で検出された点における連続フレームヒストグラム差分値を、特徴量保持部７１０から取得された特徴量リストから取得する（ステップＳ９４６）。なお、ステップＳ９４４で検出された点が複数存在する場合には、複数の点に対応する連続フレームヒストグラム差分値が取得される。

続いて、チェンジ点比較部７２０が、ステップＳ９４４で検出された点が複数であるか否かを判断する（ステップＳ９４７）。ステップＳ９４４で検出された点が１つである場合には（ステップＳ９４７）、チェンジ点比較部７２０が、特徴量保持部７１０から取得された特徴量リストから取得された、この１つの点における連続フレームヒストグラム差分値を閾値として設定する（ステップＳ９４８）。

一方、ステップＳ９４４で検出された点が複数である場合には（ステップＳ９４７）、チェンジ点比較部７２０が、特徴量保持部７１０から取得された特徴量リストから取得された、ステップＳ９４４で検出された各点における連続フレームヒストグラム差分値のうちで最も小さい値を閾値として設定する（ステップＳ９４８）。

以上では、高画質の動画に対応する特徴量リストをデータベース１４１に格納しておき、検索対象として入力された動画が低画質の動画である場合について説明した。しかしながら、比較対象となる２つの特徴量リストに対応する動画について高画質または低画質を特徴量照合部１５０による一致判定処理の前に予め判定し、この判定結果に基づいて、上述した閾値変更処理を行うようにしてもよい。この高画質または低画質の判定として、例えば、動画の圧縮ストリームのヘッダ情報から圧縮レートや画枠サイズ等を抽出し、この抽出された圧縮レートや画枠サイズ等に基づいて高画質または低画質を判定することができる。また、動画一致検索を行う前に、テストデータとして複数の動画を情報処理装置１０１に入力し、閾値変更処理を行うようにしてもよい。すなわち、高画質の動画に対応する特徴量リストと低画質の動画に対応する特徴量リストとのチェンジ点を比較し、高画質の動画においてチェンジ点と判別されているものの、低画質の動画においてチェンジ点と判別されていない点が存在する場合には、この点が低画質の動画においてもチェンジ点と判別されるように閾値を調整する。これにより、特徴量照合部１５０による一致判定処理の精度をさらに高めることができる。また、上述した閾値変更処理により、動画の画質と閾値との関係を予め求めておき、検索対象として入力された動画の画質に応じて閾値を変更するようにしてもよい。

次に、連続するフレーム間のカラーヒストグラムの変化量が瞬間的には大きくならないものの、複数のフレーム間のカラーヒストグラムの変化量が比較的大きい位置をチェンジ点として抽出する例について説明する。

上述したように、特徴量抽出部２００は、連続するフレーム間のカラーヒストグラムの変化量が瞬間的に大きくなるカットチェンジ点を抽出する。しかしながら、複数のフレーム間のカラーヒストグラムの変化量が比較的大きい位置についても、チェンジ点として抽出することができれば、さらに検索精度を向上させることができると考えられる。

図１８は、動画の特徴に基づいて動画を分類する場合を示す図である。ここでは、動画の特徴として、動画を構成するフレーム間のカラーヒストグラムの変化量を用いてチェンジ点を抽出し、このチェンジ点の有無により動画を分類する例について説明する。

例えば、時間軸情報５０１として、カットの変わり目が存在するか否かに基づいて動画を分類することができる。カットの変わり目とは、例えば、動画において撮影場面が変化する場合におけるその境界点を示すものである。また、カットの変わり目が存在する場合においては、画面情報５０２として、連続する２フレーム間で瞬間的に切り替わる点を示すカットチェンジ点と、所定数のフレーム間に亘って比較的短い時間で切り替わる点を示すクロスフェード点とに分類することができる。これは、フレーム間のカラーヒストグラムの変化量５０３が、瞬間的に大きくなるか、瞬間的に大きくはないものの比較的短い時間で大きくなるかに応じて分類することができる。

また、カットの変わり目が存在しない場合においては、画面情報５０２として、画面内の被写体の動き（画面内の動き）に基づいて、動画を分類することができる。画面内の動きとして、例えば、「被写体の速い動き」、「被写体の遅い動き」、「静止した被写体」の３つに分類することができる。そして、このような画面内の動きは、チェンジ点の場合と同様に、フレーム間のカラーヒストグラムの変化量５０３を用いて、分類することができる。すなわち、所定数のフレーム間におけるカラーヒストグラムの変化量が比較的大きい場合には、「被写体の速い動き」に分類し、所定数のフレーム間におけるカラーヒストグラムの変化量が比較的小さい場合には、「被写体の遅い動き」に分類し、所定数のフレーム間におけるカラーヒストグラムの変化量がほとんどない場合には、「静止した被写体」に分類することができる。このように分類する場合において、所定数のフレーム間におけるカラーヒストグラムの変化量が比較的大きく「被写体の速い動き」に分類される場合には、クロスフェード点と同様に、チェンジ点に含めて分類することができる。

図１８に示すように、「カットチェンジ点」と「クロスフェード点」と「被写体の速い動き」との少なくとも１つを含む動画をチェンジ点ありの動画に分類する。一方、「カットチェンジ点」と「クロスフェード点」と「被写体の速い動き」との何れも含まず、「被写体の遅い動き」または「静止した被写体」を含む動画をチェンジ点なしの動画に分類することができる。そこで、「クロスフェード点」と「被写体の速い動き」とを含めたチェンジ点を用いて動画一致検索処理を行う場合について説明する。

図１９は、特徴量抽出部２０２の機能構成例を示すブロック図である。特徴量抽出部２０２は、図２に示す特徴量抽出部２００において、チェンジ点間隔算出部２５０の代わりに、チェンジ点間隔算出部２５１を設けるとともに、Ｎフレーム間ヒストグラム差分算出部２６０と、閾値保持部２７０と、Ｎフレームチェンジ点判別部２８０とをさらに設けたものである。なお、チェンジ点間隔算出部２５１、Ｎフレーム間ヒストグラム差分算出部２６０、閾値保持部２７０およびＮフレームチェンジ点判別部２８０以外の構成は、図２に示す特徴量抽出部２００と同様であるため、これら以外の構成についての説明は省略する。

図２０は、動画を構成する各フレームを時系列に並べられた場合を概念的に示す図である。なお、図２０については、図１９を参照して詳細に説明する。

Ｎフレーム間ヒストグラム差分算出部２６０は、カラーヒストグラム抽出部２１０から出力されたフレーム毎のＹ、ＣｂおよびＣｒのカラーヒストグラムについて、連続するＮフレームにおける最初のフレームおよび最後のフレーム間におけるカラーヒストグラムの面積の差分値を算出するものであり、算出されたヒストグラム差分値をＮフレームチェンジ点判別部２８０に出力するものである。

閾値保持部２７０は、連続するＮフレーム間がチェンジ点であるか否かをＮフレームチェンジ点判別部２８０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値をＮフレームチェンジ点判別部２８０に出力する。

Ｎフレームチェンジ点判別部２８０は、Ｎフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えたか否かに基づいて、連続するＮフレーム間がチェンジ点であるか否かを判別するものである。すなわち、Ｎフレームチェンジ点判別部２８０は、Ｎフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えた場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点であると判別して、そのフレーム間に対応する時刻をカットチェンジ点の時刻として、チェンジ点間隔算出部２５１に出力する。一方、Ｎフレームチェンジ点判別部２８０は、Ｎフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えていない場合には、そのヒストグラム差分値に対応する連続するＮフレーム間がチェンジ点ではないと判別する。このようにチェンジ点ではないと判別された場合には、チェンジ点間隔算出部２５１には時刻が出力されない。

図２０には、撮像装置により撮影された動画３４０を構成するフレーム３４１乃至３５０を概略的に示す。フレーム３４１乃至３５０は、１つの動画３４０に含まれるフレームであり、フレーム３４１乃至３４５とフレーム３４６乃至３５０とが連続するフレームであるものとする。また、フレーム３４１およびフレーム３４６と、フレーム３４２およびフレーム３４７と、フレーム３４３およびフレーム３４８と、フレーム３４４およびフレーム３４９と、フレーム３４５およびフレーム３５０とは、連続するＮフレームにおける最初のフレームおよび最後のフレームであるものとする。例えば、３０ｆｐｓ（フレーム／秒）を想定して１秒間に相当するＮ＝３０とすることができる。

ここで、例えば、フレーム３４２およびフレーム３４７と、フレーム３４３およびフレーム３４８と、フレーム３４４およびフレーム３４９との各フレーム間におけるヒストグラム差分値が、閾値保持部２７０に保持されている閾値を超えて、これらの連続するＮフレーム間がチェンジ点として判別されるための条件を満たすものとする。図２０では、チェンジ点であると判別された連続するＮフレームのうちの最後のフレームを斜線で示す。このように、チェンジ点として判別されるための条件を満たす点が連続する場合には、この連続する各フレーム間のうちの最初のフレーム間に対応する点のみをチェンジ点としてＮフレームチェンジ点判別部２８０が検出する。すなわち、チェンジ点として判別されるための条件を満たすフレーム３４２およびフレーム３４７と、フレーム３４３およびフレーム３４８と、フレーム３４４およびフレーム３４９とのうちで、最初のフレーム間であるフレーム３４２およびフレーム３４７がチェンジ点として判別される。

チェンジ点間隔算出部２５１は、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０から出力されたチェンジ点（以下では、カットチェンジ点およびチェンジ点を含むものとする）の時刻に基づいて、隣接する２つのチェンジ点間の時間間隔を算出するものであり、算出されたチェンジ点の間隔をデータベース１４０および特徴量照合部１５０に出力する。すなわち、チェンジ点間隔算出部２５１は、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０からチェンジ点の時刻が出力された場合には、この時刻と、この時刻の直前に出力された時刻との差の値を算出して、隣接する２つのチェンジ点間の時間間隔を算出する。なお、隣接する２つのチェンジ点間の間隔として、このチェンジ点間に含まれるフレームの数を算出し、この算出されたフレーム数をチェンジ点の間隔とするようにしてもよい。

次に、特徴量照合部１５０により判定された判定結果に基づいて、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０が用いる閾値を変更する例について説明する。ここでは、図１１乃至図１７に示す情報処理装置１０１の閾値保持部の閾値を更新する場合における変形例を示す。図１１乃至図１７に示した構成のうちで、異なる部分について説明し、同じ部分についての説明を省略する。

図２１は、図１１に示す情報処理装置１０１の一部を変形した情報処理装置１０２の構成例を示すブロック図である。情報処理装置１０２は、図１１に示す情報処理装置１０１において、データベース１４１、特徴量照合部１５０、特徴量抽出部２０１、特徴量保持部７１０、チェンジ点比較部７２０および閾値更新部７３０の代わりに、データベース１４２、特徴量照合部１５１、特徴量抽出部２０３、特徴量保持部７１１、チェンジ点比較部７２１および閾値更新部７３１を設けた情報処理装置である。なお、これら以外の構成は、図１１に示す情報処理装置１０１と同様であるため、これら以外の構成についての説明は省略する。

特徴量抽出部２０３は、ビデオデコード部１３０から出力されたベースバンドデータに基づいて、動画を構成する連続する２フレーム間のヒストグラム差分値およびカットチェンジ点の間隔と、動画を構成する連続するＮフレーム間のヒストグラム差分値およびチェンジ点の間隔とを抽出するものであり、抽出されたカットチェンジ点の間隔およびチェンジ点の間隔を特徴量照合部１５１に出力するとともに、抽出された各ヒストグラム差分値と、カットチェンジ点の間隔と、チェンジ点の間隔とをデータベース１４２および特徴量保持部７１１に出力する。なお、特徴量抽出部２０３については、図２２を参照して詳細に説明する。

データベース１４２は、特徴量抽出部２０３から出力された各ヒストグラム差分値と、カットチェンジ点の間隔と、チェンジ点の間隔とに対応する特徴量リストを動画毎に格納するデータベースであり、格納されている特徴量リストを動画毎に特徴量照合部１５１に出力する。なお、特徴量リストについては、図２３等を参照して詳細に説明する。

特徴量照合部１５１は、特徴量抽出部２０１から出力されたカットチェンジ点およびチェンジ点の間隔と、データベース１４２に格納されている各特徴量リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４２に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５１は、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４２に格納されている特徴量リストの中から検索する。

特徴量保持部７１１は、特徴量抽出部２０３から出力されたヒストグラム差分値、カットチェンジ点およびチェンジ点間隔に基づいて、ヒストグラム差分値、カットチェンジ点およびチェンジ点間隔を時系列に並べたリストである特徴量リストを作成して保持するものであり、保持されている特徴量リストをチェンジ点比較部７２１に出力する。

チェンジ点比較部７２１は、特徴量照合部１５１から出力された一致リストに含まれる特徴量リストをデータベース１４２から取得して、この取得された特徴量リストと、特徴量保持部７１１から出力された特徴量リストとについて、互いに一致していないチェンジ点を検出して、この検出されたチェンジ点における連続する２フレーム間のヒストグラム差分値を比較するとともに、連続するＮフレーム間のヒストグラム差分値を比較するものである。すなわち、チェンジ点比較部７２１は、２つの特徴量リストにおいて互いに一致していないチェンジ点における連続する２フレーム間のヒストグラム差分値を比較した結果に基づいて、カットチェンジ点判別部２４０が判定に用いる閾値を算出する。また、チェンジ点比較部７２１は、２つの特徴量リストにおいて互いに一致していないチェンジ点における連続するＮフレーム間のヒストグラム差分値を比較した結果に基づいて、Ｎフレームチェンジ点判別部２８０が判定に用いる閾値を算出する。そして、算出された各閾値を閾値更新部７３１に出力する。

閾値更新部７３１は、チェンジ点比較部７２１から出力された閾値に基づいて、特徴量抽出部２０３がカットチェンジ点またはチェンジ点を抽出する場合に用いられる閾値を更新するものである。なお、連続する２フレーム間のヒストグラム差分値に対応する閾値と、連続するＮフレーム間のヒストグラム差分値に対応する閾値との更新については、図１４、図１５等を参照して説明した更新方法と同様である。

図２２は、特徴量抽出部２０３の機能構成例を示すブロック図である。特徴量抽出部２０３は、図１９に示す特徴量抽出部２０２において、閾値保持部２３０および閾値保持部２７０の代わりに、閾値保持部２３１および閾値保持部２７１を設けるとともに、連続フレーム間ヒストグラム差分算出部２２０およびＮフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値をデータベース１４２および特徴量保持部７１１に出力し、チェンジ点間隔算出部２５１から出力されたチェンジ点の間隔をデータベース１４２、特徴量照合部１５１および特徴量保持部７１１に出力するものである。なお、閾値保持部２３１および閾値保持部２７１以外の構成は、図１９に示す特徴量抽出部２０２と同様であるため、閾値保持部２３１および閾値保持部２７１以外の構成についての説明は省略する。

閾値保持部２３１は、連続する２フレーム間がカットチェンジ点であるか否かをカットチェンジ点判別部２４０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値を閾値更新部７３１からの更新情報に基づいて更新する。また、閾値保持部２３１は、保持されている閾値をカットチェンジ点判別部２４０に出力する。

閾値保持部２７１は、連続するＮフレーム間がチェンジ点であるか否かをＮフレームチェンジ点判別部２８０が判別する場合に用いられる閾値を保持するものであり、保持されている閾値を閾値更新部７３１からの更新情報に基づいて更新する。また、閾値保持部２７１は、保持されている閾値をＮフレームチェンジ点判別部２８０に出力する。

次に、特徴量抽出部２０３から出力されたヒストグラム差分値およびチェンジ点に基づいて作成される特徴量リストについて、図面を参照して詳細に説明する。

図２３は、データベース１４２に格納されている特徴量リストの概略を示す図である。データベース１４２には、１または複数の特徴量リストが格納されている。例えば、データベース１４２には、特徴量リスト４７０、４７６、４７７が格納されている。なお、データベース１４２に格納される特徴量リストは、特徴量抽出部２０３から出力されたヒストグラム差分値およびチェンジ点により作成される特徴量リストを順次格納するようにしてもよく、他の情報処理装置において作成された特徴量リストを格納するようにしてもよい。

特徴量リスト４７０には、カットチェンジ点間隔４７３と、連続フレームヒストグラム差分値４７４と、Ｎフレーム間ヒストグラム差分値４７５とが時系列に関連付けて記録されている。これらは、対応する動画を識別するためのコンテンツＩＤ（例えば、「＃３２３」）に関連付けられている。また、図２３においては、対応する動画において抽出されたカットチェンジ点間隔の識別番号としてノードＩＤ４７２を付して説明する。カットチェンジ点間隔４７３および連続フレームヒストグラム差分値４７４は、図１３に示すカットチェンジ点間隔４６３および連続フレームヒストグラム差分値４６４と同様であるため、ここでの説明を省略する。

Ｎフレーム間ヒストグラム差分値４７５は、特徴量抽出部２０３のＮフレーム間ヒストグラム差分算出部２６０から出力されたヒストグラム差分値を示すものであり、フレーム毎に時刻の早い順序で記録される。ここで、カットチェンジ点間隔４７３は、連続フレーム間ヒストグラム差分算出部２２０またはＮフレーム間ヒストグラム差分算出部２６０により算出されたヒストグラム差分値のうちで、対応する閾値保持部２３１または２７１に保持されている閾値を超えたヒストグラム差分値に対応するフレーム間について記録される。これに対して、Ｎフレーム間ヒストグラム差分値４７５は、連続フレーム間ヒストグラム差分算出部２２０またはＮフレーム間ヒストグラム差分算出部２６０により算出されたヒストグラム差分値の全ての値が記録される。

また、Ｎフレームチェンジ点判別部２８０が判定に用いる閾値の更新については、図１５、図１６等を参照して説明した更新方法と同様に、Ｎフレーム間ヒストグラム差分値４７５を用いて行われる。

次に、チェンジ点間隔を抽出することができない動画について動画一致検索を行う場合について図面を参照して詳細に説明する

図１８に示すように、動画については、チェンジ点を含む動画とチェンジ点を含まない動画とに分類することができる。ここで、上述した動画の一致判定処理を行う場合には、チェンジ点間隔を用いるため、比較対象の動画には少なくとも２つのチェンジ点が含まれる必要がある。しかしながら、被写体の動きが遅い場面が撮影された動画等については、図１８に示すように、チェンジ点を含まない場合も考えられる。そこで、チェンジ点間隔の有無に応じて一致判定処理を変更して行うようにする。すなわち、チェンジ点間隔を抽出することができない動画については、チェンジ点間隔以外の特徴量を用いて、動画一致検索を行う。

図２４は、図１に示す情報処理装置１００の一部を変形した情報処理装置１０３の構成例を示すブロック図である。情報処理装置１０３は、図１に示す情報処理装置１００において、データベース１４０、特徴量照合部１５０および特徴量抽出部２００の代わりに、データベース１４３、特徴量照合部１５２および特徴量抽出部２０４を設けた情報処理装置である。なお、データベース１４３、特徴量照合部１５２および特徴量抽出部２０４以外の構成は、図１に示す情報処理装置１００と同様であるため、これらの以外の構成についての説明は省略する。

特徴量抽出部２０４は、ビデオデコード部１３０から出力されたベースバンドデータに基づいてチェンジ点の間隔、および、チェンジ点間における代表ヒストグラムを抽出するものであり、抽出されたチェンジ点の間隔および代表ヒストグラムをデータベース１４３および特徴量照合部１５２に出力する。なお、特徴量抽出部２０４については、図２５を参照して詳細に説明する。

データベース１４３は、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストを動画毎に格納するデータベースであり、格納されている特徴量リストを動画毎に特徴量照合部１５２に出力する。

特徴量照合部１５２は、特徴量抽出部２０４から出力されたチェンジ点間隔または代表ヒストグラムと、データベース１４３に格納されている各特徴量リストとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、特徴量照合部１５２は、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４３に格納されている特徴量リストの中から検索する。なお、特徴量照合部１５２については、図２６を参照して詳細に説明する。

図２５は、特徴量抽出部２０４の機能構成例を示すブロック図である。特徴量抽出部２０４は、図１９に示す特徴量抽出部２０２において、代表ヒストグラムサンプリング部２９０をさらに設けたものである。なお、代表ヒストグラムサンプリング部２９０以外の構成は、図１９に示す特徴量抽出部２０２と同様であるため、代表ヒストグラムサンプリング部２９０以外の構成についての説明は省略する。

代表ヒストグラムサンプリング部２９０は、カットチェンジ点判別部２４０およびＮフレームチェンジ点判別部２８０から出力されたチェンジ点の時刻に基づいて、隣接する２つのチェンジ点間に含まれるフレームから少なくとも１つのフレームをサンプリングして、このサンプリングされたフレームに対応してカラーヒストグラム抽出部２１０から出力されたヒストグラムを選択するものであり、選択されたヒストグラムを代表ヒストグラムとしてデータベース１４３および特徴量照合部１５２に出力する。すなわち、代表ヒストグラムサンプリング部２９０は、同一カット内における代表ヒストグラムをサンプリングする。なお、動画入力部１１０に入力された１つの動画について、カットチェンジ点判別部２４０またはＮフレームチェンジ点判別部２８０からチェンジ点の時刻が１つも出力されない場合には、代表ヒストグラムサンプリング部２９０は、この入力された１つの動画を構成するフレームから少なくとも１つのフレームをサンプリングして、この選択されたフレームに対応してカラーヒストグラム抽出部２１０から出力されたヒストグラムを代表ヒストグラムとして出力する。

図２６は、特徴量照合部１５２の機能構成例を示すブロック図である。特徴量照合部１５２は、照合方法決定部１５３と、チェンジ点間隔照合部１５４と、カラーヒストグラム照合部１５５とを備える。

図２７は、照合方法決定部１５３が照合方法を決定する場合における決定方法の概略を示す図である。本発明の実施の形態では、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストと、データベース１４３に格納されている各特徴量リストとにチェンジ点間隔が存在するか否かに基づいて、照合方法が決定される。具体的には、図２７に示すように、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストにチェンジ点間隔が存在するとともに（入力動画のチェンジ点間隔５１１が「有」の場合）、データベース１４３に格納されている特徴量リストにチェンジ点間隔が存在する場合（ＤＢ動画のチェンジ点間隔５１２が「有」の場合）には、照合方法としてチェンジ点間隔を用いた照合方法が決定される。一方、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストにチェンジ点間隔が存在しない場合（入力動画のチェンジ点間隔５１１が「無」の場合）、または、データベース１４３に格納されている特徴量リストにチェンジ点間隔が存在しない場合（ＤＢ動画のチェンジ点間隔５１２が「無」の場合）には、照合方法としてカラーヒストグラムを用いた照合方法が決定される。

照合方法決定部１５３は、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストと、データベース１４３に格納されている各特徴量リストとに基づいて、これらのリストにチェンジ点間隔が含まれているか否かに応じて、図２７に示すように、照合方法を決定するものであり、決定された照合方法に応じて、チェンジ点間隔照合部１５４またはカラーヒストグラム照合部１５５に照合指示信号を出力する。すなわち、照合方法決定部１５３は、照合方法としてチェンジ点間隔を用いた照合方法が決定された場合には、チェンジ点間隔照合部１５４に照合指示信号を出力し、照合方法としてカラーヒストグラムを用いた照合方法が決定された場合には、カラーヒストグラム照合部１５５に照合指示信号を出力する。

チェンジ点間隔照合部１５４は、照合方法決定部１５３からの照合指示信号を入力すると、特徴量抽出部２０４から出力されたチェンジ点間隔と、データベース１４３に格納されている特徴量リストに含まれるチェンジ点間隔とを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、上述した特徴量照合部１５０と同様に、動画入力部１１０に入力された動画と一致する動画に対応する特徴量リストを、データベース１４３に格納されている特徴量リストの中から検索する。

カラーヒストグラム照合部１５５は、照合方法決定部１５３からの照合指示信号を入力すると、特徴量抽出部２０４から出力された代表ヒストグラムと、データベース１４３に格納されている特徴量リストに含まれる代表ヒストグラムとを比較し、この比較結果に基づいて、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致するか否かを判定するものであり、この判定結果を示す一致リストを判定結果出力部１６０に出力する。すなわち、カラーヒストグラム照合部１５５は、照合方法決定部１５３からの照合指示信号を入力すると、特徴量抽出部２０４から出力されたチェンジ点間隔および代表ヒストグラムに対応する特徴量リストに含まれる代表ヒストグラムと、データベース１４３に格納されている特徴量リストに含まれる代表ヒストグラムとを比較してヒストグラム差分値を算出し、この算出されたヒストグラム差分値が閾値以下となった場合に、動画入力部１１０に入力された動画と、データベース１４３に格納されている特徴量リストに対応する動画とが一致すると判別する。

このように、チェンジ点が抽出された動画およびチェンジ点が抽出されなかった動画の双方について動画一致検索を行うことができる。

例えば、映画、テレビ番組等のように編集された動画コンテンツについては、チェンジ点があると想定される。この場合には、チェンジ点間隔を用いて動画一致検索を迅速に行うことができる。また、入力動画の代表ヒストグラムとデータベースに格納されている代表ヒストグラムとを照合するカラーヒストグラム照合は、動画一致検索以外にも、動画類似検索を行うことが可能である。なお、チェンジ点が存在しない動画コンテンツについては、カラーヒストグラムの変化量が小さいか、カラーヒストグラムの変化がない動画であるため、カラーヒストグラムをサンプリングすべき画像を少なくすることができる。このため、情報量を削減することができる。

次に、本発明の実施の形態における情報処理装置を用いた情報処理システムについて図面を参照して詳細に説明する。

図２８は、本発明の実施の形態における情報処理システム８００を示すシステム構成図である。情報処理システム８００は、１または複数のコンテンツ提供会社（映画会社やテレビ局等）に設置されている情報処理装置と、各コンテンツを閲覧または提供するユーザ端末（パーソナルコンピュータやテレビジョン等）とが、動画共有サイトに接続されている情報処理システムである。この例では、コンテンツ提供会社を、映画会社８２０および８３０、テレビ局８４０とし、ユーザ端末をＰＣ（パーソナルコンピュータ）８５０とした場合に、映画会社８２０および８３０、テレビ局８４０に設置されている情報処理装置８２１、８３１および８４１と、ＰＣ８５０とが、動画共有サイト８１０の情報処理装置８１１に接続されている場合について説明する。なお、情報処理装置８１１、８２１、８３１および８４１、ＰＣ８５０のそれぞれは、インターネット等の通信網であるネットワーク８６０を介して接続され、各種情報のやりとりを行うことができる。

情報処理装置８１１、８２１、８３１および８４１は、本発明の実施の形態における情報処理装置と同様の構成を備えるとともに、動画を管理する動画データベース８１２、８２２、８３２および８４２を備える。また、情報処理装置８２１、８３１および８４１とＰＣ８５０とは、何らかの条件の下で、動画共有サイト８１０に動画をアップロードすることができる。ここで、動画をアップロードするための条件として、例えば、５分以下の動画または低解像度の動画等のように様々な条件を設定することができる。また、ＰＣ８５０のユーザ８５１は、ＰＣ８５０を用いて、動画共有サイト８１０にアップロードされている比較的短い動画や低解像度の動画を自由に見ることができる。そして、動画共有サイト８１０にアップロードされている動画の全編または高画質のバージョンを見たい場合には、その動画をアップロードしたコンテンツ提供会社からその動画の全編または高画質のバージョンを購入等して見ることができる。

ここで、情報処理システム８００における動画検索方法について説明する。最初に、ユーザ８５１が、ＰＣ８５０を用いて、動画共有サイト８１０にアップロードされている比較的短い動画や低解像度の動画を見る。そして、ユーザ８５１が、アップロードされている動画の全編または高画質のバージョンを見たい場合には、ＰＣ８５０を用いて、動画共有サイト８１０に検索指示を通知する。

ＰＣ８５０から検索指示通知を受けた情報処理装置８１１は、この検索指示に係る動画のチェンジ点間隔を抽出して特徴量リストを作成し、この特徴量リストを情報処理装置８２１、８３１および８４１に送信する。そして、この特徴量リストを受信した情報処理装置８２１、８３１および８４１は、受信された特徴量リストに含まれるチェンジ点間隔と、内蔵データベースに格納されているチェンジ点間隔とを照合し、一致する動画を検索する。そして、情報処理装置８２１、８３１および８４１は、検索結果を情報処理装置８１１に送信する。検索結果を受信した情報処理装置８１１は、受信された検索結果を集計し、集計された検索結果をＰＣ８５０に送信する。この検索結果を受け取ったユーザ８５１は、検索結果を見て、全編または高画質のバージョンを見たい動画を所有するコンテンツ提供会社に、ＰＣ８５０を用いてアクセスし、その動画を購買するか否か決定することができる。この例では、動画の検索がコンテンツ提供会社において行われる例について説明したが、アップロードされた動画に対応する特徴量リストを情報処理装置８１１が保持して、動画の検索を動画共有サイト８１０において行うようにしてもよい。

また、情報処理システム８００においては、上述したように、ユーザ８５１が、ＰＣ８５０を用いて、比較的短い動画や低解像度の動画を動画共有サイト８１０にアップロードすることができる。また、ユーザ８５１により動画共有サイト８１０にアップロードされた動画を、他のユーザがユーザ端末等から自由に見ることができる。しかしながら、ユーザ８５１により動画共有サイト８１０にアップロードされた動画が、他人の著作権に係る動画である可能性も考えられる。このように、他人の著作権に係る動画が動画共有サイト８１０にアップロードされた場合には、著作権侵害を阻止するため、動画共有サイトにおいて適切にフィルタリングすることが重要である。

そこで、例えば、特徴量リストを格納する情報処理装置８１１のデータベースに、コンテンツ毎に、著作権に係る動画であるか否かを示すＮＧタグを関連付けて格納し、このＮＧタグに基づいて、アップロードされた動画が著作権に係る動画であるか否かを判断して、フィルタリングすることができる。

ここで、動画共有サイトには、音声が加工されている動画がアップロードされることも考えられる。しかしながら、本発明の実施の形態における動画一致検索では、音声に関する特徴量を使用しないため、音声がない動画や音声が編集されている動画についても、適切に動画検索を行うことができる。また、動画共有サイトには、編集された動画がアップロードされることも考えられる。しかしながら、本発明の実施の形態における動画一致検索では、カットチェンジ点間隔が一部分一致していれば、同一動画であると判定することができるため、検索対象の動画が、ある動画の一部分である場合でも、適切に検索を行うことができる。同様に、検索対象の動画が、複数の動画を繋ぎ合わせた動画であっても、適切に検索を行うことができる。これらにより、著作権を侵害する可能性のある動画を適切に迅速にフィルタリングすることが可能である。

また、著作権に係る動画以外の動画についても、動画の公開を許可する否かの判断にＮＧタグを用いることができる。

さらに、動画コンテンツの類似映像を排除する場合、動画共有サイトの管理者に対して、同一動画や類似動画を検出または提示することによって、保存する必要のない動画コンテンツを排除する場合等に本発明の実施の形態を適用することができる。

以上で示したように、本発明の実施の形態における動画一致検索では、音声がない動画、音声が編集されている動画、編集されている動画等についても、適切に動画検索を行うことができる。また、特徴量として、カットチェンジ点間隔のみを用いて動画一致検索をすることができるため、動画一致検索をするためのデータベース量を節約することができる。さらに、チェンジ点間隔を用いて動画一致検索を行うため、ビットレートや画枠が異なる動画についても適切な検索を行うことができる。すなわち、本発明の実施の形態によれば、動画の検索のために保持すべき情報量を削減することができるとともに、適切な動画の検索を迅速に行うことができる。

また、本発明の実施の形態では、情報処理装置に入力される動画について一致検索をする場合について説明したが、例えば、インターネット上に流通する動画コンテンツの検索、コンテンツホルダ内（映画会社、テレビ局、ＣＭコンテンツホルダ）での一致検索、テレビ番組等をユーザが携帯電話でキャプチャしてサーバ側に送信し、同一のコンテンツを紹介または配信するシステム、動画コンテンツの分類、動画共有サイトでの動画コンテンツ分類等に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態では、情報処理装置を例にして説明したが、動画を検索することができる携帯端末装置等の画像検索装置に本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、特徴量抽出部と、特徴量照合部と、データベースとを同一の装置内に備える情報処理装置について説明したが、動画コンテンツから特徴量を抽出する特徴量抽出サーバと、動画コンテンツから抽出された特徴量を格納する特徴量データベースと、入力動画の特徴量と特徴量データベースの特徴量と照合し、この照合結果に基づいて入力動画の一致検索を行う特徴量照合サーバとにより構成される情報処理システムに本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

１００乃至１０３ 情報処理装置
１１０ 動画入力部
１２０ ビデオ・オーディオデマルチプレクサ
１３０ ビデオデコード部
１４０乃至１４３ データベース
１５０、１５１ 特徴量照合部
１５３ 照合方法決定部
１５４ チェンジ点間隔照合部
１５５ カラーヒストグラム照合部
１６０ 判定結果出力部
２００乃至２０４ 特徴量抽出部
２１０ カラーヒストグラム抽出部
２２０ 連続フレーム間ヒストグラム差分算出部
２３０、２３１ 閾値保持部
２４０ カットチェンジ点判別部
２５０、２５１ チェンジ点間隔算出部
２６０ Ｎフレーム間ヒストグラム差分算出部
２７０、２７１ 閾値保持部
２８０ Ｎフレームチェンジ点判別部
２９０ 代表ヒストグラムサンプリング部
７１０、７１１ 特徴量保持部
７２０、７２１ チェンジ点比較部
７３０、７３１ 閾値更新部
８００ 情報処理システム
８１０ 動画共有サイト
８１１、８２１、８３１、８４１ 情報処理装置
８１２、８２２、８３２、８４２ 動画データベース
８２０、８３０ 映画会社
８４０ テレビ局
８５０ ＰＣ
８５１ ユーザ
８６０ ネットワーク

Claims (10)

1. 動画像におけるチェンジ点間隔を記憶する記憶手段と、
   入力された動画像からチェンジ点間隔を算出する算出手段と、
   前記記憶手段に記憶されているチェンジ点間隔と、前記算出手段により算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手段と、
   前記チェンジ点間隔検出手段により検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手段により検出された、前記算出手段により算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手段と、
   前記加算手段により求めた加算値と、前記加算手段による加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手段と、
   前記加算値判定手段により判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手段により算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手段と
   を有する情報処理装置。
2. 前記加算値判定手段は、判定結果が一致判定でない場合は、前記加算手段により求めた加算値と、前記加算手段による加算の対象となっていないチェンジ点間隔との間でより小さい値と、当該小さい値に係るチェンジ点間隔の次のチェンジ点間隔とを加算し、当該加算した値と当該加算の対象となっていない値とが一致するかを判定する請求項１記載の情報処理装置。
3. 前記記憶手段は、前記動画像から抽出された特徴量と所定の閾値とを比較することにより求めた前記チェンジ点間隔を、前記特徴量と時系列で関連付けて記憶し、
   前記算出手段は、前記入力された動画像から抽出された特徴量と前記閾値とを比較することにより、前記チェンジ点間隔を算出し、
   前記動画像判定手段により一致すると判定された、前記記憶手段に記憶されている動画像から抽出された特徴量に対応するチェンジ点と、前記算出手段により算出された動画像から抽出された特徴量に対応するチェンジ点との間で、画質がより高い動画像に係る特徴量には存在し、画質がより低い動画像に係る特徴量には存在しないチェンジ点を検出するチェンジ点検出手段と、
   前記チェンジ点検出手段により検出されたチェンジ点の時間軸における位置に対応する、前記画質がより低い動画像に係る特徴量の値を前記閾値とする閾値更新手段と
   をさらに有する請求項１記載の情報処理装置。
4. 前記閾値更新手段は、前記チェンジ点検出手段により検出されたチェンジ点が複数ある場合は、前記複数のチェンジ点に対応する特徴量の中で最も小さい値を閾値とする請求項３記載の情報処理装置。
5. 前記チェンジ点は、前記動画像から抽出された特徴量の値が前記閾値を超える点である請求項３記載の情報処理装置。
6. 前記チェンジ点間隔は、連続する前記チェンジ点間における時間又はフレーム数を示す値である請求項３記載の情報処理装置。
7. 前記算出手段は、前記入力された動画像における所定数のフレームを単位として前記動画像から抽出された特徴量と、所定の閾値とを比較することにより、前記チェンジ点間隔を算出する請求項１記載の情報処理装置。
8. 入力された動画像からチェンジ点間隔を算出する算出手順と、
   記憶手段に記憶されている動画像におけるチェンジ点間隔と、前記算出手順で算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手順と、
   前記チェンジ点間隔検出手順で検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手順で検出された、前記算出手順で算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手順と、
   前記加算手順で求めた加算値と、前記加算手順で加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手順と、
   前記加算値判定手順で判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手順で算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手順と
   を有する情報処理方法。
9. 入力された動画像からチェンジ点間隔を算出する算出手順と、
   記憶手段に記憶されている動画像におけるチェンジ点間隔と、前記算出手順で算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手順と、
   前記チェンジ点間隔検出手順で検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手順で検出された、前記算出手順で算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手順と、
   前記加算手順で求めた加算値と、前記加算手順で加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手順と、
   前記加算値判定手順で判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手順で算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手順と
   をコンピュータに実行させるプログラム。
10. 入力された動画像からチェンジ点間隔を算出する算出手順と、
    記憶手段に記憶されている動画像におけるチェンジ点間隔と、前記算出手順で算出されたチェンジ点間隔との間で、一致するチェンジ点間隔を検出するチェンジ点間隔検出手順と、
    前記チェンジ点間隔検出手順で検出された、前記記憶手段に記憶されているチェンジ点間隔の次のチェンジ点間隔と、前記チェンジ点間隔検出手順で検出された、前記算出手順で算出されたチェンジ点間隔の次のチェンジ点間隔との間でより小さいチェンジ点間隔と、当該小さいチェンジ点間隔の次のチェンジ点間隔とを加算する加算手順と、
    前記加算手順で求めた加算値と、前記加算手順で加算の対象となっていないチェンジ点間隔とが一致するかを判定する加算値判定手順と、
    前記加算値判定手順で判定された一致回数が所定の回数以上の場合には、前記記憶手段に記憶されているチェンジ点間隔に係る動画像と、前記算出手順で算出されたチェンジ点間隔に係る動画像とが一致していると判定する動画像判定手順と
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images