JP4010179B2 - データ識別装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、データ識別装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、映像や音楽コンテンツなどのように表示・再生処理における時間長を有するデータに係り、そのようなデータを蓄積したデータベースから提示データに対する類似データを識別・検索するためのデータ識別装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
映像や音楽コンテンツなどのように、表示・再生処理における時間長を有するデータは、その性質上瞬時に内容を確認することが難しい。そこで、その内容を表す各種関連情報を付与することで、その識別性能を向上させることができる。予めデータベースに蓄積されたこのようなデータに対する識別・検索処理は、一般的にはこれらの関連情報を対象とするキーワード検索により実現することができる。以下では、映像コンテンツをこのようなデータの代表例として記すことにする。
【０００３】
映像コンテンツ検索における問題点の一つに、上記の関連情報が必ずしも映像コンテンツを十分に表現しているとは限らない点を挙げることができる。即ち、あるオペレータにより付与されたキーワードは、必ずしも利用ユーザが想起するキーワードと一致しないことが起こり得るわけである。この問題を解決するための一つの手法に、キーワードではなく映像コンテンツが保有する、もしくは、保有すると想定される特徴量を提示することで検索を行う、類似映像検索がある。この場合は、オペレータやユーザによる主観が入らないため、常に同じ検索処理が期待される。しかし、その一方で、どのような特徴量を用いるか、検索時にユーザはその特徴量をどのように求め、提示するのか、どのように照合を行うのかなどの技術課題が発生する。
【０００４】
以下、従来の類似映像検索について説明する。
【０００５】
類似映像検索の一例として、ユーザが特徴量を直接指示する手法がある。例えば、「ビデオデータを対象とする異種検索方式の統合システム」（第１０回データ工学ワークショップ、１９９９）では、フレーム内の色の分布と移動方向を特徴量として抽出する一方、ユーザはそれらを直接指示することによって映像を検索する。しかしこの手法は、ユーザがあまり複雑な特徴量やその変化を指示できないという問題がある。
【０００６】
そこで、別の手法として、映像自身（多くは部分映像）もしくは、映像から抽出される特徴量をそのまま提示することによって検索する手法が考えられる。“Quick Audio Retrieval using Active Search ”(ICASSP,1998) では、蓄積される映像に関して特徴量のスペクトルを計算しておき、提示映像に対しても同様にスペクトルヒストグラムを算出した後、図２６に示すように、その比較を行うことで検索を実行する。
上記の手法は、基本的に映像のフレーム毎に特徴量を抽出する。従って、その特徴量照合は、高速化処理の有無はあるとしても、フレーム毎の特徴量シーケンスを逐一比較することにより実現される。
【０００７】
上記のようなフレーム単位の特徴量とは異なり、映像コンテンツのショット長、もしくは、シーン長を特徴量として用いた類似映像検索手法が提案されている（特開平５−１７４０７２、特開平７−４６５１７）。これらの方法では、映像シーンの切り替わり（一般にカット点）で区切ることができる部分映像を１つのショットとして定義し、その時間長を特徴量とする方法である。特徴量照合は、図２７に示すように、ショット長のシーケンスをその項目毎に逐一比較することにより実現される。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の類似検索技術には、以下のような相補的な問題点がある。
【０００９】
まず、最初の２例のようなフレーム毎の特徴量を用いる手法では、総フレーム数に比例した特徴量データ量を必要とする。従って、総フレーム数の増大に伴い特徴量自身のデータ量が膨大になるという問題がある。一方、３つ目のショット長を用いる手法では、多数のフレームがまとまって１つのショットを構成する。特徴量はショット毎に抽出されるために、前者よりデータ量の増加を抑えることができると考えられる。
【００１０】
その一方で、ショット長のシーケンスを逐一比較することにより照合を行う場合、図２８に示すように、カット点検出誤りが存在した場合、その誤りにより特徴量が大幅に変わってしまい、照合失敗となるという問題がある。何らかの手段により比較処理を継続したとしても、その後のショット長比較対象の選択誤りにつながる。即ち、誤り伝播を起こしてしまうという問題もある。なお、最初の２例の場合には、予め決められたフレーム毎の比較であるために、この問題が発生しない。この問題を回避する手法として、例えば、比較処理をショット長のシーケンス順に行わず、ショット長の集合同士を比較する手法を考えることができる。しかしその場合、順序情報が失われるために（例えば、１０，２０，３０と３０，１０，２０を区別できない）、識別性能が低下する。また、照合失敗時点で次ショット長との加算を行うなどの例外処理を行う手法も考えられるが、例外処理停止のためのルールを導入する必要があり（例えば、３つ先までは加算可能など）、処理が複雑になる。
【００１１】
また、いずれの従来技術においても、抽出された特徴量そのものを比較対象、即ち、類似性の根拠としている。従って、例えば、映像フォーマットや解像度の変化に起因する特徴量変化の影響を受けやすいという問題が存在する。
【００１２】
本発明は、上記の点に鑑みなされたもので、識別・検索のためのデータ量を抑えつつ、特徴量抽出誤りや特徴量誤差に起因する識別性能低下を防ぐことが可能なデータ識別装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００１４】
本発明は、構造情報取得手段、構造情報データベース、構造情報照合手段、類似構造情報識別手段とを有するデータ識別装置において、映像や音楽コンテンツなどのように表示・再生処理における時間長を有するデータを蓄積したデータベースからユーザからの提示データに対する類似データを識別・検索するデータ識別方法であって、
構造情報取得手段が、
表示・再生処理における時間長を有するデータから得られる、ある特徴が存在する時間位置のシーケンスからなる、該データの構造情報Ｘを取得し（ステップ１）、該構造情報Ｘを該構造情報の識別子と共に構造情報データベースに格納する（ステップ２）構造情報取得手順と、
構造情報照合手段が、
構造情報データベースから別の構造情報Ｙｉを取得し（ステップ３）、構造情報Ｘ及び該構造情報Ｙｉをシーケンス照合することで、両シーケンス照合区間における一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する（ステップ４）構造情報照合手順と、
類似構造情報識別手段が、
構造情報照合手順から得られる一致項目数Ｍｉ及び不一致項目数Ｕｉにより構造情報Ｘに対する構造情報Ｙｉの類似性を判定し（ステップ５）、類似している場合には、類似している構造情報の識別子ｉを識別結果として出力する（ステップ６）類似性判定手順と、を行う。
【００１７】
図２は、本発明の原理構成図である。
【００１８】
本発明（請求項１）は、映像や音楽コンテンツなどのように表示・再生処理における時間長を有するデータを蓄積したデータベースからユーザからの提示データに対する類似データを識別・検索するデータ識別装置１であって、
表示・再生処理における時間長を有するデータから得られる、ある特徴が存在する時間位置のシーケンスからなる、該データの構造情報を取得する構造情報取得手段１１と、
構造情報取得手段１１で取得した構造情報Ｘを、該構造情報の識別子と共に格納する構造情報データベース１２と、
構造情報取得手段１１から得られる利用者提示の構造情報Ｘを、構造情報データベースから得られる構造情報Ｙｉとシーケンス照合することで、両シーケンス照合区間における一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する構造情報照合手段１３と、
構造情報照合手段１３から得られる一致項目数Ｍｉ及び不一致項目数Ｕｉにより構造情報Ｘに対する構造情報Ｙｉの類似性を判定し、類似している場合には、類似している構造情報の識別子ｉを識別結果として出力する類似構造情報識別手段１４と、を有する。
【００１９】
本発明（請求項２）は、データ識別装置１の構造情報照合手段１３において、
構造情報データベース１２から得られる構造情報Ｙｉ中の時間位置シーケンスと、構造情報取得手段から得られる構造情報Ｘ中の時間位置シーケンスから、両者の開始時間位置のずれ（オフセット）の候補値集合｛Ｏ｝を算出するオフセット算出手段と、
オフセット算出手段から得られる各オフセットＯｊを、構造情報Ｘの各シーケンス項目に加算することで、開始時間位置ずれを考慮した修正構造情報Ｘｊを生成する修正構造情報生成手段と、
修正構造情報生成手段から得られる各修正構造情報Ｘｊと、構造情報データベースから得られている構造情報Ｙｉを各々シーケンス照合することにより、両シーケンス照合区間における一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊを各々算出する修正構造情報照合手段と、を有し、
修正構造情報照合手段から得られる一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊにより構造情報Ｙｉに対する修正構造情報Ｘｊの類似性を判定し、最も類似している最類似修正構造情報Ｘｊに対応する一致項目数及び不一致項目数を、その結果の項目数Ｍｉ，Ｕｉとして出力する最適照合判定手段と、を有する。
【００２０】
本発明（請求項３）は、データ識別装置１の構造情報照合手段１３において、
入力される前記構造情報Ｘ，Ｙにおいて、照合する可能性のある各時間区間を算出するシーケンス照合区間算出手段と、
シーケンス照合区間算出手段から得られる時間区間内で、構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での一致項目数の時間変化を計測する一致項目数遷移計測手段と、
シーケンス照合区間算出手段から得られる時間区間内で、構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での不一致項目数の時間変化を計測する不一致項目数遷移計測手段と、
一致項目数遷移計測手段と不一致項目数遷移計測手段により得られる一致項目数の時間変化及び不一致項目数の時間変化から、構造情報Ｘ，Ｙ中で照合していると考えられる部分シーケンスの開始・終了時間を判定する最適部分シーケンス判定手段と、
最適部分シーケンス判定手段から得られる開始時間・終了時間の範囲内における一致項目数及び不一致項目数を算出する一致・不一致項目数算出手段と、を有する。
【００２１】
本発明（請求項４）は、請求項１乃至３のいずれか１項に記載のデータ識別装置を構成する各手段としてコンピュータを機能させるデータ識別プログラムである。
【００２３】
本発明（請求項５）は、請求項４記載のプログラムを格納したコンピュータ読み取り可能な記録媒体である。
【００２４】
上記のように、本発明では、提示されたデータにおける、ある特徴が存在する時間位置のシーケンスからなる構造情報を用いることで、フレーム毎の特徴量に比べて識別・検索のためのデータ量を抑えることが可能となる。
【００２５】
【発明の実施の形態】
以下、図面と共に本発明の実施の形態を説明する。
【００２６】
図３は、本発明の一実施の形態におけるデータ識別装置の構成を示す。
【００２７】
同図に示すデータ識別装置１は、構造情報取得部１１、構造情報データベース１２、構造情報照合部１３、類似構造情報識別部１４から構成される。
【００２８】
構造情報取得部１１は、表示・再生処理における時間長を有するデータに関し、そのデータから得られる、ある特徴が存在する時間位置のシーケンスからなる、そのデータの構造情報を取得する。
【００２９】
構造情報データベース１２は、構造情報取得部１１からの構造情報を、そのデータの識別子と共に格納する。
【００３０】
構造情報照合部１３は、構造情報取得部１１から得られる利用者提示の構造情報Ｘを、構造情報データベース１２から得られる構造情報Ｙｉとシーケンス照合することにより、両シーケンス照合区間における一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する。
【００３１】
類似構造情報識別部１４は、構造情報照合部１３から得られる一致項目数Ｍｉ及び不一致項目数Ｕｉにより構造情報Ｘに対する構造情報Ｙｉの類似性を判定し、類似している場合には、その識別子ｉを識別結果として出力する。
【００３２】
図４は、本発明の一実施の形態における構造情報の概念図を示し、図５は、本発明の一実施の形態における構造情報照合を説明するための図である。
【００３３】
図４に示すように、提示されたデータにおける、ある特徴が存在する時間位置のシーケンスからなる構造情報を用いることで、フレーム毎の特徴量に比べて識別・検索のためのデータ量を抑えることができる。また、図５に示すように、抽出される特徴量そのものではなく、抽出された特徴量が存在する時間位置を照合に用いることで、特徴量の誤差に起因する比較誤りを回避することができる。
【００３４】
図６は、本発明の一実施の形態における検出誤りに対する照合処理を説明するための図である。同図に示すように、構造情報におけるシーケンスの一部項目が誤検出もしくは、検出漏れされたとしても、その影響がその後の比較処理に伝播しない。これにより、特徴量抽出誤りを許容できるデータ識別を行うことができる。
【００３５】
次に、構造情報照合部１３について説明する。
【００３６】
図７は、本発明の一実施の形態における構造情報照合部の構成を示す。
【００３７】
同図に示す構造情報照合部１３は、オフセット算出部２１、修正構造情報生成部２２、修正構造情報照合部２３、最適照合判定部２４から構成される。
【００３８】
オフセット算出部２１は、構造情報データベース１２から得られる構造情報Ｙｉ中の時間位置シーケンスと、構造情報取得部１１から得られる利用者提示の構造情報Ｘ中の時間位置シーケンスから、両者の開始時間位置のずれを候補値集合｛Ｏ｝を算出する。
【００３９】
修正構造生成部２２は、オフセット算出部２１から得られる各オフセットＯｊを、構造情報取得部１１から得られる構造情報Ｘの各シーケンス項目に加算することで、開始時間位置ずれを考慮した修正構造情報Ｘｊを生成する。
【００４０】
修正構造情報照合部２３は、修正構造生成部２２から得られる各修正構造情報Ｘｊと、構造情報データベース１２から取得している構造情報Ｙｉを各々シーケンス照合することにより、両シーケンス照合区間における一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊを算出する。
【００４１】
最適照合判定部２４は、修正構造情報照合部２３から得られる一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊにより構造情報Ｙｉに対する修正構造情報Ｘｊの類似性を判定し、最も類似している修正構造情報Ｘｊに対応する一致項目数及び不一致項目数をその結果の項目数Ｍｉ，Ｕｉとして出力する。
【００４２】
これにより、利用者から提示されたデータと構造情報データベース１２中の該当データとの開始時間にずれがあったとしても、そのずれを考慮したデータ識別を行うことができる。
【００４３】
次に、上記の構造情報照合部１３の修正構造情報照合部２３の構成について説明する。
【００４４】
図８は、本発明の一実施の形態における構造情報照合部の修正構造情報照合部の構成を示す。
【００４５】
修正構造情報照合部２３は、シーケンス照合区間算出部３１、一致項目数遷移計測部３２、不一致項目数遷移計測部３３、最適部分シーケンス判定部３４、一致・不一致項目数算出部３５から構成される。
【００４６】
シーケンス照合区間算出部３１は、入力される両構造情報Ｘ，Ｙにおいて照合する可能性のある最小時間及び最大時間を算出する。
【００４７】
一致項目数遷移計測部３２は、シーケンス照合区間算出部３１から得られる照合区間内で、両構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での一致項目数の時間変化を計測する。
【００４８】
不一致項目数遷移計測部３３は、シーケンス照合区間算出部３１から得られる照合区間内で、両構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での不一致項目数の時間変化を計測する。
【００４９】
最適部分シーケンス判定部３４は、一致項目数遷移計測部３２及び不一致項目数遷移計測部３３から得られる一致項目数遷移情報及び不一致項目遷移情報から、両構造情報Ｘ，Ｙ中で照合していると考えられるシーケンス位置を判定する。
一致・不一致項目数算出部３５は、最適部分シーケンス判定部３４から得られる開始時間・終了時間の範囲内における一致項目数Ｍ及び不一致項目数Ｕを算出する。
【００５０】
このような構成により、提示されたデータが構造情報データベース１２に登録されているデータの一部分を包含するデータであったとしても、その開始・終了時間を推定した上で、データ識別を行うことができる。
【００５１】
次に、データ識別情報を利用者に提供する方法について説明する。
【００５２】
図９は、本発明の一実施の形態におけるデータ識別方法のフローチャートである。
【００５３】
表示・再生処理における時間長を有するデータに関し、そのデータの構造情報を取得する（ステップ１０１）。
【００５４】
取得した構造情報Ｘを、そのデータの識別子と共に、構造情報データベース１２に格納する（ステップ１０２）。
【００５５】
構造情報データベース１２から別の構造情報Ｙｉを取得し（ステップ１０３）、構造情報Ｘ及びＹｉをシーケンス照合することで、両シーケンスの照合区間における一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する（ステップ１０４）。
【００５６】
一致項目数Ｍｉ及び不一致項目数Ｕｉにより、構造情報Ｘに対する構造情報Ｙｉの類似性を判定し（ステップ１０５）、類似している場合には、その識別子ｉを識別結果として出力し（ステップ１０６）、更に、他の構造情報に対して識別処理を行うかどうかを判定する（ステップ１０７）。
【００５７】
上記のステップ１０４における、ある構造情報Ｘ及びＹｉとのシーケンス照合による一致項目数及び不一致項目数を算出する際に、ＸとＹｉの間に開始時間のずれがある場合に、その照合情報を的確に提供する方法を説明する。
【００５８】
図１０は、本発明の一実施の形態における構造情報照合方法のフローチャートである。
【００５９】
構造情報データベース１２から得られる構造情報Ｙｉ中の時間位置シーケンスと、構造情報取得部１１から得られる構造情報Ｘ中の時間位置シーケンスから、両者の開始時間位置のずれ（オフセット）の候補値集合｛Ｏ｝を算出する（ステップ２０１）。
【００６０】
上記のオフセットＯｊを、構造情報Ｘの各シーケンス項目に加算することで、修正構造情報Ｘｊを生成する（ステップ２０２）。
【００６１】
上記の各修正構造情報Ｘｊと、構造情報Ｙｉを各々シーケンス照合することにより、両シーケンス照合区間における一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊを各々算出する（ステップ２０３）。
【００６２】
上記の全ての一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊから構造情報Ｙｉに最も類似している修正構造情報Ｘｊを判定する（ステップ２０４）。
【００６３】
上記の最類似修正構造情報Ｘｊに対応する一致項目数及び不一致項目数をその結果の項目数Ｍｉ、Ｕｉとして出力する（ステップ２０５）。
【００６４】
上記の図１０におけるステップ２０３における、構造情報Ｘ及びＹとのシーケンス照合による一致項目数及び不一致項目数算出処理において、ＸとＹのシーケンスの一部分だけが照合するような場合に、その照合情報を的確に提供するための方法を説明する。
【００６５】
図１１は、本発明の一実施の形態における構造情報照合方法の詳細な処理のフローチャートである。
【００６６】
入力される両構造情報Ｘ，Ｙにおいて照合する可能性のある各々の時間区間を算出する（ステップ３０１）。
【００６７】
上記の時間区間内で、両構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での一致項目数の時間変化を計測する（ステップ３０２）と共に、同様に、上記の時間区間内で、両構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での不一致項目数の時間変化を計測する（ステップ３０３）。
【００６８】
上記の２つの手順（ステップ３０２、３０３）により得られる一致項目数の時間変化及び不一致項目数の時間変化から、両構造情報Ｘ，Ｙ中で照合していると考えられる部分シーケンスの開始・終了時間を判定する（ステップ３０４）。
【００６９】
上記により得られる開始時間・終了時間の範囲内における一致項目数及び不一致項目数を算出する（ステップ３０５）。
【００７０】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【００７１】
［第１の実施例］
図１２は、本発明の第１の実施例によるシステム構成を示す。
【００７２】
同図に示すシステムにおけるデータとしては、映像コンテンツを対象としている。利用者は、識別対象となる映像を提示し、その映像に類似していると判定された登録済映像の識別子を、その識別結果として受け取る。
【００７３】
また、本システムでの構造情報において検出すべき特徴としては、映像におけるシーンの切り替わり（カット点）を用いる。カット点検出により得られるカット点の各時間位置（当該映像コンテンツにおけるタイムコード）を構造情報の各項目とし、これらの項目を昇順に並べた数値シーケンスを、当該映像コンテンツの構造情報と規定する。
【００７４】
同図に示すシステムは、利用者側のクライアント装置１００と、サービス提供側のサーバ装置２００とを有する。
【００７５】
サーバ装置２００には、複数のクライアント装置１００が接続され得る。また、各装置間は同一ＬＡＮで接続されていても、異種ＷＡＮで接続されていてもよい。
【００７６】
クライアント装置１００は、構造情報解析部１１１、構造情報ファイル１１２、構造情報送信部１１３、識別子受信部１１４、及び利用者インタフェース１１５から構成される。
【００７７】
構造情報解析部１１１は、利用者インタフェース１１５から対象となる映像コンテンツを受け取り、解析処理により映像中のシーンの切り替わりをカット点として検出し、その時間位置シーケンスを構造情報として構成し、出力する。
【００７８】
構造情報ファイル１１２は、構造情報解析部１１１が出力した構造情報をファイル化したものである。なお、その実現方法としては、どのようなファイル形式であってもよく、また、データベース中の１項目としてクライアント装置１００に格納されていてもよい。
【００７９】
構造情報送信部１１３は、構造情報ファイル１１２の記述内容（以下、構造情報Ｘと記す）をサーバ装置２００に送信する。
【００８０】
識別子受信部１１４は、サーバ装置２００から、提示した映像に類似していると判定された映像を表す識別子を受信する。
【００８１】
利用者インタフェース１１５は、利用者が映像コンテンツを指示するためのインタフェースであり、その指示を受けて構造情報解析部１１１に映像コンテンツを転送する。また、当該インタフェース１１５は、識別子受信部１１４が受信した識別子を利用者に表示する。なお、この識別子に基づいて該当映像コンテンツ及びその関連情報を表示するシステムを構成することが別途実現可能である。
【００８２】
サーバ装置２００は、構造情報受信部２２１、構造情報データベース２２２、構造情報抽出部２２３、構造情報照合部２２４、類似性判定部２２５、識別子送信部２２６から構成される。
【００８３】
構造情報受信部２２１は、クライアント装置１００により送信された構造情報Ｘを受信し、構造情報データベース２２２に登録すると同時に、構造情報照合部２２４に転送する。
【００８４】
構造情報データベース２２２は、構造情報受信部２２１において受信された構造情報Ｘを格納すると同時に、構造情報抽出部２２３からのリクエストを待ち受ける。構造情報データベース２２２、既存のデータベース製品により実現することも可能であり、また、構造情報毎のファイルを格納することでも実現することも、１つのファイル内の１エントリとして記述することで実現することも可能である。
【００８５】
構造情報抽出部２２３は、クライアント装置１００から送信された構造情報Ｘの受信を識別処理開始要求と見做し、構造情報データベース２２２から順次構造情報抽出を行い、構造情報照合部２２４に転送する。構造情報抽出部２２３は、構造情報データベース２２２から抽出すべき構造情報の識別子を指示するが、その識別子はデータベース中のすべての構造情報を対象としてもよく、また何らかのルールに基づいて対象を制限してもよい。
【００８６】
構造情報照合部２２４は、構造情報抽出部２２３から順次転送される各識別子及び構造情報（以下、その識別子をｉとし、その構造情報をＹｉと記す）及び、構造情報受信部２２１により受信された構造情報Ｘとの照合処理を行い、構造情報間の一致項目数Ｍｉ及び不一致項目数Ｕｉを算出し、識別子ｉと共に類似性判定部２２５に転送する。
【００８７】
類似性判定部２２５は、構造情報照合部２２４から転送された一致項目数及び不一致項目数に基づいて、構造情報Ｙｉと構造情報Ｘの類似性を判定する。類似していると判定された場合は、その識別子ｉを識別子送信部２２６に転送する。識別子送信部２２６は、類似性判定部２２５から転送された識別子ｉをクライアント装置１００に送信する。
【００８８】
図１３は、本発明の第１の実施例におけるデータ識別方法手順を示すシーケンスチャートである。以下、図１３を参照して、本実施例におけるデータ識別方法の動作について説明する。
【００８９】
まず、利用者は、利用者インタフェース１１５を介して識別対象となる映像コンテンツを指示する（ステップ４０１）。
【００９０】
次に、利用者インタフェース１１５から転送された映像コンテンツを構造情報解析部１１１が解析し、構造情報を取得する（ステップ４０２）。本実施例における構造情報解析手段であるカット点検出処理としては、特許２８３９１３２号に記載されているカット・ディゾルブを検出する方法を用いることができる。あるカット（または、ディゾルブ）が検出された時間位置（タイムコード）を構造情報の１つの項目とし、これらの項目を昇順に並べた数値シーケンスを、当該映像コンテンツの構造情報とする。本実施例における構造情報の例を図１４に示す（なお、本例では、映像の開始時間（ゼロ）もカット点に含まれると見做している）。
【００９１】
次に、構造情報解析部１１１が取得した構造情報を、構造情報ファイル１１２としてクライアント装置１００内に書き込む（ステップ４０３）。ファイル形式として、例えば、ｃｓｖ形式を用いることができる。
【００９２】
次に、構造情報送信部１１３が構造情報ファイル１１２内の構造情報Ｘをサーバ装置２００へ送信する（ステップ４０４）。サーバ装置２００内の構造情報受信部２２１は、その構造情報Ｘを受信する（ステップ４０５）。
【００９３】
次に、構造情報受信部２２１は、構造情報データベース２２２に構造情報Ｘを格納する（ステップ４０６）。構造情報データベース２２２として、例えば、１つのファイル内のｃｓｖエントリとしての登録・参照で実現することができる。本実施例における構造情報データベース２２２の例を図１５に示す。
【００９４】
次に、構造情報抽出部２２３は、構造情報データベース２２２内の構造情報を順次抽出する（ステップ４０７）。構造情報抽出部２２３は、抽出すべき識別子を指示するが、ここでは、Ｘ以外のすべての識別子を対象とする。その場合、図１５に示したデータベースを１エントリずつ取り出し、最初の項目を識別子、以降を構造情報として抽出し、Ｘを除く１エントリごとに以降のステップ４０８からステップ４１０までの処理を繰り返すことで、すべての識別子に対する処理を実現することができる。
【００９５】
次に、構造情報照合部２２４は、構造情報抽出部２２３により抽出された構造情報Ｙｉと、構造情報受信部２２１により受信された構造情報Ｘを照合して、一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する（ステップ４０８）。
【００９６】
次に、類似性判定部２２５は、一致項目数Ｍｉ及び不一致項目数Ｕｉから類似性を判定する（ステップ４０９）。類似性判定は、Ｍｉ及びＵｉを用いた評価式により実現することができる。本実施例における評価式の一例として、
Ｆｉ＝Ｍｉ／（Ｍｉ＋Ｕｉ）
を用いることができる。Ｆｉは、一致項目数Ｍｉが多いほど、また、不一致項目数Ｕｉが少ないほど大きい値をとり、その範囲は０から１までである。Ｆｉが閾値Ｆｔｈを上回る場合、構造情報ＸとＹｉが類似していると判定することができる。類似していると判定された場合は、識別子ｉを識別子送信部２２６に転送する。
【００９７】
次に、識別子送信部２２６は、識別子ｉをクライアント装置１００に送信する（ステップ４１０）。クライアント装置１００内の識別子受信部１１４は、その識別子ｉを受信する（ステップ４１１）。そして、利用者インタフェース１１５がその識別子ｉを表示する（ステップ４１２）。
【００９８】
図１６は、本発明の第１の実施例における構造情報照合処理の動作のフローチャートである。以下、構造情報照合処理について説明する。
【００９９】
まず、構造情報Ｘにおける最末尾項目の値と構造情報Ｙｉにおける最末尾項目の値を比較し、その値が小さい方を数列ｐ、大きい方を数列ｑとして扱う。数列ｐの項目数をｍ、数列ｑの項目数をｎとする（ステップ５０１）。図１５の例を参考にすると、構造情報Ｙｉの方がｐ、構造情報Ｘの方がｑとなる。また、ｍ＝ｎ＝６となる。
【０１００】
次に、初期値として、一致項目数Ｍｉ及び不一致項目数Ｕｉをゼロに、数列の引数としての変数ｔ及びｋを２とする。数列ｐ及びｑにおける各項目の参照は、これらｔ及びｋを用いて先頭から順番で行われるものとする。従って、ｔは１からｍまで、ｋは１からｎまでの値をとる。以下、参照される項目の値をそれぞれｐ［ｔ］及びｐ［ｋ］と表す。ここで、本実施例の照合処理例における構造情報の時間位置（カット点位置）の定義上、ｐ［１］＝ｑ［１］＝０なので、照合処理は、ｔ＝ｋ＝２から開始される（ステップ５０２）。
【０１０１】
以降のステップでは、変数ｔ及びｋの値に基づく数列参照が行われる。
【０１０２】
まず、
ｐ［ｔ］＞ｑ［ｋ］＋ｔｈ （式１）
が成立するかどうかを調べる（ステップ５０３）。ここで、ｔｈは閾値であり、カット点検出処理における誤差を考慮した値を設定する。式１が成立する場合には、ｐ［ｔ］とｑ［ｋ］は一致していないと判断され、不一致項目数Ｕｉに１が加算される（ステップ５０４）。その後、引数ｋが最大項目数ｎ未満であるかどうか判断され（ステップ５０５）、ｎ未満である場合は、ｋに１加えて（ステップ５０６）、ステップ５０３の手順に戻る。一方、ｋがｎに達していた場合には、照合処理を終了する。
【０１０３】
式１が成立しない場合は、続いて、
ｑ［ｋ］＞ｐ［ｔ］＋ｔｈ （式２）
が成立するかどうか調べる（ステップ５０７）。成立する場合には、やはりｐ［ｔ］とｑ［ｋ］は一致していないと判断され、不一致項目数Ｕｉに１が加算される（ステップ５０８）。その後、引数ｔが最大項目数ｍ未満であるかどうか判断され（ステップ５０９）、ｍ未満である場合にはｔに１加えて（ステップ５１０）、ステップ５０３の手順に戻る。一方、ｔがｍに達していた場合には、照合処理を終了する。
【０１０４】
式１及び式２が成立しない場合は、ｐ［ｔ］とｑ［ｋ］が一致していると判断され、一致項目数Ｍｉに１が加算される（ステップ５１１）。その後、引数ｋ及びｔの範囲を確認後加算処理が行われ、最終項目に到達していた場合には、照合処理を終了する（ステップ５１２、５１３、５０９、５１０）。
【０１０５】
以上の構造情報照合処理を図１５の例に対して行った場合の処理例を図１７に示す。同図中の表は、図１６のフローチャートに従い処理を実行した際の、引数ｔ及びｋの遷移、各数列中の値の比較結果、Ｍｉ及びＵｉの遷移を示している。比較を繰り返した結果、正しい一致項目数Ｍｉ及び不一致項目数Ｕｉが得られることがわかる。
【０１０６】
［第２の実施例］
図１８は、本発明の第２の実施例によるシステム構成を示す。同図に示すシステムにおけるデータとしては、前述の第１の実施例と同様に、映像コンテンツを対象としている。利用者は、識別対象となる映像を提示し、その映像に類似していると判定された登録済映像の識別子を、その識別結果として受け取る。
【０１０７】
また、本システムでの構造情報において用いる特徴としても、第１の実施例と同様に映像におけるシーンの切り替わり（カット点）を用いる。しかし、本実施例では、利用者の指示により人手でカット点を編集することで構造情報を作成する。
【０１０８】
本システムの装置構成は、第１の実施例と同様に、利用者側のクライアント装置１００とサービス提供側のサーバ装置２００とを含む。クライアント装置１００は、構造情報ファイル１１２、構造情報送信部１１３、識別子受信部１１４、利用者インタフェース１１５に加え、構造情報編集部１１６及び映像再生制御部１１７から構成される。
【０１０９】
構造情報ファイル１１２から識別子受信部１１４までは、第１の実施例と同様の機能を有する。利用者インタフェース１１５は、映像再生制御部１１７と連動し、利用者が映像コンテンツのカット点を発見し、その時間位置を指示・編集するためのインターフェースである。また、同インタフェース１１５は、識別子受信部１１４が受信した識別子を利用者に表示する。
【０１１０】
構造情報編集部１１６は、利用者インタフェース１１５からのカット点編集指示を受け、構造情報へのカット点時間位置追加・修正・削除を行う。編集終了時には、構造情報ファイル１１２に書込みを行う。
【０１１１】
映像再生制御部１１７は、利用者から映像コンテンツの指示を受け、その再生及び停止・早送り・巻き戻し・コマ送りなどの機能を提供すると共に、利用者インタフェース１１５からカット点検出指示があった際に、その時間位置を返答する。
【０１１２】
サーバ装置２００は、第１の実施例における構造情報受信部２２１、構造情報データベース２２２、構造情報抽出部２２３、類似性判定部２２５、識別子送信部２２６に加え、オフセット算出部２２７、修正構造情報生成部２２８、修正構造情報照合部２２９、及び、最適照合判定部２３０から構成される。
【０１１３】
構造情報受信部２２１から構造情報抽出部２２３及び類似性判定部２２５、識別子送信部２２６は、第１の実施例と同様の機能を有する。
【０１１４】
オフセット算出部２２７は、構造情報Ｘ及び構造情報Ｙｉに基づいて、両者の開始時間位置のずれを表すオフセットを算出する。オフセットは候補集合として複数算出される。その算出ルールとして、ある一定の時間間隔でオフセットを算出する方法が考えられる。他に、構造情報Ｘのｔ番目の項目Ｘ［ｔ］及び、構造情報Ｙｉのｋ番目の項目Ｙｉ［ｋ］より、（Ｙｉ［ｋ］−Ｘ［ｔ］）をオフセット値として算出する方法も考えられる。本実施例では、後者の方法を想定し、その値を以下、Ｏｊと表す。引数ｊは、構造情報Ｘの項目数がｍ個、構造情報Ｙｉの項目数がｎ個である場合、１から最大ｍｎまでの値を取り得る。
【０１１５】
修正構造情報生成部２２８は、オフセット算出部２２７から算出される各オフセットＯｊの値を用いて、構造情報Ｘの各項目の値を修正し、修正構造情報Ｘｊを生成する。修正構造情報Ｘｊのｔ番目の項目Ｘｊ［ｔ］は、
Ｘｊ［ｔ］＝Ｘ［ｔ］＋Ｏｊ
により算出される。
【０１１６】
修正構造情報照合部２２９は、修正構造情報Ｘｊと構造情報Ｙｉの照合を行う。図１９は、本発明の第２の実施例における修正構造情報照合処理の動作のフローチャートである。
【０１１７】
同図に示す処理フローは、第１の実施例における図１６のフローチャートとほぼ同様である。但し、ステップ５０１における最末尾項目の値の代わりに構造情報の全時間長を用いて判定する（ステップ６０１〜６０３）。また、ｔ及びｋの初期値を１に、ＸをＸｊに、Ｍｉ・ＵｉをＭｉｊ・Ｕｉｊとする（ステップ６０４）。
【０１１８】
最適照合判定部２３０は、修正構造情報照合部２２９から出力される各Ｍｉｊ・Ｕｉｊに基づき、最も照合していると思われるＸｊを判定、そのＭｉｊ・ＵｉｊをＭｉ・Ｕｉとして識別子ｉと共に出力する。その判定には、第１の実施例と同様に評価式
Ｆｉｊ＝Ｍｉｊ／（Ｍｉｊ＋Ｕｉｊ）
を用いることができる。この場合、最も大きいＦｉｊに対応する修正構造情報Ｘｊを採用することで、最適照合を判定する。
【０１１９】
本実施例におけるオフセット算出から修正構造情報照合までを、図２０の構造情報データベース２２２の例に対して行った場合の例を図２１に示す。この場合、オフセットは、２０個算出され、そのうち、オフセット値５０に対して最適な照合（Ｍｉｊ＝５，Ｕｉｊ＝２）が行われることがわかる。
【０１２０】
［第３の実施例］
図２２は、本発明の第３の実施例によるシステム構成を示す。
【０１２１】
本実施例におけるデータとしては、第１、第２の実施例と同様に、映像コンテンツを対象としている。利用者は識別対象となる映像を提示し、その映像に類似していると判定された登録済映像の識別子をその識別結果として受け取る。
【０１２２】
また、本システムでの構造情報において用いる特徴としても、第１、第２の実施例と同様に、映像におけるシーンの切り替わり（カット点）を用いる。本実施例では、利用者が映像コンテンツそのものをサーバ装置２００に送信し、構造情報はサーバ装置２００内で作成される。
【０１２３】
本システムの装置構成は、第１の実施例と同様に、利用者側のクライアント装置１００と、サービス提供側のサーバ装置２００とを含む。
【０１２４】
クライアント装置１００は、識別子受信部１１４、利用者インタフェース１１５及び映像コンテンツ送信部１１８から構成される。
【０１２５】
識別子受信部１１４及び利用者インタフェース１１５は、第１の実施例と同様の機能を有する。映像コンテンツ送信部１１８は、利用者インタフェース１１５に提示された映像コンテンツをサーバ装置２００に送信する。これは、ＨＴＭＬ文やJava（登録商標）Script文などを用い、Ｗｅｂブラウザ上で動作するインタフェースシステムとして容易に実現できる。
【０１２６】
サーバ装置２００は、第２の実施例における構造情報データベース２２２から最適照合判定部２３０に加え、映像コンテンツ受信部２３２、構造情報解析部２３２、シーケンス照合区間算出部２３３、一致項目数遷移計測部２３４、不一致項目数遷移計測部２３５、最適部分シーケンス判定部２３６、一致・不一致項目数算出部２３７から構成される。
【０１２７】
映像コンテンツ受信部２３１は、クライアント装置１００から映像コンテンツを受信する。
【０１２８】
構造情報解析部２３２は、第１の実施例におけるクライアント装置１００内の構造情報解析部１１１と同様の機能を有する。映像コンテンツ受信部２３１が受信した映像コンテンツを解析し、構造情報Ｘを出力する。
【０１２９】
構造情報データベース２２２、構造情報抽出部２２３、オフセット算出部２２７、及び修正構造情報生成部２２８は、第２の実施例と同様の機能を有する。
【０１３０】
シーケンス照合区間算出部２３３は、入力される構造情報Ｙｉ及び修正構造情報Ｘｊより、照合の可能性がある最小時間ｍｉｎ及び最大時間ｍａｘを時間区間として算出する。本実施例では、図２３の構造情報データベース２２２を例にとり、オフセットＯｊ＝９０であるときの修正構造情報Ｘｊと構造情報Ｙｉを対象にして説明する。この場合、シーケンス照合区間算出部２３３において算出される値は、ｍｉｎ＝０，ｍａｘ＝１８０となる。本算出は、両構造情報における項目の最小値及び最大値を求めることで実現される。
【０１３１】
一致項目数遷移計測部２３４及び不一致項目数遷移計測部２３５は、シーケンス照合区間算出部２３３より出力される時間区間内で、両構造情報における一致項目数、不一致項目数の時間遷移を計測する。本計測部２３４、２３５における計測処理は、第２の実施例における修正構造情報照合処理フロー上で実現できる。即ち、図１９に示した動作フローチャートに基づく照合処理を実施する際に、変数ｔ及びｋの値変化に対応する一致項目数及び不一致項目数の値変化を、図１７における表のように全て保存しておけばよい。図２４は、このようにして得られる計測処理結果を時間軸にマッピングした例を表している。
【０１３２】
最適部分シーケンス判定部２３６は、一致項目数遷移計測部２３４及び不一致項目数遷移計測部２３５から得られる遷移情報に基づき、照合していると考えられるシーケンス位置を判定する。本実施例では、一致項目数遷移情報Ｍｔが増加傾向にあり、不一致項目数遷移情報Ｕｔが増加しない時間区間をその部分シーケンスとして判定する。図２５に判定処理の例を示す。この図の場合、Ｍｔが増加を開始する１００秒目から、Ｍｔが増加しなくなる１６０秒目までを最適部分シーケンスとして判定する。実際の処理として、Ｍｔが増加している間はフラグ処理などにより、シーケンス継続中と見做し、ある閾値以内でＵｔが増加してもノイズと見做すことにより最適部分シーケンスを判定する方法などを用いることができる。
【０１３３】
一致・不一致項目数算出部２３７は、最適部分シーケンス判定部２３６から得られるシーケンス位置としての開始・終了時間に基づき、一致項目数遷移情報Ｍｔ及び不一致項目数遷移情報Ｕｔから、一致項目Ｍｉｊ及び不一致項目数Ｕｉｊを算出する。本実施例における算出式としては、
Ｍｉｊ＝Ｍｔ｛ＯＵＴ＋｝−Ｍｔ｛ＩＮ−｝
Ｕｉｊ＝Ｕｔ｛ＯＵＴ＋｝−Ｕｔ｛ＩＮ−｝
を用いる。ここで、Ｍｔ｛ＯＵＴ＋｝とは、終了時間ＯＵＴ直後におけるＭｔの値であり、Ｍｔ｛ＩＮ−｝とは、開始時間ＩＮ直前におけるＭｔの値である。図２５の場合、Ｍｔ｛ＯＵＴ＋｝＝４，Ｍｔ｛ＩＮ−｝＝０である。従って、Ｍｉｊ＝４−０＝４となる。同様に、Ｕｉｊ＝２−２＝０となる。
【０１３４】
最適照合判定部２３０、類似性判定部２２５及び識別子送信部２２６は、第２の実施例と同様の機能を有する。
【０１３５】
以上の３つの実施例は、映像コンテンツを対象データと想定し、その構造情報取得において用いられる特徴としてカット点を想定している。この他にも、例えば、音楽コンテンツを対象データと想定し、一定長以上の無音区間が検出される点をその特徴点と定義することが可能である。
【０１３６】
また、３つの実施例においては、構造情報取得のための特徴を１種類としたが、複数の特徴を用い、それぞれに対する構造情報を取得した上で、各々の照合処理を行い、それらの結果（それぞれの構造情報による一致・不一致項目数）を合成することで、類似性判定を行うことも可能である。合成方法としては、単純に評価式の積をとる方法や、ルールによる場合分けを行う方法などが考えられる。また、上記の３つの実施例においては、構造情報の各項目の比較により、一致・不一致を判定したが、同時に取得される特徴量を勘案した上で、一致・不一致を判定することも可能である。例えば、あまりにも算出される特徴量に隔たりがある場合には、その比較判定を留保する（一致とも不一致とも見做さない）等の方法をとることができる。
【０１３７】
なお、図１１、図１８、図２２で示したシステムにおける装置（クライアント、サーバ）各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１６、図１９の各フローチャートや本文中記載の説明文や式で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、フレキシブルディスク、ＭＯ，ＲＯＭ，メモリカード、ＣＤ，ＤＶＤ、リムーバブルディスクなどの記録して、保存したり、配布したりすることが可能である。
【０１３８】
上記のプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。また、上記のプログラムは、サーバやクライアントのコンピュータ別に作成されることは当然であるが、記録媒体への記録や、ネットワークを通しての提供に際しては、一まとめにしたり、個別にしたり、組み合わせたりして行ってもよい。
【０１３９】
以上、本発明の代表的な実施例を説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０１４０】
【発明の効果】
上述のように、本発明によれば、提示されたデータにおけるある特徴が存在する時間位置のシーケンスからなる構造情報を用いることで、フレーム毎の特徴量に比べ、識別・検索のためのデータ量を抑えることができる。
【０１４１】
また、抽出される特徴量そのものではなく、抽出された特徴量が存在する時間位置を照合に用いることで、特徴量の誤差に起因する比較誤りを回避することができる。同様に、特徴量抽出誤りを許容できるデータ識別を行うことができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるデータ識別装置の構成図である。
【図４】本発明の一実施の形態における構造情報の概念図である。
【図５】本発明の一実施の形態における構造情報照合を説明するための図である。
【図６】本発明の一実施の形態における検出誤りに対する照合処理を説明するための図である。
【図７】本発明の一実施の形態における構造情報照合部の構成図である。
【図８】本発明の一実施の形態における構造情報照合部の修正構造情報照合部の構成図である。
【図９】本発明の一実施の形態におけるデータ識別方法のフローチャートである。
【図１０】本発明の一実施の形態における構造情報照合方法のフローチャートである。
【図１１】本発明の一実施の形態における構造情報照合方法の詳細な処理のフローチャートである。
【図１２】本発明の第１の実施例によるシステム構成図である。
【図１３】本発明の第１の実施例におけるデータ識別方法手順を示すフローチャートである。
【図１４】本発明の第１の実施例における構造情報例である。
【図１５】本発明の第１の実施例における構造情報データベース例である。
【図１６】本発明の第１の実施例における構造情報照合処理の動作のフローチャートである。
【図１７】本発明の第１の実施例における構造情報照合処理例である。
【図１８】本発明の第２の実施例によるシステム構成図である。
【図１９】本発明の第２の実施例における修正構造情報照合処理の動作フローチャートである。
【図２０】本発明の第２の実施例における構造情報データベース例である。
【図２１】本発明の第２の実施例におけるオフセット算出修正構造情報生成及び照合処理例である。
【図２２】本発明の第３の実施例によるシステム構成図である。
【図２３】本発明の第３の実施例における構造情報データベース例及びオフセット算出に基づく修正構造情報の例である。
【図２４】本発明の第３の実施例における一致・不一致項目数遷移計測の処理例である。
【図２５】本発明の第３の実施例における最適部分シーケンス判定及び一致・不一致項目数算出の処理例である。
【図２６】従来手法におけるフレーム毎の特徴量比較に関する説明図である。
【図２７】従来手法におけるショット毎の特徴量比較に関する説明図である。
【図２８】ショット毎の特徴量比較における問題点の説明図である。
【符号の説明】
１ データ識別装置
１１ 構造情報取得手段、構造情報取得部
１２ 構造情報データベース
１３ 構造情報照合手段、構造情報照合部
１４ 類似構造情報識別手段、類似構造情報識別部
２１ オフセット算出部
２２ 修正構造情報生成部
２３ 修正構造情報照合部
２４ 最適照合判定部
３１ シーケンス照合区間算出部
３２ 一致項目数遷移計測部
３３ 不一致項目数遷移計測部
３４ 最適部分シーケンス判定部
３５ 一致・不一致項目数算出部
１００ クライアント装置
１１１ 構造情報解析部
１１２ 構造情報ファイル
１１３ 構造情報送信部
１１４ 識別子受信部
１１５ インタフェース利用者
１１６ 構造情報編集部
１１７ 映像再生制御部
１１８ 映像コンテンツ送信部
２００ サーバ装置
２２１ 構造情報受信部
２２２ 構造情報データベース
２２３ 構造情報抽出部
２２４ 構造情報照合部
２２５ 類似性判定部
２２６ 識別子送信部
２２７ オフセット算出部
２２８ 修正構造情報生成部
２２９ 修正構造情報照合部
２３０ 最適照合判定部
２３１ 映像コンテンツ受信部
２３２ 構造情報解析部
２３３ シーケンス照合区間算出部
２３４ 一致項目数遷移計測部
２３５ 不一致項目数遷移計測部
２３６ 最適部分シーケンス判定部
２３７ 一致・不一致項目数算出部

Claims (5)

1. 映像や音楽コンテンツなどのように表示・再生処理における時間長を有するデータを蓄積したデータベースからユーザからの提示データに対する類似データを識別・検索するデータ識別装置であって、
   表示・再生処理における時間長を有するデータから得られる、ある特徴が存在する時間位置のシーケンスからなる、該データの構造情報を取得する構造情報取得手段と、
   前記構造情報取得手段で取得した前記構造情報Ｘを、該構造情報の識別子と共に格納する構造情報データベースと、
   前記構造情報取得手段から得られる利用者提示の構造情報Ｘを、前記構造情報データベースから得られる構造情報Ｙｉとシーケンス照合することで、両シーケンス照合区間における一致項目数Ｍｉ及び不一致項目数Ｕｉを算出する構造情報照合手段と、
   前記構造情報照合手段から得られる一致項目数Ｍｉ及び不一致項目数Ｕｉにより前記構造情報Ｘに対する構造情報Ｙｉの類似性を判定し、類似している場合には、類似している構造情報の識別子ｉを識別結果として出力する類似構造情報識別手段と、を有することを特徴とするデータ識別装置。
2. 前記構造情報照合手段は、
   前記構造情報データベースから得られる構造情報Ｙｉ中の時間位置シーケンスと、前記構造情報取得手段から得られる構造情報Ｘ中の時間位置シーケンスから、両者の開始時間位置のずれ（オフセット）の候補値集合｛Ｏ｝を算出するオフセット算出手段と、
   前記オフセット算出手段から得られる前記各オフセットＯｊを、前記構造情報Ｘの各シーケンス項目に加算することで、開始時間位置ずれを考慮した修正構造情報Ｘｊを生成する修正構造情報生成手段と、
   前記修正構造情報生成手段から得られる前記各修正構造情報Ｘｊと、前記構造情報データベースから得られている前記構造情報Ｙｉを各々シーケンス照合することにより、両シーケンス照合区間における一致項目数Ｍｉｊ及び不一致項目数Ｕｉｊを各々算出する修正構造情報照合手段と、を有し、
   前記修正構造情報照合手段から得られる前記一致項目数Ｍｉｊ及び前記不一致項目数Ｕｉｊにより前記構造情報Ｙｉに対する修正構造情報Ｘｊの類似性を判定し、最も類似している最類似修正構造情報Ｘｊに対応する一致項目数及び不一致項目数を、その結果の項目数Ｍｉ，Ｕｉとして出力する最適照合判定手段と、を有する請求項１記載のデータ識別装置。
3. 前記構造情報照合手段は、
   入力される前記構造情報Ｘ，Ｙにおいて、照合する可能性のある各時間区間を算出するシーケンス照合区間算出手段と、
   前記シーケンス照合区間算出手段から得られる前記時間区間内で、前記構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での一致項目数の時間変化を計測する一致項目数遷移計測手段と、
   前記シーケンス照合区間算出手段から得られる前記時間区間内で、前記構造情報Ｘ，Ｙを時間順に比較することで得られる、シーケンス間での不一致項目数の時間変化を計測する不一致項目数遷移計測手段と、
   前記一致項目数遷移計測手段と前記不一致項目数遷移計測手段により得られる一致項目数の時間変化及び不一致項目数の時間変化から、前記構造情報Ｘ，Ｙ中で照合していると考えられる部分シーケンスの開始・終了時間を判定する最適部分シーケンス判定手段と、
   前記最適部分シーケンス判定手段から得られる前記開始時間・前記終了時間の範囲内における一致項目数及び不一致項目数を算出する一致・不一致項目数算出手段と、を有する請求項２記載のデータ識別装置。
4. 請求項１乃至３のいずれか１項に記載のデータ識別装置を構成する各手段としてコンピュータを機能させるデータ識別プログラム。
5. 請求項４記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images