JPWO2002035390A1 - 動画像コンテンツ検索情報管理装置 - Google Patents

Abstract

動画像コンテンツを検索するための木構造を有した検索情報（１５）を管理するために検索情報管理装置（１）では、検索情報解析部（１０１）は、検索情報を、動画像コンテンツの構造を表わす１つ以上の構造的検索情報要素（１５２）と、動画像コンテンツの意味内容における特徴を表わす１つ以上の意味的検索情報要素（１５３）と、動画像コンテンツの信号上の物理的な特徴を表わす１つ以上の信号的検索情報要素（１５４）とに分離して出力する。単位検索情報形成部（１０２〜１０４）は、検索情報解析部（１０１）から出力された構造的検索情報要素、意味的検索情報要素および信号的検索情報要素の少なくとも１つをまとめて小単位の検索情報（１５２Ａ、１５３Ａ、１５４Ａ）を形成する。したがって、動画像コンテンツの構造情報のみを検索に先だって予め伝送しておき、検索時には検索者が必要とする特定の検索情報に対応する単位検索情報を必要に応じて伝送することにより、伝送すべき検索情報の量を少なくできる。

Description

技術分野
この発明は、動画像コンテンツを検索するための木構造を有した情報（以下、検索情報という）を管理する装置および方法、ならびに検索装置に関し、特に、検索情報の効率的な記憶または伝送を可能とする検索情報の管理装置および方法ならびに検索情報を用いて検索処理を実行する検索装置に関する。
背景技術
動画像コンテンツは、動画像コンテンツ内のあらゆる時間的あるいは空間（画面）的な箇所が検索の対象となり得る。このため、厳密に検索を実行するためには、動画像コンテンツ全体を再生して細部まで確認する必要がある。しかしながら、そのような検索方法はおよそ効率的ではなく、検索対象となる動画像コンテンツの数が増えるとさらに現実的でない。
このような場合に、ユーザが所望の動画像コンテンツを、あるいは動画像コンテンツ内の所望の箇所を素早く、かつ効率的に探し出すための方法として、動画像コンテンツに対応して付加される検索情報（検索情報は検索用メタデータとも呼ばれる）を用意し、検索情報に基づいて検索を実行して、所望の動画像コンテンツを、あるいは動画像コンテンツ内の所望の箇所を得る方法が種々提案されている。
図１３には一般的な動画像コンテンツの構造が模式化して示される。このような構造は、特開平１０−１０８０７１号公報や特開平１０−２５７４３６号公報などでも開示されており、広く知られたものである。
図１３に示すように、１つの動画像全体は、時間的にいくつかのシーンに分割される。ここでいうシーンとは、主に意味的なまとまりからなる時間的な区切りを指し、映画の第１部、第２部のような大きい区切りから、「ＡとＢが喧嘩をする」シーンといったごく小さな区切りまでを含む。このため、実際の動画像全体からシーシへの分割は、図１３に示したような１段階の分割に限るものではなく、複数の階層にわたって次第に細分化されるものである。
１つのシーンはさらに、時間的にいくつかのショット（あるいはさらに細かいシーン）に分割される。ここでいうショットとは、１回の動作で撮影された連続する複数のフレーム画像から構成される時間的な一区切りであり、動画像中においては２つの編集点（カット点）で挟まれた区切りを指す。
ショットは一種のシーンでありショットをさらに細かいショット（サブショット）に分割することも可能である。図示されないが、ショットは最終的に１つ１つのフレーム画像にまで分割することが可能である。
このように、動画像コンテンツは、全体から細かい部分、さらに細かい部分へと細分化されていく階層的な構造を有する。そして、各階層ごとに対応した検索情報が付加される。
図１４には図１３の動画像コンテンツに対する検索情報が示される。動画像コンテンツの検索情報は、図１４に示すような木構造で表わされる。ここで、動画像コンテンツの検索情報は、構造的検索情報、意味的検索情報および信号的検索情報を含む。
構造的検索情報とは、図１３で示した動画像コンテンツの階層構造を表わすための情報である。構造的検索情報には木構造を表わす、すなわち動画像全体における各シーンあるいはショット相互の関係を表わすための構造化情報と、分割して得られたシーンあるいはショットそれぞれの属性を表わす構造属性情報とが含まれる。
図１４の木では、根Ｒが動画像全体を表わし、各節ＮＤが分割により得られた各シーンあるいは各ショットをあらわす。木の根Ｒあるいは各節ＮＤに付されるノードＩＤや各階層の情報などが構造化情報に当り、シーンあるいはショットそれぞれに付される開始時刻、終了時刻情報などが構造属性情報に当る。
意味的検索情報とは、動画像コンテンツの意味内容上における特徴に基づいて規定される検索情報である。たとえば、動画像コンテンツ全体に対するタイトル、製作者の情報、シーンに対する情景描写の情報などが意味的検索情報に当る。
信号的検索情報とは、動画像コンテンツの信号上の物理的な特徴に基づいて規定される検索情報である。たとえば、各ショット（あるいはその代表フレーム画像）に対する色頻度情報、動き強度情報などが信号的検索情報に当る。意味的検索情報ならびに信号的検索情報は対応する各節ＮＤに連結された葉ＲＦとして与えられる。
図１５には図１４に示された木構造からなる検索情報を記録する際の記録形式が示される。図１５に示されるように、図１４の木構造からなる検索情報は、木の根Ｒおよび節ＮＤを、階層の浅い方から深い方へ（根Ｒから節ＮＤの方向へ）、また左から右へ（時間的に前から後へ）向かって、深さ優先順（節ＮＤのさらに下位に辿る節ＮＤがなくなった時点で右隣の節ＮＤへ移動）に辿っていき、根Ｒあるいは節ＮＤに付されている葉ＲＦである検索情報が順番に記録される。
図１３〜図１５では、最上位層（木の根Ｒ）を１つの動画像コンテンツ全体としているが、これは１つの動画像コンテンツに限らず、複数の動画像コンテンツの集合として考えることが可能である。たとえば、最上位層を１つのチャンネルで１日に放送される映像番組全体とする。１つのチャンネルで１日に放送される映像番組全体は、次の階層で１つ１つの番組に、すなわち１つ１つの動画像コンテンツに分割される。動画像コンテンツそれぞれは複数のシーンに分割され、複数シーンのそれぞれは複数のショットへと分割される。
木構造を有する検索情報によれば対応の動画像コンテンツの持つ時間的な構造は、各種の検索情報と結び付けてユーザに理解しやすい形式で提供することができる。このようなことから、検索情報は、該検索情報に基づいてユーザが視認を行ないながら対応の動画像コンテンツを編集する、あるいは検索情報そのものを編集するなどの作業に非常に適している。ただし、動画像コンテンツのサイズが大きくなると対応の検索情報を表わす木のサイズも膨大なものとなる。
動画像コンテンツおよび検索情報がサーバ装置に蓄積され、ユーザがクライアント端末からサーバ装置にアクセスし検索情報を取得してクライアント端末において検索を実行するといった実行モデルを想定する。この場合に、クライアント端末においてサーバ装置から膨大な検索情報をすべて取得してからでなければユーザはクライアント端末を操作して検索を実行することができないといった状況は好ましくない。すなわち、木構造を有する検索情報は、適当な複数の小単位の検索情報に分割されて、クライアント端末に送信されると、クライアント端末においては受信された小単位の検索情報によってもユーザがある程度の検索が実行可能であることが望まれる。
従来の木構造を有する検索情報を、シーンあるいはショットといった時間的区切りに従い分割することで、図１６Ａ〜図１６Ｄに示すような小単位の検索情報１１〜１４を含む複数の小単位の検索情報を構成することが可能である。小単位の検索情報１１〜１４は、検索情報を図１７に示されるように木の最下端の節ＮＤそれぞれを起点とした節ＮＤとその葉ＲＦの集合、またはその節ＮＤを含めた上位の節ＮＤとその葉ＲＦからなる集合を単位として分割することにより得られる。
時間的な区切りに従う分割により得られる小単位の検索情報は、対応の動画像コンテンツの時間的な構造の情報をそのまま保持しているため、動画像コンテンツと同期させて伝送し、オンラインで動画像コンテンツを検索情報に基づいてフィルタリングするような利用に適している。
特開平８−１１０９１２号公報に開示のように、木構造を有する検索情報を、木構造と、木構造中の節ＮＤそれぞれの属性情報を表わした付属情報のテーブルとに分割して蓄積する形態もよく知られている。この場合に、分割可能な単位は木構造と付属情報テーブルの２つであるが、付属情報テーブルは独立して扱うことはできず、また上述のような時間的な区切りに従い分割することはできない。
本明細書では、分割により得られた上述のような小単位の検索情報を「単位検索情報」と呼ぶ。また、構造的検索情報における節ＮＤを一意に特定するためのノードＩＤ情報などを構造的検索情報の「検索情報要素」と呼び（または、構造的検索情報要素と呼び）、意味的検索情報における行動描写情報などを意味的検索情報の「検索情報要素」と呼び（または、意味的検索情報要素と呼び）、信号的検索情報における色頻度情報および動き強度情報などのそれぞれを信号的検索情報の「検索情報要素」と呼ぶ（または、信号的検索情報要素と呼ぶ）。
従来の木構造を有する検索情報を分割して得られる小単位の検索情報は時間的な区切りに対応した、すなわちシーンやショットといった動画像コンテンツの構造単位に対応した単位検索情報である。
しかしながら、このような単位検索情報内では、構造的検索情報、意味的検索情報および信号的検索情報それぞれについての検索情報要素が入り組んでいる。たとえば動画像の構造的検索情報だけを知りたい（動画像がどのようにシーン、ショットに分割されるかを知りたい）という要求がある。また、ショットごとの色頻度情報に基づく検索を行なうために各ショットの色頻度情報だけが欲しい、あるいはショットごとの動き強度情報に基づく検索を行なうために動き強度情報だけが欲しいといった要求がある。従来は、構造的検索情報、意味的検索情報および信号的検索情報それぞれについての検索情報要素が入り組んでいる単位検索情報を得て、これを検索者が分解して利用することで、これらの要求を処理するしかなかった。
検索を実行する側から見た場合、動画像の構成要素である複数のショットあるいは複数のシーンに対して、ショットのそれぞれにあるいはシーンのそれぞれに付加された同種の検索情報要素（色頻度情報という種類や動き強度情報という種類など）をまとめて入手し、それらを比較、照合することによって検索を実行するのが効率的である。たとえば、信号的検索情報要素のうちの色頻度情報について、ショットそれぞれに付加された色頻度情報の中から所望に合致するものを検出することでショット検索は行なわれる。
特開平８−１１０９１２号公報には、検索情報から木構造のみを分離して扱うことの一端が示唆されているけれども、他の付属情報を独立して扱うこと、および上述したような検索情報の細かな種別に基づく分割、管理を行なうことは示唆されていない。
構造的検索情報および信号的検索情報それぞれの検索情報要素は、一般に固定の形式で与えられるものである。これに対して、意味的検索情報の検索情報要素は、行動描写のデータなどのように長さが不定のフリーテキストデータなどを含むことが多い。
このため複数の検索情報要素が入り組んだ検索情報では、長さ固定の構造的検索情報および信号的検索情報それぞれの検索情報要素を抜出す場合であっても、構造的検索情報、信号的検索情報および意味的検索情報のそれぞれを解析する必要があり、検索者の負担が大きかった。
これに対して、たとえば信号的検索情報要素のみを集めて得られた検索情報であれば、固定長さ分のデータ読み飛ばしなどによって容易に検索情報を扱うことが可能である。
時間的構造に従う形式で構造的検索情報、意味的検索情報および信号的検索情報が入り組んだ検索情報が得られる検索の形態よりも、構造的検索情報を得て動画像の全体の構造を把握しつつ、必要に応じて信号的検索情報あるいは意味的検索情報を追加しながら検索を進めていく検索の形態は非常に自然である。後者の検索形態に対して従来の検索情報の分割方式では適当でなかった。
従来の木構造を有する検索情報を分割して得られた単位検索情報は、対応の動画像コンテンツの時間的な構造の情報をそのまま保持しているので、動画像コンテンツと並行して検索情報を伝送し、オンライン検索でフィルタリングするなどの検索形態に適している。しかしながら、オフライン検索で大量データの動画像コンテンツを検索するような場合では、たとえば動画像コンテンツ全体に付加されている色頻度情報などの特定の検索情報のみを用いて所望のショットを検索する場合であっても、すべての検索情報を読込み、解析して必要な特定の検索情報のみを抜出す必要があり、無駄な処理が多かった。
オフライン検索に対しては、複数のショットなどのように複数の動画像構成要素に付加されている同種の検索情報だけを入手し、それらを比較、照合することによって検索を実行するのが自然である。たとえば、サーバ装置は信号的検索情報要素のうちの色頻度情報について、複数のショットそれぞれに付加された色頻度情報のみを抜出してクライアント端末に送信し、クライアント端末では、この色頻度情報を受信して、ユーザは受信した色頻度情報に基づいて所望するショットを検出して、対応するショットのデータのみをサーバ装置に要求する。
以上のとおり、動画像コンテンツの検索情報の分割形式は、検索の形態に応じて切換えるべきであるが、従来はこのようなことが考慮されていなかった。
発明の開示
本発明の目的は、動画像コンテンツに付された木構造を有する検索情報の効率的な利用を可能ならしめる検索情報の管理装置および検索情報の管理方法、ならびに効率的な検索処理を実行できる検索装置を提供することである。
この発明のある局面に係る検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために分離部と単位検索情報形成部を備える。
分離部は、検索情報を、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離して出力する。単位検索情報形成部は、分離部から出力された構造的検索情報、意味的検索情報および信号的検索情報のそれぞれからなる小単位の検索情報の少なくとも１つを形成する。
したがって、動画像コンテンツの構造情報のみを検索に先だって予め伝送しておき、検索時には検索者が必要とする特定の検索情報に対応する単位検索情報を必要に応じて伝送することにより、検索情報の伝送量を抑えることができる。
この発明の他の局面に係る検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、分離部と単位検索情報形成部とを備える。
分離部は、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を分離して検索情報から抜出す。単位検索情報形成部は、分離部により抜出された１または複数の検索情報要素のそれぞれを所定の形式に従い配列することで小単位の検索情報を形成する。
したがって、形成された小単位の検索情報においては、そこに含まれる検索情報の要素同士を相互に特定しやすいから、動画像コンテンツの検索実行時での該小単位の検索情報の利用を容易とすることが可能である。
上述の検索情報管理装置では分離部により抜出された１または複数の検索情報要素は、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報に対応してもよい。
したがって、小単位の検索情報として信号的検索情報を用いるとしたので、たとえば色頻度情報のみによる動画像コンテンツの検索を行なうような場合に、対応する色頻度情報のみを伝送または検索に使用することが可能となって、信号的検索情報のみを用いた効率的な検索を実現することができる。
上述の検索情報管理装置では、分離部により抜出された１または複数の検索情報要素は、動画像コンテンツの意味内容における特徴を表わす意味的検索情報に対応してもよい。
したがって、小単位の検索情報として意味的検索情報を用いるとしたので、たとえばシーンそれぞれの登場人物のみによる動画像コンテンツの検索を行なうような場合に、対応する登場人物情報のみを伝送または検索に使用することが可能となって、意味的検索情報のみを用いた効率的な検索を実現することができる。
上述の検索情報管理装置では、所定の形式は、分離部により抜出された１または複数の検索情報要素を、木構造中の出現順序に従って配列することを示してもよい。
したがって、小単位の検索情報を構成する同種の検索情報要素を、木構造中の出現順序に従って配列することとしたので、検索情報要素それぞれの前後関係を示すための情報を省略することが可能となり、より信号量の少ない小単位の検索情報を構成し、動画像コンテンツの検索に利用することができる。
また、検索情報要素が木構造中の出現順序に従って配列されることにより、動画像を構成する時間的に連続したシーンと各検索情報要素とを容易に対応付けることができる。そのため、構造が簡単な動画像コンテンツでは、構造情報を取得することなく、意味的検索情報または信号的検索情報の検索情報要素からなる小単位の検索情報のみで動画像コンテンツの検索を行なうことができる。
上述の検索情報管理装置においては、小単位の検索情報は、分離部により抜出された１または複数の検索情報要素に共通する種別情報または共通する木構造中の位置情報を含む付加情報を、分離部により抜出された１または複数の検索情報要素の配列に加えて形成されるとしてもよい。
このように、同種の検索情報要素に共通する種別情報（検索情報要素が色頻度なのか、登場人物情報なのかといった種別情報）や、検索情報要素が木構造のどの階層に接続されていたかを示す位置情報は検索情報要素の配列に付加される。それゆえに、小単位の検索情報が何の検索情報要素を含んでいるかを種別情報に基づいて容易に知ることができ、また、複数の階層を有する木構造のどの階層に対応する検索情報要素を含んでいるかを位置情報に基づいて速やかに知ることができる。
上述の検索情報管理装置では、小単位の検索情報は、分離部により抜出された１または複数の検索情報要素のそれぞれに関する木構造中の位置情報を含む付加情報を、分離部により抜出された１または複数の検索情報要素の配列に加えて形成されるとしてもよい。
このように同種の検索情報要素に関する付加情報は検索情報要素のそれぞれに対応させて配列中に配される、言いかえると検索情報要素それぞれについて木構造のどの節に接続されていたかを示す情報などが付加される。それゆえに、複数の階層を有する木構造中の複数の階層にわたる同種の検索情報要素を同一の小単位検索情報に含めることが可能となり、動画像コンテンツの検索の自由度を高くすることができる。
この発明のさらなる他の局面に係る検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報から小単位の検索情報を形成して管理するために、記録位置情報抽出部と単位検索情報形成部とを備える。
記録位置情報抽出部は、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報を抽出する。単位検索情報形成部は、１または複数の検索情報要素のそれぞれに対応する記録位置情報抽出部により抽出された記録位置情報を所定の形式に従い配列することで小単位の検索情報を形成する。
したがって、動画像コンテンツに対応する木構造を有した検索情報から形成される小単位検索情報においては、小単位検索情報中の記録位置情報で指し示される検索情報要素同士を相互に特定しやすく、検索実行時での該小単位検索情報の利用を容易とすることが可能である。検索情報要素自体を伝送しなくても利用者は必要な検索情報要素を特定することができるとともに、必要とされる検索情報要素のみを検索の都度伝送することによって効率的な検索が可能である。
上述の検索情報管理装置では、１または複数の検索情報要素は、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報に対応してもよい。
したがって、記録位置情報に対応する検索情報要素として動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報を用いるとしたので、たとえば色頻度情報のみによる検索を行なうような場合に、対応する色頻度情報のみを伝送または検索に使用することを可能とし、信号的検索情報のみを用いた効率的な検索を実現することができる。
上述の検索情報管理装置では、１または複数の検索情報要素は、動画像コンテンツの意味内容における特徴を表わす意味的検索情報に対応してもよい。
したがって、記録位置情報に対応する検索情報要素として動画像コンテンツの意味内容における特徴を表わす意味的検索情報を用いるとしたので、たとえばシーンそれぞれの登場人物のみによる検索を行なうような場合に、対応する登場人物情報のみを伝送または検索に使用することを可能とし、意味的検索情報のみを用いた効率的な検索を実現することができる。
上述の検索情報管理装置では、所定の形式は、記録位置情報のそれぞれを、対応する１または複数の検索情報要素それぞれの木構造中の出現順序に従って配列することを示してもよい。
したがって、小単位検索情報を構成する記録位置情報を対応する同種の検索情報要素の木構造中の出現順序に従って配列することとしたので、検索情報要素それぞれの前後関係を示すための情報を省略することが可能となり、より信号量の少ない小単位検索情報を構成し、検索に利用することができる。
また、記録位置情報が木構造中の出現順序に従って配列されることにより、動画像を構成する時間的に連続したシーンと各記録位置情報により示される検索情報要素とを容易に対応付けることができる。そのため、構造が簡単な動画像コンテンツでは、構造情報を取得することなく、意味的検索情報または信号的検索情報の検索情報要素それぞれの記録位置情報からなる小単位の検索情報を取得し、記録位置情報により示される意味的検索情報または信号的検索情報の検索情報要素のみで動画像コンテンツの検索を行なうことができる。
上述の検索情報管理装置では、小単位の検索情報は、１または複数の検索情報要素に共通する種別情報または共通する木構造中の位置情報を含む付加情報を、１または複数の検索情報要素と対応する記録位置情報の配列に加えて形成されるとしてもよい。
したがって、検索情報要素が色頻度情報なのか登場人物情報なのかといった種別情報および検索情報要素が木構造のどの階層に接続されていたかを示す位置情報などが付加されるので、小単位検索情報中の記録位置情報が何の検索情報要素を指し示すかを容易に知ることができ、該記録位置情報で指し示される検索情報要素は、複数の階層を有する木構造のどの階層に対応するものであるかを速やかに知ることができる。
上述の検索情報管理装置では、小単位の検索情報は、さらに、１または複数の検索情報要素のそれぞれについての木構造中の位置情報を含む付加情報を、１または複数の検索情報要素と対応する記録位置情報の配列に加えて形成されるとしてもよい。
したがって、同種の検索情報要素に関する付加情報は、該検索情報要素に対応する記録位置情報に対応させて配列中に配されて、かつ対応の検索情報要素が木構造のどの節に接続されていたかを示す位置情報を示すので、複数の階層を有する木構造中の複数の階層にわたる同種の検索情報要素に対応する記録位置情報を同一の小単位検索情報に含めることが可能となり、検索の自由度を高くすることができる。
この発明のさらなる他の局面に係る検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、第１および第２の検索情報分割部と、分割選択部とを備える。
第１の検索情報分割部は、検索情報を、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離し、分離された構造的検索情報、意味的検索情報および信号的検索情報のそれぞれから小単位の検索情報を形成する。第２の検索情報分割部は、検索情報を、木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する。分割選択部は、所望される検索の形態に従って、検索情報を、第１の検索情報分割部で分割するか、第２の検索情報分割部で分割するかを選択する。
したがって、動画像コンテンツに対応する木構造を有した検索情報を小単位検索情報それぞれに分割して管理する際には、構造的検索情報、意味的検索情報および信号的検索情報それぞれから形成される検索情報の種別に注目した小単位検索情報、および時間的な区切りで検索情報を分割した後のそれぞれの情報からなる小単位検索情報のいずれかを所望される検索の形態に従い選択的に形成することを可能としたので、オンライン検索、オフライン検索などのような動画像コンテンツの検索の形態によって最適な小単位検索情報を選ぶことが可能となり、効率のよい検索を実行することができる。
この発明のさらなる他の局面に係る検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために第１および第２の検索情報分割部と、分割選択部とを備える。
第１の検索情報分割部は、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を分離して検索情報から抜出し、１または複数の検索情報要素のそれぞれを所定の形式に配列することで小単位の検索情報を形成する。第２の検索情報分割部は、検索情報を木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する。分割選択部は、所望する検索の形態に従って、検索情報を、第１の検索情報分割部で分割するか、第２の検索情報分割部で分割するかを選択する。
したがって、動画像コンテンツに対応する木構造を有した検索情報を小単位検索情報に分割して管理する際には、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素それぞれを所定の形式に配列してなる検索情報要素の種別に注目した小単位検索情報および、時間的な区切りで分割された検索情報のそれぞれからなる小単位検索情報のいずれかが、所望する検索の形態に従って形成される。それゆえに、オンライン検索、オフライン検索などのような動画像コンテンツの検索の形態によって最適な小単位検索情報を選択的に形成することが可能となり、効率のよい検索を実行することができる。
この発明のさらなる他の局面に係る検索情報管理方法は動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、分離ステップと単位検索情報形成ステップとを有する。
分離ステップでは、検索情報は、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的特徴を表わす信号的検索情報とに分離される。単位検索情報形成ステップでは、分離ステップにより分離して得られた構造的検索情報、意味的検索情報および信号的検索情報のそれぞれからなる小単位の検索情報の少なくとも１つが形成される。
したがって、動画像コンテンツの構造情報のみを検索に先だって予め伝送しておき、検索時には検索者が必要とする構造的検索情報、意味的検索情報または信号的検索情報のそれぞれからなる単位検索情報が伝送されることにより、伝送すべき検索情報の量を少なくできる。
この発明のさらなる他の局面に係る検索情報管理方法は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために分離ステップと単位検索情報形成ステップとを有する。分離ステップでは、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素は分離されて検索情報から抜出される。単位検索情報形成ステップでは、分離ステップにより抜出された１または複数の検索情報要素を所定の形式に配列することで小単位の検索情報が形成される。
したがって、形成された小単位検索情報に含まれる検索情報要素同士を相互に特定しやすく、動画像コンテンツの検索実行時での検索情報の利用を容易とすることが可能である。
この発明のさらなる他の局面に係る検索情報管理方法は、動画像コンテンツに対応する木構造を有した検索情報から小単位の検索情報を形成して管理するために、記録位置情報抽出ステップと単位検索情報形成ステップとを有する。
記録位置情報抽出ステップでは、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示す記録位置情報が抽出される。単位検索情報形成ステップでは、記録位置情報抽出ステップにより抽出された１または複数の検索情報要素のそれぞれに対応する記録位置情報は所定の形式に配列されることで小単位の検索情報が形成される。
したがって、検索情報から小単位検索情報を形成して管理する際には、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、その記録位置情報を抽出して所定の形式に配列することで小単位検索情報が形成される。それゆえに、小単位検索情報中の記録位置情報で指し示される検索情報要素同士を相互に特定しやすく、検索実行時での検索情報の利用を容易とすることが可能である。小単位検索情報によれば検索情報要素自体を伝送しなくても利用者は必要な検索情報要素を特定することができ、また必要な検索情報要素のみを検索の都度伝送することによって動画像コンテンツの効率的な検索が可能である。
この発明のさらなる他の局面に係る検索情報管理方法は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、第１および第２の検索情報分割ステップと、分割選択ステップとを備える。
第１の検索情報分割ステップでは、検索情報は、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離されて、分離された構造的検索情報、意味的検索情報および信号的検索情報のそれぞれから小単位の検索情報が形成される。第２の検索情報分割ステップでは、検索情報は木構造に基づく時間的な区切りに従って分割されて、分割後の検索情報のそれぞれから小単位の検索情報が形成される。分割選択ステップでは、所望する検索の形態に従って、検索情報を第１の検索情報分割ステップで分割するか、第２の検索情報分割ステップで分割するかが選択される。
したがって、動画像コンテンツに対応する木構造を有した検索情報を小単位検索情報に分割して管理する際には、分割して得られる小単位検索情報の形式は所望の検索の形態に従って選択されるから、オンライン検索、オフライン検索などの検索の形態によって最適な小単位検索情報を選ぶことが可能となり、効率のよい検索を実行することができる。
この発明のさらなる他の局面に係る検索情報管理方法は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理する方法であって、第１の形成ステップと、第２の形成ステップと、選択ステップとを有する。
第１の形成ステップでは、１または複数の部分木により与えられる、１または複数の検索情報要素を検索情報から分離して抜出し、１または複数の検索情報要素を所定の形式に従い配列することで小単位の検索情報を形成する。上述の部分木は、検索情報に含まれる同種の要素であって、木構造中の葉あるいは木構造中の節およびこの節以下に連結された葉または節の任意の集合からなる。
第２の形成ステップでは、検索情報を木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する。
選択ステップでは、所望する検索の形態に従って、小単位の検索情報を、第１の形成ステップおよび第２の形成ステップのいずれで形成するかを選択する。
したがって、動画像コンテンツに対応する木構造を有した検索情報を小単位検索情報に分割して管理する際には、上述した１または複数の部分木により与えられる、１または複数の検索情報要素それぞれを所定の形式に配列してなる検索情報要素の種別に注目した小単位検索情報および、時間的な区切りで分割された検索情報のそれぞれからなる小単位検索情報のいずれかが、所望する検索の形態に従って形成される。それゆえに、オンライン検索、オフライン検索などのような動画像コンテンツの検索の形態によって最適な小単位検索情報を選択的に形成することが可能となり、効率のよい検索を実行することができる。
この発明のさらなる他の局面に係る検索装置は、動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報に基づいて検索を実行するために、以下の特徴を有する。小単位の検索情報は、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報のそれぞれから形成された小単位の検索情報の少なくとも１つであり、保持部と検索実行部とを備える。保持部は小単位の検索情報を保持する。検索実行部は保持部で保持されている小単位の検索情報を用いて動画像コンテンツの検索を実行する。
したがって、検索に用いられる小単位検索情報は、動画像コンテンツの構造を表わす構造的検索情報、動画像コンテンツの意味内容における特徴を表わす意味的検索情報および動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報のそれぞれから形成されているから、動画像コンテンツの構造を示す情報のみによる検索や、検索者が必要とする特定の検索情報に対応する小単位検索情報を利用した検索が実行できて、検索を効率よく行なうことができる。
この発明のさらなる他の局面に係る検索装置は、動画像コンテンツに対応する木構造を有した検索情報を分割した小単位の検索情報に基づいて検索を実行するために保持部と検索実行部とを有して、小単位検索情報は、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を分離して検索情報から抜出し、所定形式に配列することで形成されている。保持部は、小単位の検索情報を保持し、検索実行部は、保持部により保持される小単位の検索情報を用いて動画像コンテンツの検索を実行する。
したがって、検索においては、小単位検索情報を形成している検索情報要素同士を相互に特定しやすく、効率よく検索を行なうことができる。
この発明のさらなる他の局面に係る動画像コンテンツに対応する木構造を有した検索情報から形成した小単位の検索情報に基づいて検索を実行する検索装置は、第１および第２の保持部と検索実行部とを備える。第１の保持部は小単位の検索情報を保持する。第２の保持部は小単位の検索情報を用いて得られる１または複数の検索情報要素を保持する。検索実行部は、小単位の検索情報ならびに１または複数の検索情報要素を用いて動画像コンテンツの検索を実行する。小単位の検索情報は、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報を所定の形式に配列することで形成されている。
したがって、検索情報に含まれる同種の要素であって、木構造中の１または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、それが記録されている記録位置情報を所定の形式に配列することで形成された小単位検索情報を用いて検索を実行するので、小単位検索情報中の記録位置情報で指し示される検索情報要素同士を相互に特定しやすく、また、状況に応じて必要最小限の検索情報のみを検索の都度取得することで、効率的な検索を行なうことができる。
発明を実施するための最良の形態
この発明の各実施の形態を図面を参照し説明する。
（第１の実施の形態）
図１には、本実施の形態の検索情報管理装置１の機能構成が示される。図１において検索情報管理装置１は検索情報解析部１０１、構造的単位検索情報形成部１０２、意味的単位検索情報形成部１０３、信号的単位検索情報形成部１０４および単位検索情報制御部１０５を含む。検索情報解析部１０１は、動画像コンテンツに対応した木構造を有する検索情報１５を入力し、入力した検索情報１５を構造的検索情報の１つ以上の検索情報要素１５２、意味的検索情報の１つ以上の検索情報要素１５３および信号的検索情報の１つ以上の検索情報要素１５４に分離し選別して出力する。検索情報解析部１０１から出力された検索情報要素１５２〜１５４のそれぞれは対応する単位検索情報形成部１０２〜１０４のそれぞれへと与えられる。
構造的単位検索情報形成部１０２は、検索情報解析部１０１から出力された構造的検索情報の１つ以上の検索情報要素１５２を受取り、受取った検索情報要素１５２を配列して構造的検索情報の単位検索情報１５２Ａを形成して出力する。構造的検索情報の単位検索情報１５２Ａからは、対応の動画像コンテンツの構造情報を知ることができる。
図２には本実施の形態で用いる木構造を有する検索情報が示される。説明の簡便のために、この検索情報１５では、構造的検索情報要素１５２はシーンそれぞれおよびショットそれぞれのノードＩＤ情報および時刻情報のみからなり、意味的検索情報要素１５３はシーンそれぞれの情景描写情報、ならびにショットそれぞれの登場人物情報および行動描写情報のみからなり、信号的検索情報要素１５４はシーンそれぞれの代表色情報ならびにショットそれぞれの色頻度情報および動き強度情報のみからなるものとしている。なお、実際の検索情報１５は、この他にも多種の検索情報要素を有するが、本発明はそれらの多種の検索情報要素それぞれにも同様に適用できる。
図３には、図２の木構造を有した検索情報１５から構造的検索情報要素１５２を抜出して形成された単位検索情報１５２Ａが示される。
意味的単位検索情報形成部１０３は、検索情報解析部１０１から与えられる意味的検索情報の１つ以上の検索情報要素１５３を受取り、それらを配列して意味的検索情報の１つ以上の単位検索情報１５３Ａを形成して出力する。
図４には、図１の意味的単位検索情報形成部１０３の内部構成が示される。図４において意味的単位検索情報形成部１０３は要素種別判定部２０１、検索情報配列部２０２および共通情報抽出部２０３を有する。ここでは、検索情報１５の木構造中の同種の節ＮＤ（あるいは根Ｒ）に接続された同種の検索情報要素１５３（葉ＲＦ）を、検索情報要素１５３の種別ごとに、それらの順序関係を保持しながら配列して単位検索情報１５３Ａを形成する。すなわち、要素種別判定部２０１は検索情報解析部１０１から与えられる意味的検索情報の検索情報要素１５３を受理すると、受理した検索情報要素１５３それぞれを、その種別（種別は登場人物情報、行動描写情報などのような異なる情報の種類を示す）を判定しながら検索情報配列部２０２および共通情報抽出部２０３に判定結果とともに出力すると、検索情報配列部２０２は要素種別判定部２０１から与えられる情報に基づいて種別ごとに検索情報要素１５３を配列して単位検索情報１５３Ａを形成する。このとき、検索情報配列部２０２により形成された種別ごとの単位検索情報１５３Ａそれぞれに含まれる検索情報要素１５３に共通する情報（たとえば検索情報要素１５３の種別を示す情報など）１５３Ｂは共通情報抽出部２０３で抽出されて、検索情報配列部２０２に与えられるので、検索情報配列部２０２は形成した単位検索情報１５３Ａの先頭に共通情報抽出部２０３から与えられた共通情報１５３Ｂを配置する。共通情報１５３Ｂとしてこの他に、意味的検索情報要素１５３のフォーマットやデータ長を示す情報なども使用することができ、共通情報１５３Ｂとして用いられる情報について特に制限はない。共通情報１５３Ｂを配置する位置についても、単位検索情報１５３Ａの先頭に限定されず、単位検索情報１５３Ａの最後尾に配置されてもよく、単位検索情報１５３Ａ内に配置されてもよく、あるいは共通情報１５３Ｂは別の記録場所に単位検索情報１５３Ａと該共通情報１５３Ｂの対応関係を示す情報とともに記録されるとしてもよい。共通情報１５３Ｂおよび共通情報抽出部２０３による処理は省略されてもよい。
図５Ａ〜図５Ｃは図２の木構造を有する検索情報１５から意味的検索情報要素１５３である情景描写情報、登場人物情報および行動描写情報を抜出して、抜出したこれら情報を共通情報１５３Ｂとともに配列して形成された単位検索情報１５３Ａを示す図である。
意味的単位検索情報形成部１０３では、構造的検索情報要素１５２の一部を受取って共通情報１５３Ｂを抽出することもできる。たとえば、“同じ階層”の節ＮＤそれぞれに接続された葉ＲＦに対応の行動描写情報（意味的検索情報要素１５３）を抜出して、抜出された行動描写情報を用いた単位検索情報１５３Ａを形成した場合、この“同じ階層”を示す階層情報を共通情報１５３Ｂとして用いることができる。このような節ＮＤの階層に関する共通情報１５３Ｂは、シーン（該シーンを表わす節ＮＤ）が複数の階層にわたって存在する場合に、単位検索情報１５３Ａがどの階層のシーンに対応するかを示すためのものである。
すなわち、この構造的検索情報要素１５２から得られる節ＮＤの階層情報に基づけば、単位検索情報１５３Ａを別々に形成することができる。この単位検索情報１５３Ａは、要素種別としては同一であるが付される節ＮＤの階層が互いに異なる意味的検索情報要素１５３同士を区別し、それぞれ同じ階層に付された意味的検索情報要素１５３のみからなる。
複数の階層に存在するシーンに付された複数の意味的検索情報要素１５３をまとめて単位検索情報１５３Ａとしたときに、共通情報１５３Ｂを抽出することが困難な場合には、意味的検索情報要素１５３ごとに必要な構造情報を抜出し、意味的検索情報要素１５３ごとの付加情報１５３Ｃとして付加し単位検索情報１５３Ａを形成してもよい。
図６Ａ〜図６Ｃには、構造情報１５３Ｃとして節ＮＤそれぞれのノードＩＤ情報が付加された単位検索情報１５３Ａが示される。付加できる構造情報１５３ＣはノードＩＤ情報を示すものに限らず、開始／終了時刻情報などのように、構造的検索情報と対応させることが可能な情報であればよい。また、１つの階層に注目してその節ＮＤの階層情報を単位検索情報１５３Ａに共通情報１５３Ｂとして付加し、その階層からの差分を示す情報（１つ上の階層または１つ下の階層を示す情報など）を意味的検索情報要素１５３ごとの付加情報１５３Ｃとして付加するとしてもよい。その際には差分のない意味的検索情報要素１５３では差分情報の付加を省略することとしてもよい。この他にも意味的検索情報要素１５３ごとに付加する情報１５３Ｃとして、そのシーンあるいはそのショットに該当する意味的検索情報要素１５３があるかないかを示したフラグであってもよいし、あるいは意味的検索情報要素１５３を使用する際の重要度などを示す情報であってもよく、意味的検索情報要素１５３ごとに付加される情報１５３ｄに特に制限はない。
信号的単位検索情報形成部１０４は、検索情報解析部１０１から信号的検索情報の１つ以上の検索情報要素１５４を受取り、受取った検索情報要素１５４を配列して信号的検索情報の１つ以上の単位検索情報１５４Ａを形成し出力する。信号的単位検索情報形成部１０４の内部構成も図４の構成と同様である。ここでは、検索情報１５の木構造中の同種の節ＮＤ（あるいは根Ｒ）に接続された同種の信号的検索情報要素１５４（葉ＲＦ）を、信号的検索情報要素１５４の種別ごとに、それらの順序関係を保持しながら配列することで１つ以上の単位検索情報１５４Ａを形成して出力する。すなわち、図４の要素種別判定部２０１は信号的検索情報要素１５４を受理すると受理した信号的検索情報要素１５４それぞれの種別（色頻度情報や動き強度情報などのような異なる情報の種別）を判定して、判定結果と信号的検索情報要素１５４を検索情報配列部２０２および共通情報抽出部２０３に出力する。検索情報配列部２０２は与えられた情報に基づいて種別ごとに信号的検索情報要素１５４を配列して１つ以上の単位検索情報１５４Ａを形成して出力する。このとき、共通情報抽出部２０３は、与えられた情報に基づいて、検索情報配列部２０２により形成された単位検索情報１５４Ａそれぞれに含まれる信号的検索情報要素１５４に共通する情報（たとえば信号的検索情報要素１５４の種別を示す情報など）１５４Ｂを信号的検索情報要素１５４から抽出し検索情報配列部２０２に与えるので、検索情報配列部２０２は共通情報抽出部２０３から与えられた共通情報１５４Ｂを単位検索情報１５４Ａの先頭に配置する。共通情報１５４Ｂとしてこの他、信号的検索情報要素１５４のデータフォーマット、色頻度情報のサンプル数やデータ長なども使用することができ、共通情報１５４Ｂとして用いられる情報に特に制限はない。共通情報１５４Ｂを配置する位置についても特に制限はない。たとえば、共通情報１５４Ｂは単位検索情報１５４Ａの最後尾に配置されてもよく、単位検索情報１５４Ａ内に配置されてもよい。共通情報１５４Ｂを別の記録場所に該共通情報１５４Ｂと単位検索情報１５４Ａとの対応関係を示す情報とともに記録するとしてもよい。共通情報１５４Ｂおよび共通情報抽出部２０３による処理は省略されてもよい。
図７Ａ〜図７Ｃは単位検索情報１５４Ａを示す図である。図７Ａ〜Ｃの単位検索情報１５４Ａは、図２の木構造を有する検索情報１５から信号的検索情報要素１５４である代表色情報、色頻度情報および動き強度情報を抜出して、抜出されたこれら情報を共通情報１５４Ｂとともに配列して形成されたものである。信号的単位検索情報形成部１０４ではまた構造的検索情報要素１５２の一部を受取って共通情報１５４Ｂを抽出することもできる。たとえぱ、“同じ階層”の１つ以上の節ＮＤに接続された葉ＲＦに対応の色頻度情報（信号的検索情報要素１５４）を抜出して、抜出された色頻度情報を用いて単位検索情報１５４Ａを形成した場合、この“同じ階層”を示す階層情報を共通情報１５４Ｂとして用いることができる。このような節ＮＤの階層に関する共通情報１５４Ｂは、シーン（該シーンを表わす節ＮＤ）が複数の階層にわたって存在する場合に、単位検索情報１５４Ａがどの階層のシーンに対応するかを示すためのものである。
すなわち、この構造的検索情報要素１５２から得られる節ＮＤの階層情報に基づけば、単位検索情報１５４Ａを別々に形成することができる。この単位検索情報１５４Ａは、要素種別としては同一であるが付される節ＮＤの階層が互いに異なる信号的検索情報要素１５４同士を区別し、それぞれ同じ階層に付された信号的検索情報要素１５４のみからなる。
複数の階層に存在するシーンに付された１つ以上の信号的検索情報要素１５４をまとめて単位検索情報１５４Ａを形成したとき、共通情報１５４Ｂを抽出することが困難な場合には、検索情報要素１５４ごとに必要な構造情報を抜出し、信号的検索情報要素１５４ごとの付加情報１５４Ｃとして付加し単位検索情報１５４Ａを形成するようにしてもよい。
図８Ａ〜図８Ｃには構造情報１５４Ｃとして節ＮＤそれぞれのノードＩＤ情報が付加された単位検索情報１５４Ａが示される。付加できる構造情報１５４ＣはノードＩＤ情報に限定されず、開始／終了時刻情報などのように構造的検索情報と対応させることが可能な情報であればよい。１つの階層に注目してその節ＮＤの階層情報を共通情報１５４Ｂとして単位検索情報１５４Ａに付加し、その階層からの差分を示す情報（１つ上の階層または１つ下の階層を示す情報など）を信号的検索情報要素１５４ごとの付加情報１５４Ｃとして付加するとしてもよい。その際に差分なしの信号的検索情報要素１５４では差分情報の付加を省略してもよい。
この他にも、信号的検索情報要素１５４ごとの付加情報１５４Ｃとして、そのシーンあるいはショットに該当する信号的検索情報要素１５４があるか否かを示したフラグであってもよいし、信号的検索情報要素１５４を使用する際の重要度を示す情報であってもよく、信号的検索情報要素１５４ごとの付加情報１５４Ｃに特に制限はない。
構造的単位検索情報形成部１０２、意味的単位検索情報形成部１０３および信号的単位検索情報形成部１０４で生成された構造的検索情報、意味的検索情報および信号的検索情報それぞれの単位検索情報１５２Ａ、１５３Ａおよび１５４Ａは、単位検索情報制御部１０５に与えられる。
単位検索情報制御部１０５は、検索情報管理装置１外の処理部１６に接続される。処理部１６は情報を伝送するための伝送部や情報を何らかのメディアに記録して蓄積するための蓄積部や情報の検索処理を実行するための部分などに相当する。処理部１６が伝送部であった場合、検索情報管理装置１は伝送部からの要求などに応じた１つ以上の単位検索情報を単位検索情報１５２Ａ、１５３Ａおよび１５４Ａの中から選択し、処理部１６（伝送部）に与える。
図９のフローチャートを参照して、本実施の形態に係る検索情報の管理方法を説明する。まず、分割すべき検索情報１５が指定されるので、検索情報解析部１０１は指定された検索情報１５を入力し（ステップＳ１。以下、ステップＳは単にＳという）、入力した検索情報１５を検索情報要素ごとに分離し、分離して得られた構造的検索情報要素１５２、意味的検索情報要素１５３および信号的検索情報要素１５４のそれぞれを順次出力する（Ｓ２）。順次得られた検索情報要素は構造的検索情報に相当するのか、意味的検索情報に相当するのか、あるいは信号的検索情報に相当するのかが判定されて、判定結果に基づいて該検索情報要素は構造的単位検索情報形成部１０２、意味的単位検索情報形成部１０３および信号的単位検索情報形成部１０４のいずれかに与えられる（Ｓ３）。
構造的単位検索情報形成部１０２は、構造的検索情報要素１５２が順次与えられるので、与えられた構造的検索情報要素１５２を入力して、入力した構造的検索情報要素１５２をそれまでに入力されている構造的検索情報要素１５２による配列の最後尾に配置する（Ｓ４）。意味的単位検索情報形成部１０３は与えられる意味的検索情報要素１５３を入力し、その種別を判定し（Ｓ５）、入力した意味的検索情報要素１５３を、判定結果の種別と同一種別のそれまでに入力されている意味的検索情報要素１５３による配列の最後尾に配置する（Ｓ６）。
信号的単位検索情報形成部１０４は、与えられる信号的検索情報要素１５４を入力し、その種別を判定し（Ｓ７）、入力した信号的検索情報要素１５４を、判定結果の種別と同一種別のそれまでに入力されている信号的検索情報要素１５４による配列の最後尾に配置する（Ｓ８）。
ステップＳ４〜Ｓ８の単位検索情報１５２Ａ〜１５４Ａを形成するための処理それぞれを終えた時点で、検索情報１５の終わりか否かを判定し（Ｓ９）、判定結果終わりであれば、形成された単位検索情報１５２Ａ〜１５４Ａそれぞれは単位検索情報制御部１０５に与えられ、ここで保持される（Ｓ１０）が、終わりでなければ、再び検索情報要素の分離、読込が継続される（Ｓ２）。
以上のような構成およびフローチャートに従う処理を行なうことによって、動画像コンテンツの検索時に必要とする最小限の情報を転送可能あるいは利用可能とし、オフライン検索などで効率的な検索を実行することができる。
図１０には本実施の形態に係る検索装置２の概略構成が示される。図１０に示されるように検索装置２は検索者１８により操作されて、検索実行部１００１、構造的単位検索情報保持部１００２、意味的単位検索情報保持部１００３、信号的単位検索情報保持部１００４および検索情報制御部１００５を有する。検索実行部１００１は、検索者１８から入力される検索要求に従って、構造的単位検索情報保持部１００２に保持（記録）されている構造的単位検索情報１５２Ａ、意味的単位検索情報保持部１００３に保持（記録）されている意味的単位検索情報１５３Ａおよび信号的単位検索情報保持部１００４に保持（記録）されている信号的単位検索情報１５４Ａのうちの１つ以上を選択して取得し、取得された単位検索情報を用いて動画像コンテンツの検索を実行する。選択すべき単位検索情報が対応する単位検索情報保持部１００２、１００３および１００４のいずれかに保持されていない場合には、検索実行部１００１から検索情報制御部１００５に該当する単位検索情報の取得要求が出力される。
検索情報制御部１００５は、複数種類の単位検索情報を伝送するための伝送部、あるいは複数種類の単位検索情報を予め所定メディアに記録して蓄積している蓄積部１９に接続される。検索情報制御部１００５は、検索実行部１００１から単位検索情報の取得要求を入力すると、この取得要求に応じて伝送部または蓄積部１９から取得要求に対応の単位検索情報を伝送または読出しにより取得し、取得した単位検索情報を単位検索情報保持部１００２、１００３および１００４のうちのいずれか対応するものに格納する。検索実行部１００１は、このようにして取得された単位検索情報を用いて検索を実行する。
まず、検索者１８が入力した構造的検索情報の要求に応じて、構造的検索情報の単位検索情報１５２Ａが伝送部あるいは蓄積部１９から取得される。構造的検索情報については、検索者１８からの要求なしに自動で取得される場合もある。
次に検索者１８は、所望する動画像コンテンツに適した検索手法を任意に選び、選択した検索手法に対応する検索情報を要求する。たとえば、動画像コンテンツの色特徴に基づいた検索手法が最も望ましいと考えられた場合に、検索者１８は色頻度情報を要求する。あるいは、検索者１８は単に「色に関する情報がほしい」というような大まかな要求を入力し、この要求に対して検索実行部１００１が判断し、適切な「色頻度情報の取得要求を出す」としてもよい。この要求に対して、色頻度情報から形成された単位検索情報１５４Ａを伝送部あるいは蓄積部１９から取得する。
こうして得られた構造的検索情報および色頻度情報から形成された単位検索情報１５２Ａおよび１５４Ａに基づいて検索実行部１００１が検索を実行する。このようにすることで、検索時に伝送する検索情報の量を、従来に比べ少なくすることができる。ここで示した検索の手順は一例であって、これに限定されない。
取得された単位検索情報が保持される期間に関して特に制限はない。たとえば検索を実行するクライアント端末が携帯型情報端末のような記憶容量の小さいものであった場合、取得される単位検索情報は１回の検索実行ごとに破棄されるとしてもよいし、十分な記憶容量を持つ端末の場合には、検索の実行期間にわたって継続的に保持されとしてもよい。あるいは、ある一定期間、単位検索情報を保持するものとし、この一定期間内にアクセスがなければその単位検索情報を破棄するといった管理であってもよい。
図３および図５Ａ〜図５Ｃないし図８Ａ〜図８Ｃで示される単位検索情報（１５２Ａ、１５３Ａ、１５４Ａ）それぞれは、対応の検索情報要素（１５２、１５３、１５４）を順に配列したものであって、検索情報要素のそれぞれは結合されてもよいし、検索情報要素のそれぞれが独立した形式で保持されていてもよい。後者の場合、要求に応じて必要な数だけの検索情報要素（１５２、１５３、１５４）を部分的な単位検索情報（１５２Ａ、１５３Ａ、１５４Ａ）として出力することができる。
図３および図５Ａ〜図５Ｃないし図８Ａ〜図８Ｃでは、図２の検索情報１５に含まれる同種の検索情報要素（１５２、１５３、１５４）のすべてを用いて単位検索情報（１５２Ａ、１５３Ａ、１５４Ａ）を形成しているが、一部の検索情報要素のみを用いて単位検索情報を形成するものであってもよい。一部とは、時間的に連続して並んだ検索情報要索の部分集合（全体からみた部分集合）、一定間隔で拾い上げたサブサンプル集合などを含む。
本実施の形態で示した検索情報１５および検索情報要素（１５２、１５３、１５４）のそれぞれはあくまで例であり、検索情報および検索情報要素はこれらによって限定されるものではない。検索情報１５の木構造はさらに多数の階層を有するものであっても、逆に２階層（根Ｒと１階層目の１つ以上の節ＮＤのみ）からなるものであってもよい。どのような形の木構造であってもよい。検索情報要素はどのような種類のものであっても、本実施の形態を適用できる。
本実施の形態では、単位検索情報としてまとめられる検索情報要素を、色頻度情報などのように木構造中の１つ１つの「葉」に相当する個々の情報であるとしているが、これに限定されない。たとえば、色頻度情報および代表色情報などの複数の「色」に関連する情報をまとめる「色情報」を１つの要素とし、これを検索情報要素と捉えて単位検索情報を形成することもできる。
この場合、色頻度情報のそれぞれや代表色情報のそれぞれは木構造中の「葉ＲＦ」に相当し、「色情報」はそれらの葉ＲＦを下位に持った「節ＮＤ」に相当する。すなわち、本実施の形態において、単位検索情報を形成する検索情報要素それぞれは、木構造中の「葉ＲＦ」に相当する個々の細かな検索情報に限られるものではなく、あるまとまりとみなすことが可能な「節ＮＤ」以下の細かな検索情報による任意の集合であってもよい。
このとき、ある節ＮＤ以下に連結された葉ＲＦあるいは節ＮＤの任意の集合（各節ＮＤはさらに下位の葉ＲＦあるいは節ＮＤに連結される）は、初めの節ＮＤを根Ｒと捉えると木を形成しており、この木は元の木に対して「部分木」と呼ばれる。つまり、検索情報を表わす木構造中の「部分木」に対応する検索情報の部分を検索情報要素と捉えて、本実施の形態を適用することも可能である。
本実施の形態に係る検索情報管理装置１ならびに検索情報管理方法では、木構造を有する検索情報１５に含まれるすべての検索情報要素（１５２、１５３、１５４）を同様に抜出して、抜出された検索情報要素それぞれに対応する単位検索情報（１５２Ａ、１５３Ａ、１５４Ａ）のすべてを並行して形成し、形成されたすべての単位検索情報を伝送するために、または蓄積するために、または動画像コンテンツの検索処理に供給するために管理するとしているが、特定種類の検索情報要素のみを抜出して抜出された特定種類の検索情報要素に対応する単位検索情報のみを形成するとしてもよい。
たとえば、検索情報要素のうち色頻度情報のみを抜出し、抜出された色頻度情報に対応の単位検索情報のみを形成して、単位検索情報制御部１０５で管理する。この場合には、図１に示された検索情報管理装置１において検索情報解析部１０１、信号的単位検索情報形成部１０４および単位検索情報制御部１０５のみが機能するから、構造的単位検索情報形成部１０２および意味的単位検索情報形成部１０３は省略されてもよい。
これは、本実施の形態に係る検索装置２でも同様である。信号的検索情報のうち特に色頻度情報のみに基づき検索が実行されるとし、かつ構造的検索情報および意味的検索情報が不要であるとされた場合には、図１０の検索装置２の検索実行部１００１、信号的単位検索情報保持部１００４および検索情報制御部１００５のみが機能するから、構造的単位検索情報保持部１００２および意味的単位検索情報保持部１００３は省略できる。
またこのように、一部の検索情報要素を抜出して、抜出された一部の検索情報要素を用いて対応する単位検索情報を形成する場合、これら検索情報要素が抜出された残りの検索情報１５は、木構造を保持したままで利用されるとしてもよい。
すなわちこの場合、元の検索情報１５を表わしていた木は、元の木の一部からなる部分的な木と複数の検索情報要素からなる１つあるいは複数の単位検索情報とに分解される。本発明では、抜出される検索情報要素に何を選ぶかによって、木構造を有する元の検索情報１５をさまざまな形に分解できる。
なお、本実施の形態では、検索情報１５中の構造情報、すなわち節ＮＤあるいは葉ＲＦの木構造中の位置情報などと、検索情報要素の種別情報、すなわち行動描写情報（意味的検索情報要素１５３）や色頻度情報（信号的検索情報要素１５４）などであることを示す情報とを、それぞれ独立した情報として説明した。一方、検索情報１５を構成する検索情報要素が予め決められており、木の構造が固定であるような場合では、検索情報要素それぞれの木構造中の位置が特定されるため、構造情報のみによって検索情報要素の種別を表わすことができる。すなわち、構造情報と種別情報は等価となる。この場合、たとえば本実施の形態で説明した検索情報要素１５３および１５４に対応の共通情報１５３Ｂおよび１５４Ｂとして種別情報を付加する処理は、対応する共通の構造情報を付加しても行なうことができる。
（第２の実施の形態）
第１の実施の形態では、木構造を有した検索情報１５から各種の検索情報要素を、すなわち構造的検索情報要素１５２、意味的検索情報要素１５３および信号点検索情報要素１５４のそれぞれを分離して抜出し、抜出された検索情報要素自体を種別ごとに順に配列することによって、単位検索情報１５２Ａ、１５３Ａおよび１５４Ａを形成していた。
これに対し、本実施の形態においては、各種の検索情報要素が予め検索情報１５から分離されて個別に記録されている場合に、検索情報要素それぞれについてそれ自体ではなくその記録位置を示した情報を取得し、取得された記録位置情報のみを順に配列することにより単位検索情報１５２Ｅ、１５３Ｅおよび１５４Ｅを形成する。
このような構成においても、第１の実施の形態で得られるのと同様の効果を得ることができる。ここでは、本実施の形態に係る検索情報管理装置１Ａおよび検索装置２Ａについて第１の実施の形態のそれらとの相違点に注目して説明する。したがって、本実施の形態に関する詳細説明はここでは省略するが、それらについては第１の実施の形態で示した検索情報管理装置１および方法、ならびに検索装置２に関する詳細説明を同様に適用できる。
本実施の形態に係る検索情報管理装置１Ａの概略構成は第１の実施の形態と同様に図１を用いて示される。検索情報管理装置１Ａの機能は、以下に説明するように、第１の実施の形態のそれとは若干異なる。
図１を参照して検索情報管理装置１Ａは検索情報解析部１０１Ａ、構造的単位検索情報形成部１０２Ａ、意味的単位検索情報形成部１０３Ａ、信号的単位検索情報形成部１０４Ａおよび単位検索情報制御部１０５Ａを含む。検索情報解析部１０１Ａは、動画像コンテンツに対応した木構造を有する検索情報１５を調べて検索情報１５に含まれる各種の検索情報要素である構造的検索情報要素１５２、意味的検索情報要素１５３および信号的検索情報要素１５４それぞれを特定するとともに、特定された検索情報要素１５２〜１５４のそれぞれについて記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄのそれぞれを抽出する。記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄのそれぞれは、構造的検索情報要素１５２、意味的検索情報要素１５３および信号的検索情報要素１５４のそれぞれが記録されている記録位置を示す。その後、単位検索情報１５２Ｅ、１５３Ｅおよび１５４Ｅそれぞれの形成に必要な情報、たとえば検索情報要素の種別や木構造中の階層情報などのような情報とともに、検索情報要素１５２、１５３および１５４それぞれの記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄを、対応する構造的単位検索情報形成部１０２Ａ、意味的単位検索情報形成部１０３Ａおよび信号的単位検索情報形成部１０４Ａのそれぞれへ出力する。
記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄは、検索情報１５が予め記録されている記録メディア上のセクタ位置やビット符号列中のビット位置といった物理的な位置情報や、データを格納したファイル名やデータ伝送時のチャンネル、パケットといった論理的な位置情報を含むものであり、特に制限はない。
記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄによって示される検索情報要素１５２、１５３および１５４は、検索時などに必要に応じて個々に読出され利用される。このため、検索情報要素１５２、１５３および１５４のそれぞれは予め分離されて個々に記録されている方が都合がよい。多くの現実的なサーバ装置においては、木構造を有する検索情報１５の検索情報要素１５２、１５３および１５４のそれぞれは何らかの形で分離されて記録されているため、それら分離された検索情報要素１５２、１５３および１５４の記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄをそのまま利用できる。
木構造を有する検索情報１５がそのまま記録されていて、予め検索情報要素１５２、１５３および１５４それぞれに分離されていない場合には、検索情報解析部１０１Ａで検索情報要素１５２、１５３および１５４を分離して記録するとともに、その記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄを生成する。
構造的単位検索情報形成部１０２Ａでは、検索情報解析部１０１Ａから構造的単位検索情報要素１５２それぞれの記録位置情報１５２Ｄを入力し、順に配列することで、構造的単位検索情報要素１５２の記録位置情報１５２Ｄからなる構造的検索情報の単位検索情報１５２Ｅを形成する。
意味的単位検索情報形成部１０３Ａでは、検索情報解析部１０１Ａから同種の意味的単位検索情報要素１５３それぞれの記録位置情報１５３Ｄを入力し、順に配列することで、意味的検索情報要素１５３の記録位置情報１５３Ｄからなる意味的検索情報の単位検索情報１５３Ｅを形成する。
信号的単位検索情報形成部１０４Ａでは、検索情報解析部１０１Ａから同種の信号的単位検索情報要素１５４それぞれの記録位置情報１５４Ｄを入力し、順に配列することで信号的検索情報要素１５４の記録位置情報１５４Ｄからなる信号的検索情報の単位検索情報１５４Ｅを形成する。
図１１Ａ〜図１１Ｄには、本実施の形態に係る意味的単位検索情報１５３Ｅと信号的単位検索情報１５４Ｅが例示される。図１１Ａと図１１Ｂにおいては、意味的検索情報要素１５３としてシーンそれぞれの情景描写情報とショットそれぞれの登場人物情報を例示し、図１１Ｃと図１１Ｄにおいては信号的検索情報要素１５４としてシーンそれぞれの代表色情報とショットそれぞれの動き強度情報を例示している。
図１１Ａ〜図１１Ｄと図５Ａ〜図５Ｃおよび図７Ａ〜図７Ｃとを比較しても明らかなように、単位検索情報を構成する要素が検索情報要素（１５３、１５４）自体から記録位置情報（１５３Ｄ、１５４Ｄ）に代替されていることを除けば、本実施の形態で形成される単位検索情報と第１の実施の形態で形成された単位検索情報とは同じである。
したがって、取扱う共通情報１５３Ｂおよび１５４Ｂの種別、抽出方法などを、第１の実施の形態において説明されたものと同様のものが本実施の形態においても適用される。こうして、第１の実施の形態で得られるのと同様の効果が本実施の形態においても得られる。
単位検索情報制御１０５Ａは、処理部１６に接続され、たとえば処理部１６が伝送部であった場合、伝送先からの要求などに応じて対応する単位検索情報を伝送する。本実施の形態における単位検索情報制御部１０５Ａでは、既に伝送された単位検索情報に含まれる検索情報要素の記録位置情報に基づいた要求を受理して要求に対応の記録位置情報で示された検索情報要素を抜出して要求元に伝送する。上述のように検索情報１５が複数の検索情報要素に分離されて、分離された検索情報要素が個々に記録されている場合には、記録された検索情報要素をそのまま利用するために、検索情報要素は図１の検索情報１５が予め記録されたメディアの対応の記録位置から読出されて（抜出されて）要求元に伝送される。一方、検索情報１５が複数の検索情報要素に分離されていない場合には、検索情報解析部１０１Ａで検索情報要素を検索情報１５から分離し記録した位置から読出されて（抜出されて）要求元に伝送される。
本実施の形態に係る検索装置２Ａの概略構成は、第１の実施の形態と同様に図１０を用いて示される。ただし、検索装置２Ａの機能は、以下に説明するように第１の実施の形態のものとは若干異なる。
本実施の形態に係る検索装置２Ａは検索実行部１００１Ａ、構造的単位検索情報保持部１００２Ａ、意味的単位検索情報保持部１００３Ａ、信号的単位検索情報保持部１００４Ａおよび検索情報制御部１００５Ａを備える。構造的単位検索情報保持部１００２Ａ、意味的単位検索情報保持部１００３Ａおよび信号的単位検索情報保持部１００４Ａはそれぞれ、単位検索情報１５２Ｅ、１５３Ｅおよび１５４Ｅのそれぞれを保持するのに加えて、既に得られた単位検索情報１５２Ｅ、１５３Ｅおよび１５４Ｅのそれぞれに含まれる記録位置情報１５２Ｄ、１５３Ｄおよび１５４Ｄのそれぞれに基づいて取得される検索情報要素１５２、１５３および１５４のそれぞれを、１回の検索実行ごとに一時的に、あるいは検索の実行期間にわたって継続的に保持する機能を有する。
検索実行部１００１Ａは、検索者１８から入力される検索要求に従って、構造的単位検索情報保持部１００２Ａ、意味的単位検索情報保持部１００３Ａおよび信号的単位検索情報保持部１００４Ａに保持されている各種の検索情報要素の１つあるいは複数の任意の組合せを選び、選ばれた組合せに従う検索情報要素を取得して、取得した１つ以上の検索情報要素を用いて検索を実行する。
単位検索情報保持部１００２Ａ、１００３Ａおよび１００４Ａそれぞれでの検索情報要素の保持が１回の検索実行ごとに破棄されるといった一時的なものである場合には、検索実行部１００１Ａは単位検索情報保持部１００２Ａ、１００３Ａおよび１００４Ａに対して、検索情報要素の要求ではなく、次に示すように、単位検索情報の要求から検索を開始する。ここでは、説明を簡単にするために構造的単位検索情報１５２Ｅを要求することで開始される検索を例に挙げるが、意味的単位検索情報１５３Ｅまたは信号的単位検索情報１５４Ｅを要求した場合であっても同様である。
選んだ検索情報要素１５２が対応する構造的単位検索情報保持部１００２Ａに保持されていない場合、検索実行部１００１Ａは構造的単位検索情報保持部１００２Ａに対して、対応する単位検索情報１５２Ｅを要求する。
要求した単位検索情報１５２Ｅを、対応する構造的単位検索情報保持部１００２Ａから取得できた場合には、検索実行部１００１Ａは、検索情報制御部１００５Ａに検索情報要素の取得要求とともに取得した単位検索情報１５２Ｅを与える。検索情報制御部１００５Ａは、与えられた単位検索情報１５２Ｅに含まれる検索情報要素の記録位置情報１５２Ｄに基づいて、伝送部あるいは蓄積部１９から該当する検索情報要素１５２を取得し、取得された検索情報要素１５２を対応する構造的単位検索情報保持部１００２Ａに格納する。検索実行部１００１Ａは、このようにして得られた検索情報要素１５２を用いて検索を実行する。
要求した単位検索情報１５２Ｅが対応する構造的単位検索情報保持部１００２Ａに保持されていないので取得できなかった場合には、検索実行部１００１Ａは、まず、検索情報制御部１００５Ａにその単位検索情報１５２Ｅの取得要求を出す。検索情報制御部１００５Ａはこの取得要求を入力すると、入力した取得要求に応じて伝送部あるいは蓄積部１９から該当する単位検索情報１５２Ｅを取得し、取得した単位検索情報１５２Ｅを対応する構造的単位検索情報保持部１００２Ａに格納する。次に、検索実行部１００１Ａは、検索情報制御部１００５Ａに検索情報要素の取得要求とともに取得された単位検索情報１５２Ｅを与える。検索情報制御部１００５Ａは、与えられた単位検索情報１５２Ｅに含まれる検索情報要素の記録位置情報１５２Ｄに基づいて、伝送部あるいは蓄積部１９から該当する検索情報要素１５２を取得し、取得した検索情報要素１５２を対応する構造的単位検索情報保持部１００２Ａに格納する。検索実行部１００１Ａは、このようにして得られた検索情報要素１５２を用いて動画像コンテンツ（伝送部あるいは蓄積部１９により準備されている動画像コンテンツのデータ）の検索を実行する。
以上の説明から理解されるように、本実施の形態の検索装置２Ａと第１の実施の形態の検索装置２とを比較し異なる点は、検索情報の取得に関して、単位検索情報から検索情報要素の記録位置情報を取得し、取得した記録位置情報から対応の検索情報要素を取得するといった２段階の取得を行なう点にある。それ以外の処理は両者において同様である。したがって、第１の実施の形態で得られるのと同様の効果が本実施の形態においても得られる。
各種の検索情報要素自体からなる単位検索情報に比べ、記録位置情報のみからなる本実施の形態に係る単位検索情報によれば、記録すべき信号量が少なくてすむ。このため、記憶容量の小さい携帯型情報端末などのクライアント端末を用いて検索者が検索を実行するような場合では、本実施の形態の単位検索情報のみをクライアント端末に継続的に保持し、検索実行時に必要な検索情報要素のみを単位検索情報を利用してサーバ装置（図１０の伝送部あるいは蓄積部１９に相当する）から取得するといった検索方式が効果的である。このサーバ装置には動画像コンテンツのデータおよび予め検索情報要素に分離されている検索情報１５のデータが記録されており、外部からの要求に従って、動画像コンテンツのデータまたは検索情報１５のデータを読出して要求元に出力する機能を有する。
したがって、どのような検索情報がサーバ装置上に存在するかを単位検索情報から容易に知ることができ、必要な検索情報のみを伝送することで検索の実行効率は向上する。
上述した説明では、単位検索情報が伝送部あるいは蓄積部１９を介して取得されるタイミングは検索者の要求によるものであるとしたが、これに限らず、たとえば、検索の開始時に、各種の単位検索情報のみをクライアント端末が自動的に取得するなどとしてもよい。単位検索情報の取得あるいは破棄のタイミングに関する制限はない。
上述の説明では、単位検索情報中の記録位置情報に基づいて取得される検索情報要素の保持期間を、１回の検索実行ごとに破棄するという一時的なものか、検索の実行期間にわたるという継続的なものであるとしたが、これに限らず、たとえば、ある一定期間保持し、一定期間内にアクセスがなければ破棄するといった管理を行なってもよい。検索情報要素の保持期間に関する制限はない。
（第３の実施の形態）
図１２には、本実施の形態に係る検索情報管理装置１Ｂの概略構成が示される。検索情報管理装置１Ｂは分割選択部１２０１、第１の検索情報分割部１２０２、第２の検索情報分割部１２０３および単位検索情報制御部１２０４を含む。分割選択部１２０１では、動画像コンテンツについて所望される検索の実行形態が、すなわちオンライン検索であるか、あるいはオフライン検索であるかというような検索の実行形態が指定される。指定される検索の実行形態に従って検索情報１５の分割方式、すなわち分割により得られる単位検索情報の形式が選択される。検索情報１５は、たとえば図２に例示した木構造を有する検索情報１５とする。
オフライン検索が指定されて、検索情報１５の分割方式として検索情報要素の種別に注目した単位検索情報が選択されると、分割選択部１２０１は、第１の検索情報分割部１２０２に検索情報１５の分割を実行するように指示する。オンライン検索が指定されて、検索情報１５の分割方式として時間的な区切りからなる単位検索情報が選択されると、分割選択部１２０１は、第２の検索情報分割部１２０３に検索情報１５の分割を実行するように指示する。オフライン検索とオンライン検索とが同時に行われるような特殊なケースでは、分割選択部１２０１は第１および第２の検索情報分割部１２０２および１２０３の双方に検索情報１５の分割（単位検索情報の形成）を実行するように指示する。
第１の検索情報分割部１２０２では、検索情報１５を入力し、第１の実施の形態で説明した検索情報要素の種別に注目した検索情報１５の分割を実行し、図３、図５Ａ〜図５Ｃないし図８Ａ〜図８Ｃおよび図１１Ａ〜図１１Ｄに示された検索情報の種別に注目した単位検索情報１５２Ａ、１５３Ａ（１５３Ｅ）および１５４Ａ（１５４Ｅ）を形成して出力する。
第２の検索情報分割部１２０３では、検索情報１５を入力し、図１６Ａ〜図１６Ｄおよび図１７に示したような時間的な区切りを単位とした分割を実行し、時間的な区切りに従う単位検索情報を形成して出力する。
単位検索情報制御部１２０４は、処理部１６に接続され、第１の検索情報分割部１２０２により形成された検索情報要素の種別に注目した単位検索情報および第２の検索情報分割部１２０３で形成された時間的区切り単位の単位検索情報のいずれか一方、あるいは両方を、処理部１６の要求に応じて選択し、選択された情報を要求元に出力する。
分割選択部１２０１を設けることにより、動画像コンテンツの検索の実行形態に応じた適切な検索情報の制御（単位検索情報の形成）が可能となる。
【図面の簡単な説明】
図１は、本発明の第１および第２の実施の形態に係る検索情報管理装置の概略構成図である。
図２は、本発明の第１の実施の形態において用いる木構造を有する検索情報を示す図である。
図３は、本発明の第１の実施の形態において分割された構造的検索情報の単位検索情報を示す図である。
図４は、本発明の第１の実施の形態に係る検索情報管理装置における意味的単位検索情報形成部および信号的単位検索情報形成部の内部構成を示す図である。
図５Ａ〜図５Ｃは、本発明の第１の実施の形態において分割により得られた意味的検索情報の単位検索情報を示す図である。
図６Ａ〜図６Ｃは、本発明の第１の実施の形態において分割により得られた意味的検索情報の他の単位検索情報を示す図である。
図７Ａ〜図７Ｃは、本発明の第１の実施の形態において分割により得られた信号的検索情報の単位検索情報を示す図である。
図８Ａ〜図８Ｃは、本発明の第１の実施の形態において分割により得られた信号的検索情報の他の単位検索情報を示す図である。
図９は、本発明の第１の実施の形態に係る検索情報管理方法を示すフローチャートである。
図１０は、本発明の第１および第２の実施の形態に係る検索装置の概略構成図である。
図１１Ａ〜図１１Ｄは、本発明の第２の実施の形態において形成された意味的検索情報および信号的検索情報それぞれの単位検索情報を示す図である。
図１２は、本発明の第３の実施の形態に係る検索情報管理装置の概略構成図である。
図１３は、動画像コンテンツの一般的な構造を説明する図である。
図１４は、図１３の動画像コンテンツに付加される検索情報を木構造で示した図である。
図１５は、図１３の動画像コンテンツの検索情報の記録方式を説明する図である。
図１６Ａ〜図１６Ｄは、従来の木構造を有する検索情報の分割を示す図である。
図１７は、従来の木構造を有する検索情報の管理方法を示す図である。

Claims (23)

1. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報（１５２Ａ、１５３Ａ、１５４Ａ）に分割して管理する検索情報管理装置（１）であって、
   前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離して出力する分離手段（１０１）と、
   前記分離手段から出力された前記構造的検索情報、前記意味的検索情報および前記信号的検索情報のそれぞれからなる前記小単位の検索情報の少なくとも１つを形成する単位検索情報形成手段（１０２、１０３、１０４）とを備える検索情報管理装置。
2. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報（１５２Ａ、１５３Ａ、１５４Ａ）に分割して管理する検索情報管理装置（１）であって、
   前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を前記検索情報から分離して抜出す分離手段（１０１）と、
   前記分離手段により抜出された前記１または複数の検索情報要素を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成手段（１０２、１０３、１０４）とを備える検索情報管理装置。
3. 前記分離手段により抜出された前記１または複数の検索情報要素は、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報（１５４）に対応する請求の範囲第２項記載の検索情報管理装置。
4. 前記分離手段により抜出された前記１または複数の検索情報要素は、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報（１５３）に対応する請求の範囲第２項記載の検索情報管理装置。
5. 前記所定の形式は、前記分離手段により抜出された前記１または複数の検索情報要素を、前記木構造中の出現順序に従って配列することを示す請求の範囲第２項記載の検索情報管理装置。
6. 前記小単位の検索情報は、前記分離手段により抜出された前記１または複数の検索情報要素に共通する種別情報または共通する前記木構造中の位置情報を含む付加情報（１５３Ｂ、１５４Ｂ）を、前記分離手段により抜出された前記１または複数の検索情報要素の配列に加えて形成される請求の範囲第２項記載の検索情報管理装置。
7. 前記小単位の検索情報は、前記分離手段により抜出された前記１または複数の検索情報要素のそれぞれに関する前記木構造中の位置情報を含む付加情報（１５３Ｃ、１５４Ｃ）を、前記分離手段により抜出された前記１または複数の検索情報要素の配列に加えて形成される請求の範囲第２項記載の検索情報管理装置。
8. 動画像コンテンツに対応する木構造を有した検索情報（１５）から小単位の検索情報（１５２Ｅ、１５３Ｅ、１５４Ｅ）を形成して管理する検索情報管理装置（１Ａ）であって、
   前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報（１５２Ｄ、１５３Ｄ、１５４Ｄ）を抽出する記録位置情報抽出手段（１０１Ａ）と、
   前記１または複数の検索情報要素のそれぞれに対応する前記記録位置情報抽出手段により抽出された前記記録位置情報を所定の形式に従い配列することで前記小単位の検索情報（１５２Ｅ、１５３Ｅ、１５４Ｅ）を形成する単位検索情報形成手段（１０２Ａ、１０３Ａ、１０４Ａ）とを備える検索情報管理装置。
9. 前記１または複数の検索情報要素は、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報（１５４）に対応する請求の範囲第８項記載の検索情報管理装置。
10. 前記１または複数の検索情報要素は、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報（１５３）に対応する請求の範囲第８項記載の検索情報管理装置。
11. 前記所定の形式は、前記記録位置情報のそれぞれを、対応する前記１または複数の検索情報要素それぞれの前記木構造中の出現順序に従って配列することを示す請求の範囲第８項記載の検索情報管理装置。
12. 前記小単位の検索情報は、前記１または複数の検索情報要素に共通する種別情報または共通する前記木構造中の位置情報を含む付加情報（１５３Ｂ、１５４Ｂ）を、前記１または複数の検索情報要素と対応する前記記録位置情報の配列に加えて形成される請求の範囲第８項記載の検索情報管理装置。
13. 前記小単位の検索情報は、前記１または複数の検索情報要素のそれぞれについての前記木構造中の位置情報を含む付加情報（１５３Ｃ、１５４Ｃ）を、前記１または複数の検索情報要素と対応する前記記録位置情報の配列に加えて形成される請求の範囲第８項記載の検索情報管理装置。
14. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報に分割して管理する検索情報管理装置（１Ｂ）であって、
    前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離し、前記分離された構造的検索情報、意味的検索情報および信号的検索情報のそれぞれから小単位の検索情報を形成する第１の検索情報分割手段（１２０２）と、
    前記検索情報を、前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第２の検索情報分割手段（１２０３）と、
    所望される検索の形態に従って、前記検索情報を、前記第１の検索情報分割手段および前記第２の検索情報分割手段のいずれで分割するかを選択する分割選択手段（１２０１）とを備えた検索情報管理装置。
15. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報に分割して管理する検索情報管理装置（１Ｂ）であって、
    前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を前記検索情報から分離して抜出し、前記１または複数の検索情報要素を所定の形式に従い配列することで小単位の検索情報を形成する第１の形成手段（１２０２）と、
    前記検索情報を前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第２の形成手段（１２０３）と、
    所望する検索の形態に従って、前記小単位の検索情報を、前記第１の形成手段および前記第２の形成手段のいずれで形成するかを選択する選択手段（１２０１）とを備えた検索情報管理装置。
16. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報（１５２Ａ、１５３Ａ、１５４Ａ）に分割して管理する検索情報管理方法であって、
    前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離する分離ステップと、
    前記分離ステップにより分離して得られた前記構造的検索情報、前記意味的検索情報および前記信号的検索情報のそれぞれからなる前記小単位の検索情報の少なくとも１つを形成する単位検索情報形成ステップとを有する検索情報管理方法。
17. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報（１５２Ａ、１５３Ａ、１５４Ａ）に分割して管理する検索情報管理方法であって、
    前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を前記検索情報から分離して抜出す分離ステップと、
    前記分離ステップにより抜出された前記１または複数の検索情報要素を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。
18. 動画像コンテンツに対応する木構造を有した検索情報（１５）から小単位の検索情報を形成して管理する検索情報管理方法であって、
    前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示す記録位置情報を抽出する記録位置情報抽出ステップと、
    前記記録位置情報抽出ステップにより抽出された前記１または複数の検索情報要素のそれぞれに対応する前記記録位置情報を、所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。
19. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報に分割して管理する検索情報管理方法であって、
    前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離し、分離された前記構造的検索情報、前記意味的検索情報および前記信号的検索情報のそれぞれから小単位の検索情報を形成する第１の検索情報分割ステップと、
    前記検索情報を、前記木構造に基づく時間的な区切りに従って分割し、分割後の前記検索情報のそれぞれから小単位の検索情報を形成する第２の検索情報分割ステップと、
    所望する検索の形態に従って、前記検索情報を前記第１の検索情報分割ステップおよび前記第２の検索情報分割ステップのいずれで分割するかを選択する分割選択ステップとを有する検索情報管理方法。
20. 動画像コンテンツに対応する木構造を有した検索情報（１５）を小単位の検索情報に分割して管理する検索情報管理方法であって、
    前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を前記検索情報から分離して抜出し、前記１または複数の検索情報要素を所定の形式に従い配列することで小単位の検索情報を形成する第１の形成ステップと、
    前記検索情報を前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第２の形成ステップと、
    所望する検索の形態に従って、前記小単位の検索情報を前記第１の形成ステップおよび前記第２の形成ステップのいずれで形成するかを選択する選択ステップとを有する検索情報管理方法。
21. 動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報に基づいて検索を実行する検索装置（２）であって、
    前記小単位の検索情報は、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とのそれぞれから形成された小単位の検索情報の少なくとも１つであり、
    前記小単位の検索情報を保持する保持手段と、
    前記小単位の検索情報を用いて前記動画像コンテンツの検索を実行する検索実行手段とを備える検索装置。
22. 動画像コンテンツに対応する木構造を有した検索情報（１５）を分割した小単位の検索情報に基づいて検索を実行する検索装置（２）であって、
    前記小単位の検索情報は、前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素を前記検索情報から分離して抜出し、所定形式に配列することで形成された検索情報であり、
    前記小単位の検索情報を保持する保持手段と、
    前記保持手段により保持される前記小単位の検索情報を用いて前記動画像コンテンツの検索を実行する検索実行手段とを備えた検索装置。
23. 動画像コンテンツに対応する木構造を有した検索情報（１５）から形成した小単位の検索情報に基づいて検索を実行する検索装置（２）であって、
    前記小単位の検索情報は、前記検索情報に含まれる同種の要素であって、前記木構造中の１または複数の葉（ＲＦ）あるいは前記木構造中の節（ＮＤ）および該節以下に連結された葉または節の任意の集合からなる１または複数の部分木により与えられる、１または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報を所定の形式に配列することで形成された検索情報であり、
    前記小単位の検索情報を保持する第１の保持手段と、
    前記小単位の検索情報を用いて得られる前記１または複数の検索情報要素を保持する第２の保持手段と、
    前記小単位の検索情報ならびに前記１または複数の検索情報要素を用いて前記動画像コンテンツの検索を実行する検索実行手段とを備える検索装置。

Images