WO2002033589A1

WO2002033589A1 - Appareil de gestion d'informations de recherche de contenu d'image dynamique

Info

Publication number: WO2002033589A1
Application number: PCT/JP2001/009161
Authority: WO
Inventors: Shuichi Watanabe; Yasuaki Tokumo; Hiroyuki Okada
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2000-10-20
Filing date: 2001-10-18
Publication date: 2002-04-25
Also published as: EP1619596A3; US20040054668A1; JPWO2002033589A1; KR20030048442A; JP4309127B2; EP1335302A4; KR100532558B1; CN1312616C; CN1470027A; EP1619596A2; US8131773B2; EP1335302A1; EP2273388A1

Description

明細書動画像コ検索するための検索情報を管理する装置および方法、ならびに検索情報を用いた検索装置技術分野

この発明は、動画像コンテンツを検索するための木構造を有した情報（以下、検索情報）を管理するための装置および方法、ならびに検索処理を実行する検索装置に関し、特に、検索情報の効率的な記憶または伝送を可能とする検索情報管理装置および方法ならびに検索情報を用いて検索処理を実行する検索装置に関する。背景技術

動画像コンテンツは、動画像コンテンツ内のあらゆる時間的あるいは空間（画面）的な箇所が検索の対象となり得る。このため、厳密に検索を実行するためには、動画像コンテンツ全体を再生して細部まで確認する必要がある。しかしながら、そのような検索方法はおよそ効率的ではなく、検索対象となる動画像コンテンッの数が増えるとさらに現実的でない。

このような場合に、ユーザが所望の動画像コンテンツを、あるいは動画像コンテンッ内の所望の箇所を素早く、かつ効率的に探し出すための方法として、動画像コンテンツに対応して付加される検索情報（検索情報は検索用メタデタとも呼ばれる）を用意し、検索情報に基づいて検索を実行して、所望の動画像コンテンッを、あるいは動画像コンテンツ内の所望の餡所を得る方法が種々提案されている。

図 1 0には一般的な動画像コンテンツの構造が模式ィ匕して示される。このような構造は、特開平 1 0— 1 0 8 0 7 1号公報ゃ特開平 1 0— 2 5 7 4 3 6号公報などでも開示されており、広く知られたものである。

'図 1 0に示すように、 1つの動画像全体は、時間的にいくつかのシーンに分割される。ここでいうシーンとは、主に意味的なまとまりからなる時問的な区切りを指し、映画の第 1部、第 2部のような大きい区切りから、「Aと Bが喧嘩をする」シーンといったごく小さな区切りまでを含む。このため、実際の動画像全体からシーンへの分割は、図 1 0に示したような 1段階の分割に限るものではなく、複数の階層にわたって次第に細分化されるものである。

1つのシーンはさらに、時間的にいくつかのショット（あるいはさらに細かいシーン）に分割される。ここでいうショットとは、 1回の動作で撮影された連続する複数のフレーム画像から構成される時間的な一区切りであり、動画像中においては 2つの編集点（カット点）で挟まれた区切りを指す。

ショットは一種のシーンでありショットをさらに細かいシヨット（サブショット）に分割することも可能である。図示されないが、ショットは最終的に 1つ 1 つのフレーム画像にまで分割することが可能である。

このように、動画像コンテンツは、全体から細かい部分、さらに細かい部分へと細分化されていく階層的な構造を有する。そして、各階層ごとに対応した検索情報が付加される。

図 1 1には図 1 0の動画像コンテンツに対する検索情報が示される。動画像コンテンッの検索情報は、図 1 1に示すような木構造で表わされる。ここで、動画像コンテンツの検索情報は、構造的検索情報、意味的検索情報および信号的検索情報を含む。

構造的検索情報とは、図 1 0で示した動画像コンテンツの階層構造を表わすための情報である。構造的検索情報には木構造、すなわち動画像全体における各シーンあるいはショット相互の関係を表わすための構造化情報と、分割して得られたシーンあるいはショットそれぞれの属性を表わす構造属性情報とが含まれる。図 1 1の木では、根 Rが動画像全体を表わし、各節 N Dが分割により得られた各シーンあるいは各ショットをあらわす。木の根 Rあるいは各節 N Dに付されるノード I Dや各階層の情報などが構造化情報に当り、シ^ "ンあるいはショットそれぞれに付される開始時刻、終了時刻情報などが構造属性情報に当る。

意味的検索情報とは、動画像コンテンツの意味内容上における特徴に基づいて規定される検索情報である。たとえば、動画像コンテンツ全体に対するタイトル、製作者の情報、シーンに対する情景描写の情報などが意味的検索情報に当る。信号的検索情報とは、動画像コンテンツの信号上の物理的な特徴に基づいて規定される検索情報である。たとえば、各ショット（あるいはその代表フレーム画像）に対する色頻度情報、動き強度情報などが信号的検索情報に当る。意味的検索情報ならびに信号的検索情報は対応する各節 N Dに連結された葉 R Fとして与えられる。

図 1 2には図 1 1に示された木構造からなる検索情報を記録する際の記録形式が示される。図 1 2に示されるように、図 1 1の木構造からなる検索情報は、木の根 Rおよび節 NDを、階層の浅い方から深い方へ（根 Rから節 NDの方向へ）、また左から右へ（時間的に前から後へ）向かって、深さ優先順（節 NDのさらに下位に迪る節 NDがなくなった時点で右隣の節 NDへ移動）に迪つていき、根 R あるいは節 N Dに付されている葉 R Fである検索情報が順番に記録される。

図 1 0〜図 1 2では、最上位層（木の根 R) を 1つの動画像コンテンツ全体としているが、これは 1つの動画像コンテンツに限らず、複数の動画像コンテンツの集合として考えることが可能である。たとえば、最上位層を 1つのチャンネルで 1日に放送される映像番組全体とする。 1つのチャンネルで 1日に放送される映像番組全体は、次の階層で 1つ 1つの番組に、すなわち 1つ 1つの動画像コンテンッに分割される。動画像コンテンツそれぞれは複数のシーンに分割され、複数シンのそれぞれは複数のショットへと分割される。 - 木構造を有する検索情報によれば対応の動画像コンテンツの持つ時間的な構造は、各種の検索情報と結び付けてユーザに理解しゃす、形式で提供することができる。このようなことから、検索情報は、該検索情報に基づいてュザが視認を行ないながら対応の動画像コンテンツを編集する、あるいは検索情報そのものを編集するなどの作業に非常に適している。ただし、動画像コンテンツのサイズが大きくなると対応の検索情報を表わす木のサイズも膨大なものとなる。

動画像コンテンツおよび検索情報がサーバ装置に蓄積され、ユーザがクライアント端末からサーバ装置にアクセスし検索情報を取得してクライアント端末において検索を実行するといつた実行モデルを想定する。この場合に、クライアント端末においてサ^ "バ装置から膨大な検索情報をすベて取得してからでなければュ一ザはクライアント端末を操作して検索を実行することができないといった状況は好ましくない。すなわち、木構造を有する検索情報は、適当な複数の小単位の検索情報に分割されて、クライアント端末に送信されると、クライアント端末においては受信された小単位の検索情報によってもユーザがある程度の検索が実行可能であることが望まれる。

従来の木構造を有する検索情報を、シーンあるいはショットといった時間的区切りに従い分割することで、図 1 3 A〜図 1 3 Dに示すように小単位の検索情報 1 1〜1 4を構成することが可能である。小単位の検索情報 1 1〜1 4は、検索情報を図 1 4に示されるように木の最下端の節 N Dそれぞれを起点とした節 N D とその葉 R Fの集合、または節 NDを含めた上位の節 NDとその葉 R Fからなる集合を単位として分割することにより得られる。

時間的な区切りに従う分割により得られる小単位の検索情報は、対応の動画像コンテンツの時間的な構造の情報をそのまま保持しているため、動画像コンテンッと同期させて伝送し、オンラインで動画像コンテンツを検索情報に基づいてフィルタリングするような利用に適している。

特開平 8— 1 1 0 9 1 2号公報に開示のように、木構造を有する検索情報を、木構造と、木構造中の節 N Dそれぞれの属性情報を表わした付属情報のテーブルとに分割して蓄積する形態もよく知られている。この場合に、分割可能な単位は木構造と付属情報テブルの 2つであるが、付属情報テブルは独立して扱うことはできず、また上述のような時間的な区切りに従い分割することはできない。本明細書では、分割により得られた上述のような小単位の検索情報を「単位検索情報」と呼ぶ。また、構造的検索情報における節 N Dを一意に特定するためのノード I D情報などを構造的検索情報の「検索情報要素」と呼び（または、構造的検索情報要素と呼び）、意味的検索情報における行動描写情報などを意味的検索情報の「検索情報要素」と呼び（または、意味的検索情報要素と呼び）、信号的検索情報における色頻度情報および動き強度情報などのそれぞれを信号的検索情報の「検索情報要素」と呼ぶ（または、信号的検索情報要素と呼ぶ）。

従来の木構造を有する検索情報を分割して得られる小単位の検索情報は時間的な区切りに対応した、すなわちシーンゃショットといった動画像コンテンツの構造単位に対応した単位検索情報である。し力しながら、このような単位検索情報内では、構造的検索情報、意味的検索情報および信号的検索情報それぞれについての検索情報要素が入り組んで、る。たとえば動画像の構造的検索情報だけを知りたい（動画像がどのようにシーン、ショットに分割されるかを知りたい）という要求がある。また、ショットごとの色頻度情報に基づく検索を行なうために各ショッ卜の色頻度情報だけが欲しい、あるいはショットごとの動き強度情報に基づく検索を行なうために動き強度情報だけが欲しいといった要求がある。従来は、構造的検索情報、意味的検索情報および信号的検索情報それぞれについての検索情報要素が入り組んでレ、る単位検索情報を得て、これを検索者が分解して利用することで、これらの要求を処理するしかなかった。

検索を実行する側から見た場合、動画像の構成要素である複数のショットあるいは複数のシーンに対して、ショットのそれぞれにあるいはシーンのそれぞれに付加された同種の検索情報要素（色頻度情報という種類や動き強度情報という種類など）をまとめて入手し、それらを比較、照合することによって検索を実行するのが効率的である。たとえば、信号的検索情報要素のうちの色頻度情報について、ショットそれぞれに付加された色頻度情報の中から所望に合致するものを検出することでショット検索は行なわれる。

特開平 8— 1 1 0 9 1 2号公報には、検索情報から木構造のみを分離して扱うことの一端が示唆されているけれども、他の付属情報を独立して扱うこと、および上述したような検索情報の細かな種別に基づく分割、管理を行なうことは示唆されていない。

構造的検索情報および信号的検索情報それぞれの検索情報要素は、一般に固定の形式で与えられるものである。これに対して、意味的検索情報の検索情報要素は、行動描写のデータなどのように長さが不定のフリーテキストデータなどを含むことが多い。

このため複数の検索情報要素が入り組んだ検索情報では、長さ固定の構造的検索情報および信号的検索情報それぞれの検索情報要素を抜き出す場合であっても、構造的検索情報、信号的検索情報および意味的検索情報のそれぞれを解析する必要があり、検索者の負担が大きかった。これに対して、たとえば信号的検索情報要素のみを集めて得られた検索情報であれば、固定長さ分のデータ読み飛ばしなどによって容易に検索情報を抜うことが可能である。

時間的構造に従う形式で構造的検索情報、意味的検索情報および信号的検索情報が入り組んだ検索情報が得られる検索の形態よりも、構造的検索情報を得て動画像の構造を把握しつつ、必要に応じて信号的検索情報あるいは意味的検索情報を追加しながら検索を進めていく検索の形態は非常に自然である。後者の検索形態に対して従来の検索情報の分割方式では適当でなかった。

従来の木構造を有する検索情報を分割して得られた単位検索情報は、対応の動画像コンテンツの時間的な構造の情報をそのまま保持しているので、動画像コンテンッと並行して検索情報を伝送し、オンライン検索でフィルタリングするなどの検索形態に適している。しかしながら、オフライン検索で大量データの動画像コンテンツを検索するような場合では、たとえば動画像コンテンツ全体に付加されている色頻度情報などの特定の検索情報のみを用いて所望のショットを検索する場合であっても、すべての検索情報を読込み、解析して必要な特定の検索情報のみを抜き出す必要があり、無駄な処理が多かった。

オフライン検索に対しては、複数のショットなどのように複数の動画像構成要素に付加されている同種の検索情報だけを入手し、それらを比較、照合することによって検索を実行するのが自然である。たとえば、サーバ装置は信号的検索情報要素のうちの色頻度情報について、複数のショットそれぞれに付加された色頻度情報のみを抜き出してクライアント端末に送信し、クライアント端未では、この色頻度情報を受信して、ユーザは受信した色頻度情報に基づいて所望するショットを検出して、対応するショットのデ ^"タのみをサーバ装置に要求する。以上のとおり、動画像コンテンツの検索情報の分割形式は、検索の形態に応じて切換えるべきであるが、従来はこのようなことが考慮されていなかった。発明の開示

本発明の目的は、動画像コンテンッに付きれた木構造を有する検索情報の効率的な利用を可能ならしめる検索情報の管理装置および検索情報の管理方法、ならびに効率的な検索処理を実行できる検索装置を提供することである。

この発明のある局面に係る検索情報管理装置は動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、分離部、構造情報抽出部および単位検索情報形成部を備える。

分離部は、検索情報を、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンッの信号上の物理的な特徴を表わす信号的検索情報とに分離して出力する。構造情報抽出部は、分離部から出力された構造的検索情報を分解し、分解後の構造的検索情報から意味的検索情報および信号的検索情報の少なくとも 1つに対応した情報を構造情報として抽出する。単位検索情報形成部は、分離部から出力された意味的検索情報および信号的検索情報の少なくとも 1つに、構造情報抽出部により抽出された対応の構造情報を付加して小単位の検索情報を形成する。

したがつて検索情報から分離された意味的検索情報および信号的検索情報の少なくとも 1つに、構造情報抽出部により抽出された対応の構造情報を付加した小単位の検索情報を、動画像コンテンツの検索情報とすることができるから、検索情報の量を少なくできる。それゆえに、動画像コンテンツの検索時に検索者が要求する小単位検索情報を形成して要求元に伝送する場合には、伝送すべき検索情報量を少なくできる。

この発明の他の局面に係る検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、分離部、構造情報抽出部および単位検索情報形成部を備える。

分離部は、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を分離して検索情報から抜き出す。構造情報抽出部は分離部により抜き出された 1または複数の検索情報要素に対応する構造情報を検索情報から抽出する。単位検索情報形成部は分離部により抜き出された 1または複数の検索情報要素と構造情報抽出部により抽出された対応する構造情報を所定の形式に従い配列することで小単位の検索情報を形成する。したがって小単位検索情報は、元の検索情報より抜き出された 1または複数の検索情報要素と対応する構造情報を所定の形式に従い配列されて形成されるので、小単位検索情報に含まれる検索情報要素同士を特定しやすく、動画像コンテンツ検索実行時での小単位検索情報の利用を容易とすることができる。

上述の検索情報管理装置では、分離部により抜き出された 1または複数の検索情報要素は、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報に対応してもよレ、。

したがって、小単位検索情報として動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報を用いることができるから、たとえば色頻度情報のみによる検索を行なうような場合には、対応する色頻度情報のみを伝送するまたは検索に使用することができて、信号的検索情報のみを用いた効率的な検索を実現できる。

上述の検索情報管理装置では、分離部により抜き出された 1または複数の検索情報要素は、動画像コンテンツの意味内容における特徴を表わす意味的検索情報に対応してもよい。

したがって、小単位検索情報として動画像コンテンツの意味内容における特徴を表わす意味的検索情報を用いることができるので、たとえば各シーンの登場人物のみによる検索を行なうような場合には、対応する登場人物情報のみを伝送するまたは検索に使用することができて意味的検索情報のみを用いた効率的な検索を実現できる。

上述の検索情報管理装置では、所定の形式は、分離部により抜き出された 1または複数の検索情報要素および構造情報抽出部により抽出された対応する構造情報を、木構造中の 1または複数の検索情報要素それぞれの出現順序に従って配列することを示してもよい。

したがって、小単位検索情報の 1または複数の検索情報要素および対応の構造情報は検索情報要素それぞれの木構造中の出現順序に従つて配置されているから、検索情報要素の前後関係を示すための情報を省略することができて、小単位検索情報の信号量をより少なくできる。

上述の検索情報管理装置では、小単位検索情報は、さらに次のように形成されてもよい。つまり、構造情報抽出部では、構造情報を、分離部により抜き出された 1または複数の検索情報要素に共通する種別を示す情報または共通する木構造中の位置情報を含む共通構造情報と、共通構造情報以外の非共通構造情報とに分離する。小単位検索情報は、分離部により抜き出された 1または複数の検索情報要素の配列に加えて、対応する共通構造情報と、対応する非共通構造情報のそれぞれとを配することで形成されるとしてもよい。

したがって、同種の検索情報要素に共通する情報として、たとえば検索情報要素が色頻度情報なのか、登場人物情報なのかといった種別情報、または検索情報要素が木構造のどの階層に接続されていたかを示す位置情報を含む情報が、 1または複数の検索情報要素の配列に付加されて配される。それゆえに、小単位検索情報に含まれる検索情報要素について、その種類、または木構造の対応する階層を簡単に知ることができる。

この発明の他の局面にかかる検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報から小単位の検索情報を形成して管理するために、記録位置情報抽出部、構造情報抽出部および単位検索情報形成部を備える。

記録位置情報抽出部は、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報を抽出する。構造情報抽出部は、検索情報から、 1または複数の検索情報要素に対応する構造情報を抽出する。単位検索情報形成部は、 1または複数の検索情報要素のそれぞれに対応する記録位置情報抽出部により抽出された記録位置情報および構造情報抽出部により抽出された構造情報を所定の形式に従い配列することで小単位の検索情報を形成する。

したがって、小単位検索情報が示す 1または複数の検索情報要素を小単位検索情報に配された言己録位置情報により特定することができるから、動画像コンテンッの検索実行時での検索情報要素の利用を容易とすることが可能である。動画像コンテンツを検索するために小単位検索情報が要求されたときに、要求元に小単位検索情報が伝送される場合には、検索情報要素自体を伝送しなくても要求元は受信した小単位検索情報の記録位置情報により所望の検索情報要素を特定することができ、また所望の検索情報要素のみをその都度要求元に伝送することによつて効率的な検索が可能である。

上述の検索情報管理装置では 1または複数の検索情報要素は、動画像コンテンッの信号上の物理的な特徴を表わす信号的検索情報に対応してもよい。

したがって、記録位置情報に対応する検索情報要素として動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報を用いることができる。それゆえに、たとえば色頻度情報のみによる検索を行なうような場合に、色頻度情報の位置情報からなる小単位検索情報を用いて対応する色頻度情報のみを伝送または検索に使用することを可能とし、信号的検索情報のみを用いた効率的な検索を実現できる。

上述の検索情報管理装置では、 1または複数の検索情報要素は、動画像コンテンッの意味内容における特徴を表わす意味的検索情報に対応してもよい。したがつて、記録位置情報に対応する検索情報要素として動画像コンテンツの意味内容における特徴を表わす意味的検索情報を用いることができる。それゆえに、たとえば各シ"ンの登場人物のみによる検索を行なうような場合に、登場人物情報の位置情報からなる小単位検索情報を用いて対応する登場人物情報のみを伝送または検索に使用することを可能とし、意味的検索情報のみを用いた効率的な検索を実現できる。

上述の検索情報管理装置では、所定の形式は、記録位置情報のそれぞれを、対応する 1または複数の検索情報要素それぞれの木構造中の出現順序に従って配列することを示してもよい。

したがって、小単位検索情報では対応する 1または複数の検索情報要素それぞれの前後関係を示すための情報を省略することができ、小単位検索情報の情報量をより少なくできる。

上述の検索情報管理装置では、構造情報抽出部は、さらに構造情報を、共通構造情報と、共通構造情報以外の非共通構造情報とに分離する。共通構造情報は、 1または複数の検索情報要素に共通する種別を示す情報または共通する木構造中の位置情報を含む。小単位検索情報は、 1または複数の検索情報要素と対応した記録位置情報の配列に加えて、対応する共通構造情報と、対応する非共通構造情報のそれぞれを配することで形成されるとしてもよい。

したがって、同種の検索情報要素に共通する情報として、たとえば検索情報要素が色頻度情報なのか、登場人物情報なのかといった種別情報、または検索情報要素が木構造のどの階層に接続されていたかを示す位置情報を含む情報が記録位置情報の配列に付加されて配される。それゆえに、小単位検索情報に含まれる記録位置情報により示される検索情報要素について、その種類、または木構造の対応する階層を簡単に知ることができる。

この発明のさらなる他の局面に係る検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、第 1および第 2の検索情報分割部と、分割選択部とを備える。

第 1の検索情報分割部は、検索情報を、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分割し、分割により得られた構造的検索情報から意味的検索情報および信号的検索情報のそれぞれに対応した情報を構造情報として抽出して、抽出された構造情報を分割により得られた意味的検索情報および信号的検索情報のそれぞれに付加して小単位の検索情報を形成する。

第 2の検索情報分割部は、検索情報を、木構造に基づく時間的な区切りに従つて分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する。

分割選択部は、所望される検索の形態に従って、検索情報を、第 1の検索情報分割部および第 2の検索情報分割部のいずれで分割するかを選択する。

したがって、動画像コンテンツに対応する木構造を有した検索情報を、小単位検索情報に分割して管理する際には、所望される検索の形態に従って一の形式の小単位検索情報または他の形式の小単位検索情報を形成できる。一の形式は、検索情報の種別に注目した形式である。具体的には検索情報を構造的検索情報、意味的検索情報および信号的検索情報それぞれに分割し、分割して得られた構造的検索情報から意味的検索情報および信号的検索情報のそれぞれに対応した構造情報を抽出し、意味的検索情報および信号的検索情報のそれぞれに抽出された構造情報を付加する形式である。他の形式は検索情報を時間的な区切りで分割し、分割後の検索情報のそれぞれからなる形式である。小単位検索情報を一の形式および他の形式のいずれで形成するかを選択可能としたので、オンライン検索、オフラィン検索などのような検索の形態によつて最適な小単位検索情報を選ぶことができるから、効率の良い検索を実現できる。

この発明のさらなる他の局面に従う検索情報管理装置は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、第 1および第 2の形成部と選択部とを備える。

第 1の形成部は、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を分離して検索情報から抜き出し、抜き出された 1または複数の検索情報要素に対応する構造情報を検索情報から抽出して、抜き出された 1または複数の検索情報要素と抽出された対応の構造情報を所定の形式に配列することで小単位の検索情報を形成する。

第 2の形成部は、検索情報を木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する。

選択部は、所望する検索の形態に従って、小単位の検索情報を、第 1の形成部および第 2の形成部のいずれで形成するかを選択する。

したがって、動画像コンテンツに対応する木構造を有した検索情報を小単位検索情報に分割して管理する際、所望される検索の形態に従って、一の形式または他の形式で形成される。一の形式は、検索情報の種別に注目した形式であって、詳細には、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された蕖または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を抜き出し、抜き出された 1または複数の検索情報要素に対応する構造情報を抽出して、 1または複数の検索情報要素および対応する構造情報を所定の形式に配列することを示す。他の形成は検索情報を木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから形成することを示す。小単位検索情報を一の形式および他の形式のいずれで形成するかを選択可能としたので、オンラィン検索、オフライン検索などの検索の形態によつて最適な小単位検索情報を選ぶことが可能となり、効率の良い検索を実行できる。

この発明のさらなる他の局面に係る検索情報管理方法は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために分離ステップ、構造情報抽出ステップおよび単位検索情報形成ステップを有する, 分離ステップでは、検索情報は、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分離して出力される。

構造情報抽出ステップでは、分離ステツプから出力された構造的検索情報は分解され、分解後の構造的検索情報から意味的検索情報および信号的検索情報の少なくとも 1つに対応した情報が構造情報として抽出される。

単位検索情報形成ステップでは、分離ステップから出力された意味的検索情報および信号的検索情報の少なくとも 1つに、構造情報抽出ステップにより抽出された対応の構造情報を付加して小単位の検索情報が形成される。

したがつて検索情報から分離された意味的検索情報および信号的検索情報の少なくとも 1つに、構造情報抽出部により抽出された対応の構造情報を付カ卩した小単位の検索情報を、動画像コンテンツの検索情報とすることができるから、検索情報の量を少なくできる。それゆえに、動画像コンテンツの検索時に検索者が要求する小単位検索情報を形成して要求元に伝送する場合には、伝送すべき検索情報量を少なくできる。

この発明のさらなる他の局面に係る検索情報管理方法は、動画像コ

対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために分離ステップ、構造情報抽出ステップおよび単位検索情報形成ステップを備える, 分離ステップでは、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素は分離されて検索情報から抜き出される。構造情報抽出二離ステップにより抜き出された 1または複数の検索情報要素に対応する構造情報は検索情報から抽出される。単位検索情報形成ステップでは分離ステップにより抜き出された 1または複数の検索情報要素と構造情報抽出ステップにより抽出された対応する構造情報とが所定の形式に従い配列されることで小単位の検索情報が形成される。

したがつて小単位検索情報は、元の検索情報より抜き出された 1または複数の検索情報要素と対応する構造情報を所定の形式に従い配列されて形成されるので、小単位検索情報に含まれる検索情報要素同士を特定しやすく、動画像コン検索実行時での小単位検索情報の利用を容易とすることができる _c

この発明のさらなる他の局面にかかる検索情報管理方法は、動画像コンに対応する木構造を有した検索情報から小単位の検索情報を形成して管理するために、記録位置情報抽出ステップ、構造情報抽出ステップおよび単位検索情報形成ステップを備える。

記録位置情報抽出ステップでは、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報が抽出される。構造情報抽出ステップでは、検索情報から、 1または複数の検索情報要素に対応する構造情報が抽出される。単位検索情報形成ステップでは、 1または複数の検索情報要素のそれぞれに対応する記録位置情報抽出ステップにより抽出された記録位置情報および構造情報抽出ステップにより抽出された構造情報が所定の形式に従！/、配列されることで小単位の検索情報が形成される。

したがって、小単位検索情報が示す 1または複数の検索情報要素を小単位検索情報に配された記録位置情報により特定することができるから、動画像コンテンッの検索実行時での検索情報要素の利用を容易とすることが可能である。動画像コンテンツを検索するために小単位検索情報が要求されたときに、要求元に小単位検索情報が伝送きれる場合には、検索情報要素自体を伝送しなくても要求元は受信した小単位検索情報の記録位置情報により所望の検索情報要素を特定することができ、また所望の検索情報要素のみをその都度要求元に伝送することによつて効率的な検索が可能である。

この発明のさらなる他の局面に係る検索情報管理方法は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために、第 1および第 2の検索情報分割ステップと分割選択ステツプとを備える。

第 1の検索情報分割ステップでは、検索情報は、動画像コンテンツの構造を表わす構造的検索情報と、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分割されて、分割により得られた構造的検索情報から意味的検索情報および信号的検索情報のそれぞれに対応した情報は構造情報として抽出されて、抽出された構造情報を分割により得られた意味的検索情報および信号的検索情報のそれぞれに付加して小単位の検索情報が形成される。

第 2の検索情報分割ステップでは、検索情報は、木構造に基づく時間的な区切りに従って分割されて、分割後の検索情報のそれぞれから小単位の検索情報が形成される。

分割選択ステップでは、所望される検索の形態に従って、検索情報を、第 1の検索情報分割ステップおよび第 2の検索情報分割ステップのいずれで分割するかが選択される。

したがって、動画像コンテンツに対応する木構造を有した検索情報を、小単位検索情報に分割して管理する際には、所望される検索の形態に従って一の形式の小単位検索情報または他の形式の小単位検索情報を形成できる。一の形式は、検索情報の種別に注目した形式である。具体的には検索情報を構造的検索情報、意味的検索情報および信号的検索情報それぞれに分割し、分割して得られた構造的検索情報から意味的検索情報および信号的検索情報のそれぞれに対応した構造情報を抽出し、意味的検索情報および信号的検索情報のそれぞれに抽出された構造情報を付加する形式である。他の形式は検索情報を時間的な区切りで分割し、分割後の検索情報のそれぞれからなる形式である。小単位検索情報を一の形式および他の形式のいずれで形成するかを選択可能としたので、オンライン検索、オフライン検索などのような検索の形態によって最適な小単位検索情報を選ぶことができるから、効率の良い検索を実現できる。

この発明のさらなる他の局面に従う検索情報管理方法は、動画像コンテンツに対応する木構造を有した検索情報を小単位の検索情報に分割して管理するために第 1および第 2の形成ステップと選択ステップとを備える。第 1の形成ステップでは、 1または複数の部分木により与えられる、 1または複数の検索情報要素を検索情報から分離して抜き出し、抜き出された 1または複数の検索情報要素に対応する構造情報を検索情報から抽出して、抜き出された 1または複数の検索情報要素と抽出された対応の構造情報を所定の形式に配列することで小単位の検索情報を形成する。ここで、部分木は、検索情報に含まれる同種の要素であって、木構造中の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる。

第 2の形成ステップでは、検索情報を木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する。

選択ステップでは、所望する検索の形態に従って、小単位の検索情報を、第 1 の形成ステップぉよび第 2の形成ステップのいずれで形成するかを選択する。したがって、動画像コンテンツに対応する木構造を有した検索情報を小単位検索情報に分割して管理する際、所望される検索の形態に従って、一の形式または他の形式で形成される。一の形式は、検索情報の種別に注目した形式であって、詳細には、 1または複数の上述したような部分木により与えられる、 1または複数の検索情報要素を抜き出し、抜き出された 1または複数の検索情報要素に対応する構造情報を抽出して、 1または複数の検索情報要素および対応する構造情報を所定の形式に配列することを示す。他の形式は検索情報を木構造に基づく時間. 的な区切りに従って分割し、分割後の検索情報のそれぞれから形成することを示す。小単位検索情報を一の形式および他の形式のいずれで形成するかを選択可能としたので、オンライン検索、オフライン検索などの検索の形態によって最適な小単位検索情報を選ぶことが可能となり、効率のよい検索を実行できる。

この発明のさらなる他の局面に係る検索装置は、動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報に基づいて検索を実行するために、小単位の検索情報を保持する保持部と、小単位の検索情報を用いて動画像コンテンッの検索を実行する検索実行部とを備える。小単位の検索情報は、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報のそれぞれから形成される小単位の検索情報の少なくとも 1つであり、かつ動画像コンテンッの構造を表わす構造的検索情報から得られる構造情報を含む。

したがって、小単位検索情報は、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報との少なくとも一方と、動画像コンテンツの構造情報とを含んで形成される。それゆえに、動画像コンテンツ検索時に意味的検索情報または信号的検索情報の所望する情報に対応する小単位検索情報を利用することで、効率よく検索できる。

この発明のさらなる他の局面に係る検索装置は、動画像コンテンツに対応する木構造を有した検索情報を分割した小単位の検索情報に基づいて検索を実行するために、小単位の検索情報を保持する保持部および小単位の検索情報を用いて動画像コンテンツの検索を実行する検索実行部とを備える。この小単位の検索情報は、検索情報から分離して抜き出された検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素および検索情報から抽出された 1または複数の検索情報要素に対応した構造情報を所定形式に配列することで形成される。

したがって、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる： Lまたは複数の部分木により与えられる、 1または複数の検索情報要素を抜き出し、また、抜き出された 1または複数の検索情報要素に対応する構造情報を抽出し、 1または複数の検索情報要素および対応する構造情報を所定の形式に配列することで形成された小単位検索情報を用いて検索が行われるから、小単位検索情報に含まれる検索情報要素を特定しやすく、効率よく検索を行なうことができる。この発明のきらなる他の局面に係る検索装置は、動画像コンテンツに対応する木構造を有した検索情報から形成した小単位の検索情報に基づいて検索を実行するために、小単位の検索情報を保持する第 1の保持部、小単位の検索情報を用いて得られる 1または複数の検索情報要素を保持する第 2の保持部および小単位の検索情報および 1または複数の検索情報要素を用レ、て動画像コンテンツの検索を実行する検索実行部を備える。この小単位の検索情報は、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報と、検索情報から抽出された対応の構造情報とを所定の形式に配列することで形成される。

したがって、検索情報に含まれる同種の要素であって、木構造中の 1または複数の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれの記録位置情報と構造情報が所定の形式に配列されて形成された小単位検索情報を用いて検索が実行されるから、小単位検索情報中の記録位置情報で指し示される検索情報要素を特定しやすく、また状況に応じて必要最小限の検索情報要素のみをその都度取得することで、効率的な検索を行なうことができる。この発明のさらなる他の局面に係る検索情報管理装置は、位置算出部と復元部とを備える。

位置算出部では、動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報から、木構造を有した検索情報の一部を復元するために、小単位の検索情報に含まれる構造情報から小単位の検索情報に含まれる意味的検索情報あるいは信号的検索情報に対応する木構造中の位置を求める。

復元部では、小単位の検索情報に含まれる意味的検索情報あるいは信号的検索情報と求められた木構造中の位置とから木構造を有した検索情報の一部を復元する。

この小単位の検索情報は、動画像コンテンッの意味内容における特徴を表わす意味的検索情報と、動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報のそれぞれから形成される小単位の検索情報の少なくとも 1つであり、かつ動画像コンテンツの構造を表わす構造的検索情報から得られる構造情報を含む。したがって、小単位検索情報は、動画像コンテンツの意味内容における特徴を表わす意味的検索情報と動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報との少なくとも一方と、動画像コンテンツの構造情報とを含んで形成される。それゆえに、所望する意味的検索情報または信号的検索情報に対応する小単位の検索情報を利用して、木構造を有した検索情報の一部を復元することで、少量の検索情報のみを木構造の形で管理することができる。

この発明のさらなる他の局面に係る検索情報管理装置は、位置算出部と復元部とを備える。

位置算出部では、動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報から木構造を有した検索情報の一部を復元するために、小単位の検索情報に含まれる構造情報から小単位の検索情報に含まれる 1または複数の検索情報要素に対応する木構造中の位置を求める。

復元部は小単位の検索情報に含まれる 1または複数の検索情報要素と求められた木構造中の位置とから木構造を有した検索情報の一部を復元する。

この小単位の検索情報は、 1または複数の部分木により与えられる、 1または複数の検索情報要素および、検索情報から抽出された 1または複数の検索情報要素に対応した構造情報を所定形式に配列することで形成される。ここで部分木は、検索情報から分離して抜き出された、検索情報に含まれる同種の要素であって、木構造中の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる。

したがって、小単位検索情報は、検索情報に含まれる同種の要素であって、 1 または複数の上述したような部分木により与えられる、 1または複数の検索情報要素と、対応する構造情報とを所定形式に配列することで形成される。

それゆえに、所望する検索情報要素に対応する小単位の検索情報を利用して木構造を有した検索情報の一部を復元することで、少量の検索情報のみを木構造の形で管理することができる。この発明のさらなる他の局面に係る検索情報管理装置は、位置算出部と、検索情報要素取得部と、復元部とを備える。

位置算出部では、動画像コンテンツに対応する木構造を有した検索情報から形成した小単位の検索情報に基づいて、木構造を有した検索情報の一部を復元するために、小単位の検索情報に含まれる構造情報から小単位の検索情報に含まれる記録位置情報で示される 1または複数の検索情報要素に対応する木構造中の位置を求める。

検索情報要素取得部では、小単位の検索情報に含まれる記録位置情報に基づいて対応する 1または複数の検索情報要素を取得する。復元部では、取得された 1 または複数の検索情報要素と求められた木構造中の位置とから木構造を有した検索情報の一部を復元する。

小単位の検索情報は、 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報と、検索情報から抽出された対応の構造情報とを所定形式に配列することで形成される。ここで部分木は、検索情報に含まれる同種の要素であつて、木構造中の葉あるいは木構造中の節および該節以下に連結された葉または節の任意の集合からなる。

したがって、小単位検索情報は、検索情報に含まれる 1または複数の上述したような部分木により与えられる、 1または複数の検索情報要素それぞれの記録位置情報と対応する構造情報とを所定形式に配列することで形成されるから、所望する検索情報要素に対応する記録位置情報からなる小単位の検索情報を利用して木構造を有した検索情報の一部を復元することで、少量の検索情報のみを木構造の形で管理することができる。図面の簡単な説明

図 1は、本発明の第 1および第 2の実施の形態に係る検索情報管理装置の概略構成図である。

図 2は、本発明の第 1の実施の形態において用いる木構造を有する検索情報を示す図である。図 3は、本発明の第 1の実施の形態に係る検索情報管理装置における意味的単位検索情報形成部および信号的単位検索情報形成部の内部構成を示す図である。図 4 A〜図 4 Cは、本発明の第 1の実施の形態において分割により得られた意眛的検索情報の単位検索情報を示す図である。

図 5 A〜図 5 Cは、本発明の第 1の実施の形態において分割により得られた信号的検索情報の単位検索情報を示す図である。

図 6は、本発明の第 1の実施の形態に係る検索情報管理方法を示すフローチヤ -トである。

図 7は、本発明の第 1および第 2の実施の形態に係る検索装置の概略構成図である。

図 8 A〜図 8 Dは、本発明の第 2の実施の形態において形成された意味的検索情報および信号的検索情報それぞれの単位検索情報を示す図である。

図 9は、本発明の第 3の実施の形態に係る検索情報管理装置の概略構成図である。

図 1 0は、動画像コンテンツの一般的な構造を説明する図である。

図 1 1は、図 1 0の動画像コンテンツに付加される検索情報を木構造で示した図である。

図 1 2は、図 1 0の動画像コンテンツの検索情報の記録方式を説明する図である。

図 1 3 A〜図 1 3 Dは、従来の木構造を有する検索情報の分割を示す図である。図 1 4は、従来の木構造を有する検索情報の管理方法を示す図である。発明を実施するための最良の形態

この発明の各実施の形態を図面を参照し説明する。

(第 1の実施の形態）

図 1には、本実施の形態の検索情報管理装置 1の機能構成が示される。図 1において検索情報管理装置 1は検索情報解析部 1 0 1、構造的検索情報分解部 1 0 2、意味的単位検索情報形成部 1 0 3、信号的単位検索情報形成部 1 0 4および単位検索情報制御部 1 0 5を含む。検索情報解析部 1 0 1は、動画像コに対応した木構造を有する検索情報 1 5を入力し、入力した検索情報 1 5を構造的検索情報の 1つ以上の検索情報要素 1 5 2、意味的検索情報の 1つ以上の検索情報要素 1 5 3および信号的検索情報の 1つ以上の検索情報要素 1 5 4に分離し選別して出力する。

構造的検索情報分解部 1 0 2は、検索情報解析部 1 0 1から出力された 1っ以上の構造的検索情報要素 1 5 2を受取り、受取った検索情報要素 1 5 2から必要最小限の構造情報 5 0を抜き出して、意味的単位検索情報形成部 1 0 3と信号的単位検索情報形成部 1 0 4に出力する。より詳細には、構造的検索情報分解部 1 0 2は、与えられる 1つ以上の構造的検索情報要素を入力して分解し、分解後の 1つ以上の構造的検索情報要素の内容から意味的検索情報および信号的検索情報の少なくとも 1つに対応した情報を最小限の構造情報 5 0として抽出する。

図 2には本実施の形態で用いる木構造を有する検索情報が示される。説明の簡便のために、この検索情報 1 5では、構造的検索情報要素 1 5 2はシーンそれぞれぉよびシヨットそれぞれのノード I D情報および時刻情報のみからなり、意味的検索情報要素 1 5 3はシーンそれぞれの情景描写情報、ならびにショットそれぞれの登場人物情報および行動描写情報のみからなり、信号的検索情報要素 1 5 4はシンそれぞれの代表色情報ならびにショットそれぞれの色頻度情報および動き強度情報のみからなるものとしている。なお、実際の検索情報 1 5は、この他にも多種の検索情報要素を有するが、本発明はそれらの多種の検索情報要素それぞれにも同様に適用できる。

構造的検索情報分解部 1 0 2は必要最小限の構造情報 5 0として、構造化情報 (ノード I Dなど） 5 O Aおよび構造属性情報（時刻情報など） 5 0 Bのいずれか一方を選択して、または両方を選択して抜き出す。構造情報 5 0としてどの情報を選択するかは、その後に得られる各単位検索情報を用いて実行される検索の形態に依存する。

構造化情報 5 O Aが選択された場合には、動画像コンテンツの有する階層構造や、動画像全体における各シーン、ショット相互の関係などに重きをおいた検索を実行できる。構造属性情報 5 0 Bが選択された場合には、検索結果に対応した動画像コンテンツ内の箇所を即座に抜き出して表示するなどの検索が実行できる。構造化情報 5 0 Aについてさらに詳しく述べる。構造化情報 5 0 Aとは検索情報の木構造を形作るための情報であり、元の木構造を復元することを可能ならしめる情報である。本実施の形態で示した構造化情報 5 0 Aであるノ一ド I D情報は、節 ND間の連結関係（「# 1一 1」、「# 1— 2」は「# 1」に連結される子節 NDであるなど）を示しており、この情報を用いて元の木構造を復元することができる。したがって、元の木構造を復元することが必要となる検索では、構造化情報 5 O Aが構造情報として選択される。

また図 2では、各検索情報要素に当る葉 R Fには I D情報が付加されていない力 S、各葉 R Fに I D情報を与えてもよい。構造化情報 5 O Aとしてはこの他に、木構造中の各「枝」（根 R、節 N D、葉 R Fを相互に繋いでいる棒の部分）にコ一ドを害 U振り、根 Rからある節 N Dあるいは葉 R Fに至るまでに通る枝のコドで、その節 NDあるいは葉 R Fの位置情報を与えることもできる。

また、構造的検索情報要素 1 5 2から抽出される構造情報 5 0は、必要最小限の情報とするために、必要に応じて冗長な情報を削除し情報の圧縮を行なってもよい。たとえば、構造情報 5 0として構造化情報 5 0 Aであるノ一ド I D情報を用いた場合に、「# 1— 1」の次に来る「# 1— 2」は上位の節 N Dのノード I Dである「# 1」が共通であるため、「# 1 J を省略し「2」という情報 ©みを構造情報 5 0として与える、といったことが可能である。また、「1」の次に必ず「2」が来る（必ず 1増加する）ことがわかっていれば、「1増加」に当る差分情報を生成して構造情報 5 0として与えてもよい。必要最小限の構造情報 5 0 を抽出する方法はこれらに限らない。

意味的単位検索情報形成部 1 0 3は、検索情報解析部 1 0 1から与えられた意味的検索情報要素 1 5 3と、構造的検索情報分解部 1 0 2から与えられる必要最小限の構造情報 5 0とを入力し、入力したそれら情報を配列して意味的検索情報の単位検索情報 1 5 3 Aを形成する。

図 3には、図 1の意味的単位検索情報形成部 1 0 3の内部構成が示される。図 3において意味的単位検索情報形成部 1 0 3は要素種別判定部 2 0 1、検索情報配列部 2 0 2および共通情報抽出部 2 0 3を有する。ここでは、検索情報 1 5の木構造中の同種の節 N D (あるいは根 R ) に接続された同種の検索情報要素 1 5 3 (葉 R F ) を、検索情報要素 1 5 3の種別ごとに、それらの木構造における出現順序関係を保持しながら配列して単位検索情報 1 5 3 Aを形成する。すなわち、要素種別判定部 2 0 1は検索情報解析部 1 0 1から与えられる意味的検索情報の検索情報要素 1 5 3を受理すると、受理した検索情報要素 1 5 3それぞれを、その種別（種別は登場人物情報、行動描写情報などのような異なる情報の種類を示す）を判定しながら検索情報配列部 2 0 2および共通情報抽出部 2 0 3に判定結果とともに出力する。検索情報配列部 2 0 2は要素種別判定部 2 0 1から与えられる情報に基づいて種別ごとに、構造的検索情報分解部 1 0 2で抜き出された対応する必要最小限の構造情報 5 0とともに検索情報要素 1 5 3を配列して単位検索情報 1 5 3 Aを形成する。このとき、検索情報配列部 2 0 2により形成された種別ごとの単位検索情報 1 5 3 Aそれぞれに含まれる検索情報要素 1 5 3に共通する情報（たとえば検索情報要素 1 5 3の種別を示す情報など） 1 5 3 Bは共通情報抽出部 2 0 3で抽出されて、検索情報配列部 2 0 2に与えられるので、検索情報配列部 2 0 2は形成した単位検索情報 1 5 3 Aの先頭に共通情報抽出部 2 0 3から与えられた共通情報 1 5 3 Bを配置する。共通情報 1 5 3 Bとしてこの他に、意味的検索情報要素 1 5 3のフォーマツトゃデ^"タ長を示す情報なども使用することができ、共通情報 1 5 3 Bとして用いられる情報について特に制限はなレ、。

構造的検索情報分解部 1 0 2で抜き出された構造情報 5 0あるいは元の構造的検索情報要素 1 5 2から、各検索情報要素が同じ階層の節に接続されていた場合の階層情報などのような共通化可能な情報を共通情報抽出部 2 0 3において抽出し、付属の共通情報 1 5 3 Bとして単位検索情報の先頭に配置することもできる。また、この構造情報 5 0あるいは構造的検索情報要素 1 5 2から得られる節 N Dの階層情報に基づけば、要素種別としては同一であるが付される節 N Dの階層が互いに異なる意味的検索情報要素 1 5 3同士を区別し、それぞれ同じ階層に付された意味的検索情報要素 1 5 3のみからなる単位検索情報 1 5 3 Aを別々に形成することができる。

共通情報 1 5 3 Bを配置する位置についても、単位検索情報 1 5 3 Aの先頭に限定されず、単位検索情報 1 5 3 Aの最後尾に配置されてもよく、単位検索情報 1 5 3 A内に配置されてもよく、あるいは共通情報 1 5 3 Bは別の記録場所に単位検索情報 1 5 3 Aと該共通情報 1 5 3 Bの対応関係を示す情報とともに記録されるとしてもよい。共通情報 1 5 3 Bおよび共通情報抽出部 2 0 3による処理は省略されてもよい。

図 4 A〜図 4 Cは図 2の木構造を有する検索情報 1 5から意味的検索情報要素 1 5 3である情景描写情報、登場人物情報および行動描写情報を抜き出して、抜き出したこれら意味的検索情報要素 1 5 3と対応の構造情報 5 0とを共通情報 1 5 3 Bとともに配列して形成された単位検索情報 1 5 3 Aを示す図である。

なお、図 4 A〜図 4 Cの単位検索情報 1 5 3 Aでは、意味的検索情報要素 1 5 3と対応する構造情報 5 0とを、対になる形で交互に配列した例を示したが、意味的検索情報要素 1 5 3と対応する構造情報 5 0の配列の形式はこれに限らない。たとえば、先に構造情報 5 0のみをまとめて配列し、その後に対応する意味的検索情報要素 1 5 3を連続して配列するといつた形式を取ってもよく、またその逆であってもよい。木構造中の出現順序関係を保って配列する以外に、配列の形式に関する制限はない。

構造的検索情報分解部 1 0 2で抜き出された構造情報 5 0あるいは構造的検索情報要素 1 5 2から意味的検索情報要素 1 5 3に対する共通情報 1 5 3 Bが抽出される場合には、意味的検索情報要素 1 5 3のそれぞれに対応する構造情報 5 0 として、共通情報 1 5 3 Bからの差分を示した差分情報（共通化不可能な情報）を用いることもできる。

構造情報 5 0として構造化情報 5 O Aのノ^"ド I D情報を用いた場合、次のような手順で単位検索情報 1 5 3 Aを形成することができる。たとえば、「# 1— 1」のノード I Dを持つ節 N Dと「# 1— 2」のノド I Dを持つ節 NDに対して、共通する上位節 N Dのノード I Dに相当する情報「# 1」を共通情報 1 5 3 Bとして抜き出して、単位検索情報 1 5 3 A中に 1つだけ付加し、共通情報「# 1 J を差引いたノード I Dの差分情報「1」および「2」のそれぞれを意味的検索情報要素 1 5 3それぞれに対応する構造情報 5 0として配列すればよい。

あるいは 1つの階層に注目してその節 N Dの階層情報を共通情報として付加し、その階層からの差分を示す情報（ 1つ上の階層または 1つ下の階層を示す情報など）を意味的検索情報要素 1 5 3ごとに付加するとしてもよい。その際には差分のない意味的検索情報要素 1 5 3では階層情報に関する付加情報を省略することとしてもよい。この他にも意味的検索情報要素 1 5 3ごとに付加する情報として、そのシーンあるいはそのショットに該当する意味的検索情報要素 1 5 3があるかないかを示したフラグであってもよいし、あるいは意味的検索情報要素 1 5 3を使用する際の重要度などを示す情報であってもよく、意味的検索情報要素 1 5 3 ごとに付加される情報に特に制限はない。

信号的単位検索情報形成部 1 0 4は、検索情報解析部 1 0 1から信号的検索情報の 1つ以上の検索情報要素 1 5 4を受取り、構造的検索情報分解部 1 0 2から与えられる必要最小限の構造情報 5 0を受取り、受取った検索情報要素 1 5 4と構造情報 5 0を配列して信号的検索情報の 1つ以上の単位検索情報 1 5 4 Aを形成し出力する。信号的単位検索情報形成部 1 0 4の内部構成も図 3の構成と同様である。ここでは、検索情報 1 5の木構造中の同種の節 ND (あるいは根 R ) に接続された同種の信号的検索情報要素 1 5 4 (葉 R F ) を、信号的検索情報要素 1 5 4の種別ごとに、それらの木構造における出現順序関係を保持しながら配列することで 1つ以上の単位検索情報 1 5 4 Aを形成して出力する。すなわち、図 4の要素種別判定部 2 0 1は信号的検索情報要素 1 5 4を受理すると受理した信号的検索情報要素 1 5 4それぞれの種別（色頻度情報や動き強度情報などのような異なる情報の種別）を判定して、判定結果と信号的検索情報要素 1 5 4を検索情報配列部 2 0 2および共通情報抽出部 2 0 3に出力する。検索情報配列部 2 0 2は与えられた情報に基づいて種別ごとに信号的検索情報要素 1 5 4を、構造的検索情報分解部 1 0 2から与えられた対応する必要最小限の構造情報 5 0とともに配列して 1つ以上の単位検索情報 1 5 4 Aを形成して出力する。このとき、共通情報抽出部 2 0 3は、与えられた情報に基づいて、検索情報配列部 2 0 2により形成された単位検索情報 1 5 4 Aそれぞれに含まれる信号的検索情報要素 1 5 4に共通する情報（たとえば信号的検索情報要素 1 5 4の種別を示す情報など） 1 5 4 Bを信号的検索情報要素 1 5 4から抽出し検索情報配列部 2 0 2に与えるので、検索情報配列部 2 0 2は共通情報抽出部 2 0 3から与えられた共通情報 1 5 4 Bを単位検索情報 1 5 4 Aの先頭に配置する。共通情報 1 5 4 Bとしてこの他、信号的検索情報要素 1 5 4のデータフォーマツト、色頻度情報のサンプル数やデータ長なども使用することができ、共通情報 1 5 4 Bとして用いられる情報に特に制限はない。

構造的検索情報分解部 1 0 2で抜き出された構造情報 5 0あるいは元の構造的検索情報要素 1 5 2力ら、各検索情報要素が同じ階層の節に接続されていた場合の階層情報などのような共通可能な情報を共通情報抽出部 2 0 3で抽出し、付属の共通情報 1 5 4 Bとして信号的単位検索情報 1 5 4 Aの先頭に配置することもできる。

また、この構造情報 5 0あるいは構造的検索情報要素 1 5 2から得られる節 N Dの階層情報に基づけば、要素種別としては同一であるが付される節 N Dの階層が互いに異なる信号的検索情報要素 1 5 4同士を区別し、それぞれ同じ階層に付された信号的検索情報要素 1 5 4のみからなる単位検索情報 1 5 4 Aを別々に形成することができる。

共通情報 1 5 4 Bを配置する位置についても特に制限はない。たとえば、共通情報 1 5 4 Bは単位検索情報 1 5 4 Aの最後尾に配置されてもよく、単位検索情報 1 5 4 A内に配置されてもよい。共通情報 1 5 4 Bを別の記録場所に該共通情報 1 5 4 Bと単位検索情報 1 5 4 Aとの対応関係を示す情報とともに記録するとしてもよい。共通情報 1 5 4 Bおよび共通情報抽出部 2 0 3による処理は省略さ図 5 A〜図 5 Cの単位検索情報 1 5 4 Aは、図 2の木構造を有する検索情報 1 5から信号的検索情報要素 1 5 4である代表色情報、色頻度情報および動き強度情報をそれぞれ抜き出して、抜き出されたこれら信号的検索情報要素 1 5 4と対応の構造情報 5 0とを共通情報 1 5 4 Bとともに配列して形成されたものである。なお、図 5 A〜図 5 Cの単位検索情報 1 5 4 Aでは、信号的検索情報要素 1 5 4と対応する構造情報 5 0とを、対になる形で交互に配列した例を示したが、信号的検索情報要素 1 5 4と対応する構造情報 5 0の配列の形式はこれに限らない。たとえば、先に構造情報 5 0のみをまとめて配列し、その後に対応する信号的検索情報要素 1 5 4を連続して配列するといつた形式を取ってもよく、またその逆であってもよい。木構造中の出現順序関係を保って配列する以外に、配列の形式に関する制限はない。

構造的検索情報分解部 1 0 2で抜き出された構造情報 5 0あるいは構造的検索情報要素 1 5 2から信号的検索情報要素 1 5 4に対する共通情報 1 5 4 Bが抽出される場合には、信号的検索情報要素 1 5 4のそれぞれに対応する構造情報 5 0 として、共通情報 1 5 4 Bからの差分を示した差分情報（共通化不可能な情報）を用いることもできる。構造情報 5 0として構造化情報 5 O Aのノ^"ド I D情報を用いた場合、次のような手順で単位検索情報 1 5 4 Aを形成することができる。たとえば、「# 1— 1」のノード I Dを持つ節 N Dおよび「# 1— 2」のノ」ド I Dを持つ節 N Dに対して、共通する上位節 N Dのノド I Dに相当する情報「# 1」を共通情報 1 5 4 Bとして抜き出して、単位検索情報 1 5 4 A中に 1つだけ付加し、共通情報「# 1」を差引いたノード I Dの差分情報「1」および「2」のそれぞれを信号的検索情報要素 1 5 4それぞれに対応する構造情報 5 0 として配列する。

あるいは、 1つの階層に注目してその節 N Dの階層情報は共通情報 1 5 4 Bとして単位検索情報 1 5 4 Aに付加し、その階層からの差分を示す情報（1つ上の階層または 1つ下の階層を示す情報など）を信号的検索情報要素 1 5 4ごとに付加するとしてもよい。その際に差分なしの信号的検索情報要素 1 5 4では差分情報の付加を省略してもよい。

この他にも、信号的検索情報要素 1 5 4ごとの付加情報として、そのシーンあるいはショットに該当する信号的検索情報要素 1 5 4があるか否かを示したフラグであってもよいし、信号的検索情報要素 1 5 4を使用する際の重要度を示す情報であってもよく、信号的検索情報要素 1 5 4ごとの付加情報に特に制限はない。意味的単位検索情報形成部 1 0 3および信号的単位検索情報形成部 1 0 4で生成された構造情報 5 0を含む意味的検索情報および信号的検索情報の単位検索情報 1 5 3 Aおよび 1 5 4 Aは、単位検索情報制御部 1 0 5に与えられる。

単位検索情報制御部 1 0 5は、検索情報管理装置 1外の処理部 1 6に接続される。処理部 1 6は情報を伝送するための伝送部や情報を何らかのメディアに記録して蓄積するための蓄積部や情報の検索処理を実行するための部分などに相当する。処理部 1 6が伝送部であった場合、検索情報管理装置 1は伝送部からの要求などに応じた 1つ以上の単位検索情報を単位検索情報 1 53 Aおよび 1 54Aの中から選択し、処理部 16 (伝送部）に与える。

図 6のフロ^"チャートを参照して、本実施の形態に係る検索情報の管理方法を説明する。まず、分割すべき検索情報 15が指定されるので、検索情報解析部 1 01は指定された検索情報 15を入力し（ステップ S l。以下、ステップ Sは単に Sという）、入力した検索情報 15を検索情報要素ごとに分離し、分離して得られた構造的検索情報要素 1 52、意味的検索情報要素 153および信号的検索情報要素 154のそれぞれを順次出力する（S 2) 。順次得られた検索情報要素は構造的検索情報に相当するの力、意味的検索情報に相当するのか、あるいは信号的検索情報に相当するのかが判定されて、判定結果に基づいて該検索情報要素は構造的検索情報分解部 102、意味的単位検索情報形成部 103および信号的単位検索情報形成部 104のいずれかに与えられる（S 3) 。

検索情報要素が構造的検索情報であれば、その構造的検索情報要素 152から意味的検索情報および信号的検索情報の単位検索情報 1 53 Aおよび 154 Aを形成するのに必要な構造情報 50を抽出し（S 4) 、再び検索情報要素の分離、読込を続ける（S 2) 。

検索情報要素が意味的検索情報であれば、さらにその種別を判定し（S 5) 、その意味的検索情報要素 1 53を、それと同一の種別のそれまでに配列した意味的検索情報要素 153の配列の最後尾に、既に抽出されている構造情報 50とともに配置する（S 6) 。

検索情報要素が信号的検索情報であれば、さらにその種別を判定し（S 7) 、その信号的検索情報要素 154を、それと同一の種別のそれまでに配列した信号的検索情報要素 154の配列の最後尾に、既に抽出されている構造情報 50とともに配匱する（S 8) 。

ステップ S 4~S 8の単位検索情報 153 Aおよび 154Aを形成するための処理それぞれを終えた時点で、検索情報 15の終わりか否かを判定し（S 9) 、判定結果終わりであれば、形成された単位検索情報 153 Aおよび 154 Aは単位検索情報制御部 105に与えられ、ここで保持される（S 10) t 終わりでなければ、再び検索情報要素の分離、読込が継続される（S 2) 。以上のような構成およびフローチャートに従う処理を行なうことによって、動画像コンテンツの検索時に必要とする最小限の検索情報を転送可能あるいは利用可能とし、効率的な検索を実行することができる。

図 7には本実施の形態に係る検索装置 2の概略構成が示される。図 7に示されるように検索者 1 8により操作される検索装置 2は動画像コンテンツについての検索を実行するための検索実行部 7 0 1、意味的単位検索情報保持部 7 0 2、信号的単^ Ϊ検索情報保持部 7 0 3および検索情報制御部 7 0 4を有する。検索実行部 7 0 1は、検索者 1 8から入力される検索要求に従って、意味的単位検索情報保持部 7 0 2に保持（記録）されている意味的単位検索情報 1 5 3 Aおよび信号的単位検索情報保持部 7 0 3に保持（記録）されている信号的単位検索情報 1 5 4 Aのうちの 1つ以上からなる任意の組合せを選択して、選択された組合せによる単位検索情報を取得して、取得した単位検索情報を用いて検索を実行する。選択すべき単位検索情報が対応する単位検索情報保持部 7 0 2および 7 0 3のいずれかに保持されていない場合には、検索実行部 7 0 1から検索情報制御部 7 0 4 に該当する単位検索情報の取得要求が出力される。

検索情報制御部 7 0 4は伝送部または蓄積部 1 9に接続される。伝送部または蓄積部 1 9は、複数種類の単位検索情報を伝送するための伝送部、または複数種類の単位検索情報を予め所定メディアに記録して蓄積している蓄積部を有する。検索情報制御部 7 0 4は、検索実行部 7 0 1から単位検索情報の取得要求を入力すると、この取得要求に応じて伝送部または蓄積部 1 9から取得要求に対応の単位検索情報を伝送または読出しにより取得し、取得した単位検索情報を単位検索情報保持部 7 0 2および 7 0 3のうちのいずれか対応するものに格納する。検索実行部 7 0 1は、このようにして取得された単位検索情報を用いて検索を実行する。

たとえば、動画像コンテンツの色特徴に基づいた検索手法が最も望ましいと考えられた場合に、検索者 1 8は色頻度情報を要求する。あるいは、検索者 1 8は単に「色に関する情報がほしい」というような大まかな要求を入力し、この要求に対して検索実行部 7 0 1が判断し、適切な「色頻度情報の取得要求を出す」としてもよい。この要求に対して、色頻度情報および最小限の構造情報 5 0から形成された単位検索情報 1 5 4 Aを伝送部または蓄積部 1 9から取得する。

こうして得られた構造情報および色頻度情報から形成された単位検索情報 1 5 4 Aに基づいて検索実行部 7 0 1は検索を実行する。このようにすることで、検索時に伝送する検索情報の量を、従来に比べ少なくすることができる。ここで示した検索の手順は一例であって、これに限定されない。

取得された単位検索情報が保持される期間に関して特に制限はない。たとえば検索を実行するクライアント端末が携帯型情報端末のような記憶容量の小さいものであつた場合、取得される単位検索情報は 1回の検索実行ごとに破棄されるとしてもよいし、十分な記憶容量を持つ端未の場合には、検索の実行期間にわたつて継続的に保持されとしてもよい。あるいは、ある一定期間、単位検索情報を保持するものとし、この一定期間内にアクセスがなければその単位検索情報を破棄するといつた管理であってもよい。

また、本実施の形態で示した検索装置では、形成された単位検索情報に基づいて検索を行なうことを示したが、検索の形態によっては、得られた単位検索情報から元の木構造の検索情報（その一部分）を復元し、その復元された木構造の検索情報に基づいて検索を行なう場合もある。

本実施の形態で示した検索情報管理装置によって形成される単位検索情報のそれぞれは、構造情報を含むことから、構造情報（構造化情報）を利用して元の木構造を復元することが可能である。すなわち、単位検索情報に含まれる構造情報から木構造中の位置情報を求め、求められた位置情報で示される木構造中の位置に単位検索情報中の対応する検索情報要素を葉 R Fとして接続することで、木構造が復元される。この単位検索情報から木構造への復元は検索に利用する他、伝送路が狭いネットワークなどで検索情報を他者に伝送する際に木を細かく分解して、分解したそれぞれを伝送先に送り、受取った側で木を復元して検索情報として管理するといつた場合に用いられる。

図 4 A〜図 4 Cおよび図 5 A〜図 5 Cで示される単位検索情報（1 5 3 A、 1 5 4 A) は、検索情報要素（1 5 3、 1 5 4 ) それぞれを順に配列したものであつて、検索情報要素のそれぞれは結合されてもよいし、検索情報要素のそれぞれが独立した形式で保持されていてもよい。後者の場合、要求に応じて必要な数だけの検索情報要素（1 5 3、 1 5 4 ) を部分的な単位検索情報（1 5 3 A、 1 5 4 A) として出力することができる。

図 4 A〜図 4 Cおよび図 5 A〜図 5 Cでは、図 2の検索情報 1 5に含まれる同種の検索情報要素（1 5 3、 1 5 4 ) のすベてを用いて単位検索情報（1 5 3 A、 1 5 4 A) を形成しているが、一部の検索情報要素のみを用いて単位検索情報を形成するものであってもよい。一部とは、時間的に連続して並んだ検索情報要素の部分集合（全体からみた部分集合）、一定間隔で拾い上げたサブサンプル集合などを含む。

本実施の形態で示した検索情報 1 5および検索情報要素（1 5 2、 1 5 3、 1 5 4 ) のそれぞれはあくまで例であり、検索情報および検索情報要素はこれらによって限定されるものではない。検索情報 1 5の木構造はさらに多数の階層を有するものであっても、逆に 2階層（根 Rと 1階層目の 1つ以上の節 NDのみ）からなるものであってもよい。どのような形の木構造であってもよい。検索情報要素はどのような種類のものであっても、本実施の形態を適用できる。

本実施の形態では、単位検索情報としてまとめられる検索情報要素を、色頻度情報などのように木構造中の 1つ 1つの「葉」に相当する個々の情報であるとしているが、これに限定されない。たとえば、色頻度情報および代表色情報などの複数の「色」に関連する情報をまとめる「色情報」を 1つの要素とし、これを検索情報要素と捉えて単位検索情報を形成することもできる。

この場合、色頻度情報のそれぞれや代表色情報のそれぞれは木構造中の「葉 R F J に相当し、「色情報」はそれらの葉 R Fを下位に持った「節 ND」に相当する。すなわち、本実施の形態において、単位検索情報を形成する検索情報要素それぞれは、木構造中の「葉 R F」に相当する個々の細かな検索情報に限られるものではなく、あるまとまりとみなすことが可能な「節 ND」以下の細かな検索情報による任意の集合であってもよい。

このとき、ある節 N D以下に連結された葉 R Fあるいは節 NDの任意の集合 (各節 NDはさらに下位の葉 R Fあるいは節 NDに連結される）は、初めの節 N Dを根 Rと捉えると木を形成しており、この木は元の木に対して「部分木」と呼ばれる。つまり、検索情報を表わす木構造中の上述した「部分木」に対応する検索情報の部分を検索情報要素と捉えて本実施の形態を適用することも可能である。本実施の形態に係る検索情報管理装置 1ならびに検索情報管理方法では、木構造を有する検索情報 1 5に含まれるすべての検索情報要素（1 5 3、 1 5 4 ) を同様に抜き出して、抜き出された検索情報要素それぞれに対応する単位検索情報 ( 1 5 3 A、 1 5 4 A) のすベてを並行して形成し、形成されたすベての単位検索情報を伝送するために、または蓄積するために、または検索処理に供給するために管理するとしているが、特定種類の検索情報要素のみを抜き出して抜き出された特定種類の検索情報要素に対応する単位検索情報のみを形成するとしてもよい。

たとえば、検索情報要素のうち色頻度情報のみを抜き出し、抜き出された色頻度情報に対応の単位検索情報のみを形成して、単位検索情報制御部 1◦ 5で管理する。この場合には、図 1に示された検索情報管理装置 1において検索情報解析部 1 0 1、構造的検索情報分解部 1 0 2、信号的単位検索情報形成部 1 0 4および単位検索情報制御部 1 0 5のみが機能するから意味的単位検索情報形成部 1 0 3は省略されてもよい。

これは、本実施の形態に係る検索装置 2でも同様である。信号的検索情報のうち特に色頻度情報のみに基づき検索が実行されるとし、かつ意味的検索情報が不要であるとされた場合には、図 7の検索装置 2の検索実行部 7 0 1、信号的単位検索情報保持部 7 0 3および検索情報制御部 7 0 4のみが機能するから、意味的単位検索情報保持部 7 0 2は省略できる。

またこのように、検索情報 1 5中の一部の意味的検索情報要素 1 5 3または信号的検索情報要素 1 5 4を抜き出して、抜き出された検索情報要素（1 5 3または 1 5 4 ) を用いて対応する単位検索情報（1 5 3 Aまたは 1 5 4 A) を形成する場合、これら検索情報要素（1 5 3または 1 5 4 ) が抜き出された残りの検索情報 1 5は、木構造を保持したままで利用されるとしてもよい。

すなわちこの場合、元の検索情報 1 5を表わしていた木は、元の木の一部からなる部分的な木と複数の意味的検索情報要素 1 5 3からなる 1つあるいは複数の単位検索情報 1 5 3 Aまたは複数の信号的検索情報要素 1 5 4からなる 1つあるいは複数の単位検索情報 1 5 4 Aとに分解される。本発明では、抜き出される検索情報要素に何を選ぶかによつて、木構造を有する元の検索情報 1 5をさまざまな形に分解できる。

なお、本実施の形態では、検索情報中の構造情報、すなわち節 N Dあるいは葉 Fの木構造中の位置情報などと検索情報要素の種別情報、すなわち行動描写情報（意味的検索情報要素 1 5 3 ) や色頻度情報（信号的検索情報要素 1 5 4 ) などであることを示す情報とを、それぞれ独立した情報として説明した。一方、検索情報を構成する検索情報要素が予め決められており、木の構造が固定であるような検索情報の場合では、検索情報要素それぞれの木構造中の位置が特定されるため、構造情報のみによって検索情報要素の種別を表わすことができる。すなわち、構造情報と種別情報は等価となる。この場合、たとえば本実施の形態で説明した検索情報要素 1 5 3および 1 5 4に対応の共通情報 1 5 3 Bおよび 1 5 4 B として種別情報を付加する処理は、対応する共通の構造情報を付加しても行なうことができる。

(第 2の実施の形態） '

第 1の実施の形態では、木構造を有した検索情報 1 5から各種の検索情報要素を、すなわち構造的検索情報要素 1 5 2、意味的検索情報要素 1 5 3および信号点検索情報要素 1 5 4のそれぞれを分離して抜き出し、抜き出された構造的検索情報要素 1 5 2からは構造情報 5 0を抽出し、抽出された構造情報 5 0と同種の意味的検索情報要素 1 5 3自体または同種の信号的検索情報要素 1 5 4自体とを順に配列することによって、意味的単位検索情報 1 5 3 Aまたは信号的単位検索情報 1 5 4 Aを形成していた。

これに対し、本実施の形態においては、意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4それぞれが予め検索情報 1 5から分離されて個別に記録されている場合に、意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4それぞれについてそれ自体ではなくその記録位置を示した情報を取得し、取得された記録位置情報を構造情報とともに順に配列することにより意味的単位検索情報 1 5 3 Eおよび信号的単位検索情報 1 5 4 Eを形成する。

このような構成においても、第 1の実施の形態で得られるのと同様の効果を得ることができる。ここでは、本実施の形態に係る検索情報管理装置 1 Aおよび検索装置 2 Aについて第 1の実施の形態のそれらとの相違点に注目して説明する。したがって、本実施の形態に関する詳細説明はここでは省略するが、それらについては第 1の実施の形態で示した検索情報管理装置 1および方法、ならびに検索装置 2に関する詳細説明を同様に適用できる。

本実施の形態に係る検索情報管理装置 1 Aの概略構成は第 1の実施の形態と同様に図 1を用いて示される。検索情報管理装置 1 Aの機能は、以下に説明するように、第 1の実施の形態のそれとは若干異なる。

図 1を参照して検索情報管理装置 1 Aは検索情報解析部 1 0 1 A、構造的検索情報分解部 1 0 2、意味的単位検索情報形成部 1 0 3 A、信号的単位検索情報形成部 1 0 4 Aおよび単位検索情報制御部 1 0 5 Aを含む。検索情報解析部 1 0 1 Aは、動画像コンテンツに対応した木構造を有する検索情報 1 5を調べて検索情報 1 5に含まれる構造的検索情報要素 1 5 2は構造的検索情報分解部 1 0 2へ出力し、意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4それぞれを特定するとともに、特定された検索情報要素 1 5 3および 1 5 4について記録位置情報 1 5 3 Dおよび 1 5 4 Dのそれぞれを抽出する。記録位置情報 1 5 3 Dおよび 1 5 4 Dのそれぞれは、対応の意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4のそれぞれが記録されている記録位置を示す。その後、単位検索情報 1 5 3 Eおよび 1 5 4 Eそれぞれの形成に必要な情報とともに、たとえば検索情報要素の種別や木構造中の階層情報などのような情報とともに、意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4の記録位置情報 1 5 3 Dおよび 1 5 4 Dを意味的単位検索情報形成部 1 0 3 Aおよび信号的単位検索情報形成部 1 0 4 Aのそれぞれへ出力する。

記録位置情報 1 5 3 Dおよび 1 5 4 Dは、検索情報 1 5が予め記録されている記録メディア上のセクタ位置ゃビット符号列中のビット位置といった物理的な位匱情報や、データを格納したファイル名やデータ伝送時のチャンネル、パケットといった論理的な位置情報を含むものであり、特に制限はない。

記録位置情報 1 5 3 Dおよび 1 5 4 Dによって示される意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4は、動画像コンテンツ検索時などに必要に応じて個々に読出され利用される。このため、意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4のそれぞれは予め分離されて個々に記録されている方が都合がよい。多くの現実的なサ装置においては、木構造を有する検索情報 1 5の構造的検索情報要素 1 5 2、意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4のそれぞれは何らかの形で分離されて記録されているため、分離された意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4それぞれについての記録位置を記録位置情報 1 5 3 Dおよび 1 5 4 Dとしてそのまま利用できる。

木構造を有する検索情報 1 5がそのまま記録されていて、予め検索情報要素 1 5 2 , 1 5 3および 1 5 4それぞれに分離されていない場合には、検索情報解析部 1 0 1 Aで検索情報要素 1 5 2 1 5 3および 1 5 4を分離して検索情報要素 1 5 3と 1 5 4を記録するとともに、その記録位置情報 1 5 3 Dおよび 1 5 4 D を生成する。

構造的検索情報分解部 1 0 2では、検索情報解析部 1 0 1 Aから構造的単位検索情報要素 1 5 2を入力し、入力した検索情報要素 1 5 2から必要最小限の構造情報 5 0を抜き出して、意味的単位検索情報形成部 1 0 3 Aおよび信号的単位検索情報形成部 1 0 4 Aにそれぞれ与える。

意味的単位検索情報形成部 1 0 3 Aでは、構造的検索情報分解部 1 0 2から必要最小限の構造情報 5 0と検索情報解析部 1 0 1 Aから同種の意味的検索情報要素 1 5 3それぞれの記録位置情報 1 5 3 Dを入力し、入力したそれら情報を意味的検索情報要素 1 5 3の種別ごとに、対応の意味的検索情報要素 1 5 3の木構造における出現順序関係を保持しながら配列することで、意味的検索情報要素 1 5 3の記録位置情報 1 5 3 Dからなる意味的検索情報の単位検索情報 1 5 3 Eを形成する。

信号的単位検索情報形成部 1 0 4 Aでは、構造的検索情報分解部 1 0 2から必要最小限の構造情報 5 0と検索情報解析部 1 0 1 Aから同種の信号的検索情報要素 1 5 4それぞれの記録位置情報 1 5 4 Dを入力し、入力したそれら情報を信号的検索情報要素 1 5 4の種別ごとに、対応の信号的検索情報要素 1 5 4の木構造における出現順序関係を保持しながら配列することで、信号的検索情報要素 1 5 4の記録位置情報 1 5 4 Dからなる信号的検索情報の単位検索情報 1 5 4 Eを形成する。

図 8 A〜図 8 Dには、本実施の形態に係る意味的単位検索情報 1 5 3 Eと信号的単位検索情報 1 5 4 Eが例示される。図 8 Aと図 8 Bにおいては、意味的検索情報要素 1 5 3としてシンそれぞれの情景描写情報とショットそれぞれの登場人物情報を例示し、図 8 Cと図 8 Dにおいては信号的検索情報要素 1 5 4としてシーンそれぞれの代表色情報とショットそれぞれの動き強度情報を例示している。図 8 A〜図 8 Dと図 4 A〜図 4 Cおよび図 5 A〜図 5 Cとを比較しても明らかなように、単位検索情報を構成する要素が検索情報要素（1 5 3、 1 5 4 ) 自体から記録位置情報（1 5 3 D、 1 5 4 D ) に代替されていることを除けば、本実施の形態で形成される単位検索情報（1 5 3 Eと 1 5 4 E ) と第 1の実施の形態で形成された単位検索情報（1 5 3 Aと 1 5 4 A) とは同じである。

したがって、取扱う共通情報の種別、抽出方法などは、第 1の実施の形態において説明されたものと同様のものが本実施の形態においても適用される。こうして、第 1の実施の形態で得られるのと同様の効果が本実施の形態においても得られる。

単位検索情報制御部 1 0 5 Aは、処理部 1 6に接続され、たとえば処理部 1 6 が伝送部であった場合、伝送先からの要求などに応じて対応する単位検索情報を伝送する。本実施の形態における単位検索情報制御部 1 0 5 Aでは、既に伝送された単位検索情報に含まれる意味的または信号的検索情報要素 1 5 3または 1 5 4の記録位置情報 1 5 3 Dまたは 1 5 4 Dに基づいた要求を受理して、該要求に対応の記録位置情報 1 5 3 Dまたは 1 5 4 Dで示された意味的または信号的検索情報要素 1 5 3または 1 5 4を抜き出して要求元に伝送する。

本実施の形態では示されないが、構造的検索情報要素 1 5 2から抜き出されて使用される各種の構造情報 5 0に関しても、構造情報 5 0のデタ自体ではなく、上述の意味的検索情報要素 1 5 3および信号的検索情報要素 1 5 4と同様に記録位置を示す情報を抽出し、抽出された記録位置情報を用いて単位検索情報を形成すなわちこの場合、構造情報 5 0の記録位置情報および意味的検索情報要素 1 5 3の記録位置情報 1 5 3 Dから意味的単位検索情報が形成され、構造情報 5 0 の記録位置情報および信号的検索情報要素の記録位置情報 1 5 4 Dから信号的単位検索情報が形成される。

本実施の形態に係る検索装置 2 Aの概略構成は、第 1の実施の形態と同様に図 7を用いて示される。ただし、検索装置 2 Aの機能は、以下に説明するように第 1の実施の形態のものとは若干異なる。

本実施の形態に係る検索装置 2 Aは検索実行部 7 0 1 Α、意味的単位検索情報保持部 7 0 2 Α、信号的単位検索情報保持部 7 0 3 Αおよび検索情報制御部 7 0 4 Aを備える。意味的単位検索情報保持部 7 0 2 Aおよび信号的単位検索情報保持部 7 0 3 Aはそれぞれ、単位検索情報 1 5 3 Eおよび 1 5 4 Eのそれぞれを保持するのに加えて、既に得られた単位検索情報 1 5 3 Eおよび 1 5 4 Eのそれぞれに含まれる記録位置情報 1 5 3 Dおよび 1 5 4 Dのそれぞれに基づいて取得される検索情報要素 1 5 3および 1 5 4のそれぞれを、 1回の検索実行ごとに一時的に、あるいは検索の実行期間にわたつて継続的に保持する機能を有する。検索実行部 7 0 1 Aは、検索者 1 8から入力される検索要求に従って、意味的単位検索情報保持部 7 0 2 Aおよび信号的単位検索情報保持部 7 0 3 Aに保持されている各種の検索情報要素の 1つあるいは複数の任意の組合せを選び、選ばれた組合せに従う検索情報要素を取得して、取得した 1つ以上の検索情報要素を用いて動画像コンテンツの検索を実行する。

単位検索情報保持部 7 0 2 Aおよび 7 0 3 Aそれぞれでの検索情報要素の保持が 1回の検索実行ごとに破棄されるといった一時的なものである場合には、検索実行部 7 0 1 Aは単位検索情報保持部 7 0 2 Aおよび 7 0 3 Aに対して、検索情報要素の要求ではなく、次に示すように、単位検索情報の要求により検索を開始する。ここでは、説明を簡単にするために意味的単位検索情報 1 5 3 Eを要求することで開始される検索を例にあげるが、信号的単位検索情報 1 5 4 Eを要求した場合であっても、意味的単位検索情報 1 5 3 Eと信号的単位検索情報 1 5 4 E とを要求した場合でも同様である。

選んだ意味的検索情報要素 1 5 3が対応する意味的単位検索情報保持部 7 0 2 Aに保持されていない場合、検索実行部 7 0 1 Aは意味的単位検索情報保持部 7 0 2 Aに対して、対応する単位検索情報 1 5 3 Eを要求する。要求した単位検索情報 1 5 3 Eを、対応する意味的単位検索情報保持部 7 0 2 Aから取得できた場合には、検索実行部 7 0 1 Aは、検索情報制御部 7 0 4 Aに検索情報要素の取得要求とともに取得した単位検索情報 1 5 3 Eを与える。検索情報制御部 7 0 4 Aは、与えられた単位検索情報 1 5 3 Eに含まれる記録位置情報 1 5 3 Dに基づいて、伝送部または蓄積部 1 9から該当する意味的検索情報要素 1 5 3を取得し、取得された意味的検索情報要素 1 5 3を対応する意味的単位検索情報保持部 7 0 2 Aに格納する。検索実行部 7 0 1 Aは、このようにして得られた意味的検索情報要素 1 5 3を用いて検索を実行する。

要求した単位検索情報 1 5 3 Eが対応する意味的単位検索情報保持部 7 0 2 A に保持されていないので取得できなかった場合には、検索実行部 7 0 1 Aは、まず、検索情報制御部 7 0 4 Aにその単位検索情報 1 5 3 Eの取得要求を出す。検索情報制御部 7 0 4 Aはこの取得要求を入力すると、入力した取得要求に応じて伝送部または蓄積部 1 9から該当する単位検索情報 1 5 3 Eを取得し、取得した単位検索情報 1 5 3 Eを対応する意味的単位検索情報保持部 7 0 2 Aに格納する。次に、検索実行部 7 0 1 Aは、検索情報制御部 7 0 4 Aに検索情報要素の取得要求とともに取得された単位検索情報 1 5 3 Eを与える。検索情報制御部 7 0 4 A は、与えられた単位検索情報 1 5 3 Eに含まれる記録位置情報 1 5 3 Dに基づいて、伝送部または蓄積部 1 9から該当する意味的検索情報要素 1 5 3を取得し、取得した意味的検索情報要素 1 5 3を対応する単位検索情報保持部 7 0 2 Aに格納する。検索実行部 7 0 1 Aは、このようにして得られた意味的検索情報要素 1 5 3を用いて動画像コンテンツ（伝送部または蓄積部 1 9により準備されている動画像コンテンツのデタ）の検索を実行する。

以上の説明から理解されるように、本実施の形態の検索装置 2 Aと第 1の実施の形態の検索装置 2とを比較し異なる点は、検索情報の取得に関して、単位検索情報から検索情報要素の記録位置情報を取得し、取得した記録位置情報から対応の検索情報要素を取得するといった²段階の取得を行なう点にある。それ以外の処理は両者において同様である。したがって、第 1の実施の形態で得られるのと同様の効果が本実施の形態においても得られる。

各種の検索情報要素自体からなる単位検索情報に比べ、記録位置情報のみから JP01/09161 なる本実施の形態に係る単位検索情報によれば、記録すべき信号量が少なくてすむ。このため、記憶容量の小さい携帯型情報端末などのクライアント端末を用いて検索者が検索を実行するような場合では、本実施の形態の単位検索情報のみをクライアント端末に継続的に保持し、検索実行時に必要な検索情報要素のみを単位検索情報を利用してサーバ装置（図 7の伝送部または蓄積部 1 9に相当する）から取得するといつた検索方式が効果的である。このサーバ装置には動画像コンテンッのデータおよび予め検索情報要素に分離されている検索情報 1 5のデタが記録されており、外部からの要求に従って、動画像コンテンツのデータまたは検索情報 1 5のデータを読出して要求元に出力する機能を有する。

したがって、どのような検索情報がサーバ装置上に存在するかを単位検索情報から容易に知ることができ、必要な検索情報のみを伝送することで検索の実行効率は向上する。

上述した説明では、単位検索情報が伝送部または蓄積部 1 9を介して取得されるタイミングは検索者 1 8の要求によるものであるとしたが、これに限らず、たとえば、検索の開始時に、各種の単位検索情報のみをクライアント端末が自動的に取得するなどとしてもよい。単位検索情報の取得あるいは破棄のタイミングに関する制限はない。

上述の説明では、単^ Ϊ検索情報および単位検索情報中の記録位置情報に基づいて取得される検索情報要素の保持期間を、 1回の検索実行ごとに破棄するという —時的なものか、検索の実行期間にわたるという継続的なものであるとしたが、これに限らず、たとえば、ある一定期間保持し、一定期間内にアクセスがなければ破棄するといつた管理を行なってもよい。検索情報要素の保持期間に関する制限はない。

また、本実施の形態で示した検索装置では、形成された単位検索情報に基づいて検索を行なうことを示したが、検索の形態によっては、得られた単位検索情報から元の木構造の検索情報（その一部分）を復元し、その復元された木構造の検索情報に基づいて検索を行なう場合もある。本実施の形態で示した検索情報管理装置によつて形成される単位検索情報のそれぞれは、構造情報を含むこと力、ら、構造情報（構造化情報）を利用して元の木構造を復元することが可能である。すなわち、単位検索情報に含まれる構造情報から木構造中の位置情報を求め、この位置情報で示された木構造中の位置に単位検索情報中の対応する記録位置情報によって示された検索情報要素を取得し葉 R Fとして接続することで、木構造が復元される。この単位検索情報から木構造への復元は、検索に利用する他、伝送路が狭いネットワクなどで検索情報を他者に伝送する際に木を細かく分解して分解したそれぞれを伝送先（他者）に送り、受取った側（他者）で木を復元して検索情報として管理するといつた場合に用いられる。

(第 3の実施の形態）

図 9には、本実施の形態に係る検索情報管理装置 1 Bの概略構成が示される。検索情報管理装置 1 Bは分割選択部 9 0 1、第 1の検索情報分割部 9 0 2、第 2 の検索情報分割部 9 0 3および単位検索情報制御部 9 0 4を含む。分割選択部 9 0 1では、動画像コンテンツについて所望される検索の実行形態が、すなわちォンライン検索であるか、あるいはオフライン検索であるかというような検索の実行形態が指定される。指定される検索の実行形態に従って検索情報 1 5の分割方式、すなわち分割により得られる単位検索情報の形式が選択される。検索情報 1 5は、たとえば図 2に例示した木構造を有する検索情報 1 5とする。

オフライン検索が指定されて、検索情報 1 5の分割方式として検索情報要素の種別に注目した単位検索情報が選択されると、分割選択部 9 0 1は、第 1の検索情報分割部 9 0 2に検索情報 1 5の分割を実行するように指示する。オンライン検索が指定されて、検索情報 1 5の分割方式として時間的な区切りからなる単位検索情報が選択されると、分割選択部 9 0 1は、第 2の検索情報分割部 9◦ 3に検索情報 1 5の分割を実行するように指示する。オフライン検索とオンライン検索とが同時に行われるような特殊なケ^ "スでは、分割選択部 9 0 1は第 1および第 2の検索情報分割部 9 0 2および 9 0 3に検索情報 1 5の分割（単位検索情報の形成）を実行するように指示する。

第 1の検索情報分割部 9 0 2では、検索情報 1 5を入力し、上述の実施の形態で説明した検索情報要素の種別に注目した検索情報 1 5の分割を実行し、図 4 A 〜図 4 C、図 5 A〜図 5 Cおよび図 8 A〜図 8 Dに示された検索情報の種別に注目した単位検索情報 1 5 3 A ( 1 5 3 E ) および 1 5 4 A ( 1 5 4 E ) を形成して出力する。

第 2の検索情報分割部 9 0 3では、検索情報 1 5を入力し、図 1 3 A〜図 1 3 Dまたは図 1 4に示した時間的な区切りを単位とした分割を実行し、時間的な区切りに従う単位検索情報を形成して出力する。

単位検索情報制御部 9 0 4は、処理部 1 6に接続され、第 1の検索情報分割部 9 0 2により形成された検索情報要素の種別に注目した単位検索情報および第 2 の検索情報分割部 9 0 3で形成された時間的区切り単位の単位検索情報のいずれか一方、あるいは両方を、処理部 1 6の要求に応じて選択し、選択された情報を要求元に出力する。

分割選択部 9 0 1を設けることにより、動画像コンテンッの検索の実行形態に応じた適切な検索情報の制御（単位検索情報の形成）が可能となる。

Claims

請求の範囲

1. 動画像コンテンツに対応する木構造を有した検索情報（1 5) を小単位の検索情報（153A、 154A) に分割して管理する検索情報管理装置（1) であつて、

前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報（15 2) と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報 (153) と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報（154) とに分離して出力する分離手段（101) と、

前記分離手段から出力された前記構造的検索情報を分解し、分解後の前記構造的検索情報から前記意味的検索情報および前記信号的検索情報の少なくとも 1つに対応した情報を構造情報（50) として抽出する構造情報抽出手段（102) と、

前記分離手段から出力された前記意味的検索情報および前記信号的検索情報の少なくとも 1つに、前記構造情報抽出手段により抽出された対応の前記構造情報を付加して前記小単位の検索情報を形成する単位検索情報形成手段（103、 1 04) とを備える検索情報管理装置。

2. 動画像コンテンツに対応する木構造を有した検索情報（1 5) を小単位の検索情報（153A、 1 54 A) に分割して管理する検索情報管理装置（1) であつて、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出す分離手段（101) と、前記分離手段により抜き出された前記 1または複数の検索情報要素に対応する構造情報（50) を前記検索情報から抽出する構造情報抽出手段（102) と、前記分離手段により抜き出された前記 1または複数の検索情報要素と前記構造情報抽出手段により抽出された対応する前記構造情報を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成手段（103、 10 4) とを備える検索情報管理装置。

3. 前記分離手段により抜き出された前記 1または複数の検索情報要素は、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報（154) に対応する請求の範囲第 2項記載の検索情報管理装置。

4. 前記分離手段により抜き出された前記 1または複数の検索情報要素は、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報（153) に対応する請求の範囲第 2項記載の検索情報管理装置。

5. 前記所定の形式は、前記分離手段により抜き出された前記 1または複数の検索情報要素および前記構造情報抽出手段により抽出された対応する前記構造情報を、前記木構造中の前記 1または複数の検索情報要素それぞれの出現順序に従つて配列することを示す請求の範囲第 2'項記載の検索情報管理装置。

6. 前記構造情報抽出手段は、さらに、前記構造情報を、前記分離手段により抜き出された前記 1または複数の検索情報要素に共通する種別を示す情報または共通する前記木構造中の位置情報を含む共通構造情報と、前記共通構造以外の非共通構造情報とに分離し、

前記小単位の検索情報は、前記分離手段により抜き出された前記 1または複数の検索情報要素の配列に加えて、対応する前記共通構造情報と、対応する前記非共通構造情報のそれぞれを配することで形成される請求の範囲第 2項記載の検索情報管理装置。

7. 動画像コンテンツに対応する木構造を有した検索情報（15) から小単位の検索情報（153E、 154E) を形成して管理する検索情報管理装置（1A) であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報（153D、 154D) を抽出する記録位置情報抽出手段 (101 A) と、

前記検索情報から、前記 1または複数の検索情報要素に対応する構造情報（⁵ 0 ) を抽出する構造情報抽出手段（1 0 2 ) と、

前記 1または複数の検索情報要素のそれぞれに対応する前記記録位置情報抽出手段により抽出された前記記録位置情報および前記構造情報抽出手段により抽出された前記構造情報を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成手段（1 0 3 A、 1 0 4 A) とを備える検索情報管理

8 . 前記 1または複数の検索情報要素は、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報（1 5 4 ) に対応する請求の範囲第 7項記載の

9 . 前記 1または複数の検索情報要素は、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報（1 5 3 ) に対応する請求の範囲第 7項記載の

1 0 . 前記所定の形式は、前記記録位置情報のそれぞれを、対応する前記 1または複数の検索情報要素それぞれの前記木構造中の出現順序に従って配列することを示す請求の範囲第 7項記載の検索情報管理装置。

1 1 . 前記構造情報抽出手段は、さらに、前記構造情報を、前記 1または複数の検索情報要素に共通する種別を示す情報または共通する前記構造中の位置情報を含む共通構造情報と、前記共通構造情報以外の非共通構造情報とに分離し、前記小単位の検索情報は、前記 1または複数の検索情報要素と対応した前記記録位置情報の配列に加えて、対応する前記共通構造情報と、対応する前記非共通構造情報のそれぞれを配することで形成される請求の範囲第 7項記載の検索情報

1 2 . 動画像コンテンツに対応する木構造を有した検索情報（1 5 ) を小単位の検索情報に分割して管理する検索情報管理装置（1 B ) であって、

前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分割し、分割により得られた前記構造的検索情報から前記意味的検索情報および前記信号的検索情報のそれぞれに対応した情報を構造情報として抽出し、抽出きれた前記構造情報を分割により得られた前記意味的検索情報および前記信号的検索情報のそれぞれに付加して小単位の検索情報を形成する第 1の検索情報分割手段（ 90 2) と、

前記検索情報を、前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第 2の検索情報分割手段 (903) と、

所望される検索の形態に従って、前記検索情報を、前記第 1の検索情報分割手段および前記第 2の検索情報分割手段のいずれで分割するかを選択する分割選択手段（901) とを備えた検索情報管理装置。

13. 動画像コンテンツに対応する木構造を有した検索情報（15) を小単位の検索情報に分割して管理する検索情報管理装置（1B) であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の住意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出し、抜き出された前記 1 または複数の検索情報要素に対応する構造情報を前記検索情報から抽出して、抜き出された前記 1または複数の検索情報要素と抽出された対応の前記構造情報を所定の形式に従い配列することで小単位の検索情報を形成する第 1の形成手段 (902) と、

前記検索情報を前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第 2の形成手段（903) と、

所望する検索の形態に従って、前記小単位の検索情報を、前記第 1の形成手段および前記第 2の形成手段のいずれで形成するかを選択する選択手段（901) とを備えた検索情報管理装置。

14. 動画像コンテンツに対応する木構造を有した検索情報（15) を小単位の検索情報（153A、 1 54A) に分割して管理する検索情報管理方法であって、前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報（15 2) と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報 (153) と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報（154) とに分離して出力する分離ステップと、

前記分離ステップから出力された前記構造的検索情報を分解し、分解後の前記構造的検索情報から前記意味的検索情報および前記信号的検索情報の少なくとも 1つに対応した情報を構造情報（50) として抽出する構造情報抽出ステップと、前記分離ステツプから出力された前記意味的検索情報および前記信号的検索情報の少なくとも 1つに、前記構造情報抽出ステップにより抽出された対応の前記構造情報を付加して前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。

15. 動画像コンテンツに対応する木構造を有した検索情報（15) を小単位の検索情報（153A、 154A) に分割して管理する検索情報管理方法であって、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出す分離ステップと、前記分離ステツプにより抜き出された前記 1または複数の検索情報要素に対応する構造情報（50) を前記検索情報から抽出する構造情報抽出ステップと、前記分離ステツプにより抜き出された前記 1または複数の検索情報要素と前記構造情報抽出ステップにより抽出された対応する前記構造情報を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。

16. 動画像コンテンツに対応する木構造を有した検索情報（15) から小単位の検索情報（153E、 154E) を形成して管理する検索情報管理方法であつて、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報（153D、 154D) を抽出する記録位置情報抽出ステップと、

前記検索情報から、前記 1または複数の検索情報要素に対応した構造情報（5 0 ) を抽出する構造情報抽出ステップと、

前記 1または複数の検索情報要素のそれぞれに対応する前記記録位置情報抽出ステップにより抽出きれた前記記録位置情報および前記構造情報抽出ステップにより抽出された前記構造情報を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。

1 7 . 動画像コンテンツに対応する木構造を有した検索情報（1 5 ) を小単位の検索情報に分割して管理する検索情報管理方法であって、

前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報とに分割し、分割により得られた前記構造的検索情報から前記意味的検索情報および前記信号的検索情報のそれぞれに対応した情報を構造情報として抽出し、抽出された前記構造情報を分割により得られた前記意味的検索情報および前記信号的検索情報のそれぞれに付加して小単位の検索情報を形成する第 1の検索情報分割ステップと、前記検索情報を、前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第 2の検索情報分割ステップと、

所望される検索の形態に従って、前記検索情報を、前記第 1の検索情報分割ステップおよび前記第 2の検索情報分割ステップのいずれで分割するかを選択する分割選択ステップとを有する検索情報管理方法。

1 8 . 動画像コンテンツに対応する木構造を有した検索情報（1 5 ) を小単位の検索情報に分割して管理する検索情報管理方法であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（R F ) あるいは前記木構造中の節（N D ) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出し、抜き出された前記 1 または複数の検索情報要素に対応する構造情報を前記検索情報から抽出して、抜き出された前記 Lまたは複数の検索情報要素と抽出された対応の前記構造情報を所定の形式に従い配列することで小単位の検索情報を形成する第 1の形成ステップと、

前記検索情報を前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第 2の形成ステップと、所望する検索の形態に従って、前記小単位の検索情報を、前記第 1の形成ステップおよび前記第 2の形成ステップのいずれで形成するかを選択する選択ステツプとを有する検索情報管理方法。

1 9 . 動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報に基づいて検索を実行する検索装置（2 ) であって. 前記小単位の検索情報は、前記動画像コンテンッの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報のそれぞれから形成された前記小単位の検索情報の少なくとも 1 つであり、かつ前記動画像コンテンツの構造を表わす構造的検索情報から得られる構造情報を含み、

前記小単位の検索情報を保持する保持手段と、

前記小単位の検索情報を用いて前記動画像コンテンツの検索を実行する検索実行手段とを備える検索装置。

2 0 . 動画像コンテンツに対応する木構造を有した検索情報（1 5 ) を分割した小単位の検索情報に基づいて検索を実行する検索装置（2 ) であって、

前記小単位の検索情報は、前記検索情報から分離して抜き出された、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉あるいは前記木構造中の節および該節以下に違結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素および、前記検索情報から抽出された前記 1または複数の検索情報要素に対応した構造情報を所定形式に配列することで形成されて、

前記小単位の検索情報を保持する保持手段と、

前記小単位の検索情報を用いて前記動画像コンテンツの検索を実行する検索実行手段とを備えた検索装置。

2 1 . 動画像コンテンツに対応する木構造を有した検索情報（1 5 ) から形成した小単位の検索情報に基づいて検索を実行する検索装置（2 ) であって、前記小単位の検索情報は、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉あるレ、は前記木構造中の節およぴ該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されてレ、る位置を示した記録位置情報と、前記検索情報から抽出された対応の構造情報とを所定の形式に配列することで形成されて、

前記小単位の検索情報を保持する第 1の保持手段と、

前記小単位の検索情報を用いて得られる前記 1または複数の検索情報要素を保持する第 2の保持手段と、

前記小単位の検索情報および前記 1または複数の検索情報要素を用いて前記動画像コンテンツの検索を実行する検索実行手段とを備えた検索装置。

2 2 . 動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報から前記木構造を有した検索情報の一部を復元する検索情報管理装置であって、

前記小単位の検索情報は、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報のそれぞれから形成された前記小単位の検索情報の少なくとも 1 つであり、かつ前記動画像コンテンツの構造を表わす構造的検索情報から得られる構造情報を含み、

前記小単位の検索情報に含まれる前記構造情報から、前記小単位の検索情報に含まれる前記意味的検索情報または前記信号的検索情報のそれぞれに対応する前記木構造中の位置を求める位置算出手段と、

前記位置算出手段により求められた前記木構造中の位置に、対応する前記意味的検索情報または前記信号的検索情報のそれぞれを接続することにより、前記木構造を有した検索情報の一部を復元する復元手段とを備える検索情報管理装置。 2 3 . 動画像コンテンツに対応する木構造を有した検索情報を分割した小単位の検索情報から前記木構造を有した検索情報の一部を復元する検索情報管理装置であって、

前記小単位の検索情報は、前記検索情報から分離して抜き出された、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉あるいは前記木構造中の節および該節以下に連結された葉または節の任意の集合からなる

1または複数の部分木により与えられる、 1または複数の検索情報要素および、前記検索情報から抽出された前記 1または複数の検索情報要素に対応した構造情報を所定形式に配列することで形成されて、

前記小単位の検索情報に含まれる前記構造情報から、前記小単位の検索情報に含まれる前記 1または複数の検索情報要素のそれぞれに対応する前記木構造中の位置を求める位置算出手段と、

前記位置算出手段により求められた前記木構造中の位置に、対応する前記 1または複数の検索情報要素のそれぞれを葉あるいは部分木として接続することにより、前記木構造を有した検索情報の一部を復元する復元手段とを備える検索情報

2 4 . 動画像コンテンツに対応する木構造を有した検索情報から形成した小単位の検索情報から前記木構造を有した検索情報の一部を復元する検索情報管理装置であって、

前記小単位の検索情報は、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉あるいは前記木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報と、前記検索情報から抽出された対応の構造情報とを所定の形式に配列することで形成されて、

前記小単位の検索情報に含まれる前記構造情報から、前記小単位の検索情報に含まれる前記記録位置情報によって示される前記 1または複数の検索情報要素のそれぞれに対応する前記木構造中の位置を求める位置算出手段と、

前記小単位の検索情報に含まれる前記記録位置情報に基づいて対応する前記 1 または複数の検索情報要素を取得する検索情報要素取得手段と、

前記位置算出手段により求められた前記木構造中の位置に、前記検索情報要素取得手段により取得された対応する前記 1または複数の検索情報要素を接続することで、前記木構造を有した検索情報の一部を復元する復元手段とを備える検索

補正書の請求の範囲

[2002年 2月 8日（08. 02. 02 国際事務局受理：出願当初の請求の範囲 1 9及び 20は取り下げられ出願当初の請求の範囲 2, 5-7, 1 0, 1 1 , 1 3， 1 5, 1 6, 1 8及び 2 1—24は補正された；新しい請求の範囲

25— 34が加えられナこ；他の請求の範囲は変更なし。 O 0頁） ]

1. 動画像コンテンツに対応する木構造を有した検索情報（1 5) を小単位の検索情報（1 5 3 A、 1 54A) に分割して管理する検索情報管理装置（1) であつて、

前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報（1 5 2) と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報 (1 5 3) と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報（1 54) とに分離して出力する分離手段（1 0 1) と、

前記分離手段から出力された前記構造的検索情報を分解し、分解後の前記構造的検索情報から前記意味的検索情報および前記信号的検索情報の少なくとも 1つに対応した情報を構造情報（5 0) として抽出する構造情報抽出手段（1 0 2) と、

前記分離手段から出力された前記意味的検索情報および前記信号的検索情報の少なくとも 1つに、前記構造情報抽出手段により抽出された対応の前記構造情報を付加して前記小単位の検索情報を形成する単位検索情報形成手段（1 0 3、 1 04) とを備える検索情報管理装置。

2. (捕正後）動画像コンテンツに対応する木構造を有した検索情報（1 5) を小単位の検索情報（1 5 3A、 1 54 A) に分割して管理する検索情報管理装置 (1) であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の蕖（RF) により与えられる、あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出す分離手段（1 0 1) と、

前記分離手段により抜き出された前記 1または複数の検索情報要素に対応する構造情報（50) を前記検索情報から抽出する構造情報抽出手段（1 02) と、前記分離手段により抜き出された前記 1または複数の検索情報要素と前記構造情報抽出手段により抽出された対応する前記構造情報を所定の形式に従い配列す

53

補正された用紙 (条約第 19条) ることで前記小単位の検索情報を形成する単位検索情報形成手段（103、 10 4) とを備える検索情報管理装置。

5. (補正後）前記所定の形式は、前記分離手段により抜き出された前記 1または複数の検索情報要素を、前記木構造中での出現順序に従って配列することを示す請求の範囲第 2項記載の検索情報管理装置。

6. (補正後）前記構造情報抽出手段は、さらに、前記構造情報を、前記分離手段により抜き出された前記 1または複数の検索情報要素に共通する種別を示す情報または共通する前記木構造中の位置情報を含む共通構造情報と、前記共通構造以外の非共通構造情報とに分離し、

前記小単位の検索情報は、前記分離手段により抜き出された前記 1または複数の検索情報要素の配列に加えて、前記共通構造情報と前記非共通構造情報とを配することで形成される請求の範囲第 2項記載の検索情報管理装置。

7. (補正後）動画像コンテンツに対応する木構造を有した検索情報（15) から小単位の検索情報（153E、 154E) を形成して管理する検索情報管理装置（1A) であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) により与えられる、あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報（153D、 154D) を抽出する記録位置情報抽出手段（101A) と、

前記検索情報から、前記 1または複数の検索情報要素に対応する構造情報（5 0) を抽出する構造情報抽出手段（102) と、

54

補正された jii紙 (条約第 19条) 前記 1または複数の検索情報要素のそれぞれに対応する前記記録位置情報抽出手段により抽出された前記記録位置情報および前記構造情報抽出手段により抽出された前記構造情報を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成手段（1 0 3 A、 1 0 4 A) とを備える検索情報管理

1 0 . (補正後）前記所定の形式は、前記記録位置情報のそれぞれを、前記木構造中での前記記録位置情報に対応した前記検索情報要素の出現順序に従って配列することを示す請求の範囲第 7項記載の検索情報管理装置。

1 1 . (補正後）前記構造情報抽出手段は、さらに、前記構造情報を、前記 1または複数の検索情報要素に共通する種別を示す情報または共通する前記木構造中の位置情報を含む共通構造情報と、前記共通構造情報以外の非共通構造情報とに分離し、

前記小単位の検索情報は、前記記録位置情報の配列に加えて、前記共通構造情報と前記非共通構造情報とを配することで形成される請求の範囲第 7項記載の検

1 2 . 動画像コンテンツに対応する木構造を有した検索情報（1 5 ) を小単位の検索情報に分割して管理する検索情報管理装置（I B ) であって、

前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報と、前記動画像コンテンッの信号上の物理的な特徴を表わす信号的検索情報とに分割し、分割により得られた前記構造的検索情報から前記意味的検索情報および前記信号的検索情報のそれぞれに対応した情報を構造情報として抽出し、抽出された前記構造情報を分割により得られた前記意味的検索情報および前記信号的検索情報のそ

55

補正された) 3紙 (条約第 19条) れぞれに付加して小単位の検索情報を形成する第 1の検索情報分割手段（90 2) と、

13. (補正後）動画像コンテンツに対応する木構造を有した検索情報（1 5) を小単位の検索情報に分割して管理する検索情報管理装置（IB) であって、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) により与えられる、あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出し、抜き出された前記 1または複数の検索情報要素に対応する構造情報を前記検索情報から抽出して、抜き出された前記 1または複数の検索情報要素と抽出された対応の前記構造情報を所定の形式に従い配列することで小単位の検索情報を形成する第 1の形成手段（902) と、

14. 動画像コンテンツに対応する木構造を有した検索情報（15) を小単位の検索情報（153A、 154 A) に分割して管理する検索情報管理方法であって、前記検索情報を、前記動画像コンテンツの構造を表わす構造的検索情報（15 2) と、前記動画像コンテンツの意味内容における特徴を表わす意味的検索情報 (153) と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検

56

補正された) 3紙 (条約第 19条) 索情報（154) とに分離して出力する分離ステップと、

前記分離ステップから出力された前記構造的検索情報を分解し、分解後の前記構造的検索情報から前記意味的検索情報および前記信号的検索情報の少なくとも 1つに対応した情報を構造情報（50) として抽出する構造情報抽出ステップと、前記分離ステップから出力された前記意味的検索情報および前記信号的検索情報の少なくとも 1つに、前記構造情報抽出ステップにより抽出された対応の前記構造情報を付加して前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。

15. (補正後）動画像コンテンツに対応する木構造を有した検索情報（15) を小単位の検索情報（153A、 154A) に分割して管理する検索情報管理方法であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) により与えられる、あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出す分離ステップと、

前記分離ステツプにより抜き出された前記 1または複数の検索情報要素に対応する構造情報（50) を前記検索情報から抽出する構造情報抽出ステップと、前記分離ステツプにより抜き出された前記 1または複数の検索情報要素と前記構造情報抽出ステップにより抽出された対応する前記構造情報を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。

16. (補正後）動画像コンテンツに対応する木構造を有した検索情報（15) から小単位の検索情報（153E、 154E) を形成して管理する検索情報管理方法であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（RF) により与えられる、あるいは前記木構造中の節（ND) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が

57

補正された) 3紙 (条約第 19条) 記録されている位置を示した記録位置情報（1 5 3 D、 1 5 4 D) を抽出する記録位置情報抽出ステップと、

前記 1または複数の検索情報要素のそれぞれに対応する前記記録位置情報抽出ステップにより抽出された前記記録位置情報および前記構造情報抽出ステツプにより抽出された前記構造情報を所定の形式に従い配列することで前記小単位の検索情報を形成する単位検索情報形成ステップとを有する検索情報管理方法。

所望される検索の形態に従って、前記検索情報を、前記第 1の検索情報分割ステツプおよび前記第 2の検索情報分割ステップのいずれで分割するかを選択する分割選択ステップとを有する検索情報管理方法。

1 8 . (補正後）動画像コンテンツに対応する木構造を有した検索情報（1 5 ) を小単位の検索情報に分割して管理する検索情報管理方法であって、

前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉（R F ) により与えられる、あるいは前記木構造中の節（N D) および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素を前記検索情報から分離して抜き出し、

58

補正された用紙 (条約第 19条) 抜き出された前記 1または複数の検索情報要素に対応する構造情報を前記検索情報から抽出して、抜き出された前記 1または複数の検索情報要素と抽出された対応の前記構造情報を所定の形式に従い配列することで小単位の検索情報を形成する第 1の形成ステップと、

前記検索情報を前記木構造に基づく時間的な区切りに従って分割し、分割後の検索情報のそれぞれから小単位の検索情報を形成する第 2の形成ステップと、所望する検索の形態に従って、前記小単位の検索情報を、前記第 1の形成ステップおよび前記第 2の形成ステップのいずれで形成するかを選択する選択ステップとを有する検索情報管理方法。

1 9 . (削除）

2 0 . (削除）

2 1 . (補正後）動画像コンテンツに対応する木構造を有した検索情報（1 5 ) から形成した小単位の検索情報に基づいて検索を実行する検索装置（2 A) であつて、

前記小単位の検索情報は、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉により与えられる、あるいは前記木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報と、前記検索情報から抽出された対応の構造情報とを所定の形式に配列することで形成されて、

前記小単位の検索情報を保持する第 1の保持手段と、

2 2 . (補正後）動画像コンテンツに対応する木構造を有した検索情報を分割することにより得られた小単位の検索情報から前記検索情報の一部を復元する検索情報管理装置であって、

前記小単位の検索情報は、前記動画像コンテンツの意味内容における特徴を表

59

正された用紙 (条約第 19条) わす意味的検索情報と、前記動画像コンテンツの信号上の物理的な特徴を表わす信号的検索情報のそれぞれから形成された前記小単位の検索情報の少なくとも 1 つであり、かつ前記動画像コンテンツの構造を表わす構造的検索情報を分解して得られる構造情報を含み、

前記位置算出手段により求められた前記木構造中の位置に、対応する前記意味的検索情報または前記信号的検索情報のそれぞれを接続することにより、前記検索情報の一部を復元する復元手段とを備える検索情報管理装置。

2 3 . (補正後）動画像コンテンツに対応する木構造を有した検索情報を分割した小単位の検索情報から前記検索情報の一部を復元する検索情報管理装置であつて、

前記小単位の検索情報は、前記検索情報から分離して抜き出された、前記検索情報に含まれる同種の要素であって、前記木構造中の 1または複数の葉により与えられる、あるいは前記木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素および、前記検索情報から抽出された、前記 1または複数の検索情報要素に対応した構造情報を所定の形式に配列することで形成されて、

前記位置算出手段により求められた前記木構造中の位置に、対応する前記 1または複数の検索情報要素のそれぞれを葉あるいは部分木として接続することにより、前記検索情報の一部を復元する復元手段とを備える検索情報管理装置。

2 4 . (補正後）動画像コンテンツに対応する木構造を有した検索情報から形成した小単位の検索情報から前記検索情報の一部を復元する検索情報管理装置であつて、

前記小単位の検索情報は、前記検索情報に含まれる同種の要素であって、前記

60

¾正され用紙 (条約第 19条) 木構造中の 1または複数の葉により与えられる、あるいは前記木構造中の節および該節以下に連結された葉または節の任意の集合からなる 1または複数の部分木により与えられる、 1または複数の検索情報要素のそれぞれについて、該検索情報要素が記録されている位置を示した記録位置情報と、前記検索情報から抽出された、前記 1または複数の検索情報要素に対応した構造情報とを所定の形式に配列することで形成されて、

前記位置算出手段により求められた前記木構造中の位置に、前記検索情報要素取得手段により取得された対応する前記 1または複数の検索情報要素を接続することで、前記検索情報の一部を復元する復元手段とを備える検索情報管理装置。

2 5 . (追加）前記構造情報は、前記分離手段から出力された前記意味的検索情報または前記信号的検索情報の、前記検索情報が有する前記木構造における分離前の位置を示す情報を含む請求の範囲第 1項記載の検索情報管理装置。

2 6 . (追加）前記構造情報は、前記動画像コンテンツ上の時間的な区切りを示す情報を含み、前記動画像コンテンツ上の前記時間的な区切りは、前記分離手段カら出力された前記意味的検索情報または前記信号的検索情報と対応するものである請求の範囲第 1項記載の検索情報管理装置。

2 7 . (追加）前記構造情報は、前記分離手段により抜き出された前記 1または複数の検索情報要素の、前記検索情報が有する前記木構造における分離前の位置を示す情報を含む請求の範囲第 2項記載の検索情報管理装置。

2 8 . (追加）前記構造情報は、前記動画像コンテンツ上の時間的な区切りを示す情報を含み、前記動画像コンテンツ上の前記時間的な区切りは、前記分離手段により抜き出された前記 1または複数の検索情報要素と対応するものである請求の範囲第 2項記載の検索情報管理装置。

2 9 . (追加）前記構造情報は、前記 1または複数の検索情報要素の、前記検索

61

(条約第 19条) 情報が有する前記木構造における位置を示す情報を含む請求の範囲第 7項記載の

3 0 . (追加）前記構造情報は、前記動画像コンテンツ上の時間的な区切りを示す情報を含み、前記動画像コンテンッ上の前記時間的な区切りは、前記 1または複数の検索情報要素と対応するものである請求の範囲第 7項記載の検索情報管理

3 1 . (追加）前記所定の形式は、前記小単位の検索情報に含まれる前記 1または複数の検索情報要素が、前記木構造中での出現順序に従って配列されていることを示す請求の範囲第 2 3項記載の検索情報管理装置。

3 2 . (追加）前記構造情報は、前記 1または複数の検索情報要素に共通する種別を示す情報または共通する前記木構造中の位置情報を含む共通構造情報と、前記共通構造情報以外の非共通構造情報とからなり、

前記小単位の検索情報は、前記 1または複数の検索情報要素の配列に加えて、前記共通構造情報と前記非共通構造情報とを配して形成されている請求の範囲第

2 3項記載の検索情報管理装置。

3 3 . (追加）前記所定の形式は、前記小単位の検索情報に含まれる前記記録位置情報のそれぞれが、前記木構造中での前記記録位置情報に対応した前記検索情報要素の出現順序に従って配列されていることを示す請求の範囲第 2 4項記載の

3 4 . (追加）前記構造情報は、前記 1または複数の検索情報要素に共通する種別を示す情報または共通する前記木構造中の位置情報を含む共通構造情報と、前記共通構造情報以外の非共通構造情報とからなり、

前記小単位の検索情報は、前記記録位置情報の配列に加えて、前記共通構造情報と前記非共通構造情報とを配して形成されている請求の範囲第 2 4項記載の検

62

補正さ: (条約第 19条)