JP3454764B2 - 内容ベースで映像を検索する検索システム及び検索方法 - Google Patents

内容ベースで映像を検索する検索システム及び検索方法

Info

Publication number
JP3454764B2
JP3454764B2 JP34569999A JP34569999A JP3454764B2 JP 3454764 B2 JP3454764 B2 JP 3454764B2 JP 34569999 A JP34569999 A JP 34569999A JP 34569999 A JP34569999 A JP 34569999A JP 3454764 B2 JP3454764 B2 JP 3454764B2
Authority
JP
Japan
Prior art keywords
relationship
video
story
section
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34569999A
Other languages
English (en)
Other versions
JP2000172724A (ja
Inventor
ヒョン・ジュン・キム
ジン・ソー・リ
Original Assignee
エルジー電子株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1019980053238A external-priority patent/KR100319160B1/ko
Priority claimed from KR1019980053237A external-priority patent/KR100319159B1/ko
Application filed by エルジー電子株式会社 filed Critical エルジー電子株式会社
Publication of JP2000172724A publication Critical patent/JP2000172724A/ja
Application granted granted Critical
Publication of JP3454764B2 publication Critical patent/JP3454764B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は内容ベースで映像
（本明細書の映像とはビデオ映像など動きのある映像を
意味する）を検索する検索システム及び検索方法に係わ
る。詳細には、オブジェクトと場所、及び時間に応じた
出来事の観点から映像の内容を実質的に反映する相互関
連要素間の関係を決めて画面に表示し、映像を検索する
時、そのオブジェクトと場所、出来事の相互関係から複
数の出来事を相互に結合された形態のスト−リーとして
表現する。したがって、ユーザは、内容ベースでそれぞ
れの出来事のセクションごとに、より容易に映像を検索
できる。なお、本明細書に置いて、オブジェクトとは映
像に現れる主要な登場人物などの対象物を意味し、セク
ションとはその映像の連続した一部を意味する。
【０００２】
【従来の技術】従来の映像の検索及び映像内容の要約の
ための技術は、大抵、膨大な内容全体をキーフレームや
その他の既存の内容ベースの検索技法を用いて表現して
いる。従って、映像やドラマなどの内容全体を幾つかの
抜粋されたキーフレームまたは登場人物中心の内容ベー
スの検索技法で要約及び検索することが難しくて複雑で
あり、代表的な幾つかの場面からその内容を表現するに
は曖昧さが伴い、正確な情報の提示と検索を難しくす
る。特に、ドラマや映画などの映像は、その内容の特性
上、全体のスト−リーが出来事の相互結合によって行わ
れる特性をもっているが、従来は、このような出来事の
相互緊密な結合関係を提示しないまま、単にキーフレー
ム或いは登場人物中心の検索を行うほか仕方がなかっ
た。
【０００３】また、従来の映像の検索技術として、映像
からキーフレームを抽出し、各キーフレーム間の時間的
な関係をグラフで表現することにより、全体の内容を要
約し検索する技術が提示された。しかし、この方法は、
単純な映像ファイルには可能であるが、ドラマや映画の
ように出来事が相互密接な関係を結び、時間によって変
わる膨大な量の映像ファイルに適用するには限界があ
る。即ち、ある程度以上膨大な量の映像の場合は、キー
フレーム数も非常に多く、且つそれらの間の関係数もさ
らに多くなるため、このように多数のキーフレームと関
係をグラフで表現することも難しく、なお且つ表現して
も使用者がそのグラフ自体を理解することさえ難しくな
る。
【０００４】また、従来の映像の検索技術として、キー
フレームベースの映像の要約及び検索機能を提供する技
術があるが、この技術はキーフレームをセクションの長
さに応じて選択し、抽出したキーフレームをツリー構造
に配置する。すなわち、上位には大きいセクションから
抽出したキーフレームを配置し、下位階層に行くほど小
さいセクションから抽出したキーフレームを配置する。
しかし、この構造は特に上位階層では代表的な場面でそ
のセクションの全体の内容を表すものを選択することが
困難であり、希望の部分をキーフレームのみで探し出す
ことは困難であるという問題がある。
【０００５】また、映像の検索のための従来の他の技術
としては、映像に現れるオブジェクトを定義し、各オブ
ジェクトの出現セクションとオブジェクトの属性を定義
するようにした、オブジェクトベースの検索方法を提供
する。しかし、このような方法も全体的な内容を理解す
るには足りず、内容が把握されないので、所望の部分を
的確に検索するための検索条件としてどの特定のオブジ
ェクト及び属性を指定するか決定し難いという問題点が
ある。即ち、ドラマや映画などの一般的な映像は、時間
によって場所を異にしながら登場人物がからむ出来事の
展開をその内容とするため、単に登場人物や場面を抜粋
して見ることだけではその全体的な内容を要約、理解、
検索することが実質的には不可能である。
【０００６】
【発明が解決しようとする課題】本発明の目的は、映像
を構成する要素をもって映像の内容をオブジェクト、場
所、出来事、時間という要素の関係で表現して、映像の
内容を容易に要約し且つ検索できるようにした内容ベー
スで映像を検索する検索システム及び検索方法を提供す
ることにある。
【０００７】本発明の他の目的は、映画やドラマなどの
一般的な映像の内容を主要オブジェクトと場所との関係
から見て、ここに出来事の時間による展開という観点を
反映して構成した関係グラフから内容ベースの映像を検
索できる内容ベースで映像を検索する検索システム及び
検索方法を提供することにある。
【０００８】本発明の別の目的は、映像の内容を主要オ
ブジェクトと場所との関係と見ると、それらの関係には
時間的な要素に応じて複数の登場セクション（オブジェ
クト又は場所が登場する部分）が存在するので、それぞ
れの登場セクションに出来事を記述した文章（注釈）を
表示することによって内容ベースで映像を検索し得る内
容ベースで映像を検索する検索システム及び検索方法を
提供することにある。
【０００９】本発明の別の目的は、映像の内容を主要オ
ブジェクトと場所の関係グラフとして表現し、主要オブ
ジェクトは映像の種類によって登場人物や動物などと定
義され、出来事を文章で表現し、場所の単位は映像の内
容に基づいて異なるレベルで表現するとともに、場所の
単位を単一レベルまたは多重レベルで表現することによ
って、それらをベースとして映像が検索できる内容ベー
スで映像を検索する検索システム及び検索方法を提供す
ることにある。
【００１０】本発明の別の目的は、映像の内容を主要オ
ブジェクトと場所、これら間の関係を表現し、一つの関
係は一つ以上の登場セクションとして表示し、一つの登
場セクションは映像内におけるセクションとして表示
し、そのセクションを代表するフレームを表示するとと
もに出来事を文章で記述する部分を表示し、それらから
映像を検索できるようにした内容ベースで映像を検索す
る検索システム及び検索方法を提供することにある。
【００１１】本発明の別の目的は、映像の内容を主要オ
ブジェクトと場所、出来事の関係で表現し、一つのオブ
ジェクトと一つの場所との関係のみならず、複数のオブ
ジェクトと場所との関係も検索することができる内容ベ
ースで映像を検索する検索システム及び検索方法を提供
することにある。
【００１２】本発明の別の目的は、映画やドラマなどの
映像内容を全体のスト−リーで表現し、この時、全体の
スト−リーはドラマや映画の内容展開による出来事ごと
に文章の形態で表現し、それぞれの出来事ごとに実際の
映像をセクション分けして、その分けられたセクション
別に既存の検索方法を含む検索方法を適切に適用して検
索することができる内容ベースで映像を検索する検索シ
ステムを提供することにある。
【００１３】本発明の別の目的は、映画やドラマなどの
映像の内容をその内容展開による出来事の相互結合関係
から一目瞭然に把握することのできる出来事の文章（文
章または文章と代表場面の形態）で提示し、このような
出来事セクションを基盤として映像の内容を要約及び検
索できるようにして、従来のキーフレームまたは代表場
面のみで表現する検索システムに比べて膨大な量の映像
に適用することができ、簡便且つ容易に映像の内容を検
索することができる内容ベースで映像を検索する検索シ
ステムを提供することにある。
【００１４】本発明の別の目的は、ドラマや映画など一
般的な映像の内容をオブジェクト、場所、時間による出
来事という要素の関係で表現することにより、ユーザが
より容易に映像の全体的または部分的な内容を要約し検
索し得る内容ベースで映像を検索する検索システム及び
検索方法を提供することにある。
【００１５】
【課題を解決するための手段】本発明による内容ベース
で映像を検索する検索システムは、ビデオストーリーの
なかの少なくとも一つのオブジェクトと一つの場所との
関係に基づいてビデオストーリーと検索データを格納す
る格納手段と、格納された検索データに基づいてユーザ
によって選択された検索データを表示し、ユーザによっ
て選択された検索データに対応するビデオストーリーの
セクションを表示するユーザインタフェース手段と備え
ていることを特徴とする。
【００１６】表示された検索データは、ビデオストーリ
ー内の少なくとも一つのオブジェクトと少なくとも一つ
の場所との関係情報を表示する関係グラフの画面と、前
記関係グラフの画面から少なくとも一つの選択された関
係に対応するビデオストーリー内の少なくとも一つの代
表場面と簡単なセクション説明を表示する関係内容の画
面とを備えていることを特徴とする。
【００１７】表示された検索データは、ビデオストーリ
ー内の少なくとも一つの出来事を文章で表示するストー
リー画面と、ストーリー画面から選択された出来事に対
応するビデオストーリー内の一つのセクションの代表場
面と連結される関係グラフの内容を、ストーリー画面か
ら選択された出来事に対応するビデオストーリー内の一
つのセクションの代表場面と簡単なセクション説明を表
示するセクション内容画面と、ストーリー画面から選択
された出来事に対応するビデオストーリー内の一つのセ
クションの少なくとも一つのオブジェクトと少なくとも
一つの場所との関係間の関係グラフと、その関係グラフ
から選択された関係に対応する一つのセクションの少な
くとも一つの代表場面と、またはストーリー画面から選
択された出来事に対応するビデオストーリー内の一つの
セクションの少なくとも一つのオブジェクトと少なくと
も一つの場所との関係間の関係グラフと、その関係グラ
フから選択された関係に対応する一つのセクションの少
なくとも一つの代表場面と簡単な説明を付けた画面を備
えていることを特徴とする。
【００１８】表示された検索データは、少なくとも一つ
の出来事の各出来事に対応する文章と代表場面によって
ビデオストーリー内の少なくとも一つの出来事を表示す
るストーリー画面と、関係グラフから選択された関係に
対応する一つのセクションの少なくとも一つの代表場面
を表示し、ビデオストーリーから選択された出来事に対
応するビデオストーリー内の一つのセクションの少なく
とも一つのオブジェクトと少なくとも一つの場所との関
係間の関係グラフを表示するセクション内容画面とを備
えていることを特徴とする。
【００１９】本発明による内容ベースで映像を検索する
検索方法は、オブジェクトと場所を選択して設定して、
ビデオストーリーの内容を整理する要素として少なくと
も一つのオブジェクトと少なくとも一つの場所を選択す
るステップと、選択されたオブジェクトと場所との関係
を設定するステップと、前記それぞれ設定された関係に
対応する前記ビデオストーリー内の一つのセクションの
少なくとも一つの代表場面を設定するステップと、ビデ
オストーリーのセクションのそれぞれに対する説明を設
定するステップと、ビデオストーリーのセクションのそ
れぞれに対する説明を設定するステップと、内容ベース
のビデオストーリー検索で用いられる格納手段に前記設
定された情報を格納するステップとを含んでいることを
特徴とする。
【００２０】設定されたオブジェクトまたは設定された
場所のうち少なくとも一つのオブジェクトまたは場所に
依存する下位階層を設定するステップと、設定されたオ
ブジェクトと設定された場所のそれぞれに依存する下位
階層間の関係を設定するか、少なくとも設定されたオブ
ジェクトと場所のそれぞれに依存する下位階層間の関係
を設定するステップとをさらに含んでいることを特徴と
する。
【００２１】本発明による内容ベースで映像を検索する
検索方法は、（ａ）ビデオストーリー内の少なくとも一
つのオブジェクトと少なくとも一つの場所との関係に基
づいて検索データを表示するステップと、（ｂ）表示さ
れた検索データに基づいてユーザの選択を受け、ユーザ
の選択に対応するビデオストーリー内の一つのセクショ
ンを表示するステップとを含んでいることを特徴とす
る。
【００２２】前記（ａ）ステップは、ビデオストーリー
内の少なくとも一つのオブジェクトと少なくとも一つの
場所との関係を示す関係グラフを表示するステップから
なり、前記（ｂ）ステップは関係グラフから関係または
選択された関係に対応するビデオストーリー内の一つの
セクションの少なくとも一つの代表場面と簡単な説明を
表示するステップとからなることを特徴とする。
【００２３】前記（ａ）ステップは、文章によって関係
グラフの少なくとも一つの出来事を示すストーリー画面
を表示するステップからなり、前記（ｂ）ステップはス
トーリー画面から選択された出来事に対応するビデオス
トーリー内の一つのセクションの代表場面を連結する関
係グラフを表示するステップとからなることを特徴とす
る。
【００２４】本発明による内容ベースで映像を検索する
検索システムの別の特徴は、文章によってビデオストー
リーの少なくとも一つの出来事を示すストーリー画面
と、ストーリー画面から選択された出来事に対応するビ
デオストーリー内の一つのセクションを示したセクショ
ン内容画面とを含んで構成されることにある。
【００２５】セクション内容画面は、ストーリー画面か
ら選択された出来事に対応するビデオ画面の代表場面を
連結する変化グラフを示すことを特徴とする。セクショ
ン内容画面は、ビデオストーリーから選択された出来事
に対応するビデオストーリー内の一つのセクションの少
なくとも一つのオブジェクトと少なくとも一つの場所と
の関係の関係グラフを示し、関係グラフから選択された
関係に対応するセクションの少なくとも一つの代表場面
を示すことを特徴とする。
【００２６】ストーリー画面は、少なくとも一つの出来
事の各出来事に対応する代表場面を示し、セクション内
容画面はストーリー画面から選択された出来事に対応す
るビデオストーリー内の一つのセクションの少なくとも
一つのオブジェクとト少なくとも一つの場所との関係グ
ラフを示し、関係グラフから選択された関係に対応する
一つのセクションの少なくとも一つの代表場面を示すこ
とを特徴とする。
【００２７】
【発明の実施の形態】以下、本発明による内容ベースで
映像を検索する検索システム及び検索方法の好適な実施
形態を添付図面に基づいて説明する。図１は本発明の内
容ベースで映像を検索する検索方法とビデオのストーリ
ーブラウザを実現するための映像の検索システムの構成
手順を示す。まず、ステップ１０１は主要オブジェクト
及び場所を設定するステップを示す。このステップ１０
１では映画やドラマなどの映像内容に関する主要オブジ
ェクトと場所を設定するが、例えば主要オブジェクトと
しては登場人物のうち出来事の展開に必要な主要登場人
物を設定し、この登場人物と共に出来事の展開に必要な
主要場所を設定し、この時に設定される場所は場面内で
全く異なる様子で表れることもある。
【００２８】例えば、場所を病院にすると、その病院内
の廊下場面、入院室場面、手術室場面、ロビー場面、病
院の庭場面などとさらに細分化することができ、その細
分化したものを場所に依存する下位階層の場所として設
定することができる。もちろん、概念的には「病院」と
いう場所であることを分かって同じ場所で表現すること
が映像内容全体の理解に役に立つ場合には、これらを一
つの主要場所として結合する。また、主要オブジェクト
として、登場人物の場合にもその登場人物に依存する下
位階層のオブジェクトをさらに設定することもできる。
【００２９】次のステップ１０２は前記ステップ１０１
で設定された主要オブジェクトと場所との関係を設定す
るステップである。例えば、主要オブジェクトとして登
場人物Ａ、登場人物Ｂ、登場人物Ｃが設定され、場所と
して病院、部屋の中、野外が設定されたなら、登場人物
Ａが登場する（関係のある）場所は病院と部屋の中、登
場人物Ｂと関係のある場所は部屋の中、野外、登場人物
Ｃと関係のある場所は野外などのように登場人物と場所
との関係を設定する。このような関係は実際の映像でそ
の場所にそのオブジェクトが登場するセクションとなる
ので、それに索引付けする。
【００３０】そのオブジェクトが登場するセクション
は、画面にそのオブジェクトが現れる一つのフレームの
みを意味することもあるが、内容上そのオブジェクトが
登場している場面を含むいくつかのフレームを意味する
こともある。例えば、登場人物Ａと登場人物Ｂが対話し
ている場面を表しているセクションに人物ＡとＢが代わ
る代わる現れることがある。その場合、そのセクション
中の全てに登場人物Ａと登場人物Ｂが現れてはいるわけ
ではない。しかし、その場合でも、場面の全体のセクシ
ョンを登場人物Ａが現れるセクションまたは登場人物Ｂ
が現れるセクションとして索引付けしてもよい。
【００３１】次のステップ１０３は代表場面の設定ステ
ップであり、ステップ１０２で設定されたオブジェクト
と場所との関係から、その場所に係わる該当オブジェク
トの登場場面を代表することのできるフレームを設定す
る。一つの代表フレームをセクションを代表するフレー
ムとして設定して、そのフレームの位置を表示する。前
記の例によれば、登場人物Ａ−病院の関係から登場人物
Ａが病院に登場しているセクションを代表するフレーム
として「手術場面フレーム」を設定し、そのフレームの
位置を表示する。
【００３２】次のステップ１０４は出来事を説明ステッ
プであり、前記のステップで得られた登場するセクショ
ンごとに適切な注釈を付ける。前記の例によれば、登場
人物Ａ−病院の関係から「手術場面フレーム」を代表場
面として設定し、その登場セクションの内容を要約でき
る説明を付加する。
【００３３】上述したように映像の内容に基づいて主要
オブジェクトと場所との関係を設定し、また登場セクシ
ョンの索引及び登場セクションの代表フレームの設定、
注釈付け（出来事）を行うことにより、オブジェクト−
場所−出来事−時間の関係をベースとする映像の検索の
基本情報が完成する。
【００３４】このような情報は一例としてマルチメディ
アストリームのヘッダに収録することもできる。そうす
ると、映像の検索システムではマルチメディアストリー
ムのヘッダに収録された前記の情報を検出した後、判読
してその映像に対する内容ベースの検索を行うことがで
きる。
【００３５】図２は前記図１のステップを経て実現され
たオブジェクトと場所／出来事の関係グラフのためのデ
ータ構造の一例を示す。オブジェクトとして登場人物Ａ
（２０１）、登場人物Ｂ（２０２）、登場人物Ｃ（２０
３）が設定され、場所として病院２０４、部屋の中２０
５、野外２０６が設定され、登場人物Ａ（２０１）は病
院２０４と野外２０６という場所との関係が設定され、
登場人物Ｂ（２０２）は病院２０４と部屋の中２０５と
いう場所との関係が設定され、登場人物Ｃ（２０３）は
部屋の中２０５という場所との関係が設定される。そし
て、それぞれのオブジェクト２０１，２０２，２０３と
それぞれの場所２０４，２０５，２０６との関係がリン
ク２０７でグラフ化される。リンク２０７でグラフ化さ
れるオブジェクト−場所の設定関係に応じて登場人物の
登場するセクションが索引付けされる。
【００３６】例えば、図２に示したように、登場人物Ａ
（２０１）と病院２０４との関係設定から、該当登場人
物Ａ（２０１）は病院で登場する三つの登場セクション
１，２，３（２０８）（２０９）（２１０）に対応し、
それぞれの登場セクションを代表する場面とその登場セ
クションの開始及び終了位置、登場セクションに対する
出来事の説明がそれぞれ設定される。即ち、図２は登場
人物Ａ（２０１）が病院２０４という関係場所に登場す
るセクションのうち、登場セクション２（２０９）の場
合を説明している。その登場セクションはフレーム１６
からフレーム２１であり、この中で、代表場面としてフ
レーム１８をキーフレーム２１１として、その位置情報
（Ｆｒｍ＿Ｋ）を収録し、且つ登場セクション２（２０
９）の一番目のフレーム１６を開始フレーム２１２とし
て、その位置情報（Ｆｒｍ＿Ｓ）を収録し、登場セクシ
ョン２（２０９）の最終フレーム２１を終了フレーム２
１３としてその位置情報（Ｆｒｍ＿Ｅ）を収録し、登場
セクション２（２０９）に該当する内容の要約（注釈）
を文章にして出来事情報（Ｅｖｅｎｔ（ｔｅｘｔ））と
して記録されたことを示す。
【００３７】一方、オブジェクトとしての登場人物Ｂ０
１，２０２，２０３に依存する下位階層のオブジェクト
関係情報２１５（Ｈｕｍａｎ Ｏｂｊｅｃｔ Ｓｃｈｅ
ｍｅ）を収録することもでき、且つ前記場所として病院
２０４または部屋の中２０５または野外２０６などに依
存する下位階層の場所関係情報（Ｐｌａｃｅ Ｏｂｊｅ
ｃｔ Ｓｃｈｅｍｅ）２１６を収録することもできる。
これは例えば病院２０４という大きい枠の場所でも入院
室、廊下、ロビー、手術室などの下位階層的な場所をオ
ブジェクト−場所の関係として設定することを意味す
る。
【００３８】図２に示したようなオブジェクト−場所／
出来事の関係グラフ構造は、オブジェクトと場所一箇所
の関係に対して複数の登場セクションが存在すること
も、複数のオブジェクトと一箇所の場所が関係を持つこ
とも、一つのオブジェクトと複数の場所が関係を持つこ
ともある。即ち、単一レベルのオブジェクト−場所関係
は勿論のこと、多重的なオブジェクト−場所関係を持つ
こともある。
【００３９】図３は前記図１及び図２から実現される本
発明の映像の検索システムの全体的なブロック図の一実
施形態を示す。ここに図示されたことによって本発明が
制限されることはない。図３では説明の便宜上、ビデオ
供給者とユーザの立場に分離しており、ビデオ供給者は
前記図１の過程によって図２のような検索情報を開発
し、ユーザは前記検索情報による映像の検索を行う。
【００４０】即ち、ビデオストーリーを表すディジタル
ビデオデータ３０１は入力ビデオバッファ３０２に格納
されている。ビデオバッファ３０２に格納されたディジ
タルビデオデータ３０１はビデオ処理ユニット３０３に
よってマルチメディアビデオストリームのファイルとし
て制御される。処理制御ユニット３０４は必要なそれぞ
れの情報を製作するか、在る情報を読み取って処理す
る。そして、ユーザインタフェース及び表示部３０５
は、ビデオ処理ユニット３０３及び処理制御ユニット３
０４によって処理されるビデオデータの表示はもちろん
のこと、図２のデータ製作のためのユーザ情報を入力す
るためのインタフェースを提供する。
【００４１】処理制御ユニット３０４で処理された図２
のような構造のオブジェクト−場所／出来事関係情報
は、ビデオ情報処理メモリ３０６に一時的に格納され、
ここに格納されたオブジェクト−場所／出来事関係情報
はビデオバッファ３０２に収録されたビデオデータと一
緒に適切なフォーマットで格納空間３０７に格納され
る。格納空間３０７に格納されたビデオデータ及び図２
のような検索関係情報は、記録媒体の形態または有線ま
たは無線放送通信網を通してユーザに提供される。
【００４２】ユーザ側では格納空間３０７から提供され
るビデオデータとオブジェクト−場所／出来事データを
検索して見る。すなわち、ビデオバッファ３０８は格納
空間３０７からビデオデータを読み、一時的に格納し、
ビデオ処理ユニット３０９と処理制御ユニット３１０
は、ビデオバッファ３０８に格納されたビデオデータを
処理する。ビデオ情報処理メモリ３１２は格納空間１０
７からオブジェクト−場所／出来事データを読み取って
一時的に格納する。そして、処理制御ユニット３１０
は、メモリから情報をビデオ情報用に処理する。
【００４３】次に処理されたデータと情報はユーザイン
タフェース及び表示部３１１から受信される選択された
検索情報によって表示される。言い換えれば、図３に示
したような内容ベースで映像を検索する検索システムに
よれば、供給者側ではユーザインタフェース及び表示部
３０５を通して図１の過程及び図２に示したようなデー
タ構造を完成し、このように完成された情報を適切な格
納空間１０７にビデオデータとともに収録し、ユーザ側
ではユーザインタフェース及び表示部３１１を通して図
４乃至図１３のような映像の検索を行う。
【００４４】図４はユーザ側に提供される映像ビデオの
ストーリーブラウザ（ユーザインタフェース）の一例を
示す。図２に示したようなオブジェクト（登場人物）−
場所／出来事の関係に対応している。即ち、ビデオのス
トーリーブラウザ４００は図２に示すように製作された
オブジェクトと場所の設定関係グラフ４０１及び選択さ
れた関係に対応するキーフレーム４０２／出来事（内容
説明）を提示する。
【００４５】前記オブジェクト−場所の関係は、オブジ
ェクトとして登場人物Ａ（４０３）が、場所として病院
４０６及び野外４０８が設定され、登場人物Ｂ（４０
４）は病院４０６及び部屋の中４０７との関係として設
定され、登場人物Ｃ（４０５）は部屋の中４０７との関
係として設定されている。この中で、ユーザが検索を希
望する内容を、関係リンク４０９で関係付けられた登場
人物Ｂ（４０４）と病院（４０６）の単一レベルに対す
る検索をユーザインタフェース及び表示部３１１を用い
て選択すると、処理制御ユニット３１０はビデオ情報処
理メモリ３１２を参照して前記関係に該当する４つの登
場セクション１，２，３，４（４１０）とそれぞれの登
場セクションに該当する出来事（内容説明）４１１を提
示する。
【００４６】関係リンク４０９の上に表示された４つの
小さい丸は登場人物Ｂ（４０４）と病院４０６の関係で
は４つの登場セクションが存在することを示している。
いうまでもなく、本発明はこれによって限定されず、登
場セクションの数を表示するための他の方法を使用する
こともできる。そして、ユーザは関係リンク４０９より
はむしろオブジェクトまたは場所を選択することもあ
る。もちろん、ここで、関係リンク４０９から一つ以上
のオブジェクトを選択すれば、場所と関係なくそのオブ
ジェクトが一緒に登場したセクションを検索して表示す
ることもでき、また特定場所のみを選択すれば、オブジ
ェクトとは関係なくその場所が背景であるセクションの
みを検索して表示することもできる。
【００４７】図５は前記図４に示したような一つのオブ
ジェクト−場所の関係に属した複数の登場セクションの
中の一つを代表フレームを用いて選択した場合に、該当
登場セクションの説明と代表フレームが表示されたユー
ザインタフェースを示す。即ち、図５は前記図４に示し
たようなビデオのストーリーブラウザ４００から登場人
物Ｂ（４０４）−病院４０６の関係を選択し、ここで再
びその登場人物Ｂと病院の関係に該当する４つの登場セ
クションの中から登場セクション２を選択した場合に、
登場セクション２に対する説明５１１と代表フレーム５
１０が表示されたことを示す。
【００４８】この場合にもビデオのストーリーブラウザ
５００は、オブジェクト−場所の設定関係グラフ５０１
とキーフレーム５０２を提示し、登場人物Ａ，Ｂ，Ｃ
（５０３，５０４，５０５）、場所（５０６，５０７，
５０８）、関係リンク５０９のデータ構造を提示してい
る。
【００４９】符号５１２は登場セクション２の代表フレ
ーム５１０を見てユーザが該当セクションの再生を所望
する場合に選択するアイコンとして提示し、これを選択
すると、該当セクションの開始フレームから終了フレー
ムまで表示される。
【００５０】図６は本発明で複数のオブジェクトに対す
る一つの場所対応関係から登場セクションと出来事（内
容説明）を提示する場合を示す。ビデオのストーリーブ
ラウザ６００は、オブジェクト−場所の設定関係グラフ
６０１とキーフレーム６０２を提示し、登場人物Ａ，
Ｂ，Ｃ（６０３，６０４，６０５）、場所（６０６，６
０７，６０８）、関係リンク（６０９，６１０）のデー
タ構造を提示し、登場人物Ａ（６０３）及び登場人物Ｂ
（６０４）の複数のオブジェクトと一つの場所６０６を
選択した場合、登場人物Ａ（６０３）と登場人物Ｂ（６
０４）が同時に病院６０６に登場する２つのセクション
に対する代表フレーム６１１，６１３及びそれぞれの説
明６１２，６１４を検索して示している。即ち、登場人
物Ａ（６０３）と登場人物Ｂ（６０４）、場所６０６の
関係内に存在する登場セクションのうち、登場人物Ａ
（６０３）と登場人物Ｂ（６０４）が一緒に登場するセ
クションは２つのセクションであり、該当セクションに
対する代表フレーム６１１，６１３と説明６１２，６１
４を提示している。
【００５１】また、複数のオブジェクトのみを選択すれ
ば、ビデオのストーリーブラウザ６００は、選択された
オブジェクトが場所と関係なく一緒に登場したセクショ
ンを検索してくれる。また、一つの場所を選択すれば、
ビデオのストーリーブラウザ６００は、選択された場所
が現れるセクションをオブジェクトと関係なく検索して
くれる。
【００５２】図７は全体のストーリーの出来事を文章で
表現し、その出来事の関係をキーフレームとそれら間の
時間的関係をグラフで表現したユーザインタフェースの
例を示す。図示したように、ビデオのストーリーブラウ
ザ７００として出来事ごとに出来事の文章７０１ａの集
合として表示されているストーリー表示部７０１（スト
ーリー画面）を有し、このストーリー表示部７０１で任
意の出来事に該当する出来事の文章７０１ａを選択する
と、その出来事の映像セクションの内容を代表する場面
（場面１−場面４）をリンクで連結した形態のトランザ
クショングラフで表示するキーフレーム部７０２が現れ
る。
【００５３】図８は本発明で全体のストーリー内の出来
事を文章で表現し、その出来事を代表する場面をキーフ
レームで表現したユーザインタフェースの例を示す。図
示したように、ビデオのストーリーブラウザ８００とし
て出来事ごとに出来事の文章８０１ａの集合が表現され
るストーリー表示部８０１を有し、このストーリー表示
部８０１で任意の出来事に該当する出来事の文章８０１
ａを選択した場合、その出来事の映像セクションの内容
をキーフレーム（場面１−場面７）とそれぞれのキーフ
レームに対する説明を表示するキーフレーム部３０２を
提示している。
【００５４】図９は映像の内容を出来事ごとに出来事の
文章の集合から構成されるスト−リーで表現し、それぞ
れの出来事セクション内における内容をオブジェクト
（ここでは登場人物）と場所との関係で表現したユーザ
インタフェースの例を示す。図示したように、ビデオの
ストーリーブラウザ９００として出来事ごとに出来事の
文章９０１ａの集合が表現されるストーリー表示部９０
１を有し、このストーリー表示部９０１で任意の出来事
の文章を選択した場合、そのセクション内の登場人物と
場所との関係グラフ及び関係選択に対応する代表場面
（キーフレーム）を表示するキーフレーム部９０２を有
する。前記キーフレーム部９０２には登場人物−場所関
係グラフの画面９０３と任意の関係に対応する代表場面
９０４が表示される。
【００５５】例えば、前記ストーリー表示部９０１で任
意の出来事に該当する出来事の文章９０１ａを選択した
場合、その出来事の映像セクションの内容をその出来事
セクションに登場する登場人物（Ａ，Ｂ，Ｃ）９０５，
９０６，９０７と、それぞれの登場人物が登場する場所
として病院９０８、部屋の中９０９、野外９１０などと
の関係が登場人物−場所関係グラフの画面９０３に表示
され、この中で登場人物Ｂ（９０６）と病院９０８との
関係９１１を選択すると、その登場人物Ｂ（９０６）が
病院９０８に登場するセクションに対する代表場面をキ
ーフレーム（Ｋｅｙ Ｆｒａｍｅ１４，Ｋｅｙ Ｆｒａ
ｍｅ１７，Ｋｅｙ Ｆｒａｍｅ１）で代表場面部９０４
に表示される。
【００５６】図１０は本発明でスト−リーを構成する各
出来事の文章ごとに代表場面を一緒に表現したユーザイ
ンタフェースの例を示す。図示したように、ビデオのス
トーリーブラウザ１０００として出来事ごとに出来事の
文章の集合とともにその出来事を代表するキーフレーム
（Ｋｅｙ Ｆｒａｍｅ１４）が一緒に表現されるストー
リー表示部１００１を有し、このストーリー表示部１０
０１で任意の出来事の文章を選択した場合、そのセクシ
ョン内の登場人物と場所との関係グラフ及び関係選択に
対応する代表場面（キーフレーム）を表示するキーフレ
ーム部５０２を有する。キーフレーム部５０２には登場
人物−場所関係グラフの画面１００３と任意の関係に対
応する代表場面部１００４が表示され、検索方法及び検
索結果の表示は前記図９の場合と同一である。
【００５７】但し、図１０では出来事の文章の代わりに
該当キーフレームを選択することだけでその出来事セク
ションに対する登場人物と場所の関係及びその関係の選
択による代表場面の表示が行われる。
【００５８】図１１は本発明を適用するための検索デー
タ構造の一例として前記したような登場人物−場所の関
係グラフを表現したユーザインタフェースの例を示す。
符号１１０１は全体のストーリーを示すが、ここには出
来事ごとにその出来事の文章（ａ ｐｉｅｃｅ ｏｆ
ｔｅｘｔ ｓｔｏｒｙ）６０１ａが構成される。符号１
１０２は出来事ごとにその出来事セクションに代表する
場面であり、キーフレーム（位置情報）１１０２ａとそ
れぞれの出来事の文章ごとにそれが意味する実際の映像
セクションを関係リンク１１０４で表示している。符号
１１０３は映像セクション情報１１０２に対応して各セ
クション内における内容検索構造、即ち登場人物１１０
３ａ、１１０３ｂ−場所１１０３ｃ、１１０３ｄの設定
関係グラフ構造を含む部分であり、リンク１１０５で出
来事セクションに該当する登場人物−場所の関係情報を
提示している。
【００５９】ここでは特に登場人物（Ｈｕｍａｎ）１１
０３ａに依存的な付加情報（Ｈｕｍａｎ Ｓｃｈｅｍ
ｅ）１１０３ｂをその登場人物に従属する下位階層の関
係情報として付加しており、場所１１０３ｃに対しても
その場所に従属する下位階層の関係情報１１０３ｄをさ
らに付加した。これは例えば「病院」という場所に対し
て従属する「入院室」、「手術室」、「病院の廊下」な
どの下位階層（場所）情報を関係付けるためのものであ
る。
【００６０】図１２と図１３は本発明で場所の多重レベ
ルを説明するためのユーザインタフェースの例を示した
図である。まず、図１２に示したビデオのストーリーブ
ラウザ１２００は、オブジェクトと場所の設定関係表示
部１２０１と出来事ごとに出来事の文章の集合が表現さ
れるストーリー表示部１２０２を持っており、出来事の
文章に該当するオブジェクトと場所の関係表示部１２０
１にはオブジェクトと場所の関係をグラフで表示する部
分１２０３と選択された関係に該当する代表場面（Ｋｅ
ｙ Ｆｒａｍｅ）１２０４及びそのセクションの出来事
内容の説明１２０５を表示する部分を持っている。前記
ストーリー表示部１２０２には図１０に示したように出
来事ごとにその出来事を代表する代表場面（キーフレー
ム）を一緒に表示することもできる。
【００６１】図１２ではオブジェクトとして３名の登場
人物（Ｃｈａｒａｃｔｅｒ Ａ，Ｂ，Ｃ）を提示してお
り、場所として病院、登場人物Ａの家（Ａ’ｓ ｈｏｕ
ｓｅ）、そして公園（Ｔｈｅ Ｐａｒｋ）を提示してい
る。また、登場人物Ａは病院と公園に、登場人物Ｂは病
院に、登場人物Ｃは登場人物Ａの家に関係付けられてい
る。ここで、登場人物Ｂと病院の関係１２０６を選択し
た場合に登場人物Ｂが病院に登場するセクションに対す
る代表場面がキーフレーム１２０４で提示されており、
そのセクションに対する出来事の説明１２０５が一緒に
提示されていることを示す。
【００６２】一方、上述したように「病院」という場所
の下位階層に該当するレベルがあることを表示部−拡張
ボタン標識１２０７で表している。表示部−拡張ボタン
標識１２０７はメニューで表現することもできる。従っ
て、ユーザがこの表示部−拡張ボタン標識１２０７を選
択すると、図１３に示したように「病院」という場所の
下位階層に該当するレベルにおけるオブジェクト−場所
関係が提示される。
【００６３】即ち、図１３におけるビデオのストーリー
ブラウザ１３００は、オブジェクト−場所関係表示部１
３０１、ストーリー表示部１３０２、オブジェクト−場
所関係グラフ表示部１３０３、選択された関係に該当す
るキーフレーム１３０４及び出来事内容の説明１３０５
などを有し、且つ「病院」という上位階層の場所に対し
て病院ロビー及び病室という下位階層のレベルが提示さ
れ、またこの下位階層のレベルに対して登場人物Ｂとの
関係１３０６ａ，１３０６ｂが提示される。
【００６４】従って、ユーザは図１３に示したようなビ
デオのストーリーブラウザ１３００から登場人物Ｂと病
院ロビーの関係１３０６ａ或いは登場人物Ｂと病室の関
係１３０６ｂを選択することができ、このように選択さ
れた関係に該当するキーフレーム１３０４及びその説明
１３０５が検索結果として提示される。また、再び上位
レベルの病院へ行くために図のように病院ロビーと病室
をグループ化するボタン標識１３０７を設けてこのボタ
ン標識１３０７を選択すると、図１２に示したような検
索画面に戻る。
【００６５】図１４は本発明によるストーリーブラウザ
によるデータ構造の一例を示す図であり、図示したよう
に、オブジェクト及び場所関係情報、そして場面セクシ
ョン情報を含む関係情報に分けられる。各場面セクショ
ン情報はストーリーの時間的な間隔とセクション内容を
含む。
【００６６】図１５は本発明によるストーリーブラウザ
によるデータ構造の他の例を示した図である。図示した
ように、ビデオは関係情報よりはむしろ場面セクション
情報に分けられる。前記それぞれの場面セクション情報
は複数のオブジェクト情報のみならず時間間隔情報、内
容情報、そして場所情報に分けられる。
【００６７】図１６、１７は図１４及び図１５の時間間
隔、オブジェクト、場所そして内容情報のデータ構造を
示す図であり、特に時間間隔情報は図１６ａに示したよ
うにセクションの始まりと終わりを含む。オブジェクト
情報は図１６ｂに示したように名前と代表場面（キーフ
レーム）を含む。場所情報は、図１７ｃに示したよう
に、名前と代表場面（キーフレーム）を含み、そして下
位階層を選択的に含む。内容情報は、図１７ｄに示した
ように、文章ストーリーと代表場面（キーフレーム）を
含む。
【００６８】図１乃至図１７で説明したように、本発明
は映像の内容をオブジェクトと場所との関係から検索す
ることができる。図１乃至図１７では一つのビデオファ
イル、即ち一編のドラマや一編の映画について説明し
た。
【００６９】しかし、本発明の内容ベースで映像を検索
する検索システムの概念を拡張適用して、本発明の内容
ベースで映像を検索する検索システムにおいて、複数の
ビデオファイル全体を一つの関係グラフで表現し、また
それぞれのビデオファイルの内容を一つの関係グラフで
表現した構造を有し、全体の内容を関係グラフから大略
検索し、一つのビデオファイル内容の関係グラフから細
部的に検索することも実施可能である。例えば、シリー
ズ物のような場合、多数のビデオファイルに分けられて
いるが、シリーズ物の特性上、共通のオブジェクト（例
えば、同じ主人公）と共通の場所（例えば、出来事展開
の主な場所）の下で互いに異なる出来事が展開される
か、脈絡上、同じ出来事が多数回に分けられて上映され
る場合が普通なので、このような場合には多数編のビデ
オファイルの内容を全体的に一つのビデオファイルのよ
うに見なして図１乃至図１６に示したようにオブジェク
ト−場所の関係グラフ構造で表現し、またさらにそれぞ
れのビデオファイルの内容を図１乃至図１６に示したよ
うなオブジェクト−場所の関係グラフ構造で表現するこ
とにより、複数のビデオファイルに対する全体的な内容
を概略的に検索し、また一つのビデオファイルに対して
細部的に検索することが可能になる。
【００７０】また、本発明は映像の内容全体に対する要
約は勿論のこと、特定の位置を選択してその位置に該当
する内容を検索することができる。また、本発明は映画
やドラマなどの映像に対してその出来事展開の基本的で
且つ一般的な要素としての登場人物、出来事、背景とい
う３要素を基準として相互関係グラフを提示したので、
内容表現自体が理解し易く、オブジェクトが登場人物で
ない動物の話などを内容とする映像にも適用可能であ
る。
【００７１】尚、本発明では場所が出来事展開によって
そのレベルが変わることもあるが、適用的に対応するこ
とができる。即ち、本発明では設定されたオブジェクト
と場所に依存する下位階層のオブジェクトまたは場所を
設定するので、出来事展開による内容の理解と要約をさ
らに容易くする。また、本発明は映像内容をオブジェク
トと場所及び時間による出来事の展開という観点から関
係を設定したため、多様な応用が可能である。
【００７２】例えば、ゴルフのようなスポーツを内容と
する映像に対して、主要オブジェクトはゴルファにな
り、主要場所は各ホールまたは各ホール内の特徴によっ
て、ティーグラウンド、フェアウェイ、ラフなどと関係
付けられた場所であり、各場面の出来事はゴルファのス
イングの種類になることができるので、スポーツ中継を
効率的に表現する良い応用となることができる。
【００７３】
【発明の効果】以上説明したように、本発明による内容
ベースで映像を検索する検索システムの請求項１乃至請
求項４は、複数のビデオファイルの内容を一つの関係グ
ラフで表現した構造と、それぞれのビデオファイル内容
を一つの関係グラフで表現した構造を全て持ち、複数の
ビデオファイルの全体の内容を関係グラフから概略的に
検索し、一つのビデオファイル内容の関係グラフから細
部の検索を行うことができるので、複数のビデオファイ
ルに対する一括検索を可能とし、多様な分野に適用され
て全体的な映像の要約と理解及び希望するセクションの
効率的な検索を可能にする。
【００７４】また、本発明はドラマや映画の全体のスト
ーリーがドラマや映画を実質的に構成する出来事の集合
の形態で表現されるので、既存のキーフレームベースの
内容要約及び検索方法のように映像ストーリー展開を単
純に代表場面のみで表現することによる制約を解消する
ことができ、ドラマや映画の内容を出来事と出来事の結
合関係から一目瞭然に要約及び検索することができる。
【００７５】本発明による内容ベースで映像を検索する
検索方法の請求項７及び請求項８は、ドラマや映画のよ
うな種類の映像に適用してユーザの希望する内容を出来
事ごとに検索することができるため、出来事が展開する
ストーリーをストーリー展開の前後関係とともに全体の
ストーリーを背景とする部分スト−リーの形態で要約及
び検索することができる。
【００７６】以上説明した内容によって、当業者なら本
発明の技術思想を外れない範囲で多様な変更及び修正が
可能なのは明らかである。従って、本発明の技術的範囲
は実施形態に記載された内容に限定されず、特許請求の
範囲によって定められなければならない。
【図面の簡単な説明】
【図１】本発明で映像の検索のためのオブジェクトと場
所の関係を設定して検索情報を構成するステップを示し
たフローチャートである。
【図２】本発明で実現されたオブジェクトと場所との関
係を設定するグラフデータの構造を例を挙げて示した図
である。
【図３】本発明による映像製作と検索器の一実施形態を
示したブロック図である。
【図４】本発明で実現されたオブジェクトと場所との関
係を設定するグラフデータ構造によるユーザインタフェ
ースの例を示した図である。
【図５】本発明で実現されたオブジェクトと場所との関
係を設定するグラフデータ構造によるユーザインタフェ
ースの別の例を示した図である。
【図６】本発明で実現されたオブジェクトと場所との関
係を設定するグラフデータ構造において複数のオブジェ
クトと場所を選択した場合によるユーザインタフェース
の例を示した図である。
【図７】本発明で全体のストーリー内の出来事を文章で
表現し、その出来事の関係をキーフレームとそれら間の
時間的関係をグラフで表現したユーザインタフェースの
例を示した図である。
【図８】本発明で全体のストーリー内の出来事を文章で
表現し、その出来事を代表する場面をキーフレームで表
現したユーザインタフェースの例を示した図である。
【図９】本発明で全体のストーリー内の出来事を文章で
表現し、その出来事に該当する登場人物と場所との関係
及び代表場面を表現したユーザインタフェースの例を示
した図である。
【図１０】本発明でスト−リーを構成する各出来事の文
章別に代表場面を一緒に表現したユーザインタフェース
の例を示した図である。
【図１１】前記図９及び図１０の実現のための検索デー
タの構造を示した図である。
【図１２】本発明で全体のストーリーの出来事を文章で
表現し、その出来事に該当する登場人物と場所の多重レ
ベルを表現したユーザインタフェースの例を示した図で
ある。
【図１３】本発明で全体のストーリーの出来事を文章で
表現し、その出来事に該当する登場人物と場所の多重レ
ベルを表現したユーザインタフェースの例を示した図で
ある。
【図１４】本発明による内容ベースの検索システムのた
めのデータ構造の例を示した図である。
【図１５】本発明による内容ベースの検索システムのた
めのデータ構造の例を示した図である。
【図１６】本発明による内容ベースの検索システムのた
めのデータ構造の例を示した図である。
【図１７】本発明による内容ベースの検索システムのた
めのデータ構造の例を示した図である。
【符号の説明】
２０１−２０３ 登場人物、２０４ 病院、２０５ 室
内、２０５ 室外、２０７ リンク、２０８−２１０
セクション。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−287094（ＪＰ，Ａ) 特開 平６−124313（ＪＰ，Ａ) 特開 平９−50436（ＪＰ，Ａ) 特開 平６−309381（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 17/30 H04N 5/78 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項１】 ビデオストーリー内の少なくとも一つの
    オブジェクト及び一つの場所との関係に基づいてビデオ
    ストーリーと検索データを格納する格納手段と、 前記オブジェクトと前記場所との関係情報が表示された
    検索データに基づいてユーザによって選択された検索デ
    ータを表示し、前記ユーザによって選択された検索デー
    タに対応するビデオストーリーセクションを表示するユ
    ーザインタフェース手段と を備え、 前記ユーザインタフェース手段は、 前記ビデオストーリー内の少なくとも一つのオブジェク
    トと少なくとも一つの場所との関係情報を表示する関係
    グラフの画面と、 前記関係グラフの画面から少なくとも一つの選択された
    関係に対応するビデオストーリー内の少なくとも一つの
    代表場面と簡単なセクション説明を表示する関係内容の
    画面とを備えていることを特徴とする内容ベースで映像
    を検索する検索システム。
  2. 【請求項２】 前記ユーザインタフェース手段は、 文章によってビデオストーリー内の少なくとも一つの出
    来事を表示するストーリー画面と、 前記ストーリー画面から選択された出来事に対応するビ
    デオストーリー内の一つのセクションの代表場面と連結
    される関係グラフの内容を、前記ストーリー画面から選
    択された出来事に対応するビデオストーリー内の一つの
    セクションの代表場面及び簡単なセクション説明を表示
    するセクション内容の画面と、 前記ストーリー画面から選択された出来事に対応するビ
    デオストーリー内の一つのセクションの少なくとも一つ
    のオブジェクトと少なくとも一つの場所との関係間の関
    係グラフと、 前記関係グラフから選択された関係に対応する一つのセ
    クションの少なくとも一つの代表場面と、又はストーリ
    ー画面から選択された出来事に対応するビデオストーリ
    ー内の一つのセクションの少なくとも一つのオブジェク
    トと少なくとも一つの場所との関係間の関係グラフと、 前記関係グラフから選択された関係に対応する一つのセ
    クションの少なくとも一つの代表場面と簡単な説明とを
    備えていることを特徴とする請求項１記載の内容ベース
    で映像を検索する検索システム。
  3. 【請求項３】 前記ユーザインタフェース手段は、 前記少なくとも一つの出来事の各出来事に対応する文章
    と代表場面によってビデオストーリー内の少なくとも一
    つの出来事を表示するストーリー画面と、 前記関係グラフから選択された関係に対応する一つのセ
    クションの少なくとも一つの代表場面を表示し、前記ビ
    デオストーリーから選択された出来事に対応するビデオ
    ストーリー内の一つのセクションの少なくとも一つのオ
    ブジェクトと少なくとも一つの場所との関係間の関係グ
    ラフを表示するセクション内容の画面とを備えているこ
    とを特徴とする請求項１記載の内容ベースで映像を検索
    する検索システム。
  4. 【請求項４】 ビデオストーリーの内容を整理する要素
    として少なくとも一つのオブジェクトと少なくとも一つ
    の場所を選択して設定するステップと、 前記オブジェクトと場所との関係を設定するステップ
    と、 前記それぞれ設定された関係に対応する前記ビデオスト
    ーリー内の一つのセクションの少なくとも一つの代表場
    面を選択して設定するステップと、 前記ビデオストーリーのセクションのそれぞれに対する
    説明を設定するステップと、 内容ベースのビデオストーリー検索で用いられる格納手
    段に前記設定された情報を格納するステップとを含んで
    いることを特徴とする内容ベースで映像を検索する検索
    方法。
  5. 【請求項５】 前記設定されたオブジェクトまたは設定
    された場所のうち、少なくとも一つのオブジェクトまた
    は場所に依存する下位階層を設定するステップと、 前記設定されたオブジェクトと前記設定された場所のそ
    れぞれに依存した前記下位階層間の関係を設定するか、
    少なくとも前記設定されたオブジェクトと前記設定され
    た場所のそれぞれに依存した前記下位階層間の関係を設
    定するステップとをさらに含んでいることを特徴とする
    請求項４記載の内容ベースで映像を検索する検索方法。
  6. 【請求項６】 （ａ）ビデオストーリー内の少なくとも
    一つのオブジェクトと少なくとも一つの場所との関係を
    示す関係グラフを検索データとして表示するステップ
    と、 （ｂ）前記表示された検索データに基づいてユーザの選
    択を受けて、ユーザの選択に対応するビデオストーリー
    内の一つのセクションを表示するステップとを含み、 前記（ｂ）ステップは前記関係グラフから関係または選
    択された関係に対応するビデオストーリー内の一つのセ
    クションの少なくとも一つの代表場面と簡単な説明を表
    示するステップからなることを特徴とする内容ベースで
    映像を検索する検索方法。
  7. 【請求項７】 前記（ａ）ステップは文章によって関係
    グラフの少なくとも一つの出来事を示すストーリー画面
    を表示するステップからなり、 前記（ｂ）ステップは前記ストーリー画面から選択され
    た出来事に対応するビデオストーリー内の一つのセクシ
    ョンの代表場面を連結する関係グラフを表示するステッ
    プからなることを特徴とする請求項６記載の内容ベース
    で映像を検索する検索方法。
JP34569999A 1998-12-05 1999-12-06 内容ベースで映像を検索する検索システム及び検索方法 Expired - Fee Related JP3454764B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1019980053238A KR100319160B1 (ko) 1998-12-05 1998-12-05 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
KR1019980053237A KR100319159B1 (ko) 1998-12-05 1998-12-05 내용기반동영상검색데이터구성방법과동영상검색방법
KR98-53237 1998-12-05
KR98-53238 1998-12-05

Publications (2)

Publication Number Publication Date
JP2000172724A JP2000172724A (ja) 2000-06-23
JP3454764B2 true JP3454764B2 (ja) 2003-10-06

Family

ID=26634405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34569999A Expired - Fee Related JP3454764B2 (ja) 1998-12-05 1999-12-06 内容ベースで映像を検索する検索システム及び検索方法

Country Status (4)

Country Link
US (1) US6492998B1 (ja)
EP (1) EP1006459A3 (ja)
JP (1) JP3454764B2 (ja)
CN (1) CN1269344C (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6721759B1 (en) * 1998-12-24 2004-04-13 Sony Corporation Techniques for spatial representation of data and browsing based on similarity
KR100370247B1 (ko) * 1999-08-26 2003-01-29 엘지전자 주식회사 등장인물 관계 기반 동영상 검색 방법
US6845487B1 (en) * 1999-11-30 2005-01-18 Sony Corporation Method and an apparatus for implementing a key frame
US6675158B1 (en) * 1999-11-30 2004-01-06 Sony Corporation Method and apparatus for organizing data pertaining to audiovisual content
US7155441B2 (en) * 2000-07-11 2006-12-26 Sony Corporation Fuzzy relations and graph structures for compact description and modification
US20020120780A1 (en) * 2000-07-11 2002-08-29 Sony Corporation Two-staged mapping for application specific markup and binary encoding
US7120640B2 (en) 2000-07-11 2006-10-10 Sony Corporation Formal verification of semantic DS
WO2002008948A2 (en) 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US20020069288A1 (en) * 2000-08-10 2002-06-06 Rising Hawley K. Use of unique ID's in a distributed environment to make changes to an MPEG-7 description at run time
US20020120652A1 (en) * 2000-10-20 2002-08-29 Rising Hawley K. Two-stage mapping for application specific markup and binary encoding
US7934008B2 (en) * 2000-10-20 2011-04-26 Sony Corporation Delivery of multimedia descriptions using access units
US7398275B2 (en) * 2000-10-20 2008-07-08 Sony Corporation Efficient binary coding scheme for multimedia content descriptions
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
US20020108112A1 (en) * 2001-02-02 2002-08-08 Ensequence, Inc. System and method for thematically analyzing and annotating an audio-visual sequence
US7240285B2 (en) * 2001-03-01 2007-07-03 Sony Corporation Encoding and distribution of schema for multimedia content descriptions
US7689901B2 (en) * 2001-03-01 2010-03-30 Sony Corporation Multiple updates to content descriptions using a single command
US20020184336A1 (en) * 2001-03-01 2002-12-05 Rising Hawley K. Occurrence description schemes for multimedia content
US7734997B2 (en) * 2001-05-29 2010-06-08 Sony Corporation Transport hint table for synchronizing delivery time between multimedia content and multimedia content descriptions
US7089543B2 (en) * 2001-07-13 2006-08-08 Sony Corporation Use of formal logic specification in construction of semantic descriptions
US7203692B2 (en) * 2001-07-16 2007-04-10 Sony Corporation Transcoding between content data and description data
US7231394B2 (en) * 2001-07-17 2007-06-12 Sony Corporation Incremental bottom-up construction of data documents
EP1423853B1 (en) * 2001-10-23 2009-04-01 Samsung Electronics Co., Ltd. Information storage medium containing event occurrence information, and method therefor
US7120873B2 (en) 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
TWI221563B (en) * 2002-07-05 2004-10-01 Samsung Electronics Co Ltd Method for displaying mark-up document according to parental level, method and apparatus for reproducing mark-up document in interactive mode, and data storage medium
US7617228B2 (en) * 2003-07-22 2009-11-10 Autodesk, Inc. Displaying image data
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
KR20050093452A (ko) * 2004-03-19 2005-09-23 엘지전자 주식회사 방송 수신기기의 프로그램 줄거리 표시방법
EP1751672A4 (en) * 2004-05-03 2007-05-09 Lg Electronics Inc METHOD AND APPARATUS FOR MANAGING MARKING INFORMATION OF STORED CONTENTS IN A NETWORKED MEDIA SERVER
US20060112131A1 (en) * 2004-07-14 2006-05-25 Strike Friday, Inc. Story rewriting system
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
US8428360B2 (en) * 2007-11-01 2013-04-23 International Business Machines Corporation System and method for real-time new event detection on video streams
US20090193034A1 (en) * 2008-01-24 2009-07-30 Disney Enterprises, Inc. Multi-axis, hierarchical browser for accessing and viewing digital assets
US20100092930A1 (en) * 2008-10-15 2010-04-15 Martin Fletcher System and method for an interactive storytelling game
US20100185672A1 (en) * 2009-01-21 2010-07-22 Rising Iii Hawley K Techniques for spatial representation of data and browsing based on similarity
US9171578B2 (en) * 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
JP5924114B2 (ja) * 2012-05-15 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法、コンピュータプログラムおよび画像表示装置
KR102161230B1 (ko) * 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US20150165310A1 (en) * 2013-12-17 2015-06-18 Microsoft Corporation Dynamic story driven gameworld creation
US9672203B1 (en) 2014-12-01 2017-06-06 Amazon Technologies, Inc. Calculating a maturity level of a text string
CN104504732A (zh) * 2014-12-25 2015-04-08 合肥寰景信息技术有限公司 一种基于关键帧提取的视频内容检索方法
KR101968908B1 (ko) * 2015-01-22 2019-04-15 한국전자통신연구원 시각지식 제공 장치 및 방법
US10679669B2 (en) * 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment
US10805367B2 (en) * 2017-12-29 2020-10-13 Facebook, Inc. Systems and methods for sharing content
CN108391180B (zh) * 2018-02-09 2020-06-26 北京华录新媒信息技术有限公司 视频摘要生成装置及视频摘要生成方法
KR102700003B1 (ko) * 2018-10-08 2024-08-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112001265B (zh) 2020-07-29 2024-01-23 北京百度网讯科技有限公司 视频事件识别方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778804B2 (ja) * 1992-05-28 1995-08-23 日本アイ・ビー・エム株式会社 シーン情報入力システムおよび方法
US5982364A (en) * 1993-03-12 1999-11-09 Quantel, Ltd. Video processing system including frame position indicators
JPH08279054A (ja) * 1995-04-07 1996-10-22 Hitachi Ltd 映像生成／表示システム
US5737552A (en) * 1995-07-28 1998-04-07 Starwave Corporation Machine, method and medium for linear programming with interactive conversational interface
US5801685A (en) * 1996-04-08 1998-09-01 Tektronix, Inc. Automatic editing of recorded video elements sychronized with a script text read or displayed
US6098082A (en) * 1996-07-15 2000-08-01 At&T Corp Method for automatically providing a compressed rendition of a video program in a format suitable for electronic searching and retrieval
EP0976089A4 (en) * 1996-11-15 2001-11-14 Sarnoff Corp METHOD AND APPARATUS FOR EFFICIENTLY REPRESENTING, STORING AND ACCESSING VIDEO INFORMATION
US6154213A (en) * 1997-05-30 2000-11-28 Rennison; Earl F. Immersive movement-based interaction with large complex information structures
US6278447B1 (en) * 1997-06-10 2001-08-21 Flashpoint Technology, Inc. Method and system for accelerating a user interface of an image capture unit during play mode
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6118450A (en) * 1998-04-03 2000-09-12 Sony Corporation Graphic user interface that is usable as a PC interface and an A/V interface

Also Published As

Publication number Publication date
JP2000172724A (ja) 2000-06-23
EP1006459A3 (en) 2007-04-18
CN1269344C (zh) 2006-08-09
EP1006459A2 (en) 2000-06-07
US6492998B1 (en) 2002-12-10
CN1256580A (zh) 2000-06-14

Similar Documents

Publication Publication Date Title
JP3454764B2 (ja) 内容ベースで映像を検索する検索システム及び検索方法
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US8234674B2 (en) Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US20020126143A1 (en) Article-based news video content summarizing method and browsing system
US7149755B2 (en) Presenting a collection of media objects
KR100347710B1 (ko) 등장인물들의관계중심동영상검색데이터구성방법및검색방법
USRE38401E1 (en) Interactive video icon with designated viewing position
US20040125124A1 (en) Techniques for constructing and browsing a hierarchical video structure
KR100371813B1 (ko) 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
CN107045730A (zh) 一种数字文化场景或图像的多维展现系统和方法
JP2001028722A (ja) 動画像管理装置及び動画像管理システム
JPH08249348A (ja) 映像検索方法および装置
KR100319160B1 (ko) 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
JP2003256432A (ja) 映像素材情報記述方法、遠隔検索システム、遠隔検索方法、編集装置および遠隔検索端末、遠隔編集システム、遠隔編集方法、編集装置および遠隔編集端末、ならびに、映像素材情報記憶装置および方法
JP4404172B2 (ja) メディアシーン情報表示編集装置、方法、および該方法に係るプログラムを記憶した記憶媒体
KR100319159B1 (ko) 내용기반동영상검색데이터구성방법과동영상검색방법
KR100518861B1 (ko) 사건 중심의 비디오 브라우징 시스템
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
KR100361499B1 (ko) 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법
US20020194193A1 (en) Method and system for sorting, storing, accessing and searching a plurality of audiovisual recordings
Agius et al. COSMOS—Content Oriented Semantic Modelling Overlay Scheme
Marimon Sanjuan et al. Design and Implementation of a Universal Multimedia Access Environment
JPH09288679A (ja) 木構造コンテンツ検索装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20021022

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030701

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080725

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090725

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees