JPH11338876A - 映像検索方法及び装置ならびに記録媒体 - Google Patents

映像検索方法及び装置ならびに記録媒体

Info

Publication number
JPH11338876A
JPH11338876A JP10145245A JP14524598A JPH11338876A JP H11338876 A JPH11338876 A JP H11338876A JP 10145245 A JP10145245 A JP 10145245A JP 14524598 A JP14524598 A JP 14524598A JP H11338876 A JPH11338876 A JP H11338876A
Authority
JP
Japan
Prior art keywords
video
search
image
information
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10145245A
Other languages
English (en)
Other versions
JP3615657B2 (ja
Inventor
Hiroshi Nojima
博 野島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP14524598A priority Critical patent/JP3615657B2/ja
Priority to US09/317,435 priority patent/US6442538B1/en
Publication of JPH11338876A publication Critical patent/JPH11338876A/ja
Application granted granted Critical
Publication of JP3615657B2 publication Critical patent/JP3615657B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 コンテントベースで符号化された映像ファイ
ルの検索において、利用者が個々の映像オブジェクトの
特徴に着目した映像シーン検索を可能にする。 【解決手段】 映像データ登録時に処理７０でストリー
ム分離を行ない、処理７１〜７３で映像のコンテント毎
に画像の特徴量などのアノテーション情報を抽出し、映
像オブジェクトとして映像情報テーブル領域５１に格納
しておく。検索時には、利用者は映像オブジェクト毎に
検索条件を指定する。複数のオブジェクトの集合検索の
場合に、オブジェクト単位で検索した後、合致したオブ
ジェクトの出現時間区間情報を元に同時出現性を判断す
ることによって、利用者の所望の映像シーンを検索して
提示する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、映像ファイルを蓄
積し、再利用することを目的としたデータベース管理シ
ステムに関し、特にこのデータベースを用いて、コンテ
ントベースで符号化された映像ファイルを登録し検索す
るための効果的な映像検索方法及び装置ならびに記録媒
体に関する。
【０００２】
【従来の技術】データベースから所望の映像を検索する
場合に、映像の見出し、映像の著作権者、映像が作成あ
るいは撮影された日付などの、映像の書誌的情報に対す
る検索を行なうだけでなく、映像そのものに出現する物
体に関する具体的要件を指定して検索を行なうことが、
より効果的である。
【０００３】近年のデータベース管理システムでは、静
止画像に関しては、当該画像に付与されたキーワードを
利用したキーワード検索だけでなく、画像解析プログラ
ムも併用されるようになってきている。画像データの登
録の際に、画像の全体的な色合い、局所的な色合い、エ
ッジ情報などの特徴を解析プログラムを用いて画像特徴
量という形式であらかじめ抽出しておき、検索の際に特
徴量の類似度を比較する。その結果、類似度がある閾値
以上のものを条件に合致したもの、閾値以下のものを条
件に合致しないものとして検索にヒットしたかどうかを
区別したり、あるいは検索結果の一覧を利用者へ提示す
る際に類似度の高い順に並べ替えて表示して検索の効率
向上を図るシステムが、特願平９−１９６１５４号で実
現されている。
【０００４】ここで述べたような、画像の特徴量を利用
した画像検索システムは、映像管理の分野にも応用可能
である。映像シーンの構成要素である一連のフレーム画
像のうち、そのシーンを代表するフレームを１枚の代表
画像として抽出し、それらの代表画像を上述の静止画像
管理と同様の手法で処理して画像の特徴量を算出してお
き、代表画像検索を通じて利用者の所望の映像を検索す
ることが容易に実現可能である。これまで行なわれて来
た映像の書誌情報や映像の区間に関連付けられたコメン
ト情報を元にした間接的な映像検索に、代表画像の類似
度検索を組み合わせることで、より実際の映像イメージ
に近い検索が実現できるようになる。
【０００５】
【発明が解決しようとする課題】このような、映像の代
表画像の特徴量を使った類似度評価による従来の映像検
索の方法においては、次のような問題がある。
【０００６】映像シーンの代表画像を用いた映像検索で
は、映像が実際に再生される時のある一時点の静止画像
にのみ着眼している。映像には画像と異なり動きがある
ために、代表画像の選び方によっては利用者が想定して
いる映像シーンのイメージと異なることもあり、代表画
像による検索が有効に働かないことがあるという問題点
があった。
【０００７】例えば、背景の中で物体が右から左へと移
動して消えて行くような映像シーンがデータベースに登
録されることを考える。たまたま物体が右端に位置して
いる時点で代表画像を取得した場合に、利用者が物体の
位置を右側でない他の位置、仮に左端と指定して画像検
索を行なってしまうと、その映像シーンを検索するのは
難しくなるという問題がある。また、代表画像に偶然何
らかの物体が写っている時に、背景だけをイメージして
画像検索を行なった場合には、代表画像中の物体の存在
が邪魔になり、検索することがより難しくなる。
【０００８】ところで、映像ファイルの符号化方式の１
つとして、圧縮効率を高めたり、再利用性を高めたりす
るために、映像ファイルが、内部では背景と物体（以
降、これらをそれぞれコンテントと呼ぶ）とが区別され
て符号化され、複数の映像のストリームとして構成され
る方式がある。この方式では、再生される段階でそれら
の映像ストリームが合成処理されて１つの映像として再
生される。このようにコンテントベースで映像ファイル
が符号化されている場合であっても、コンテントの合成
後の再生映像を元にして従来の方式で映像データの登録
を行なってしまうと、選択された代表画像によってはこ
れまで同様に検索が難しくなると問題が生じる。
【０００９】本発明の目的は、コンテントベースで符号
化された映像ファイルを管理するデータベース・システ
ムにおいて、利用者が映像に現われる個々のコンテント
に着眼して検索条件を設定し、映像シーン検索を行なう
ことが可能な映像検索方法及び装置を提供することにあ
る。本発明の前記ならびにその他の目的及び新規な特徴
は、本明細書の記述及び添付図面によって明らかにす
る。
【００１０】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。 （１）データベースに映像ファイルを登録し、任意の映
像ファイルの任意の区間を検索する方法であって、構成
要素であるコンテント毎に符号化され、前記コンテント
同士の関係情報を持っている映像ファイルのストリーム
解析を行ない、この結果、分離抽出された各種コンテン
トをそれぞれ１つの映像要素オブジェクトとし、該映像
要素オブジェクトを検索する際に合致の条件として記述
することが可能なアノテーション情報を前記コンテント
から抽出し、前記映像要素オブジェクトの情報とそのア
ノテーション情報を共にデータベースに登録し、利用者
が所望の映像シーンを検索する際に、映像に現われる背
景や物体などの映像の構成物毎にその特徴を記述し、こ
れらの記述の１つ以上の組み合わせからなる映像検索の
条件指定により、各映像要素オブジェクト単位に合致判
断を行ない、合致した映像要素オブジェクトの出現時間
区間に関する集合演算を施すことで検索結果映像シーン
を定義し、利用者が提示された検索結果リスト中の所望
の映像シーンを指定すると、前記データベースから対象
の映像ファイルを取得し、それを利用者に提示する映像
検索方法である。
【００１１】本発明のポイントは、例えば、映像シーン
の背景映像と主体映像とを別々に抽出してデータベース
に記録しておき、利用者が所望の映像シーンを検索する
際には、前記データベースに記録されている背景映像と
主体映像とを別々に検索し、この検索された二つの情報
から利用者の検索イメージに近い映像シーンを得る映像
検索方法である。
【００１２】（２）前記映像要素オブジェクトの情報を
データベースに登録する際、映像シーンの中の特徴的な
フレームの画像を検索時参照画像として抽出しておき、
当該画像の全体的な色合い、局所的な色合い、エッジ情
報などの解析結果を画像特徴量として映像シーンに関連
づけて蓄積しておき、画像の類似度検索を元にして映像
検索を行なう際の検索時参照画像の選択方法として、映
像シーンの中で一定時間間隔毎に画像の比較を行ない、
類似度が高い画像が続いた時はその先頭の１つのみを該
映像シーンの検索時参照画像として採用する映像検索方
法である。
【００１３】（３）前記映像シーンの検索時参照画像の
選択方法を、映像シーンの替わりに映像の構成要素であ
るコンテントに対して適用し、映像コンテントの中の検
索時参照画像の類似度検索によってデータベース中の映
像要素オブジェクトを検索し、該映像コンテントが合成
されて再生される映像シーンを映像検索の結果とする映
像検索方法である。
【００１４】（４）前記映像コンテントが、再生時に他
の映像コンテントと合成される時に画像の一部が透明も
しくは半透明として合成される映像コンテントであった
場合に、前記映像コンテントの検索時参照画像の画像特
徴量の算出時に、合成処理時に透明として取り扱われる
部分を除いた矩形又は半透明として取り扱われる部分ま
で除いた矩形を定義し、該矩形の内部を１枚の画像とみ
なして画像特徴量の算出を行ないデータベースに保持し
ておき、矩形内画像特徴量を映像検索の対象項目とする
映像検索方法である。
【００１５】（５）前記矩形内画像特徴量の算出の際、
前記特徴量を該矩形の重心位置により求まる元画像内の
位置情報とともにデータベースに保持しておき、矩形内
画像特徴量と重心位置情報とを組み合わせて映像検索の
対象項目とする映像検索方法である。
【００１６】（６）前記映像要素オブジェクトがテキス
ト・ストリームの場合に、該ストリームからテキスト情
報を文字コード列として自動的に抽出し、前記文字コー
ド列を再生時に合成される他の映像要素オブジェクトと
の時間的リンク情報とともにデータベースに格納し、テ
キスト検索で合致した際に、リンクされている映像要素
オブジェクトが再生時に合成されてできる映像シーンを
検索結果映像とする映像検索方法である。
【００１７】（７）データベースに映像ファイルを登録
し、任意の映像ファイルの任意の区間を検索する装置で
あって、構成要素であるコンテント毎に符号化され、再
生時に合成されて表示されるための該コンテント同士の
関係情報を持っている映像ファイルをデータベースへ登
録する際に、映像ファイルのストリーム解析を行なう手
段と、この解析により分離されて抽出された各種コンテ
ントをそれぞれ１つの映像要素オブジェクトとし、該映
像要素オブジェクトを検索する際に合致の条件として記
述することが可能なアノテーション情報を該コンテント
から抽出する手段と、前記映像要素オブジェクトの情報
と前記アノテーション情報を共にデータベースに登録す
る手段と、利用者が所望の映像シーンを検索する際に、
映像に現われる背景や物体などの映像の構成物毎にその
特徴を記述する手段と、これらの記述の１つ以上の組み
合わせからなる映像検索の条件指定により、各映像要素
オブジェクト単位に合致判断を行なう手段と、前記合致
した映像要素オブジェクトの出現時間区間に関する集合
演算を施して検索結果映像シーンを定義する手段と、利
用者が提示された検索結果リスト中の所望の映像シーン
を指定する手段と、前記データベースから対象の映像フ
ァイルを取得し、利用者に提示する手段を有するもので
ある。
【００１８】（８）前記映像要素オブジェクトの情報を
データベースに登録する際、映像シーンの中の特徴的な
フレームの画像を検索時参照画像として抽出する手段
と、前記画像の全体的な色合い、局所的な色合い、エッ
ジ情報などの解析結果を画像特徴量として映像シーンに
関連づけて蓄積しておく手段と、画像の類似度を元にし
て映像検索を行なうための検索時参照画像の選択を行な
う際、映像シーンの中で一定時間間隔毎に画像の比較を
行なう手段と、類似度が高い画像が続いた時はその先頭
の１つのみを前記映像シーンの検索時参照画像として採
用する手段を有する映像の検索装置である。
【００１９】（９）前記映像コンテントの中の検索時参
照画像の類似度検索によってデータベース中の映像要素
オブジェクトを検索する手段と、前記映像コンテントが
合成されて再生される映像シーンを映像検索の結果とす
る手段を有する映像の検索装置である。
【００２０】（１０）前記映像コンテントが、再生時に
他の映像コンテントと合成される時に画像の一部が透明
もしくは半透明として合成される映像コンテントであっ
た場合に、映像コンテントの検索時参照画像の画像特徴
量の算出時に、合成処理時に透明として取り扱われる部
分を除いた矩形又は半透明として取り扱われる部分まで
除いた矩形を定義し、該矩形の内部を１枚の画像とみな
して画像特徴量の算出を行ないデータベースに保持する
手段と、矩形内画像特徴量を映像検索の対象項目とする
手段を有する映像の検索装置である。
【００２１】（１１）前記矩形内画像特徴量の算出の
際、当該特徴量を前記矩形の重心位置により求まる元画
像内の位置情報とともにデータベースに保持する手段
と、矩形内画像特徴量と重心位置情報とを組み合わせて
映像検索の対象項目とする手段を有する映像の検索装置
である。
【００２２】（１２）映像要素オブジェクトがテキスト
・ストリームの場合に、該ストリームからテキスト情報
を文字コード列として自動的に抽出する手段と、該文字
コード列を、再生時に合成される他の映像要素オブジェ
クトとの時間的リンク情報とともにデータベースに格納
する手段と、テキスト検索で合致した際に、リンクされ
ている映像要素オブジェクトが再生時に合成されてでき
る映像シーンを検索結果映像とする手段を有する映像の
検索装置である。
【００２３】（１３）データベースに映像ファイルを登
録し、任意の映像ファイルの任意の区間を検索する方法
の処理手順をコンピュータに実行させるプログラムを記
録したコンピュータ読み取り可能な記録媒体であって、
構成要素であるコンテント毎に符号化され、前記コンテ
ント同士の関係情報を持っている映像ファイルのストリ
ーム解析を行ない、この結果、分離抽出された各種コン
テントをそれぞれ１つの映像要素オブジェクトとし、該
映像要素オブジェクトを検索する際に合致の条件として
記述することが可能なアノテーション情報を前記コンテ
ントから抽出し、前記映像要素オブジェクトの情報とそ
のアノテーション情報を共にデータベースに登録し、利
用者が所望の映像シーンを検索する際に、映像に現われ
る背景や物体などの映像の構成物毎にその特徴を記述
し、これらの記述の１つ以上の組み合わせからなる映像
検索の条件指定により、各映像要素オブジェクト単位に
合致判断を行ない、合致した映像要素オブジェクトの出
現時間区間に関する集合演算を施すことで検索結果映像
シーンを定義し、利用者が提示された検索結果リスト中
の所望の映像シーンを指定すると、前記データベースか
ら対象の映像ファイルを取得し、それを利用者に提示す
るプログラムを記録したコンピュータ読み取り可能な記
録媒体である。
【００２４】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態（実施例）を詳細に説明する。図１は本発明
に係る一実施形態のデータベースシステムの概略構成を
示すブロック構成図である。
【００２５】本実施形態のデータベースシステムは、図
１に示すように、クライアント−サーバ型のシステムで
あり、通信ネットワーク９０でネットワーク接続された
映像入力端末装置（クライアント）１０と映像検索端末
装置（クライアント）２０と映像検索サーバ装置３０で
構成される。映像検索サーバ装置３０は、高速な磁気デ
ィスクで構成される映像ファイル格納領域４１を管理す
る映像蓄積装置４０、各種の映像情報テーブルが格納さ
れる映像情報テーブル領域５１を管理するデータベース
管理システム５０、各モジュールにおける処理過程のデ
ータを一時的に保持しておくための一時メモリ６０、及
び個々の処理モジュールからなる。
【００２６】前記処理モジュール（処理手段）として
は、映像ストリーム解析処理モジュール７０、検索時参
照画像取得処理モジュール７１、画像特徴量算出処理モ
ジュール７２、テキスト情報取得処理モジュール７３、
映像シーン代表画像取得処理モジュール７４、映像検索
処理モジュール８０、画像特徴量類似度計算処理モジュ
ール８１がある。ここで、サーバ機能とクライアント機
能を通信ネットワーク９０を介さずに同一装置上で動作
するように実装しても、本発明の実施には差し支えな
い。
【００２７】図１において、映像のデータベース登録時
に、まず、映像が映像入力端末装置（クライアント）１
０へ投入され、通信ネットワーク９０を介して映像検索
サーバ装置３０に伝送される。伝送と平行もしくは伝送
完了後に、映像を検索するための情報を映像の中から抽
出し、映像蓄積装置４０の高速な磁気ディスクで構成さ
れる映像ファイル格納領域４１のデータベースに登録す
る。
【００２８】具体的には、映像ストリーム解析処理モジ
ュール７０で映像をストリームの分離装置に通すことに
より、映像ストリーム、音声ストリーム、テキスト・ス
トリーム、その他の個々の映像ファイル独自のストリー
ムに分解し、それぞれを映像要素オブジェクトとする。
これらに対し、オブジェクトの種類に対応した解析およ
びデータベースへの登録処理を行なう。
【００２９】映像ストリームからなる映像要素オブジェ
クトの場合は、検索時参照画像取得処理モジュール７１
により、その映像ストリームの開始時刻、終了時刻を記
録するとともに、その映像ストリーム中の特徴的な映像
フレームを静止画像として抽出し、これらを検索時参照
画像として、画像特徴量算出処理モジュール７２により
画像の特徴量を算出しておく。
【００３０】複数の映像ストリームが再生時に合成され
る場合には、重ね合わせの際に、一方のストリームでは
背景など画像の一部を透明化させる必要がある。これは
一般的にはクロマキー合成もしくはブルーバック合成と
呼ばれるものである。ここで検索時参照画像において
は、クロマキー合成時に透明として取り扱われるドット
かどうかを判断するためのアルファ・プレーンまで考慮
し、画像特徴量算出の前に透過部分を除去しておく。こ
れによって再生時に見えない部分は検索過程でも無視さ
れることになる。
【００３１】また、画像特徴量算出処理モジュール７２
における前記画像特徴量算出の際には、透過部分を最大
限に除くことができる矩形を定義し、特徴量はその矩形
の内部だけで算出し、矩形が元画像の中でどの位置にあ
ったのかを記録しておくことで、物体の特徴や映像イメ
ージが検索時参照画像情報により一層反映される。
【００３２】なお、変化のある映像要素オブジェクトの
場合は、１つの映像要素オブジェクト中から、検索時参
照画像が複数枚取られることもある。これらの時刻情報
及び検索時参照画像の画像特徴量は検索用のデータベー
スに格納される。画像の特徴量は数値データの並び、数
値列である。
【００３３】テキスト・ストリームからなる映像要素オ
ブジェクトの場合は、テキスト情報取得処理モジュール
７３で、文字コード列と、その文字列の表示に関係する
開始時刻、終了時刻を記録し、データベースに格納して
おく。テキスト情報に関しては、映像ファイルからの自
動抽出の他、オペレーターの手入力によるコメント情報
も同様に取り扱い管理できるようにしておく。
【００３４】音声ストリームや個々の映像ファイル独自
のストリームからなる映像要素オブジェクトの場合に
は、そのストリームの開始時刻、終了時刻とストリーム
種別のみ記録し、データベースに格納しておく。
【００３５】コンテントベースで符号化された映像を検
索する際には、映像シーン代表画像取得処理モジュール
７４で、上述のようにして抽出された、映像検索のため
のキーワード・数値列等で表わされる映像のコメント情
報（以下、アノテーションと称す）を元に、映像要素オ
ブジェクト毎に検索条件を指定して検索を実行する。
【００３６】映像検索処理モジュール８０における検索
は、データベースに格納されたアノテーション情報に対
して行なわれ、検索の過程で映像ファイルを直接参照し
て調べることはしない。データベースに格納された映像
要素オブジェクト毎に検索条件に合致する映像ファイル
とその時間区間を調べる。検索条件が、複数の映像コン
テントの論理積や論理和といった集合演算として指定さ
れていた場合には、さらに検索結果の映像の時間区間に
対して同義の集合演算を施し、その結果を映像検索の結
果とする。これによって利用者は、画像特徴量類似度計
算処理モジュール８１を用いて、映像に現われている個
々の物体に着眼して所望の映像シーンの検索をすること
が可能になる。
【００３７】前記映像入力端末装置１０は、映像ファイ
ルをデータベースに登録する際に用いられる端末であ
る。映像ファイルはこの装置を介して入力され、通信ネ
ットワーク９０経由で映像検索サーバ装置３０に伝送さ
れる。
【００３８】前記映像検索端末装置２０は、映像ファイ
ルを検索する際に利用者が操作する端末である。利用者
からの映像検索の条件入力を受け付け、検索結果の一覧
の提示、検索結果映像シーンの再生などがこの端末上で
行なわれる。
【００３９】前記映像蓄積装置４０には、映像入力端末
装置１０から送信された映像ファイルがそのままの形式
で格納される。再生時に元の形式と時間の整合性を取る
ことが可能であれば、ここでは形式変換されて格納され
ていても構わない。
【００４０】前記データベース管理システム５０では、
映像データの登録時に抽出された、映像ファイルに関す
る各種アノテーション情報が、映像情報テーブル領域５
１内でそれぞれテーブル形式で管理される。次に、ここ
で管理される各種テーブルについて説明する。
【００４１】図２は映像情報テーブル領域５１で管理さ
れる各種テーブルの一覧を示す。映像ファイル管理テー
ブル５２、オブジェクト管理テーブル５３、検索時参照
画像管理テーブル５４、重心情報管理テーブル５５、映
像シーン管理テーブル５６、テキスト・アノテーション
管理テーブル５７が、映像情報テーブル領域５１で管理
される。
【００４２】図３は映像ファイル管理テーブル５２の構
成例である。テーブルのカラムとしては、映像ファイル
の識別子を表わすファイルＩＤ５２１、映像ファイルが
格納されている場所を指し示す所在情報５２２、映像フ
ァイルの形式や長さ、アクセス権などの情報を格納する
管理属性情報５２３、その映像に関する著作権者、出演
者情報、作成あるいは撮影された年月日といった情報を
格納する書誌情報５２４がある。ファイルＩＤ５２１は
このテーブルでユニークな値で、所在情報５２２と１対
１対応している。
【００４３】図４はオブジェクト管理テーブル５３の構
成例である。ここでは映像ファイル中の各種コンテント
が映像要素オブジェクトとして、属性情報などとともに
管理される。テーブルのカラムとしては、映像要素オブ
ジェクトの識別子を表わしテーブルのレコードを一意に
識別するオブジェクトＩＤ５３１、そのオブジェクトが
どのファイルに属するのかを示すファイルＩＤ５３２、
映像ファイル内のコンテントを識別するためのコンテン
トＩＤ５３３、その映像要素オブジェクトが映像なの
か、音声なのか、テキスト・ストリームなのかといった
オブジェクトの種類を表わすオブジェクト属性５３４、
映像要素オブジェクトの時間区間を示す開始タイムコー
ド５３５及び終了タイムコード５３６などがある。オブ
ジェクトＩＤ５３１と、ファイルＩＤ５３２とコンテン
トＩＤ５３３とを組にしたものとが、１対１対応してい
る。コンテントＩＤ５３３については、映像ファイルの
コンテント自身に映像ファイルの内部で割り振られてい
るＩＤを流用しても、あるいはデータベースへの登録時
に別途独自に割り振っても構わない。また、本実施形態
においてはタイムコードをＳＭＰＴＥ形式としている
が、別の表現形式を用いても、本発明の実施においては
差し支えない。
【００４４】図５は検索時参照画像管理テーブル５４の
構成例である。ここで管理されるのは、映像コンテント
から抽出された、そのコンテントの中で特徴的なフレー
ム画像とその画像特徴量である。コンテントから抽出さ
れたものであり、実際に再生される時に合成された結果
として利用者が目にするフレーム画像ではなく、あくま
で合成前のフレーム画像である。また、映像コンテント
によってはクロマキー合成のためのアルファ・プレーン
を伴なっていて、他の映像コンテントとの合成時に、上
書きしたり、上書きされたり、半透明で重ね合わせられ
たりといった指定を伴なうことがある。
【００４５】ここでは、アルファ・プレーンとは合成処
理済みで、他の映像コンテントとは合成されていない時
点のフレーム画像を取り扱う。アルファ・プレーンは２
値とは限らず、例えば、煙らしさを表わすための半透明
という規格もある。アルファ・プレーンとの合成によっ
て、完全に透明として取り扱われる領域については、画
像特徴量計算の対象外として検索の精度を高めることが
できる。透明部分を特徴量計算の対象外とする手順につ
いては後述する。
【００４６】テーブルのカラムとしては、検索時参照画
像を識別するための画像ＩＤ５４１、そのフレーム画像
がどの映像要素オブジェクトから取得されたものなのか
を示す映像オブジェクトＩＤ５４２、そのフレームが取
得された時間を表わすタイムコード５４３、そのフレー
ム画像の形式を表わす画像フォーマット５４４、フレー
ム画像そのものが格納される画像本体５４５、画像の特
徴量を格納する画像特徴量５４６などがある。画像フォ
ーマット５４４や画像本体５４５は、画像特徴量算出の
際には必要だが、その後の映像検索の過程ではほとんど
必要とされない。したがって、画像フォーマット５４４
及び画像本体５４５カラムがこのテーブルになくても、
本発明の実施には何ら差し支えない。
【００４７】図６は重心情報管理テーブル５５の構成例
である。アルファ・プレーンの合成によって透明な部分
ができた時に、透明でない部分の物体だけを画像特徴量
抽出の対象とするため、元画像における物体の位置情報
を画像ＩＤとペアにして管理する。アルファ・プレーン
との合成によって、形状には変化がなく、かつ動きのあ
るようなオブジェクトに関しては、１つの画像ＩＤに対
してここで複数の重心情報レコードが作成されることも
ある。
【００４８】なお、アルファ・プレーンとの合成を伴わ
ない場合は、便宜上、重心は画像の中心としておく。テ
ーブルのカラムとしては、検索時参照画像管理テーブル
５４の画像ＩＤカラムに対応する画像ＩＤ５５１、Ｘ方
向及びＹ方向の重心位置をそれぞれ０〜１００の範囲に
正規化した重心Ｘ５５２と重心Ｙ５５３がある。ここで
は０〜１００の範囲に正規化したが、画面上における相
対位置が特定できる表現形式であれば、他の形式であっ
ても本発明の実施には差し支えない。
【００４９】図７は映像シーン管理テーブル５６の構成
例である。これは、前述の映像要素コンテントとは直接
の関係はなく、通常の、再生時の映像における場面の切
り替わり点を区切りとした映像のシーンを単位として、
その区間情報と代表フレーム画像を管理するためのもの
であり、映像データ登録時に映像の切り替わりを検出す
るプログラムを用いて映像シーンの区間定義を行なう。
【００５０】テーブルのカラムとしては、映像シーンを
識別するためのシーンＩＤ５６１、映像シーンの含まれ
る映像ファイルを示す映像ファイルＩＤ５６２、映像シ
ーンの時間区間の始まりを示す開始タイムコード５６
３、映像シーンの時間区間の終わりを示す終了タイムコ
ード５６４、代表フレーム画像を取得した時間を示す代
表タイムコード５６５、取得した代表フレームの画像形
式を表わす画像フォーマット５６６、代表フレーム画像
の実体を格納する画像本体５６７がある。本実施例では
映像シーンに代表画像は１つとしてあるが、代表画像の
定義されていない映像シーン、あるいは代表画像が複数
定義された映像シーンがあっても構わない。
【００５１】図８はテキスト・アノテーション管理テー
ブル５７の構成例である。テーブルのカラムとしては、
個々のテキスト・アノテーションのレコードを一意に識
別するためのテキストＩＤ５７１、そのテキスト・アノ
テーションがどの映像ファイルに含まれるものか、ある
いは別途人手によって付加されたものであった場合にど
の映像ファイルに関係するものかを示す映像ファイルＩ
Ｄ５７２、テキスト・アノテーションが定義された時間
区間を示す開始タイムコード５７３、終了タイムコード
５７４、そして文字コード列そのものが格納されるテキ
スト情報５７５がある。ここでのテキスト情報は、映像
のテキスト・ストリームから自動的に抽出する他、人手
によって入力されるものを含めても構わない。
【００５２】次に、図１中の各処理について説明する。
処理７０〜７４は、主に映像ファイルを映像データベー
スに格納する際に関与する処理である。処理８０〜８１
は主に映像データベースから映像シーンを検索する際に
関与する処理である。登録と検索とに分けて、まず全体
の処理の流れについて大まかに説明した後、各処理の詳
細を説明する。
【００５３】＜映像ファイル登録処理の大まかな流れ＞
映像ファイルの登録は、映像ファイルそのものの蓄積装
置への保存、映像ファイルをその構成要素であるコンテ
ントにストリーム分離を行なった上での映像要素オブジ
ェクト情報のデータベースへの登録、映像ファイルをシ
ーンの変化点で区切った映像シーン情報のデータベース
への登録、これら３つの処理に分けることができる。こ
れらを同時並行処理させても、あるいは逐次処理させて
も、本発明の実施には差し支えない。ここでは同時並行
処理における実施例を述べる。
【００５４】第１の処理、すなわち、映像ファイルの、
映像蓄積装置４０への格納処理は、映像入力端末装置１
０から送られてきた映像ファイルを、そのままの形式、
もしくは再現可能な形式で映像ファイル格納領域４１に
保存することである。
【００５５】第２の処理、すなわち、映像オブジェクト
情報の登録処理は、同時並行処理をする場合には、映像
入力端末装置１０から送られて来る映像ファイルを実時
間処理して、映像オブジェクトの情報をデータベースに
登録する。逐次処理とするのであれば、一旦映像ファイ
ル格納領域４１に保存された映像ファイルに対して処理
をすることでも構わない。
【００５６】第３の処理、すなわち、映像シーン情報の
登録処理も、同時並行処理をする場合には映像入力端末
装置１０から送られて来る映像ファイルを実時間処理し
て、映像のシーン情報をデータベースに登録する。逐次
処理とするのであれば、一旦映像ファイル格納領域４１
に保存された映像ファイルに対して処理をすることでも
構わない。
【００５７】以上述べた３つの登録処理によって、映像
検索サーバ装置３０への映像ファイルの登録が行なわ
れ、利用者からの検索要求に応えられるようになる。
【００５８】＜映像ファイルの映像ファイル格納領域へ
の保存処理＞これは、基本的に映像ファイルを磁気ディ
スクに書き込むだけの処理である。ただし、他の２つの
登録処理のいずれかが正常終了しなかった場合には、こ
こで書き込まれた映像ファイルは無効とされなければな
らない。また、逆にここでの映像ファイルの保存処理に
失敗した時には、他の２つの登録処理を無効化させる必
要がある。
【００５９】＜映像要素オブジェクト情報の登録処理＞
映像要素オブジェクト情報の登録処理のフローチャート
を図９に示す。これは図１の映像ストリーム解析処理７
０に相当する。
【００６０】図９のステップ７０００で、一時メモリ６
０の初期化をはじめとする登録処理の準備を行なう。準
備が完了したら、映像ファイルのストリームが送られて
くるのを待つ。
【００６１】続くステップ７００１でストリームの種別
を判別する。ここでは大きく３つ、映像ストリーム、テ
キスト・ストリーム、その他のストリームに分けてい
る。その他のストリームとしては、オーディオ・ストリ
ーム、ユーザ定義ストリームなどがある。なお、映像の
ストリームは複数種類のものが混在して伝達されてくる
ものであり、個々のストリームに対する処理は本来並行
処理を行なわなければならない。本実施形態では、簡便
のため、以下の説明は１つ１つのストリーム単位に記述
する。
【００６２】ステップ７００２で映像ストリームと判断
された場合、ステップ７００３の検索時参照画像取得処
理が行なわれる。この処理の詳細については後述する。
この処理が終わると、検索時参照画像に関する情報が一
時メモリ６０に格納されてくる。
【００６３】ステップ７００４でテキスト・ストリーム
と判断された場合、ステップ７００５のテキスト情報取
得処理が行なわれる。この処理の詳細についても後述す
る。この処理が終わると、テキスト情報が一時メモリ６
０に格納されてくる。
【００６４】ステップ７００４でテキスト・ストリーム
と判断されなかった場合、このストリームは検索適用外
のストリームとみなして、ステップ７００６で映像要素
オブジェクトの時間区間、すなわち、開始タイムコード
と終了タイムコードの取得のみ行なう。これらの情報
は、一時メモリ６０に格納されてくる。
【００６５】次に、ステップ７００７で映像ファイルの
終わりかどうかを判断する。終わりでなければ再度ステ
ップ７００１に戻り、引き続きストリームの処理を行な
う。映像ファイルの終わりであった場合、一時メモリに
格納された映像のアノテーション情報を、ステップ７０
０８でデータベースに登録する処理を行なう。この処理
の詳細についても後述する。このデータベースへの登録
処理を抜けると、映像オブジェクト情報登録処理は完了
である。
【００６６】ここで、図９のステップ７００３、検索時
参照画像取得処理のフローチャートを図１０に示す。こ
れは図１の検索時参照画像取得処理７１に相当する。
【００６７】まず、はじめに、ステップ７１００で映像
ストリームの開始タイムコードを取得する。この後の処
理は基本的に１フレーム進む度に行なわれる。
【００６８】続くステップ７１０１で、直前に検査した
フレーム位置と今回のフレーム位置とを比較する。フレ
ーム位置の差が既定値未満だった場合は何もせず、ステ
ップ７１０２から再度７１０１に戻り、次のフレームに
対して処理を続ける。
【００６９】ステップ７１０３で、現在のフレーム画像
が合成時に一部が透明として処理されるものであるか、
すなわち、アルファ・プレーンが定義されているかどう
かを判断する。定義されている場合、ステップ７１０４
でＡｌｐｈａに１を設定しアルファ・プレーンの定義が
あることを保持しておく。
【００７０】アルファ・プレーンの定義がある場合に行
なわれる、具体的な処理の様子を図１１に示す。元画像
５８１が映像コンテントの１つである。車と山と太陽と
が映っている。この画像を、再生する際に別の映像コン
テントと合成するために、ステップ７１０５の処理でア
ルファ・プレーン５８２と合成する。ここでのアルファ
・プレーンは２値、すなわち完全透明か全く透明でない
かのどちらかとしてあり、斜線部分を完全透明としてい
る。合成された結果が合成画像５８３であり、背景の山
と太陽が消去され、車だけが映っている。
【００７１】合成画像５８３から画像特徴量を抽出して
しまうと、車が画像の右下に偏って映っているため、車
の画像特徴量にもこの位置情報が反映されてしまう。こ
れを防ぐために、ステップ７１０６で、水平方向及び垂
直方向にそれぞれ２本、透明でない画像領域に接するよ
うに直線を引く。この状態を矩形抽出画像５８４に示
す。そして、この４本の線の交点をそれぞれ頂点とする
矩形を定義し、その矩形内部を画像特徴量抽出に使用す
ることにする。この矩形内画像を画像特徴量抽出用画像
５８５に示す。以上の矩形定義によって、物体の位置的
な偏りが除去され、純粋に車の画像特徴量の算出が可能
になる。矩形の定義とともに、ステップ７１０７で、そ
の矩形の重心位置を算出し、それを元画像内の物体の位
置情報として保持しておく。なお、厳密に物体の重心を
計算するのであれば、矩形の重心ではなく、矩形内を更
に分割して物体の存在位置に関して加重平均を求めるの
が正しい。ステップ７１０７において、そのようにして
物体の重心を計算しても、本発明の実施には何ら差し支
えない。
【００７２】ステップ７１０３で現在のフレーム画像に
はアルファ・プレーンが定義されていないと判断された
場合、ステップ７１０８でＡｌｐｈａに０を設定しアル
ファ・プレーンの定義がないことを保持しておく。
【００７３】次のステップ７１０９で、直前に登録対象
として取得された検索時参照画像と今回のフレーム画像
とを比較して差分を算出する。そして、ステップ７１１
０でこの差分値が既定の閾値以上かどうかを判断する。
【００７４】閾値以上であった場合は、この画像を新た
に検索時参照画像として登録することになる。まずステ
ップ７１１１で画像の特徴量を算出する。これは図１の
画像特徴量算出処理７２に相当する。次にステップ７１
１２で、現在のタイムコード、画像データ、画像特徴量
などを一時メモリ６０に保持する。
【００７５】閾値未満で、ステップ７１１３でＡｌｐｈ
ａ＝１でない、すなわちアルファ・プレーンの定義がな
いと判明した場合は、直前の登録フレームと比べて変化
が乏しいということであるから、次の処理をするために
ステップ７１１７へ飛ぶ。
【００７６】閾値未満でも、ステップ７１１３でＡｌｐ
ｈａ＝１であった場合、すなわちアルファ・プレーンと
の合成があった場合は、画面中で物体の移動が行われた
可能性がある。ステップ７１１４で重心の移動量を算出
し、ステップ７１１５で重心の移動量が既定の閾値を超
えていた場合、ステップ７１１６で重心情報のみ追加登
録する。
【００７７】現在のフレーム画像に対する処理が終わっ
たら、ステップ７１１７でストリームの終わりかどうか
を判断する。終わりでなかったら、ステップ７１０１に
戻って次のフレーム画像の処理を行なう。終わりだった
場合、ステップ７１１８でストリームの終了タイムコー
ドを取得し、元の処理に戻る。
【００７８】次に、図９のステップ７００５、テキスト
情報取得処理のフローチャートを図１２に示す。これ
は、図１のテキスト情報取得処理７３に相当する。
【００７９】まずはじめに、ステップ７３００でテキス
ト・ストリームの開始タイムコードを取得する。
【００８０】続くステップ７３０１で、テキスト・スト
リームの中から文字コード列を取得する。この際、制御
コードなどの非テキスト情報は除いておくことで、デー
タ量を減らすことが可能である。ただし、文字コード列
をそのままの形式で取得しておいても、本発明の実施に
は差し支えない。
【００８１】次のステップ７３０２では、テキスト・ス
トリームの終わりかどうかを判断する。終わりに達して
いなければ、再びステップ７３０１に戻り、文字列取得
を行なう。
【００８２】ストリームの終わりに達していたならば、
ステップ７３０３でテキスト・ストリームの終了タイム
コードを取得し、元の処理に戻る。
【００８３】次に、図９のステップ７００８、データベ
ース登録処理の詳細を説明する。この処理のフローチャ
ートを図１３に示す。
【００８４】これまでの処理で取得されたデータベース
に登録すべきデータは、すべて一時メモリ６０に蓄えら
れている。まず、ステップ７１２０で、データベース管
理システム５０へ登録対象のデータを転送するとともに
データの登録指示を行なう。ここでデータベース管理シ
ステムにおいて、映像情報テーブルへのデータ登録処理
が行なわれる。
【００８５】ステップ７１２１で登録処理が失敗したと
判断された場合、ステップ７１２２で、他のデータ登録
処理、すなわち、第１の処理である映像ファイルの格納
処理及び第３の処理である映像シーン情報の登録処理で
あるが、これらをキャンセルさせ、映像データ登録処理
は失敗に終わる。この結果、映像データ登録はまったく
行なわれなかったかのようにデータベースは復元され
る。
【００８６】ステップ７１２１で登録処理が成功したと
判断された場合、ステップ７１２３で、他のデータ登録
処理、すなわち上述の映像ファイルの格納処理及び映像
シーン情報の登録処理が成功したかどうかの確認を行な
う。その結果ステップ７１２４で１つでも失敗していた
と判断された場合は、ステップ７１２５で本登録処理を
取り消し、異常終了とする。すべて成功していたと判断
された場合は、ステップ７１２６で正常終了処理を行な
い、元の処理に戻る。以上で図９のフローチャートは終
わりに達する。
【００８７】＜映像シーン情報の登録処理＞映像シーン
情報の登録処理のフローチャートを図１４に示す。これ
は図１の映像シーン代表画像取得処理７４に相当する。
【００８８】なお、この実施形態では、映像の各シーン
に対して代表画像はシーンの先頭のフレーム画像を１枚
だけ取得することを想定している。
【００８９】図１４のステップ７４００で、一時メモリ
６０の初期化をはじめとする登録処理の準備を行なう。
準備が完了したら、映像ファイルの再生画像が送られて
くるのを待つ。
【００９０】続くステップ７４０１では、映像シーンの
開始を待った上で、シーン開始タイムコードの取得を行
なう。
【００９１】次のステップ７４０２で代表フレーム画像
の取得処理を行なう。ここではシーンの先頭のフレーム
を代表画像として取得し、代表画像は一時メモリ６０に
保持される。
【００９２】代表画像の取得後、ステップ７４０３でシ
ーンの切り替わりがあったかどうかを判断する。ステッ
プ７４０４でシーンの切り替わりがあったと判断されな
かった場合、再度ステップ７４０３に戻り、引き続きシ
ーンの切り替わりを調べる。
【００９３】シーンの切り替わりがあったと判断された
場合、次のステップ７４０５でシーンの終了タイムコー
ドを取得する。この終了タイムコードは、厳密にはシー
ンの切り替わりがあったと判断された１つ前のタイムコ
ードとなる。
【００９４】ステップ７４０６で映像ファイルの終わり
に達したかどうかを判断し、終わりに達していなかった
ならば再度ステップ７４０１に行き、次のシーン情報を
取得する。終わりに達していたと判断された場合、ステ
ップ７４０７でデータベースへの登録処理を行なう。こ
の処理の詳細についても後述する。このデータベースへ
の登録処理を抜けると、映像シーン情報登録処理は完了
である。
【００９５】次に、図１４のステップ７４０７、データ
ベース登録処理の詳細を説明する。この処理のフローチ
ャートを図１５に示す。基本的に、流れは図１３と同様
である。
【００９６】これまでの処理で、データベースに登録す
べきデータはすべて一時メモリ６０に蓄えられている。
まず、ステップ７４２０で、データベース管理システム
５０へ登録対象のデータを転送するとともにデータの登
録指示を行なう。ここでデータベース管理システムにお
いて、映像情報テーブルへのデータ登録処理が行なわれ
る。
【００９７】ステップ７４２１で登録処理が失敗したと
判断された場合、ステップ７４２２で、他のデータ登録
処理、すなわち、第１の処理である映像ファイルの格納
処理及び第２の処理である検索時参照画像取得処理であ
るが、これらをキャンセルさせ、映像データ登録処理は
失敗に終わる。この結果、映像データ登録はまったく行
なわれなかったかのようにデータベースは復元される。
【００９８】ステップ７４２１で登録処理が成功したと
判断された場合、ステップ７４２３で、他のデータ登録
処理、すなわち上述の映像ファイルの格納処理及び検索
時参照画像の取得処理が成功したかどうかの確認を行な
う。その結果ステップ７４２４で１つでも失敗していた
と判断された場合は、ステップ７４２５で登録処理を取
り消し、異常終了とする。すべて成功していたと判断さ
れた場合は、ステップ７４２６で正常終了処理を行な
い、元の処理に戻る。以上で図１４のフローチャートは
終わりに達する。
【００９９】＜映像シーン検索処理の大まかな流れ＞映
像ファイルの検索は、映像検索端末装置２０上で稼動す
る映像検索アプリケーションから行なわれる。このアプ
リケーションの実行画面のイメージを図１６に示す。
【０１００】図１６は上半分が検索条件記述用、下半分
が検索結果確認用となっている。検索条件記述として
は、画像のイメージとテキスト検索の併用が可能であ
る。
【０１０１】ボタン２１１１は、外部の参照画像ファイ
ルを開いて読み込むためのボタンである。サブウィンド
ウ２１１２には読み込まれた参照用の画像ファイルが表
示される。スライダーバー２１１３を操作することによ
って、この参照画像を元にした画像の類似度検索を行な
う際に、色と形のどちらをより重視するかの設定が可能
である。２１１４のラジオボタンによって、画像検索の
際に構図を考慮するかしないかの設定が可能である。ま
た、２１１５のラジオボタンによって、画像検索の際に
参照画像の背景部分を有効とするか無効とするかの指定
が可能である。
【０１０２】これを無効とし、かつ参照画像の背景が単
一の色となっている場合、図１１の矩形抽出画像５８４
から画像特徴量抽出用画像５８５を作成する処理と同様
にして参照画像から背景の除去が行なわれる。この他
に、２１１６のキーワード入力欄にキーワードを入力す
ることで、キーワード検索が可能である。
【０１０３】なお、画像検索とキーワード検索は併用可
能であるが、「参照画像１」と「キーワード１」は画面
上で上下に並べられているだけで、検索の際には直接は
関係しない。つまり、複数の検索条件を設定する際に、
「参照画像１」はそのままで「キーワード１」と「キー
ワード２」の指定を入れ替えても、検索結果には影響し
ないということである。
【０１０４】また、本実施形態で複数の検索条件が設定
された場合、これらはすべて時間区間に関する論理積の
集合演算を施されるものとする。以下、図１６を元にし
て簡単な検索の例を用いて説明する。
【０１０５】まず、参照用画像１として、「ファイル」
と表示されたボタン２１１１を押下して外部ファイルを
読み込むことで、あらかじめ作成されていた木の画像を
参照画像表示ウィンドウ２１１２に表示させる。スライ
ダーバー２１１３によって、この画像を元にした類似度
を調べる際にやや形を重視するといった設定をしてあ
る。構図指定２１１４で構図の指定はなしとしてある。
これはつまり、参照画像のオブジェクトが映像のどのあ
たりに映っていても構わないという意味である。
【０１０６】たとえ、この木の形をしたものの前に他の
物体が表示されていても、それらがコンテントベースで
符号化され別々のコンテントとして扱われていれば、こ
の木に似た画像が問題なく検索されることが期待され
る。なお、背景指定２１１５の指定も無効としてあるた
め、参照画像周囲の空白は無視される。
【０１０７】キーワード１として、「木」と入力してあ
る。これは参照画像１を補うための指定である。なお、
これがキーワード２の欄に入力されていても検索結果は
同じである。
【０１０８】次に、参照用画像２として、車の画像が取
り込まれている。形を最大限重視して、構図はなし、背
景も無効としてある。つまり、車の画像の周囲の単一色
部分は画像特徴量の算出の際には除外されるということ
である。
【０１０９】横方向スクロールバー２１０３を動かすこ
とによってさらに参照画像３以降も設定が可能だが、本
実施形態においては、検索条件はこれ以上設定されてい
ないものとする。
【０１１０】ここで、「検索実行ボタン」２１０２が押
下されて検索が実行され、その後、再生ボタン２１０４
の押下によって映像の再生まで行なわれる場合の、映像
検索端末装置２０で行なわれる処理のフローチャートを
図１７に示す。
【０１１１】はじめに、ステップ２０００で初期設定が
行われ、参照画像、キーワードのクリア、オプション
（色、形、構図、背景）の設定をデフォルト値にすると
いった処理が行なわれる。
【０１１２】次の処理２００１で、利用者による映像検
索条件の設定が行なわれる。ここでは図１６に示した通
りの検索条件が設定されたものとする。
【０１１３】検索実行ボタン２１０２が押下されるとス
テップ２００２へと進み、通信ネットワーク９０を通し
て検索要求が映像検索サーバ装置３０へと伝わり、図１
の映像検索処理８０が行なわれる。この処理は後述す
る。
【０１１４】検索処理の結果、通信ネットワーク９０を
通じて検索結果集合が映像検索端末装置２０に返され、
ステップ２００３で検索結果の表示が行なわれる。検索
結果の表示例は図１６の２１２１である。
【０１１５】ステップ２００４で利用者による視聴対象
映像の選択が行なわれる。具体的にはボタン２１０４の
押下である。この再生要求によって、ステップ２００５
で映像検索サーバ装置３０から映像ファイルを取得し、
ステップ２００６で映像の再生が行なわれる。
【０１１６】なお、画面上のボタン２１０１の押下によ
って、検索アプリケーションは終了する。
【０１１７】ここで、図１７のステップ２００２に相当
する、映像検索サーバ処理のフローチャートを図１８に
示し、詳述する。
【０１１８】まず、映像検索サーバに処理要求が渡る際
に、３つの検索条件が伝達される。１つ目は、木の画像
データ、形をやや重視、構図なし、背景無効、である。
２つ目は、キーワード「木」である。３つ目は、車の画
像データ、形を最大限重視、構図なし、背景無効、であ
る。この場合、逐次的に考えると検索処理が３回行なわ
れることになる。
【０１１９】まず、ステップ８０００で画像検索かどう
かの判断が行なわれる。画像検索でないと判断された場
合、ステップ８００１でキーワード検索が行なわれ、検
索結果が一時メモリ６０に格納される。ここで検索され
てくるのは、ファイルＩＤと該当時間区間の開始タイム
コードと終了タイムコードである。
【０１２０】ステップ８０００で画像検索と判断された
場合、ステップ８００２へ行く。さらに背景が有効かど
うかの判断が行なわれ、背景が無効の場合、ステップ８
００３へ行き、図１１の合成画像５８３から画像特徴量
抽出用画像５８５を切り出す手順と同様にして参照画像
の背景の除去が行なわれてから、ステップ８００４で参
照画像の画像特徴量が算出され（図１の処理７２）、ス
テップ８００５でデータベースの画像特徴量による検索
（図１の処理８１）が行なわれる。背景が有効の場合に
は、ステップ８００３を飛ばしてステップ８００４へ行
く。図１８の例では、２つの画像検索はいずれもステッ
プ８００３を経由する。画像検索の結果を、類似度があ
る一定値以上のものを合致したものとみなす場合、ここ
で検索されてくるのはファイルＩＤと該当時間区間の開
始タイムコードと終了タイムコードである。
【０１２１】検索処理の度にステップ８００６で、個々
の映像要素オブジェクト検索がすべて終了したかどうか
の確認を行ない、終わっていなければステップ８０００
に戻る。この例では３回目にすべて終了とみなされ、ス
テップ８００７へ行く。
【０１２２】ステップ８００７で、一時メモリ６０に保
持された検索結果集合の中で、ファイルの中の出現時間
区間で集合演算（本実施例では論理積）を施して検索結
果リストの作成を行ない、映像検索端末装置にファイル
ＩＤと該当時間区間の開始タイムコードと終了タイムコ
ードのリストが検索結果として返されるとともに映像検
索端末装置に処理を戻す。
【０１２３】
【発明の効果】以上説明したように、本発明によれば、
映像データベースから利用者の所望の映像を検索する
際、映像の構成要素である複数コンテントの空間的、時
間的、意味的な配置にもとづく検索条件指定を可能にす
ることによって、利用者は自身の持つ映像のイメージを
コンテント毎に具体化すれば良く、目的とする映像を検
索するのに要する時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態のデータベースシステ
ムの概略構成を示すブロック構成図である。
【図２】本実施形態の映像情報テーブル領域で管理され
るテーブルの構成例を示す図である。
【図３】本実施形態の映像ファイル管理テーブルの構成
例を示す図である。
【図４】本実施形態の映像要素オブジェクト管理テーブ
ルの構成例を示す図である。
【図５】本実施形態の検索時参照画像管理テーブルの構
成例を示す図である。
【図６】本実施形態の重心情報管理テーブルの構成例を
示す図である。
【図７】本実施形態の映像シーン管理テーブルの構成例
を示す図である。
【図８】本実施形態のテキスト・アノテーション管理テ
ーブルの構成例を示す図である。
【図９】本実施形態の映像オブジェクト情報登録処理の
一例のフローチャートである。
【図１０】図９の検索時参照画像取得処理の一例のフロ
ーチャートである。
【図１１】本実施形態のアルファ・プレーン合成後の画
像に対する矩形設定例を示す図である。
【図１２】図９のテキスト情報取得処理の一例のフロー
チャートである。
【図１３】図９のデータベース登録処理の一例のフロー
チャートである。
【図１４】本実施形態の映像シーン情報登録処理の一例
のフローチャートである。
【図１５】図１４のデータベース登録処理の一例のフロ
ーチャートである。
【図１６】本実施形態の映像検索端末装置の検索画面表
示の一例である。
【図１７】本実施形態の映像検索端末装置における映像
検索の一例のフローチャートである。
【図１８】本実施形態の映像検索サーバ装置における映
像検索処理の一例のフローチャートである。
【符号の説明】
１０…映像入力端末装置、２０…映像検索端末装置、３
０…映像検索サーバ装置、４０…映像蓄積装置、４１…
映像ファイル格納領域、５０…データベース管理システ
ム、５１…映像情報テーブル領域、６０…一時メモリ、
７０…映像ストリーム解析処理モジュール、７１…検索
時参照画像取得処理モジュール、７２…画像特徴量算出
処理モジュール、７３…テキスト情報取得処理モジュー
ル、７４…映像シーン代表画像取得処理モジュール、８
０…映像検索処理モジュール、８１…画像特徴量類似度
計算処理モジュール、９０…通信ネットワーク。

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 データベースに映像ファイルを登録し、
    任意の映像ファイルの任意の区間を検索する方法であっ
    て、 構成要素であるコンテント毎に符号化され、前記コンテ
    ント同士の関係情報を持っている映像ファイルのストリ
    ーム解析を行ない、この結果、分離抽出された各種コン
    テントをそれぞれ１つの映像要素オブジェクトとし、該
    映像要素オブジェクトを検索する際に合致の条件として
    記述することが可能なアノテーション情報を前記コンテ
    ントから抽出し、前記映像要素オブジェクトの情報とそ
    のアノテーション情報を共にデータベースに登録し、 利用者が所望の映像シーンを検索する際に、映像に現わ
    れる背景や物体などの映像の構成物毎にその特徴を記述
    し、これらの記述の１つ以上の組み合わせからなる映像
    検索の条件指定により、各映像要素オブジェクト単位に
    合致判断を行ない、合致した映像要素オブジェクトの出
    現時間区間に関する集合演算を施すことで検索結果映像
    シーンを定義し、 利用者が提示された検索結果リスト中の所望の映像シー
    ンを指定すると、前記データベースから対象の映像ファ
    イルを取得し、それを利用者に提示することを特徴とす
    る映像検索方法。
  2. 【請求項２】 請求項１に記載の映像検索方法におい
    て、前記映像要素オブジェクトの情報をデータベースに
    登録する際、映像シーンの中の特徴的なフレームの画像
    を検索時参照画像として抽出しておき、当該画像の全体
    的な色合い、局所的な色合い、エッジ情報などの解析結
    果を画像特徴量として映像シーンに関連づけて蓄積して
    おき、画像の類似度検索を元にして映像検索を行なう際
    の検索時参照画像の選択方法として、映像シーンの中で
    一定時間間隔毎に画像の比較を行ない、類似度が高い画
    像が続いた時はその先頭の１つのみを該映像シーンの検
    索時参照画像として採用することを特徴とする映像検索
    方法。
  3. 【請求項３】 データベースに映像ファイルを登録し、
    任意の映像ファイルの任意の区間を検索する装置であっ
    て、 構成要素であるコンテント毎に符号化され、再生時に合
    成されて表示されるための該コンテント同士の関係情報
    を持っている映像ファイルをデータベースへ登録する際
    に、映像ファイルのストリーム解析を行なう手段と、 この解析により分離されて抽出された各種コンテントを
    それぞれ１つの映像要素オブジェクトとし、該映像要素
    オブジェクトを検索する際に合致の条件として記述する
    ことが可能なアノテーション情報を該コンテントから抽
    出する手段と、 前記映像要素オブジェクトの情報と前記アノテーション
    情報を共にデータベースに登録する手段と、 利用者が所望の映像シーンを検索する際に、映像に現わ
    れる背景や物体などの映像の構成物毎にその特徴を記述
    する手段と、 これらの記述の１つ以上の組み合わせからなる映像検索
    の条件指定により、各映像要素オブジェクト単位に合致
    判断を行なう手段と、 前記合致した映像要素オブジェクトの出現時間区間に関
    する集合演算を施して検索結果映像シーンを定義する手
    段と、 利用者が提示された検索結果リスト中の所望の映像シー
    ンを指定する手段と、前記データベースから対象の映像
    ファイルを取得し、利用者に提示する手段を有すること
    を特徴とする映像の検索装置。
  4. 【請求項４】 請求項３に記載の映像の検索装置におい
    て、前記映像要素オブジェクトの情報をデータベースに
    登録する際、映像シーンの中の特徴的なフレームの画像
    を検索時参照画像として抽出する手段と、 前記画像の全体的な色合い、局所的な色合い、エッジ情
    報などの解析結果を画像特徴量として映像シーンに関連
    づけて蓄積しておく手段と、 画像の類似度を元にして映像検索を行なうための検索時
    参照画像の選択を行なう際、映像シーンの中で一定時間
    間隔毎に画像の比較を行なう手段と、 類似度が高い画像が続いた時はその先頭の１つのみを前
    記映像シーンの検索時参照画像として採用する手段を有
    することを特徴とする映像の検索装置。
  5. 【請求項５】 データベースに映像ファイルを登録し、
    任意の映像ファイルの任意の区間を検索する方法の処理
    手順をコンピュータに実行させるプログラムを記録した
    コンピュータ読み取り可能な記録媒体であって、 構成要素であるコンテント毎に符号化され、前記コンテ
    ント同士の関係情報を持っている映像ファイルのストリ
    ーム解析を行ない、この結果、分離抽出された各種コン
    テントをそれぞれ１つの映像要素オブジェクトとし、該
    映像要素オブジェクトを検索する際に合致の条件として
    記述することが可能なアノテーション情報を前記コンテ
    ントから抽出し、前記映像要素オブジェクトの情報とそ
    のアノテーション情報を共にデータベースに登録し、 利用者が所望の映像シーンを検索する際に、映像に現わ
    れる背景や物体などの映像の構成物毎にその特徴を記述
    し、これらの記述の１つ以上の組み合わせからなる映像
    検索の条件指定により、各映像要素オブジェクト単位に
    合致判断を行ない、合致した映像要素オブジェクトの出
    現時間区間に関する集合演算を施すことで検索結果映像
    シーンを定義し、 利用者が提示された検索結果リスト中の所望の映像シー
    ンを指定すると、前記データベースから対象の映像ファ
    イルを取得し、それを利用者に提示するプログラムを記
    録したコンピュータ読み取り可能な記録媒体。
JP14524598A 1998-05-27 1998-05-27 映像検索方法及び装置ならびに記録媒体 Expired - Fee Related JP3615657B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP14524598A JP3615657B2 (ja) 1998-05-27 1998-05-27 映像検索方法及び装置ならびに記録媒体
US09/317,435 US6442538B1 (en) 1998-05-27 1999-05-24 Video information retrieval method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14524598A JP3615657B2 (ja) 1998-05-27 1998-05-27 映像検索方法及び装置ならびに記録媒体

Publications (2)

Publication Number Publication Date
JPH11338876A true JPH11338876A (ja) 1999-12-10
JP3615657B2 JP3615657B2 (ja) 2005-02-02

Family

ID=15380685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14524598A Expired - Fee Related JP3615657B2 (ja) 1998-05-27 1998-05-27 映像検索方法及び装置ならびに記録媒体

Country Status (2)

Country Link
US (1) US6442538B1 (ja)
JP (1) JP3615657B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010196A (ja) * 2000-06-26 2002-01-11 Sanyo Electric Co Ltd 電子アルバム装置
JP2003529987A (ja) * 2000-04-05 2003-10-07 ソニー・ユナイテッド・キングダム・リミテッド マテリアルの識別方法
JP2004503017A (ja) * 2000-07-07 2004-01-29 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ 画像中のオブジェクトを表現および探索する方法および装置
WO2005057431A1 (ja) * 2003-12-15 2005-06-23 Matsushita Electric Industrial Co., Ltd. 制御信号を利用したインデックス付与システム
EP1280072A3 (en) * 2001-07-25 2006-01-11 Nec Corporation Image retrieval apparatus and image retrieving method
JP2007293602A (ja) * 2006-04-25 2007-11-08 Nec Corp 映像検索システム、映像検索方法およびプログラム
JP2008146490A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 情報提供装置、情報提供方法、及びコンピュータプログラム
WO2010084736A1 (ja) * 2009-01-23 2010-07-29 日本電気株式会社 映像記述子生成装置
US7818577B2 (en) 2000-04-05 2010-10-19 Sony United Kingdom Limited Identifying material using a watermark and a signature
JP2011242962A (ja) * 2010-05-18 2011-12-01 Hitachi Consumer Electronics Co Ltd 機器間情報交換機能を有するストレージ
US8989555B2 (en) 2008-09-02 2015-03-24 Hitachi Maxell, Ltd. Information processor
CN112818165A (zh) * 2021-01-18 2021-05-18 长沙海信智能系统研究院有限公司 数据处理方法、装置、设备及存储介质

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US6763370B1 (en) * 1998-11-16 2004-07-13 Softricity, Inc. Method and apparatus for content protection in a secure content delivery system
US7017188B1 (en) 1998-11-16 2006-03-21 Softricity, Inc. Method and apparatus for secure content delivery over broadband access networks
US7209942B1 (en) * 1998-12-28 2007-04-24 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus
US7730169B1 (en) 1999-04-12 2010-06-01 Softricity, Inc. Business method and system for serving third party software applications
US7370071B2 (en) 2000-03-17 2008-05-06 Microsoft Corporation Method for serving third party software applications from servers to client computers
US8099758B2 (en) 1999-05-12 2012-01-17 Microsoft Corporation Policy based composite file system and method
US6859907B1 (en) 1999-08-09 2005-02-22 Cognex Technology And Investment Corporation Large data set storage and display for electronic spreadsheets applied to machine vision
US6490600B1 (en) 1999-08-09 2002-12-03 Cognex Technology And Investment Corporation Processing continuous data streams in electronic spreadsheets
US7882426B1 (en) 1999-08-09 2011-02-01 Cognex Corporation Conditional cell execution in electronic spreadsheets
US7996878B1 (en) * 1999-08-31 2011-08-09 At&T Intellectual Property Ii, L.P. System and method for generating coded video sequences from still media
US8250617B2 (en) 1999-10-29 2012-08-21 Opentv, Inc. System and method for providing multi-perspective instant replay
US7000245B1 (en) * 1999-10-29 2006-02-14 Opentv, Inc. System and method for recording pushed data
US6970641B1 (en) 2000-09-15 2005-11-29 Opentv, Inc. Playback of interactive programs
KR100295610B1 (ko) * 1999-11-09 2001-07-12 장영규 동영상 편집 시스템 및 이를 이용한 객체 정보 서비스 방법
US7302490B1 (en) * 2000-05-03 2007-11-27 Microsoft Corporation Media file format to support switching between multiple timeline-altered media streams
EP1172741A3 (en) * 2000-07-13 2004-09-01 Sony Corporation On-demand image delivery server, image resource database, client terminal, and method of displaying retrieval result
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US6959438B2 (en) 2000-12-06 2005-10-25 Microsoft Corporation Interface and related methods for dynamically generating a filter graph in a development system
US6882891B2 (en) 2000-12-06 2005-04-19 Microsoft Corporation Methods and systems for mixing digital audio signals
US6912717B2 (en) 2000-12-06 2005-06-28 Microsoft Corporation Methods and systems for implementing dynamic properties on objects that support only static properties
US7103677B2 (en) * 2000-12-06 2006-09-05 Microsoft Corporation Methods and systems for efficiently processing compressed and uncompressed media content
US7287226B2 (en) 2000-12-06 2007-10-23 Microsoft Corporation Methods and systems for effecting video transitions represented by bitmaps
US6774919B2 (en) * 2000-12-06 2004-08-10 Microsoft Corporation Interface and related methods for reducing source accesses in a development system
US6983466B2 (en) * 2000-12-06 2006-01-03 Microsoft Corporation Multimedia project processing systems and multimedia project processing matrix systems
US6768499B2 (en) * 2000-12-06 2004-07-27 Microsoft Corporation Methods and systems for processing media content
US7447754B2 (en) 2000-12-06 2008-11-04 Microsoft Corporation Methods and systems for processing multi-media editing projects
US7114162B2 (en) 2000-12-06 2006-09-26 Microsoft Corporation System and methods for generating and managing filter strings in a filter graph
US6961943B2 (en) * 2000-12-06 2005-11-01 Microsoft Corporation Multimedia processing system parsing multimedia content from a single source to minimize instances of source files
KR100449497B1 (ko) * 2000-12-21 2004-09-21 주식회사 매직아이 실시간 정보 제공 장치 및 그 처리 방법
US20020120929A1 (en) * 2001-02-28 2002-08-29 Schwalb Eddie M. Method and system for mass customization of digital television broadcasts
US7194490B2 (en) * 2001-05-22 2007-03-20 Christopher Zee Method for the assured and enduring archival of intellectual property
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
JP2003132090A (ja) * 2001-10-26 2003-05-09 Olympus Optical Co Ltd 類似データ検索装置および方法
AU2002351310A1 (en) 2001-12-06 2003-06-23 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
JP2004145555A (ja) * 2002-10-23 2004-05-20 Olympus Corp データベース登録システム及びデータベース登録方法
JP2004234613A (ja) * 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
JP4336813B2 (ja) * 2002-12-06 2009-09-30 日本電気株式会社 画像記述システムおよび方法
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
EP1519563A3 (en) * 2003-09-25 2005-06-29 Canon Research Centre France A method and device for verifying multimedia entities and in particular for verifying digital images
JP2006040085A (ja) * 2004-07-29 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
WO2006030509A1 (ja) * 2004-09-16 2006-03-23 Fujitsu Limited 画像検索装置、画像検索方法、画像作成装置、画像作成方法、プログラム
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
US20080126191A1 (en) * 2006-11-08 2008-05-29 Richard Schiavi System and method for tagging, searching for, and presenting items contained within video media assets
JP5147308B2 (ja) * 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
US8804005B2 (en) 2008-04-29 2014-08-12 Microsoft Corporation Video concept detection using multi-layer multi-instance learning
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
CN102292728B (zh) * 2009-01-23 2015-07-22 日本电气株式会社 数据检索设备
TW201039159A (en) * 2009-04-30 2010-11-01 Dvtodp Corp Method and web server of processing dynamic picture for searching purpose
WO2010141939A1 (en) * 2009-06-05 2010-12-09 Mozaik Multimedia, Inc. Ecosystem for smart content tagging and interaction
US10489445B1 (en) 2009-07-13 2019-11-26 Eharmony, Inc. Systems and methods for online matching using visual similarity
US8135221B2 (en) * 2009-10-07 2012-03-13 Eastman Kodak Company Video concept classification using audio-visual atoms
EP2816564B1 (en) 2013-06-21 2020-07-22 Nokia Technologies Oy Method and apparatus for smart video rendering
CN103902691B (zh) * 2014-03-27 2017-05-03 北京易华录信息技术股份有限公司 一种利用互联网快速查询旅行时间的系统及方法
KR102611663B1 (ko) * 2015-06-09 2023-12-11 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료 컨텍스트에서의 비디오 컨텐트 검색
CN112866742B (zh) * 2020-12-31 2023-04-21 北京奇艺世纪科技有限公司 一种音视频文件管理方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282324A (ja) * 1996-04-09 1997-10-31 Nec Corp 映像検索システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3340532B2 (ja) * 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
US6061056A (en) * 1996-03-04 2000-05-09 Telexis Corporation Television monitoring system with automatic selection of program material of interest and subsequent display under user control
US6088484A (en) * 1996-11-08 2000-07-11 Hughes Electronics Corporation Downloading of personalization layers for symbolically compressed objects
US6298482B1 (en) * 1997-11-12 2001-10-02 International Business Machines Corporation System for two-way digital multimedia broadcast and interactive services
US6253201B1 (en) * 1998-06-23 2001-06-26 Philips Electronics North America Corporation Scalable solution for image retrieval

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282324A (ja) * 1996-04-09 1997-10-31 Nec Corp 映像検索システム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818577B2 (en) 2000-04-05 2010-10-19 Sony United Kingdom Limited Identifying material using a watermark and a signature
JP2003529987A (ja) * 2000-04-05 2003-10-07 ソニー・ユナイテッド・キングダム・リミテッド マテリアルの識別方法
JP4733332B2 (ja) * 2000-04-05 2011-07-27 ソニー ヨーロッパ リミテッド マテリアルの識別方法
US7840816B2 (en) 2000-04-05 2010-11-23 Sony United Kingdom Limited Identifying material stored using a signature as a retrieval index
JP2002010196A (ja) * 2000-06-26 2002-01-11 Sanyo Electric Co Ltd 電子アルバム装置
JP2004503017A (ja) * 2000-07-07 2004-01-29 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・ヨーロッパ・ビーヴィ 画像中のオブジェクトを表現および探索する方法および装置
US7940987B2 (en) 2000-07-07 2011-05-10 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for representing and searching for an object in an image
JP4632627B2 (ja) * 2000-07-07 2011-02-16 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 画像中のオブジェクトを表現および探索する方法および装置
US7756339B2 (en) 2000-07-07 2010-07-13 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for representing and searching for an object in an image
US7236652B2 (en) 2001-07-25 2007-06-26 Nec Corporation Image retrieval apparatus and image retrieving method
EP1280072A3 (en) * 2001-07-25 2006-01-11 Nec Corporation Image retrieval apparatus and image retrieving method
US7873637B2 (en) 2003-12-15 2011-01-18 Panasonic Corporation Automatically imparting an index by using various kinds of control signals
WO2005057431A1 (ja) * 2003-12-15 2005-06-23 Matsushita Electric Industrial Co., Ltd. 制御信号を利用したインデックス付与システム
JP2007293602A (ja) * 2006-04-25 2007-11-08 Nec Corp 映像検索システム、映像検索方法およびプログラム
JP2008146490A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 情報提供装置、情報提供方法、及びコンピュータプログラム
US8989555B2 (en) 2008-09-02 2015-03-24 Hitachi Maxell, Ltd. Information processor
WO2010084736A1 (ja) * 2009-01-23 2010-07-29 日本電気株式会社 映像記述子生成装置
JP4687834B2 (ja) * 2009-01-23 2011-05-25 日本電気株式会社 映像記述子生成装置
US8509303B2 (en) 2009-01-23 2013-08-13 Nec Corporation Video descriptor generation device
JP2011242962A (ja) * 2010-05-18 2011-12-01 Hitachi Consumer Electronics Co Ltd 機器間情報交換機能を有するストレージ
CN112818165A (zh) * 2021-01-18 2021-05-18 长沙海信智能系统研究院有限公司 数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US6442538B1 (en) 2002-08-27
JP3615657B2 (ja) 2005-02-02

Similar Documents

Publication Publication Date Title
JPH11338876A (ja) 映像検索方法及び装置ならびに記録媒体
JP4987907B2 (ja) メタデータ処理装置
Taniguchi et al. PanoramaExcerpts: extracting and packing panoramas for video browsing
US7432940B2 (en) Interactive animation of sprites in a video production
US5982979A (en) Video retrieving method and apparatus
JP4514928B2 (ja) 編集装置及び方法
US7051048B2 (en) Data management system, data management method, and program
US7243101B2 (en) Program, image managing apparatus and image managing method
US20040125124A1 (en) Techniques for constructing and browsing a hierarchical video structure
JPH10320400A (ja) 映像の検索方法および装置
US20070101266A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
JP2001028722A (ja) 動画像管理装置及び動画像管理システム
JP4732418B2 (ja) メタデータ処理方法
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
KR100319160B1 (ko) 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
CN101132528A (zh) 元数据再生、分发、检索装置、元数据再生成条件设定装置
JP2003256432A (ja) 映像素材情報記述方法、遠隔検索システム、遠隔検索方法、編集装置および遠隔検索端末、遠隔編集システム、遠隔編集方法、編集装置および遠隔編集端末、ならびに、映像素材情報記憶装置および方法
JP2001078091A (ja) メディアシーン情報表示編集装置、方法、および該方法に係るプログラムを記憶した記憶媒体
JP4334898B2 (ja) データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置
JP2003224791A (ja) 映像の検索方法および装置
Das et al. A New Hybrid Approach to Video Organization for Content-Based Indexing.
JP4652389B2 (ja) メタデータ処理方法
JPH10276449A (ja) 映像編集システムおよび動画像分割方法
JP2004336808A (ja) 映像の検索方法および装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041101

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees