JPH07114567A - ビデオの検索方法および装置 - Google Patents

ビデオの検索方法および装置

Info

Publication number
JPH07114567A
JPH07114567A JP5262102A JP26210293A JPH07114567A JP H07114567 A JPH07114567 A JP H07114567A JP 5262102 A JP5262102 A JP 5262102A JP 26210293 A JP26210293 A JP 26210293A JP H07114567 A JPH07114567 A JP H07114567A
Authority
JP
Japan
Prior art keywords
video
name
code
frame
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5262102A
Other languages
English (en)
Other versions
JP3340532B2 (ja
Inventor
Takafumi Miyatake
孝文 宮武
Shigeo Sumino
重雄 炭野
Katsumi Taniguchi
勝美 谷口
Akio Nagasaka
晃朗 長坂
Mitsuru Ubusawa
満 生澤
Hirotada Ueda
博唯 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=17371070&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH07114567(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to JP26210293A priority Critical patent/JP3340532B2/ja
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to US08/323,866 priority patent/US5805746A/en
Publication of JPH07114567A publication Critical patent/JPH07114567A/ja
Priority to US08/908,072 priority patent/US6021231A/en
Priority to US09/453,585 priority patent/US6192151B1/en
Priority to US09/771,562 priority patent/US6424744B2/en
Priority to US10/164,013 priority patent/US6567550B2/en
Publication of JP3340532B2 publication Critical patent/JP3340532B2/ja
Application granted granted Critical
Priority to US10/411,314 priority patent/US6766057B2/en
Priority to US10/854,153 priority patent/US7203366B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/48—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising items expressed in broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Abstract

(57)【要約】 【構成】 検索対象であるビデオはフレーム毎に逐次入
力し、メモリ９に一時的に格納する。代表フレーム抽出
部２０はメモリ９のフレーム画像２７から前後のフレー
ム画像を参照して場面変わりを検出し、検出時のフレー
ム画像２８を抽出する。文字列変換部２１はフレーム画
像２８をその特徴を反映した文字コード列２９に変換す
る。そしてビデオ名称生成部２２は順次、文字列変換部
２１から送られてくる文字コード列を一定の長さのシフ
トレジスタに記憶しておく。この中に記憶された文字コ
ード列はビデオを構成するフレーム画像列に対応してお
りこれをビデオ名称３０として出力する。一方、ユーザ
は対話処理部２３で問い合わせ用ビデオの登録、検索開
始指示、検索結果の確認を行う。 【効果】 ビデオの検索が、ビデオの特徴量から導かれ
る文字列に基づく照合を行っており、ビデオ検索がテキ
スト検索のごとく高速に行なえる効果がある。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は放送中のビデオまたはデ
ータベース中のビデオの検索方法および装置に関し、特
にビデオの特徴を手掛かりとした検索が高速に行えるビ
デオ検索方法におよび装置に関する。
【０００２】
【従来の技術】近年のマルチメディア情報処理システム
ではビデオやテキスト等様々な情報を蓄積してユーザに
提示することが可能であるが、それらを検索する場合、
キーワード等の言語による検索しか方法がなかった。こ
の場合はキーワード付けの作業が必要であり、ビデオの
各フレーム毎に付ける労力が大きい。さらにキーワード
はデータベース構築者が自由に付けるものであるから、
ユーザの視点がデータベース構築者と異なる場合にはこ
れらのキーワードが役に立たなくなるという問題があ
る。またビデオの場合はキーワード以外に画像独自の特
徴から検索したいという要求があるが、画像の特徴量を
手掛かりとして検索するためには膨大なフレーム数から
なるビデオの特徴量とその問い合わせ用ビデオの特徴量
との高速照合技術が必要であり、ビデオに適用できる照
合技術はこれまで皆無であった。そのため従来のビデオ
検索はユーザが早送りや巻き戻しの機能で再生しながら
目で確認して探す方法しか実用的な手段はなかった。し
たがってビデオをディジタル化してデータベース化して
も効率的な利用はできなかった。また放送中のビデオか
ら特定の場面をキャッチするようなビデオ検索システム
は存在しなかった。
【０００３】
【発明が解決しようとする課題】本発明の目的は、ビデ
オ検索のためのキーワード付け作業を行うことなく、検
索対象ビデオの特徴量と問い合わせビデオの特徴量との
間で高速に照合可能なビデオ検索方法および装置を提供
することにある。また対象ビデオは放送中のビデオおよ
びデータベース中のいずれも対応可能とする。
【０００４】
【課題を解決するための手段】上記目的を達成するため
に、本発明では検索対象であるビデオを入力し、該ビデ
オから代表のフレーム画像を抽出し、該フレーム画像の
全体または部分から一つまたは複数の特徴量を計算し、
該特徴量に対応したコードを割当て、該フレーム画像を
該コードまたは一定の順序で並べたコード列で名称をつ
け、該ビデオを該フレーム列に対応するフレーム名称列
でビデオ名称を作成し、これを用いて問い合わせ用のビ
デオ名称と照合して結果を出力する。
【０００５】上記代表のフレーム画像は、場面変わりの
先頭フレームまたは一定間隔毎に入力したフレーム画像
とする。そして特徴量は、ディジタル化された画像やビ
デオのフレーム列を構成するフレーム間の時間長から計
算する。また特徴量に対応したコードの割当は、特徴量
を特定の範囲毎に区切り、特徴量がどの範囲に属するか
で割り当てるコードを決定する。その際、コードは既存
のアルファベットや漢字などのコードを割り当てる。ま
た割当の際特徴量が区切られた範囲の境界近傍の場合に
は補助コードを追加しておく。
【０００６】一方、問い合わせ用のビデオ名称もビデオ
の代表のフレーム列のコードから作成し、ユーザが該当
するフレーム画像を指定することにより半自動で作成す
る。尚、問い合わせ用のビデオが複数ある場合はビデオ
の属性名を付加しておく。
【０００７】そしてビデオ名称の照合は代表のフレーム
画像を抽出した時に行うものとし、さらに代表のフレー
ム間の時間長が一定の範囲内の時のみ行う。ビデオ名称
の実際の照合はコード列間の比較である。その比較の
際、補助コードが存在する場合、その補助コードが意味
する別のコードの可能性を考慮した比較を行う。
【０００８】最後に照合の出力結果は、照合に成功した
時刻情報、およびビデオ名称またはビデオ属性名のすく
なくとも一つを含んでいる。
【０００９】検索対象が放送中のビデオであって、照合
すべきビデオが複数の場面からなるコマーシャルビデオ
の場合は、照合の出力は放送時刻、コマーシャル名、ス
ポンサー名のすくなくとも一つとする。
【００１０】また検索対象がデータベース中のビデオの
場合、ビデオを記憶媒体に蓄積する際、ビデオととも
に、該ビデオから代表のフレーム画像を抽出し、該フレ
ームの全体または部分から一つまたは複数の特徴量を計
算し、該特徴量に対応したコードを割当て、該フレーム
画像を該コードまたは一定の順序で並べたコード列で名
称をつけ、該ビデオを該フレーム列に対応するフレーム
名称の列でビデオ名称を作成し、該ビデオ名称を索引情
報として蓄積し、該記憶媒体の該索引情報と予め用意し
たビデオの名称の列とを照合するようにする。
【００１１】以上の検索方法を実現する装置は、ビデオ
入力手段と、該ビデオの代表のフレーム画像を抽出する
手段と、該フレームの全体または部分から一つまたは複
数の特徴量を計算する手段と、該特徴量に対応したコー
ドを割当てる手段と、該フレーム画像をコードまたは一
定の順序で並べたコード列で名称をつけ、該ビデオを該
フレーム列に対応するフレーム名称列でビデオ名称を作
成する手段と、該ビデオ名称と予め用意した問い合わせ
用のビデオ名称とで照合する手段から構成する。
【００１２】
【作用】上記の方法により、本発明では代表のフレーム
画像は、場面変わりの先頭フレーム画像または一定間隔
毎に入力したフレームに限定しているので、同様のコー
ド列が並んだ文字数の長いビデオ名称となるのを防ぐこ
とができ、結果的に照合時間を短縮できる効果がある。
またビデオの特徴量から導かれる名称に基づく照合を行
っており、ビデオ検索がテキスト検索のごとく単純な文
字列照合としているため高速に行なえる。ビデオの照合
には通常、特徴量同士の数値演算に基づく評価関数で類
似度を決定するしか従来は方法がなく、そのため計算に
時間がかかっていたが、本発明では照合時、その計算が
不要となっており原理的に従来方法よりも高速である。
また特徴量はディジタル化された画像やフレーム間の時
間長から計算される単純なものであり実時間で計算でき
る。そしてコードの割当は特徴量がどの範囲に属するか
で割り当てるだけの簡単なものであり割当に要する時間
が少ない。さらにコードは既存の文字コードを割り当て
ることにより、汎用の文字列照合の機構が利用可能であ
りビデオ検索のための特殊な照合機構を新たに開発する
ことが不要となる。
【００１３】そしてまたコード割当の際、隣接するコー
ドに特徴量の値が近い場合、補助コードを追加して照合
時に許容範囲をひろげるので、検索漏れ等、性能の劣化
を抑止できる。
【００１４】一方、問い合わせ用のビデオ名称が複数の
場合にはビデオの属性名を付加することにより、複数の
問い合わせ用ビデオのどれと照合がとれたかをユーザが
ビデオの属性名をみることにより容易に理解することが
可能となる。
【００１５】そしてビデオ名称の照合は代表のフレーム
画像を抽出したときだけであり、さらに該フレーム間の
時間長が一定の範囲内の時のみ行うので、照合回数を削
減できる効果がある。
【００１６】そして照合の出力結果は、照合に成功した
時刻情報、およびビデオ名称またはビデオ属性名のすく
なくとも一つを含んでおり、ユーザは後からビデオ検索
結果をまとめて整理することが容易である。
【００１７】検索対象が放送中のビデオであって、照合
すべきビデオが複数の場面からなるコマーシャルビデオ
の場合に放送時刻、コマーシャル名、スポンサー名のす
くなくとも一つが照合結果として出力されるので、種類
別のコマーシャルの放送回数やその放送時における視聴
率等とリンクさせた統計情報が自動的に求められるよう
になる。また検索対象がデータベース中のビデオの場
合、フレーム名称等を索引情報として付加しておくこと
により、検索時に特徴量の計算が省略できるのでさらに
高速な照合が実現できる。
【００１８】以上の検索方法を実現する装置は、ビデオ
入力手段と、代表のフレームを抽出する手段と、特徴量
を計算する手段と、コードを割当てる手段と、ビデオ名
称を作成する手段と、ビデオ名称を照合する手段から構
成されており、これはビデオ入力機能をもつ汎用のワー
クステーションで実時間処理が実現可能であり安価なビ
デオ検索装置が達成される。
【００１９】
【実施例】以下、本発明の一実施例を図を用いて説明す
る。
【００２０】図１は、本発明を実現するためのシステム
構成の概略ブロック図の一例である。１はＣＲＴ等のデ
ィスプレイ装置であり、コンピュータ２の出力画面を表
示する。コンピュータ２に対する命令は、ポインティン
グデバイス３やキーボード４を使って行うことができ
る。５のビデオ再生装置は、光ディスクやビデオデッキ
等である。ビデオ再生装置５から出力される映像信号
は、逐次、６のビデオ入力装置によってデジタル画像デ
ータに変換され、コンピュータに送られる。また場合に
よっては放送中の映像を取り込むことも可能あり、放送
受信機７からの映像信号をビデオ入力装置６へ入力す
る。コンピュータ内部では、デジタル画像データは、イ
ンタフェース８を介してメモリ９に入り、メモリ９に格
納されたプログラムに従って、ＣＰＵ１０によって処理
される。１０が扱うビデオがビデオ再生装置５から送ら
れている場合は各フレーム画像には、ビデオの先頭から
順に番号（フレーム番号）が付けられている。フレーム
番号を制御線２によってビデオ再生装置に送ることで、
当該場面のビデオが再生される。また放送受信機７から
送られてくるビデオの場合、フレーム番号はないので必
要に応じて画像を取り込んだ時刻を記録してフレーム番
号の代わりに使用する。コンピュータ内部処理の必要に
応じて、各種情報を１２の外部情報記憶装置に蓄積する
ことができる。メモリ９には、以下に説明する処理によ
って作成される各種のデータが格納され、必要に応じて
参照される。
【００２１】図２は本発明のビデオ検索処理の１実施例
の全体ブロック図であり、コンピュータ２の内部で実行
される。本発明では検索対象であるビデオはフレーム毎
に逐次入力し、メモリ９に一時的に格納する。代表フレ
ーム抽出部２０はメモリ９のフレーム画像２７から前後
のフレーム画像を参照して場面変わりを検出し、検出時
のフレーム画像２８を抽出する。文字列変換部２１はフ
レーム画像２８をその特徴を反映した文字コード列２９
に変換する。そしてビデオ名称生成部２２は順次、文字
列変換部２１から送られてくる文字コード列を一定の長
さのシフトレジスタに記憶しておく。この中に記憶され
た文字コード列はビデオを構成するフレーム画像列に対
応しておりこれをビデオ名称３０として出力する。一
方、ユーザは対話処理部２３で問い合わせ用ビデオの登
録、検索開始指示、検索結果の確認を行う。ユーザが指
定した代表フレーム画像は文字列変換部２４で２１の処
理と同じく文字コード列３２に変換する。問い合わせビ
デオ名称登録部２５は複数の代表フレーム画像の文字コ
ード列３２を問い合わせビデオ名称として、属性ととも
に記憶管理する。属性とはビデオの制作者名、制作年月
日、場所、登場人物、目的、動作、などビデオに関連し
た情報である。これらはユーザが対話処理部２３で入力
する。
【００２２】尚、登録できるビデオ名称は複数である。
文字列照合部２６では検索対象のフレーム画像から順次
生成したビデオ名称３０と問い合わせビデオ名称登録部
２５に登録されている複数のビデオ名称３３との間で、
名称を構成している文字コード間の照合を行う。そして
名称が一致していれば、検索に成功したものとして、検
索結果３４を出力する。検索結果は、検索に成功したビ
デオの属性や検索に成功したフレーム番号あるいは検索
に成功した時刻情報である。検索結果３４は対話処理部
２３に戻され、ユーザが確認する。
【００２３】また検索結果３４は問い合わせビデオ名称
登録部２５に通知され、検索の履歴情報を自動的に更新
する。
【００２４】本実施例ではビデオを文字列変換部で名称
付けすることにより、ビデオとビデオの照合問題を名称
と名称の文字列照合問題に置き換えており、テキスト検
索のように、ビデオが高速に検索できる効果がある。従
来のビデオとビデオの照合では特徴量同士の評価関数で
類似度を決定するより方法がなく、照合に時間がかかる
問題があったが、本発明によってこの問題が解決され
た。また複数の代表フレームの文字列を直列に接続して
長い文字列の名称で一致をとることにより、多種類のビ
デオの照合にも対応できる。
【００２５】図３はビデオの名称付けの方法の一つの実
施例を示したものである。まずある長さの問い合わせビ
デオ３５をユーザが選択する。そしてその中の代表フレ
ーム画像３６をユーザが必要なフレーム数だけ指定す
る。そして各フレーム画像を複数のブロックに分割して
その中で幾つかの特徴量３７を計算して特徴ベクトルと
する。特徴ベクトルの要素としては、画像の特定色の面
積、代表フレーム間の時間長、ビデオに付帯している音
の強さの積分値、音の一定強さ以上の時間長などであ
る。尚、ここで述べた特徴以外でもビデオの特徴を記述
したノイズに強いものであれば特徴として採用できる。
さて各ブロックで求めた特徴ベクトルはすべて集めて特
徴ベクトル列３８を構成する。そして特徴ベクトルの要
素の値域を幾つかに区分して、要素の値がどの区分に入
るかで区分に割り当てられているアルファベットの文字
コードに変換する。すべての特徴ベクトルの要素を文字
コードに置き換え一列に並べることで問い合わせビデオ
名称３９が生成できる。
【００２６】本実施例では画像をブロックに分割してい
るが、もちろん画面全体で１ブロックとすることも可能
である。ブロックの個数、特徴ベクトルの要素の数、要
素の種類、等を変更することにより、検索目的に柔軟に
対応可能である。たとえば同一ビデオの検索、類似した
ビデオの検索、シナリオのテンポが一致しているビデオ
の検索、色の構成が似ているビデオの検索、構図が一致
しているビデオの検索等ユーザの好みの検索目的に対応
できる。
【００２７】図４はユーザとの対話に利用する表示画面
の一実施例である。ビデオのフレーム画像はコンピュー
タのディスプレイ上のモニタウインドウ４０に再生表示
される。同じ画面上に表示されるウインドウには、４０
のほか、代表フレーム画像の抽出結果を一覧にして表示
するウインドウ４１、問い合わせビデオの属性を入力す
るテキストウインドウ４２、検索時に使用する特徴の種
類を指定するウインドウ４３、検索結果を表示するウイ
ンドウ４４などがある。これらのウインドウは、ポイン
ティングデバイス３の一つであるマウスを使って自由に
動かせるカーソル４５を操作して画面上の任意の位置に
移動できる。テキストの入力にはキーボード４を用い
る。ボタン４０-１は、ビデオの再生状態を制御するた
めのボタンで、マウスでクリックすると、ビデオの再生
や早送り・巻き戻しといった制御ができる。また、再生
するシーンについては、ウインドウ４１に一覧表示され
ている代表フレーム画像をクリックすることによって連
動的に選択を行うことができる。そのとき、再生するビ
デオは、コンピュータに接続されたビデオ再生装置５が
出力するビデオを用いることもできるし、外部情報記憶
装置に登録されたデジタル化されたビデオでもよい。ビ
デオ再生装置５の場合には、シーンの先頭のフレーム番
号をビデオ再生装置に送り、そのフレーム番号に対応す
るシーンから再生を開始する。そして、シーン末尾のフ
レーム番号に到達した時点で再生を中断する命令をビデ
オ再生装置５に送る。デジタル化されたビデオの場合
は、例えば、図５に示す構造体５０で表されるビデオデ
ータから、シーン先頭のフレーム番号に対応するビデオ
データを抽出してグラフィックデータとして表示する。
尚、構造体５０には画像データに付随した音データも格
納されており、これをスピーカ１-１に出力することも
できる。１フレーム分の表示処理が終了すると、次のフ
レームの表示処理を連続して行い、これにより動画像の
表示とする。表示処理に要する時間に合わせ、一定時間
あたりに表示するフレーム画像の枚数を調節し、ビデオ
が早送り気味になったりスロー気味になったりしないよ
うにする。またモニタウインドウ４０には放送受信機７
からのビデオの表示も行える。
【００２８】ユーザが図４の画面を用いてビデオの検索
を行う操作手順を以下のべる。まず問い合わせビデオの
指定を行うためにウィンドウ４１に並んだ代表フレーム
を幾つかマウスでクリックして選択する。次にテキスト
ウィンドウ４２で、選択したビデオのタイトルや人名
等、属性情報をキーボードから入力し登録する。尚、登
録数は任意である。次に検索条件に使う特徴量としてシ
ーンの時間長、色、音、分割ブロック数等のうちどれと
どれを採用するかをウィンドウ４３で指定する。４３の
中にはdetailボタン４３-１があり、これをクリックす
ると詳細なウィンドウが開かれて、指定した特徴量の値
域をユーザの好みに応じて決定できる。尚、この操作は
変更要求があるときのみ行う。通常は予めシステムが設
定した特徴量で検索を行う。さて検索条件が整ったあと
は、検索範囲を指定する。この操作はテキストウィンド
ウ４２の中のmodeボタン４２-１をクリックし、検索範
囲指定モードにすることによって、ビデオの種類や検索
時間帯が指定できる。最後にユーザは検索開始要求を出
す。これもmodeボタン４２-１をクリックして検索要求
モードにして、OKボタン４２-２をクリックすることで
行う。システムを検索処理を開始し、求めた結果をウィ
ンドウ４４に表示する。表示内容は属性情報、時間情報
等である。
【００２９】本実施例ではユーザは問い合わせビデオの
指定を代表フレームを見ながらマウスで指定する簡単な
操作で行えるので、パターンの特徴を詳細にキーワード
に変換する作業が不要となる。また時間長の特徴、音の
特徴、色の特徴等ユーザの好みに応じて変更が可能であ
り広範な検索の用途に対応できる。
【００３０】図６は図２の対話処理部２３の一実施例で
ある。全体制御部６０はユーザとの対話と各処理部の制
御を行う。処理部はビデオ表示処理部６１、問い合わせ
ビデオ指定部６２、属性入力処理部６３、検索特徴カス
タマイズ部６４、検索結果表示部６５からなる。ビデオ
表示処理部６１はモニタウインドウ４０でのビデオ再生
を実行する。問い合わせビデオ指定部６２はウインドウ
４１での代表フレーム画像の一覧表示行い、ユーザがマ
ウスで選択した代表フレームのディジタル画像３１を出
力する。属性入力処理部６３はモード切り換えにより、
３つの処理をウインドウ４２を介して行う。まず一つ目
は問い合わせビデオの属性をキーボードから入力する処
理である。二つ目は検索範囲を設定する処理である。例
えばビデオ再生装置５の検索開始フレーム番号と終了フ
レーム番号である。放送受信機７のビデオを検索する場
合は、チャンネル番号、検索開始時間、検索終了時間で
ある。三つめは検索開始指令の発行である。検索結果表
示部６５は検索結果３４入力してウィンドウ４４に表示
する。
【００３１】図７は図２の文字列変換部２４の一実施例
である。対話処理部２３から送られたディジタル画像３
１をブロック毎に分けて特徴量計算部７０が特徴ベクト
ルを計算する。特徴ベクトルの各要素は値が０から１０
０の範囲になるように正規化し、その要素７４を出力す
る。文字コード割当部４は要素７４を文字変換テーブル
７２を参照して値と文字コードを対応させ文字コード７
５を出力する。その際要素７４の値が文字変換テーブル
７２の範囲の中央の付近の値ではなく隣接した範囲との
境界近傍であるときはその旨文字コードに反映させてお
く。文字変換テーブル７３は７２と同じ構成であるが境
界部の範囲とそれに対応した補助コードが格納してあ
る。例えば要素の値が１０の場合は文字変換テーブル７
２を参照して文字コード「a」が割り当てられ、それを
文字コード７５として出力する。この場合文字変換テー
ブル７３には該当する範囲がないので補助コードは出力
しない。また例えば要素の値が５６の場合は文字コード
「c」を同様に文字コード７５として出力する。この場
合文字変換テーブル７３には該当する範囲があり、補助
コード「C」を続いて出力する。
【００３２】この実施例では、特徴ベクトルの要素の値
が文字コード決定のための範囲の境界付近の場合、その
旨通知するための補助コードが出力される。これにより
例えばある要素の文字コードがaAの場合ノイズの要因等
で変動することがあってもaまたはbと解釈することが可
能となり、照合時の安定度が増加する。
【００３３】図８は図２の問い合わせビデオ名称登録部
２５の一実施例である。文字コード８０はビデオ名称登
録管理部８０の管理下のリスト８１で連結された記憶部
に登録される。対話処理部２３でユーザが入力した属性
とともに属性データ８２、文字列コードデータ８３とし
て記憶される。その際、検索履歴データ８４は初期化さ
れる。尚、検索履歴データ８４は検索結果３４が入力さ
れると、検索時刻の登録、検索回数の更新等を行う。照
合のためのビデオ名称３３はリスト８１から順次文字列
コードデータ８３から読み出し出力する。
【００３４】この実施例では複数の問い合わせビデオの
照合が可能であるとともに、検索履歴を管理できるの
で、発生頻度に基づく問い合わせビデオの更新処理等が
可能になる。たとえば全く検索されなかった問い合わせ
ビデオはリストからはずして新たにユーザが登録しなお
すことなどに利用できる。
【００３５】図９は図２の代表フレーム抽出部２０の一
実施例である。検索対象の入力ビデオ２７の場面変わり
を自動検出して、その時の画像を代表フレーム画像２８
として出力する。
【００３６】まず現在取り込んだフレームの画像９０か
らカラーヒストグラム特徴９１を求める。それと前のフ
レームで求めたカラーヒストグラム特徴９２とを比較部
９３で比較し、ヒストグラム特徴が類似していれば同一
場面、そうでなければ場面変わりと判断する。場面変わ
りの場合、画像９０を代表フレーム画像２８として出力
する。
【００３７】この実施例では自動的に場面変わりが検出
できるが、長時間場面変わりが発生しない場合は一定時
間経過毎に画像９０を代表フレーム画像２８として出力
するようにしても良い。
【００３８】代表フレーム画像２８は図２の文字列変換
部２１でフレーム単位に文字コード２９に変換される。
この文字列変換部２１は図７で説明した文字列変換部２
４と同一であるので説明は省略する。
【００３９】図１０は図２のビデオ名称生成部２２の一
実施例である。代表フレーム画像の検出毎に時系列に送
られてくる文字列コード２９を、問い合わせビデオ名称
群の中の最長文字数を収容できる長さのシフトレジスタ
１００に左から順次右へシフトしながら入力する。シフ
トレジスタ２０の中には照合すべきビデオ名称が切り出
されて常に格納されている状態になる。この場合ビデオ
名称はシフトレジスタの右側が先頭文字となる。このシ
フトレジスタの内容を検索対象のビデオ名称３０として
出力する。
【００４０】図１１は図２の文字列照合部２５の一実施
例である。この文字列照合部の動作は代表フレーム抽出
時のみ行う。まず検索対象のビデオ名称３０と問い合わ
せのビデオ名称３３を入力して文字コード列比較部で名
称が一致するかどうかを比較する。この比較には２次元
参照テーブル１１１を利用する。テーブルの縦軸がビデ
オ名称３０からの補助コードを含んだ一つのコードに対
応し、横軸が問い合わせビデオ名称３３からの補助コー
ドを含んだ一つのコードに対応しており、交差位置のテ
ーブルの値を参照し、それが１なら一致、０なら不一致
である。一致していればさらに次のコードを３０、３３
からとりだし、順次比較してゆく。問い合わせビデオ名
称を構成する全てのコードが一致すれば、ビデオの検索
に成功したことになり、検索結果３４を出力する。そし
て残りの問い合わせビデオ名称の照合は打ち切る。一
方、コードの不一致を検出するとその時点で、次の問い
合わせビデオ名称の照合に移る。
【００４１】この実施例によればコードの一致検出にを
２次元参照テーブル１１１を利用しており、補助コード
のついた文字コードの比較が高速に行える。また不一致
を検出した時点で照合を打切り次の問い合わせビデオ名
称の照合に移るので、問い合わせビデオの数が多くても
高速に照合可能である。例えば放送中のビデオの全ての
コマーシャル部分を検索する場合でも実時間の照合が可
能となる。
【００４２】また検索対象が放送中のビデオであって、
照合すべきビデオが複数の場面からなるコマーシャルビ
デオの場合には放送時刻さらにはコマーシャル名、スポ
ンサー名も問い合わせビデオ名称登録部のリストの属性
を参照して検索結果として出力できることは言うまでも
ない。
【００４３】図１２は本発明のビデオ検索処理の別の実
施例の全体ブロック図であり、コンピュータ２の内部で
実行される。図２のビデオ検索処理の実施例も高速に実
行できるが実時間処理すなわち１秒間に３０フレームの
速度が限界である。その限界を越えるのためのものが図
１２である。図２の代表フレーム抽出部２０と文字列変
換部２１を廃止し、代わりに代表フレームの文字列入力
処理部１２０を設定したところが異なっている。文字列
入力処理部１２０は予めインデックスとして外部情報記
憶装置１１に格納しておいた検索対象ビデオの代表フレ
ームの文字列を入力してそれをビデオ名称生成部１２１
に則るだけである。ワークステーションの磁気ディスク
の転送速度が例えば１０Ｍバイト／秒とし代表フレーム
１枚あたりの文字列のバイト数を１０バイトとすると代
表フレーム数１００万枚を１秒間で入力できる。ビデオ
の代表フレームは場面変わりが平均５秒に一回程度であ
るので、結局５００万倍の再生速度でビデオを入力して
いることになる。実際の速度は文字列照合部１２５の処
理で決定される。１０００個の問い合わせビデオがある
場合、最悪の場合１万バイトの照合が発生するが、ワー
クステーションの速度で１００万バイト照合あたり１秒
かかるとすると、これを１／１００秒で実行できる。従
って本発明のようなインデックスを持たせる方法では、
最終的に５００倍速の再生速度でビデオ検索を行ってい
るのと同等の効果がある。また検索対象ビデオのインデ
ックスである代表フレームの文字列パターンのうち、発
生頻度の高いものを抽出することにより、専門家のビデ
オ作成のノウハウを獲得することができる。
【００４４】尚、本発明は、ビデオ再生装置や、ビデオ
再生装置付きのテレビジョンに対して組み込むことも可
能である。
【００４５】
【発明の効果】本発明によれば、ビデオの検索が、ビデ
オの特徴量から導かれる文字列に基づく照合を行ってお
り、ビデオ検索がテキスト検索のごとく高速に行なえる
効果がある。また特徴量はディジタル化された画像やフ
レーム間の時間長から計算される単純なものでありビデ
オ再生の実時間で計算できる効果がある。そしてそれら
を予め計算して外部情報記憶装置に記憶しておくことに
より、ビデオ再生の実時間よりさらに高速に処理できる
効果がある。また本発明ではユーザは問い合わせビデオ
の指定を代表フレーム画像を見ながらマウスで指定する
簡単な操作で行えるので、パターンの特徴を詳細にキー
ワードに変換する作業が不要となる効果がある。さらに
検索対象ビデオのインデックスに基づいて、発生頻度の
高い文字列パターンを抽出することで、専門家のビデオ
作成のノウハウが獲得できる。さらに本発明はビデオ入
力機能をもつ汎用のワークステーションシステムで実時
間処理が実現可能であり、安価なビデオ検索装置が達成
できる効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例におけるビデオ検索のシステ
ム構成の概略ブロック図である。
【図２】本発明のビデオ検索処理の実施例の全体ブロッ
ク図である。
【図３】ビデオの文字列による名称付け方法の一実施例
を示す図である。
【図４】ユーザとの対話に利用する表示画面の一実施例
を示す図である。
【図５】デジタル化されたビデオのデータ構造の図であ
る。
【図６】図２の対話処理部２３の一実施例を示す図であ
る。
【図７】図２の文字列変換部２４の一実施例を示す図で
ある。
【図８】図２の問い合わせビデオ名称登録部２５の一実
施例を示す図である。
【図９】図２の代表フレーム抽出部２０の一実施例を示
す図である。
【図１０】図２のビデオ名称生成部２２の一実施例を示
す図である。
【図１１】図２の文字列照合部２５の一実施例を示す図
である。
【図１２】本発明のビデオ検索処理の別の実施例の全体
ブロック図である。
【符号の説明】
１…ディスプレィ、２…コンピュータ、３…ポインティ
ングデバイス、４…キーボード、５…ビデオ再生装置、
６…ビデオ入力装置、７…放送受信機、１１…外部情報
記憶装置、２０…代表フレーム抽出部、２１，２４…文
字列変換部、２２…ビデオ名称生成部、２３…対話処理
部、２５…問い合わせビデオ名称登録部、２６…文字列
照合部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 長坂 晃朗 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 生澤 満 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 上田 博唯 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】検索対象であるビデオを入力し、該ビデオ
    から代表のフレーム画像を抽出し、該フレーム画像の全
    体または部分から一つまたは複数の特徴量を計算し、該
    特徴量に対応したコードを割当て、該フレーム画像を該
    コードまたは一定の順序で並べたコード列で名称をつ
    け、該ビデオを該フレーム列に対応するフレーム名称列
    でビデオ名称を作成し、これを用いて照合することを特
    徴とするビデオの検索方法。
  2. 【請求項２】請求項１記載の代表のフレーム画像は、場
    面変わりの先頭フレーム画像または一定間隔毎に入力し
    たフレーム画像とすることを特徴とするビデオの検索方
    法。
  3. 【請求項３】請求項１記載の特徴量は、ディジタル化さ
    れた画像から計算することを特徴とするビデオの検索方
    法。
  4. 【請求項４】請求項１記載の特徴量は、ディジタル化さ
    れた画像およびフレーム列を構成するフレーム間の場面
    変わりの時間長から計算することを特徴とするビデオの
    検索方法。
  5. 【請求項５】請求項１記載のコードの割当ては、特徴量
    を特定の範囲毎に区切り、特徴量がどの範囲に属するか
    で割り当てるコードを決定することを特徴とするビデオ
    の検索方法。
  6. 【請求項６】請求項１記載のコードは既存の文字コード
    を割り当てるようにすることを特徴とするビデオの検索
    方法。
  7. 【請求項７】請求項１記載の特徴量に対応したコード割
    当ては、特徴量を特定の範囲毎に区切り、特徴量がどの
    範囲に属するかで割り当てるコードを決定し、該特徴量
    が該コードの範囲の境界近傍のときは補助コードを追加
    するようにすることを特徴とするビデオの検索方法。
  8. 【請求項８】請求項１記載の問い合わせ用のビデオ名称
    は、問い合わせ用ビデオの代表のフレーム画像をユーザ
    が指定することにより、半自動で作成することを特徴と
    するビデオの検索方法。
  9. 【請求項９】請求項１記載の問い合わせ用のビデオが複
    数の場合、ユーザがビデオ名称を作成する時、ビデオの
    属性名を付加しておくことを特徴とするビデオの検索方
    法。
  10. 【請求項１０】請求項１記載のビデオ名称の照合は、代
    表のフレームを抽出した場合のみ行うことを特徴とする
    ビデオの検索方法。
  11. 【請求項１１】請求項１記載のビデオ名称の照合は、代
    表のフレーム間の時間長が一定の範囲内の時のみ行うこ
    とを特徴とするビデオの検索方法。
  12. 【請求項１２】請求項１記載のビデオ名称の照合は、名
    称を構成するコード列間の比較で行うことを特徴とする
    ビデオの検索方法。
  13. 【請求項１３】請求項８記載のコード列間の比較は、補
    助コードがある場合、補助コードが意味するコードとの
    比較も行うことを特徴とするビデオの検索方法。
  14. 【請求項１４】請求項１記載の出力結果は、照合に成功
    した時刻情報、およびビデオ名称またはビデオ属性名の
    すくなくとも一つを含むことを特徴とするビデオの検索
    方法。
  15. 【請求項１５】請求項１記載の出力結果は、照合に成功
    した時の、時刻情報、ビデオ名称、ビデオ属性名のすく
    なくとも一つを含むことを特徴とするビデオの検索方
    法。
  16. 【請求項１６】請求項１記載の問合わせビデオの名称の
    作成において、既に作成された問合わせビデオの名称群
    で照合した結果、ビデオ全体の時間長が所定範囲内であ
    って、いずれのビデオ名称とも一致しないビデオを新規
    問い合わせビデオの候補としてユーザに提示し、ユーザ
    の判断によりビデオ名称、ビデオ属性を入力してあらた
    に問い合わせ用ビデオを追加することを特徴とするビデ
    オの検索方法。
  17. 【請求項１７】請求項１記載の検索対象であるビデオは
    放送中の映像であり、照合すべきビデオは複数の場面か
    らなるコマーシャルビデオであり、出力は放送時刻、コ
    マーシャル名、スポンサー名のすくなくとも一つを含む
    ことを特徴とするビデオの検索方法。
  18. 【請求項１８】ビデオを記憶媒体に蓄積する際、ビデオ
    とともに、該ビデオから代表のフレーム画像を抽出し、
    該フレーム画像の全体または部分から一つまたは複数の
    特徴量を計算し、該特徴量に対応したコードを割当て、
    該フレーム画像を該コードまたは一定の順序で並べたコ
    ード列で名称をつけ、該ビデオを該フレーム列に対応す
    るフレーム名称の列でビデオ名称を作成し、該ビデオ名
    称を索引情報として蓄積し、該記憶媒体の該索引情報と
    し、これを用いて照合することを特徴とするビデオの検
    索方法。
  19. 【請求項１９】ビデオ入力手段と、該ビデオの代表のフ
    レーム画像を抽出する手段と、該フレーム画像の全体ま
    たは部分から一つまたは複数の特徴量を計算する手段
    と、該特徴量に対応したコードを割当てる手段と、該フ
    レーム画像をコードまたは一定の順序で並べたコード列
    で名称をつけ、該ビデオを該フレーム列に対応するフレ
    ーム名称列でビデオ名称を作成する手段、これを用いて
    照合手段を具備することを特徴とするビデオの検索装
    置。
  20. 【請求項２０】ビデオ再生装置において、 ビデオ入力手段と、該ビデオの代表のフレーム画像を抽
    出する手段と、該フレーム画像の全体または部分から一
    つまたは複数の特徴量を計算する手段と、該特徴量に対
    応したコードを割当てる手段と、該フレーム画像をコー
    ドまたは一定の順序で並べたコード列で名称をつけ、該
    ビデオを該フレーム列に対応するフレーム名称列でビデ
    オ名称を作成する手段、これを用いて照合手段を具備す
    ることを特徴とするビデオ再生装置。
  21. 【請求項２１】放送受信機と、ビデオ入力装置と、ビデ
    オ再生装置を備えたテレビジョンにおいて、 ビデオの代表のフレーム画像を抽出する手段と、該フレ
    ーム画像の全体または部分から一つまたは複数の特徴量
    を計算する手段と、該特徴量に対応したコードを割当て
    る手段と、該フレーム画像をコードまたは一定の順序で
    並べたコード列で名称をつけ、該ビデオを該フレーム列
    に対応するフレーム名称列でビデオ名称を作成する手
    段、これを用いて照合手段を具備することを特徴とする
    テレビジョン。
JP26210293A 1993-10-20 1993-10-20 ビデオの検索方法および装置 Expired - Fee Related JP3340532B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP26210293A JP3340532B2 (ja) 1993-10-20 1993-10-20 ビデオの検索方法および装置
US08/323,866 US5805746A (en) 1993-10-20 1994-10-17 Video retrieval method and apparatus
US08/908,072 US6021231A (en) 1993-10-20 1997-08-11 Video retrieval method and apparatus
US09/453,585 US6192151B1 (en) 1993-10-20 1999-12-07 Video retrieval method and apparatus
US09/771,562 US6424744B2 (en) 1993-10-20 2001-01-30 Video retrieval method and apparatus
US10/164,013 US6567550B2 (en) 1993-10-20 2002-06-07 Video retrieval method and apparatus
US10/411,314 US6766057B2 (en) 1993-10-20 2003-04-11 Video retrieval method and apparatus
US10/854,153 US7203366B2 (en) 1993-10-20 2004-05-27 Video retrieval method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26210293A JP3340532B2 (ja) 1993-10-20 1993-10-20 ビデオの検索方法および装置

Publications (2)

Publication Number Publication Date
JPH07114567A true JPH07114567A (ja) 1995-05-02
JP3340532B2 JP3340532B2 (ja) 2002-11-05

Family

ID=17371070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26210293A Expired - Fee Related JP3340532B2 (ja) 1993-10-20 1993-10-20 ビデオの検索方法および装置

Country Status (2)

Country Link
US (7) US5805746A (ja)
JP (1) JP3340532B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096810A (ja) * 1995-06-21 1997-01-10 Matsushita Electric Ind Co Ltd シナリオ編集素材検索装置
JPH1098684A (ja) * 1996-07-15 1998-04-14 At & T Corp 電子サーチ・検索に適したフォーマットでのビデオプログラム圧縮表現自動提供方法
JPH1139325A (ja) * 1997-07-22 1999-02-12 Matsushita Electric Ind Co Ltd 類似検索方法及び類似検索システム
JP2000194727A (ja) * 1998-10-23 2000-07-14 Telecommunication Advancement Organization Of Japan 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP2002507038A (ja) * 1998-03-09 2002-03-05 ソニー エレクトロニクス インク Ａｖ／ｃプロトコルにおいて記述データによって格納データのサーチを行う方法及び装置
US6466731B2 (en) 1996-04-03 2002-10-15 Kabushiki Kaisha Toshiba Moving picture processing method and moving picture processing apparatus
JP2002366336A (ja) * 2001-06-08 2002-12-20 Ricoh Co Ltd 画像形成装置、同方法および同方法のプログラムを格納した記録媒体
US6587637B2 (en) 1997-05-16 2003-07-01 Hitachi, Ltd. Image retrieving method and apparatuses therefor
JP2005332206A (ja) * 2004-05-20 2005-12-02 Nippon Hoso Kyokai <Nhk> 映像イベント判別装置及びそのプログラム、並びに、映像イベント判別用学習データ生成装置及びそのプログラム
JP2008092015A (ja) * 2006-09-29 2008-04-17 Nec Personal Products Co Ltd 映像特定システム
WO2009035032A1 (ja) 2007-09-12 2009-03-19 Kashiko Kodate 動画データの照合システム、動画データベースの作製方法並びに動画データベースに動画データを登録するための登録システム及びプログラム
JP2009089440A (ja) * 2009-01-14 2009-04-23 Kashiko Kodate 動画データの照合システム
JP2009147603A (ja) * 2007-12-13 2009-07-02 Omron Corp 動画像同定装置
JP2010148154A (ja) * 1998-10-23 2010-07-01 National Institute Of Information & Communication Technology 動画像検索装置
JP2018180914A (ja) * 2017-04-12 2018-11-15 日本電信電話株式会社 コンテンツ探索装置、コンテンツ探索方法、プログラム、及びデータ構造
CN111046235A (zh) * 2019-11-28 2020-04-21 福建亿榕信息技术有限公司 基于人脸识别的声像档案搜索方法、系统、设备及介质

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
JP3340532B2 (ja) 1993-10-20 2002-11-05 株式会社日立製作所 ビデオの検索方法および装置
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
US6574416B1 (en) * 1995-11-02 2003-06-03 Videa, Llc Picture-based video indexing system
JPH1063685A (ja) * 1996-08-19 1998-03-06 Nec Corp 情報検索システム
KR100239349B1 (ko) 1996-12-20 2000-01-15 구자홍 역이산 코사인 변환기의 데이타 포멧 변환 회로
US6400853B1 (en) * 1997-03-19 2002-06-04 Canon Kabushiki Kaisha Image retrieval apparatus and method
JP4098880B2 (ja) * 1997-06-06 2008-06-11 松下電器産業株式会社 情報検索装置
US6014183A (en) * 1997-08-06 2000-01-11 Imagine Products, Inc. Method and apparatus for detecting scene changes in a digital video stream
US6072904A (en) * 1997-12-31 2000-06-06 Philips Electronics North America Corp. Fast image retrieval using multi-scale edge representation of images
US6834130B1 (en) * 1998-02-18 2004-12-21 Minolta Co., Ltd. Image retrieval system for retrieving a plurality of images which are recorded in a recording medium, and a method thereof
US6438165B2 (en) * 1998-03-09 2002-08-20 Lg Electronics Method and apparatus for advanced encoder system
JP3615657B2 (ja) * 1998-05-27 2005-02-02 株式会社日立製作所 映像検索方法及び装置ならびに記録媒体
US6721449B1 (en) * 1998-07-06 2004-04-13 Koninklijke Philips Electronics N.V. Color quantization and similarity measure for content based image retrieval
JP3622527B2 (ja) * 1998-08-24 2005-02-23 株式会社日立製作所 映像の特徴場面検出方法及び装置
JP2000148795A (ja) * 1998-08-31 2000-05-30 Canon Inc 画像検索装置及びその方法、コンピュ―タ可読メモリ
US6351556B1 (en) * 1998-11-20 2002-02-26 Eastman Kodak Company Method for automatically comparing content of images for classification into events
JP4656680B2 (ja) * 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
KR100347710B1 (ko) * 1998-12-05 2002-10-25 엘지전자주식회사 등장인물들의관계중심동영상검색데이터구성방법및검색방법
US7209942B1 (en) * 1998-12-28 2007-04-24 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus
JP3496559B2 (ja) 1999-01-06 2004-02-16 日本電気株式会社 画像特徴量生成装置、並びに画像特徴量生成方法
US6608930B1 (en) * 1999-08-09 2003-08-19 Koninklijke Philips Electronics N.V. Method and system for analyzing video content using detected text in video frames
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
JP3897476B2 (ja) * 1999-02-15 2007-03-22 キヤノン株式会社 画像処理装置及びその方法、コンピュータ可読メモリ
US7239746B1 (en) * 1999-11-16 2007-07-03 At&T Laboratories-Cambridge Ltd. Method of and apparatus for classifying an image
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
JP3241028B2 (ja) * 1999-12-22 2001-12-25 日本電気株式会社 画像撮像装置及びその画像撮像方法
JP3812274B2 (ja) * 2000-03-17 2006-08-23 株式会社日立製作所 映像アクセス装置及び映像アクセスプログラムを記録した記録媒体
FR2807902B1 (fr) 2000-04-17 2002-10-25 Thomson Multimedia Sa Procede de detection de changement de plan dans une succession d'images video
US6882793B1 (en) 2000-06-16 2005-04-19 Yesvideo, Inc. Video processing system
JP2002117407A (ja) * 2000-10-10 2002-04-19 Satake Corp 動画像検索方法及びその装置
GB2369924A (en) * 2000-12-07 2002-06-12 Sony Uk Ltd Selecting representative video images using image properties
EP1436730A2 (en) * 2001-05-15 2004-07-14 Koninklijke Philips Electronics N.V. Content analysis apparatus
US6996782B2 (en) * 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
US8028249B2 (en) * 2001-05-23 2011-09-27 Eastman Kodak Company Method and system for browsing large digital multimedia object collections
US6591604B2 (en) * 2001-06-19 2003-07-15 Ford Global Technologies, Llc Oxygen storage capacity estimation
US7167574B2 (en) * 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
US20040070679A1 (en) * 2002-10-15 2004-04-15 Pope David R. Compensating for delays inherent in digital still camera imaging
JP2004234613A (ja) * 2002-12-02 2004-08-19 Nec Corp 映像記述システムおよび方法、映像識別システムおよび方法
US8781290B2 (en) * 2003-03-17 2014-07-15 Samsung Electronics Co., Ltd. Display apparatus for recording/reproducing video signal and/or audio signal and method thereof
US7532804B2 (en) * 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
DE10345824A1 (de) * 2003-09-30 2005-05-04 Infineon Technologies Ag Anordnung zur Abscheidung von atomaren Schichten auf Substraten
JP2005175905A (ja) * 2003-12-11 2005-06-30 Pioneer Electronic Corp 情報記録再生装置、情報記録再生方法、プログラムおよび記録媒体。
JP4061285B2 (ja) * 2004-03-31 2008-03-12 英特維數位科技股▲ふん▼有限公司 画像編集装置、プログラムおよび記録媒体
EP1756693A1 (en) * 2004-05-28 2007-02-28 Koninklijke Philips Electronics N.V. Method and apparatus for content item signature matching
EP1811401A4 (en) * 2004-09-16 2009-04-15 Fujitsu Ltd IMAGE-SCREENING, IMAGE-SEARCHING, PICTURE-GENERATING DEVICE, PICTURE-PRODUCING PROCESS AND PROGRAM
JP2006127367A (ja) * 2004-11-01 2006-05-18 Sony Corp 情報管理方法、情報管理プログラムおよび情報管理装置
US8712831B2 (en) * 2004-11-19 2014-04-29 Repucom America, Llc Method and system for quantifying viewer awareness of advertising images in a video source
US8036932B2 (en) * 2004-11-19 2011-10-11 Repucom America, Llc Method and system for valuing advertising content
JP2006165824A (ja) * 2004-12-03 2006-06-22 Fuji Xerox Co Ltd 画像表示プログラム、画像表示方法及び画像表示装置
US7949207B2 (en) * 2004-12-24 2011-05-24 Nec Corporation Video structuring device and method
JP4366318B2 (ja) * 2005-01-11 2009-11-18 キヤノン株式会社 画像処理装置及びその方法、プログラム
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
US7583845B2 (en) * 2006-02-15 2009-09-01 Panasonic Corporation Associative vector storage system supporting fast similarity search based on self-similarity feature extractions across multiple transformed domains
JP4184402B2 (ja) * 2006-11-10 2008-11-19 株式会社 日立コンサルティング 情報処理装置、健康に及ぼす要因を検出する方法、及びプログラム
KR101027159B1 (ko) * 2008-07-28 2011-04-05 뮤추얼아이피서비스(주) 타겟 영상 검출 장치 및 그 방법
US8433175B2 (en) * 2008-10-28 2013-04-30 Yahoo! Inc. Video comparing using fingerprint representations
US8209316B2 (en) * 2010-01-05 2012-06-26 Microsoft Corporation Providing suggestions of related videos
WO2011089276A1 (es) 2010-01-19 2011-07-28 Vicomtech-Visual Interaction And Communication Technologies Center Método y sistema de análisis de archivos multimedia
US9020415B2 (en) 2010-05-04 2015-04-28 Project Oda, Inc. Bonus and experience enhancement system for receivers of broadcast media
JP2012039522A (ja) * 2010-08-10 2012-02-23 Sony Corp 動画像処理装置、動画像処理方法およびプログラム
US8600106B1 (en) * 2010-08-31 2013-12-03 Adobe Systems Incorporated Method and apparatus for tracking objects within a video frame sequence
US8964126B2 (en) * 2011-06-13 2015-02-24 Nec Corporation Video processing system, video processing method, database for video processing and generating method thereof, video processing apparatus, control method thereof and control program thereof
US8732739B2 (en) 2011-07-18 2014-05-20 Viggle Inc. System and method for tracking and rewarding media and entertainment usage including substantially real time rewards
WO2013044407A1 (en) * 2011-09-27 2013-04-04 Hewlett-Packard Development Company, L.P. Retrieving visual media
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
US9471676B1 (en) * 2012-10-11 2016-10-18 Google Inc. System and method for suggesting keywords based on image contents
CN103257992A (zh) * 2013-01-29 2013-08-21 中国科学技术大学 一种相似视频检索的方法及系统
JP6160480B2 (ja) 2013-12-27 2017-07-12 富士ゼロックス株式会社 代表フレーム選定システム、代表フレーム選定プログラム
CN104166604A (zh) * 2014-08-15 2014-11-26 小米科技有限责任公司 视频备份方法和装置
CN104575551B (zh) * 2014-12-04 2018-09-11 青岛海信网络科技股份有限公司 一种车辆录像存储方法、车辆录像检索方法及相应的装置
CN105760472A (zh) * 2016-02-06 2016-07-13 中国农业大学 视频检索方法及系统
CN106021321B (zh) * 2016-05-06 2019-05-21 成都索贝数码科技股份有限公司 基于图片的在线实时视频的检索方法
CN111078941B (zh) * 2019-12-18 2022-10-28 福州大学 一种基于帧相关系数和感知哈希的相似视频检索系统
US11670085B2 (en) * 2020-11-05 2023-06-06 Adobe Inc. Personalizing videos with nonlinear playback
CN113204674B (zh) * 2021-07-05 2021-09-17 杭州一知智能科技有限公司 基于局部-整体图推理网络的视频-段落检索方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256069A (ja) * 1988-08-22 1990-02-26 Hitachi Ltd 動画検索装置及び動画処理装置
JPH03282779A (ja) * 1990-03-30 1991-12-12 Toshiba Corp 動画像検索装置
JPH04207876A (ja) * 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
JPH0520366A (ja) * 1991-05-08 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 動画像照合方法
JPH05174072A (ja) * 1991-12-20 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 動画像検索処理方法
JPH05257989A (ja) * 1992-03-13 1993-10-08 Toshiba Corp 動画像検索支援方式
JPH0746517A (ja) * 1993-07-29 1995-02-14 Canon Inc 動画像検索方法及び装置
US5805746A (en) * 1993-10-20 1998-09-08 Hitachi, Ltd. Video retrieval method and apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4000510A (en) * 1975-06-02 1976-12-28 Ampex Corporation System for storage and retrieval of video information on a cyclical storage device
US4305131A (en) * 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
US4517598A (en) * 1982-10-22 1985-05-14 George Van Valkenburg Method and apparatus for electronic publishing
US4697209A (en) 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
US4677466A (en) 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
US4924303A (en) * 1988-09-06 1990-05-08 Kenneth Dunlop Method and apparatus for providing interactive retrieval of TV still frame images and audio segments
US5014125A (en) * 1989-05-05 1991-05-07 Cableshare, Inc. Television system for the interactive distribution of selectable video presentations
GB2232969A (en) * 1989-05-05 1991-01-02 Shell Int Research Production of chlorine and sodium sulphate.
JPH03173291A (ja) 1989-11-15 1991-07-26 Control Data Corp <Cdc> ビデオ信号もしくはｔｖ送信フレームからデジタルサインを生成する方法及び放送ビデオセグメントの連続パターン認識装置
JP2863818B2 (ja) * 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
US5412773A (en) * 1991-11-19 1995-05-02 Sony Electronics Inc. Computerized interactive menu-driven video signal processing apparatus and method
JPH0778804B2 (ja) * 1992-05-28 1995-08-23 日本アイ・ビー・エム株式会社 シーン情報入力システムおよび方法
WO1994009458A1 (en) * 1992-10-13 1994-04-28 Gilbarco Inc. An apparatus and method for displaying video information
US5600364A (en) * 1992-12-09 1997-02-04 Discovery Communications, Inc. Network controller for cable television delivery systems
US5506904A (en) * 1993-08-04 1996-04-09 Scientific-Atlanta, Inc. System and method for transmitting and receiving variable length authorization control for digital services
US6912151B2 (en) * 2002-06-28 2005-06-28 Synopsys, Inc. Negative differential resistance (NDR) based memory device with reduced body effects

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256069A (ja) * 1988-08-22 1990-02-26 Hitachi Ltd 動画検索装置及び動画処理装置
JPH03282779A (ja) * 1990-03-30 1991-12-12 Toshiba Corp 動画像検索装置
JPH04207876A (ja) * 1990-11-30 1992-07-29 Toshiba Corp 動画像管理装置
JPH0520366A (ja) * 1991-05-08 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 動画像照合方法
JPH05174072A (ja) * 1991-12-20 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 動画像検索処理方法
JPH05257989A (ja) * 1992-03-13 1993-10-08 Toshiba Corp 動画像検索支援方式
JPH0746517A (ja) * 1993-07-29 1995-02-14 Canon Inc 動画像検索方法及び装置
US5805746A (en) * 1993-10-20 1998-09-08 Hitachi, Ltd. Video retrieval method and apparatus
US6021231A (en) * 1993-10-20 2000-02-01 Hitachi, Ltd. Video retrieval method and apparatus
US6192151B1 (en) * 1993-10-20 2001-02-20 Hitachi, Ltd. Video retrieval method and apparatus
US20010005428A1 (en) * 1993-10-20 2001-06-28 Takafumi Miyatake Video retrieval method and apparatus

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096810A (ja) * 1995-06-21 1997-01-10 Matsushita Electric Ind Co Ltd シナリオ編集素材検索装置
US6466731B2 (en) 1996-04-03 2002-10-15 Kabushiki Kaisha Toshiba Moving picture processing method and moving picture processing apparatus
JPH1098684A (ja) * 1996-07-15 1998-04-14 At & T Corp 電子サーチ・検索に適したフォーマットでのビデオプログラム圧縮表現自動提供方法
US7181126B2 (en) 1997-05-16 2007-02-20 Hiatchi, Ltd. Image retrieving method and apparatuses therefor
US6587637B2 (en) 1997-05-16 2003-07-01 Hitachi, Ltd. Image retrieving method and apparatuses therefor
US7181127B2 (en) 1997-05-16 2007-02-20 Hitachi, Ltd. Image retrieving method and apparatuses therefor
US7254311B2 (en) 1997-05-16 2007-08-07 Hitachi, Ltd. Image retrieving method and apparatuses therefor
JPH1139325A (ja) * 1997-07-22 1999-02-12 Matsushita Electric Ind Co Ltd 類似検索方法及び類似検索システム
JP2002507038A (ja) * 1998-03-09 2002-03-05 ソニー エレクトロニクス インク Ａｖ／ｃプロトコルにおいて記述データによって格納データのサーチを行う方法及び装置
JP2010148154A (ja) * 1998-10-23 2010-07-01 National Institute Of Information & Communication Technology 動画像検索装置
JP2000194727A (ja) * 1998-10-23 2000-07-14 Telecommunication Advancement Organization Of Japan 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
JP2002366336A (ja) * 2001-06-08 2002-12-20 Ricoh Co Ltd 画像形成装置、同方法および同方法のプログラムを格納した記録媒体
JP2005332206A (ja) * 2004-05-20 2005-12-02 Nippon Hoso Kyokai <Nhk> 映像イベント判別装置及びそのプログラム、並びに、映像イベント判別用学習データ生成装置及びそのプログラム
JP2008092015A (ja) * 2006-09-29 2008-04-17 Nec Personal Products Co Ltd 映像特定システム
JP4709112B2 (ja) * 2006-09-29 2011-06-22 Ｎｅｃパーソナルプロダクツ株式会社 映像特定システム
WO2009035032A1 (ja) 2007-09-12 2009-03-19 Kashiko Kodate 動画データの照合システム、動画データベースの作製方法並びに動画データベースに動画データを登録するための登録システム及びプログラム
JP2009147603A (ja) * 2007-12-13 2009-07-02 Omron Corp 動画像同定装置
JP2009089440A (ja) * 2009-01-14 2009-04-23 Kashiko Kodate 動画データの照合システム
JP2018180914A (ja) * 2017-04-12 2018-11-15 日本電信電話株式会社 コンテンツ探索装置、コンテンツ探索方法、プログラム、及びデータ構造
CN111046235A (zh) * 2019-11-28 2020-04-21 福建亿榕信息技术有限公司 基于人脸识别的声像档案搜索方法、系统、设备及介质
CN111046235B (zh) * 2019-11-28 2022-06-14 福建亿榕信息技术有限公司 基于人脸识别的声像档案搜索方法、系统、设备及介质

Also Published As

Publication number Publication date
US6021231A (en) 2000-02-01
US20020150310A1 (en) 2002-10-17
US20030192058A1 (en) 2003-10-09
US20040218814A1 (en) 2004-11-04
US6192151B1 (en) 2001-02-20
JP3340532B2 (ja) 2002-11-05
US20010005428A1 (en) 2001-06-28
US5805746A (en) 1998-09-08
US6424744B2 (en) 2002-07-23
US6567550B2 (en) 2003-05-20
US6766057B2 (en) 2004-07-20
US7203366B2 (en) 2007-04-10

Similar Documents

Publication Publication Date Title
JP3340532B2 (ja) ビデオの検索方法および装置
US6400890B1 (en) Image retrieving method and apparatuses therefor
US5428774A (en) System of updating an index file of frame sequences so that it indexes non-overlapping motion image frame sequences
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US20150378544A1 (en) Automated Content Detection, Analysis, Visual Synthesis and Repurposing
EP0555028A2 (en) An apparatus and method for manipulating digital data relating to motion video images
WO2012020668A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2012020667A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US8406606B2 (en) Playback apparatus and playback method
JP4197014B2 (ja) 映像の検索方法および装置
JP2002108892A (ja) データ管理システム、データ管理方法、及び、記録媒体
JP3221028B2 (ja) 動画像情報のキーワード付与方法
JP4333808B2 (ja) 映像の検索方法および装置
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3997882B2 (ja) 映像の検索方法および装置
CN115379301A (zh) 视频处理方法以及相关设备
JP2009069874A (ja) コンテンツ検索装置、コンテンツ検索方法、プログラム、および記録媒体
JP3931890B2 (ja) 映像の検索方法および装置
JP2002049625A (ja) 画像検索装置および画像検索方法
JP3412748B2 (ja) 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体
JP2001022780A (ja) 動画像へのキーワード付与方法、装置、およびキーワード付与プログラムを記録した記録媒体

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070816

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080816

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080816

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090816

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100816

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100816

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110816

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120816

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees