JP3916802B2 - 映像検索方法、映像検索装置及び記憶媒体 - Google Patents
映像検索方法、映像検索装置及び記憶媒体 Download PDFInfo
- Publication number
- JP3916802B2 JP3916802B2 JP15265599A JP15265599A JP3916802B2 JP 3916802 B2 JP3916802 B2 JP 3916802B2 JP 15265599 A JP15265599 A JP 15265599A JP 15265599 A JP15265599 A JP 15265599A JP 3916802 B2 JP3916802 B2 JP 3916802B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- videos
- search
- display
- reference video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の映像から目的の映像を検索する方法および装置、並びに複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体に係り、特に、映像の検索を効率的に行うのに好適な映像検索方法、映像検索装置および記憶媒体に関する。
【０００２】
【従来の技術】
映像処理技術その他の信号処理技術が進歩したことにより、従来、データとして数値・文字データのみを取り扱ってきたコンピュータ、ワークステーション等の計算機において、映像情報をもデータとして取り扱うマルチメディア処理が可能となった。そして、データの圧縮技術の進歩および記憶装置の大容量化に伴って、取り扱うデータ量も多量になった。多種類の、しかも多量のデータを取り扱い、蓄積するようになると、必要な情報の検索を迅速容易に実行することが要望されるに至る。
【０００３】
情報を検索する方法としては、一般に、情報にあらかじめインデックスを付与しておき、インデックス付与された部分を取り出すという方法が採用される。文字列を取り扱うテキストデータにおいては、文字列検索に代表されるように、指定されたキーワードとデータとの間のマッチングをとることによって適合箇所にインデックスを付与していくことができるので、検索が容易である。ところが、映像情報のように、連続的でかつ時間とともに内容が変化する情報の場合は、一定の形状のものを見つけ出してその映像部分にインデックスを付与することは大変に困難であり、特に、再生時間が数百から数千時間にも及ぶ映像情報の中から目的の映像を探し出すには多大な労力を要する。このため、目的の映像を素早く見つける効率的な検索方法および装置が必要となる。
【０００４】
検索効率を向上させる検索方法の一つとして、複数の映像からなる映像集合についての利用者の評価をシステム側にフィードバックする、関連フィードバックと呼ばれる方法がある。関連フィードバックでは、フィードバックされた評価情報から目的の映像に関する情報を得るため、目的の映像と関連性の高い映像の検索、あるいは再配列が可能となり、検索効率が向上する。
【０００５】
例えば、文献「Color-Based Pseudo Object Model for Image Retrieval with Relevance Feedback」（Tat-Seng Chua aand Chun-Xin Chu,pp.148-162,Proceedings of AMCP'98,Japan,Nov,1998）では、図９に示すように、初期入力に対する検索結果として、映像集合のうち目的の映像と関連性があるであろういくつかの映像を表示し、それぞれの映像に対して、「Relevance（関連性あり）」と「No-Relevance（関連性なし）」の２つの選択肢を用意している。利用者は、自己が意図する目的の映像と表示されたそれぞれの映像とを比較して、関連性のある映像に対しては「Relevance」を、明らかに関連性のない映像に対しては「No-Relevance」を選択することで評価情報を入力し、これによって自己が意図する目的の映像との関連性をシステムに与える。システムは、「Relevane」が選択された映像から映像情報を抽出し反復的に利用することにより、初期入力からでは判定できなかった、目的の映像に対する情報を補完し、目的の映像を絞り込んでいく。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の関連フィードバックを用いたシステムにあっては、目的の映像と表示されたそれぞれの映像との関連性を、主に数値やグラフ、あるいは映像の配置によって表現しているため、数値やグラフの内容、あるいは映像の配置位置を検討しながら関連性を把握しなければならず、直感的に関連性をとらえにくいという問題があった。
【０００７】
また、検索結果からは、表示された映像が過去の検索において何回索出されたかを把握することができない。通常、目的の映像を探し出すまでは、利用者は検索を複数回にわたって行うのであるが、このような場合、過去の検索において多数にわたって索出されている映像は、利用者がこれまで与えた検索条件との関連性が高く、過去の検索における索出回数は、目的の映像を探し出すための情報として有益である。
【０００８】
さらに、検索結果からは、目的の映像と表示されたそれぞれの映像との関連性が、言い換えれば、目的の映像を検索するために利用者が与えた一の検索条件との関連性が得られるのみで、複数の検索条件との関連性を得ることができない。例えば、利用者が２つの検索条件（例えば、「雲がある映像」、「家がある映像」）をもとに目的の映像を検索したい場合、効率的に検索を行うためには、検索結果からは、両方の検索条件との関連性が得られることが望まれる。
【０００９】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、検索結果から目的の映像との関連性を直感的にとらえることができ、しかも複数の検索条件を用いて映像の検索を複合的に行うことができ、これにより映像の検索の効率を向上することができる映像検索方法、映像検索装置および記憶媒体を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る請求項１記載の映像検索方法は、複数の映像から目的の映像を検索する方法であって、前記複数の映像を参照するための参照映像を表示する表示ステップと、前記参照映像のうち少なくとも一の参照映像を利用者に指定させる指定ステップと、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得ステップと、取得した評価情報に基づいて前記複数の映像から映像を検索する検索ステップと、前記検索ステップの検索結果に基づいて前記参照映像の表示態様を変更する変更ステップと、を含み、前記指定ステップ、前記取得ステップ、前記検索ステップ及び前記変更ステップを複数回繰り返して行い、前記変更ステップは、前記参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様を段階的に変更する。
【００１１】
このような方法であれば、まず、表示ステップで、複数の映像を参照するための参照映像が表示され、指定ステップで、表示された参照映像のうち少なくとも一の参照映像を利用者に指定させる。これに応じて、利用者によって参照映像が指定されたときは、取得ステップで、複数の映像のうち指定に係る映像についての評価情報が取得され、検索ステップで、取得された評価情報に基づいて複数の映像から映像が検索され、変更ステップで、検索ステップの検索結果に基づいて参照映像の表示態様が変更される。
そして、指定ステップ、取得ステップ、検索ステップおよび変更ステップが複数回繰り返して行われ、その繰り返しの過程において、変更ステップでは、参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様が段階的に変更される。
【００１２】
ここで、表示ステップは、例えば、複数の映像を参照するための参照映像を、ディスプレイ等の表示手段に表示することにより実現することができる。より具体的には、複数の映像を含む１または２以上の映像情報を記憶した記憶手段からその映像情報を読み出し、読み出した映像情報に基づいて複数の映像を参照するための参照映像を表示手段に表示する。
【００１３】
また、参照映像としては、例えば、複数の映像の一部または全部をそのまままたは加工（縮小、拡大、一部抜粋）して参照映像とする場合、あるいは、複数の映像の一部または全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合を挙げることができる。
また、取得ステップは、例えば、複数の映像のうち指定に係る映像自体または指定に係る映像の映像情報をその映像についての評価情報として取得することにより、あるいは、複数の映像のうち指定に係る映像についての評価情報を利用者に入力させることにより、実現することができる。したがって、「取得」には、評価情報を単に取得することだけでなく、利用者に評価情報を入力させることも含まれる。利用者に入力させる評価情報としては、例えば、指定に係る映像に付された色彩がどの程度目的の映像のものと類似しているかなど、目的の映像と指定に係る映像との関連性の度合を示すような情報を挙げることができる。
【００１４】
また、指定に係る映像とは、複数の映像の一部を参照映像とする場合、あるいは、複数の映像の一部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する複数の映像をいい、複数の映像の全部を参照映像とする場合、あるいは、複数の映像の全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する一の映像をいう。
【００１５】
また、変更ステップは、検索ステップの検索結果に基づいて参照映像の表示態様を変更するが、具体的には、参照映像のうち索出した映像に係る参照映像の表示態様を変更する。なお、映像に係る参照映像とは、参照映像のうち索出された映像に対応する参照映像をいう。
【００２１】
さらに、本発明に係る請求項２記載の映像検索方法は、複数の映像から目的の映像を検索する方法であって、前記複数の映像を参照するための参照映像を複数の表示パターンでそれぞれに表示する表示ステップと、前記複数の表示パターンの中の一つの表示パターンで、前記参照映像のうち少なくとも一の参照映像を利用者に指定させる指定ステップと、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得ステップと、取得した評価情報に基づいて前記複数の映像から映像を検索する検索ステップと、前記検索ステップの検索結果に基づいて、前記指定された表示パターンの参照映像の表示態様を変更する変更ステップと、を含み、前記指定ステップ、前記取得ステップ、前記検索ステップ及び前記変更ステップを複数回繰り返して行い、前記変更ステップは、前記複数の表示パターンで互いに異なり各表示パターンに依存した表示態様に参照映像を変更するとともに、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像を、当該表示パターンと変更された他の表示パターンの表示態様とで交互に切り換えて表示する。
【００２２】
このような方法であれば、まず、表示ステップで、複数の映像を参照するための参照映像が複数の表示パターンでそれぞれに表示され、指定ステップで、複数の表示パターンの中の一つの表示パターンで、参照映像のうち少なくとも一の参照映像を利用者に指定させる。これに応じて、利用者によって参照映像が指定されたときは、取得ステップで、複数の映像のうち指定に係る映像についての評価情報が取得され、検索ステップで、取得された評価情報に基づいて複数の映像から映像が検索され、変更ステップで、検索ステップの検索結果に基づいて指定された表示パターンの参照映像の表示態様が変更される。
そして、指定ステップ、取得ステップ、検索ステップおよび変更ステップが複数回繰り返して行われ、その繰り返しの過程において、変更ステップでは、表示パターンで互いに異なり表示パターンに依存した表示態様に参照映像が変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像が、表示パターンと変更された他の表示パターンの表示態様とを交互に切り換えられて表示される。すなわち、２以上の表示パターンにおいて、表示態様が変更されている箇所が一致しているときは、その箇所の参照映像が、現在の表示態様とは異なる特殊な表示態様で表示されることになる。
【００２３】
ここで、表示パターンとしては、例えば、表示ステップで表示された参照映像および変更ステップで表示態様が変更された参照映像を含む表示画面を挙げることができる。
【００２６】
一方、本発明に係る請求項３記載の映像検索装置は、複数の映像から目的の映像を検索する装置であって、前記複数の映像を参照するための参照映像を表示する参照映像表示手段と、前記参照映像のうち少なくとも一の参照映像の指定を入力する入力手段と、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得手段と、取得した評価情報に基づいて前記複数の映像から映像を検索する検索手段と、前記検索手段の検索結果に基づいて前記参照映像の表示態様を変更する変更手段と、を備え、前記入力手段、前記取得手段、前記検索手段及び前記変更手段を複数回繰り返して実行可能となっており、前記変更手段は、前記参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様を段階的に変更するようになっている。
【００２７】
このような構成であれば、まず、参照映像表示手段により、複数の映像を参照するための参照映像が表示される。そして、参照映像のうち少なくとも一の参照映像の指定が利用者等によって入力手段から入力されたときは、取得手段により、複数の映像のうち指定に係る映像についての評価情報が取得され、検索手段により、取得された評価情報に基づいて複数の映像から映像が検索され、変更手段により、検索手段の検索結果に基づいて参照映像の表示態様が変更される。
そして、入力手段、取得手段、検索手段および変更手段が繰り返して実行されたときは、その実行の過程において、変更手段により、参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様が段階的に変更される。
【００２８】
ここで、参照映像表示手段は、例えば、複数の映像を参照するための参照映像を、ディスプレイ等の表示手段に表示することにより構成することができる。より具体的には、複数の映像を含む１または２以上の映像情報を記憶した記憶手段を別に備え、この記憶手段から映像情報を読み出し、読み出した映像情報に基づいて複数の映像を参照するための参照映像を表示手段に表示するようになっている。
【００２９】
また、参照映像としては、例えば、複数の映像の一部または全部をそのまままたは加工（縮小、拡大、一部抜粋）して参照映像とする場合、あるいは、複数の映像の一部または全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合を挙げることができる。
また、取得手段は、例えば、複数の映像のうち指定に係る映像自体または指定に係る映像の映像情報をその映像についての評価情報として取得することにより、あるいは、複数の映像のうち指定に係る映像についての評価情報を利用者に入力させることにより、構成することができる。したがって、「取得」には、評価情報を単に取得することだけでなく、利用者に評価情報を入力させることも含まれる。利用者に入力させる評価情報としては、例えば、指定に係る映像に付された色彩がどの程度目的の映像のものと類似しているかなど、目的の映像と指定に係る映像との関連性の度合を示すような情報を挙げることができる。
【００３０】
また、指定に係る映像とは、複数の映像の一部を参照映像とする場合、あるいは、複数の映像の一部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する複数の映像をいい、複数の映像の全部を参照映像とする場合、あるいは、複数の映像の全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する一の映像をいう。
【００３１】
また、変更手段は、検索手段の検索結果に基づいて参照映像の表示態様を変更するが、具体的には、参照映像のうち索出した映像に係る参照映像の表示態様を変更するようになっている。なお、映像に係る参照映像とは、参照映像のうち索出された映像に対応する参照映像をいう。
【００３６】
さらに、本発明に係る請求項４記載の映像検索装置は、複数の映像から目的の映像を検索する装置であって、前記複数の映像を参照するための参照映像を複数の表示パターンでそれぞれに表示する参照映像表示手段と、前記複数の表示パターンの中の一つの表示パターンで、前記参照映像のうち少なくとも一の参照映像の指定を入力する入力手段と、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得手段と、取得した評価情報に基づいて前記複数の映像から映像を検索する検索手段と、前記検索手段の検索結果に基づいて、前記指定された表示パターンの参照映像の表示態様を変更する変更手段と、を備え、前記入力手段、前記取得手段、前記検索手段及び前記変更手段を複数回繰り返して実行可能となっており、前記変更手段は、前記複数の表示パターンで互いに異なり各表示パターンに依存した表示態様に参照映像を変更するとともに、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像を、当該表示パターンと変更された他の表示パターンの表示態様とで交互に切り換えて表示するようになっている。
【００３７】
このような構成であれば、まず、参照映像表示手段により、複数の映像を参照するための参照映像が複数の表示パターンでそれぞれに表示される。そして、複数の表示パターンの中の一つの表示パターンで、参照映像のうち少なくとも一の参照映像の指定が利用者等によって入力手段から入力されたときは、取得手段により、複数の映像のうち指定に係る映像についての評価情報が取得され、検索手段により、取得された評価情報に基づいて複数の映像から映像が検索され、変更手段により、検索手段の検索結果に基づいて、指定された表示パターンの参照映像の表示態様が変更される。
そして、参照映像表示手段、入力手段、取得手段、検索手段および変更手段が複数回繰り返して実行されることにより、表示パターンで互いに異なり表示パターンに依存した表示態様に参照映像が変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像が、表示パターンと変更された他の表示パターンの表示態様とを交互に切り換えられて表示される。すなわち、２以上の表示パターンにおいて、表示態様が変更されている箇所が一致しているときは、その箇所の参照映像が、現在の表示態様とは異なる特殊な表示態様で表示されることになる。
【００３８】
ここで、表示パターンとしては、例えば、参照映像表示手段により表示された参照映像および変更手段により表示態様が変更された参照映像を含む表示画面を挙げることができる。
【００４０】
一方、本発明に係る請求項５記載の記憶媒体は、複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体であって、請求項１及び２のいずれかに記載の、前記表示ステップ、前記指定ステップ、前記取得ステップ、前記検索ステップおよび前記変更ステップをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能なものである。
【００４１】
このような構成であれば、記憶媒体に記憶された情報がコンピュータによって読み取られ、各ステップが実行されたときは、上記請求項１及び２のいずれかに記載の映像表示方法と同様の作用が得られる。
さらに、本発明に係る請求項６記載の記憶媒体は、複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体であって、請求項３及び４のいずれかに記載の、前記参照映像表示手段、前記入力手段、前記取得手段、前記検索手段および前記変更手段としてコンピュータを機能させるためのプログラムを記憶したコンピュータ読み取り可能なものである。
【００４２】
このような構成であれば、記憶媒体に記憶された情報がコンピュータによって読み取られ、コンピュータが各手段として機能させられたときは、上記請求項３及び４のいずれかに記載の映像検索装置と同様の作用が得られる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図８は、本発明に係る映像検索方法の実施の形態を示す図である。
この実施の形態は、本発明に係る映像検索方法および映像検索装置を、図１に示すように、映像検索装置２００，３００において、映像データベース１００から複数の映像を含む映像集合を入力し、その映像集合から利用者が意図する目的の映像を検索する場合について適用したものである。ここで、本発明に係る映像検索方法および映像検索装置は、映像検索装置２００，３００に適用される。
【００４４】
まず、本発明に係る映像検索方法および映像検索装置を適用する映像検索ネットワークシステムの構成を図１を参照しながら説明する。図１は、本発明に係る映像検索方法および映像検索装置を適用する映像検索ネットワークシステムの構成を示すブロック図である。
このネットワークシステムは、図１に示すように、複数の映像を含む映像情報を蓄積した映像データベース１００と、映像データベース１００から映像集合を入力して映像の検索を行う映像検索装置２００，３００と、で構成されており、映像データベース１００と映像検索装置２００，３００とは、データを伝送するための信号線である通信ケーブル９９で相互にかつデータ送受信可能に接続されている。なお、発明の理解を容易にするため、映像検索装置を２台しか図示していないが、実際には、複数台の映像検索装置が映像データベース１００に接続されている。
【００４５】
映像データベース１００は、時間的に連続しかつ意味内容が同一または類似の複数の映像を含む映像情報を複数有し、これらの映像情報を、異なる複数種のカテゴリ（例えば、映画、スポーツ）に分類して蓄積しており、検索対象としてカテゴリの指定を映像検索装置２００，３００から受信したときは、その応答として、検索対象として指定されたカテゴリに属する映像情報を索出し、これを映像集合として映像検索装置２００，３００に送信するようになっている。映像情報は、映画等の時間的に連続した映像を、例えば、毎秒５フレーム、１フレーム当たり１６０×１２０の画素にデジタル化したものである。
【００４６】
次に、映像検索装置２００，３００の構成を図２を参照しながら説明する。映像検索装置２００，３００は、いずれも同一機能を有して構成されているため、ここでは、映像検索装置２００の構成のみを説明し、映像検索装置３００の構成については説明を省略する。図２は、映像検索装置２００の構成を示すブロック図である。
【００４７】
映像検索装置２００は、図２に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ２１０と、所定領域にあらかじめＣＰＵ２１０の制御プログラム等を格納しているＲＯＭ２２０と、ＲＯＭ２２０等から読み出したデータやＣＰＵ２１０の演算過程で必要な演算結果を格納するためのＲＡＭ２３０と、ＲＡＭ２３０の特定領域に格納されているデータを画像信号に変換して出力するＣＲＴＣ２４０と、通信ケーブル９９や外部装置とのデータの入出力を媒介するＩ／Ｆ２５０と、を有しており、これらは、データを転送するための信号線であるバス２５５で相互にかつデータ授受可能に接続されている。
【００４８】
Ｉ／Ｆ２５０には、外部装置として、データやテーブル等をファイルとして格納する記憶装置２６０と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置２７０と、画像信号に基づいて画面を表示する表示装置２９０と、が接続されている。
ＲＡＭ２３０は、特定領域として、表示装置２９０に表示するための表示用データを格納するＶＲＡＭ２３５を有しており、ＶＲＡＭ２３５は、ＣＰＵ２１０とＣＲＴＣ２４０とで独立にアクセスが可能となっている。
【００４９】
ＣＲＴＣ２４０は、ＶＲＡＭ２３５に格納されている表示用データを先頭アドレスから所定周期で順次読み出し、読み出した表示用データを画像信号に変換して表示装置２９０に出力するようになっている。
ＣＰＵ２１０は、マイクロプロセッシングユニットＭＰＵ等からなり、映像集合から目的の映像を検索するときは、検索対象となる映像集合を入力するため、映像データベース１００により大まかなカテゴリ検索を行い、そのカテゴリに属する映像情報を映像集合として送信することを映像データベース１００に要求するとともに、ＲＯＭ２２０の所定領域に格納されている所定のプログラムを起動させ、図３のフローチャートに示す映像検索処理を実行するようになっている。図３は、映像検索処理を示すフローチャートである。
【００５０】
映像検索処理は、その処理を実行する要求を入力装置２７０から入力することにより起動し、ＣＰＵ２１０において実行されると、図３に示すように、まず、ステップＳ１００に移行するようになっている。以下、映像検索処理の説明と合わせて、表示装置２９０の表示画面の構成を図４および図５を参照しながら説明する。図４は、表示装置２９０の表示画面の構成を示す図であり、図５は、参照映像表示部の構成を示す図である。
【００５１】
ステップＳ１００では、映像データベース１００から映像集合を入力し、入力した映像集合を記憶装置２６０に格納し、ステップＳ１０１に移行して、映像集合を記憶装置２６０から読み出し、ステップＳ１０２に移行する。
ステップＳ１０２では、図４に示すように、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像を参照映像表示部１０に表示する。参照映像表示部１０には、図５に示すように、各映像情報の参照映像を行ごとに表示し、各行には、映像情報に含まれる複数の映像を所定時間（例えば、１０秒）間隔で区分したときの各区分に属する映像に対応していることを示す参照映像（セル）を、映像情報の再生時間に相当する数だけ表示する。なお、参照映像は、どのようなものであってもよく、本実施の形態では、例えば、所定の色彩（例えば、紺色）の四角形の画像からなる。
【００５２】
例えば、再生時間がそれぞれ３０秒、４０秒、５０秒である映像情報Ａ，Ｂ，Ｃが映像集合に含まれている場合には、参照映像表示部１０において、１行目には、映像情報Ａの再生時間が３０秒であることからこれに対応する３つの参照映像が表示され、同様に、２行目には、映像情報Ｂに対応する４つの参照映像が表示され、３行目には、映像情報Ｃに対応する５つの参照映像が表示される。
【００５３】
また、参照映像表示部１０は、参照映像の色彩が変更されることをもって利用者に映像の検索結果を示すものであり、具体的には、検索の結果、目的の映像と関連性のある映像に対応する参照映像の色彩が所定の色彩（例えば、赤色）に変更される。参照映像表示部１０に表示された検索結果としての参照映像の表示パターンは、利用者がある検索条件をもとに検索した検索結果を示す。映像検索処理では、複数の検索条件を用いて複合的に映像の検索を行うことを可能とするため、このように参照映像表示部１０に表示された検索結果としての参照映像の表示パターンを複数生成可能となっている。
【００５４】
各表示パターンは、参照映像表示部１０の下部にある表示パターン変更ボタン１６で選択することにより、参照映像表示部１０に表示される。そして、各表示パターンでは、目的の映像と関連性のある映像に対応する参照映像の色彩が他の表示パターンとはそれぞれ異なる色に変更される。例えば、図４においては、４つの表示パターンが用意されており、各表示パターンは、表示パターン変更ボタン１６として、「赤色」と記されたタブ、「緑色」と記されたタブ、「青色」と記されたタブおよび「黄色」と記されたタブのいずれかを選択することによって、参照映像表示部１０に表示される。「赤色」のタブを選択して表示された表示パターン（以下、「赤」の表示パターンという。「緑色」「青色」「黄色」についても同じ。）では、参照映像の色彩が赤色に変更され、「緑」の表示パターンでは、参照映像の色彩が緑色に変更される。
【００５５】
次いで、ステップＳ１０４に移行して、参照映像表示部１０に表示された参照映像のうち一の参照映像の指定を入力装置２７０から入力したか否かを判定し、参照映像の指定を入力したと判定されたとき(Yes)は、ステップＳ１０６に移行する。ステップＳ１０４では、具体的に、利用者が入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、参照映像表示部１０に表示された参照映像のうち指定しようとする参照映像の位置まで移動させ、その位置の参照映像をクリック等で指定するようにする。
【００５６】
ステップＳ１０６では、図４に示すように、指定された参照映像に対応する映像を映像再生部１２で再生し、ステップＳ１０８に移行して、指定された参照映像に対応する映像の映像情報をその映像についての評価情報として取得し、ステップＳ１１０に移行して、取得した評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像を映像集合から検索する。ステップＳ１１０では、具体的に、各参照映像に対応する映像の映像情報と評価情報とをそれぞれ比較し、評価情報と一致する映像情報を特定することで、指定された参照映像に対応する映像と関連性のある映像を特定する。評価情報との一致を判定する方法としては、例えば、映像情報と評価情報をベクトルとして表現しその内積を用いる場合や、各映像情報に応じた関連度計算式を用いて、その計算結果の重み付き総和を用いる場合があり、最終的に、評価情報との一致度が所定値を超えるものを評価情報と一致する映像情報であると判定する。
【００５７】
次いで、ステップＳ１１２に移行して、参照映像のうち索出した映像に対応する参照映像の色彩を変更する。具体的には、参照映像のうち索出した映像に対応する参照映像を、表示パターンに対応した色彩（赤色、緑色、青色、黄色のいずれか）で表示するとともに、その参照映像のこれまでの色彩の変更回数に応じて、その参照映像の明度を決定する。例えば、変更回数が１回の参照映像は、所定段階（例えば、１６段階）ある明度のうち１番低い明度のもので表示され、変更回数が４回の参照映像は、所定段階ある明度のうち４番目に低い明度のもので表示される。すなわち、色彩の変更回数が多い参照映像ほど、言い換えれば、頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示されることとなる。
【００５８】
また、表示パターンのいずれかにおいて参照映像の色彩が１回以上変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の色彩も１回以上変更されているときは、その参照映像の色彩と他の表示パターンにおける参照映像の色彩と交互に切り換えることにより、その参照映像を表示する。例えば、「赤」の表示パターンにおいては、１行目の１番目の参照映像の色彩が１回以上変更されており、かつ、「緑」の表示パターンにおいても、同じ位置に対応する１行目の１番目の参照映像の色彩が１回以上変更されているときは、「赤」および「緑」の表示パターンにおいて、その参照映像は、赤色と緑色とが交互に切り換わって表示される。
【００５９】
次いで、ステップＳ１１４に移行して、参照映像表示部１０に表示された表示パターンを記憶装置２６０に記憶し、ステップＳ１１６に移行して、表示パターン変更ボタン１６の選択を入力装置２７０から入力したか否かを判定し、表示パターン変更ボタン１６の選択を入力したと判定されたとき(Yes)は、ステップＳ１１８に移行する。ステップＳ１１６では、具体的に、利用者が入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、表示パターン変更ボタン１６のうち選択しようとするタブの位置まで移動させ、その位置のタブをクリック等で指定するようにする。
【００６０】
ステップＳ１１８では、表示パターン変更ボタン１６の選択に基づいて表示パターンを変更し、ステップＳ１２０に移行して、その表示パターンにおいて参照映像の初期表示がされているか否かを判定し、参照映像の初期表示がされていないと判定されたとき(No)は、ステップＳ１０１に移行するが、参照映像の初期表示がされていると判定されたとき(Yes)は、ステップＳ１２２に移行する。
【００６１】
ステップＳ１２２では、表示パターン変更ボタン１６の選択に基づいて表示パターンを記憶装置２６０から読み出し、ステップＳ１２４に移行して、読み出した表示パターンを参照映像表示部１０に表示し、ステップＳ１０４に移行する。一方、ステップＳ１１６で、表示パターン変更ボタン１６の選択を入力していないと判定されたとき(No)は、ステップＳ１０４に移行する。
【００６２】
一方、ステップＳ１０４で、参照映像表示部１０に表示された参照映像のうち一の参照映像の指定を入力していないと判定されたとき(No)は、ステップＳ１２６に移行して、映像の検索を終了する要求を入力装置２７０から入力したか否かを判定し、映像の検索を終了する要求を入力していないと判定されたとき(No)は、ステップＳ１０４に移行するが、映像の検索を終了する要求を入力したと判定されたとき(Yes)は、一連の処理を終了する。
【００６３】
次に、上記実施の形態の動作を図６ないし図８を参照しながら説明する。図６および図８は、参照映像表示部１０に表示する表示パターンを選択することを示す図であり、図７は、参照映像の色彩が変更される様子を示す図である。
まず、利用者は、目的の映像として、「雲が３つ」および「家が一つ」が含まれている映像を映像集合から検索するものとし、映像検索装置２００では、この場合、例えば、「赤」の表示パターンで「雲が３つ含まれている映像」を検索し、「青」の表示パターンで「家が１つ含まれている映像」を検索し、「赤」および「青」の表示パターンから最終的に目的の映像を絞り込むようにする。以下、この流れで動作を説明する。
【００６４】
映像検索装置２００において、映像集合から目的の映像を検索するときは、利用者は、まず、検索対象となる映像集合を入力するため、映像データベース１００により大まかなカテゴリ検索を行い、そのカテゴリに属する映像情報を映像集合として送信することを映像データベース１００に要求する。
映像検索装置２００では、ＲＯＭ２２０の所定領域に格納されている所定のプログラムが起動し、映像検索処理が実行されることにより、映像データベース１００から映像集合が入力され、入力した映像集合が記憶装置２６０に格納される。このとき、表示パターンの初期設定として、「赤」の表示パターンが選択されているものとすると、映像集合が記憶装置２６０から読み出され、図６に示すように、「赤」の表示パターンにおいて、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像が参照映像表示部１０に表示される。
【００６５】
ここで、利用者は、入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、参照映像表示部１０に表示された参照映像のうち指定しようとする参照映像の位置まで移動させ、その位置の参照映像をクリック等で指定する。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像のうち索出された映像に対応する参照映像の色彩が赤色に変更される。参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ａ）に示すように、いずれも色彩の変更回数が１回目であるので、所定段階ある明度のうち１番低い明度のもので表示される。すなわち、利用者が指定した参照映像と関連性のある参照映像の色彩が変更されることになる。
【００６６】
続いて、利用者は、この検索結果としての参照映像の表示パターンを参考にして、別の新たな参照映像を指定するものとする。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ｂ）に示すように、色彩の変更回数が１回目のものについては、所定段階ある明度のうち１番低い明度のもので表示され、先の検索と合わせて色彩の変更回数が２回目のものについては、所定段階ある明度のうち２番目に低い明度のもので表示される。すなわち、利用者が今回指定した参照映像と関連性のある参照映像の色彩が変更されるとともに、利用者が前回指定した参照映像と今回指定した参照映像の両方に関連性のある参照映像の色彩の明度が高くなる。
【００６７】
これと同じ要領で、３回、４回と検索を繰り返していくと、利用者がこれまで指定した参照映像と関連性のある参照映像の色彩が変更されるとともに、利用者がこれまで指定した参照映像のうち頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示される。つまり、利用者は、「赤」の表示パターンにおいて、「雲が３つ含まれている映像」を目的の映像としてこれと関連性があるであろう参照映像を次々に指定していけば、最終的に「雲が３つ含まれている映像」に対応する参照映像ほど高い明度の色彩で表示される。これにより、目的の映像をある程度絞り込むことができる。
【００６８】
次に、利用者は、「青」の表示パターンで「家が１つ含まれている映像」を検索するものとし、入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、表示パターン変更ボタン１６のうち「青」のタブの位置まで移動させ、その位置のタブをクリック等で指定する。
「青」のタブが選択されるすると、表示パターンが「青」の表示パターンに変更され、映像集合が記憶装置２６０から読み出され、図８に示すように、「青」の表示パターンにおいて、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像が参照映像表示部１０に表示される。
【００６９】
ここで、利用者は、上記同様の要領で、入力装置２７０を用いて参照映像を指定する。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像のうち索出された映像に対応する参照映像の色彩が青色に変更される。参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ａ）に示すように、いずれも色彩の変更回数が１回目であるので、所定段階ある明度のうち１番低い明度のもので表示される。
【００７０】
続いて、利用者は、この検索結果としての参照映像の表示パターンを参考にして、別の新たな参照映像を指定するものとする。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ｂ）に示すように、色彩の変更回数が１回目のものについては、所定段階ある明度のうち１番低い明度のもので表示され、先の検索と合わせて色彩の変更回数が２回目のものについては、所定段階ある明度のうち２番目に低い明度のもので表示される。
【００７１】
これと同じ要領で、３回、４回と検索を繰り返していくと、利用者がこれまで指定した参照映像と関連性のある参照映像の色彩が変更されるとともに、利用者がこれまで指定した参照映像のうち頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示される。
そしてさらに、この「青」の表示パターンにおいて、参照映像の色彩が１回以上変更されており、かつ、その参照映像に対応する「赤」の表示パターンにおける参照映像の色彩も１回以上変更されているときは、その参照映像は、赤色と青色とが交互に切り換わって表示される。
【００７２】
つまり、利用者は、「青」の表示パターンにおいて、「家が１つ含まれている映像」を目的の映像としてこれと関連性があるであろう参照映像を次々に指定していけば、最終的に「家が１つ含まれている映像」に対応する参照映像ほど高い明度の色彩で表示されるとともに、「赤」の表示パターンにおいて色彩が変更されている参照映像と同じ箇所の参照映像は、赤色と青色とが交互に切り換わって表示される。これにより、この「青」の表示パターンにおいて、赤色と青色とが交互に切り換わりしかもそれらの明度が高い参照映像は、「雲が３つ含まれている映像」および「家が１つ含まれている映像」に対応する参照映像であることが判り、「赤」の表示パターンにおける検索結果からよりも目的の映像をかなり絞り込むことができる。
【００７３】
このようにして、本実施の形態では、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像を表示し、参照映像のうち一の参照映像の指定を入力し、指定された参照映像に対応する映像の映像情報を評価情報として取得し、取得した評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像を映像集合から検索し、参照映像のうち索出した映像に対応する参照映像の色彩を変更するようにした。これにより、目的の映像と関連性のある映像に対応する参照映像の色彩が変更されるので、数値やグラフの内容、あるいは映像の配置位置を検討しながら関連性を把握する場合に比して、目的の映像との関連性を直感的にとらえることができる。したがって、従来に比して、目的の映像との関連性の把握が容易となり、映像の検索を効率的に行うことができる。
【００７４】
さらに、本実施の形態では、ステップＳ１０６からＳ１１４までを繰り返して実行可能となっており、ステップＳ１１２は、参照映像のうち色彩を変更しようとする参照映像のこれまでの色彩の変更回数に応じて、その参照映像の明度を決定するようにした。これにより、複数回にわたって映像の検索を行えば、頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示されるので、目的の映像と関連性の高い映像を直感的にとらえることができる。したがって、目的の映像と関連性が高い映像の把握が容易となり、映像の検索をさらに効率的に行うことができる。
【００７５】
さらに、本実施の形態では、表示パターンのいずれかにおいて参照映像の色彩が１回以上変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の色彩も１回以上変更されているときは、その参照映像の色彩と他の表示パターンにおける参照映像の色彩と交互に切り換えることにより、その参照映像を表示するようにした。これにより、表示パターンのいずれかにおいて、色が交互に切り換わる参照映像は、利用者がこの表示パターンで与えた検索条件と他の表示パターンで与えた検索条件の両方に関連性がある映像であることを示しているので、検索結果からは、両方の検索条件との関連性が得られ、複数の検索条件を用いて複合的に映像の検索を行うことができる。したがって、映像の検索をさらに効率的に行うことができる。
【００７６】
さらに、本実施の形態では、表示パターン変更ボタン１６の選択を入力し、表示パターン変更ボタン１６の選択に基づいて参照映像表示部１０に表示する表示パターンを変更するようにした。これにより、各表示パターンごとに異なる検索条件を与えて参照映像を表示し、かつ、検索条件を絞り込んで表示を変更することができる。
【００７７】
なお、上記実施の形態においては、参照映像を、所定の色彩の四角形の画像として表示するように構成したが、これに限らず、映像情報に含まれる複数の映像を所定時間間隔で区分したときの各区分を代表する代表映像として表示するように構成してもよい。
また、上記実施の形態においては、指定された参照映像に対応する映像を映像再生部１２で再生するように構成したが、これに限らず、指定された参照映像に対応する映像を代表する代表映像を表示し、あるいは対応するテキスト情報を表示するように構成してもよい。
【００７８】
また、上記実施の形態においては、各表示パターンでは、参照映像の色彩を他の表示パターンとはそれぞれ異なる色に変更するように構成したが、これに限らず、例えば、表示パターンごとに参照映像の形状を変更したり、表示パターンに応じた記号などのマークを参照映像に付したりして構成することもできる。
また、上記実施の形態においては、指定された参照映像に対応する映像の映像情報を評価情報として取得するように構成したが、具体的に映像内から映像情報を抽出するには、例えば、映像に対し既に付与されている映像情報を用いたり、参照映像表示部１０において映像を解析し映像情報を抽出したりすることにより行うことができる。
【００７９】
また、上記実施の形態においては、指定された参照映像に対応する映像の映像情報を評価情報として取得するように構成したが、これに限らず、評価情報を取得するには、利用者に映像情報を選択してもらい、数値入力などによって、例えば画面全体の色がどの程度目的の映像と類似しているかを入力することにより行うことができる。
【００８０】
また、上記実施の形態においては、評価情報との一致度が所定値を超える映像情報を評価情報と一致する映像情報であると判定し、その映像に対応する参照映像の色彩を単に変更するように構成したが、これに限らず、評価情報との一致度に応じて参照映像の表示態様を変更するように構成してもよい。この場合、すべての参照映像の表示態様を変更してしまうと、却って判りづらくなる可能性があるので、評価情報との一致度が所定値を超える映像情報を対象として、その映像に対応する参照映像の表示態様を変更するのが好ましい。
【００８１】
また、上記実施の形態においては、映像集合を入力して映像集合から目的の映像を検索する映像検索装置２００，３００に本発明を適用した場合について説明したが、これに限らず、本発明の主旨を逸脱しない範囲で他のものにも適用可能である。
また、上記実施の形態において、図３のフローチャートに示す映像検索処理を実行するにあたっては、ＲＯＭ２２０にあらかじめ格納されている所定のプログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ２３０に読み込んで実行するようにしてもよい。
【００８２】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００８３】
上記実施の形態において、ステップＳ１０２は、請求項１、２または５記載の表示ステップに対応し、ステップＳ１０４は、請求項１、２または５記載の指定ステップに対応し、ステップＳ１０８は、請求項１、２または５記載の取得ステップに対応し、ステップＳ１１０は、請求項１、２または５記載の検索ステップに対応し、ステップＳ１１２は、請求項１、２または５記載の変更ステップに対応している。
【００８４】
また、上記実施の形態において、ステップＳ１０２は、請求項３、４または６記載の参照映像表示手段に対応し、ステップＳ１０４は、請求項３、４または６記載の入力手段に対応し、ステップＳ１０８は、請求項３、４または６記載の取得手段に対応し、ステップＳ１１０は、請求項３、４または６記載の検索手段に対応し、ステップＳ１１２は、請求項３、４または６記載の変更手段に対応している。
【００８５】
【発明の効果】
以上説明したように、本発明に係る請求項１若しくは２記載の映像検索方法、請求項３若しくは４記載の映像検索装置、または、請求項５若しくは６記載の記憶媒体によれば、目的の映像と関連性のある映像に係る参照映像の表示態様が変更されるので、数値やグラフの内容、あるいは映像の配置位置を検討しながら関連性を把握する場合に比して、目的の映像との関連性を直感的にとらえることができる。したがって、従来に比して、目的の映像との関連性の把握が容易となり、映像の検索を効率的に行うことができるという効果が得られる。
【００８６】
さらに、本発明に係る請求項１記載の映像検索方法、または、請求項３記載の映像検索装置によれば、複数回にわたって映像の検索を行ったときに、頻繁に索出される映像に係る参照映像ほど表示態様が変更されるので、目的の映像と関連性の高い映像を直感的にとらえることができる。したがって、目的の映像と関連性が高い映像の把握が容易となり、映像の検索をさらに効率的に行うことができるという効果も得られる。
【００８７】
さらに、本発明に係る請求項２記載の映像検索方法、または、請求項４記載の映像検索装置によれば、表示パターンのいずれかにおいて、他の表示パターンにおいても表示態様が変更されていることを示す表示態様で表示された参照映像は、利用者がこの表示パターンで与えた検索条件と他の表示パターンで与えた検索条件の両方に関連性がある映像であることを示しているので、検索結果からは、両方の検索条件との関連性が得られ、複数の検索条件を用いて複合的に映像の検索を行うことができる。したがって、映像の検索をさらに効率的に行うことができるという効果も得られる。
【図面の簡単な説明】
【図１】本発明に係る映像検索方法および映像検索装置を適用する映像検索ネットワークシステムの構成を示すブロック図である。
【図２】映像検索装置２００の構成を示すブロック図である。
【図３】映像検索処理を示すフローチャートである。
【図４】表示装置２９０の表示画面の構成を示す図である。
【図５】参照映像表示部の構成を示す図である。
【図６】参照映像表示部１０に表示する表示パターンを選択することを示す図である。
【図７】参照映像の色彩が変更される様子を示す図である。
【図８】参照映像表示部１０に表示する表示パターンを選択することを示す図である。
【図９】従来の関連フィードバックを用いたシステムにより行われる映像検索の様子を示す図である。
【符号の説明】
１００ 映像データベース
９９ 通信ケーブル
２００，３００ 映像検索装置
２１０ ＣＰＵ
２２０ ＲＯＭ
２３０ ＲＡＭ
２３５ ＶＲＡＭ
２４０ ＣＲＴＣ
２５０ Ｉ／Ｆ
２６０ 記憶装置
２７０ 入力装置
２８０ 表示装置
【発明の属する技術分野】
本発明は、複数の映像から目的の映像を検索する方法および装置、並びに複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体に係り、特に、映像の検索を効率的に行うのに好適な映像検索方法、映像検索装置および記憶媒体に関する。
【０００２】
【従来の技術】
映像処理技術その他の信号処理技術が進歩したことにより、従来、データとして数値・文字データのみを取り扱ってきたコンピュータ、ワークステーション等の計算機において、映像情報をもデータとして取り扱うマルチメディア処理が可能となった。そして、データの圧縮技術の進歩および記憶装置の大容量化に伴って、取り扱うデータ量も多量になった。多種類の、しかも多量のデータを取り扱い、蓄積するようになると、必要な情報の検索を迅速容易に実行することが要望されるに至る。
【０００３】
情報を検索する方法としては、一般に、情報にあらかじめインデックスを付与しておき、インデックス付与された部分を取り出すという方法が採用される。文字列を取り扱うテキストデータにおいては、文字列検索に代表されるように、指定されたキーワードとデータとの間のマッチングをとることによって適合箇所にインデックスを付与していくことができるので、検索が容易である。ところが、映像情報のように、連続的でかつ時間とともに内容が変化する情報の場合は、一定の形状のものを見つけ出してその映像部分にインデックスを付与することは大変に困難であり、特に、再生時間が数百から数千時間にも及ぶ映像情報の中から目的の映像を探し出すには多大な労力を要する。このため、目的の映像を素早く見つける効率的な検索方法および装置が必要となる。
【０００４】
検索効率を向上させる検索方法の一つとして、複数の映像からなる映像集合についての利用者の評価をシステム側にフィードバックする、関連フィードバックと呼ばれる方法がある。関連フィードバックでは、フィードバックされた評価情報から目的の映像に関する情報を得るため、目的の映像と関連性の高い映像の検索、あるいは再配列が可能となり、検索効率が向上する。
【０００５】
例えば、文献「Color-Based Pseudo Object Model for Image Retrieval with Relevance Feedback」（Tat-Seng Chua aand Chun-Xin Chu,pp.148-162,Proceedings of AMCP'98,Japan,Nov,1998）では、図９に示すように、初期入力に対する検索結果として、映像集合のうち目的の映像と関連性があるであろういくつかの映像を表示し、それぞれの映像に対して、「Relevance（関連性あり）」と「No-Relevance（関連性なし）」の２つの選択肢を用意している。利用者は、自己が意図する目的の映像と表示されたそれぞれの映像とを比較して、関連性のある映像に対しては「Relevance」を、明らかに関連性のない映像に対しては「No-Relevance」を選択することで評価情報を入力し、これによって自己が意図する目的の映像との関連性をシステムに与える。システムは、「Relevane」が選択された映像から映像情報を抽出し反復的に利用することにより、初期入力からでは判定できなかった、目的の映像に対する情報を補完し、目的の映像を絞り込んでいく。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の関連フィードバックを用いたシステムにあっては、目的の映像と表示されたそれぞれの映像との関連性を、主に数値やグラフ、あるいは映像の配置によって表現しているため、数値やグラフの内容、あるいは映像の配置位置を検討しながら関連性を把握しなければならず、直感的に関連性をとらえにくいという問題があった。
【０００７】
また、検索結果からは、表示された映像が過去の検索において何回索出されたかを把握することができない。通常、目的の映像を探し出すまでは、利用者は検索を複数回にわたって行うのであるが、このような場合、過去の検索において多数にわたって索出されている映像は、利用者がこれまで与えた検索条件との関連性が高く、過去の検索における索出回数は、目的の映像を探し出すための情報として有益である。
【０００８】
さらに、検索結果からは、目的の映像と表示されたそれぞれの映像との関連性が、言い換えれば、目的の映像を検索するために利用者が与えた一の検索条件との関連性が得られるのみで、複数の検索条件との関連性を得ることができない。例えば、利用者が２つの検索条件（例えば、「雲がある映像」、「家がある映像」）をもとに目的の映像を検索したい場合、効率的に検索を行うためには、検索結果からは、両方の検索条件との関連性が得られることが望まれる。
【０００９】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、検索結果から目的の映像との関連性を直感的にとらえることができ、しかも複数の検索条件を用いて映像の検索を複合的に行うことができ、これにより映像の検索の効率を向上することができる映像検索方法、映像検索装置および記憶媒体を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る請求項１記載の映像検索方法は、複数の映像から目的の映像を検索する方法であって、前記複数の映像を参照するための参照映像を表示する表示ステップと、前記参照映像のうち少なくとも一の参照映像を利用者に指定させる指定ステップと、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得ステップと、取得した評価情報に基づいて前記複数の映像から映像を検索する検索ステップと、前記検索ステップの検索結果に基づいて前記参照映像の表示態様を変更する変更ステップと、を含み、前記指定ステップ、前記取得ステップ、前記検索ステップ及び前記変更ステップを複数回繰り返して行い、前記変更ステップは、前記参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様を段階的に変更する。
【００１１】
このような方法であれば、まず、表示ステップで、複数の映像を参照するための参照映像が表示され、指定ステップで、表示された参照映像のうち少なくとも一の参照映像を利用者に指定させる。これに応じて、利用者によって参照映像が指定されたときは、取得ステップで、複数の映像のうち指定に係る映像についての評価情報が取得され、検索ステップで、取得された評価情報に基づいて複数の映像から映像が検索され、変更ステップで、検索ステップの検索結果に基づいて参照映像の表示態様が変更される。
そして、指定ステップ、取得ステップ、検索ステップおよび変更ステップが複数回繰り返して行われ、その繰り返しの過程において、変更ステップでは、参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様が段階的に変更される。
【００１２】
ここで、表示ステップは、例えば、複数の映像を参照するための参照映像を、ディスプレイ等の表示手段に表示することにより実現することができる。より具体的には、複数の映像を含む１または２以上の映像情報を記憶した記憶手段からその映像情報を読み出し、読み出した映像情報に基づいて複数の映像を参照するための参照映像を表示手段に表示する。
【００１３】
また、参照映像としては、例えば、複数の映像の一部または全部をそのまままたは加工（縮小、拡大、一部抜粋）して参照映像とする場合、あるいは、複数の映像の一部または全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合を挙げることができる。
また、取得ステップは、例えば、複数の映像のうち指定に係る映像自体または指定に係る映像の映像情報をその映像についての評価情報として取得することにより、あるいは、複数の映像のうち指定に係る映像についての評価情報を利用者に入力させることにより、実現することができる。したがって、「取得」には、評価情報を単に取得することだけでなく、利用者に評価情報を入力させることも含まれる。利用者に入力させる評価情報としては、例えば、指定に係る映像に付された色彩がどの程度目的の映像のものと類似しているかなど、目的の映像と指定に係る映像との関連性の度合を示すような情報を挙げることができる。
【００１４】
また、指定に係る映像とは、複数の映像の一部を参照映像とする場合、あるいは、複数の映像の一部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する複数の映像をいい、複数の映像の全部を参照映像とする場合、あるいは、複数の映像の全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する一の映像をいう。
【００１５】
また、変更ステップは、検索ステップの検索結果に基づいて参照映像の表示態様を変更するが、具体的には、参照映像のうち索出した映像に係る参照映像の表示態様を変更する。なお、映像に係る参照映像とは、参照映像のうち索出された映像に対応する参照映像をいう。
【００２１】
さらに、本発明に係る請求項２記載の映像検索方法は、複数の映像から目的の映像を検索する方法であって、前記複数の映像を参照するための参照映像を複数の表示パターンでそれぞれに表示する表示ステップと、前記複数の表示パターンの中の一つの表示パターンで、前記参照映像のうち少なくとも一の参照映像を利用者に指定させる指定ステップと、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得ステップと、取得した評価情報に基づいて前記複数の映像から映像を検索する検索ステップと、前記検索ステップの検索結果に基づいて、前記指定された表示パターンの参照映像の表示態様を変更する変更ステップと、を含み、前記指定ステップ、前記取得ステップ、前記検索ステップ及び前記変更ステップを複数回繰り返して行い、前記変更ステップは、前記複数の表示パターンで互いに異なり各表示パターンに依存した表示態様に参照映像を変更するとともに、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像を、当該表示パターンと変更された他の表示パターンの表示態様とで交互に切り換えて表示する。
【００２２】
このような方法であれば、まず、表示ステップで、複数の映像を参照するための参照映像が複数の表示パターンでそれぞれに表示され、指定ステップで、複数の表示パターンの中の一つの表示パターンで、参照映像のうち少なくとも一の参照映像を利用者に指定させる。これに応じて、利用者によって参照映像が指定されたときは、取得ステップで、複数の映像のうち指定に係る映像についての評価情報が取得され、検索ステップで、取得された評価情報に基づいて複数の映像から映像が検索され、変更ステップで、検索ステップの検索結果に基づいて指定された表示パターンの参照映像の表示態様が変更される。
そして、指定ステップ、取得ステップ、検索ステップおよび変更ステップが複数回繰り返して行われ、その繰り返しの過程において、変更ステップでは、表示パターンで互いに異なり表示パターンに依存した表示態様に参照映像が変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像が、表示パターンと変更された他の表示パターンの表示態様とを交互に切り換えられて表示される。すなわち、２以上の表示パターンにおいて、表示態様が変更されている箇所が一致しているときは、その箇所の参照映像が、現在の表示態様とは異なる特殊な表示態様で表示されることになる。
【００２３】
ここで、表示パターンとしては、例えば、表示ステップで表示された参照映像および変更ステップで表示態様が変更された参照映像を含む表示画面を挙げることができる。
【００２６】
一方、本発明に係る請求項３記載の映像検索装置は、複数の映像から目的の映像を検索する装置であって、前記複数の映像を参照するための参照映像を表示する参照映像表示手段と、前記参照映像のうち少なくとも一の参照映像の指定を入力する入力手段と、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得手段と、取得した評価情報に基づいて前記複数の映像から映像を検索する検索手段と、前記検索手段の検索結果に基づいて前記参照映像の表示態様を変更する変更手段と、を備え、前記入力手段、前記取得手段、前記検索手段及び前記変更手段を複数回繰り返して実行可能となっており、前記変更手段は、前記参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様を段階的に変更するようになっている。
【００２７】
このような構成であれば、まず、参照映像表示手段により、複数の映像を参照するための参照映像が表示される。そして、参照映像のうち少なくとも一の参照映像の指定が利用者等によって入力手段から入力されたときは、取得手段により、複数の映像のうち指定に係る映像についての評価情報が取得され、検索手段により、取得された評価情報に基づいて複数の映像から映像が検索され、変更手段により、検索手段の検索結果に基づいて参照映像の表示態様が変更される。
そして、入力手段、取得手段、検索手段および変更手段が繰り返して実行されたときは、その実行の過程において、変更手段により、参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様が段階的に変更される。
【００２８】
ここで、参照映像表示手段は、例えば、複数の映像を参照するための参照映像を、ディスプレイ等の表示手段に表示することにより構成することができる。より具体的には、複数の映像を含む１または２以上の映像情報を記憶した記憶手段を別に備え、この記憶手段から映像情報を読み出し、読み出した映像情報に基づいて複数の映像を参照するための参照映像を表示手段に表示するようになっている。
【００２９】
また、参照映像としては、例えば、複数の映像の一部または全部をそのまままたは加工（縮小、拡大、一部抜粋）して参照映像とする場合、あるいは、複数の映像の一部または全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合を挙げることができる。
また、取得手段は、例えば、複数の映像のうち指定に係る映像自体または指定に係る映像の映像情報をその映像についての評価情報として取得することにより、あるいは、複数の映像のうち指定に係る映像についての評価情報を利用者に入力させることにより、構成することができる。したがって、「取得」には、評価情報を単に取得することだけでなく、利用者に評価情報を入力させることも含まれる。利用者に入力させる評価情報としては、例えば、指定に係る映像に付された色彩がどの程度目的の映像のものと類似しているかなど、目的の映像と指定に係る映像との関連性の度合を示すような情報を挙げることができる。
【００３０】
また、指定に係る映像とは、複数の映像の一部を参照映像とする場合、あるいは、複数の映像の一部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する複数の映像をいい、複数の映像の全部を参照映像とする場合、あるいは、複数の映像の全部にそれぞれ対応していることを示す所定の映像を参照映像とする場合は、複数の映像のうち指定された参照映像に対応する一の映像をいう。
【００３１】
また、変更手段は、検索手段の検索結果に基づいて参照映像の表示態様を変更するが、具体的には、参照映像のうち索出した映像に係る参照映像の表示態様を変更するようになっている。なお、映像に係る参照映像とは、参照映像のうち索出された映像に対応する参照映像をいう。
【００３６】
さらに、本発明に係る請求項４記載の映像検索装置は、複数の映像から目的の映像を検索する装置であって、前記複数の映像を参照するための参照映像を複数の表示パターンでそれぞれに表示する参照映像表示手段と、前記複数の表示パターンの中の一つの表示パターンで、前記参照映像のうち少なくとも一の参照映像の指定を入力する入力手段と、前記複数の映像のうち指定に係る映像についての評価情報を取得する取得手段と、取得した評価情報に基づいて前記複数の映像から映像を検索する検索手段と、前記検索手段の検索結果に基づいて、前記指定された表示パターンの参照映像の表示態様を変更する変更手段と、を備え、前記入力手段、前記取得手段、前記検索手段及び前記変更手段を複数回繰り返して実行可能となっており、前記変更手段は、前記複数の表示パターンで互いに異なり各表示パターンに依存した表示態様に参照映像を変更するとともに、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像を、当該表示パターンと変更された他の表示パターンの表示態様とで交互に切り換えて表示するようになっている。
【００３７】
このような構成であれば、まず、参照映像表示手段により、複数の映像を参照するための参照映像が複数の表示パターンでそれぞれに表示される。そして、複数の表示パターンの中の一つの表示パターンで、参照映像のうち少なくとも一の参照映像の指定が利用者等によって入力手段から入力されたときは、取得手段により、複数の映像のうち指定に係る映像についての評価情報が取得され、検索手段により、取得された評価情報に基づいて複数の映像から映像が検索され、変更手段により、検索手段の検索結果に基づいて、指定された表示パターンの参照映像の表示態様が変更される。
そして、参照映像表示手段、入力手段、取得手段、検索手段および変更手段が複数回繰り返して実行されることにより、表示パターンで互いに異なり表示パターンに依存した表示態様に参照映像が変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像が、表示パターンと変更された他の表示パターンの表示態様とを交互に切り換えられて表示される。すなわち、２以上の表示パターンにおいて、表示態様が変更されている箇所が一致しているときは、その箇所の参照映像が、現在の表示態様とは異なる特殊な表示態様で表示されることになる。
【００３８】
ここで、表示パターンとしては、例えば、参照映像表示手段により表示された参照映像および変更手段により表示態様が変更された参照映像を含む表示画面を挙げることができる。
【００４０】
一方、本発明に係る請求項５記載の記憶媒体は、複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体であって、請求項１及び２のいずれかに記載の、前記表示ステップ、前記指定ステップ、前記取得ステップ、前記検索ステップおよび前記変更ステップをコンピュータに実行させるためのプログラムを記憶したコンピュータ読み取り可能なものである。
【００４１】
このような構成であれば、記憶媒体に記憶された情報がコンピュータによって読み取られ、各ステップが実行されたときは、上記請求項１及び２のいずれかに記載の映像表示方法と同様の作用が得られる。
さらに、本発明に係る請求項６記載の記憶媒体は、複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体であって、請求項３及び４のいずれかに記載の、前記参照映像表示手段、前記入力手段、前記取得手段、前記検索手段および前記変更手段としてコンピュータを機能させるためのプログラムを記憶したコンピュータ読み取り可能なものである。
【００４２】
このような構成であれば、記憶媒体に記憶された情報がコンピュータによって読み取られ、コンピュータが各手段として機能させられたときは、上記請求項３及び４のいずれかに記載の映像検索装置と同様の作用が得られる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図８は、本発明に係る映像検索方法の実施の形態を示す図である。
この実施の形態は、本発明に係る映像検索方法および映像検索装置を、図１に示すように、映像検索装置２００，３００において、映像データベース１００から複数の映像を含む映像集合を入力し、その映像集合から利用者が意図する目的の映像を検索する場合について適用したものである。ここで、本発明に係る映像検索方法および映像検索装置は、映像検索装置２００，３００に適用される。
【００４４】
まず、本発明に係る映像検索方法および映像検索装置を適用する映像検索ネットワークシステムの構成を図１を参照しながら説明する。図１は、本発明に係る映像検索方法および映像検索装置を適用する映像検索ネットワークシステムの構成を示すブロック図である。
このネットワークシステムは、図１に示すように、複数の映像を含む映像情報を蓄積した映像データベース１００と、映像データベース１００から映像集合を入力して映像の検索を行う映像検索装置２００，３００と、で構成されており、映像データベース１００と映像検索装置２００，３００とは、データを伝送するための信号線である通信ケーブル９９で相互にかつデータ送受信可能に接続されている。なお、発明の理解を容易にするため、映像検索装置を２台しか図示していないが、実際には、複数台の映像検索装置が映像データベース１００に接続されている。
【００４５】
映像データベース１００は、時間的に連続しかつ意味内容が同一または類似の複数の映像を含む映像情報を複数有し、これらの映像情報を、異なる複数種のカテゴリ（例えば、映画、スポーツ）に分類して蓄積しており、検索対象としてカテゴリの指定を映像検索装置２００，３００から受信したときは、その応答として、検索対象として指定されたカテゴリに属する映像情報を索出し、これを映像集合として映像検索装置２００，３００に送信するようになっている。映像情報は、映画等の時間的に連続した映像を、例えば、毎秒５フレーム、１フレーム当たり１６０×１２０の画素にデジタル化したものである。
【００４６】
次に、映像検索装置２００，３００の構成を図２を参照しながら説明する。映像検索装置２００，３００は、いずれも同一機能を有して構成されているため、ここでは、映像検索装置２００の構成のみを説明し、映像検索装置３００の構成については説明を省略する。図２は、映像検索装置２００の構成を示すブロック図である。
【００４７】
映像検索装置２００は、図２に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ２１０と、所定領域にあらかじめＣＰＵ２１０の制御プログラム等を格納しているＲＯＭ２２０と、ＲＯＭ２２０等から読み出したデータやＣＰＵ２１０の演算過程で必要な演算結果を格納するためのＲＡＭ２３０と、ＲＡＭ２３０の特定領域に格納されているデータを画像信号に変換して出力するＣＲＴＣ２４０と、通信ケーブル９９や外部装置とのデータの入出力を媒介するＩ／Ｆ２５０と、を有しており、これらは、データを転送するための信号線であるバス２５５で相互にかつデータ授受可能に接続されている。
【００４８】
Ｉ／Ｆ２５０には、外部装置として、データやテーブル等をファイルとして格納する記憶装置２６０と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置２７０と、画像信号に基づいて画面を表示する表示装置２９０と、が接続されている。
ＲＡＭ２３０は、特定領域として、表示装置２９０に表示するための表示用データを格納するＶＲＡＭ２３５を有しており、ＶＲＡＭ２３５は、ＣＰＵ２１０とＣＲＴＣ２４０とで独立にアクセスが可能となっている。
【００４９】
ＣＲＴＣ２４０は、ＶＲＡＭ２３５に格納されている表示用データを先頭アドレスから所定周期で順次読み出し、読み出した表示用データを画像信号に変換して表示装置２９０に出力するようになっている。
ＣＰＵ２１０は、マイクロプロセッシングユニットＭＰＵ等からなり、映像集合から目的の映像を検索するときは、検索対象となる映像集合を入力するため、映像データベース１００により大まかなカテゴリ検索を行い、そのカテゴリに属する映像情報を映像集合として送信することを映像データベース１００に要求するとともに、ＲＯＭ２２０の所定領域に格納されている所定のプログラムを起動させ、図３のフローチャートに示す映像検索処理を実行するようになっている。図３は、映像検索処理を示すフローチャートである。
【００５０】
映像検索処理は、その処理を実行する要求を入力装置２７０から入力することにより起動し、ＣＰＵ２１０において実行されると、図３に示すように、まず、ステップＳ１００に移行するようになっている。以下、映像検索処理の説明と合わせて、表示装置２９０の表示画面の構成を図４および図５を参照しながら説明する。図４は、表示装置２９０の表示画面の構成を示す図であり、図５は、参照映像表示部の構成を示す図である。
【００５１】
ステップＳ１００では、映像データベース１００から映像集合を入力し、入力した映像集合を記憶装置２６０に格納し、ステップＳ１０１に移行して、映像集合を記憶装置２６０から読み出し、ステップＳ１０２に移行する。
ステップＳ１０２では、図４に示すように、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像を参照映像表示部１０に表示する。参照映像表示部１０には、図５に示すように、各映像情報の参照映像を行ごとに表示し、各行には、映像情報に含まれる複数の映像を所定時間（例えば、１０秒）間隔で区分したときの各区分に属する映像に対応していることを示す参照映像（セル）を、映像情報の再生時間に相当する数だけ表示する。なお、参照映像は、どのようなものであってもよく、本実施の形態では、例えば、所定の色彩（例えば、紺色）の四角形の画像からなる。
【００５２】
例えば、再生時間がそれぞれ３０秒、４０秒、５０秒である映像情報Ａ，Ｂ，Ｃが映像集合に含まれている場合には、参照映像表示部１０において、１行目には、映像情報Ａの再生時間が３０秒であることからこれに対応する３つの参照映像が表示され、同様に、２行目には、映像情報Ｂに対応する４つの参照映像が表示され、３行目には、映像情報Ｃに対応する５つの参照映像が表示される。
【００５３】
また、参照映像表示部１０は、参照映像の色彩が変更されることをもって利用者に映像の検索結果を示すものであり、具体的には、検索の結果、目的の映像と関連性のある映像に対応する参照映像の色彩が所定の色彩（例えば、赤色）に変更される。参照映像表示部１０に表示された検索結果としての参照映像の表示パターンは、利用者がある検索条件をもとに検索した検索結果を示す。映像検索処理では、複数の検索条件を用いて複合的に映像の検索を行うことを可能とするため、このように参照映像表示部１０に表示された検索結果としての参照映像の表示パターンを複数生成可能となっている。
【００５４】
各表示パターンは、参照映像表示部１０の下部にある表示パターン変更ボタン１６で選択することにより、参照映像表示部１０に表示される。そして、各表示パターンでは、目的の映像と関連性のある映像に対応する参照映像の色彩が他の表示パターンとはそれぞれ異なる色に変更される。例えば、図４においては、４つの表示パターンが用意されており、各表示パターンは、表示パターン変更ボタン１６として、「赤色」と記されたタブ、「緑色」と記されたタブ、「青色」と記されたタブおよび「黄色」と記されたタブのいずれかを選択することによって、参照映像表示部１０に表示される。「赤色」のタブを選択して表示された表示パターン（以下、「赤」の表示パターンという。「緑色」「青色」「黄色」についても同じ。）では、参照映像の色彩が赤色に変更され、「緑」の表示パターンでは、参照映像の色彩が緑色に変更される。
【００５５】
次いで、ステップＳ１０４に移行して、参照映像表示部１０に表示された参照映像のうち一の参照映像の指定を入力装置２７０から入力したか否かを判定し、参照映像の指定を入力したと判定されたとき(Yes)は、ステップＳ１０６に移行する。ステップＳ１０４では、具体的に、利用者が入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、参照映像表示部１０に表示された参照映像のうち指定しようとする参照映像の位置まで移動させ、その位置の参照映像をクリック等で指定するようにする。
【００５６】
ステップＳ１０６では、図４に示すように、指定された参照映像に対応する映像を映像再生部１２で再生し、ステップＳ１０８に移行して、指定された参照映像に対応する映像の映像情報をその映像についての評価情報として取得し、ステップＳ１１０に移行して、取得した評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像を映像集合から検索する。ステップＳ１１０では、具体的に、各参照映像に対応する映像の映像情報と評価情報とをそれぞれ比較し、評価情報と一致する映像情報を特定することで、指定された参照映像に対応する映像と関連性のある映像を特定する。評価情報との一致を判定する方法としては、例えば、映像情報と評価情報をベクトルとして表現しその内積を用いる場合や、各映像情報に応じた関連度計算式を用いて、その計算結果の重み付き総和を用いる場合があり、最終的に、評価情報との一致度が所定値を超えるものを評価情報と一致する映像情報であると判定する。
【００５７】
次いで、ステップＳ１１２に移行して、参照映像のうち索出した映像に対応する参照映像の色彩を変更する。具体的には、参照映像のうち索出した映像に対応する参照映像を、表示パターンに対応した色彩（赤色、緑色、青色、黄色のいずれか）で表示するとともに、その参照映像のこれまでの色彩の変更回数に応じて、その参照映像の明度を決定する。例えば、変更回数が１回の参照映像は、所定段階（例えば、１６段階）ある明度のうち１番低い明度のもので表示され、変更回数が４回の参照映像は、所定段階ある明度のうち４番目に低い明度のもので表示される。すなわち、色彩の変更回数が多い参照映像ほど、言い換えれば、頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示されることとなる。
【００５８】
また、表示パターンのいずれかにおいて参照映像の色彩が１回以上変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の色彩も１回以上変更されているときは、その参照映像の色彩と他の表示パターンにおける参照映像の色彩と交互に切り換えることにより、その参照映像を表示する。例えば、「赤」の表示パターンにおいては、１行目の１番目の参照映像の色彩が１回以上変更されており、かつ、「緑」の表示パターンにおいても、同じ位置に対応する１行目の１番目の参照映像の色彩が１回以上変更されているときは、「赤」および「緑」の表示パターンにおいて、その参照映像は、赤色と緑色とが交互に切り換わって表示される。
【００５９】
次いで、ステップＳ１１４に移行して、参照映像表示部１０に表示された表示パターンを記憶装置２６０に記憶し、ステップＳ１１６に移行して、表示パターン変更ボタン１６の選択を入力装置２７０から入力したか否かを判定し、表示パターン変更ボタン１６の選択を入力したと判定されたとき(Yes)は、ステップＳ１１８に移行する。ステップＳ１１６では、具体的に、利用者が入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、表示パターン変更ボタン１６のうち選択しようとするタブの位置まで移動させ、その位置のタブをクリック等で指定するようにする。
【００６０】
ステップＳ１１８では、表示パターン変更ボタン１６の選択に基づいて表示パターンを変更し、ステップＳ１２０に移行して、その表示パターンにおいて参照映像の初期表示がされているか否かを判定し、参照映像の初期表示がされていないと判定されたとき(No)は、ステップＳ１０１に移行するが、参照映像の初期表示がされていると判定されたとき(Yes)は、ステップＳ１２２に移行する。
【００６１】
ステップＳ１２２では、表示パターン変更ボタン１６の選択に基づいて表示パターンを記憶装置２６０から読み出し、ステップＳ１２４に移行して、読み出した表示パターンを参照映像表示部１０に表示し、ステップＳ１０４に移行する。一方、ステップＳ１１６で、表示パターン変更ボタン１６の選択を入力していないと判定されたとき(No)は、ステップＳ１０４に移行する。
【００６２】
一方、ステップＳ１０４で、参照映像表示部１０に表示された参照映像のうち一の参照映像の指定を入力していないと判定されたとき(No)は、ステップＳ１２６に移行して、映像の検索を終了する要求を入力装置２７０から入力したか否かを判定し、映像の検索を終了する要求を入力していないと判定されたとき(No)は、ステップＳ１０４に移行するが、映像の検索を終了する要求を入力したと判定されたとき(Yes)は、一連の処理を終了する。
【００６３】
次に、上記実施の形態の動作を図６ないし図８を参照しながら説明する。図６および図８は、参照映像表示部１０に表示する表示パターンを選択することを示す図であり、図７は、参照映像の色彩が変更される様子を示す図である。
まず、利用者は、目的の映像として、「雲が３つ」および「家が一つ」が含まれている映像を映像集合から検索するものとし、映像検索装置２００では、この場合、例えば、「赤」の表示パターンで「雲が３つ含まれている映像」を検索し、「青」の表示パターンで「家が１つ含まれている映像」を検索し、「赤」および「青」の表示パターンから最終的に目的の映像を絞り込むようにする。以下、この流れで動作を説明する。
【００６４】
映像検索装置２００において、映像集合から目的の映像を検索するときは、利用者は、まず、検索対象となる映像集合を入力するため、映像データベース１００により大まかなカテゴリ検索を行い、そのカテゴリに属する映像情報を映像集合として送信することを映像データベース１００に要求する。
映像検索装置２００では、ＲＯＭ２２０の所定領域に格納されている所定のプログラムが起動し、映像検索処理が実行されることにより、映像データベース１００から映像集合が入力され、入力した映像集合が記憶装置２６０に格納される。このとき、表示パターンの初期設定として、「赤」の表示パターンが選択されているものとすると、映像集合が記憶装置２６０から読み出され、図６に示すように、「赤」の表示パターンにおいて、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像が参照映像表示部１０に表示される。
【００６５】
ここで、利用者は、入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、参照映像表示部１０に表示された参照映像のうち指定しようとする参照映像の位置まで移動させ、その位置の参照映像をクリック等で指定する。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像のうち索出された映像に対応する参照映像の色彩が赤色に変更される。参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ａ）に示すように、いずれも色彩の変更回数が１回目であるので、所定段階ある明度のうち１番低い明度のもので表示される。すなわち、利用者が指定した参照映像と関連性のある参照映像の色彩が変更されることになる。
【００６６】
続いて、利用者は、この検索結果としての参照映像の表示パターンを参考にして、別の新たな参照映像を指定するものとする。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ｂ）に示すように、色彩の変更回数が１回目のものについては、所定段階ある明度のうち１番低い明度のもので表示され、先の検索と合わせて色彩の変更回数が２回目のものについては、所定段階ある明度のうち２番目に低い明度のもので表示される。すなわち、利用者が今回指定した参照映像と関連性のある参照映像の色彩が変更されるとともに、利用者が前回指定した参照映像と今回指定した参照映像の両方に関連性のある参照映像の色彩の明度が高くなる。
【００６７】
これと同じ要領で、３回、４回と検索を繰り返していくと、利用者がこれまで指定した参照映像と関連性のある参照映像の色彩が変更されるとともに、利用者がこれまで指定した参照映像のうち頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示される。つまり、利用者は、「赤」の表示パターンにおいて、「雲が３つ含まれている映像」を目的の映像としてこれと関連性があるであろう参照映像を次々に指定していけば、最終的に「雲が３つ含まれている映像」に対応する参照映像ほど高い明度の色彩で表示される。これにより、目的の映像をある程度絞り込むことができる。
【００６８】
次に、利用者は、「青」の表示パターンで「家が１つ含まれている映像」を検索するものとし、入力装置２７０を用いて画面上の選択用カーソル１４を操作することにより、選択用カーソル１４を、表示パターン変更ボタン１６のうち「青」のタブの位置まで移動させ、その位置のタブをクリック等で指定する。
「青」のタブが選択されるすると、表示パターンが「青」の表示パターンに変更され、映像集合が記憶装置２６０から読み出され、図８に示すように、「青」の表示パターンにおいて、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像が参照映像表示部１０に表示される。
【００６９】
ここで、利用者は、上記同様の要領で、入力装置２７０を用いて参照映像を指定する。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像のうち索出された映像に対応する参照映像の色彩が青色に変更される。参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ａ）に示すように、いずれも色彩の変更回数が１回目であるので、所定段階ある明度のうち１番低い明度のもので表示される。
【００７０】
続いて、利用者は、この検索結果としての参照映像の表示パターンを参考にして、別の新たな参照映像を指定するものとする。
参照映像の指定が入力されると、指定された参照映像に対応する映像が映像再生部１２で再生され、指定された参照映像に対応する映像の映像情報がその映像についての評価情報として取得され、取得された評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像が映像集合から検索される。この検索の結果、関連性のある映像が索出されると、参照映像表示部１０では、参照映像のうち索出された映像に対応する参照映像は、図７（ｂ）に示すように、色彩の変更回数が１回目のものについては、所定段階ある明度のうち１番低い明度のもので表示され、先の検索と合わせて色彩の変更回数が２回目のものについては、所定段階ある明度のうち２番目に低い明度のもので表示される。
【００７１】
これと同じ要領で、３回、４回と検索を繰り返していくと、利用者がこれまで指定した参照映像と関連性のある参照映像の色彩が変更されるとともに、利用者がこれまで指定した参照映像のうち頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示される。
そしてさらに、この「青」の表示パターンにおいて、参照映像の色彩が１回以上変更されており、かつ、その参照映像に対応する「赤」の表示パターンにおける参照映像の色彩も１回以上変更されているときは、その参照映像は、赤色と青色とが交互に切り換わって表示される。
【００７２】
つまり、利用者は、「青」の表示パターンにおいて、「家が１つ含まれている映像」を目的の映像としてこれと関連性があるであろう参照映像を次々に指定していけば、最終的に「家が１つ含まれている映像」に対応する参照映像ほど高い明度の色彩で表示されるとともに、「赤」の表示パターンにおいて色彩が変更されている参照映像と同じ箇所の参照映像は、赤色と青色とが交互に切り換わって表示される。これにより、この「青」の表示パターンにおいて、赤色と青色とが交互に切り換わりしかもそれらの明度が高い参照映像は、「雲が３つ含まれている映像」および「家が１つ含まれている映像」に対応する参照映像であることが判り、「赤」の表示パターンにおける検索結果からよりも目的の映像をかなり絞り込むことができる。
【００７３】
このようにして、本実施の形態では、映像集合の各映像情報ごとに、その映像情報に含まれる映像を参照するための参照映像を表示し、参照映像のうち一の参照映像の指定を入力し、指定された参照映像に対応する映像の映像情報を評価情報として取得し、取得した評価情報に基づいて、指定された参照映像に対応する映像と関連性のある映像を映像集合から検索し、参照映像のうち索出した映像に対応する参照映像の色彩を変更するようにした。これにより、目的の映像と関連性のある映像に対応する参照映像の色彩が変更されるので、数値やグラフの内容、あるいは映像の配置位置を検討しながら関連性を把握する場合に比して、目的の映像との関連性を直感的にとらえることができる。したがって、従来に比して、目的の映像との関連性の把握が容易となり、映像の検索を効率的に行うことができる。
【００７４】
さらに、本実施の形態では、ステップＳ１０６からＳ１１４までを繰り返して実行可能となっており、ステップＳ１１２は、参照映像のうち色彩を変更しようとする参照映像のこれまでの色彩の変更回数に応じて、その参照映像の明度を決定するようにした。これにより、複数回にわたって映像の検索を行えば、頻繁に索出される映像に対応する参照映像ほど高い明度の色彩で表示されるので、目的の映像と関連性の高い映像を直感的にとらえることができる。したがって、目的の映像と関連性が高い映像の把握が容易となり、映像の検索をさらに効率的に行うことができる。
【００７５】
さらに、本実施の形態では、表示パターンのいずれかにおいて参照映像の色彩が１回以上変更されており、かつ、その参照映像に対応する他の表示パターンにおける参照映像の色彩も１回以上変更されているときは、その参照映像の色彩と他の表示パターンにおける参照映像の色彩と交互に切り換えることにより、その参照映像を表示するようにした。これにより、表示パターンのいずれかにおいて、色が交互に切り換わる参照映像は、利用者がこの表示パターンで与えた検索条件と他の表示パターンで与えた検索条件の両方に関連性がある映像であることを示しているので、検索結果からは、両方の検索条件との関連性が得られ、複数の検索条件を用いて複合的に映像の検索を行うことができる。したがって、映像の検索をさらに効率的に行うことができる。
【００７６】
さらに、本実施の形態では、表示パターン変更ボタン１６の選択を入力し、表示パターン変更ボタン１６の選択に基づいて参照映像表示部１０に表示する表示パターンを変更するようにした。これにより、各表示パターンごとに異なる検索条件を与えて参照映像を表示し、かつ、検索条件を絞り込んで表示を変更することができる。
【００７７】
なお、上記実施の形態においては、参照映像を、所定の色彩の四角形の画像として表示するように構成したが、これに限らず、映像情報に含まれる複数の映像を所定時間間隔で区分したときの各区分を代表する代表映像として表示するように構成してもよい。
また、上記実施の形態においては、指定された参照映像に対応する映像を映像再生部１２で再生するように構成したが、これに限らず、指定された参照映像に対応する映像を代表する代表映像を表示し、あるいは対応するテキスト情報を表示するように構成してもよい。
【００７８】
また、上記実施の形態においては、各表示パターンでは、参照映像の色彩を他の表示パターンとはそれぞれ異なる色に変更するように構成したが、これに限らず、例えば、表示パターンごとに参照映像の形状を変更したり、表示パターンに応じた記号などのマークを参照映像に付したりして構成することもできる。
また、上記実施の形態においては、指定された参照映像に対応する映像の映像情報を評価情報として取得するように構成したが、具体的に映像内から映像情報を抽出するには、例えば、映像に対し既に付与されている映像情報を用いたり、参照映像表示部１０において映像を解析し映像情報を抽出したりすることにより行うことができる。
【００７９】
また、上記実施の形態においては、指定された参照映像に対応する映像の映像情報を評価情報として取得するように構成したが、これに限らず、評価情報を取得するには、利用者に映像情報を選択してもらい、数値入力などによって、例えば画面全体の色がどの程度目的の映像と類似しているかを入力することにより行うことができる。
【００８０】
また、上記実施の形態においては、評価情報との一致度が所定値を超える映像情報を評価情報と一致する映像情報であると判定し、その映像に対応する参照映像の色彩を単に変更するように構成したが、これに限らず、評価情報との一致度に応じて参照映像の表示態様を変更するように構成してもよい。この場合、すべての参照映像の表示態様を変更してしまうと、却って判りづらくなる可能性があるので、評価情報との一致度が所定値を超える映像情報を対象として、その映像に対応する参照映像の表示態様を変更するのが好ましい。
【００８１】
また、上記実施の形態においては、映像集合を入力して映像集合から目的の映像を検索する映像検索装置２００，３００に本発明を適用した場合について説明したが、これに限らず、本発明の主旨を逸脱しない範囲で他のものにも適用可能である。
また、上記実施の形態において、図３のフローチャートに示す映像検索処理を実行するにあたっては、ＲＯＭ２２０にあらかじめ格納されている所定のプログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ２３０に読み込んで実行するようにしてもよい。
【００８２】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００８３】
上記実施の形態において、ステップＳ１０２は、請求項１、２または５記載の表示ステップに対応し、ステップＳ１０４は、請求項１、２または５記載の指定ステップに対応し、ステップＳ１０８は、請求項１、２または５記載の取得ステップに対応し、ステップＳ１１０は、請求項１、２または５記載の検索ステップに対応し、ステップＳ１１２は、請求項１、２または５記載の変更ステップに対応している。
【００８４】
また、上記実施の形態において、ステップＳ１０２は、請求項３、４または６記載の参照映像表示手段に対応し、ステップＳ１０４は、請求項３、４または６記載の入力手段に対応し、ステップＳ１０８は、請求項３、４または６記載の取得手段に対応し、ステップＳ１１０は、請求項３、４または６記載の検索手段に対応し、ステップＳ１１２は、請求項３、４または６記載の変更手段に対応している。
【００８５】
【発明の効果】
以上説明したように、本発明に係る請求項１若しくは２記載の映像検索方法、請求項３若しくは４記載の映像検索装置、または、請求項５若しくは６記載の記憶媒体によれば、目的の映像と関連性のある映像に係る参照映像の表示態様が変更されるので、数値やグラフの内容、あるいは映像の配置位置を検討しながら関連性を把握する場合に比して、目的の映像との関連性を直感的にとらえることができる。したがって、従来に比して、目的の映像との関連性の把握が容易となり、映像の検索を効率的に行うことができるという効果が得られる。
【００８６】
さらに、本発明に係る請求項１記載の映像検索方法、または、請求項３記載の映像検索装置によれば、複数回にわたって映像の検索を行ったときに、頻繁に索出される映像に係る参照映像ほど表示態様が変更されるので、目的の映像と関連性の高い映像を直感的にとらえることができる。したがって、目的の映像と関連性が高い映像の把握が容易となり、映像の検索をさらに効率的に行うことができるという効果も得られる。
【００８７】
さらに、本発明に係る請求項２記載の映像検索方法、または、請求項４記載の映像検索装置によれば、表示パターンのいずれかにおいて、他の表示パターンにおいても表示態様が変更されていることを示す表示態様で表示された参照映像は、利用者がこの表示パターンで与えた検索条件と他の表示パターンで与えた検索条件の両方に関連性がある映像であることを示しているので、検索結果からは、両方の検索条件との関連性が得られ、複数の検索条件を用いて複合的に映像の検索を行うことができる。したがって、映像の検索をさらに効率的に行うことができるという効果も得られる。
【図面の簡単な説明】
【図１】本発明に係る映像検索方法および映像検索装置を適用する映像検索ネットワークシステムの構成を示すブロック図である。
【図２】映像検索装置２００の構成を示すブロック図である。
【図３】映像検索処理を示すフローチャートである。
【図４】表示装置２９０の表示画面の構成を示す図である。
【図５】参照映像表示部の構成を示す図である。
【図６】参照映像表示部１０に表示する表示パターンを選択することを示す図である。
【図７】参照映像の色彩が変更される様子を示す図である。
【図８】参照映像表示部１０に表示する表示パターンを選択することを示す図である。
【図９】従来の関連フィードバックを用いたシステムにより行われる映像検索の様子を示す図である。
【符号の説明】
１００ 映像データベース
９９ 通信ケーブル
２００，３００ 映像検索装置
２１０ ＣＰＵ
２２０ ＲＯＭ
２３０ ＲＡＭ
２３５ ＶＲＡＭ
２４０ ＣＲＴＣ
２５０ Ｉ／Ｆ
２６０ 記憶装置
２７０ 入力装置
２８０ 表示装置
Claims (6)
- 複数の映像から目的の映像を検索する方法であって、
前記複数の映像を参照するための参照映像を表示する表示ステップと、
前記参照映像のうち少なくとも一の参照映像を利用者に指定させる指定ステップと、
前記複数の映像のうち指定に係る映像についての評価情報を取得する取得ステップと、
取得した評価情報に基づいて前記複数の映像から映像を検索する検索ステップと、
前記検索ステップの検索結果に基づいて前記参照映像の表示態様を変更する変更ステップと、を含み、
前記指定ステップ、前記取得ステップ、前記検索ステップ及び前記変更ステップを複数回繰り返して行い、
前記変更ステップは、前記参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様を段階的に変更することを特徴とする映像検索方法。 - 複数の映像から目的の映像を検索する方法であって、
前記複数の映像を参照するための参照映像を複数の表示パターンでそれぞれに表示する表示ステップと、
前記複数の表示パターンの中の一つの表示パターンで、前記参照映像のうち少なくとも一の参照映像を利用者に指定させる指定ステップと、
前記複数の映像のうち指定に係る映像についての評価情報を取得する取得ステップと、
取得した評価情報に基づいて前記複数の映像から映像を検索する検索ステップと、
前記検索ステップの検索結果に基づいて、前記指定された表示パターンの参照映像の表示態様を変更する変更ステップと、を含み、
前記指定ステップ、前記取得ステップ、前記検索ステップ及び前記変更ステップを複数回繰り返して行い、
前記変更ステップは、前記複数の表示パターンで互いに異なり各表示パターンに依存した表示態様に参照映像を変更するとともに、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像を、当該表示パターンと変更された他の表示パターンの表示態様とで交互に切り換えて表示することを特徴とする映像検索方法。 - 複数の映像から目的の映像を検索する装置であって、
前記複数の映像を参照するための参照映像を表示する参照映像表示手段と、
前記参照映像のうち少なくとも一の参照映像の指定を入力する入力手段と、
前記複数の映像のうち指定に係る映像についての評価情報を取得する取得手段と、
取得した評価情報に基づいて前記複数の映像から映像を検索する検索手段と、
前記検索手段の検索結果に基づいて前記参照映像の表示態様を変更する変更手段と、を備え、
前記入力手段、前記取得手段、前記検索手段及び前記変更手段を複数回繰り返して実行可能となっており、
前記変更手段は、前記参照映像のうち表示態様を変更しようとする参照映像のこれまでの表示態様の変更回数に応じて、その参照映像の表示態様を段階的に変更するようになっていることを特徴とする映像検索装置。 - 複数の映像から目的の映像を検索する装置であって、
前記複数の映像を参照するための参照映像を複数の表示パターンでそれぞれに表示する参照映像表示手段と、
前記複数の表示パターンの中の一つの表示パターンで、前記参照映像のうち少なくとも一の参照映像の指定を入力する入力手段と、
前記複数の映像のうち指定に係る映像についての評価情報を取得する取得手段と、
取得した評価情報に基づいて前記複数の映像から映像を検索する検索手段と、
前記検索手段の検索結果に基づいて、前記指定された表示パターンの参照映像の表示態様を変更する変更手段と、を備え、
前記入力手段、前記取得手段、前記検索手段及び前記変更手段を複数回繰り返して実行可能となっており、
前記変更手段は、前記複数の表示パターンで互いに異なり各表示パターンに依存した表示態様に参照映像を変更するとともに、その参照映像に対応する他の表示パターンにおける参照映像の表示態様も変更されているときは、その参照映像を、当該表示パターンと変更された他の表示パターンの表示態様とで交互に切り換えて表示するようになっていることを特徴とする映像検索装置。 - 複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体であって、
請求項 1 及び２のいずれかに記載の、前記表示ステップ、前記指定ステップ、前記取得ステップ、前記検索ステップ及び前記変更ステップをコンピュータに実行させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。 - 複数の映像から目的の映像を検索するためのプログラムを記憶した記憶媒体であって、
請求項３及び４のいずれかに記載の、前記参照映像表示手段、前記入力手段、前記取得手段、前記検索手段及び前記変更手段としてコンピュータを機能させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15265599A JP3916802B2 (ja) | 1999-05-31 | 1999-05-31 | 映像検索方法、映像検索装置及び記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15265599A JP3916802B2 (ja) | 1999-05-31 | 1999-05-31 | 映像検索方法、映像検索装置及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000341615A JP2000341615A (ja) | 2000-12-08 |
| JP3916802B2 true JP3916802B2 (ja) | 2007-05-23 |
Family
ID=15545192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15265599A Expired - Lifetime JP3916802B2 (ja) | 1999-05-31 | 1999-05-31 | 映像検索方法、映像検索装置及び記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3916802B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8539002B2 (en) * | 2000-03-14 | 2013-09-17 | Koninklijke Philips N.V. | Subjective information record for linking subjective information about a multimedia content with the content |
| CN104657376B (zh) * | 2013-11-20 | 2018-09-18 | 航天信息股份有限公司 | 基于节目关系的视频节目的搜索方法和装置 |
| JP6398341B2 (ja) * | 2014-06-09 | 2018-10-03 | 富士通株式会社 | 映像抽出方法、映像再生方法、プログラム、及び装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3621449B2 (ja) * | 1993-12-14 | 2005-02-16 | 株式会社東芝 | 類似情報検索装置とその方法 |
| JPH1115855A (ja) * | 1997-06-26 | 1999-01-22 | Fuji Xerox Co Ltd | 画像処理装置 |
| JP4540134B2 (ja) * | 1997-11-05 | 2010-09-08 | 株式会社ニコン | 情報処理装置および方法、並びに記録媒体 |
-
1999
- 1999-05-31 JP JP15265599A patent/JP3916802B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000341615A (ja) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4363792B2 (ja) | 情報検索システムおよび方法 | |
| US9817863B1 (en) | Attribute category enhanced search | |
| JPWO2009072466A1 (ja) | 画像分類装置および画像分類プログラム | |
| US20050210019A1 (en) | Method and apparatus for retrieving image from database, and computer product | |
| US6789088B1 (en) | Multimedia description scheme having weight information and method for displaying multimedia | |
| US20040088291A1 (en) | Retrieval condition setting method and retrieval condition setting apparatus | |
| JP2011053781A (ja) | 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法 | |
| JP2011039944A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JPH09138804A (ja) | 画像検索装置 | |
| JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
| JP2013050502A (ja) | 広告表示制御装置、広告表示制御方法、およびプログラム | |
| JP3916802B2 (ja) | 映像検索方法、映像検索装置及び記憶媒体 | |
| JP2004005303A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
| WO2001082131A1 (fr) | Dispositif d'extraction d'informations | |
| KR100763197B1 (ko) | 컨텐츠 검색 방법 및 장치 | |
| JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
| JP2004013426A (ja) | マルチメディア情報提供システム及びその方法並びにマルチメディア情報提供プログラム及びその記録媒体 | |
| JPH10340272A (ja) | 類似画像検索装置及び方法 | |
| JP6041203B2 (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
| JP3921106B2 (ja) | 画像データベース装置 | |
| JP7569382B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
| JP6409294B2 (ja) | 情報処理装置、システム、方法及びプログラム | |
| JP3412748B2 (ja) | 映像データベース検索表示方法、装置および映像データベース検索表示プログラムを記録した記録媒体 | |
| JP2010250633A (ja) | 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法 | |
| JPH04267480A (ja) | 画像データベース検索方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3916802 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |