JP3994188B2

JP3994188B2 - Multimedia data search system, multimedia search method, and program for realizing the search method

Info

Publication number: JP3994188B2
Application number: JP2002310995A
Authority: JP
Inventors: 貴志花本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2007-10-17
Anticipated expiration: 2022-10-25
Also published as: JP2004145706A

Description

【０００１】
【発明の属する技術分野】
本発明は、キーワードを用いてマルチメディアデータを検索するマルチメディアデータ検索システム、マルチメディアデータ検索方法および該検索方法を実現するためのプログラムに関する。
【０００２】
【従来の技術】
キーワードを用いた検索は、従来から行われており、検索を補助するシステムも多く登場している。例えば、入力されたキーワードの類義語を用いて、検索を行うようにしたものがある（例えば、特許文献１参照）。しかし、実際にキーワードを用いて、所望の画像を検索することは容易ではない。なぜなら、検索用に入力するキーワードは、ユーザ個人の主観によって大きく異なり、類義語ではカバーできないことが多いからである。例えば、ある山の写真を見て、「高い」と感じる人もいれば、「低い」と感じる人もいるからである。そのため、検索結果を得るために何度も検索し直すということが頻繁に発生し得る。
【０００３】
また、検索用に登録されたキーワード数が少ない場合もある。例えば、運動会で撮影した画像があり、場所と時間のキーワードしか登録されていないとする。そのような画像に対して、ユーザが「運動会」というキーワードを思いつき、検索を行っても、その画像は検索できない。このような場合、例えば、文書検索においては、検索用にユーザが入力したキーワードを新たなキーワードとして、登録する方法も存在する（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開平１１−２７２７０６号公報
【特許文献２】
特開平９−１９８３９５号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記従来の方法は、文書の全文検索に適用できるものの、メタデータを用いた静止画像検索などには適用できない。
【０００６】
本発明は、この点に着目してなされたものであり、検索効率をより向上させることが可能となるマルチメディアデータ検索システムを提供することを目的とする。
【０００７】
上記目的を達成するため、請求項１に記載のマルチメディアデータ検索システムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索システムにおいて、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースと、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードを入力する入力手段と、前記入力手段で前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶手段と、前記入力手段によって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索手段と、前記検索手段で検索されたマルチメディアデータから、前記所望のマルチメディアデータを選択する選択手段と、前記選択手段で前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶手段に累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶手段とを有することを特徴とする。
上記目的を達成するため、請求項２に記載のマルチメディアデータ検索システムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索システムにおいて、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースと、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードを入力する入力手段と、前記入力手段で前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶手段と、前記入力手段によって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索手段と、前記検索手段で検索されたマルチメディアデータから、前記所望のマルチメディアデータを選択する選択手段と、前記選択手段で前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶手段に累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶手段とを有することを特徴とする。
請求項３に記載のマルチメディアデータ検索システムは、請求項１または２のマルチメディアデータ検索システムにおいて、前記データベースは、検索を行うユーザごとに用意されることを特徴とする。
請求項４に記載のマルチメディアデータ検索システムは、請求項１または２のマルチメディアデータ検索システムにおいて、前記検索手段によって検索されたマルチメディアデータの一覧を表示する一覧表示手段をさらに有することを特徴とする。
請求項５に記載のマルチメディアデータ検索システムは、請求項１または２のマルチメディアデータ検索システムにおいて、前記クエリキーワード記憶手段に記憶されているクエリキーワードを消去する消去手段をさらに有することを特徴とする。
請求項６に記載のマルチメディアデータ検索システムは、請求項１のマルチメディアデータ検索システムにおいて、前記検索用キーワード追加記憶手段は、前記キーワードを前記データベースに追加記憶するときに、前記クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加記憶することを特徴とする。
請求項７に記載のマルチメディアデータ検索システムは、請求項２のマルチメディアデータ検索システムにおいて、前記メタデータ追加記憶手段は、キーワードを当該メタデータに追加記憶するときに、前記クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加記憶することを特徴とする。
請求項８に記載のマルチメディアデータ検索システムは、請求項２のマルチメディアデータ検索システムにおいて、前記メタデータは、当該マルチメディアデータとは、別のファイルとして保存されており、当該マルチメディアデータと、リンクで結ばれていることを特徴とする。
上記目的を達成するため、請求項９に記載のマルチメディアデータ検索方法は、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶ステップとを有することを特徴とする。
上記目的を達成するため、請求項１０に記載のマルチメディアデータ検索方法は、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶ステップとを有することを特徴とする。
上記目的を達成するため、請求項１１に記載のプログラムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、前記マルチメディアデータ検索方法は、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶ステップとを有することを特徴とする。
上記目的を達成するため、請求項１２に記載のプログラムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、前記マルチメディアデータ検索方法は、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶ステップとを有することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【０００９】
（第１の実施の形態）
本実施の形態では、画像検索を繰り返すことによって、検索用キーワードを増加させる（検索効率を上げる）ことができる検索システムの構築方法について説明する。
【００１０】
図１は、本発明の第１の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【００１１】
同図に示すように、マルチメディアデータ検索システム１は、入力装置２と、表示装置３と、蓄積装置４と、ＣＰＵ５と、ＲＯＭ６と、ＲＡＭ７とにより、主として構成されている。そして、上記構成要素２〜７は、バス８を介して、相互に接続されている。
【００１２】
入力装置２は、ユーザからの指示や、データを入力するものであり、キーボードやマウスなどのポインティングシステムを含む。本実施の形態では、文字の入力にはキーボードを用い、ボタンの押下（クリック）にはマウスを用いている。
【００１３】
表示装置３は、ＧＵＩ（Graphical User Interface）などを表示するものであり、通常はＣＲＴ（Cathode-ray Tube）や、液晶ディスプレイなどが用いられる。
【００１４】
蓄積装置４は、画像データや、検索用キーワードのデータベースを蓄積するものであり、通常は、ハードディスク装置（ＨＤＤ）が用いられる。
【００１５】
ＣＰＵ５は、上述した各構成要素の処理の全てに関わる。
【００１６】
ＲＯＭ６およびＲＡＭ７は、ＣＰＵ５が実行する処理に必要なプログラム、データおよび作業領域などをＣＰＵ５に提供する。また、以降のフローチャートの処理に必要な制御プログラムは、蓄積装置４に格納されているか、ＲＯＭ６に格納されているものとする。蓄積装置４に格納されている場合は、一旦ＲＡＭ３に読み込まれてから実行される。
【００１７】
なお、本実施の形態のマルチメディアデータ検索システムには、上記以外にも、様々な構成要素が存在するが、本発明の特徴ではないので、その説明は省略する。
【００１８】
図２は、画像データ（DCF_0001.jpg）１１にメタデータ１２が登録されている様子を示した図である。なお、本実施の形態では、説明の都合上、マルチメディアデータとして、画像データ（静止画像データ）を例に挙げて説明するが、これに限らず、動画像データや音声データ等、どのようなデータであってもよい。
【００１９】
メタデータとは、データに付随するデータのことで、画像データにおいては、主に撮影日時や被写体の情報などを意味する。通常、画像データを検索する際には、このメタデータをキーワードとして、データベースに登録しておき、このデータベースのキーワードを用いて、検索を行う。もちろん、このメタデータを直接用いて、検索を行っても良い。
【００２０】
なお、本実施の形態では、メタデータ１２を画像データ１１に登録する際には、ＸＭＬ（Extensible Markup Language）で記述する。もちろん、ＸＭＬ以外にも、ＳＧＭＬ（Standard Generalized Markup Language）、ＣＳＶ（Comma Separated Value）など、データを記述できるものなら、何を採用してもよい。
【００２１】
図３は、図２のメタデータ１２を画像データ１１に登録する方法の一例を示した概略図である。
【００２２】
図３に示すように、画像データの末尾に、メタデータを付加する形式になっている。もちろん、この方法以外にも、画像データのヘッダ部分にメタデータを記述する方法でも構わないし、メタデータを別ファイルとして持ち、画像データには、メタデータファイルへのリンクのみを記述するような方法であっても構わない。
【００２３】
図４は、メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である。
【００２４】
同図に示すように、キーワードデータベース１３内には、画像ファイル名、画像ファイルへのパス、メタデータから取り出した検索用キーワードが登録されている。
【００２５】
図５は、一般的な画像検索アプリケーションの概要を表した図である。
【００２６】
同図に示すように、クエリとなるキーワードを、クエリキーワード入力領域２２に入力し、検索開始ボタン２４をクリックすると、検索を開始する。検索が終了すると、検索結果一覧表示画面２６に、検索された画像群のサムネイル一覧が表示される。サムネイル一覧の中から、サムネイルを一つ選んでクリックすると、画像選択カーソル２７がそのサムネイルに移動する。画像選択カーソル２７によって、選択されているサムネイルを、ダブルクリックすると、画像表示画面２８が現れ、選択されているサムネイルを拡大表示する。拡大表示された画像が検索対象である場合には、ＯＫボタン２９をクリックする。検索対象でなかった場合には、Ｃａｎｃｅｌボタン３０をクリックする。
【００２７】
また、複数のキーワードで検索を行う場合には、ＡＮＤ／ＯＲ指定を、検索モード切り替えスイッチ２３を用いて行う。なお、本実施の形態では、単数キーワードでの検索を考えているので、特に言及しない。
【００２８】
また、検索クリアボタン２５は、現在の検索を中止して、新たに検索を行う場合に使用する。
【００２９】
図６は、図５の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【００３０】
同図において、まず、ステップＳ１では、ユーザが検索を行うかどうかを判別する。検索を行う場合には、ステップＳ２に進み、検索を行わない場合には、全ての処理を終了する。
【００３１】
ステップＳ２では、クエリとなるキーワードを入力する。
【００３２】
次に、ステップＳ３では、検索開始ボタン２４をクリックする。
【００３３】
そして、ステップＳ４では、システム側により、クエリキーワードが、クエリキーワード履歴に保存される。クエリキーワード履歴とは、ＲＡＭ７に作成されたメモリ領域で、検索に利用したクエリキーワードを全て保存できる。例えば、図７において、始めに「結婚式」（第１クエリキーワード４１）というキーワードで、検索を行ったとする。すると、始めは空だったクエリキーワード履歴に、「結婚式」というキーワードが追加される（クエリキーワード履歴４２）。同様に、「披露宴」（第２クエリキーワード４３）というキーワードで検索を行った場合、クエリキーワード履歴に「披露宴」が追加される（クエリキーワード履歴４４）。このように、所望の画像を検索するために、異なるキーワードで検索を何度も繰り返すと、その都度、クエリキーワード履歴にキーワードが追加されていく。
【００３４】
次に、ステップＳ５では、入力したクエリキーワードと、データベースに登録されているキーワードとの一致が、システムにより調査され、データベースに一致するキーワードが見つかれば、その画像データのサムネイルが検索結果一覧表示画面２６に表示される。なお、このときの一致とは、全文一致でも、部分一致でも構わない。
【００３５】
そして、ステップＳ６では、検索結果一覧表示画面２６に表示されたサムネイルの中から、検索対象と思われる画像があるかどうかを判断し、ある場合には、ステップＳ７に進む一方、ない場合には、ステップＳ１に戻る。
【００３６】
ステップＳ１に戻った際に、別の画像を検索する場合は、図５の検索クリアボタン２５を押す。すると、クエリキーワード履歴の内容が全て消去され、新たな検索を行える。
【００３７】
ステップＳ７では、検索対象と思われるサムネイルをダブルクリックし、画像表示画面２８を用いて、画像を閲覧する。
【００３８】
続くステップＳ８では、閲覧した画像が検索対象であるかどうかを判断し、検索対象であった場合には、ＯＫボタン２９をクリックし、ステップＳ９に進む一方、検索対象でなかった場合には、Ｃａｎｃｅｌボタン３０を押し、ステップＳ６に戻る。
【００３９】
ステップＳ９では、クエリキーワード履歴に保存されているキーワードが、データベースに追加登録される。具体的には、図７のクエリキーワード履歴４６の状態で検索対象が見つかったとすると、クエリキーワード履歴４６内に保存されている、「結婚式」、「披露宴」、「○×教会」がデータベースへの追加候補として挙げられる。しかし、データベース４７には、もともと、「○×教会」が登録済みであるので、「○×教会」はここでは登録されず、結局、「結婚式」、「披露宴」の２つのキーワードがデータベースに追加登録される。もちろん、追加するキーワードをユーザが選定するような構成であっても、構わない。
【００４０】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００４１】
（第２の実施の形態）
本実施の形態では、複数のキーワードを用いて、ＡＮＤ検索を行うことにより、検索用キーワードを増加させる（検索効率を上げる）ことのできる検索システムの構築方法について説明する。
【００４２】
本実施の形態におけるシステム構成等は、上記第１の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第１の実施の形態と同様であるので、その詳細な説明は省略する。
【００４３】
図８は、ＡＮＤ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。ＡＮＤ検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【００４４】
まず始めに、第１クエリキーワード５１で、検索を行うと、クエリキーワード履歴５２のようになる。ここで、検索対象が見つからなかったとして、第２クエリキーワード５３で、再び検索を行う。すると、本来であれば、第２クエリキーワード５３に含まれるキーワード全てが、クエリキーワード履歴に追加されるはずであるが、ＡＮＤ検索の場合は、第１クエリキーワード５１と、第２クエリキーワード５３に同じキーワードが含まれる場合がある。よって、この場合は、「７月１日」はもう既に、クエリキワード履歴に存在するので、「○×教会」のみ、追加される（クエリキーワード履歴５４）。ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「７月１日」および「○×教会」の４つのキーワードが追加されるはずであるが、もともとデータベース５５には、「○×教会」と「７月１日」が登録されているので、この場合は、「結婚式」と「披露宴」のみ追加登録される（キーワードデータベース５６）。
【００４５】
このように、本実施の形態では、ＡＮＤ検索においても、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００４６】
（第３の実施の形態）
本実施の形態では、複数のキーワードを用いて、ＯＲ検索を行うことにより、検索用キーワードを増加させる（検索効率を上げる）ことのできる検索システムの構築方法について説明する。
【００４７】
本実施の形態におけるシステム構成等は、上記第１の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第１の実施の形態と同様であるので、その詳細な説明は省略する。
【００４８】
図９は、ＯＲ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。ＯＲ検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【００４９】
まず始めに、第１クエリキーワード６１で、検索を行うと、クエリキーワード履歴６２のようになる。ここで、検索対象が見つからなかったとして、第２クエリキーワード６３で、再び検索を行うと、クエリキーワード履歴６４のようになる。ＡＮＤ検索と違い、第１クエリキーワードと、第２クエリキーワードが重なることはないので、ＯＲ検索の場合は、クエリキーワード全てがクエリキーワード履歴に保存される。
【００５０】
ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「○×教会」および「佐藤○△」の４つのキーワードが追加されるはずであるが、もともとデータベース６５には、「○×教会」が登録されてあるので、この場合は、「結婚式」、「披露宴」および「佐藤○△」のみ追加登録される（キーワードデータベース６６）。
【００５１】
このように、本実施の形態では、ＯＲ検索においても、ユーザが検索時に思い浮かんだキーワードをデータベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００５２】
（第４の実施の形態）
本実施の形態では、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する方法について説明する。
【００５３】
本実施の形態におけるシステム構成等は、前記第１の実施の形態の用いればよいので、その説明を省略する。
【００５４】
図１０は、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【００５５】
同図において、まず、ステップＳ１１で、ユーザが検索システムを立ち上げると、図１２の検索システムログインウィンドウが起動される。そこで、初めて検索を行う場合は、ユーザ新規登録ボタン８４を押し、ステップＳ１２に進む。もう既に一度以上検索を行ったことがある場合は、ステップＳ１４に進む。
【００５６】
ステップＳ１２では、図１３のユーザ新規登録ウィンドウ９１が起動される。そして、ユーザ名入力フィールド９２に希望のユーザ名を入力し、ユーザ登録・検索開始ボタン９３を押下することによって、検索システム内で、新規ユーザとして登録され、同時にそのユーザ独自のキーワードデータベースが新規に作成される。
【００５７】
次に、ステップＳ１３では、作成された新規キーワードデータベースの読み出しが行われ、図５の画像検索アプリケーション２１が起動される。そこで、新規キーワードデータベースを用いた検索システムが提供される。
【００５８】
ステップＳ１４では、図１２の検索システムログインウィンドウ８１の、ユーザ名入力フィールド８２にユーザ名を入力し、ログインボタン８３を押すことによって、検索システムにログインすることができる。
【００５９】
ステップＳ１５では、ログインしたユーザのユーザデータベースが読み出され、画像検索アプリケーション２１が起動される。そこで、ユーザ独自のキーワードデータベースを用いた検索システムが提供される。
【００６０】
ステップＳ１６では、検索作業を行う。検索作業の詳細については、前記第１〜第３の実施の形態で説明済みであるので、ここでの説明は省略する。
【００６１】
ステップＳ１７では、検索が終了すると、検索システムからユーザがログオフする。
【００６２】
このように、本実施の形態では、ユーザごとに異なったデータベースを用意し、それぞれが検索を行うことによって、独自のキーワードを追加登録することができ、ユーザの個性に合わせた検索システムを構築することができる。
【００６３】
図１１は、実際に２人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【００６４】
画像データDCF_0002.jpgには、エメラルドグリーンの海が写っており、「海」と「夏」の２つのキーワードがデータベースに登録されている（新規キーワードデータベース７１）。この画像データDCF_0002.jpg（「海」の写った画像）を、ユーザＡとユーザＢが検索を行う。
【００６５】
ユーザＡは、「海」という言葉に対して、「青い」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード７２にする。
【００６６】
一方、ユーザＢは、「海」という言葉に対して、「透明」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード７４にする。
【００６７】
画像データDCF_0002.jpgをＯＲ検索で検索後、両者のキーワードデータベースは、それぞれ、ユーザＡ用キーワードデータベース７３およびユーザＢ用キーワードデータベース７５となり、ユーザ毎に異なったデータベースが構築される。こうすることで、本来エメラルドグリーンである画像に対しても、ユーザＡは「青い」というキーワードで、今後検索できるようになる。同様に、本来エメラルドグリーンである画像に対しても、ユーザＢは「透明」というキーワードで、今後検索できるようになる。
【００６８】
このように、それぞれのユーザが思い浮かんだキーワードを、そのままデータベースに登録できるので、ユーザは、自分の思い浮かんだキーワードで検索を行うことができるようになる。
【００６９】
（第５の実施の形態）
本実施の形態では、画像データに付加されたメタデータから直接、検索・キーワードの追加登録を行う方法について説明する。
【００７０】
本実施の形態におけるシステム構成等は、前記第１の実施の形態の用いればよいので、その説明を省略する。
【００７１】
ある画像データに、図１４のように、メタデータ１０１が付加されていたとする。前記第１〜第４の実施の形態では、このメタデータ内にあるキーワードをデータベースに登録して、検索を行っていたが、ここでは、メタデータ内にあるキーワードを、そのまま検索用キーワードとして使用する。例えば、クエリキーワード１０２を用いて、ＯＲ検索を行うとする。
【００７２】
前記第１〜第４の実施の形態では、データベース内にあるキーワードと、クエリキーワード１０２との一致を調査したが、この場合は、メタデータ１０１を直接読み出して、その中にあるキーワードとの一致を調査する。すると、「○×教会」というキーワードが一致し、検索が終了する。このとき、クエリキーワード履歴には、「佐藤○△」が保存されており、このキーワードがメタデータに追加登録される（メタデータ１０３）。
【００７３】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードをメタデータに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００７４】
なお、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００７５】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７６】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００７７】
また、コンピュータが読出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９５】
【発明の効果】
以上説明したように、本発明によれば、一度検索に用いたキーワードを、新たな検索用キーワードとして、データベースやメタデータに追加登録することによって、検索効率を上げることができ、検索にかかる煩わしさを軽減することができる。
【００９６】
また、ユーザごとに、異なったデータベースを用意することによって、ユーザの個性に合わせた画像検索システムが構築できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【図２】画像データにメタデータが登録されている様子を示した図である。
【図３】図２のメタデータを画像データに登録する方法の一例を示した概略図である。
【図４】メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である。
【図５】一般的な画像検索アプリケーションの概要を表した図である。
【図６】図５の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【図７】図５のキーワード追加処理を説明するための図である。
【図８】ＡＮＤ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図９】ＯＲ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図１０】異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【図１１】実際に２人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【図１２】起動された検索システムログインウィンドウの一例を示す図である。
【図１３】起動されたユーザ新規登録ウィンドウ９１の一例を示す図である。
【図１４】メタデータのキーワードが増加する様子を表した概要図である。
【符号の説明】
１マルチメディアデータ検索システム
２入力装置
３表示装置
４蓄積装置
５ＣＰＵ
６ＲＯＭ
７ＲＡＭ
８バス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multimedia data search system that searches multimedia data using keywords, a multimedia data search method, and a program for realizing the search method.
[0002]
[Prior art]
Search using keywords has been performed conventionally, and many systems that assist the search have appeared. For example, there is a search that uses a synonym of an input keyword (see, for example, Patent Document 1). However, it is not easy to actually search for a desired image using a keyword. This is because the keywords to be input for searching vary greatly depending on the user's individual subjectivity and cannot often be covered by synonyms. For example, looking at a picture of a mountain, some people feel “high” and others feel “low”. Therefore, it may frequently occur that the search is performed again and again to obtain the search result.
[0003]
In some cases, the number of keywords registered for search is small. For example, it is assumed that there is an image taken at an athletic meet and only keywords of location and time are registered. Even if the user comes up with the keyword “athletic meet” and searches for such an image, the image cannot be searched. In such a case, for example, in document search, there is a method of registering a keyword input by the user for search as a new keyword (see, for example, Patent Document 2).
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-272706
[Patent Document 2]
JP-A-9-198395
[0005]
[Problems to be solved by the invention]
However, although the conventional method can be applied to full-text search of documents, it cannot be applied to still image search using metadata.
[0006]
The present invention has been made paying attention to this point, and an object of the present invention is to provide a multimedia data search system capable of further improving the search efficiency.
[0007]
In order to achieve the above object, a multimedia data retrieval system according to claim 1 comprises: In a multimedia data search system for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, A database for storing each multimedia data in association with at least one keyword; For retrieving the desired multimedia data An input means for inputting a keyword as a query; Said By input means For retrieving the desired multimedia data Each time a keyword is entered, For searching the desired multimedia data Query keyword storage means for accumulating and storing keywords, and input by the input means For retrieving the desired multimedia data Based on a keyword, search means for searching multimedia data, and multimedia data searched by the search means, Said Selecting means for selecting desired multimedia data; and Until the desired multimedia data is selected In the query keyword storage means Cumulative Remembered For retrieving the desired multimedia data Keyword To the desired multimedia data Search keyword addition storage means for additionally storing in the database in association with each other.
In order to achieve the above object, the multimedia data retrieval system according to claim 2 comprises: In a multimedia data search system for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, A database for storing metadata including at least one keyword in association with each multimedia data; For retrieving the desired multimedia data An input means for inputting a keyword as a query; Said Input means For searching for the desired multimedia data Each time a keyword is entered, For searching the desired multimedia data Query keyword storage means for accumulating and storing keywords, and input by the input means For retrieving the desired multimedia data Based on a keyword, search means for searching multimedia data, and multimedia data searched by the search means, Said Selecting means for selecting desired multimedia data; and Until the desired multimedia data is selected In the query keyword storage means Cumulative Remembered For retrieving the desired multimedia data Keyword To the desired multimedia data And a metadata addition storage means for additionally storing the metadata in association with the metadata corresponding to the multimedia data.
The multimedia data search system according to claim 3 is the multimedia data search system according to claim 1 or 2, wherein the database is prepared for each user who performs a search.
The multimedia data search system according to claim 4, further comprising list display means for displaying a list of multimedia data searched by the search means in the multimedia data search system according to claim 1 or 2. And
The multimedia data search system according to claim 5, further comprising an erasing unit for erasing a query keyword stored in the query keyword storage unit in the multimedia data search system according to claim 1 or 2. To do.
The multimedia data search system according to claim 6, wherein the search keyword addition storage means additionally stores the keyword in the database when the search keyword addition storage means additionally stores the keyword in the database. Among the query keywords stored in, only some arbitrary query keywords are additionally stored.
The multimedia data search system according to claim 7 is the multimedia data search system according to claim 2, wherein the metadata additional storage means stores the keyword in the metadata when the keyword is additionally stored in the metadata. Of the stored query keywords, only an arbitrary partial query keyword is additionally stored.
The multimedia data search system according to claim 8 is the multimedia data search system according to claim 2, wherein the metadata is stored as a separate file from the multimedia data. It is characterized by being linked by a link.
In order to achieve the above object, the multimedia data retrieval method according to claim 9 comprises: A multimedia data search method for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, In a multimedia data search method for searching for desired multimedia data based on a database storing at least one keyword associated with each multimedia data, For retrieving the desired multimedia data An input step of inputting a keyword to be a query into a computer, and the computer includes the input step For searching for the desired multimedia data Each time a keyword is entered, For searching the desired multimedia data A query keyword storage step for accumulating and storing keywords and a computer input by the input step For retrieving the desired multimedia data Based on a keyword, a search step for searching multimedia data, and the multimedia data searched in the search step, Said A selection step in which the desired multimedia data is selected by a computer; Until the desired multimedia data is selected In the query keyword storing step Cumulative Remembered For retrieving the desired multimedia data Keyword To the desired multimedia data And a search keyword addition storing step of additionally storing in the database in association with each other.
In order to achieve the above object, the multimedia data search method according to claim 10 comprises: A multimedia data search method for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, In the multimedia data search method for searching for desired multimedia data based on a database that stores metadata including at least one keyword in association with each multimedia data, For retrieving the desired multimedia data An input step of inputting a keyword to be a query into a computer, and the computer includes the input step For searching for the desired multimedia data Each time a keyword is entered, For searching the desired multimedia data A query keyword storage step for accumulating and storing keywords and a computer input by the input step For retrieving the desired multimedia data Based on a keyword, a search step for searching multimedia data, and the multimedia data searched in the search step, Said A selection step in which the desired multimedia data is selected by a computer; Until the desired multimedia data is selected In the query keyword storing step Cumulative Remembered For retrieving the desired multimedia data Keyword To the desired multimedia data And a metadata addition storage step of additionally storing the metadata in association with the metadata corresponding to the multimedia data.
In order to achieve the above object, the program according to claim 11 is: A multimedia data search method for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, A program for causing a computer to implement a multimedia data search method for searching for desired multimedia data based on a database that stores each multimedia data in association with at least one keyword. The media data search method is For retrieving the desired multimedia data An input step of inputting a keyword to be a query into a computer, and the computer includes the input step For searching for the desired multimedia data Each time a keyword is entered, For searching the desired multimedia data A query keyword storage step for accumulating and storing keywords and a computer input by the input step For retrieving the desired multimedia data Based on a keyword, a search step for searching multimedia data, and the multimedia data searched in the search step, Said A selection step in which the desired multimedia data is selected by a computer; Until the desired multimedia data is selected In the query keyword storing step Cumulative Remembered For retrieving the desired multimedia data Keyword To the desired multimedia data And a search keyword addition storing step of additionally storing in the database in association with each other.
In order to achieve the above object, the program according to claim 12 is: A multimedia data search method for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, A program for causing a computer to implement a multimedia data search method for searching for desired multimedia data based on a database that stores metadata including at least one keyword associated with each multimedia data. The multimedia data search method includes: For retrieving the desired multimedia data An input step of inputting a keyword to be a query into a computer, and the computer includes the input step For searching for the desired multimedia data Each time a keyword is entered, For searching the desired multimedia data A query keyword storage step for accumulating and storing keywords and a computer input by the input step For retrieving the desired multimedia data Based on a keyword, a search step for searching multimedia data, and the multimedia data searched in the search step, Said A selection step in which the desired multimedia data is selected by a computer; Until the desired multimedia data is selected In the query keyword storing step Cumulative Remembered For retrieving the desired multimedia data Keyword To the desired multimedia data And a metadata addition storage step of additionally storing the metadata in association with the metadata corresponding to the multimedia data.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0009]
(First embodiment)
In the present embodiment, a description will be given of a search system construction method capable of increasing search keywords (increasing search efficiency) by repeating image search.
[0010]
FIG. 1 is a block diagram showing a schematic system configuration of a multimedia data search system according to the first embodiment of the present invention.
[0011]
As shown in the figure, the multimedia data search system 1 is mainly configured by an input device 2, a display device 3, a storage device 4, a CPU 5, a ROM 6, and a RAM 7. The components 2 to 7 are connected to each other via the bus 8.
[0012]
The input device 2 is for inputting instructions and data from a user, and includes a pointing system such as a keyboard and a mouse. In this embodiment, a keyboard is used for inputting characters, and a mouse is used for pressing (clicking) buttons.
[0013]
The display device 3 displays a GUI (Graphical User Interface) or the like, and normally a CRT (Cathode-ray Tube), a liquid crystal display, or the like is used.
[0014]
The storage device 4 stores image data and a search keyword database, and a hard disk device (HDD) is usually used.
[0015]
The CPU 5 is involved in all the processing of each component described above.
[0016]
The ROM 6 and RAM 7 provide the CPU 5 with programs, data, work areas, and the like necessary for processing executed by the CPU 5. In addition, it is assumed that a control program necessary for the processing of the subsequent flowcharts is stored in the storage device 4 or stored in the ROM 6. If it is stored in the storage device 4, it is read once into the RAM 3 and executed.
[0017]
In addition to the above, the multimedia data search system of the present embodiment has various components, but since it is not a feature of the present invention, its description is omitted.
[0018]
FIG. 2 is a diagram illustrating a state in which the metadata 12 is registered in the image data (DCF_0001.jpg) 11. In this embodiment, for convenience of explanation, image data (still image data) will be described as an example of multimedia data. However, the present invention is not limited to this, and any data such as moving image data or audio data may be used. It may be data.
[0019]
Metadata refers to data that accompanies data, and in image data, mainly refers to shooting date and time, subject information, and the like. Normally, when searching for image data, this metadata is registered in a database as a keyword, and the search is performed using the keyword of this database. Of course, this metadata may be used directly for searching.
[0020]
In the present embodiment, when the metadata 12 is registered in the image data 11, it is described in XML (Extensible Markup Language). Of course, anything other than XML, such as SGML (Standard Generalized Markup Language) or CSV (Comma Separated Value), can be used as long as it can describe data.
[0021]
FIG. 3 is a schematic diagram showing an example of a method for registering the metadata 12 of FIG. 2 in the image data 11.
[0022]
As shown in FIG. 3, metadata is added to the end of the image data. Of course, in addition to this method, metadata may be described in the header portion of the image data. Alternatively, the metadata is stored as a separate file, and the image data includes only a link to the metadata file. It does not matter.
[0023]
FIG. 4 is a diagram showing a state in which information extracted from metadata is registered as a keyword in a database.
[0024]
As shown in the figure, in the keyword database 13, an image file name, a path to the image file, and a search keyword extracted from the metadata are registered.
[0025]
FIG. 5 is a diagram showing an outline of a general image search application.
[0026]
As shown in the figure, when a keyword to be a query is input to the query keyword input area 22 and the search start button 24 is clicked, the search is started. When the search is completed, a thumbnail list of the searched image group is displayed on the search result list display screen 26. When one thumbnail is selected from the thumbnail list and clicked, the image selection cursor 27 moves to that thumbnail. When the selected thumbnail is double-clicked with the image selection cursor 27, an image display screen 28 appears, and the selected thumbnail is enlarged and displayed. When the enlarged image is a search target, the OK button 29 is clicked. If it is not the search target, the Cancel button 30 is clicked.
[0027]
When searching with a plurality of keywords, AND / OR designation is performed using the search mode changeover switch 23. In the present embodiment, a search with a single keyword is considered, so that no particular mention is made.
[0028]
The search clear button 25 is used when the current search is stopped and a new search is performed.
[0029]
FIG. 6 is a flowchart showing a procedure for increasing the number of keywords in the database by repeating the search using the image search application of FIG.
[0030]
In the figure, first, in step S1, it is determined whether or not the user performs a search. If the search is to be performed, the process proceeds to step S2. If the search is not to be performed, all the processes are terminated.
[0031]
In step S2, a keyword to be a query is input.
[0032]
Next, in step S3, the search start button 24 is clicked.
[0033]
In step S4, the query keyword is stored in the query keyword history by the system side. The query keyword history is a memory area created in the RAM 7 and can store all query keywords used for the search. For example, in FIG. 7, it is assumed that a search is first performed using the keyword “wedding” (first query keyword 41). Then, the keyword “wedding” is added to the initially empty query keyword history (query keyword history 42). Similarly, when a search is performed using the keyword “reception party” (second query keyword 43), “reception party” is added to the query keyword history (query keyword history 44). As described above, in order to search for a desired image, when the search is repeated many times with different keywords, keywords are added to the query keyword history each time.
[0034]
Next, in step S5, the system checks whether the input query keyword matches the keyword registered in the database. If a matching keyword is found, the thumbnail of the image data is displayed as a search result list display screen. 26. Note that the matching at this time may be full-text matching or partial matching.
[0035]
In step S6, it is determined whether there is an image that is considered as a search target from among the thumbnails displayed on the search result list display screen 26. If there is an image, the process proceeds to step S7. Return to step S1.
[0036]
When searching for another image when returning to step S1, the search clear button 25 in FIG. 5 is pressed. Then, all the contents of the query keyword history are deleted, and a new search can be performed.
[0037]
In step S <b> 7, a thumbnail that is supposed to be searched is double-clicked, and an image is viewed using the image display screen 28.
[0038]
In the subsequent step S8, it is determined whether or not the browsed image is a search target. If the image is a search target, the OK button 29 is clicked, and the process proceeds to step S9. The Cancel button 30 is pressed, and the process returns to step S6.
[0039]
In step S9, keywords stored in the query keyword history are additionally registered in the database. Specifically, if a search target is found in the state of the query keyword history 46 in FIG. 7, “wedding”, “banquet”, and “XX church” stored in the query keyword history 46 are stored in the database. Can be listed as an additional candidate. However, since “XX Church” has already been registered in the database 47, “XX Church” is not registered here. Eventually, the two keywords “wedding” and “banquet” are stored in the database. It is additionally registered. Of course, the configuration may be such that the user selects a keyword to be added.
[0040]
As described above, in the present embodiment, since the keyword that the user has thought of at the time of search can be additionally registered in the database, in the second and subsequent searches, it becomes possible to search with the keyword that has been intuitively considered, and the search Can be alleviated.
[0041]
(Second Embodiment)
In the present embodiment, a description will be given of a search system construction method capable of increasing search keywords (increasing search efficiency) by performing AND search using a plurality of keywords.
[0042]
Since the system configuration and the like in the present embodiment may be those of the first embodiment, description thereof is omitted. Further, the process of increasing the number of keywords registered in the database by the search is the same as in the first embodiment, and thus detailed description thereof is omitted.
[0043]
FIG. 8 is a schematic diagram showing how the number of keywords registered in the database increases due to AND search. When performing an AND search, a space is inserted between keywords.
[0044]
First, when a search is performed using the first query keyword 51, a query keyword history 52 is obtained. Here, assuming that the search target is not found, the second query keyword 53 is used for the search again. Then, originally, all the keywords included in the second query keyword 53 should be added to the query keyword history. However, in the case of AND search, the first query keyword 51 and the second query keyword 53 are The same keyword may be included. Therefore, in this case, since “July 1” already exists in the query keyword history, only “◯ × Church” is added (query keyword history 54). Here, if a search target is found, four keywords “wedding”, “banquet”, “July 1”, and “XX church” should be added to the database. Since “○ × Church” and “July 1” are registered in 55, only “wedding” and “banquet” are additionally registered in this case (keyword database 56).
[0045]
As described above, in the present embodiment, even in the AND search, the keyword that the user has thought of at the time of the search can be additionally registered in the database. Therefore, in the second and subsequent searches, the keyword can be searched with an intuitively thought-in keyword. As a result, it is possible to reduce the troublesomeness of the search.
[0046]
(Third embodiment)
In the present embodiment, a description will be given of a search system construction method capable of increasing search keywords (increasing search efficiency) by performing an OR search using a plurality of keywords.
[0047]
Since the system configuration and the like in the present embodiment may be those of the first embodiment, description thereof is omitted. Further, the process of increasing the number of keywords registered in the database by the search is the same as in the first embodiment, and thus detailed description thereof is omitted.
[0048]
FIG. 9 is a schematic diagram showing how the number of keywords registered in the database increases due to OR search. When performing an OR search, a space is inserted between keywords.
[0049]
First, when a search is performed using the first query keyword 61, a query keyword history 62 is obtained. Here, if the search target is not found and the second query keyword 63 is searched again, the query keyword history 64 is obtained. Unlike the AND search, since the first query keyword and the second query keyword do not overlap, all the query keywords are stored in the query keyword history in the OR search.
[0050]
Here, if a search target is found, four keywords “wedding”, “banquet”, “○ × church”, and “Sato ○ △” should be added to the database. In this case, only “wedding”, “reception party”, and “Sato ○ △” are additionally registered (keyword database 66).
[0051]
As described above, in the present embodiment, even in the OR search, since the keyword that the user has thought of at the time of the search can be additionally registered in the database, in the second and subsequent searches, it is possible to search with the keyword that has been intuitively thought of. Thus, the troublesome search can be reduced.
[0052]
(Fourth embodiment)
In the present embodiment, a method for constructing a search system that matches a user's individuality by preparing different keyword databases for different users will be described.
[0053]
Since the system configuration and the like in the present embodiment may be used in the first embodiment, description thereof is omitted.
[0054]
FIG. 10 is a flowchart showing a procedure for constructing a search system that matches a user's individuality by preparing different keyword databases for different users.
[0055]
In the figure, first, in step S11, when the user starts up the search system, the search system login window of FIG. 12 is activated. Therefore, when searching for the first time, the user new registration button 84 is pressed, and the process proceeds to step S12. If the search has already been performed once or more, the process proceeds to step S14.
[0056]
In step S12, a new user registration window 91 shown in FIG. 13 is activated. Then, by inputting a desired user name in the user name input field 92 and pressing the user registration / search start button 93, the user is registered as a new user in the search system, and at the same time, the user's own keyword database is newly created. Created.
[0057]
Next, in step S13, the created new keyword database is read, and the image search application 21 in FIG. 5 is started. Therefore, a search system using a new keyword database is provided.
[0058]
In step S14, it is possible to log in to the search system by inputting the user name in the user name input field 82 of the search system login window 81 in FIG.
[0059]
In step S15, the user database of the logged-in user is read, and the image search application 21 is activated. Therefore, a search system using a user-specific keyword database is provided.
[0060]
In step S16, a search operation is performed. Details of the search operation have already been described in the first to third embodiments, and a description thereof will be omitted here.
[0061]
In step S17, when the search is completed, the user logs off from the search system.
[0062]
As described above, in the present embodiment, different databases are prepared for each user, and by performing a search for each, a unique keyword can be additionally registered, and a search system that matches the individuality of the user is constructed. be able to.
[0063]
FIG. 11 is a diagram illustrating a situation where two users actually register as new users and search for an image of “sea”.
[0064]
The image data DCF_0002.jpg shows the emerald green sea, and two keywords “sea” and “summer” are registered in the database (new keyword database 71). User A and user B search this image data DCF — 0002.jpg (an image in which “the sea” is captured).
[0065]
User A has an image of “blue” with respect to the word “ocean”. Therefore, the query keyword is set to the query keyword 72.
[0066]
On the other hand, the user B has an image of “transparent” with respect to the word “sea”. Therefore, the query keyword is set to the query keyword 74.
[0067]
After searching the image data DCF_0002.jpg by OR search, the keyword databases of both become the user A keyword database 73 and the user B keyword database 75, respectively, and different databases are constructed for each user. By doing so, the user A can search for an image that is originally emerald green with the keyword “blue” in the future. Similarly, for an image that is originally emerald green, user B will be able to search in the future with the keyword “transparent”.
[0068]
In this way, since the keywords that each user has thought of can be registered in the database as they are, the user can perform a search using the keywords that have come to mind.
[0069]
(Fifth embodiment)
In the present embodiment, a method for performing a search / additional keyword registration directly from metadata added to image data will be described.
[0070]
Since the system configuration and the like in the present embodiment may be used in the first embodiment, description thereof is omitted.
[0071]
Assume that metadata 101 is added to certain image data as shown in FIG. In the first to fourth embodiments, keywords in the metadata are registered in the database and the search is performed, but here, the keywords in the metadata are used as search keywords as they are. To do. For example, assume that an OR search is performed using the query keyword 102.
[0072]
In the first to fourth embodiments, the match between the keyword in the database and the query keyword 102 is investigated. In this case, the metadata 101 is directly read and the match with the keyword in it is found. To investigate the. Then, the keyword “○ × Church” matches and the search ends. At this time, “Sato ○ △” is stored in the query keyword history, and this keyword is additionally registered in the metadata (metadata 103).
[0073]
As described above, in the present embodiment, since the keyword that the user has thought of at the time of the search can be additionally registered in the metadata, in the second and subsequent searches, it becomes possible to search with the keyword that has come up intuitively. Can be alleviated.
[0074]
A storage medium storing software program codes for realizing the functions of the above-described embodiments is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus is stored in the storage medium. It goes without saying that the object of the present invention can also be achieved by reading and executing the program code.
[0075]
In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium storing the program code constitutes the present invention.
[0076]
As a storage medium for supplying the program code, for example, a flexible disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD + RW, magnetic A tape, a non-volatile memory card, a ROM, or the like can be used. Further, the program code may be supplied from a server computer via a communication network.
[0077]
Further, by executing the program code read out by the computer, not only the functions of the above-described embodiments are realized, but the OS running on the computer based on the instruction of the program code is actually used. Needless to say, the present invention includes a case where part or all of the processing is performed and the functions of the above-described embodiments are realized by the processing.
[0078]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0095]
【The invention's effect】
As described above, according to the present invention, it is possible to increase the search efficiency by additionally registering the keyword once used for the search as a new search keyword in the database or metadata, and bother the search. Can be reduced.
[0096]
Also, by preparing different databases for each user, an image search system that matches the user's personality can be constructed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic system configuration of a multimedia data search system according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a state in which metadata is registered in image data.
FIG. 3 is a schematic diagram showing an example of a method for registering the metadata of FIG. 2 in image data.
FIG. 4 is a diagram showing a state in which information extracted from metadata is registered as a keyword in a database.
FIG. 5 is a diagram showing an outline of a general image search application.
6 is a flowchart showing a procedure for increasing the number of keywords in a database by repeating the search using the image search application of FIG. 5;
7 is a diagram for explaining the keyword addition process of FIG. 5; FIG.
FIG. 8 is a schematic diagram showing how the number of keywords registered in a database increases due to AND search.
FIG. 9 is a schematic diagram showing how the number of keywords registered in a database increases due to OR search.
FIG. 10 is a flowchart showing a procedure for constructing a search system that matches a user's personality by preparing different keyword databases for different users.
FIG. 11 is a diagram showing how two users actually register as new users and search for an image of “Sea”.
FIG. 12 is a diagram showing an example of an activated search system login window.
13 is a diagram showing an example of a new user registration window 91 that is activated. FIG.
FIG. 14 is a schematic diagram showing how metadata keywords increase.
[Explanation of symbols]
1 Multimedia data retrieval system
2 input devices
3 display devices
4 storage devices
5 CPU
6 ROM
7 RAM
8 Bus

Claims

In a multimedia data search system for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched,
A database for storing each multimedia data in association with at least one keyword;
Input means for inputting a keyword to be a query for searching for the desired multimedia data ;
Each time a keyword for retrieving the desired multimedia data by the input means is input, the query keyword storing means for accumulating and storing the keyword for searching the desired multimedia data,
Search means for searching for multimedia data based on a keyword for searching for the desired multimedia data input by the input means;
From the multimedia data retrieved by said retrieval means, and selecting means for selecting the desired multimedia data,
A keyword for searching for the desired multimedia data accumulated and stored in the query keyword storage means until the desired multimedia data is selected by the selection means corresponds to the desired multimedia data. In addition, the multimedia data search system further comprises a search keyword addition storage means for additionally storing in the database.

In a multimedia data search system for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched,
A database for storing metadata including at least one keyword in association with each multimedia data;
Input means for inputting a keyword to be a query for searching for the desired multimedia data ;
Each time a keyword for searching the desired multimedia data by the input means is input, the query keyword storing means for accumulating and storing the keyword for searching the desired multimedia data,
Search means for searching for multimedia data based on a keyword for searching for the desired multimedia data input by the input means;
From the multimedia data retrieved by said retrieval means, and selecting means for selecting the desired multimedia data,
A keyword for searching for the desired multimedia data accumulated and stored in the query keyword storage means until the desired multimedia data is selected by the selection means corresponds to the desired multimedia data. In addition, the multimedia data search system further comprises metadata addition storage means for additionally storing the metadata corresponding to the multimedia data.

The multimedia data search system according to claim 1, wherein the database is prepared for each user who performs a search.

The multimedia data search system according to claim 1 or 2, further comprising a list display means for displaying a list of multimedia data searched by the search means.

The multimedia data search system according to claim 1 or 2, further comprising an erasing unit for erasing the query keyword stored in the query keyword storage unit.

The search keyword addition storage means additionally stores only a part of arbitrary query keywords among the query keywords stored in the query keyword storage means when the keyword is additionally stored in the database. The multimedia data retrieval system according to claim 1, wherein:

The metadata addition storage means additionally stores only a part of arbitrary query keywords among the query keywords stored in the query keyword storage means when the keywords are additionally stored in the metadata. The multimedia data retrieval system according to claim 2.

The multimedia data search system according to claim 2, wherein the metadata is stored as a separate file from the multimedia data and is linked to the multimedia data by a link.

A multimedia data search method for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched , wherein at least one keyword is associated with each multimedia data. In a multimedia data retrieval method for retrieving desired multimedia data based on a stored database,
An input step of inputting a keyword to be a query for searching the desired multimedia data into a computer;
Computer, each time the keyword for searching the desired multimedia data in said input step is input, the query keyword storage step of cumulatively storing a keyword for searching the desired multimedia data,
A search step in which the computer searches for multimedia data based on a keyword for searching for the desired multimedia data input in the input step;
From the multimedia data searched in said searching step, a selection step of selecting the desired multimedia data in a computer,
Computer, the keyword for searching the desired multimedia data accumulated and stored in the query keyword storing step until the desired multimedia data in said selecting step is selected, the desired multimedia And a search keyword addition storing step of additionally storing in the database in association with the data.

A multimedia data search method for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, wherein each multimedia data includes at least one keyword. In a multimedia data search method for searching for desired multimedia data based on a database that stores them in association with each other,
An input step of inputting a keyword to be a query for searching the desired multimedia data into a computer;
Computer, each time the keyword for searching the desired multimedia data in said input step is input, the query keyword storage step of cumulatively storing a keyword for searching the desired multimedia data,
A search step in which the computer searches for multimedia data based on a keyword for searching for the desired multimedia data input in the input step;
From the multimedia data searched in said searching step, a selection step of selecting the desired multimedia data in a computer,
Computer, the keyword for searching the desired multimedia data accumulated and stored in the query keyword storing step until the desired multimedia data in said selecting step is selected, the desired multimedia A multimedia data retrieval method comprising: a metadata addition storage step of additionally storing metadata associated with the multimedia data in association with the data.

Until retrieving desired multimedia data, a multimedia data retrieval method of inputting repeatedly keyword for searching the MultiMediaCard Iadeta said desired the respective multimedia data, in association with at least one keyword storage A program for causing a computer to implement a multimedia data search method for searching for desired multimedia data based on a database that includes:
The multimedia data search method includes:
An input step of inputting a keyword to be a query for searching the desired multimedia data into a computer;
Computer, each time the keyword for searching the desired multimedia data in said input step is input, the query keyword storage step of cumulatively storing a keyword for searching the desired multimedia data,
A search step in which the computer searches for multimedia data based on a keyword for searching for the desired multimedia data input in the input step;
From the multimedia data searched in said searching step, a selection step of selecting the desired multimedia data in a computer,
Computer, the keyword for searching the desired multimedia data accumulated and stored in the query keyword storing step until the desired multimedia data in said selecting step is selected, the desired multimedia A search keyword addition storing step of additionally storing in the database in association with data .

A multimedia data search method for repeatedly inputting a keyword for searching for desired multimedia data until the desired multimedia data is searched, wherein each multimedia data includes at least one keyword. Is a program for causing a computer to implement a multimedia data search method for searching for desired multimedia data based on a database that stores them in association with each other,
The multimedia data search method includes:
An input step of inputting a keyword to be a query for searching the desired multimedia data into a computer;
Computer, each time the keyword for searching the desired multimedia data in said input step is input, the query keyword storage step of cumulatively storing a keyword for searching the desired multimedia data,
A search step in which the computer searches for multimedia data based on a keyword for searching for the desired multimedia data input in the input step;
From the multimedia data searched in said searching step, a selection step of selecting the desired multimedia data in a computer,
Computer, the keyword for searching the desired multimedia data accumulated and stored in the query keyword storing step until the desired multimedia data in said selecting step is selected, the desired multimedia A metadata addition storage step of additionally storing metadata associated with the multimedia data in association with the data .