JP3985826B2 - 画像検索方法及びその装置 - Google Patents

Description

本発明は、電子または光等を媒体とする記憶装置や情報通信網に蓄積され、各画像にはキーワードないしはラベルが付された画像データベースから、必要な画像を取り出し易くする画像検索方法及びその装置を実現するものである。

近年、インターネットなど情報技術のならびに社会基盤の進展に伴い、大量の画像を誰もが利用できるようになってきた。しかしならが、利用できる画像の数の増大にともない必要な画像を見出すことが困難になってきている。

キーワードないしはラベルがふられた画像についての画像検索方法に関する従来技術としては、検索に用いられるキーワード論理式をあげることができる。すなわち、数万から数十万件に及ぶ画像からキーワード論理式に適合する画像を取出す技術である。

しかしながら、キーワード論理式を用いる従来の検索においては、使用者がキーワードについての論理式を精度良く設定する必要があるので、使用者がファイリングされているデータ群の癖（例えば、どのような条件の基に、当該データのキーワードが決定されているのか等）やシステムの構造（例えば、キーワードがシソーラス体系のあるシステムであるか否か等）を十分に知り得ていなければ良い検索（ならびに検索条件の登録）ができない。このため、初心者には精度よく情報を取出す（配信を受ける）ことができないという課題があった。

また、取出した結果もキーワードについての論理式に適合するという評価があるだけであり、たまたまキーワードでは合致しているが、内容は求めているものとは異なるケースであったり、あるいは多くの検索結果から使用者にとって必要度の高い情報をその結果から順に取り出すことは容易ではない。

本発明は、ユーザがその画像をどのくらい必要としているかの必要度を定量化することにより、必要性の高い画像を優先的にユーザに提示することを目的とする。

上記目的を達成するために、本発明の画像検索装置は、電子又は光を媒体とする情報記憶媒体又は情報通信網から画像を検索する装置であって、各キーワードごとに検索要求の強さを示す値を付与した検索要求信号を入力するメニュー入力手段と、前記各クラスに分類される複数のキーワードごとに付与された検索要求の強さを示す値を成分として持つ検索要求信号と、クラスごとに分類され、画像につけられるタグ信号とから、前記検索要求信号の各成分内に０でないものが少ない場合には、タグ信号の成分の内０でないものが少ない画像に対する値が大きくなり、前記検索要求信号の各成分内に０でないものが多い場合には、タグ信号の成分の内０でないものが多い画像に対する値が大きくなる所定の計算式に基づいて前記画像に対するクラスごとの必要度を計算する検索手段と、前記必要度に応じて前記画像を提示する画像提示手段とを具備し、前記検索手段の必要度は、前記クラスごとに計算された必要度を重み付けした和であることを特徴とする構成を有している。

以上のように、各画像ごとに、ユーザがその画像をどのくらい必要としているかの必要度を定量化することにより、必要性の高い画像を優先的にユーザに提示することができるという効果を有する。

本発明の請求項１に記載の発明は、電子又は光を媒体とする情報記憶媒体又は情報通信網から画像を検索する方法であって、各キーワードごとに検索要求の強さを示す値を付与した検索要求信号を入力し、各クラスに分類される複数のキーワードごとに付与された検索要求の強さを示す値を成分として持つ検索要求信号と、クラスごとに分類され、画像につけられるタグ信号とから、前記検索要求信号の各成分内に０でないものが少ない場合には、タグ信号の成分の内０でないものが少ない画像に対する値が大きくなり、前記検索要求信号の各成分内に０でないものが多い場合には、タグ信号の成分の内０でないものが多い画像に対する値が大きくなる所定の計算式に基づいて前記画像に対するクラスごとの必要度を計算し、必要度に応じて画像を提示する際に、前記必要度は、前記クラスごとに計算された必要度を重み付けした和であることを特徴とするもので、ユーザが必要とする画像を優先的に提示できるという作用を持つ。

請求項２記載の発明は、請求項１記載の画像検索方法において、検索要求信号を入力は、メニュー画面に表示された各キーワードごとに付与されたインジケータにより検索要求の強さを示す値を入力することで、検索要求信号を生成することを特徴とするもので、インジケータにより検索要求を入力することで優れたマンマシンインタフェースを実現できるという作用を有する。

請求項３に記載の発明は、請求項１または２記載の画像検索方法において、検索要求信号の検索要求の強さを示す値は、肯定的な正の値と否定的な負の値で示すことで、検索要求の強さを示す値として否定的な負の値も入力を可能とし、否定的な値も有効に活用した画像の提示の仕方を実現できるという作用を有する。

請求項４に記載の発明は、電子又は光を媒体とする情報記憶媒体又は情報通信網から画像を検索する装置であって、各キーワードごとに検索要求の強さを示す値を付与した検索要求信号を入力するメニュー入力手段と、前記各クラスに分類される複数のキーワードごとに付与された検索要求の強さを示す値を成分として持つ検索要求信号と、クラスごとに分類され、画像につけられるタグ信号とから、前記検索要求信号の各成分内に０でないものが少ない場合には、タグ信号の成分の内０でないものが少ない画像に対する値が大きくなり、前記検索要求信号の各成分内に０でないものが多い場合には、タグ信号の成分の内０でないものが多い画像に対する値が大きくなる所定の計算式に基づいて前記画像に対するクラスごとの必要度を計算する検索手段と、前記必要度に応じて前記画像を提示する画像提示手段とを具備し、前記検索手段の必要度は、前記クラスごとに計算された必要度を重み付けした和であることを特徴とするもので、ユーザが必要とする画像を優先的に提示できるという作用を持つ。

以下、本発明の実施の形態について、図を用いて説明する。

（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。図１は画像検索装置の構成を示すブロック図である。

以下の説明では、画像検索装置をパーソナルコンピュータとその周辺機器によって構成した場合について説明する。特に、入力手段、出力手段は、インターネットブラウザを用いた場合に即して説明するが、本発明は単純な入力手段しか有さないゲーム機器などによっても同様に構成できる。

図１において、１は画像を電子媒体に記録するために電子画像信号に変換するスキャナであり、２は前記電子画像信号にキーワードを付けるためのタグ入力手段であり、４はユーザが必要な画像を検索するための検索要求信号を入力するメニュー入力手段であり、５は検索された電子画像信号を表示する画像出力手段であり、３は前記電子画像信号と前記タグ入力手段２から入力されたタグ信号とを内部のハードディスクに記憶し前記メニュー入力手段４を通じて入力された検索要求信号と前記タグ信号とを用いて各電子画像信号ごとにユーザの必要度信号を計算し、前記必要度信号の大きい順に電子画像信号を前記画像出力手段５に出力する画像検索手段である。

前記画像検索部３は、前記電子画像信号と前記タグ信号とを記憶するハードディスク３２と、前記２つの信号をハードディスク３２に書き込む登録・修正処理手段３１と、前記メニュー入力手段４からの検索要求信号と前記ハードディスク３２に記憶された各電子画像信号ごとにつけられたタグ信号と用いてユーザの必要性を表す必要度信号を計算するレーティング処理手段３３と、前記必要度信号の大きい順に前記電子画像信号を並べて前記画像出力手段５に出力する並替処理手段３４と、ネットワーク３６を介して情報通信網に蓄積された画像の検索を行うための通信手段３５とを有する。

以上の構成をとる画像検索装置の動作について説明する。

ユーザは、イラストなどの画像をスキャナ１により電子画像信号に変換する。前記画像信号は好ましい実施の形態においては、所定のアドレスに所定のファイル名で置かれる。

次にユーザは、パーソナルコンピュータのブラウザを立ち上げ、画像登録ページをクリックすることによりタグ入力手段２を起動する。この操作により、ブラウザは、図２のようなタグ入力画面２１を表示する。ユーザが「登録処理」を選択すると、前記タグ入力手段２は前記登録・修正処理手段３１に新たに割り振るべき電子画像信号の番号を問い合わす。好ましい実施の形態では、電子画像信号には１から順に番号を振り、新しく登録する電子画像信号にはまだ利用されていない番号を割り当てる。前記タグ入力手段は、登録・修正処理手段３１から送られてきた番号２６と前記電子画像信号（好ましい実施例ではそれを縮小したもの）２２とキーワード２４とキーワードの隣に表示された仮想的なボタン２５を表示する。好ましい実施の形態では、キーワードはいくつかのクラス（図２では、分野、場所、シーンなど）に分けておき、各クラスには複数のキーワードがあるという構成をとる。

ユーザは、前記画面を見ながら仮想的なボタン２５を選択、クリックすることにより、前記電子画像信号にタグ信号を付ける。ユーザが画面上の「登録実行」ボタン２３をクリックすると前記電子画像信号と前記タグ信号は、前記番号によって確定されるファイルとしてハードディスク３２に書き込まれる。

好ましい実施例では、番号ｍによって決まる電子画像信号のタグ信号Ｔｍは、クラスの数がＮｃ個であり、クラスｃのキーワードの数がＫｃ個の場合、Ｎｃ個のベクトルであって各ベクトルはタグ入力があったキーワードに対応する各成分を１、その他の成分を０とするＫｃ次元ベクトル、一例をあげると、
Ｔｍ（ｃ＝１）＝（０，０，１，０、…、０，１）
Ｔｍ（ｃ＝２）＝（０，１，０、…、０，１）
……
Ｔｍ（ｃ＝Ｎc）＝（０，０，０，１，０、…、０，１）
とすることができる。

登録された電子画像信号のタグ信号を修正する場合には、同様にしてタグ入力手段２を起動し、ユーザは「修正処理」を選択する。タグ入力手段２は、ハードディスク３２に記憶された電子画像信号を表す番号の入力を要求する。ユーザが前記番号を入力すると、タグ入力手段２は登録・修正処理手段３１を通じて、該当する電子画像信号とタグ信号とを読み出し表示する。以下は、登録処理と同様にすることで、タグ信号の修正が実現される。

ユーザが画像を検索しようとする場合には、ブラウザを立ち上げ、画像検索ページをクリックすることで、メニュー入力手段４を起動する。メニュー入力手段４が起動されると、図３のようなキーワードと多段階の目盛をもつインジケータ３３とインジケータ３３を上げるボタンとインジケータを下げるボタンとを有するメニュー画面３１が表示される。ユーザは、各キーワードごとに、目盛の右側についたボタンをクリックすることでインジケータ３３を上げ、左側についたボタンをクリックすることでインジケータ３３を下げるといった操作で、自分が必要とする画像の検索するための検索要求信号を入力し、検索実行ボタン３２を押す。

検索ボタン３２が押されると、メニュー入力手段４は、検索要求信号をレーティング処理手段３３に送る。好ましい実施の形態では、この検索要求信号Ｃは、クラスの数がＮｃ個であり、クラスｃのキーワードの数がＫｃ個の場合、Ｎｃ個のベクトルであって各ベクトルは検索条件入力があったキーワード（クラスｃのｊ番目のキーワード）に対応する各成分をインジケータの値ｑ（ｃ、ｊ）、その他の成分を０とするＫｃ次元ベクトル、一例を挙げると
Ｃ（ｃ＝１）＝（０，０，ｑ（１、３），０、…、０，ｑ（１，Ｋｃ））
Ｃ（ｃ＝２）＝（ｑ（２，１），０，０、…、０，０）
……
Ｃ（ｃ＝Ｎc）＝（０，０，０，ｑ（Ｎｃ，４），０、…、０，０）
とすることができる。なお、インジケータの値ｑ（ｃ、ｊ）は、０または正の値だけを取るようにしても、否定の意味を持たせるための負の値と、０、正の値を取るようにしても良好な結果を得ることができる。

レーティング処理手段３３は、前記検索要求信号Ｃを受けると、ハードディスク３２から番号ｍで決まる電子画像信号Ｉｍとタグ信号Ｔｍ、を順じ読み出し、各タグ信号Ｔｍごとに必要度信号Ｎｍを計算する。好ましい実施の形態では、検索要求信号Ｃの各成分内に０でないものが少ない場合には、タグ信号の成分の内０でないものが少ない電子画像信号の必要度信号が大きくなり、逆に検索要求信号Ｃの各成分内に０でないものが多い場合には、タグ信号の成分の内０でないものが多い電子画像信号の必要度信号が大きくなる構成をとる。この背景には、医者の上半身だけのイラストだとタグは“医者”というキーワードだけにつき、一方公園や街角といったたくさんの人や店があるイラストだと“主婦”、“子供”、“商店街”など多くのキーワードにつくということがある。

本発明の実施の形態では、クラス内のキーワード間は論理式ＯＲで繋ぎ、クラス間は論理式ＡＮＤで繋ぐような必要度信号として、必要度信号を前記タグ信号Ｔｍと検索要求信号Ｃとを用いて、
ＴＮｍ ＝ Ｎｍ（１）＊Ｎｍ（２）＊…＊Ｎｍ（Ｎｃ）
と計算する。Ｎｍ（ｃ）は以下の式で計算されるクラスｃの必要度であり

と計算される。ここで、imagelength(c)はタグ信号の内クラスｃのベクトルＴｍ（ｃ）の各成分の和に０での割り算を避けるために小さな数を加えた値であり、length(c)は検索要求信号Ｃの内クラスｃのベクトルＣ（ｃ）の０でない成分の数に０での割り算を避けるために小さな数を加えた値であり、socre（c）は、タグ信号Ｔｍ内のクラスｃのベクトルＴｍ（ｃ）と検索要求信号Ｃ内のクラスｃのベクトルＣ（ｃ）との内積であり、offsetとdefuseは、パラメータである。この計算式は、電子画像信号の必要度を計算する２つの方法、１つはタグの沢山ついた電子画像信号に対して値の大きくなる方法（第１項）と、もう一つは付けられたタグの数が少ない電子画像信号に対して値が大きくなる方法（第２項）とを、０でない検索要求信号の成分の数がoffset値を境にdefuseによって決まる急激さで切り替わるという性質を持つ。好ましい実施の形態では、offsetの値は３から６程度の値、defuseは２から４程度の値を取ればよい。また、offsetとdefuseは各クラス毎に別の値を使っても良好な結果を得ることができる。

なお、必要度信号ＴＮｍは、各クラスの必要度信号Ｎｍ（ｃ）を重み付けした和であっても良好な結果を得ることができる。この方法を取る場合には、検索上重要なクラスには大きな重み付けをするなどといった工夫をすることは好ましい。

並替処理手段３４は、レーティング処理手段３３から電子画像信号を決定する番号ｍとその必要度信号Ｎｍを受け、必要度信号Ｎｍの大きい順から順に電子画像信号を並べた出力信号（好ましい実施の形態では、ＨＴＭＬで書かれたソース）を作成し、画像出力手段５に送信する。

画像出力手段５は、前記出力信号を画面上に表示する。

なお、必要度の計算方法は、入力されたタグはクラスを区別しないで計算する、検索条件の入力数はクラスを区別しないで計算する、検索条件の強さ（インジケータの目盛の値）を必要度の計算に利用する、といった方法を用いても良好な結果を得ることができる。必要度の計算においてポイントとなるのは、例えば医者の上半身だけのイラストだとタグは“医者”というキーワードだけに付き、一方公園や街角といったたくさんの人や店があるイラストだと“主婦”、“子供”、“商店街”など多くのキーワードにつくということという画像のタグ付けにしばしば生じる性質を利用して必要度を計算する点にあり、必要度の計算はこの性質をうまく利用したものであればよく、上記に限定するものではない。

本発明は、ユーザがその画像をどのくらい必要としているかの必要度を定量化することにより、必要性の高い画像を優先的にユーザに提示することができるもので、電子または光等を媒体とする記憶装置や情報通信網に蓄積された画像を検索する画像検索方法及びその装置等に有用である。

本発明の実施の形態１の画像検索装置のブロック結線図 タグ入力手段の画面の一例を示す図 メニュー入力手段の画面の一例を示す図

符号の説明

１ スキャナ
２ タグ入力手段
３ 画像検索手段
４ メニュー入力手段
５ 画像出力手段
３１ 登録・修正処理手段
３２ ハードディスク
３３ レーティング処理手段
３４ 並替処理手段
３５ 通信手段
３６ ネットワーク

Claims (4)

1. 電子又は光を媒体とする情報記憶媒体又は情報通信網から画像を検索する方法であって、各キーワードごとに検索要求の強さを示す値を付与した検索要求信号を入力し、各クラスに分類される複数のキーワードごとに付与された検索要求の強さを示す値を成分として持つ検索要求信号と、クラスごとに分類され、画像につけられるタグ信号とから、前記検索要求信号の各成分内に０でないものが少ない場合には、タグ信号の成分の内０でないものが少ない画像に対する値が大きくなり、前記検索要求信号の各成分内に０でないものが多い場合には、タグ信号の成分の内０でないものが多い画像に対する値が大きくなる所定の計算式に基づいて前記画像に対するクラスごとの必要度を計算し、必要度に応じて画像を提示する際に、
   前記必要度は、前記クラスごとに計算された必要度を重み付けした和であることを特徴とする画像検索方法。
2. 検索要求信号を入力は、メニュー画面に表示された各キーワードごとに付与されたインジケータにより検索要求の強さを示す値を入力することで、検索要求信号を生成することを特徴とする請求項１記載の画像検索方法。
3. 検索要求信号の検索要求の強さを示す値は、肯定的な正の値と否定的な負の値で示すことを特徴とする請求項１または２に記載の画像検索方法。
4. 電子又は光を媒体とする情報記憶媒体又は情報通信網から画像を検索する装置であって、各キーワードごとに検索要求の強さを示す値を付与した検索要求信号を入力するメニュー入力手段と、前記各クラスに分類される複数のキーワードごとに付与された検索要求の強さを示す値を成分として持つ検索要求信号と、クラスごとに分類され、画像につけられるタグ信号とから、前記検索要求信号の各成分内に０でないものが少ない場合には、タグ信号の成分の内０でないものが少ない画像に対する値が大きくなり、前記検索要求信号の各成分内に０でないものが多い場合には、タグ信号の成分の内０でないものが多い画像に対する値が大きくなる所定の計算式に基づいて前記画像に対するクラスごとの必要度を計算する検索手段と、前記必要度に応じて前記画像を提示する画像提示手段とを具備し、
   前記検索手段の必要度は、前記クラスごとに計算された必要度を重み付けした和であることを特徴とする画像検索装置。

Images