JP5199939B2 - 画像検索装置、画像検索方法及びプログラム - Google Patents
画像検索装置、画像検索方法及びプログラム Download PDFInfo
- Publication number
- JP5199939B2 JP5199939B2 JP2009098811A JP2009098811A JP5199939B2 JP 5199939 B2 JP5199939 B2 JP 5199939B2 JP 2009098811 A JP2009098811 A JP 2009098811A JP 2009098811 A JP2009098811 A JP 2009098811A JP 5199939 B2 JP5199939 B2 JP 5199939B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- similar
- query
- images
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000004044 response Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000005483 Hooke's law Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、ユーザによって指定された画像に基づいて、これに類似する画像を検索する画像検索装置、画像検索方法及びプログラムに関し、特に、類似画像の検索結果を提示する際のユーザインターフェース（ＵＩ：User Interface）に関する。
従来、インターネット上で公開されている様々な情報（例えば、ウェブページや画像コンテンツ等）を検索する手法として、キーワードを検索キー（クエリ）とするキーワード検索が知られている。さらに、画像コンテンツを検索対象とする場合には、画像を検索キーとして、画像の特徴量（配色、輪郭線、模様やパターン等の画像の特徴を数値化して表現したもの）を比較することにより、検索キーである画像（以下、クエリ画像）に類似する画像を検索する技術が提案されている（例えば、特許文献１）。
特許文献１に記載の類似画像提示システムでは、ネットワークを介してアクセスしてきたクライアント端末によって商品画像が指定されると、他の商品画像の中からこれに類似する画像が検索され、例えば、対応するサムネイルの一覧がクライアント端末に提示される。そして、検索結果として提示された類似画像を検索キーとしてさらに類似画像検索を行うこともできるようになっている。
特許文献１に記載の類似画像提示システムでは、ネットワークを介してアクセスしてきたクライアント端末によって商品画像が指定されると、他の商品画像の中からこれに類似する画像が検索され、例えば、対応するサムネイルの一覧がクライアント端末に提示される。そして、検索結果として提示された類似画像を検索キーとしてさらに類似画像検索を行うこともできるようになっている。
また、特許文献２には、ユーザにコンテンツを提示する際のユーザインターフェースに関する技術が開示されている。具体的には、検索対象となる複数のコンテンツを表示画面上に提示する際に、類似する特徴を有するコンテンツ同士をリンク線で連結する。これにより、表示画面上に提示される多数のコンテンツの類似関係を容易に把握することができるので、その中から所望のコンテンツを効率よく検索できるようになる。
類似画像検索において、ユーザが指定したクエリ画像には、この画像に類似した画像を知りたいというユーザの検索意図が反映されている。特に、検索結果の中からクエリ画像を選択して検索を続けて実行する場合には、その検索履歴にもユーザの検索意図が反映されているはずである。
しかしながら、従来の類似画像検索では、検索結果として提示された類似画像の中から新たに検索キー（クエリ画像）が指定されると、この指定されたクエリ画像に類似する画像だけが検索結果として提示されることとなり、過去に指定されたクエリ画像による検索履歴は反映されない。
また、類似画像検索の結果を提示する際に特許文献２に記載の技術を適用したとしても、検索された類似画像同士が個々の類似度に基づいてリンク線で連結されるだけであり、検索結果として提示された類似画像の中から新たに検索キーが指定されたときは、やはりこのクエリ画像に類似する画像だけが検索結果として提示されることとなる。
しかしながら、従来の類似画像検索では、検索結果として提示された類似画像の中から新たに検索キー（クエリ画像）が指定されると、この指定されたクエリ画像に類似する画像だけが検索結果として提示されることとなり、過去に指定されたクエリ画像による検索履歴は反映されない。
また、類似画像検索の結果を提示する際に特許文献２に記載の技術を適用したとしても、検索された類似画像同士が個々の類似度に基づいてリンク線で連結されるだけであり、検索結果として提示された類似画像の中から新たに検索キーが指定されたときは、やはりこのクエリ画像に類似する画像だけが検索結果として提示されることとなる。
このように、従来の類似画像検索では、検索結果にユーザの検索意図が十分に反映されていないため、ユーザが所望する画像を効率よく検索することが困難となっている。また、ユーザが指定したクエリ画像の履歴を考慮して検索結果を表示することが考えられるが（いわゆる絞り込み検索）、ユーザの検索意図を読み取るにはクエリログ等を利用して各種解析を行う必要があるなど様々な問題が内在しているため、実用化には至っていない。
本発明は、類似画像検索の検索結果を提示する際、ユーザインターフェースの利便性を向上できる技術を提供する。
上記目的を達成するため、請求項１に記載の発明は、ユーザによって指定されたクエリ画像による検索要求に応答して、このクエリ画像に類似する画像を検索する画像検索装置であって、
画像ごとに、画像の特徴量が登録されている画像データベースと、
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付ける検索要求受付手段と、
前記画像データベースに登録されている画像の中から、前記クエリ画像と類似する類似画像を抽出する類似画像検索手段と、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示する検索結果提示手段と、を備え、
前記検索結果提示手段は、前記検索要求受付手段によって新たなクエリ画像が受け付けられた場合には、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して前記表示手段に提示し、前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定し、前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定し、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去し、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させることを特徴とする。
画像ごとに、画像の特徴量が登録されている画像データベースと、
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付ける検索要求受付手段と、
前記画像データベースに登録されている画像の中から、前記クエリ画像と類似する類似画像を抽出する類似画像検索手段と、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示する検索結果提示手段と、を備え、
前記検索結果提示手段は、前記検索要求受付手段によって新たなクエリ画像が受け付けられた場合には、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して前記表示手段に提示し、前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定し、前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定し、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去し、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させることを特徴とする。
請求項２に記載の発明は、請求項１に記載の画像検索装置において、前記検索結果提示手段は、前記検索結果に含まれるクエリ画像と類似画像を異なる表示態様とすることを特徴とする。
請求項３に記載の発明は、請求項１又は２に記載の画像検索装置において、前記検索結果提示手段は、前記類似画像検索手段により抽出された類似画像のうち、類似度が高い順に所定数だけ配置することを特徴とする。
請求項４に記載の発明は、画像ごとに、画像の特徴量が登録されている画像データベースを備えた画像検索装置のコンピュータが、ユーザによって指定されたクエリ画像による検索要求に応答して、このクエリ画像に類似する画像を検索する方法であって、
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付けるステップと、
前記画像データベースに登録されている画像の中から、前記クエリ画像の特徴量と類似する特徴量を有する類似画像を抽出するステップと、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示するステップと、
新たなクエリ画像を受け付けた場合に、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して表示手段に提示するステップと、
前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するステップと、
前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するステップと、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去するステップと、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させるステップと、を有することを特徴とする。
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付けるステップと、
前記画像データベースに登録されている画像の中から、前記クエリ画像の特徴量と類似する特徴量を有する類似画像を抽出するステップと、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示するステップと、
新たなクエリ画像を受け付けた場合に、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して表示手段に提示するステップと、
前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するステップと、
前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するステップと、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去するステップと、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させるステップと、を有することを特徴とする。
請求項５に記載の発明は、画像ごとに、画像の特徴量が登録されている画像データベースを備え、ユーザによって指定されたクエリ画像による検索要求に応答して、このクエリ画像に類似する画像を検索する画像検索装置のコンピュータに、
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付けるステップと、
前記画像データベースに登録されている画像の中から、前記クエリ画像の特徴量と類似する特徴量を有する類似画像を抽出するステップと、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示するステップと、
新たなクエリ画像を受け付けた場合に、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して表示手段に提示するステップと、
前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するステップと、
前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するステップと、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去するステップと、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させるステップと、を実現させるためのプログラムである。
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付けるステップと、
前記画像データベースに登録されている画像の中から、前記クエリ画像の特徴量と類似する特徴量を有する類似画像を抽出するステップと、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示するステップと、
新たなクエリ画像を受け付けた場合に、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して表示手段に提示するステップと、
前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するステップと、
前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するステップと、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去するステップと、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させるステップと、を実現させるためのプログラムである。
本発明によれば、最新のクエリ画像に類似する画像を提示する際に、過去のクエリ画像による検索結果が含まれる（例えば、リンク線による連結態様が保持される）ので、ユーザの検索意図を的確に表現できる。また、検索を重ねることでユーザの検索意図に沿う画像が中央に集合してくるので、ユーザは効率よく所望する画像を検索することができる。
したがって、類似画像検索において検索結果を提示する際のユーザインターフェースの利便性が格段に向上される。
したがって、類似画像検索において検索結果を提示する際のユーザインターフェースの利便性が格段に向上される。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１は、本発明に係る画像検索装置を適用したネットワーク構成の一例について示す概略図である。
図１に示すように、ウェブサーバ１には、パーソナルコンピュータ２ａや携帯端末２ｂ等のクライアント端末２が通信ネットワークＮを介して接続され、互いにデータ通信可能となっている。通信ネットワークＮは、インターネットや電気通信事業者等の電話回線網、携帯電話通信網等である。
図１は、本発明に係る画像検索装置を適用したネットワーク構成の一例について示す概略図である。
図１に示すように、ウェブサーバ１には、パーソナルコンピュータ２ａや携帯端末２ｂ等のクライアント端末２が通信ネットワークＮを介して接続され、互いにデータ通信可能となっている。通信ネットワークＮは、インターネットや電気通信事業者等の電話回線網、携帯電話通信網等である。
図１において、ウェブサーバ１は、インターネット上で公開されている画像を、クエリ画像により検索する類似画像検索サービスをクライアント端末２に対して提供する。そして、クライアント端末２においてユーザによってクエリ画像による検索要求がなされると、これに応答してクエリ画像に類似する画像（類似画像）を抽出し、検索結果をクライアント端末２に提示する。すなわち、本実施形態では、ウェブサーバ１が本発明に係る画像検索装置を構成している。
図２は、ウェブサーバ１のハードウェア構成の概略を示すブロック図である。
図２に示すように、ウェブサーバ１は、制御部１１、記憶部（補助記憶）１２、入出力部１３、通信部１４、画像データベース１５等を備えた一般的なコンピュータである。各ブロックはバスライン１６により電気的に接続されている。
図２に示すように、ウェブサーバ１は、制御部１１、記憶部（補助記憶）１２、入出力部１３、通信部１４、画像データベース１５等を備えた一般的なコンピュータである。各ブロックはバスライン１６により電気的に接続されている。
制御部１１は、演算／制御装置としてのＣＰＵ（Central Processing Unit）１１１、主記憶装置としてのＲＡＭ（Random Access Memory）１１２及びＲＯＭ（Read Only Memory）１１３で構成される。
ＲＯＭ１１３には、ＢＩＯＳ（Basic Input Output System）と呼ばれるプログラムや基本的な設定データが記憶されている。ＲＡＭ１１２には、記憶部１２から読み出されたＯＳや各種アプリケーションなどのプログラムが展開される。
ＣＰＵ１１１は、ＲＡＭ１１２に展開されたプログラムに従って各種処理を実行し、各ブロックを制御する。
ＲＯＭ１１３には、ＢＩＯＳ（Basic Input Output System）と呼ばれるプログラムや基本的な設定データが記憶されている。ＲＡＭ１１２には、記憶部１２から読み出されたＯＳや各種アプリケーションなどのプログラムが展開される。
ＣＰＵ１１１は、ＲＡＭ１１２に展開されたプログラムに従って各種処理を実行し、各ブロックを制御する。
記憶部１２は、例えばハードディスク等で構成され、ＯＳ、各種アプリケーションプログラム（例えば、サーバ用プログラムやウェブアプリケーションプログラム）、及び各種データ等が記憶されている。
入出力部１３は、ウェブサーバ１の管理者が利用するためのユーザインターフェースを構成する。
通信部１４は、ＴＣＰ／ＩＰ等の通信プロトコルに従って処理を行い、通信ネットワークＮを介してクライアント端末２とデータの送受信を行う。
入出力部１３は、ウェブサーバ１の管理者が利用するためのユーザインターフェースを構成する。
通信部１４は、ＴＣＰ／ＩＰ等の通信プロトコルに従って処理を行い、通信ネットワークＮを介してクライアント端末２とデータの送受信を行う。
画像データベース１５は、クエリ画像による検索要求に応答して類似画像を検索するときに参照されるもので、インターネット上で公開されている画像に関するデータが登録されている。ウェブサーバ１では、例えば、インターネット上で公開されている画像を収集（クロール）するプログラムが常時実行されており、インターネット上で公開されている画像が更新（増減）されると、それに伴い画像データベース１５の内容が更新されるようになっている。
図３は、画像データベース１５のデータ構成の一例を示す説明図である。
図３に示すように、画像データベース１５には、画像ＩＤに対して、収集された画像に関するデータ（画像データ）と、画像の視覚的な特徴を表す特徴量が登録されている。ここで、画像データには、この画像の所在地（ＵＲＬ）、タグ付けされたテキスト情報及びサムネイルなどが含まれる。また、特徴量には、視覚的な特徴を表す特徴量の他、画像から得られる周波数やヒストグラム等を利用することもできる。
本実施形態では、画像を収集したときに実データを解析することにより、画像の構成要素である色Ｃ、輪郭線Ｓ、模様やパターンＴを算出し、これらを特徴量として登録している。複数の画像間の類似性を判断する場合、それぞれの画像が有する特徴量に基づいて画像間の類似度が算出され、例えば、この類似度が閾値以上の場合に両者は類似するものとして判断される。なお、特徴量や類似度の算出については、公知の技術を利用することができる。
図３に示すように、画像データベース１５には、画像ＩＤに対して、収集された画像に関するデータ（画像データ）と、画像の視覚的な特徴を表す特徴量が登録されている。ここで、画像データには、この画像の所在地（ＵＲＬ）、タグ付けされたテキスト情報及びサムネイルなどが含まれる。また、特徴量には、視覚的な特徴を表す特徴量の他、画像から得られる周波数やヒストグラム等を利用することもできる。
本実施形態では、画像を収集したときに実データを解析することにより、画像の構成要素である色Ｃ、輪郭線Ｓ、模様やパターンＴを算出し、これらを特徴量として登録している。複数の画像間の類似性を判断する場合、それぞれの画像が有する特徴量に基づいて画像間の類似度が算出され、例えば、この類似度が閾値以上の場合に両者は類似するものとして判断される。なお、特徴量や類似度の算出については、公知の技術を利用することができる。
また、画像データベース１５には、類似画像検索の検索結果画面を生成するための画像表示用テーブル１５１が一時的に登録される。この画像表示用テーブル１５１には、類似画像検索の検索結果に含まれる画像（クエリ画像と類似画像）の表示に関する情報が登録される。
画像表示用テーブル１５１は、例えば、クライアント端末２における類似画像検索サービスの利用に際して生成され、類似画像検索サービスの利用が終了したとき（ログアウトしたとき）に破棄される。
画像表示用テーブル１５１は、例えば、クライアント端末２における類似画像検索サービスの利用に際して生成され、類似画像検索サービスの利用が終了したとき（ログアウトしたとき）に破棄される。
図４は、画像表示用テーブル１５１のデータ構成の一例を示す説明図である。図４に示すように、画像表示用テーブル１５１は、クエリ画像及び類似画像（に対応するサムネイル）を検索結果画面の所定位置に配置するための表示オブジェクトテーブル（図４（ａ））と、クエリ画像と類似画像間をリンク線で連結するためのリンクテーブル（図４（ｂ））とで構成されている。
なお、検索結果画面において配置されるのは画像に対応するサムネイルであるが、表現を簡素化して画像を配置するものとして記載することもある。
なお、検索結果画面において配置されるのは画像に対応するサムネイルであるが、表現を簡素化して画像を配置するものとして記載することもある。
図４（ａ）に示す表示オブジェクトテーブルには、検索結果に含まれる画像の画像ＩＤ、画像種別（クエリ画像／類似画像）、それぞれの画像に対応するサムネイルを配置する表示座標が登録される。図４（ａ）では、クエリ画像“＃１”の表示座標として（ｘ１，ｙ１）が設定され、類似画像“＃２”の表示座標として（ｘ２，ｙ２）が設定された場合について示している。検索結果画面では、この表示オブジェクトテーブルで設定された表示座標に従って、各画像に対応するサムネイルが表示されることとなる。
表示オブジェクトテーブルにおいて画像種別が“クエリ画像”となっていれば、当該画像による類似画像検索は既に実行されていることになる。つまり、類似画像検索を実行する際に表示オブジェクトテーブルを参照することで、指定された画像による類似画像検索の要否を判定することができる。また、表示オブジェクトテーブルは、ユーザが検索キーとして選択したクエリ画像を蓄積するログとしても機能する。すなわち、画像種別が“クエリ画像”となっている画像は、ユーザにクエリ画像として選択されたことを示す。
表示オブジェクトテーブルにおいて画像種別が“クエリ画像”となっていれば、当該画像による類似画像検索は既に実行されていることになる。つまり、類似画像検索を実行する際に表示オブジェクトテーブルを参照することで、指定された画像による類似画像検索の要否を判定することができる。また、表示オブジェクトテーブルは、ユーザが検索キーとして選択したクエリ画像を蓄積するログとしても機能する。すなわち、画像種別が“クエリ画像”となっている画像は、ユーザにクエリ画像として選択されたことを示す。
図４（ｂ）に示すリンクテーブルには、クエリ画像の画像ＩＤに対応して、抽出された類似画像の画像ＩＤが登録される。図４（ｂ）では、クエリ画像“＃１”に対して類似画像“＃２”，“＃３”がリンク付けられた場合について示している。検索結果画面では、リンク付けられた画像に対応するサムネイル同士（図４（ｂ）では画像“＃１”と“＃２”及び画像“＃１”と“＃３”）がリンク線で連結されることとなる。
ウェブサーバ１の制御部１１は、サーバ用ソフトウェアを実行することにより、クライアント端末２対して類似画像検索サービスを提供する。また、類似画像検索サービスにおいて、クライアント端末２からクエリ画像による検索要求がなされたときに、この検索要求に応答して類似画像の検索を実行する。そして、クエリ画像に類似する類似画像を抽出し、検索結果としてクライアント端末２に提示する。
本実施形態では、クライアント端末２に提示される検索結果画面を構成するユーザインターフェースが特徴的となっている。具体的には、クライアント端末２の表示部に表示させている画像の中から新たにクエリ画像が指定された場合に、この指定されたクエリ画像による検索結果を新たに提示するのではなく、過去の検索結果（今回のクエリ画像が類似画像として含まれている検索結果）に関連させて提示する。これにより、検索結果画面においてユーザの検索意図を的確に表現することができる。
本実施形態では、クライアント端末２に提示される検索結果画面を構成するユーザインターフェースが特徴的となっている。具体的には、クライアント端末２の表示部に表示させている画像の中から新たにクエリ画像が指定された場合に、この指定されたクエリ画像による検索結果を新たに提示するのではなく、過去の検索結果（今回のクエリ画像が類似画像として含まれている検索結果）に関連させて提示する。これにより、検索結果画面においてユーザの検索意図を的確に表現することができる。
図１に示すクライアント端末２のハードウェア構成は、ウェブサーバ１とほぼ同様なので図示を省略する。クライアント端末２は、制御部、記憶部、入力部、表示部、通信部等を備えている。
クライアント端末２の制御部の構成はウェブサーバ１の制御部１１の構成と同様である。
記憶部は、例えばハードディスクで構成され、ＯＳ、各種アプリケーションプログラム（例えば、ウェブブラウザプログラム）、及び各種データ等を記憶する。
入力部は、例えば、キーボード及びマウスで構成され、ユーザが情報を入力する際に使用される。入力部により、例えば、ウェブサーバ１に対して検索要求を行うときの検索キーの入力が行われる。
表示部は、例えば、液晶ディスプレイ等で構成され、制御部からの表示制御指令に基づいて所定の画面を表示する。表示部には、例えば、ウェブブラウザのＧＵＩ（Graphical User Interface）が表示される。
通信部は、ＴＣＰ／ＩＰ等の通信プロトコルに従って処理を行い、通信ネットワークＮを介してウェブサーバ１とデータの送受信を行う。
クライアント端末２の制御部の構成はウェブサーバ１の制御部１１の構成と同様である。
記憶部は、例えばハードディスクで構成され、ＯＳ、各種アプリケーションプログラム（例えば、ウェブブラウザプログラム）、及び各種データ等を記憶する。
入力部は、例えば、キーボード及びマウスで構成され、ユーザが情報を入力する際に使用される。入力部により、例えば、ウェブサーバ１に対して検索要求を行うときの検索キーの入力が行われる。
表示部は、例えば、液晶ディスプレイ等で構成され、制御部からの表示制御指令に基づいて所定の画面を表示する。表示部には、例えば、ウェブブラウザのＧＵＩ（Graphical User Interface）が表示される。
通信部は、ＴＣＰ／ＩＰ等の通信プロトコルに従って処理を行い、通信ネットワークＮを介してウェブサーバ１とデータの送受信を行う。
クライアント端末２の制御部は、ウェブブラウザプログラムを実行することにより、ウェブサーバ１がインターネットを介して提供する類似画像検索サービスの画面を表示部に出力する。また、類似画像検索サービスにおいて、ユーザがクエリ画像による検索を指示すると、この検索要求をウェブサーバ１に対して送信する。そして、ウェブサーバ１から送信された検索結果を取得し、検索結果画面を表示部に出力する。
図５は、ユーザが類似画像検索サービスを利用するときのウェブサーバ１及びクライアント端末２における処理手順の一例について示すフローチャートである。この処理は、ウェブサーバ１の制御部１１及びクライアント端末２の制御部によって実行される。
図５には、例えば、クライアント端末２のウェブブラウザ上で、ユーザにより類似画像検索サービスへのアクセス操作（例えば、ＵＲＬの入力）が行われ、ウェブサーバ１に対して類似画像検索サービスの利用要求が送信された後の処理手順について示している。
図５には、例えば、クライアント端末２のウェブブラウザ上で、ユーザにより類似画像検索サービスへのアクセス操作（例えば、ＵＲＬの入力）が行われ、ウェブサーバ１に対して類似画像検索サービスの利用要求が送信された後の処理手順について示している。
図５のステップＳ１０１において、ウェブサーバ１は、クライアント端末２からの利用要求に応答して、類似画像検索サービスのトップページのＨＴＭＬファイルを送信する。ウェブサーバ１から送信されるＨＴＭＬファイルには、クライアント端末２におけるユーザ操作に応じて、ウェブページを動的に生成して提供するための制御プログラム（例えば、ＪＡＶＡ（登録商標）プログラム）が埋め込まれている。
ステップＳ２０１において、クライアント端末２は、ウェブサーバ１から送信されたＨＴＭＬファイルを解析して、ウェブブラウザ上に類似画像検索サービスのトップページを表示する。
本実施形態の類似画像検索サービスでは、トップページにおいて検索キー（クエリ画像）とし得る画像群を提示し、その中からユーザにクエリ画像を選択させるようになっている。例えば、所定期間内にクエリ画像として指定された頻度の高い画像を提示したり、画像データベース１５に登録されている画像をランダムに選択して提示したりする。また例えば、画像データベース１５に登録されている画像を予めカテゴリ別に分類しておき、各カテゴリを代表する画像（例えば、カテゴリの特徴を反映している画像）を提示するようにしてもよい。
本実施形態の類似画像検索サービスでは、トップページにおいて検索キー（クエリ画像）とし得る画像群を提示し、その中からユーザにクエリ画像を選択させるようになっている。例えば、所定期間内にクエリ画像として指定された頻度の高い画像を提示したり、画像データベース１５に登録されている画像をランダムに選択して提示したりする。また例えば、画像データベース１５に登録されている画像を予めカテゴリ別に分類しておき、各カテゴリを代表する画像（例えば、カテゴリの特徴を反映している画像）を提示するようにしてもよい。
ステップＳ２０２では、ユーザにより検索キーとするクエリ画像が指定されたか否かを判定する。例えば、トップページ又は検索結果画面において提示された画像の中から１つの画像が選択された状態で検索ボタンがクリックされた場合に、クエリ画像による検索要求がなされたと判定する。そして、ユーザによってクエリ画像による検索要求がなされたと判定すると、ステップＳ２０３に移行して、このクエリ画像による検索要求をウェブサーバ１に対して送信する。
ステップＳ１０２において、ウェブサーバ１は、クライアント端末２からの検索要求に含まれるクエリ画像を取得する。すなわち、ユーザが指定した画像をクエリ画像として受け付ける。そして、取得したクエリ画像に関する情報を画像表示用テーブル１５１に登録する。
ここで、新規に要求された類似画像検索の場合には、図４（ａ）の表示オブジェクトテーブルにおいて、取得したクエリ画像の画像ＩＤを登録するとともに、画像種別として“クエリ画像”を設定する。また、図４（ｂ）のリンクテーブルのクエリ画像ＩＤとして、取得したクエリ画像の画像ＩＤを登録する。
一方、検索結果画面で提示した類似画像の中からクエリ画像が指定された類似画像検索の場合、すなわち、取得したクエリ画像に関する情報が既に画像表示用テーブル１５１に登録されている場合には、図４（ａ）の表示オブジェクトテーブルにおいて、取得したクエリ画像の画像ＩＤに対応して設定されている画像種別を“類似画像”から“クエリ画像”に変更する。また、図４（ｂ）のリンクテーブルのクエリ画像ＩＤとして、取得したクエリ画像の画像ＩＤを設定する。つまり、図４（ｂ）のリンクテーブルに類似画像ＩＤとして登録されていた画像ＩＤが、クエリ画像ＩＤとしても登録されることとなる。
一方、検索結果画面で提示した類似画像の中からクエリ画像が指定された類似画像検索の場合、すなわち、取得したクエリ画像に関する情報が既に画像表示用テーブル１５１に登録されている場合には、図４（ａ）の表示オブジェクトテーブルにおいて、取得したクエリ画像の画像ＩＤに対応して設定されている画像種別を“類似画像”から“クエリ画像”に変更する。また、図４（ｂ）のリンクテーブルのクエリ画像ＩＤとして、取得したクエリ画像の画像ＩＤを設定する。つまり、図４（ｂ）のリンクテーブルに類似画像ＩＤとして登録されていた画像ＩＤが、クエリ画像ＩＤとしても登録されることとなる。
ステップＳ１０３では、画像データベース１５に登録されている画像の中から、クエリ画像と類似する類似画像を抽出する。例えば、画像データベース１５を参照して、取得したクエリ画像の特徴量とその他の登録画像の特徴量を比較して類似度を算出し、類似度が閾値以上の画像、或いは類似度が上位の所定数の画像を類似画像として抽出する。そして、抽出した類似画像に関する情報を図４に示す画像表示用テーブル１５１に登録する。
本実施形態では、類似画像検索手段により抽出された類似画像のうち、類似度が上位の所定数（例えば、６個）の画像だけを類似画像として登録するようにしている。すなわち、検索結果画面において提示される画像数は予め決められている。これにより、類似画像が多数抽出された場合に、検索結果画面が繁雑になりすぎるのを防止できる。
本実施形態では、類似画像検索手段により抽出された類似画像のうち、類似度が上位の所定数（例えば、６個）の画像だけを類似画像として登録するようにしている。すなわち、検索結果画面において提示される画像数は予め決められている。これにより、類似画像が多数抽出された場合に、検索結果画面が繁雑になりすぎるのを防止できる。
ここで、新規に要求された類似画像検索の場合には、図４（ａ）の表示オブジェクトテーブルにおいて、抽出した類似画像の画像ＩＤを登録するとともに、画像種別として“類似画像”を設定する。また、図４（ｂ）のリンクテーブルの類似画像ＩＤとして、抽出した類似画像の画像ＩＤを、クエリ画像ＩＤに対応付けて登録する。
一方、検索結果画面で提示された類似画像の中からクエリ画像が指定された類似画像検索の場合には、図４（ａ）の表示オブジェクトテーブルにおいて、新たに抽出した類似画像の画像ＩＤを登録する（既に登録されている類似画像については新たに登録されない）とともに、画像種別として“類似画像”を設定する。また、図４（ｂ）のリンクテーブルの類似画像ＩＤとして、抽出した類似画像の画像ＩＤを、クエリ画像ＩＤに対応付けて登録する。
一方、検索結果画面で提示された類似画像の中からクエリ画像が指定された類似画像検索の場合には、図４（ａ）の表示オブジェクトテーブルにおいて、新たに抽出した類似画像の画像ＩＤを登録する（既に登録されている類似画像については新たに登録されない）とともに、画像種別として“類似画像”を設定する。また、図４（ｂ）のリンクテーブルの類似画像ＩＤとして、抽出した類似画像の画像ＩＤを、クエリ画像ＩＤに対応付けて登録する。
ステップＳ１０４では、取得したクエリ画像及び抽出した類似画像に基づいて、検索結果画面における画像（に対応するサムネイル）の配置位置となる表示座標を設定する。このとき、検索結果画面において提示する画像の視認性を確保しつつ、表示領域を有効利用できるように（できるだけ余白がないように）画像の表示座標を設定するのが望ましい。
本実施形態では、原則として、クエリ画像の表示座標を設定し、その周囲にこのクエリ画像に類似する類似画像の表示座標を設定するようにしている。
ただし、検索結果に含まれる類似画像の中から新たにクエリ画像が指定された場合には、検索結果におけるリンク線による連結態様を保持しつつ、新たなクエリ画像の周囲にこれに類似する類似画像を配置してリンク線で連結できるように、それぞれの表示座標を設定する。また、新たなクエリ画像に類似する類似画像が過去の検索結果に含まれる場合には、この類似画像に類似する複数のクエリ画像の中間にこの類似画像が配置されるように、表示座標が変更されることとなる。このとき、複数のクエリ画像の間の最短距離となるライン上に類似画像が配置されることが望ましい。ただし、他の画像との配置の関係上、画像に重なりが生じてしまう場合は、その重なりを避ける程度に配置位置をずらすようにしてもよい。
つまり、過去の検索結果の表示態様をできるだけ保持しつつ、表示すべき画像の数、表示領域の大きさ、画像間のリンク関係（描画されるリンク線の複雑さ）に応じて各画像の表示座標を設定するようにしている。
ただし、検索結果に含まれる類似画像の中から新たにクエリ画像が指定された場合には、検索結果におけるリンク線による連結態様を保持しつつ、新たなクエリ画像の周囲にこれに類似する類似画像を配置してリンク線で連結できるように、それぞれの表示座標を設定する。また、新たなクエリ画像に類似する類似画像が過去の検索結果に含まれる場合には、この類似画像に類似する複数のクエリ画像の中間にこの類似画像が配置されるように、表示座標が変更されることとなる。このとき、複数のクエリ画像の間の最短距離となるライン上に類似画像が配置されることが望ましい。ただし、他の画像との配置の関係上、画像に重なりが生じてしまう場合は、その重なりを避ける程度に配置位置をずらすようにしてもよい。
つまり、過去の検索結果の表示態様をできるだけ保持しつつ、表示すべき画像の数、表示領域の大きさ、画像間のリンク関係（描画されるリンク線の複雑さ）に応じて各画像の表示座標を設定するようにしている。
ステップＳ１０５では、設定された表示座標に各画像を配置するとともに、リンク関係にある画像間をリンク線で連結した検索結果画面のデータ（ＨＴＭＬファイル）を生成し、クライアント端末２に対して送信する。
ステップＳ２０４において、クライアント端末２は、検索結果画面のＨＴＭＬファイルを解析して、ウェブブラウザ上に検索結果を表示する。この検索結果画面により、ユーザはクエリ画像に類似する類似画像を知得することができる。
さらに、この検索結果画面において提示されている類似画像を新たなクエリ画像として指定できるようになっている。この場合、ステップＳ２０２に以降の処理が実行されることとなる。
さらに、この検索結果画面において提示されている類似画像を新たなクエリ画像として指定できるようになっている。この場合、ステップＳ２０２に以降の処理が実行されることとなる。
図６は、類似画像検索に係る検索結果画面の遷移態様の一例について示す説明図である。
図６（ａ）に示すように、類似画像検索サービスのトップページでは、例えば、検索キーとし得る複数の画像がマトリックス状に配置される。なお、画像の配置を、ランダムな配置としてもよい。図６（ａ）では、提示された画像群の中から画像Ａがクエリ画像として選択されている。このように、画像Ａがクエリ画像として指定されると、図６（ｂ）に示す検索結果が提示される。
図６（ａ）に示すように、類似画像検索サービスのトップページでは、例えば、検索キーとし得る複数の画像がマトリックス状に配置される。なお、画像の配置を、ランダムな配置としてもよい。図６（ａ）では、提示された画像群の中から画像Ａがクエリ画像として選択されている。このように、画像Ａがクエリ画像として指定されると、図６（ｂ）に示す検索結果が提示される。
図６（ｂ）に示すように、クエリ画像Ａによる検索の結果画面では、クエリ画像Ａの周囲にこれに類似する６つの類似画像が配置されるとともに、クエリ画像Ａと類似画像間がリンク線Ｌで連結されている。つまり、検索結果画面がこのように描画されるように、各画像の表示座標が設定されている。
図６（ｂ）では、検索結果として提示された類似画像の中から画像Ｂが次のクエリ画像（新たなクエリ画像）として選択されている。このように、画像Ｂがクエリ画像として指定されると、図６（ｃ）に示す検索結果が提示される。
図６（ｂ）では、検索結果として提示された類似画像の中から画像Ｂが次のクエリ画像（新たなクエリ画像）として選択されている。このように、画像Ｂがクエリ画像として指定されると、図６（ｃ）に示す検索結果が提示される。
図６（ｃ）に示すように、クエリ画像Ｂによる検索の結果画面では、図６（ｂ）に示す検索結果におけるリンク線による連結態様を保持しつつ、新たなクエリ画像Ｂの周囲にこれに類似する６つの類似画像（クエリ画像Ａを含む）が配置されるとともに、クエリ画像Ｂと類似画像間がリンク線Ｌで連結されている。つまり、検索結果画面がこのように描画されるように、各画像の表示座標が設定されている。具体的には、クエリ画像Ｂの周囲に類似画像を配置するために、クエリ画像Ｂの表示位置は図６（ｂ）に示す位置より上方に移動されている。
図６（ｃ）では、検索結果として提示された類似画像の中から画像Ｃが次のクエリ画像（新たなクエリ画像）として選択されている。このように、画像Ｃがクエリ画像として指定されると、図６（ｄ）に示す検索結果が提示される。
図６（ｃ）では、検索結果として提示された類似画像の中から画像Ｃが次のクエリ画像（新たなクエリ画像）として選択されている。このように、画像Ｃがクエリ画像として指定されると、図６（ｄ）に示す検索結果が提示される。
図６（ｄ）に示すように、クエリ画像Ｃによる検索の結果画面では、図６（ｃ）に示す検索結果におけるリンク線による連結態様を保持しつつ、新たなクエリ画像Ｃの周囲にこれに類似する６つの類似画像（クエリ画像Ａ及び類似画像Ｘを含む）が配置され、クエリ画像Ｃと類似画像間がリンク線Ｌで連結されている。
また、新たなクエリ画像Ｃに類似する類似画像Ｘは過去の検索結果（クエリ画像Ａによる検索結果）に含まれるので、この類似画像Ｘに類似する２つのクエリ画像Ａ，Ｃの中間にこの類似画像Ｘが配置され、類似画像Ｘと新たなクエリ画像Ｃがリンク線Ｌで連結されている。
つまり、検索結果画面がこのように描画されるように、各画像の表示座標が設定されている。具体的には、クエリ画像Ｃの周囲に類似画像を配置し、かつクエリ画像Ｃと類似画像Ｘをリンク線Ｌで連結するために、クエリ画像Ｃの表示位置は図６（ｃ）に示す位置より下方に移動され、類似画像Ｘの表示位置は図６（ｃ）に示す位置より上方に移動されている。
図６（ｄ）では、検索結果として提示された類似画像の中から画像Ｄが次のクエリ画像（新たなクエリ画像）として選択されている。このように、画像Ｄがクエリ画像として指定されると、図６（ｅ）に示す検索結果が提示される。
また、新たなクエリ画像Ｃに類似する類似画像Ｘは過去の検索結果（クエリ画像Ａによる検索結果）に含まれるので、この類似画像Ｘに類似する２つのクエリ画像Ａ，Ｃの中間にこの類似画像Ｘが配置され、類似画像Ｘと新たなクエリ画像Ｃがリンク線Ｌで連結されている。
つまり、検索結果画面がこのように描画されるように、各画像の表示座標が設定されている。具体的には、クエリ画像Ｃの周囲に類似画像を配置し、かつクエリ画像Ｃと類似画像Ｘをリンク線Ｌで連結するために、クエリ画像Ｃの表示位置は図６（ｃ）に示す位置より下方に移動され、類似画像Ｘの表示位置は図６（ｃ）に示す位置より上方に移動されている。
図６（ｄ）では、検索結果として提示された類似画像の中から画像Ｄが次のクエリ画像（新たなクエリ画像）として選択されている。このように、画像Ｄがクエリ画像として指定されると、図６（ｅ）に示す検索結果が提示される。
図６（ｅ）に示すように、クエリ画像Ｄによる検索の結果画面では、図６（ｄ）に示す検索結果におけるリンク線による連結態様を保持しつつ、新たなクエリ画像Ｄの周囲にこれに類似する６つの類似画像（クエリ画像Ｃ及び類似画像Ｙを含む）が配置され、クエリ画像Ｄと類似画像間がリンク線Ｌで連結されている。
また、新たなクエリ画像Ｄに類似する類似画像Ｙは過去の検索結果（クエリ画像Ｂによる検索結果）に含まれるので、この類似画像Ｙに類似する２つのクエリ画像Ｂ，Ｄの中間にこの類似画像Ｙが配置され、類似画像Ｙと新たなクエリ画像Ｄがリンク線Ｌで連結されている。
つまり、検索結果画面がこのように描画されるように、各画像の表示座標が設定されている。具体的には、クエリ画像Ｄの周囲に類似画像を配置し、かつクエリ画像Ｄと類似画像Ｙをリンク線Ｌで連結するために、クエリ画像Ｄの表示位置は図６（ｄ）に示す位置より上方に移動されている。クエリ画像Ｄの表示領域だけで調整できるため、類似画像Ｙの表示位置は図６（ｄ）に示す位置から変化していない。
このように、検索を重ねると検索結果としてのグラフ構造が動的に変化し、ユーザの検索意図に沿う画像、すなわちユーザが指定した複数のクエリ画像に共通する類似画像がクエリ画像を中心として表示空間中央に集合してくるので、ユーザは効率よく所望する画像を検索することができる。
また、新たなクエリ画像Ｄに類似する類似画像Ｙは過去の検索結果（クエリ画像Ｂによる検索結果）に含まれるので、この類似画像Ｙに類似する２つのクエリ画像Ｂ，Ｄの中間にこの類似画像Ｙが配置され、類似画像Ｙと新たなクエリ画像Ｄがリンク線Ｌで連結されている。
つまり、検索結果画面がこのように描画されるように、各画像の表示座標が設定されている。具体的には、クエリ画像Ｄの周囲に類似画像を配置し、かつクエリ画像Ｄと類似画像Ｙをリンク線Ｌで連結するために、クエリ画像Ｄの表示位置は図６（ｄ）に示す位置より上方に移動されている。クエリ画像Ｄの表示領域だけで調整できるため、類似画像Ｙの表示位置は図６（ｄ）に示す位置から変化していない。
このように、検索を重ねると検索結果としてのグラフ構造が動的に変化し、ユーザの検索意図に沿う画像、すなわちユーザが指定した複数のクエリ画像に共通する類似画像がクエリ画像を中心として表示空間中央に集合してくるので、ユーザは効率よく所望する画像を検索することができる。
また、図６に示すように、クエリ画像を網掛け表示とし、類似画像を白抜き表示とすることで、検索結果画面においてクエリ画像と類似画像を異なる表示態様としている。実際には、画像枠の太さや色を変えることで、クエリ画像と類似画像を区別することができる。これにより、ユーザの検索履歴（どの画像をクエリ画像としたか）を視覚的に把握できるので、一度指定したクエリ画像が再度指定されるのを防止できるので、利便性が向上する。
上述したように、ウェブサーバ１は、ユーザによって指定されたクエリ画像による検索要求に応答して、このクエリ画像に類似する画像を検索する画像検索装置を構成している。
そして、画像ごとに、画像の視覚的な特徴を表す特徴量が登録されている画像データベース（１５）、表示手段（クライアント端末２の表示部）に表示されている画像データベース（１５）中の画像からユーザが指定した画像をクエリ画像として受け付ける検索要求受付手段（制御部１１、図５のステップＳ１０２）、画像データベース（１５）に登録されている画像の中から、クエリ画像と類似する類似画像を抽出する類似画像検索手段（制御部１１、図５のステップＳ１０３）、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示（リンク線で連結）した検索結果を表示手段に提示する検索結果提示手段（制御部１１、図５のステップＳ１０４，Ｓ１０５）、を備えている。
検索結果提示手段（制御部１１、図５のステップＳ１０４，Ｓ１０５）は、検索要求受付手段によって新たなクエリ画像が受け付けられた場合には、表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に新たなクエリ画像による検索結果を追加して表示手段に提示する。
新たなクエリ画像に類似する類似画像が過去の検索結果に含まれる場合には、この類似画像に類似する複数のクエリ画像の中間にこの類似画像を配置するとともに、この類似画像と新たなクエリ画像を連結表示することとなる。
そして、画像ごとに、画像の視覚的な特徴を表す特徴量が登録されている画像データベース（１５）、表示手段（クライアント端末２の表示部）に表示されている画像データベース（１５）中の画像からユーザが指定した画像をクエリ画像として受け付ける検索要求受付手段（制御部１１、図５のステップＳ１０２）、画像データベース（１５）に登録されている画像の中から、クエリ画像と類似する類似画像を抽出する類似画像検索手段（制御部１１、図５のステップＳ１０３）、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示（リンク線で連結）した検索結果を表示手段に提示する検索結果提示手段（制御部１１、図５のステップＳ１０４，Ｓ１０５）、を備えている。
検索結果提示手段（制御部１１、図５のステップＳ１０４，Ｓ１０５）は、検索要求受付手段によって新たなクエリ画像が受け付けられた場合には、表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に新たなクエリ画像による検索結果を追加して表示手段に提示する。
新たなクエリ画像に類似する類似画像が過去の検索結果に含まれる場合には、この類似画像に類似する複数のクエリ画像の中間にこの類似画像を配置するとともに、この類似画像と新たなクエリ画像を連結表示することとなる。
これにより、最新のクエリ画像に類似する画像を提示する際に、過去のクエリ画像による検索結果が含まれる（例えば、リンク線による連結態様が保持される）ので、ユーザの検索意図を的確に表現できる。また、検索を重ねることでユーザの検索意図に沿う画像が中央に集合してくるので、ユーザは効率よく所望する画像を検索することができる。
したがって、類似画像検索において検索結果を提示する際のユーザインターフェースの利便性が格段に向上される。
したがって、類似画像検索において検索結果を提示する際のユーザインターフェースの利便性が格段に向上される。
ところで、クエリ画像による画像検索が繰り返されると、検索結果に含まれる類似画像が増加して表示領域が不足することが考えられる。この場合、最新のクエリ画像から所定距離以上離間している画像の連結表示を消去することで対応できる。
図７は、類似画像検索に係る検索結果画面の遷移態様の他の一例について示す説明図である。
図７（ａ）に示すように、類似画像検索を複数回重ね、最新のクエリ画像ａによる検索結果が追加されると、画面左上の６つ画像ｂ〜ｇは、クエリ画像ａと所定距離Ｒ以上離間することとなる。すなわち、これらの画像ｂ〜ｇは最新のクエリ画像ａと関連性が低いものと判断できるので、これらの連結表示を消去する。
すなわち、図７（ｂ）に示す検索結果画面が、最新のクエリ画像ａによる類似画像検索の結果として提示される。なお、図７（ｂ）では、画像ｂ〜ｇを画面上から消去しているが、連結表示（リンク線による連結）を消去するだけで、これらの画像ｂ〜ｇを一部の表示領域にまとめて縮小表示するようにしてもよい。
図７は、類似画像検索に係る検索結果画面の遷移態様の他の一例について示す説明図である。
図７（ａ）に示すように、類似画像検索を複数回重ね、最新のクエリ画像ａによる検索結果が追加されると、画面左上の６つ画像ｂ〜ｇは、クエリ画像ａと所定距離Ｒ以上離間することとなる。すなわち、これらの画像ｂ〜ｇは最新のクエリ画像ａと関連性が低いものと判断できるので、これらの連結表示を消去する。
すなわち、図７（ｂ）に示す検索結果画面が、最新のクエリ画像ａによる類似画像検索の結果として提示される。なお、図７（ｂ）では、画像ｂ〜ｇを画面上から消去しているが、連結表示（リンク線による連結）を消去するだけで、これらの画像ｂ〜ｇを一部の表示領域にまとめて縮小表示するようにしてもよい。
このように一部の画像の連結表示を消去する場合、リンクテーブル（図４（ｂ）参照）に記録されているリンク情報は消去しない。そして、新たにクエリ画像が指定され、このクエリ画像の類似画像に、画面上から消去された画像が含まれる場合には、リンクテーブルに保持されているリンク情報を参照して、その画像に関する連結表示を復帰させるようにする。
例えば、図７（ｂ）に示す検索結果が面において画像ｉがクエリ画像として指定され、この画像ｉの類似画像に、画像ｈとの連結表示が消去された画像ｇが含まれる場合、図７(ｃ)に示す検索結果画面が提示されることとなる。すなわち、新たなクエリ画像ｉの周囲にその類似画像（類似画像ｇを含む）が配置されて連結表示されるとともに、類似画像ｇについてはクエリ画像ｈとの連結表示が再表示される。
例えば、図７（ｂ）に示す検索結果が面において画像ｉがクエリ画像として指定され、この画像ｉの類似画像に、画像ｈとの連結表示が消去された画像ｇが含まれる場合、図７(ｃ)に示す検索結果画面が提示されることとなる。すなわち、新たなクエリ画像ｉの周囲にその類似画像（類似画像ｇを含む）が配置されて連結表示されるとともに、類似画像ｇについてはクエリ画像ｈとの連結表示が再表示される。
上述したように、画像検索装置としてのウェブサーバ１は、最新のクエリ画像から所定距離（Ｒ）以上離間している画像の連結表示を消去する。これにより、最新のクエリ画像と関連性の高い画像などユーザにとって有用な検索結果を損なうことなく表示領域を有効活用できる。
また、連結表示を消去した画像に関する連結情報（リンク情報）を記録する連結情報記録手段（リンクテーブル）を備え、クエリ画像に対して検索された類似画像が連結情報記録手段に記録されている場合に、消去した連結表示を再表示させる。これにより、一旦連結表示が消去された画像であっても、過去の検索結果をできるだけ利用して画像間の連結表示が形成されるので、検索結果画面において画像間の類似性を効率よく提示できる。
また、連結表示を消去した画像に関する連結情報（リンク情報）を記録する連結情報記録手段（リンクテーブル）を備え、クエリ画像に対して検索された類似画像が連結情報記録手段に記録されている場合に、消去した連結表示を再表示させる。これにより、一旦連結表示が消去された画像であっても、過去の検索結果をできるだけ利用して画像間の連結表示が形成されるので、検索結果画面において画像間の類似性を効率よく提示できる。
なお、最新のクエリ画像の表示位置を検索結果の中心とすることで、最新の検索結果を容易に把握することができる。また、検索結果に含まれる類似画像が増加して表示領域が不足する場合には、表示領域をスクロールして提示したり、全体的に縮小表示したりすることで対応するようにしてもよい。
以上、本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態では、検索結果画面において提示する画像の視認性を確保しつつ表示領域を有効利用すべく画像の表示座標を設定しているが、クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するようにしてもよい。
また例えば、検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するようにしてもよい。
例えば、上記実施形態では、検索結果画面において提示する画像の視認性を確保しつつ表示領域を有効利用すべく画像の表示座標を設定しているが、クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するようにしてもよい。
また例えば、検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するようにしてもよい。
具体的には、検索結果画面において提示する画像をばねで結合したもの（ばねモデル）としてシミュレーションする手法を利用して、画像間の類似性をリンク線の長さに反映することができる。フックの法則によりばねによる反力Ｆは以下のように表される。
Ｆ＝−ｋ（ｘ−Ｌ）
ｘ：ばねの長さ、Ｌ：荷重がないときのばねの長さ、ｋ：ばね定数
ばねモデルでは、このように表された各ばねのＦが釣り合うようにシミュレーションする。そこで、画像間の類似性を表す値をＳとすると、
Ｆ＝−ｋ（ｘ−Ｓ・Ｌ）
というようにばねの長さを変動させることで、リンク線の長さに反映することができる。また、
Ｆ＝−ｓ・ｋ（ｘ−Ｌ）
として、ばね定数を変化させることで、リンク線の長さに反映させることもできる。この場合には、画像が複数の画像とリンク線で結合されている場合にのみ長さの違いが現れる。
ここで、類似性を表す値Ｓには、画像間の類似度０〜１（類似するほど０に近い）や、クエリ画像と類似する順（ランク）を正規化した値（＝（Ｒ−１）／Ｎ，Ｒ：ランク，Ｎ：登録数又は検索数）を利用することができる。
このようにクエリ画像と類似画像の類似性をリンク線の長さに反映させることにより、検索結果画面が特徴量空間とし表されることとなるので、各画像間の類似性・関連性を視覚的に把握できるようになる。
Ｆ＝−ｋ（ｘ−Ｌ）
ｘ：ばねの長さ、Ｌ：荷重がないときのばねの長さ、ｋ：ばね定数
ばねモデルでは、このように表された各ばねのＦが釣り合うようにシミュレーションする。そこで、画像間の類似性を表す値をＳとすると、
Ｆ＝−ｋ（ｘ−Ｓ・Ｌ）
というようにばねの長さを変動させることで、リンク線の長さに反映することができる。また、
Ｆ＝−ｓ・ｋ（ｘ−Ｌ）
として、ばね定数を変化させることで、リンク線の長さに反映させることもできる。この場合には、画像が複数の画像とリンク線で結合されている場合にのみ長さの違いが現れる。
ここで、類似性を表す値Ｓには、画像間の類似度０〜１（類似するほど０に近い）や、クエリ画像と類似する順（ランク）を正規化した値（＝（Ｒ−１）／Ｎ，Ｒ：ランク，Ｎ：登録数又は検索数）を利用することができる。
このようにクエリ画像と類似画像の類似性をリンク線の長さに反映させることにより、検索結果画面が特徴量空間とし表されることとなるので、各画像間の類似性・関連性を視覚的に把握できるようになる。
上記実施形態では、類似画像検索サービスのトップページにおいて、検索キーとし得る画像群が提示されるようにしているが、ユーザがクライアント端末２から画像をアップロードすることにより、検索キーとなるクエリ画像を指定できるようにしてもよい。また、類似画像検索に先立ってキーワードを検索キーとする画像検索を行い、その検索結果画面において提示される画像群の中から最初のクエリ画像を指定できるようにしてもよい。
検索結果画面が表示された状態で新たにクエリ画像を指定する際にも、表示されている画像群からクエリ画像を指定するのではなく、ユーザがクライアント端末２から画像をアップロードすることによりクエリ画像を指定できるようにしてもよい。
検索結果画面が表示された状態で新たにクエリ画像を指定する際にも、表示されている画像群からクエリ画像を指定するのではなく、ユーザがクライアント端末２から画像をアップロードすることによりクエリ画像を指定できるようにしてもよい。
さらに、図８（ａ）、（ｂ）に示すように、ユーザによってクエリ画像（親画像）Ｑ１が一度指定されると、そのクエリ画像に類似する類似画像（子画像）を抽出して、さらにその類似画像（子画像）をクエリ画像Ｑ２〜Ｑ７として、これに類似する類似画像（孫画像）を抽出する、というように類似画像を段階的に自動検索して提示するようにしてもよい。
これにより、ユーザが一度だけクエリ画像を指定するだけで、検索結果として広範囲のグラフが提示されるので、さらに効率よく検索することが可能となる。
これにより、ユーザが一度だけクエリ画像を指定するだけで、検索結果として広範囲のグラフが提示されるので、さらに効率よく検索することが可能となる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１ ウェブサーバ（画像検索装置）
２ クライアント端末
Ｎ 通信ネットワーク
１１ 制御部（検索要求受付手段、類似画像検索手段、検索結果提示手段）
１２ 記憶部
１３ 入出力部
１４ 通信部
１５ 画像データベース
１６ バスライン
２ クライアント端末
Ｎ 通信ネットワーク
１１ 制御部（検索要求受付手段、類似画像検索手段、検索結果提示手段）
１２ 記憶部
１３ 入出力部
１４ 通信部
１５ 画像データベース
１６ バスライン
Claims (5)
- ユーザによって指定されたクエリ画像による検索要求に応答して、このクエリ画像に類似する画像を検索する画像検索装置であって、
画像ごとに、画像の特徴量が登録されている画像データベースと、
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付ける検索要求受付手段と、
前記画像データベースに登録されている画像の中から、前記クエリ画像と類似する類似画像を抽出する類似画像検索手段と、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示する検索結果提示手段と、を備え、
前記検索結果提示手段は、前記検索要求受付手段によって新たなクエリ画像が受け付けられた場合には、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して前記表示手段に提示し、前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定し、前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定し、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去し、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させることを特徴とする画像検索装置。 - 前記検索結果提示手段は、前記検索結果に含まれるクエリ画像と類似画像を異なる表示態様とすることを特徴とする請求項１に記載の画像検索装置。
- 前記検索結果提示手段は、前記類似画像検索手段により抽出された類似画像のうち、類似度が高い順に所定数だけ配置することを特徴とする請求項１又は２に記載の画像検索装置。
- 画像ごとに、画像の特徴量が登録されている画像データベースを備えた画像検索装置のコンピュータが、ユーザによって指定されたクエリ画像による検索要求に応答して、このクエリ画像に類似する画像を検索する方法であって、
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付けるステップと、
前記画像データベースに登録されている画像の中から、前記クエリ画像の特徴量と類似する特徴量を有する類似画像を抽出するステップと、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示するステップと、
新たなクエリ画像を受け付けた場合に、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して表示手段に提示するステップと、
前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するステップと、
前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するステップと、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去するステップと、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させるステップと、を有することを特徴とする画像検索方法。 - 画像ごとに、画像の特徴量が登録されている画像データベースを備え、ユーザによって指定されたクエリ画像による検索要求に応答して、このクエリ画像に類似する画像を検索する画像検索装置のコンピュータに、
表示手段に表示されている前記画像データベース中の画像からユーザが指定した画像をクエリ画像として受け付けるステップと、
前記画像データベースに登録されている画像の中から、前記クエリ画像の特徴量と類似する特徴量を有する類似画像を抽出するステップと、
前記クエリ画像の周囲に前記類似画像を配置するとともに、前記クエリ画像と類似画像間を連結表示した検索結果を前記表示手段に提示するステップと、
新たなクエリ画像を受け付けた場合に、前記表示手段に過去に提示した検索結果の連結表示を保持しつつ、その検索結果に前記新たなクエリ画像による前記検索結果を追加して表示手段に提示するステップと、
前記クエリ画像とこれに類似する類似画像の類似度に基づいて、これらを連結する連結表示の長さを設定するステップと、
前記検索された類似画像が他のクエリ画像に対する類似画像と共通する場合に、当該複数のクエリ画像のそれぞれと前記共通する類似画像の類似度に基づいて、それぞれの連結表示の長さの比を設定するステップと、
最新のクエリ画像から所定距離以上離間している画像の連結表示を消去するステップと、
前記クエリ画像に対して検索された類似画像が、前記連結表示を消去した画像に関する連結情報を記録する連結情報記録手段に記録されている場合に、当該類似画像に係る前記消去された連結表示を再表示させるステップと、を実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009098811A JP5199939B2 (ja) | 2009-04-15 | 2009-04-15 | 画像検索装置、画像検索方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009098811A JP5199939B2 (ja) | 2009-04-15 | 2009-04-15 | 画像検索装置、画像検索方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010250529A JP2010250529A (ja) | 2010-11-04 |
| JP5199939B2 true JP5199939B2 (ja) | 2013-05-15 |
Family
ID=43312787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009098811A Active JP5199939B2 (ja) | 2009-04-15 | 2009-04-15 | 画像検索装置、画像検索方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5199939B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5830784B2 (ja) * | 2011-06-23 | 2015-12-09 | サイバーアイ・エンタテインメント株式会社 | 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム |
| JP5677348B2 (ja) | 2012-03-23 | 2015-02-25 | 富士フイルム株式会社 | 症例検索装置、症例検索方法及びプログラム |
| JP6327918B2 (ja) * | 2014-04-14 | 2018-05-23 | キヤノン株式会社 | 画像検索装置及びその制御方法 |
| JP5760131B1 (ja) * | 2014-08-29 | 2015-08-05 | 仁幸 小林 | 画像照合システム、画像照合装置、画像照合方法、およびコンピュータプログラム |
| WO2016147260A1 (ja) | 2015-03-13 | 2016-09-22 | 株式会社日立製作所 | 画像検索装置、及び画像を検索する方法 |
| JP6450628B2 (ja) * | 2015-04-01 | 2019-01-09 | 日本電信電話株式会社 | 画像検索装置及びプログラム |
| JP7178650B2 (ja) * | 2016-08-08 | 2022-11-28 | 地方独立行政法人東京都立産業技術研究センター | 情報検索方法、情報検索プログラム、情報検索用端末および情報検索装置 |
| JP6919276B2 (ja) * | 2017-03-31 | 2021-08-18 | 富士通株式会社 | 画像表示プログラム、画像表示装置および画像表示方法 |
| CN117438053A (zh) * | 2018-08-27 | 2024-01-23 | 卡西欧计算机株式会社 | 显示控制装置、显示控制系统、显示控制方法及记录介质 |
| JP7026659B2 (ja) * | 2019-06-20 | 2022-02-28 | 本田技研工業株式会社 | 応答装置、応答方法、およびプログラム |
| JP6590329B1 (ja) * | 2019-06-26 | 2019-10-16 | 株式会社ラディウス・ファイブ | 画像表示システム及びプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4261677B2 (ja) * | 1999-04-26 | 2009-04-30 | キヤノン株式会社 | 情報検索方法及び装置並びに記憶媒体 |
| JP2004054918A (ja) * | 2002-05-30 | 2004-02-19 | Osaka Industrial Promotion Organization | 情報処理システム、情報表示装置、コンピュータプログラム、及び記録媒体 |
| US20080235184A1 (en) * | 2004-03-31 | 2008-09-25 | Pioneer Corporation | Image Search Method, Image Search Apparatus, and Recording Medium Having Image Search Program Code Thereon |
-
2009
- 2009-04-15 JP JP2009098811A patent/JP5199939B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010250529A (ja) | 2010-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5199939B2 (ja) | 画像検索装置、画像検索方法及びプログラム | |
| JP4746439B2 (ja) | 文書検索サーバおよび文書検索方法 | |
| JP2007058782A (ja) | 情報検索装置および情報検索方法 | |
| US20120084657A1 (en) | Providing content to a user from multiple sources based on interest tag(s) that are included in an interest cloud | |
| CN101751428A (zh) | 信息搜索方法及装置 | |
| US20110238653A1 (en) | Parsing and indexing dynamic reports | |
| US7191212B2 (en) | Server and web page information providing method for displaying web page information in multiple formats | |
| JP4939637B2 (ja) | 情報提供装置、情報提供方法、プログラム、ならびに、情報記録媒体 | |
| JP6162134B2 (ja) | ソーシャルページのトリガー | |
| JP2010205224A (ja) | 商品情報提供装置、商品情報の提供方法及びプログラム | |
| JP2011257786A (ja) | 文書検索システム、情報処理装置、文書検索方法およびプログラム | |
| CN113326418A (zh) | 用于确定网页信息源及网页质量的方法和装置 | |
| JP6056327B2 (ja) | 電子商取引サーバ装置 | |
| JP2012159917A (ja) | 文書管理システム、文書管理方法、及びプログラム | |
| JPWO2012023541A1 (ja) | 情報提供装置、情報提供方法、プログラム、ならびに、情報記録媒体 | |
| JP5835224B2 (ja) | 入力支援プログラム、入力支援装置、及び入力支援方法 | |
| JP2010237949A (ja) | データ提供装置、データ提供方法およびデータ提供プログラム | |
| JP2005063428A (ja) | 情報表示装置、方法及びプログラム | |
| JP4949354B2 (ja) | 画像検索装置、画像検索方法及びプログラム | |
| JP4571648B2 (ja) | Ｗｅｂ情報提供装置及びその方法、プログラム | |
| JP5777663B2 (ja) | 検索支援装置及び検索支援プログラム | |
| Wei et al. | Assisted human-in-the-loop adaptation of Web pages for mobile devices | |
| JP2012043290A (ja) | 情報提供装置、情報提供方法、プログラム、ならびに、情報記録媒体 | |
| WO2018154801A1 (ja) | ウェブページ制作支援システム | |
| JP2002132825A (ja) | 画像検索システム、画像検索方法、画像検索プログラム、画像検索プログラムを記録したコンピュータ読み取り可能な記憶媒体、および画像検索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120724 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121211 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5199939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |