JP6058595B2 - 画像検索装置、画像検索方法、プログラムおよび記録媒体 - Google Patents

画像検索装置、画像検索方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6058595B2
JP6058595B2 JP2014153709A JP2014153709A JP6058595B2 JP 6058595 B2 JP6058595 B2 JP 6058595B2 JP 2014153709 A JP2014153709 A JP 2014153709A JP 2014153709 A JP2014153709 A JP 2014153709A JP 6058595 B2 JP6058595 B2 JP 6058595B2
Authority
JP
Japan
Prior art keywords
image
feature
search
predetermined number
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014153709A
Other languages
English (en)
Other versions
JP2015046158A (ja
Inventor
野口 幸典
幸典 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014153709A priority Critical patent/JP6058595B2/ja
Publication of JP2015046158A publication Critical patent/JP2015046158A/ja
Application granted granted Critical
Publication of JP6058595B2 publication Critical patent/JP6058595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Description

本発明は、検索対象が含まれた複数の画像の中から、ユーザが所望する検索対象が含まれた画像を検索する画像検索装置、画像検索方法、プログラムおよび記録媒体に関するものである。
現状のEC(Electronic Commerce)サイトでは、ユーザが、例えば、衣服や腕時計等の商品を購入する場合、そのECサイトで販売されている商品の画像の一覧が、ブランド、価格帯、サイズ等に応じて分類されて表示される。
しかし、商品が大量にある場合、大量の商品の画像の中から、ユーザが所望する商品を見つけることは非常に困難である。
また、現状のECサイトでは、大量の商品の中から、ユーザが所望する商品を見つけるための検索手段がない。そのため、ユーザは、結局、全ての商品の画像を見て自分がほしい商品を見つけなければならない。
しかし、ユーザが、大量の商品の画像を全て見ることは容易ではなく、自分がほしい商品を見つけることができず、購買に結びつかないという問題点があった。
これに対し、特許文献1には、4つの特徴量項目を、仮想的な軸であるL1〜L4軸に割り当て、L1〜L4軸を1点で交わるように表示し、L1〜L4軸上に、各特徴量別に隣接類似の9個のウィンドウW0,W11,W12,W21,W22,W31,W32,W41及びW42を配置した状態において、ウィンドウW31に表示された画像を新たな基準例示画とすべき旨の選択操作を行うと、ウィンドウW31に表示されていた画像が、中央ウィンドウW0に表示され、これを取り巻くその周囲のウィンドウ(W11とW12,W21とW22,W31とW32,W41とW42)に、各特徴量別に新たな基準類似画の隣接類似の画像が8個だけ全体として点対称の配置関係において一括して表示される画像検索装置が記載されている。
特開平8−249352号公報
しかし、同文献に記載の画像検索装置では、軸L1〜L4の交差中心に配置されたウィンドウW0に表示された画像の特徴量を中心として、特徴量が近い画像のみがその周囲に配置されたウィンドウW11とW12,W21とW22,W31とW32,W41とW42に表示される。そのため、画像の全体集合がどのような分布になっているのかを、ユーザが把握することができないという問題点があった。
本発明の第1の目的は、前記従来技術の問題点を解消し、検索対象が含まれた大量の画像の中から、ユーザが所望する検索対象が含まれた画像を効率的に検索することができる画像検索装置、画像検索方法、プログラムおよび記録媒体を提供することにある。
本発明の第2の目的は、上記第1の目的に加えて、ユーザが、画像に含まれた検索対象の全体集合の、各特徴量に関する分布を把握することができる画像検索装置、画像検索方法、プログラムおよび記録媒体を提供することにある。
上記目的を達成するために、本発明は、検索対象が含まれた複数の画像の中から、ユーザが所望する検索対象が含まれた画像を検索する画像検索装置であって、
複数の画像、および、複数の画像の各々に含まれた検索対象の各々の特徴量を記憶する画像情報記憶部と、
1の特徴軸または1の交点で交差する2以上の特徴軸を含む所定数の特徴軸を平面上に配置し、1の特徴軸の中央点または2以上の特徴軸の交点上に配置された注目画像に含まれた検索対象の各々の特徴量に応じて、画像情報記憶部から、注目画像に類似した所定数の類似画像および所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、所定数の類似画像を、所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、検索対象の各々の特徴量の分布の偏りが分かるように、所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御する表示制御部と、
表示制御部の制御により、所定数の特徴軸および所定数の特徴軸の各々の上に配置された注目画像および類似画像を表す検索画面および所定数の特徴軸の各々の上に配置された注目画像または類似画像の詳細を表す詳細表示画面を含む、各種の表示画面を表示する表示部と
ユーザが、画像検索装置を操作するための各種の指示を入力する操作入力部とを備え
表示制御部は、操作入力部を介して入力された指示に応じて、ユーザが、詳細表示画面の確認を繰り返している場合に、それぞれの詳細表示画面に表示された注目画像または類似画像に含まれた検索対象の各々の特徴量に応じてユーザの特徴量に関する嗜好を推測し、推測したユーザの特徴量に関する嗜好に応じて、同一の注目画像を表す検索画面において配置する特徴軸を変更するものであることを特徴とする画像検索装置を提供するものである。
ここで、表示制御部は、操作入力部を介して入力された指示に応じて、注目画像を、所定数の特徴軸の各々の上に配置した1の類似画像に入れ換えて新たな注目画像に変更するものであることが好ましい。
さらに、表示制御部は、注目画像を新たな注目画像に変更した場合に、新たな注目画像に含まれた検索対象の各々の特徴量に応じて、画像情報記憶部から、新たな注目画像に類似した新たな所定数の類似画像および新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、新たな所定数の類似画像を、新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、検索対象の各々の特徴量の分布の偏りが分かるように、所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御するものであることが好ましい。
また、表示制御部は、所定数の特徴軸として、その上に配置する画像に含まれた検索対象の特徴量が離散的に変化する離散特徴軸を含む場合に、注目画像を、離散特徴軸の上に配置した1の類似画像に入れ換えて新たな注目画像に変更した場合、新たな注目画像に含まれた検索対象の特徴に関連付けられている新たな特徴軸を配置する、もしくは、新たな注目画像に含まれた検索対象の特徴に関連のない既存の特徴軸を削除するものであることが好ましい。
また、表示制御部は推測したユーザの特徴量に関する嗜好に応じて、ユーザが関心のないと推測される既存の特徴量の特徴軸を表示しないように制御するものであることが好ましい。
また、表示制御部は、推測したユーザの特徴量に関する嗜好に応じて、ユーザが関心のないと推測される新たな特徴量の特徴軸を表示するように制御するものであることが好ましい。
また、表示制御部は、ユーザが頻繁に変更する特徴量が、ユーザの特徴量に関する嗜好であると推測するものであることが好ましい。
また、表示制御部は、操作入力部を介して入力された指示に応じて、1の類似画像を、1の類似画像を配置した特徴軸に沿って1の特徴軸の中央点または2以上の特徴軸の交点上まで移動させることにより、注目画像を、1の類似画像に入れ換えて新たな注目画像に変更するものであることが好ましい。
また、表示制御部は、操作入力部を介して入力された指示に応じて、所定数の特徴軸の表示方向を変更するものであることが好ましい。
また、表示制御部は、操作入力部を介して入力された指示に応じて、特定の特徴軸の上に配置された画像を、特定の特徴軸以外の特徴軸の上に配置された画像よりも大きいサイズで表示するものであることが好ましい。
また、表示制御部は、操作入力部を介して入力された指示に応じて、検索画面に一度に表示される、検索対象が含まれた画像の範囲を変更するものであることが好ましい。
また、表示制御部は、所定数の類似画像の各々に含まれた検索対象の各々の特徴量に対応した特徴軸上の位置に所定数の類似画像を配置するものであることが好ましい。
また、本発明は、検索対象が含まれた複数の画像の中から、ユーザが所望する検索対象が含まれた画像を検索する画像検索装置により行われる画像検索方法であって、
表示制御部が、1の特徴軸または1の交点で交差する2以上の特徴軸を含む所定数の特徴軸を平面上に配置し、1の特徴軸の中央点または2以上の特徴軸の交点上に配置された注目画像に含まれた検索対象の各々の特徴量に応じて、複数の画像、および、複数の画像の各々に含まれた検索対象の各々の特徴量を記憶する画像情報記憶部から、注目画像に類似した所定数の類似画像および所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、所定数の類似画像を、所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、検索対象の各々の特徴量の分布の偏りが分かるように、所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御するステップと、
表示制御部の制御により、所定数の特徴軸および所定数の特徴軸の各々の上に配置された注目画像および類似画像を表す検索画面および所定数の特徴軸の各々の上に配置された注目画像または類似画像の詳細を表す詳細表示画面を含む、各種の表示画面を表示部に表示するステップと
ユーザにより、操作入力部を介して入力された画像検索装置を操作するための各種の指示を受け取るステップと、
操作入力部を介して入力された指示に応じて、ユーザが、詳細表示画面の確認を繰り返している場合に、表示制御部が、それぞれの詳細表示画面に表示された注目画像または類似画像に含まれた検索対象の各々の特徴量に応じてユーザの特徴量に関する嗜好を推測し、推測したユーザの特徴量に関する嗜好に応じて、同一の注目画像を表す検索画面において配置する特徴軸を変更するステップとを含むことを特徴とする画像検索方法を提供する。
ここで、表示制御部が、操作入力部を介して入力された指示に応じて、注目画像を、所定数の特徴軸の各々の上に配置した1の類似画像に入れ換えて新たな注目画像に変更するステップを含むことが好ましい。
さらに、表示制御部が、注目画像を新たな注目画像に変更した場合に、新たな注目画像に含まれた検索対象の各々の特徴量に応じて、画像情報記憶部から、新たな注目画像に類似した新たな所定数の類似画像および新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、新たな所定数の類似画像を、新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、検索対象の各々の特徴量の分布の偏りが分かるように、所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御するステップを含むことが好ましい。
ここで、表示制御部が、所定数の特徴軸として、その上に配置する画像に含まれた検索対象の特徴量が離散的に変化する離散特徴軸を含む場合に、注目画像を、離散特徴軸の上に配置した1の類似画像に入れ換えて新たな注目画像に変更した場合、新たな注目画像に含まれた検索対象の特徴に関連付けられている新たな特徴軸を配置する、もしくは、新たな注目画像に含まれた検索対象の特徴に関連のない既存の特徴軸を削除するステップを含むことが好ましい。
また、特徴軸を変更するステップは、推測したユーザの特徴量に関する嗜好に応じて、ユーザが関心のないと推測される既存の特徴量の特徴軸を表示しないように制御することが好ましい。
また、特徴軸を変更するステップは、推測したユーザの特徴量に関する嗜好に応じて、ユーザが関心のないと推測される新たな特徴量の特徴軸を表示するように制御することが好ましい。
また、表示制御部は、ユーザが頻繁に変更する特徴量が、ユーザの特徴量に関する嗜好であると推測することが好ましい。
また、表示制御部が、操作入力部を介して入力された指示に応じて、1の類似画像を、1の類似画像を配置した特徴軸に沿って1の特徴軸の中央点または2以上の特徴軸の交点上まで移動させることにより、注目画像を、1の類似画像に入れ換えて新たな注目画像に変更するステップを含むことが好ましい。
また、表示制御部が、操作入力部を介して入力された指示に応じて、所定数の特徴軸の表示方向を変更するステップを含むことが好ましい。
また、表示制御部が、操作入力部を介して入力された指示に応じて、特定の特徴軸の上に配置された画像を、特定の特徴軸以外の特徴軸の上に配置された画像よりも大きいサイズで表示するステップを含むことが好ましい。
また、表示制御部が、操作入力部を介して入力された指示に応じて、検索画面に一度に表示される、検索対象が含まれた画像の範囲を変更するステップを含むことが好ましい。
また、表示制御部は、所定数の類似画像の各々に含まれた検索対象の各々の特徴量に対応した特徴軸上の位置に所定数の類似画像を配置することが好ましい。
また、本発明は、上記のいずれかに記載の画像検索方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記のいずれかに記載の画像検索方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明では、ユーザは、注目画像の入れ換えの操作を繰り返して、画像に含まれた検索対象の各々の特徴量について徐々に絞り込んでいくことにより、新たな注目画像を中心として、各特徴軸上に、新たな注目画像の類似画像を表示させることができる。ユーザは、これらの新たな注目画像および類似画像の中から所望の画像を選択することにより、大量の画像の中から、ユーザが所望する検索対象が含まれた画像を効率的に検索することができる。
また、本発明では、所定数の特徴軸を2次元平面上に放射状に配置し、検索対象が含まれた画像を、検索対象の各特徴量に応じて、検索対象の各々の特徴量の分布の偏りが分かるように、各特徴軸上に並べて表示している。このため、検索画面に一度に表示される画像の範囲を広げると、ユーザが、画像に含まれた検索対象の全体集合の、各特徴量に関する分布を把握することができる。
本発明の画像検索装置の構成を表す一実施形態のブロック図である。 商品の各々の特徴量の分布の偏りを表す一例の概念図である。 図1に示す画像検索装置の動作を表す一例のフローチャートである。 表示部に表示される検索画面を表す一例の概念図である。 図4に示す検索画面において、注目画像を、色合いの特徴軸上に配置された1の類似画像に入れ換えて新たな注目画像に変更した後の検索画面を表す概念図である。 表示部に表示される検索画面を表す別の例の概念図である。 図6に示す検索画面において、注目画像を、柄種類の特徴軸上に配置された1の類似画像に入れ換えて新たな注目画像に変更した後の検索画面を表す概念図である。 商品の全体集合の、各特徴量の分布を表す一例の概念図である。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像検索装置、画像検索方法、プログラムおよび記録媒体を詳細に説明する。
図1は、本発明の画像検索装置の構成を表す一実施形態のブロック図である。同図に示す画像検索装置10は、例えば、衣服、腕時計等の、検索対象の商品が含まれた複数の画像の中から、ユーザが所望する商品が含まれた画像を検索するものである。画像検索装置10は、操作入力部12と、画像情報記憶部14と、表示制御部16と、表示部18とによって構成されている。
操作入力部12は、ユーザが、画像検索装置10を操作するための各種の指示を入力する、タッチパネル、マウス等の入力装置である。つまり、画像検索装置10は、ユーザ(例えば、商品の購入者)が、操作入力部12を介して入力した各種の指示を受け取る。
ここで、各種の指示には、後述するように、注目画像を類似画像に入れ換えて新たな注目画像に変更する指示、注目画像および類似画像の詳細を表す詳細表示画面を表示部18に表示させる指示、検索画面に一度に表示する、商品が含まれた画像の範囲を変更する指示、検索画面に新たな特徴軸を表示させる、もしくは、検索画面から不要な特徴軸を削除する指示、等が含まれる。
画像情報記憶部14は、検索対象である商品が含まれた複数の画像、および、複数の画像の各々に含まれた商品の各々の特徴量を記憶するものである。
ここで、検索対象である商品は何ら限定されず、例えば、衣服、腕時計、等のあらゆる商品を含む。
商品の特徴量は、商品に応じて適宜決定されるものである。例えば、商品が衣服の場合、画像情報記憶部14は、商品の特徴量として、商品の明るさ、色合い、鮮やかさ、柄種類、等を記憶する。また、商品の色の特徴量として、例えば、「濃い、淡い、鮮やかな、地味な」や、「夏らしい、涼しげな」等の感性語の特徴量を設定することもできる。
表示制御部16は、1の特徴軸または1の交点で交差する2以上の特徴軸を含む所定数の特徴軸を平面上に配置し、1の特徴軸の中央点または2以上の特徴軸の交点上に配置された注目画像に含まれた商品の各々の特徴量に応じて、画像情報記憶部14から、注目画像に類似した所定数の類似画像および所定数の類似画像の各々に含まれた商品の各々の特徴量を読み出し、所定数の類似画像を、所定数の類似画像の各々に含まれた商品の各々の特徴量に応じて、商品の各々の特徴量の分布の偏りが分かるように、所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御するものである。
ここで、商品の各々の特徴量の分布の偏りが分かるように所定数の類似画像を配置するとは、所定数の類似画像を各特徴軸上に均等な間隔で配置するのではなく、図2に示すように、所定数の類似画像の各々に含まれた商品の各々の特徴量に対応した特徴軸上の位置に所定数の類似画像を配置することを意味する。図2は、商品が衣服の場合の検索画面の一例であって、商品の明るさ、色合い、鮮やかさ、柄種類の、4本の特徴軸が平面上に配置されている。例えば、明るさの特徴軸上に所定数の類似画像を配置する場合、所定数の類似画像の各々に含まれた各々の商品の明るさの特徴量に対応した特徴軸上の明るさの位置に各々の類似画像を配置する。他の特徴量についても同様である。
また、表示制御部16は、操作入力部12を介して入力された指示に応じて、注目画像を類似画像に入れ換えて新たな注目画像に変更するための制御を行う。この場合、表示制御部16は、新たな注目画像に含まれた商品の各々の特徴量に応じて、上記の制御を繰り返す。
また、表示制御部16は、操作入力部12を介して入力された指示に応じて、注目画像および類似画像の詳細を表す詳細表示画面を表示部18に表示させる、検索画面に一度に表示する、商品が含まれた画像の範囲を変更する、検索画面に新たな特徴軸を表示させる、もしくは、検索画面から不要な特徴軸を削除する、等の制御を行う。
表示部18は、表示制御部16の制御により、所定数の特徴軸および所定数の特徴軸の各々の上に配置された注目画像および類似画像を表す検索画面、所定数の特徴軸の各々の上に配置された注目画像および類似画像の詳細を表す詳細表示画面を含む、各種の表示画面を表示する、液晶ディスプレイ、タッチパネル等の表示装置である。
次に、画像検索装置10の概略動作を、図3に示すフローチャートを参照しながら説明する。ここでは、操作入力部12を介して、検索対象の商品として衣服が指定された場合の動作を説明する。
まず、検索対象の商品として衣服が指定されると、表示制御部16により、検索画面の初期化が行われる。
つまり、表示制御部16により、衣服に関連付けられている初期特徴軸が平面上に配置される(ステップS1)。
ここでは、図4に示すように、衣服の明るさ、鮮やかさ、色合い、柄種類の、4本の特徴軸が1の交点で交差するように平面上に配置されるものとする。
これに応じて、衣服の明るさ、鮮やかさ、色合い、柄種類の各特徴軸が、表示部18に表示された検索画面上に表示される。
また、表示制御部16により、画像情報記憶部14から、衣服に関連付けられている初期画像(注目画像)、および、初期画像に含まれた衣服の各々の特徴量が読み出され、初期画像が各特徴軸の交点上に配置される(ステップS2)。
これに応じて、初期画像が、表示部18に表示された各特徴軸の交点上に表示される。また、初期画像に含まれた衣服の各々の特徴量、ここでは、衣服の明るさ、鮮やかさ、色合い、柄種類が、表示制御部16が有する特徴量保存部(図示省略)に保存される。
なお、初期画像は、何ら限定されず、所定の明るさ、所定の鮮やかさ、所定の色合い、所定の柄種類の衣服が含まれた画像を使用することができる。
検索画面の初期化が終了すると、続いて、表示制御部16により、注目画像に含まれた衣服の各々の特徴量に応じて、画像情報記憶部14から所定数の類似画像、および、所定数の類似画像の各々に含まれた衣服の各々の特徴量が読み出される。そして、所定数の類似画像が、所定数の類似画像の各々に含まれた衣服の各々の特徴量に応じて、衣服の各々の特徴量の分布の偏りが分かるように、明るさ、鮮やかさ、色合い、柄種類の各特徴軸上に所定の順序で並べて配置される(ステップS3)。
各特徴軸上には、自分自身の特徴軸以外の特徴量は注目画像に含まれた衣服の特徴量と同じで、自分自身の特徴軸の特徴量が連続的に、もしくは、離散的に変化するように、所定数の類似画像が自分自身の特徴量の順序で並べて配置される。
これに応じて、所定数の類似画像が、表示部18に表示された、交点以外の各特徴軸上に所定の順序で並べて表示される。
なお、図4では、見やすさを考慮して、所定数の類似画像が、交点以外の各特徴軸上に均等な間隔で並べて表示されている。
続いて、表示制御部16により、操作入力部12を介して入力された指示に応じて、注目画像が、1の類似画像に入れ換えられて新たな注目画像に変更される(ステップS4)。
これに応じて、表示部18の検索画面には、1の類似画像が新たな注目画像として交点上に表示される。
ここでは、図4および図5に示すように、注目画像が、色合いの特徴軸上に配置された1の類似画像に入れ換えられて新たな注目画像に変更されたものとする。
新たな注目画像に変更されると、表示制御部16により、まず、操作入力部12を介して入力された指示で1の類似画像が移動された特徴軸が特定される(ステップS5)。
ここでは、1の類似画像が移動されたのは、前述のように、色合いの特徴軸であることが特定される。
続いて、画像情報記憶部14から、新たな注目画像、および、新たな注目画像に含まれた衣服の各々の特徴量が読み出され、新たな注目画像に含まれた衣服の各々の特徴量が特徴量保存部に保存(更新)される(ステップS6)。
詳細は後述するが、表示制御部16は、新たな注目画像に変更された場合に、新たな注目画像に含まれた衣服の特徴量に応じて、新たな注目画像に関連付けられている新たな特徴軸を追加したり、新たな注目画像とは関連のない既存の特徴軸を削除したりする。
特徴軸の数が変更されていない場合(ステップS7で「変更なし」)、ステップS3へ戻り、以後、表示制御部16により、新たな注目画像について、ステップS3〜S7の動作が繰り返される。
一方、特徴軸の数が変更された場合(ステップS7で「変更あり」)、表示制御部16により、特徴量保存部から、保存されている新たな注目画像の各々の特徴量が読み出される(ステップS8)。その後、ステップS3へ戻り、以後、表示制御部16により、新たな注目画像について、ステップS3〜S7の動作が繰り返される。
次に、検索画面について説明する。
図4は、表示部に表示される検索画面を表す一例の概念図である。同図に示す検索画面は、衣服が含まれた複数の画像の中から、ユーザが所望する衣服が含まれた画像を検索する時の検索画面の例である。この検索画面には、衣服に関連付けられている特徴軸として、衣服の明るさ、鮮やかさ、色合い、および、柄種類の各特徴軸が、1の交点で交差するように2次元平面上に配置されて、表示されている。
明るさの特徴軸上には、注目画像に含まれた衣服と同じ鮮やかさ、同じ色合い、同じ柄種類で、注目画像に含まれた衣服の明るさを中心として、同図中の矢印の方向へ向かうに従って、衣服の明るさが連続的に増加(変化)するように、すなわち、衣服の明るさの特徴量の分布の偏りが分かるように、所定数の画像が衣服の明るさの順序で並べて表示されている。
前述のように、図4では、見やすさを考慮して、所定数の類似画像が、交点以外の各特徴軸上に均等な間隔で並べて表示されている。
鮮やかさの特徴軸上には、注目画像に含まれた衣服と同じ明るさ、同じ色合い、同じ柄種類で、注目画像に含まれた衣服の鮮やかさを中心として、同図中の矢印の方向へ向かうに従って、衣服の鮮やかさが連続的に増加(変化)するように、すなわち、衣服の鮮やかさの特徴量の分布の偏りが分かるように、所定数の画像が衣服の鮮やかさの順序で並べて表示されている。
色合いの特徴軸上には、注目画像に含まれた衣服と同じ明るさ、同じ鮮やかさ、同じ柄種類で、注目画像に含まれた衣服の色合いを中心として、同図中の矢印の方向へ向かうに従って、衣服の色合いが連続的に増加(変化)するように、すなわち、衣服の色合いの特徴量の分布の偏りが分かるように、所定数の画像が衣服の色合いの順序で並べて表示されている。
柄種類の特徴軸上には、注目画像に含まれた衣服と同じ明るさ、同じ鮮やかさ、同じ色合いで、注目画像に含まれた衣服の柄種類を中心として、同図中の矢印の方向へ向かうに従って、衣服の柄が離散的に変化するように、すなわち、衣服の柄種類の特徴量の分布の偏りが分かるように、所定数の画像が衣服の柄種類の順序で並べて表示されている。
柄種類の特徴軸上には、衣服の画像ではなく、衣服の柄種類を判別しやすいように、衣服の柄のパターンの画像が表示されている。この例では、注目画像として、無地のパターンの画像が表示され、同図中の矢印の方向へ向かうに従って、ストライプ、水玉、無地、花柄、…のパターンの画像が、この順序で並べて表示されている。
前述の、衣服の明るさ、鮮やかさ、色合いの、色に関する各特徴量は、一般的に、各特徴量を数値化することにより、数値的に連続的に変化する。これに対し、柄種類の特徴量は、一般的に、数値化できない、もしくは、数値的に連続的に変化しない。本発明では、数値的に連続的に変化しない特徴量を、離散的な特徴量という。離散的な特徴量には、例えば、商品のブランド、素材、細部の形状、模様、等が含まれる。
つまり、各特徴軸の交点上には、ユーザが所望する衣服が含まれた注目画像が表示され、交点以外の各特徴軸上には、注目画像に対して各特徴量が連続的もしくは離散的に変化する所定数の類似画像が表示されている。
ユーザは、操作入力部12を介して、いずれかの特徴軸上に表示された1の類似画像を選択し、選択した1の類似画像を、選択した1の類似画像が配置された特徴軸に沿って交点上まで移動させるための指示を入力することにより、画像情報記憶部14に記憶されている大量の商品の画像の中から、ユーザが所望する商品の画像を検索することができる。
特徴軸上の1の類似画像を交点上まで移動させるための指示を与える方法は何ら限定されない。
タッチパネルの場合、ユーザが、特徴軸上の1の類似画像を指でタッチしたままの状態で、その特徴軸に沿って指をスワイプして手動で交点上まで移動させてもよいし、あるいは、特徴軸上の1の類似画像を指でダブルタップすることにより、選択した1の類似画像が交点上へ自動的に移動されるようにしてもよい。
マウスの場合、ユーザが、特徴軸上の1の類似画像をクリックしたままの状態で、その特徴軸に沿ってドラッグして手動で交点上まで移動させてもよいし、あるいは、特徴軸上の1の類似画像をダブルクリックすることにより、選択した1の類似画像が交点上へ自動的に移動されるようにしてもよい。
図5は、図4に示す検索画面において、注目画像を、色合いの特徴軸上に配置された1の類似画像に入れ換えて新たな注目画像に変更した後の検索画面を表す概念図である。同様に、図5では、見やすさを考慮して、所定数の類似画像が、交点以外の各特徴軸上に均等な間隔で並べて表示されている。同図は、色合いの特徴軸上の点線で囲まれた1の類似画像を、その特徴軸に沿って交点上まで移動させた場合の例である。この場合、色合いの特徴軸上の全ての画像が、その特徴軸に沿って、移動された1の類似画像と同じ方向へ、同じ距離だけ移動される。つまり、色合いの特徴軸上の画像は、明るさ、鮮やかさ、柄種類は変更されず、色合いのみがシフトされる。
明るさの特徴軸上には、新たな注目画像に含まれた衣服と同じ鮮やかさ、同じ色合い、同じ柄種類で、新たな注目画像に含まれた衣服の明るさを中心として、衣服の明るさが連続的に変化するように、所定数の画像が入れ換えられて衣服の明るさの順序で並べて表示される。つまり、明るさの特徴軸上の画像は、色合いのみが変化した所定数の画像に入れ換えられる。
以下同様に、鮮やかさの特徴軸上には、新たな注目画像に含まれた衣服と同じ明るさ、同じ色合い、同じ柄種類で、新たな注目画像に含まれた衣服の鮮やかさを中心として、衣服の鮮やかさが連続的に変化するように、所定数の画像が入れ換えられて衣服の鮮やかさの順序で並べて表示される。つまり、鮮やかさの特徴軸上の画像も、色合いのみが変化した所定数の画像に入れ換えられる。
柄種類の特徴軸上には、新たな注目画像に含まれた衣服と同じ明るさ、同じ鮮やかさ、同じ色合いで、新たな注目画像に含まれた衣服の柄種類を中心として、衣服の柄種類が離散的に変化するように、所定数の画像が衣服の柄種類の順序で並べて配置される。つまり、柄種類の特徴軸上の画像も、色合いのみが変化した所定数の画像に入れ換えられる。
続いて、図7は、図6に示す検索画面において、注目画像を、柄種類の特徴軸上に配置された1の類似画像に入れ換えて新たな注目画像に変更した後の検索画面を表す概念図である。同様に、図6,7では、見やすさを考慮して、所定数の類似画像が、交点以外の各特徴軸上に均等な間隔で並べて表示されている。これらの図は、柄種類の特徴軸上の点線で囲まれた1の類似画像(水玉のパターンの画像)を、その特徴軸に沿って交点上まで移動させた場合の例である。この場合、柄種類の特徴軸上の全ての画像が、その特徴軸に沿って、移動された1の類似画像と同じ方向へ、同じ距離だけ移動される。つまり、柄種類の特徴軸上の画像は、明るさ、色合い、鮮やかさは変更されず、柄種類のみがシフトされる。
同様に、明るさ、色合い、鮮やかさの特徴軸上の画像は、柄種類のみが変化した所定数の画像に入れ換えられる。
ユーザは、注目画像の入れ換えの操作を繰り返して、画像に含まれた衣服の各々の特徴量について徐々に絞り込んでいくことにより、新たな注目画像を中心として、各特徴軸上に、新たな注目画像の類似画像を表示させることができる。ユーザは、これらの新たな注目画像および類似画像の中から所望の画像を選択することにより、大量の画像の中から、ユーザが所望する衣服が含まれた画像を効率的に検索することができる。
また、本実施形態のように、所定数の特徴軸として、その上に配置する画像に含まれた衣服の特徴量が離散的に変化する離散特徴軸を含む場合に、注目画像を、離散特徴軸の上に配置した1の類似画像に入れ換えて新たな注目画像に変更した場合、表示制御部16により、新たな注目画像に含まれた衣服の特徴に関連付けられている新たな特徴軸を配置する、もしくは、新たな注目画像に含まれた衣服の特徴に関連のない既存の特徴軸を検索画面から削除することができる。
例えば、ユーザが、無地の衣服が含まれた注目画像を、柄種類の特徴軸上のストライプの衣服が含まれた類似画像に入れ換えて新たな注目画像に変更した場合、ストライプの柄に関連付けられている新たな特徴軸、例えば、ストライプの色、幅、繰り返し周期、等の特徴軸を自動的に追加して検索画面に表示する。
逆に、ユーザが、ストライプの衣服が含まれた注目画像を、無地の衣服が含まれた類似画像に入れ換えて新たな注目画像に変更した場合、前述のストライプの柄に関連付けられている特徴軸は、無地の柄の特徴と関連がないから、ストライプの柄に関連付けられている既存の特徴軸を自動的に検索画面から削除する。
このように、新たな注目画像に含まれた衣服の特徴に関連付けられている新たな特徴軸を追加することにより、最初は衣服の各々の特徴量を大まかに選びながら、徐々に細部を見ながら細部の特徴量を絞り込むことができる。
また、離散的な特徴量の選択においては、従来手法のラジオボタンなどに比べて、色などの他の特徴量と同じ操作で離散的な特徴量の選択ができるため、検索操作のユーザインタフェースに統一感があり、ユーザが直感的に操作することが可能である。
また、ユーザは、操作入力部12を介して、例えば、タッチパネルの場合、各特徴軸上に表示された注目画像および類似画像のうちの1つをタッチする、あるいは、マウスの場合、注目画像および類似画像の1つをクリックして、詳細表示画面を表示させる指示を入力することにより、選択した画像に含まれた衣服の詳細を表す詳細表示画面を表示部18に表示させることができる。
表示制御部16は、操作入力部12を介して入力された指示に応じて、ユーザが、詳細表示画面の確認を繰り返している場合に、それぞれの詳細表示画面に表示された画像に含まれた衣服の各々の特徴量に応じて、ユーザの特徴量に関する嗜好を推測し、推測したユーザの特徴量に関する嗜好に応じて、配置する特徴軸を変更することができる。
例えば、ユーザが頻繁に変更する特徴量は、ユーザが関心のある特徴量であり、逆に、ユーザが変更しない特徴量は、ユーザが関心のない特徴量、もしくは、既に決定済みの特徴量であると考えることができる。
例えば、ユーザが、衣服の明るさ、鮮やかさ、柄種類の特徴量は同じで、色合いの特徴量を変更した衣服の詳細表示画面の確認を繰り返している場合、その確認回数を、表示制御部16が有するカウンタ(図示省略)等でカウントし、そのカウント値が所定値以上になった場合に、ユーザが関心のないと推測される、衣服の明るさ、鮮やかさ、柄種類の特徴軸を表示しないようにする。これにより、特徴軸の本数を減らして、表示を見やすくすることができる。
なお、ユーザが、所定の特徴量を変更した衣服の詳細表示画面の確認を所定の回数以上繰り返している場合、詳細表示画面から検索画面に戻った時に直ちにユーザが関心のないと推測される特徴軸を表示しないようにしてもよいし、あるいは、ユーザが、所定の特徴量を変更した衣服の詳細表示画面の確認を所定の回数以上繰り返していることを記憶しておき、ユーザが、現在の画像検索を終了して次の画像検索を行う時からそれ以後、ユーザが関心のないと推測される特徴軸を表示しないようにしてもよい。
逆に、ユーザの特徴量に関する嗜好に応じて、ユーザが関心のないと推測される特徴量の特徴軸を表示することもできる。あえてユーザが関心のないと推測される特徴軸を表示することにより、これが刺激となって購買意欲を向上させることができる。
なお、検索画面に表示される特徴軸の数、位置(配置)、間隔、矢印の向き、等は任意に設定することが可能である。
また、表示制御部16は、操作入力部12を介して入力された指示に応じて、ユーザが、各特徴軸の表示方向(向き)を自由に変更できるようにすることができる。
例えば、図5の例では、ユーザは、色合いの特徴軸上の類似画像を斜めに移動させるが、この斜めの移動は、操作しにくいことが予想される。そこで、類似画像を移動させることができるのは、例えば、水平方向に配置された特徴軸のみに制限し、ユーザが、類似画像を移動しようとする、水平方向に配置されていない特徴軸を回転させて水平方向に配置するように移動する。これにより、ユーザは、水平方向に移動された特徴軸上の類似画像を水平方向に移動させることができるため、操作性を向上させることができる。
また、前述のように、ユーザの特徴量に関する嗜好に応じて、ユーザが関心のある特徴量の特徴軸を水平方向へ自動的に移動させてもよい。
特徴軸は、検索対象の商品に応じて、例えば、商品の色、細部の形状、素材等、任意の特徴量を設定することができる。
もちろん、ブランド、価格帯、サイズ、等のような従来から使用されている特徴量を使用することも可能である。しかし、検索画面に表示される特徴軸の数が多くなると画像が見づらくなるため、ブランド、価格帯、サイズ、等の特徴量については、従来通り、あらかじめ設定し、設定後の商品の画像について本発明を適用することが望ましい。例えば、Sサイズの衣服を購入したいユーザは、サイズの特徴量を変更することはほとんどないため、サイズの特徴軸を表示しない方が望ましいと考えられる。
また、表示制御部16は、各特徴軸上に配置された画像を同じサイズで表示してもよいし、あるいは、特定の特徴軸上に配置された画像を、特定の特徴軸以外の特徴軸上に配置された画像よりも大きいサイズで表示してもよい。例えば、操作入力部12を介して入力された指示に応じて、あるいは、前述のユーザの特徴量に関する嗜好に応じて、画像を大きいサイズで表示する特定の特徴軸を決定することができる。これにより、ユーザが関心のある特徴軸上に配置された画像が大きいサイズで表示されるため、画像を見やすくすることができる。
また、表示制御部16は、操作入力部12を介して入力された指示に応じて、検索画面に表示される画像の数およびサイズの少なくとも一方を変更することにより、検索画面に一度に表示される、商品が含まれた画像の範囲を任意に変更することができる。
例えば、操作入力部12を介して、検索画面に一度に表示される画像の範囲を広くする指示が与えられると、表示制御部16により、画像の数を増加する、画像のサイズを縮小する、もしくは、その両方の処理が行われ、検索画面に一度に表示される画像の範囲が広くなる。
逆に、検索画面に一度に表示される画像の範囲を狭くする指示が与えられると、表示制御部16により、画像の数を減少する、画像のサイズを拡大する、もしくは、その両方の処理が行われ、検索画面に一度に表示される画像の範囲が狭くなる。
画像検索装置10では、所定数の特徴軸を2次元平面上に放射状に配置し、商品が含まれた画像を、商品の各特徴量に応じて、商品の各々の特徴量の分布の偏りが分かるように、各特徴軸上に並べて表示している。このため、図8に示すように、検索画面に一度に表示される画像の範囲を広げると、ユーザが、画像に含まれた商品の全体集合の、各特徴量に関する分布を俯瞰して、その商品の全体感を把握することができる。図8は、商品の衣服の場合の検索画面の一例であって、商品の明るさ、色合い、鮮やかさ、柄種類の、4本の特徴軸が平面上に配置されている。例えば、商品の色について、その商品にはどんな色のものがあるのかを把握し、その中から自分の好みの色の商品を自由に選択することができる。
商品の全体感をつかむことができれば、その中から自分の好みの商品を見つけることができたという満足感を得ることができるため、購買意欲を向上させることができる。また、全体感をつかむことができれば、ユーザ自身が考えていなかった商品の画像を見ることができるため、これが刺激となって、ユーザの購買意欲を向上させることができる。
また、全体集合の分布を俯瞰しながら徐々に各特徴量を変更することができるため、注目画像だけでなく、所定数の類似画像を見ながらユーザが所望する商品が含まれた画像に到達することができる。また、各特徴軸上に、どのような分布の偏りがあるのかを、ユーザが直感的に理解することができるため、画像に含まれた商品の流行などを把握することができる。
上記実施形態は、本発明を、検索対象として衣服等の商品が含まれた画像に適用した場合の例であるが、本発明はこれに限定されず、検索対象として、静物、植物、動物、人物等の被写体が含まれた画像に対しても同様に適用可能である。
本発明は、ECサイトにおいて、大量の商品の画像の中から、ユーザが所望する商品が含まれた画像を選択する場合や、フォトブックの作成において、被写体が含まれた大量の画像の中から、フォトブックのレイアウトに使用する画像を選択する場合、等のように、検索対象の商品や被写体が含まれた大量の画像の中から、ユーザが所望する商品や被写体が含まれた画像を選択する場合に利用可能である。
本発明の画像検索方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実現することができる。また、このプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することができる。
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 画像検索装置
12 操作入力部
14 画像情報記憶部
16 表示制御部
18 表示部

Claims (26)

  1. 検索対象が含まれた複数の画像の中から、ユーザが所望する検索対象が含まれた画像を検索する画像検索装置であって、
    前記複数の画像、および、前記複数の画像の各々に含まれた検索対象の各々の特徴量を記憶する画像情報記憶部と、
    1の特徴軸または1の交点で交差する2以上の特徴軸を含む所定数の特徴軸を平面上に配置し、前記1の特徴軸の中央点または前記2以上の特徴軸の交点上に配置された注目画像に含まれた検索対象の各々の特徴量に応じて、前記画像情報記憶部から、前記注目画像に類似した所定数の類似画像および前記所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、前記所定数の類似画像を、前記所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、前記検索対象の各々の特徴量の分布の偏りが分かるように、前記所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御する表示制御部と、
    前記表示制御部の制御により、前記所定数の特徴軸および前記所定数の特徴軸の各々の上に配置された注目画像および類似画像を表す検索画面および前記所定数の特徴軸の各々の上に配置された注目画像または類似画像の詳細を表す詳細表示画面を含む、各種の表示画面を表示する表示部と
    前記ユーザが、前記画像検索装置を操作するための各種の指示を入力する操作入力部とを備え
    前記表示制御部は、前記操作入力部を介して入力された指示に応じて、前記ユーザが、前記詳細表示画面の確認を繰り返している場合に、それぞれの前記詳細表示画面に表示された注目画像または類似画像に含まれた検索対象の各々の特徴量に応じて前記ユーザの特徴量に関する嗜好を推測し、前記推測したユーザの特徴量に関する嗜好に応じて、同一の前記注目画像を表す検索画面において配置する特徴軸を変更するものであることを特徴とする画像検索装置。
  2. 前記表示制御部は、前記操作入力部を介して入力された指示に応じて、前記注目画像を、前記所定数の特徴軸の各々の上に配置した1の類似画像に入れ換えて新たな注目画像に変更するものである請求項1に記載の画像検索装置。
  3. さらに、前記表示制御部は、前記注目画像を前記新たな注目画像に変更した場合に、前記新たな注目画像に含まれた検索対象の各々の特徴量に応じて、前記画像情報記憶部から、前記新たな注目画像に類似した新たな所定数の類似画像および前記新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、前記新たな所定数の類似画像を、前記新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、前記検索対象の各々の特徴量の分布の偏りが分かるように、前記所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御するものである請求項2に記載の画像検索装置。
  4. 前記表示制御部は、前記所定数の特徴軸として、その上に配置する画像に含まれた検索対象の特徴量が離散的に変化する離散特徴軸を含む場合に、前記注目画像を、前記離散特徴軸の上に配置した1の類似画像に入れ換えて新たな注目画像に変更した場合、前記新たな注目画像に含まれた検索対象の特徴に関連付けられている新たな特徴軸を配置する、もしくは、前記新たな注目画像に含まれた検索対象の特徴に関連のない既存の特徴軸を削除するものである請求項1〜3のいずれか1項に記載の画像検索装置。
  5. 前記表示制御部は、前記推測したユーザの特徴量に関する嗜好に応じて、前記ユーザが関心のないと推測される既存の特徴量の特徴軸を表示しないように制御するものである請求項1〜4のいずれか1項に記載の画像検索装置。
  6. 前記表示制御部は、前記推測したユーザの特徴量に関する嗜好に応じて、前記ユーザが関心のないと推測される新たな特徴量の特徴軸を表示するように制御するものである請求項1〜5のいずれか1項に記載の画像検索装置。
  7. 前記表示制御部は、前記ユーザが頻繁に変更する特徴量が、前記ユーザの特徴量に関する嗜好であると推測するものである請求項1〜6のいずれか1項に記載の画像検索装置。
  8. 前記表示制御部は、前記操作入力部を介して入力された指示に応じて、前記1の類似画像を、前記1の類似画像を配置した特徴軸に沿って前記1の特徴軸の中央点または前記2以上の特徴軸の交点上まで移動させることにより、前記注目画像を、前記1の類似画像に入れ換えて前記新たな注目画像に変更するものである請求項2〜4のいずれか1項に記載の画像検索装置。
  9. 前記表示制御部は、前記操作入力部を介して入力された指示に応じて、前記所定数の特徴軸の表示方向を変更するものである請求項1〜のいずれか1項に記載の画像検索装置。
  10. 前記表示制御部は、前記操作入力部を介して入力された指示に応じて、特定の特徴軸の上に配置された画像を、前記特定の特徴軸以外の特徴軸の上に配置された画像よりも大きいサイズで表示するものである請求項1〜のいずれか1項に記載の画像検索装置。
  11. 前記表示制御部は、前記操作入力部を介して入力された指示に応じて、前記検索画面に一度に表示される、前記検索対象が含まれた画像の範囲を変更するものである請求項1〜10のいずれか1項に記載の画像検索装置。
  12. 前記表示制御部は、前記所定数の類似画像の各々に含まれた検索対象の各々の特徴量に対応した特徴軸上の位置に前記所定数の類似画像を配置するものである請求項1〜11のいずれか1項に記載の画像検索装置。
  13. 検索対象が含まれた複数の画像の中から、ユーザが所望する検索対象が含まれた画像を検索する画像検索装置により行われる画像検索方法であって、
    表示制御部が、1の特徴軸または1の交点で交差する2以上の特徴軸を含む所定数の特徴軸を平面上に配置し、前記1の特徴軸の中央点または前記2以上の特徴軸の交点上に配置された注目画像に含まれた検索対象の各々の特徴量に応じて、前記複数の画像、および、前記複数の画像の各々に含まれた検索対象の各々の特徴量を記憶する画像情報記憶部から、前記注目画像に類似した所定数の類似画像および前記所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、前記所定数の類似画像を、前記所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、前記検索対象の各々の特徴量の分布の偏りが分かるように、前記所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御するステップと、
    前記表示制御部の制御により、前記所定数の特徴軸および前記所定数の特徴軸の各々の上に配置された注目画像および類似画像を表す検索画面および前記所定数の特徴軸の各々の上に配置された注目画像または類似画像の詳細を表す詳細表示画面を含む、各種の表示画面を表示部に表示するステップと
    前記ユーザにより、操作入力部を介して入力された前記画像検索装置を操作するための各種の指示を受け取るステップと、
    前記操作入力部を介して入力された指示に応じて、前記ユーザが、前記詳細表示画面の確認を繰り返している場合に、前記表示制御部が、それぞれの前記詳細表示画面に表示された注目画像または類似画像に含まれた検索対象の各々の特徴量に応じて前記ユーザの特徴量に関する嗜好を推測し、前記推測したユーザの特徴量に関する嗜好に応じて、同一の前記注目画像を表す検索画面において配置する特徴軸を変更するステップとを含むことを特徴とする画像検索方法。
  14. 前記表示制御部が、前記操作入力部を介して入力された指示に応じて、前記注目画像を、前記所定数の特徴軸の各々の上に配置した1の類似画像に入れ換えて新たな注目画像に変更するステップを含む請求項13に記載の画像検索方法。
  15. さらに、前記表示制御部が、前記注目画像を前記新たな注目画像に変更した場合に、前記新たな注目画像に含まれた検索対象の各々の特徴量に応じて、前記画像情報記憶部から、前記新たな注目画像に類似した新たな所定数の類似画像および前記新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量を読み出し、前記新たな所定数の類似画像を、前記新たな所定数の類似画像の各々に含まれた検索対象の各々の特徴量に応じて、前記検索対象の各々の特徴量の分布の偏りが分かるように、前記所定数の特徴軸の各々の上に所定の順序で並べて配置するように制御するステップを含む請求項14に記載の画像検索方法。
  16. 前記表示制御部が、前記所定数の特徴軸として、その上に配置する画像に含まれた検索対象の特徴量が離散的に変化する離散特徴軸を含む場合に、前記注目画像を、前記離散特徴軸の上に配置した1の類似画像に入れ換えて新たな注目画像に変更した場合、前記新たな注目画像に含まれた検索対象の特徴に関連付けられている新たな特徴軸を配置する、もしくは、前記新たな注目画像に含まれた検索対象の特徴に関連のない既存の特徴軸を削除するステップを含む請求項13〜15のいずれか1項に記載の画像検索方法。
  17. 前記特徴軸を変更するステップは、前記推測したユーザの特徴量に関する嗜好に応じて、前記ユーザが関心のないと推測される既存の特徴量の特徴軸を表示しないように制御する請求項13〜16のいずれか1項に記載の画像検索方法。
  18. 前記特徴軸を変更するステップは、前記推測したユーザの特徴量に関する嗜好に応じて、前記ユーザが関心のないと推測される新たな特徴量の特徴軸を表示するように制御する請求項13〜17のいずれか1項に記載の画像検索方法。
  19. 前記表示制御部は、前記ユーザが頻繁に変更する特徴量が、前記ユーザの特徴量に関する嗜好であると推測する請求項13〜18のいずれか1項に記載の画像検索方法。
  20. 前記表示制御部が、前記操作入力部を介して入力された指示に応じて、前記1の類似画像を、前記1の類似画像を配置した特徴軸に沿って前記1の特徴軸の中央点または前記2以上の特徴軸の交点上まで移動させることにより、前記注目画像を、前記1の類似画像に入れ換えて前記新たな注目画像に変更するステップを含む請求項14〜16のいずれか1項に記載の画像検索方法。
  21. 前記表示制御部が、前記操作入力部を介して入力された指示に応じて、前記所定数の特徴軸の表示方向を変更するステップを含む請求項13〜20のいずれか1項に記載の画像検索方法。
  22. 前記表示制御部が、前記操作入力部を介して入力された指示に応じて、特定の特徴軸の上に配置された画像を、前記特定の特徴軸以外の特徴軸の上に配置された画像よりも大きいサイズで表示するステップを含む請求項13〜21のいずれか1項に記載の画像検索方法。
  23. 前記表示制御部が、前記操作入力部を介して入力された指示に応じて、前記検索画面に一度に表示される、前記検索対象が含まれた画像の範囲を変更するステップを含む請求項13〜22のいずれか1項に記載の画像検索方法。
  24. 前記表示制御部は、前記所定数の類似画像の各々に含まれた検索対象の各々の特徴量に対応した特徴軸上の位置に前記所定数の類似画像を配置する請求項13〜23のいずれか1項に記載の画像検索方法。
  25. 請求項13〜24のいずれか1項に記載の画像検索方法の各々のステップをコンピュータに実行させるためのプログラム。
  26. 請求項13〜24のいずれか1項に記載の画像検索方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2014153709A 2013-07-31 2014-07-29 画像検索装置、画像検索方法、プログラムおよび記録媒体 Active JP6058595B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014153709A JP6058595B2 (ja) 2013-07-31 2014-07-29 画像検索装置、画像検索方法、プログラムおよび記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013159631 2013-07-31
JP2013159631 2013-07-31
JP2014153709A JP6058595B2 (ja) 2013-07-31 2014-07-29 画像検索装置、画像検索方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2015046158A JP2015046158A (ja) 2015-03-12
JP6058595B2 true JP6058595B2 (ja) 2017-01-11

Family

ID=52431751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014153709A Active JP6058595B2 (ja) 2013-07-31 2014-07-29 画像検索装置、画像検索方法、プログラムおよび記録媒体

Country Status (2)

Country Link
JP (1) JP6058595B2 (ja)
WO (1) WO2015016219A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110867241B (zh) * 2018-08-27 2023-11-03 卡西欧计算机株式会社 类似图像显示控制装置、系统及方法、以及记录介质
JP7335186B2 (ja) * 2020-02-28 2023-08-29 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249352A (ja) * 1995-03-15 1996-09-27 Omron Corp 画像検索方法及び装置
JP3249902B2 (ja) * 1995-05-30 2002-01-28 ミノルタ株式会社 画像データ検索装置
JP3729222B2 (ja) * 1996-12-24 2005-12-21 富士ゼロックス株式会社 画像デザイン支援装置
JPH1115855A (ja) * 1997-06-26 1999-01-22 Fuji Xerox Co Ltd 画像処理装置
JP3586549B2 (ja) * 1997-12-08 2004-11-10 株式会社日立製作所 画像検索方法およびその装置
JP3572215B2 (ja) * 1999-02-18 2004-09-29 日本電信電話株式会社 検索画像の空間表示方法及び装置及びこの方法のプログラムを記憶した記憶媒体
WO2001031502A1 (fr) * 1999-10-27 2001-05-03 Fujitsu Limited Dispositif et procede de classement et de rangement d'informations multimedia
JP4433848B2 (ja) * 2004-03-24 2010-03-17 セイコーエプソン株式会社 画像検索システム
JP2009076988A (ja) * 2007-09-18 2009-04-09 Nec Electronics Corp コンテンツ情報表示装置、コンテンツ情報の表示方法
JP4745437B2 (ja) * 2009-10-29 2011-08-10 株式会社東芝 表示処理装置及び表示処理方法

Also Published As

Publication number Publication date
JP2015046158A (ja) 2015-03-12
WO2015016219A1 (ja) 2015-02-05

Similar Documents

Publication Publication Date Title
US20220020076A1 (en) Driving computer displays with customization options and collecting customization specifications
US10789636B2 (en) Add items from previous orders
US20120197755A1 (en) Method and apparatus for shopping fashions
US9891790B2 (en) Systems and methods for web-based product/content fusion management functions and user interaction therewith
JP6287412B2 (ja) 図形描画装置、図形描画方法およびプログラム
JP6329650B2 (ja) 表示制御装置及びプログラム
US20140052580A1 (en) Product explorer page for use with interactive digital catalogs and touch-screen devices
JP6058595B2 (ja) 画像検索装置、画像検索方法、プログラムおよび記録媒体
US10467782B2 (en) Interactive hierarchical bar chart
US20180293636A1 (en) System and graphical interface for diamond selection
JP2017107355A (ja) スケジュール作成支援装置および方法
US10809904B2 (en) Interactive time range selector
JP6428766B2 (ja) 表示装置、監視システム、表示方法および表示プログラム
CN103914255B (zh) 金融看盘的多模式自选股报价视图装置及方法
CN106097035A (zh) 产品界面的显示方法和装置
JP2012003579A (ja) 2次元図表の表示プログラムおよび2次元図表の表示装置
CN115272516A (zh) 项目进度的可视化方法、装置、设备及存储介质
JP5803738B2 (ja) 献立検索装置、献立検索システム、プログラム
KR20160094187A (ko) 온라인 쇼핑몰 서비스 제공 방법 및 온라인 쇼핑몰 서비스 제공 장치
KR102520606B1 (ko) 메타버스 스토어 공간 구축 방법, 메타버스 서핑 기반 쇼핑 서비스 제공 방법 및 이를 위한 메타버스 구현 시스템
WO2024092489A1 (zh) 游戏交互方法、计算机设备、存储介质和程序产品
KR101692324B1 (ko) 표시화면에 나타난 메뉴 버튼 세팅이 가능한 모바일 단말기 및 모바일 단말기에 수록된 프로그램
WO2020032097A1 (ja) 携帯型端末および管理サーバ
Yu et al. Building the Dashboard
US20180068367A1 (en) Telematic system and method for configuring an article

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161207

R150 Certificate of patent or registration of utility model

Ref document number: 6058595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250