JP6934855B2 - 制御プログラム - Google Patents

Description

本発明は、制御プログラムに関する。

従来、電子商取引を利用するユーザに対して、類似画像検索を用いて商品を推薦する技術が知られている。例えば、商品画像から背景画像を削除して商品領域を抽出し、類似する商品画像を検索する技術が提案されている。

特開２００９−２５１８５０号公報

しかしながら、上記の従来技術では、電子商取引におけるユーザビリティを向上させることができるとは限らない。例えば、上記の従来技術では、商品画像から背景画像を削除して商品領域を抽出し、類似する商品画像を検索するにすぎず、電子商取引におけるユーザビリティを向上させることができるとは限らない。

本願は、上記に鑑みてなされたものであって、電子商取引におけるユーザビリティを向上させることができる制御プログラムを提供することを目的とする。

本願に係る情報処理装置は、検索対象となる画像の中から、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する検索部と、前記検索部によって検索された第２画像を出力する出力部とを備えたことを特徴とする。

実施形態の一態様によれば、電子商取引におけるユーザビリティを向上させることができるといった効果を奏する。

図１は、第１の実施形態に係る情報処理の一例を示す図である。 図２は、第１の実施形態に係る情報処理装置の構成例を示す図である。 図３は、第１の実施形態に係る画像情報記憶部の一例を示す図である。 図４は、第１の実施形態に係る検索情報記憶部の一例を示す図である。 図５は、第１の実施形態に係る端末装置の構成例を示す図である。 図６は、第１の実施形態に係る情報処理手順を示すフローチャートである。 図７は、第１の実施形態に係る表示制御処理手順を示すフローチャートである。 図８は、変形例に係る出力処理の一例を示す図である。 図９は、第２の実施形態に係る端末装置の構成例を示す図である。 図１０は、第２の実施形態に係る情報処理手順を示すフローチャートである。 図１１は、プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願に係る情報処理装置、制御プログラム、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、制御プログラム、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１．第１の実施形態〕
〔１−１．情報処理の一例〕
まず、図１を用いて、第１の実施形態に係る情報処理の一例について説明する。図１は、第１の実施形態に係る情報処理の一例を示す図である。図１に示す情報処理は、端末装置１０と店舗端末２０（図２参照）と情報処理装置１００とによって行われる。

端末装置１０は、ユーザにより使用される情報処理装置である。例えば、端末装置１０は、ユーザが携帯する端末装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。また、端末装置１０は、３Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる情報処理装置である。また、端末装置１０は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、ユーザから指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、画面に表示された画像等のコンテンツに対する各種の操作を受付ける。なお、以下では、端末装置１０をユーザと同一視する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。

また、端末装置１０には、第１の実施形態に係る制御プログラム（以下、適宜「アプリＡＰ１」と記載する。）がインストールされている。端末装置１０は、端末装置１０にインストールされたアプリＡＰ１を実行する。図１に示す例では、アプリＡＰ１は、ファッション検索サービスに係るアプリである。端末装置１０は、商品に関する画像の配信要求を情報処理装置１００に送信する。また、端末装置１０は、商品に関する画像の検索要求を情報処理装置１００に送信する。また、端末装置１０は、情報処理装置１００から取得した画像を端末装置１０の画面（表示部１３（図５参照））に表示する。

店舗端末２０は、店舗の管理者により使用される情報処理装置である。例えば、店舗端末２０は、スマートフォンや、タブレット型端末や、ノート型ＰＣや、携帯電話機や、ＰＤＡ等である。店舗端末２０は、ファッションアイテムである商品に関する画像（以下、適宜「商品画像」と記載する。）であって、販売対象の商品と紐づく商品画像を情報処理装置１００に送信する。ここで、販売対象の商品とは、商品画像のデータと紐づけられた商品であって、店舗の管理者によって、販売対象の商品として指定された商品のことを指す。

一般的に、ファッション業界における商品画像は、販売対象の商品に加えて、販売対象の商品でない他の商品（例えば、販売対象の商品とともに用いられる商品）を含むのが一般的である。例えば、販売対象の商品であるセーターに紐づく画像には、販売対象の商品であるセーターに加えて、販売対象の商品であるセーター以外の他の商品として、セーターを着用したモデルが着用しているパンツや靴、帽子、バッグといったアイテムが含まれる。

情報処理装置１００は、ファッション検索サービスを提供するサーバ装置である。具体的には、情報処理装置１００は、店舗端末２０から取得したファッションアイテムである商品に関する画像を検索対象とした類似画像検索サービスを提供する。情報処理装置１００は、検索対象となる画像の中から、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。また、情報処理装置１００は、検索した第２画像を出力する。

ここから、図１を用いて、情報処理の流れについて説明する。図１では、端末装置１０は、ユーザＵ１がアプリＡＰ１を立ち上げる操作に応じて、アプリＡＰ１を実行する。具体的には、端末装置１０は、商品画像の配信要求であって、コンテンツＣ１の画像表示枠に表示させるための画像を情報処理装置１００に要求するという配信要求を含むコンテンツＣ１を表示する。端末装置１０は、コンテンツＣ１を表示することにより、画像の配信要求を取得する。続いて、端末装置１０は、画像の配信要求を取得すると、商品画像の配信要求を情報処理装置１００に送信する（ステップＳ１１）。

情報処理装置１００は、端末装置１０から配信要求を受け付けると、端末装置１０の配信要求に応じて、商品画像ＩＭ１を端末装置１０に配信する（ステップＳ１２）。なお、以下では、端末装置１０の画面に表示された画像の状態に応じて、画像ＩＭ１を画像ＩＭ１−Ａ、画像ＩＭ１−Ｂのように記載する。また、画像の状態に応じて画像を区別する必要がない場合は、単に画像ＩＭ１と記載する。

端末装置１０は、商品画像ＩＭ１を情報処理装置１００から取得する。具体的には、端末装置１０は、販売対象の商品Ｍ１であるセーターＳＷに紐づく画像ＩＭ１を取得する。ここで、商品画像ＩＭ１には、商品画像ＩＭ１の送信元である店舗の管理者によって、販売対象の商品として指定された商品Ｍ１であるセーターＳＷが紐づいている。また、商品画像ＩＭ１には、販売対象の商品Ｍ１であるセーターＳＷに加えて、販売対象の商品であるセーター以外の他の商品である帽子ＨＴ、パンツＰＮ、バッグＢＧ、靴ＳＨを含む複数の商品が写っている。商品画像ＩＭ１には、セーターＳＷ、帽子ＨＴ、パンツＰＮ、バッグＢＧ、靴ＳＨといった複数の商品が写っているので、商品画像ＩＭ１は複数の商品に関する画像と言える。例えば、端末装置１０は、販売対象の商品Ｍ１であるセーターＳＷに加えて、販売対象の商品であるセーター以外の他の商品である帽子ＨＴ、パンツＰＮ、バッグＢＧ、靴ＳＨを含む複数の商品に関する画像ＩＭ１を取得する。

続いて、端末装置１０は、商品画像ＩＭ１を取得すると、取得した画像ＩＭ１に所定の表示処理を施した画像ＩＭ１−Ａを表示する。具体的には、端末装置１０は、画像ＩＭ１の各商品の位置を示す印を各商品に対応する各領域に重畳して表示させた画像ＩＭ１−Ａを表示する。より具体的には、端末装置１０は、画像ＩＭ１の各商品に対応する各領域の大きさに比べて相対的に小さい円環状の輪である丸印を画像ＩＭ１に重畳して表示させた画像ＩＭ１−Ａを表示する。例えば、端末装置１０は、画像ＩＭ１の帽子ＨＴの位置を示す印（円環状の輪）を帽子ＨＴに対応する領域ＡＲ１−１に重畳して表示させた画像ＩＭ１−Ａを表示する。また、端末装置１０は、画像ＩＭ１のセーターＳＷの位置を示す印（円環状の輪）をセーターＳＷに対応する領域ＡＲ１−２に重畳して表示させた画像ＩＭ１−Ａを表示する。また、端末装置１０は、画像ＩＭ１のパンツＰＮの位置を示す印（円環状の輪）をパンツＰＮに対応する領域ＡＲ１−３に重畳して表示させた画像ＩＭ１−Ａを表示する。また、端末装置１０は、画像ＩＭ１のバッグＢＧの位置を示す印（円環状の輪）をバッグＢＧに対応する領域ＡＲ１−４に重畳して表示させた画像ＩＭ１−Ａを表示する。また、端末装置１０は、画像ＩＭ１の靴ＳＨの位置を示す印（円環状の輪）を靴ＳＨに対応する領域ＡＲ１−５に重畳して表示させた画像ＩＭ１−Ａを表示する。このようにして、端末装置１０は、取得した画像ＩＭ１に所定の表示処理を施した画像ＩＭ１−Ａを表示する。

続いて、端末装置１０は、画像ＩＭ１−ＡのバッグＢＧに対応する領域ＡＲ１−４の印（円環状の輪）がユーザによって選択されると、ユーザによって選択された印（円環状の輪）に対応する画像ＩＭ１−Ａの領域ＡＲ１−４である第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する検索要求を情報処理装置１００に送信する（ステップＳ１３）。

情報処理装置１００は、端末装置１０から検索要求を受け付けると、受け付けた検索要求に応じて、検索対象となる画像である店舗端末２０から取得した商品画像群の中から、ユーザによって選択された印（円環状の輪）に対応する領域ＡＲ１−４である第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する（ステップＳ１４）。具体的には、情報処理装置１００は、検索対象となる画像の中から、画像ＩＭ１−Ａの領域ＡＲ１−４である第１画像と類似する画像を抽出する。より具体的には、情報処理装置１００は、画像ＩＭ１−Ａの領域ＡＲ１−４である第１画像と類似する領域を検索する。ここで、領域とは、物体（商品、又はアイテム）の検出単位を意味する。続いて、情報処理装置１００は、画像ＩＭ１−Ａの領域ＡＲ１−４である第１画像と類似する領域を含む第２画像を検索結果として抽出する。例えば、情報処理装置１００は、販売対象の商品と販売対象の商品とは異なる他の商品とを含む複数の商品に関する第２画像を検索する。すなわち、情報処理装置１００は、第２画像の各商品に対応する各領域のうち少なくともいずれか一つの領域が第１画像と類似する第２画像を検索する。例えば、情報処理装置１００は、領域ＡＲ１−４である第１画像と類似する領域ＡＲ２−１を検索する。続いて、情報処理装置１００は、領域ＡＲ１−４である第１画像と類似する領域ＡＲ２−１を含む第２画像ＩＭ２−Ａを検索結果として抽出する。すなわち、情報処理装置１００は、第２画像ＩＭ２−Ａの各商品に対応する各領域のうちＡＲ２−１が画像ＩＭ１−Ａの領域ＡＲ１−４と類似する第２画像ＩＭ２−Ａを検索結果として抽出する。また、情報処理装置１００は、領域ＡＲ１−４である第１画像と類似する領域ＡＲ２−２を検索する。続いて、情報処理装置１００は、領域ＡＲ１−４である第１画像と類似する領域ＡＲ２−２を含む第２画像ＩＭ２−Ｂを検索結果として抽出する。すなわち、情報処理装置１００は、第２画像ＩＭ２−Ｂの各商品に対応する各領域のうちＡＲ２−２が画像ＩＭ１−Ａの領域ＡＲ１−４と類似する第２画像ＩＭ２−Ｂを検索結果として抽出する。また、情報処理装置１００は、領域ＡＲ１−４である第１画像と類似する領域ＡＲ２−３を検索する。続いて、情報処理装置１００は、領域ＡＲ１−４である第１画像と類似する領域ＡＲ２−３を含む第２画像ＩＭ２−Ｃを検索結果として抽出する。すなわち、情報処理装置１００は、第２画像ＩＭ２−Ｃの各商品に対応する各領域のうちＡＲ２−３が画像ＩＭ１−Ａの領域ＡＲ１−４と類似する第２画像ＩＭ２−Ｃを検索結果として抽出する。

続いて、情報処理装置１００は、第２画像の各領域に対応する商品のカテゴリが第１画像に対応する商品のカテゴリと一致する第２画像を検索する。これにより、情報処理装置１００は、第１画像と類似する画像として、商品のカテゴリがバッグ以外の商品（例えば、商品のカテゴリが靴の画像）を抽出した場合であっても、抽出した画像を最終的な検索結果として抽出しないようにすることができる。具体的には、情報処理装置１００は、第２画像ＩＭ２−ＡのＡＲ２−１に対応する商品のカテゴリが画像ＩＭ１−Ａの領域ＡＲ１−４に対応する商品のカテゴリであるバッグと一致するか否かを判定する。続いて、情報処理装置１００は、第２画像の各領域に対応する商品のカテゴリが第１画像に対応する商品のカテゴリと一致しないと判定した場合は、その第２画像を最終的な検索結果として抽出しない。図１に示す例では、情報処理装置１００は、第２画像ＩＭ２−ＡのＡＲ２−１に対応する商品のカテゴリがバッグであり、画像ＩＭ１−Ａの領域ＡＲ１−４に対応する商品のカテゴリであるバッグと一致するので、第２画像ＩＭ２−Ａを最終的な検索結果としてそのまま抽出する。同様にして、情報処理装置１００は、第２画像ＩＭ２−ＢのＡＲ２−２に対応する商品のカテゴリがバッグであり、画像ＩＭ１−Ａの領域ＡＲ１−４に対応する商品のカテゴリであるバッグと一致するので、第２画像ＩＭ２−Ｂを最終的な検索結果としてそのまま抽出する。また、情報処理装置１００は、第２画像ＩＭ２−ＣのＡＲ２−３に対応する商品のカテゴリがバッグであり、画像ＩＭ１−Ａの領域ＡＲ１−４に対応する商品のカテゴリであるバッグと一致するので、第２画像ＩＭ２−Ｃを最終的な検索結果としてそのまま抽出する。なお、情報処理装置１００は、第２画像の各領域に対応する商品のカテゴリが第１画像に対応する商品のカテゴリと一致する第２画像を検索する処理を行った後に、第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する処理を行ってもよい。

続いて、情報処理装置１００は、第２画像を検索すると、検索した第２画像を出力する（ステップＳ１５）。具体的には、情報処理装置１００は、検索結果として抽出した第２画像を端末装置１０に配信する。より具体的には、後述するように、情報処理装置１００は、端末装置１０から検索結果画像の配信要求を受け付けると、受け付けた配信要求に応じて、検索結果として抽出した第２画像を端末装置１０に配信する。例えば、情報処理装置１００は、検索結果として抽出した第２画像ＩＭ２−Ａ、第２画像ＩＭ２−Ｂ、第２画像ＩＭ２−Ｃを端末装置１０に配信する。

端末装置１０は、情報処理装置１００に検索要求を送信すると、画面（表示部）を遷移させる（ステップＳ１６）。具体的には、端末装置１０は、検索結果である画像（検索結果画像とも記載する。）の配信要求であって、コンテンツＣ２の検索結果の画像表示枠に表示させるための画像を情報処理装置１００に要求するという配信要求を含むコンテンツＣ２を表示する。端末装置１０は、コンテンツＣ２を表示することにより、検索結果画像の配信要求を取得する。続いて、端末装置１０は、画像の配信要求を取得すると、検索結果画像の配信要求を情報処理装置１００に送信する。なお、端末装置１０は、検索要求とともに検索結果画像の配信要求を情報処理装置１００に送信すると、画面（表示部）を遷移させてもよい。また、端末装置１０は、情報処理装置１００から検索結果画像を取得すると、画面（表示部）を遷移させてもよい。

端末装置１０は、検索結果として抽出された第２画像を情報処理装置１００から取得する。具体的には、端末装置１０は、第２画像ＩＭ２−Ａ、第２画像ＩＭ２−Ｂ、第２画像ＩＭ２−Ｃを取得する。続いて、端末装置１０は、第２画像を取得すると、取得した第２画像ＩＭ２−Ａ、第２画像ＩＭ２−Ｂ、第２画像ＩＭ２−Ｃに所定の表示処理を施して表示する。具体的には、端末装置１０は、検索結果として抽出された第２画像の一部領域であって、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示させる。より具体的には、端末装置１０は、第２画像ＩＭ２−Ａの一部領域であって、第１画像と類似する領域ＡＲ２−１を第２画像ＩＭ２−Ａの他の領域に対して相対的に強調した状態で表示させる。また、端末装置１０は、第２画像ＩＭ２−Ｂの一部領域であって、第１画像と類似する領域ＡＲ２−２を第２画像ＩＭ２−Ｂの他の領域に対して相対的に強調した状態で表示させる。また、端末装置１０は、第２画像ＩＭ２−Ｃの一部領域であって、第１画像と類似する領域ＡＲ２−３を第２画像ＩＭ２−Ｃの他の領域に対して相対的に強調した状態で表示させる。

また、端末装置１０は、コンテンツＣ１からコンテンツＣ２に画面を遷移させる際に、画像ＩＭ１に所定の表示処理を施した画像ＩＭ１−Ｂを表示する。具体的には、端末装置１０は、ユーザによって選択された印（円環状の輪）に対応する領域ＡＲ１−４を画像ＩＭ１の他の領域に対して相対的に強調した状態で表示させる。

一般的に、ファッション業界における商品に関する画像は、販売対象の商品だけでなく、販売対象の商品とともに用いられる他の商品を含むのが一般的である。例えば、販売対象の商品であるセーターに紐づく画像には、販売対象の商品であるセーターを着用したモデルが履いているパンツや靴、帽子といったアイテムが含まれる。そのため、従来は、ある商品画像の中からユーザが選択したアイテム（例えば、バッグ）と類似する商品画像を検索した場合、ユーザが選択したアイテム（例えば、バッグ）以外の商品を販売対象とする商品画像が検索結果として抽出されてしまうという課題があった。すなわち、検索結果として抽出された画像を通じて画像に表示されたバッグをユーザが購入したいと思っても、抽出された画像がバッグ以外の商品を販売対象とする画像である場合には、画像検索の結果を通じてユーザがバッグを購入することができないという課題があった。例えば、画像検索の結果を通じてユーザが商品詳細画面や商品購入画面に遷移した場合に、バッグ以外の商品の商品詳細画面や商品購入画面に遷移してしまう。

そこで、上述したように、第１の実施形態に係る情報処理装置１００は、検索対象となる画像の中から、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。また、情報処理装置１００は、検索した第２画像を出力する。これにより、情報処理装置１００は、ある商品画像の中からユーザが選択したアイテム（例えば、バッグ）と類似する商品画像を検索した場合、ユーザが選択したアイテム（例えば、バッグ）を販売対象とする商品画像だけを検索結果として提供することができる。すなわち、情報処理装置１００は、検索結果として抽出された画像を通じて画像に表示されたバッグをユーザが購入したいと思った場合に、画像検索の結果を通じてユーザがバッグを購入することを可能にする。例えば、画像検索の結果を通じてユーザが商品詳細画面や商品購入画面に遷移した場合に、バッグの商品詳細画面や商品購入画面に遷移させることができる。したがって、情報処理装置１００は、電子商取引におけるユーザビリティを向上させることができる。

なお、図１に示す例では、端末装置１０がコンテンツＣ１の画像表示枠に表示させるための商品画像ＩＭ１を情報処理装置１００から取得する例について説明したが、端末装置１０がユーザによって撮影された商品画像をユーザから取得してもよい。具体的には、端末装置１０は、端末装置１０のカメラロールからユーザによって撮影された商品に関する商品画像を取得する。例えば、端末装置１０は、商品画像として、ユーザによって店頭で撮影された商品に関する画像を取得する。あるいは、端末装置１０は、商品画像として、電子商取引サービス等の商品に関するコンテンツを閲覧中のユーザによって撮影された商品に関するスクリーンショットを取得する。続いて、端末装置１０は、ユーザによって撮影された商品画像を取得すると、取得した商品画像を情報処理装置１００に送信する。また、情報処理装置１００は、端末装置１０から商品画像を取得すると、取得した商品画像に含まれる商品に対応する領域を判定する。例えば、情報処理装置１００は、画像解析モデルを用いて、商品画像の各商品に対応する各領域を判定する。続いて、情報処理装置１００は、商品画像の各商品に対応する各領域を判定すると、各領域のサイズを判定する。続いて、情報処理装置１００は、各領域のサイズを判定すると、商品画像に対する各領域の相対的な位置を示す座標を判定する。また、情報処理装置１００は、商品画像に対応する商品のカテゴリを判定する。また、情報処理装置１００は、判定したカテゴリの確度を算出する。情報処理装置１００は、判定した領域、サイズ、位置、カテゴリに関する情報を商品画像と対応付けて記憶部に格納する。また、端末装置１０は、商品に対応する領域の商品画像に対する相対的な位置を示す座標に関する座標情報を情報処理装置１００から取得する。続いて、端末装置１０は、取得した商品画像に所定の表示処理を施した商品画像を生成する。続いて、端末装置１０は、生成した商品画像を端末装置１０の画面（表示部）に表示する。続いて、端末装置１０は、商品画像の所定の商品に対応する領域の印（白丸）がユーザによって選択されると、ユーザによって選択された印（白丸）に対応する商品画像の領域である第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する検索要求を情報処理装置１００に送信する。

〔１−２．情報処理装置の構成〕
次に、図２を用いて、第１の実施形態に係る情報処理装置１００の構成について説明する。図２は、第１の実施形態に係る情報処理装置１００の構成例を示す図である。図２に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０と、店舗端末２０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図２に示すように、画像情報記憶部１２１と検索情報記憶部１２２を有する。

（画像情報記憶部１２１）
画像情報記憶部１２１は、商品画像に関する各種の情報を記憶する。図３に、第１の実施形態に係る画像情報記憶部の一例を示す。図３に示す例では、画像情報記憶部１２１は、「画像ＩＤ」、「画像」、「画像サイズ」、「商品ＩＤ」、「商品名」、「画像アイテム情報」といった項目を有する。また、「画像アイテム情報」は、「領域ＩＤ」、「座標」、「領域サイズ」、「カテゴリ」、「確度」といった小項目を有する。

「画像ＩＤ」は、画像を識別する識別情報を示す。「画像」は、商品画像のデータやデータの格納場所を示す。「画像サイズ」は、画像のサイズを示す。「商品ＩＤ」は、画像に紐づく商品を識別する識別情報を示す。ここで、画像に紐づく商品とは、画像が販売対象とする商品を意味する。「商品名」は、画像に紐づく商品の名称を示す。「画像アイテム情報」は、商品画像に関するアイテム（商品）に関する各種の情報を示す。

「領域ＩＤ」は、商品画像に関するアイテム（商品）に対応する領域を識別する識別情報を示す。「座標」は、アイテム（商品）に対応する領域の商品画像に対するに対する相対的な位置を示す座標を示す。「領域サイズ」は、アイテム（商品）に対応する領域のサイズを示す。「カテゴリ」は、情報処理装置１００が判定したアイテムのカテゴリ（ファッションカテゴリ）を示す。「確度」は、情報処理装置１００が判定したアイテムのカテゴリの確かさの度合いを示す。

（検索情報記憶部１２２）
検索情報記憶部１２２は、ユーザによる画像の検索履歴に関する各種の情報を記憶する。図４に、第１の実施形態に係る検索情報記憶部の一例を示す。図４に示す例では、検索情報記憶部１２２は、「日時」、「ユーザＩＤ」、「画像ＩＤ」、「領域ＩＤ」といった項目を有する。

「日時」は、ユーザが画像を検索した日時を示す。「ユーザＩＤ」は、ユーザを識別する識別情報を示す。「画像ＩＤ」は、ユーザが検索した領域を含む画像を識別する識別情報を示す。「領域ＩＤ」は、ユーザが検索した画像の領域を識別する識別情報を示す。

（制御部１３０）
図２の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図２に示すように、制御部１３０は、提供部１３１と、受付部１３２と、判定部１３３と、検索部１３４と、出力部１３５とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（提供部１３１）
提供部１３１は、ファッション検索サービスを提供する。具体的には、提供部１３１は、店舗端末２０から商品画像を取得する。また、提供部１３１は、商品画像に関する情報を取得する。例えば、提供部１３１は、商品画像のサイズ、商品画像に紐づく商品（販売対象の商品）の商品名やカテゴリに関する情報を店舗端末２０から取得する。続いて、提供部１３１は、商品画像に関する情報を取得すると、取得した商品画像に関する情報を画像情報記憶部１２１に格納する。

また、提供部１３１は、商品画像の配信要求であって、コンテンツＣ１の画像表示枠に表示させるための画像の配信要求を受け付ける。続いて、提供部１３１は、端末装置１０から商品画像の配信要求を受け付けると、端末装置１０の配信要求に応じて、コンテンツＣ１の画像表示枠に表示させるための商品画像を端末装置１０に配信する。なお、提供部１３１は、ユーザによって撮影された商品画像を端末装置１０から取得してもよい。具体的には、提供部１３１は、商品画像として、ユーザによって店頭で撮影された商品に関する画像を取得する。あるいは、提供部１３１は、商品画像として、電子商取引サービス等の商品に関するコンテンツを閲覧中のユーザによって撮影された商品に関するスクリーンショットを取得する。

（受付部１３２）
受付部１３２は、ユーザから検索に関する要求を受け付ける。具体的には、受付部１３２は、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する検索要求を受け付ける。

（判定部１３３）
判定部１３３は、商品画像の商品に関する種々の情報を判定する。判定部１３３は、提供部１３１によって取得されたユーザによって撮影された商品画像に関する種々の情報を判定する。具体的には、判定部１３３は、商品画像の商品に対応する領域を判定する。より具体的には、判定部１３３は、提供部１３１によって取得された商品画像の商品に対応する領域を判定する。例えば、判定部１３３は、画像解析モデルを用いて、商品画像の各商品に対応する各領域を判定する。続いて、判定部１３３は、商品画像の各商品に対応する各領域を判定すると、各領域のサイズを判定する。続いて、判定部１３３は、各領域のサイズを判定すると、商品画像に対する各領域の相対的な位置を示す座標を判定する。判定部１３３は、各領域のサイズと位置を判定すると、判定したサイズと位置を各領域と対応付けて画像情報記憶部１２１に格納する。

また、判定部１３３は、商品画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を判定する。例えば、判定部１３３は、画像解析モデルを用いて、商品画像の各領域に対応する各商品の色を代表する代表色に関する色情報、柄を代表する代表柄に関する柄情報、模様を代表する代表模様に関する模様情報又は素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を判定する。判定部１３３は、各商品の色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報を判定すると、判定した色情報、柄情報、模様情報又は素材情報を各領域と対応付けて画像情報記憶部１２１に格納する。

また、判定部１３３は、商品画像に対応する商品のカテゴリを判定する。具体的には、判定部１３３は、提供部１３１によって取得された商品画像の各領域に対応する各商品のカテゴリを判定する。例えば、判定部１３３は、画像解析モデルを用いて、商品画像の各領域に対応する各商品のカテゴリを判定する。判定部１３３は、カテゴリを判定すると、判定したカテゴリを商品画像の各領域と対応付けて画像情報記憶部１２１に格納する。

また、判定部１３３は、判定したカテゴリの確度を算出する。例えば、判定部１３３は、画像解析モデルを用いて算出されたカテゴリの確度を取得する。続いて、判定部１３３は、カテゴリの確度を取得すると、取得した確度を判定したカテゴリと対応付けて画像情報記憶部１２１に格納する。

（検索部１３４）
検索部１３４は、検索対象となる画像の中から、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。具体的には、検索部１３４は、複数の商品に関する第３画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第１画像と類似する第２画像を検索する。より具体的には、検索部１３４は、第３画像の各商品に対応する各領域の中からユーザによって選択された領域である第１画像と類似する第２画像を検索する。例えば、検索部１３４は、第３画像の各商品に対応する各領域の中からユーザによって選択された領域である第１画像と類似する第２画像を検索する検索要求を端末装置１０から受け付ける。検索部１３４は、検索要求を受け付けると、画像情報記憶部１２１を参照して、ユーザによって選択された領域を含む第３画像の画像ＩＤと、ユーザによって選択された第１画像の領域ＩＤとを取得する。図１に示す例では、検索部１３４は、画像情報記憶部１２１を参照して、ユーザによって選択された領域を含む第３画像の画像ＩＤであるＩＭ１と、ユーザによって選択された第１画像の領域ＩＤであるＡＲ１−４とを取得する。続いて、検索部１３４は、取得した第３画像の画像ＩＤと第１画像の領域ＩＤとに基づいて、第１画像と類似する第２画像を検索する。例えば、検索部１３４は、画像解析モデルを用いて、あらかじめ第３画像の各商品に対応する各領域の特徴量を算出しておき、算出した特徴量を各領域と対応付けて画像情報記憶部１２１に格納する。続いて、検索部１３４は、画像情報記憶部１２１を参照して、第１画像の特徴量を取得する。続いて、検索部１３４は、画像情報記憶部１２１を参照して、取得した第１画像の特徴量と類似する特徴量を有する第２画像を検索する。例えば、検索部１３４は、第１画像と類似する領域である第４画像を検索する。続いて、検索部１３４は、第１画像と類似する領域である第４画像を含む第２画像を検索結果として抽出する。例えば、検索部１３４は、画像情報記憶部１２１を参照して、第２画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第４画像の特徴量が第１画像の特徴量と類似する第２画像を検索する。

検索部１３４は、端末装置１０から検索要求を受け付けると、受け付けた検索要求に応じて、検索対象となる画像の中から、ユーザによって選択された印（円環状の輪）に対応する領域である第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。より具体的には、検索部１３４は、検索対象となる画像の中から、第１画像と類似する画像を抽出する。また、検索部１３４は、第２画像に紐づく販売対象の商品と販売対象の商品とは異なる他の商品とを含む複数の商品に関する第２画像を検索する。例えば、検索部１３４は、第２画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第４画像が第１画像と類似する第２画像を検索する。また、検索部１３４は、第４画像に対応する商品が第２画像に紐づく販売対象の商品と一致する第２画像を検索する。

続いて、検索部１３４は、第４画像に対応する商品のカテゴリが第１画像に対応する商品のカテゴリと一致する第２画像を検索する。具体的には、検索部１３４は、第２画像の各領域に対応する商品のカテゴリが第１画像に対応する商品のカテゴリと一致する第２画像を検索する。例えば、検索部１３４は、第４画像の特徴量が第１画像の特徴量と類似する第２画像を検索すると、画像情報記憶部１２１を参照して、第４画像に対応する商品のカテゴリを取得する。また、検索部１３４は、画像情報記憶部１２１を参照して、第１画像に対応する商品のカテゴリを取得する。続いて、検索部１３４は、取得した第４画像に対応する商品のカテゴリと第１画像に対応する商品のカテゴリとを比較して、第４画像に対応する商品のカテゴリと第１画像に対応する商品のカテゴリとが一致するか否かを判定する。続いて、検索部１３４は、第４画像に対応する商品のカテゴリと第１画像に対応する商品のカテゴリとが一致すると判定した場合に、その第４画像を含む第２画像を検索結果として抽出する。

（出力部１３５）
出力部１３５は、検索部１３４によって検索された第２画像を出力する。具体的には、出力部１３５は、検索部１３４によって検索された第２画像を端末装置１０に配信する。より具体的には、出力部１３５は、端末装置１０から検索結果画像の配信要求を受け付けると、受け付けた配信要求に応じて、検索部１３４によって検索された第２画像を端末装置１０に配信する。

〔１−３．端末装置の構成〕
次に、図５を用いて、第１の実施形態に係る端末装置１０の構成について説明する。図５は、第１の実施形態に係る端末装置１０の構成例を示す図である。図５に示すように、端末装置１０は、通信部１１と、入力部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。

（通信部１１）
通信部１１は、例えば、ＮＩＣ等によって実現される。そして、通信部１１は、図示しない所定の通信網を介して、有線又は無線で接続され、情報処理装置１００との間で情報の送受信を行う。

（入力部１２）
入力部１２は、ユーザからの各種操作を受け付ける。例えば、入力部１２は、タッチパネル機能により表示面を介してユーザからの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。

（表示部１３）
表示部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示部であり、各種情報を表示させるための表示装置である。例えば、表示部１３は、記憶部１４に格納されたコンテンツを表示させる。具体的には、表示部１３は、商品画像の配信要求であって、コンテンツＣ１の画像表示枠に表示させるための画像を情報処理装置１００に要求するという配信要求を含むコンテンツＣ１を表示させる。また、表示部１３は、情報処理装置１００から受信した商品画像を表示させる。具体的には、表示部１３は、コンテンツＣ１の画像表示枠に表示させるための商品画像を表示させる。

（記憶部１４）
記憶部１４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、例えば、端末装置１０にインストールされているアプリケーション（例えばアプリＡＰ１等）に関する情報、例えばプログラム等を記憶する。また、記憶部１４は、図５に示すように、コンテンツ情報記憶部１４１を有する。

（コンテンツ情報記憶部１４１）
コンテンツ情報記憶部１４１は、コンテンツに関する各種の情報を記憶する。具体的には、コンテンツ情報記憶部１４１は、アプリＡＰ１に関するコンテンツを格納する。例えば、コンテンツ情報記憶部１４１は、図１に示すコンテンツＣ１、コンテンツＣ２を格納する。

（制御部１５）
制御部１５は、例えば、コントローラであり、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置１０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、第１の実施形態に係るアプリＡＰ１のプログラムが含まれる。また、制御部１５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図５に示すように、制御部１５は、受付部１５１と、取得部１５２と、判定部１５３と、表示制御部１５４と、生成部１５５とを有し、以下に説明する情報処理の作用を実現または実行する。

（受付部１５１）
受付部１５１は、ユーザから検索に関する要求を受け付ける。具体的には、受付部１５１は、ユーザがアプリＡＰ１を立ち上げる操作を受け付ける。受付部１５１は、表示部１３によってコンテンツＣ１が画面（表示部）に表示されることにより、画像の配信要求を取得する。続いて、受付部１５１は、画像の配信要求を取得すると、商品画像の配信要求を情報処理装置１００に送信する。

受付部１５１は、商品に関する第１画像をユーザから受け付ける。具体的には、受付部１５１は、表示制御部１５４によって表示部１３に表示された印がユーザによって選択された場合に、ユーザによって選択された印に対応する第１画像をユーザから受け付ける。受付部１５１は、第１画像をユーザから受け付けると、受け付けた第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する検索要求を情報処理装置１００に送信する。

また、受付部１５１は、表示部１３によってコンテンツＣ２が画面（表示部）に表示されることにより、検索結果画像の配信要求を取得する。続いて、受付部１５１は、検索結果画像の配信要求を取得すると、検索結果画像の配信要求を情報処理装置１００に送信する。

（取得部１５２）
取得部１５２は、コンテンツＣ１の画像表示枠に表示させるための商品画像を情報処理装置１００から取得する。具体的には、取得部１５２は、コンテンツＣ１の画像表示枠に表示させるための商品画像として、複数の商品に関する第３画像を取得する。また、取得部１５２は、第３画像を取得することにより、第３画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第１画像を取得する。なお、取得部１５２は情報処理装置１００からコンテンツＣ１の画像表示枠に表示させるための商品画像を取得する代わりに、ユーザによって撮影された商品画像をユーザから取得してもよい。具体的には、取得部１５２は、端末装置１０のカメラロールからユーザによって撮影された商品に関する商品画像を取得する。例えば、取得部１５２は、商品画像として、ユーザによって店頭で撮影された商品に関する画像を取得する。あるいは、取得部１５２は、商品画像として、電子商取引サービス等の商品に関するコンテンツを閲覧中のユーザによって撮影された商品に関するスクリーンショットを取得する。続いて、取得部１５２は、ユーザによって撮影された商品画像を取得すると、取得した商品画像を情報処理装置１００に送信する。

また、取得部１５２は、第１画像の第３画像に対する相対的な位置を示す座標に関する座標情報を取得する。具体的には、取得部１５２は、画像情報記憶部１２１を参照して、第１画像の第３画像に対する相対的な位置を示す座標に関する座標情報を取得する。

また、取得部１５２は、第１画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得する。具体的には、取得部１５２は、画像情報記憶部１２１を参照して、第１画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得する。

また、取得部１５２は、コンテンツＣ２の検索結果の画像表示枠に表示させるための画像を情報処理装置１００から取得する。具体的には、取得部１５２は、第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を情報処理装置１００から取得する。

（判定部１５３）
判定部１５３は、複数の商品に関する画像の各商品に対応する各領域の中からユーザによる選択を促す領域を判定する。具体的には、判定部１５３は、取得部１５２によってコンテンツＣ１の画像表示枠に表示させるための商品画像が取得されると、画像情報記憶部１２１を参照して、複数の商品のうち、カテゴリの確度が最も高い商品に対応する領域を判定する。続いて、判定部１５３は、カテゴリの確度が最も高い商品に対応する領域をユーザによる選択を促す領域として選択する。

（表示制御部１５４）
表示制御部１５４は、コンテンツＣ１を画面（表示部）に表示させる。具体的には、表示制御部１５４は、受付部１５１によってユーザがアプリＡＰ１を立ち上げる操作が受け付けられると、コンテンツ情報記憶部１４１を参照して、コンテンツＣ１を画面（表示部）に表示させる。

また、表示制御部１５４は、複数の商品に関する第３画像を画面（表示部）に表示させる。具体的には、表示制御部１５４は、取得部１５２によってコンテンツＣ１の画像表示枠に表示させるための商品画像として、複数の商品に関する第３画像が取得されると、コンテンツＣ１の画像表示枠に第３画像を表示させる。表示制御部１５４は、コンテンツＣ１の画像表示枠に第３画像を表示させることにより、第３画像を画面（表示部）に表示させる。また、取得部１５２は、第３画像を画面（表示部）に表示させることにより、第３画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第１画像を画面（表示部）に表示させる。

表示制御部１５４は、受付部１５１によって受け付けられた第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を端末装置１０の表示部１３に表示させる。具体的には、表示制御部１５４は、取得部１５２によって取得された第２画像を端末装置１０の表示部１３に表示させる。より具体的には、表示制御部１５４は、複数の商品に関する第３画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第１画像と類似する第２画像を表示部１３に表示させる。

また、表示制御部１５４は、取得部１５２によって取得された座標情報に基づいて、第１画像に対応する商品の位置を示す印を第１画像に重畳して表示部１３に表示させる。具体的には、表示制御部１５４は、第１画像に対応する商品の位置を示す印として、第１画像の大きさに比べて相対的に小さい円環状の輪である丸印を第１画像に重畳して表示部１３に表示させる。より具体的には、表示制御部１５４は、生成部１５５によって生成された画像を表示部１３に表示させる。例えば、表示制御部１５４は、生成部１５５によって生成された第１画像に対応する商品の位置を示す印を第１画像に重畳した画像を表示部１３に表示させる。また、表示制御部１５４は、生成部１５５によって生成された第１画像の大きさに比べて相対的に小さい円環状の輪である丸印を第１画像に重畳した画像を表示部１３に表示させる。

また、表示制御部１５４は、商品に関する第１画像と類似画像検索された画像群の中から検索結果として抽出された第２画像の一部領域であって、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で端末装置１０の表示部１３に表示させる。具体的には、表示制御部１５４は、複数の商品に関する第３画像の各商品に対応する各領域の中からユーザによって選択された領域である第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示部１３に表示させる。より具体的には、表示制御部１５４は、生成部１５５によって生成された画像を表示部１３に表示させる。例えば、表示制御部１５４は、生成部１５５によって生成された商品に関する第１画像と類似画像検索された画像群の中から検索結果として抽出された第２画像の一部領域であって、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示する画像を表示部１３に表示させる。例えば、表示制御部１５４は、生成部１５５によって生成された複数の商品に関する第３画像の各商品に対応する各領域の中からユーザによって選択された領域である第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示する画像を表示部１３に表示させる。

また、表示制御部１５４は、第１画像を第３画像の他の領域に対して相対的に強調した状態で表示部１３に表示させ、第３画像の他の領域に対して相対的に強調した状態で表示させた第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示部１３に表示させる。例えば、表示制御部１５４は、表示制御部１５４は、判定部１５３によってユーザによる選択を促す領域として判定された領域である第１画像を第３画像の他の領域に対して相対的に強調した状態で表示部１３に表示させる。

また、表示制御部１５４は、複数の商品に関する第２画像の各商品に対応する各領域の少なくともいずれか一つの領域のうち、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示部１３に表示させる。例えば、表示制御部１５４は、第２画像に紐づく販売対象の商品に対応する領域であって、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示部１３に表示させる。

（生成部１５５）
生成部１５５は、取得部１５２によって取得された座標情報に基づいて、第１画像に対応する商品の位置を示す印を生成する。具体的には、生成部１５５は、取得部１５２によって取得された座標情報に基づいて、第１画像に対応する商品の位置を特定する。続いて、生成部１５５は、第１画像に対応する商品の位置を示す印として、第１画像の大きさに比べて相対的に小さい円環状の輪である丸印を生成する。続いて、生成部１５５は、特定した位置に生成した印を重畳した画像を生成する。このようにして、生成部１５５は、第１画像に対応する商品の位置を示す印を第１画像に重畳した画像を生成する。例えば、生成部１５５は、第１画像の大きさに比べて相対的に小さい円環状の輪である丸印を第１画像に重畳した画像を生成する。

また、生成部１５５は、取得部１５２によって取得された座標情報に基づいて、商品に関する第１画像と類似画像検索された画像群の中から検索結果として抽出された第２画像の一部領域であって、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示する画像を生成する。具体的には、生成部１５５は、取得部１５２によって取得された座標情報に基づいて、第２画像の一部領域であって、第１画像と類似する領域を特定する。続いて、生成部１５５は、特定した領域を第２画像の他の領域に対して相対的に強調した状態で表示する画像を生成する。例えば、生成部１５５は、複数の商品に関する第３画像の各商品に対応する各領域の中からユーザによって選択された領域である第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示する画像を生成する。

〔１−４．情報処理のフロー〕
次に、図６を用いて、第１の実施形態に係る情報処理の手順について説明する。図６は、第１の実施形態に係る情報処理手順を示すフローチャートである。図６に示す例では、情報処理装置１００は、商品に関する第１画像と類似する画像の検索要求をユーザから受け付けたか否かを判定する（ステップＳ１０１）。情報処理装置１００は、画像の検索要求をユーザから受け付けていない場合（ステップＳ１０１；Ｎｏ）、画像の検索要求をユーザから受け付けるまで待機する。

一方、情報処理装置１００は、画像の検索要求をユーザから受け付けた場合（ステップＳ１０１；Ｙｅｓ）、第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する（ステップＳ１０２）。情報処理装置１００は、第２画像を検索すると、検索した第２画像を出力する（ステップＳ１０３）。

〔１−５．出力処理のフロー〕
次に、図７を用いて、第１の実施形態に係る表示制御処理の手順について説明する。図７は、第１の実施形態に係る表示制御処理手順を示すフローチャートである。図７に示す例では、端末装置１０は、第１画像と類似する第２画像を情報処理装置１００から取得したか否かを判定する（ステップＳ２０１）。端末装置１０は、第１画像と類似する第２画像を取得していない場合（ステップＳ２０１；Ｎｏ）、第１画像と類似する第２画像を取得するまで待機する。

一方、端末装置１０は、第１画像と類似する第２画像を取得した場合（ステップＳ２０１；Ｙｅｓ）、第２画像の一部領域であって、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で端末装置１０の表示部１３に表示させる（ステップＳ２０２）。

〔１−６．変形例〕
上述した第１の実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。

〔１−６−１．他の強調表示〕
図８は、変形例に係る出力処理の一例を示す図である。図８に示す例では、表示制御部１５４は、第２画像から第１画像と類似する領域の画像を抽出し、抽出した画像を検索結果として表示部１３に表示させることにより、第１画像と類似する領域を第２画像の他の領域に対して相対的に強調した状態で表示部１３に表示させる。

〔１−６−２．色検索〕
受付部１３２は、ユーザが指定した色に近い順番に出力部１３５によって出力された第２画像を並べ替えて出力し直す並べ替え要求を受け付ける。出力部１３５は、受付部１３２によって受け付けられた並べ替え要求に応じて、ユーザが指定した色に近い順番に出力部１３５によって出力された第２画像を並べ替えて出力し直す。

〔１−６−３．色、柄、模様、又は素材違い検索〕
取得部１５２は、第１画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得する。表示制御部１５４は、取得部１５２によって取得された色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報に基づいて、代表色、代表柄、代表模様又は代表素材のうち少なくともいずれか一つの要素で円環状の輪の中身を示した丸印を第１画像に重畳して表示部１３に表示させる。具体的には、生成部１５５は、取得部１５２によって取得された色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報に基づいて、代表色、代表柄、代表模様又は代表素材のうち少なくともいずれか一つの要素で円環状の輪の中身を示した丸印を生成する。続いて、表示制御部１５４は、生成部１５５によって生成された丸印を第１画像に重畳して表示部１３に表示させる。

続いて、生成部１５５は、表示制御部１５４によって表示部１３に表示された丸印がユーザによって選択された場合に、ユーザによって選択された丸印に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像を生成する。受付部１５１は、生成部１５５によって変更画像が生成されると、変更画像を受け付ける。受付部１５１は、変更画像を受け付けると、受け付けた変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する検索要求を変更画像と共に情報処理装置１００に送信する。また、受付部１５１は、検索結果画像の配信要求を検索要求と変更画像と共に情報処理装置１００に送信する。

情報処理装置１００は、端末装置１０から検索要求を受け付けると、検索要求に応じて、変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。具体的には、検索部１３４は、第１画像に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。出力部１３５は、検索部１３４によって検索された第２画像を出力する。具体的には、出力部１３５は、検索部１３４によって検索された第２画像を端末装置１０に配信する。

取得部１５２は、変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を取得する。表示制御部１５４は、生成部１５５によって生成された変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を表示部１３に表示させる。具体的には、表示制御部１５４は、取得部１５２によって取得された第２画像を表示部１３に表示させる。

なお、上記の例では、端末装置１０の生成部１５５が変更画像を生成する例について説明したが、情報処理装置１００が変更画像を生成してもよい。具体的には、情報処理装置１００は、端末装置１０から検索要求を受け付けると、検索要求に応じて、変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。より具体的には、検索部１３４は、第１画像に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像を生成し、生成した変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。

〔２．第２の実施形態〕
〔２−１．情報処理の一例〕
次に、第２の実施形態について説明する。上述してきた第１の実施形態では、情報処理装置１００が検索した第２画像を出力し、端末装置１０が出力された第２画像を表示する情報処理の一例を説明した。第２の実施形態では、端末装置１０Ａが検索した第２画像を出力し、出力した第２画像を自身に表示する情報処理の例を示す。なお、第２の実施形態では、第１の実施形態と同様の構成について同一の符号を付して説明を省略する。

端末装置１０Ａには、第２の実施形態に係る制御プログラム（以下、適宜「アプリＡＰ２」と記載する。）がインストールされている。端末装置１０Ａは、端末装置１０ＡにインストールされたアプリＡＰ２を実行する。

〔２−２．端末装置の構成〕
次に、図９を用いて、第２の実施形態に係る端末装置１０Ａの構成について説明する。図９は、第２の実施形態に係る端末装置１０Ａの構成例を示す図である。図９に示すように、端末装置１０Ａは、通信部１１と、入力部１２と、表示部１３と、記憶部１４と、制御部１５Ａとを有する。

（制御部１５Ａ）
制御部１５Ａは、例えば、コントローラであり、ＣＰＵやＭＰＵ等によって、端末装置１０Ａ内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置１０Ａにインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、第２の実施形態に係るアプリＡＰ２のプログラムが含まれる。また、制御部１５Ａは、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図９に示すように、制御部１５Ａは、受付部１５１と、取得部１５２と、判定部１５３と、表示制御部１５４Ａと、生成部１５５と、検索部１５６Ａとを有し、以下に説明する情報処理の作用を実現または実行する。

（表示制御部１５４Ａ）
表示制御部１５４Ａは、検索部１５６Ａによって検索された第２画像を表示部１３に表示させる。具体的には、表示制御部１５４Ａは、検索部１５６Ａによって情報処理装置１００の画像情報記憶部１２１から取得された第２画像を表示部１３に表示させる。

（検索部１５６Ａ）
検索部１５６Ａは、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。具体的には、受付部１５１は、表示制御部１５４によって表示部１３に表示された印がユーザによって選択された場合に、ユーザによって選択された印に対応する第１画像をユーザから受け付ける。続いて、検索部１５６Ａは、第１画像をユーザから受け付けると、受け付けた第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。例えば、検索部１５６Ａは、検索対象となる画像を格納した情報処理装置１００の画像情報記憶部１２１を参照して、検索対象となる画像の中から、第１画像をユーザから受け付けると、受け付けた第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。検索部１５６Ａは、第２画像を検索すると、情報処理装置１００の画像情報記憶部１２１から検索した第２画像を取得する。

〔２−３．情報処理のフロー〕
次に、図１０を用いて、第２の実施形態に係る情報処理の手順について説明する。図１０は、第２の実施形態に係る情報処理手順を示すフローチャートである。図１０に示す例では、端末装置１０Ａは、商品に関する第１画像と類似する画像の検索要求をユーザから受け付けたか否かを判定する（ステップＳ３０１）。

端末装置１０Ａは、画像の検索要求をユーザから受け付けていない場合（ステップＳ３０１；Ｎｏ）、画像の検索要求をユーザから受け付けるまで待機する。

一方、端末装置１０Ａは、画像の検索要求をユーザから受け付けた場合（ステップＳ３０１；Ｙｅｓ）、第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する（ステップＳ３０２）。続いて、端末装置１０Ａは、第２画像を検索すると、検索した第２画像を端末装置１０Ａの表示部１３に表示させる（ステップＳ３０３）。

〔３．効果〕
上述してきたように、第１の実施形態に係る情報処理装置１００は、検索部１３４と出力部１３５とを備える。検索部１３４は、検索対象となる画像の中から、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。出力部１３５は、検索部１３４によって検索された第２画像を出力する。

これにより、情報処理装置１００は、ある商品画像の中からユーザが選択したアイテム（例えば、バッグ）と類似する商品画像を検索した場合、ユーザが選択したアイテム（例えば、バッグ）を販売対象とする商品画像だけを検索結果として提供することができる。すなわち、情報処理装置１００は、検索結果として抽出された画像を通じて画像に表示されたバッグをユーザが購入したいと思った場合に、画像検索の結果を通じてユーザがバッグを購入することを可能にする。例えば、画像検索の結果を通じてユーザが商品詳細画面や商品購入画面に遷移した場合に、バッグの商品詳細画面や商品購入画面に遷移させることができる。したがって、情報処理装置１００は、電子商取引におけるユーザビリティを向上させることができる。

また、検索部１３４は、複数の商品に関する第３画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第１画像と類似する第２画像を検索する。また、検索部１３４は、第３画像の各商品に対応する各領域の中からユーザによって選択された領域である第１画像と類似する第２画像を検索する。

これにより、情報処理装置１００は、画像に表示された複数の商品の中からユーザが所望する商品を検索可能とするので、電子商取引におけるユーザビリティをより向上させることができる。

また、検索部１３４は、第２画像に紐づく販売対象の商品と販売対象の商品とは異なる他の商品とを含む複数の商品に関する第２画像を検索する。また、検索部１３４は、第２画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第４画像が第１画像と類似する第２画像を検索する。また、検索部１３４は、第４画像に対応する商品が第２画像に紐づく販売対象の商品と一致する第２画像を検索する。

これにより、情報処理装置１００は、ある商品画像の中からユーザが選択したアイテムと類似する商品画像を検索した場合、ユーザが選択したアイテムを販売対象とする商品画像だけを検索結果として提供可能とすることができる。

また、検索部１３４は、第４画像に対応する商品のカテゴリが第１画像に対応する商品のカテゴリと一致する第２画像を検索する。

これにより、情報処理装置１００は、画像の類似度だけでなく、カテゴリの一致に基づいて、検索結果を抽出することができる。したがって、情報処理装置１００は、商品の類似画像検索における検索精度を高めることができる。

また、検索部１３４は、第１画像に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像を生成し、生成した変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。

これにより、情報処理装置１００は、ユーザが興味を示した商品の色、柄、模様又は素材を変更した商品画像の検索を可能とするので、電子商取引におけるユーザビリティをより向上させることができる。

また、第１の実施形態に係る情報処理装置１００は、受付部１３２をさらに備える。受付部１３２は、ユーザから検索に関する要求を受け付ける。受付部１３２は、ユーザが指定した色に近い順番に出力部１３５によって出力された第２画像を並べ替えて出力し直す並べ替え要求を受け付ける。出力部１３５は、受付部１３２によって受け付けられた並べ替え要求に応じて、ユーザが指定した色に近い順番に出力部１３５によって出力された第２画像を並べ替えて出力し直す。

これにより、情報処理装置１００は、検索結果をユーザが所望する色に近い順番に出力可能とするので、電子商取引におけるユーザビリティをより向上させることができる。

また、第１の実施形態に係る端末装置１０は、受付部１５１と表示制御部１５４とを備える。受付部１５１は、商品に関する第１画像をユーザから受け付ける。表示制御部１５４は、受付部１５１によって受け付けられた第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を端末装置１０の表示部１３に表示させる。

これにより、端末装置１０は、検索結果として抽出された画像を通じて画像に表示されたバッグをユーザが購入したいと思った場合に、画像検索の結果を通じてユーザがバッグを購入することを可能にする。例えば、画像検索の結果を通じてユーザが商品詳細画面や商品購入画面に遷移した場合に、バッグの商品詳細画面や商品購入画面に遷移させることができる。したがって、端末装置１０は、電子商取引におけるユーザビリティを向上させることができる。

また、表示制御部１５４は、複数の商品に関する第３画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第１画像と類似する第２画像を表示部１３に表示させる。

これにより、端末装置１０は、画像に表示された複数の商品の中からユーザが所望する商品を表示可能とするので、電子商取引におけるユーザビリティをより向上させることができる。

また、第１の実施形態に係る端末装置１０は、取得部１５２をさらに備える。取得部１５２は、第１画像の第３画像に対する相対的な位置を示す座標に関する座標情報を取得する。表示制御部１５４は、取得部１５２によって取得された座標情報に基づいて、第１画像に対応する商品の位置を示す印を第１画像に重畳して表示部１３に表示させる。また、受付部１５１は、表示制御部１５４によって表示部１３に表示された印がユーザによって選択された場合に、ユーザによって選択された印に対応する第１画像をユーザから受け付ける。

これにより、端末装置１０は、ユーザが所望する商品を選択する際の視認性を高めることができるので、電子商取引におけるユーザビリティをより向上させることができる。

また、表示制御部１５４は、第１画像に対応する商品の位置を示す印として、第１画像の大きさに比べて相対的に小さい円環状の輪である丸印を第１画像に重畳して表示部１３に表示させる。

これにより、端末装置１０は、印をドット等の黒丸で表示する場合と比べて、ユーザが所望する商品の画像に重畳して表示しても、商品の画像の視認性が低下することを防止することができるので、電子商取引におけるユーザビリティをより向上させることができる。

また、取得部１５２は、第１画像に対応する商品の色を代表する代表色に関する色情報、商品の柄を代表する代表柄に関する柄情報、商品の模様を代表する代表模様に関する模様情報又は商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得する。表示制御部１５４は、取得部１５２によって取得された色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報に基づいて、代表色、代表柄、代表模様又は代表素材のうち少なくともいずれか一つの要素で円環状の輪の中身を示した丸印を第１画像に重畳して表示部１３に表示させる。

これにより、端末装置１０は、商品の色、柄、模様又は素材を変更した商品画像を検索可能であることをユーザに対して知らせるための視認性を高めることができるため、電子商取引におけるユーザビリティをより向上させることができる。

また、第１の実施形態に係る端末装置１０は、生成部１５５をさらに備える。生成部１５５は、表示制御部１５４によって表示部１３に表示された丸印がユーザによって選択された場合に、ユーザによって選択された丸印に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像を生成する。表示制御部１５４は、生成部１５５によって生成された変更画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を表示部１３に表示させる。

これにより、端末装置１０は、ユーザが興味を示した商品の色、柄、模様又は素材を変更した商品画像の検索結果を表示可能とするので、電子商取引におけるユーザビリティをより向上させることができる。

第２の実施形態に係る端末装置１０Ａは、表示制御部１５４Ａと検索部１５６Ａを備える。検索部１５６Ａは、商品に関する第１画像と類似する画像であって、販売対象の商品に紐づく画像である第２画像を検索する。表示制御部１５４Ａは、検索部１５６Ａによって検索された第２画像を表示部１３に表示させる。

これにより、端末装置１０Ａは、ある商品画像の中からユーザが選択したアイテムと類似する商品画像を検索した場合、ユーザが選択したアイテムを販売対象とする商品画像だけを検索結果として提供することができる。すなわち、情報処理装置１００は、検索結果として抽出された画像を通じて画像に表示されたバッグをユーザが購入したいと思った場合に、画像検索の結果を通じてユーザがバッグを購入することを可能にする。例えば、画像検索の結果を通じてユーザが商品詳細画面や商品購入画面に遷移した場合に、バッグの商品詳細画面や商品購入画面に遷移させることができる。したがって、端末装置１０Ａは、電子商取引におけるユーザビリティを向上させることができる。

〔４．ハードウェア構成〕
また、上述してきた第１の実施形態に係る情報処理装置１００および端末装置１０、第２の実施形態に係る端末装置１０Ａは、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、情報処理装置１００および端末装置１０および端末装置１０Ａの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が第１の実施形態に係る情報処理装置１００、端末装置１０または端末装置１０Ａとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０、制御部１５または制御部１５Ａの機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔５．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、表示制御部は、表示制御手段や表示制御回路に読み替えることができる。

１ 情報処理システム
１０ 端末装置
１１ 通信部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ コンテンツ情報記憶部
１５ 制御部
１５１ 受付部
１５２ 取得部
１５３ 判定部
１５４ 表示制御部
１５５ 生成部
１０Ａ 端末装置
１５Ａ 制御部
１５４Ａ 表示制御部
１５６Ａ 検索部
２０ 店舗端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 画像情報記憶部
１２２ 検索情報記憶部
１３０ 制御部
１３１ 提供部
１３２ 受付部
１３３ 判定部
１３４ 検索部
１３５ 出力部

Claims (4)

1. 端末装置により実行される制御プログラムであって、
   複数の商品に関する第３画像の各商品に対応する各領域のうち少なくともいずれか一つの領域である第１画像であって、前記第１画像の前記第３画像に対する相対的な位置を示す座標に関する座標情報に基づいて、前記第１画像に対応する第１商品の位置を示す印であって、前記第１画像の大きさに比べて相対的に小さい円環状の輪である丸印が重畳して表示された前記第１画像を表示部に表示させる表示制御手順と、
   前記表示部に表示された第１画像に対する選択操作をユーザから受け付けると、前記第１画像と類似する領域を含み、販売者によって販売対象として指定された第２商品を前記第１画像と類似する領域に含む第２画像であって、前記第２商品と紐づけられた第２画像を検索する検索要求を情報処理装置に送信する受付手順と、
   前記情報処理装置によって検索された第２画像を前記情報処理装置から取得する取得手順と、
   を前記端末装置に実行させ、
   前記表示制御手順は、
   前記取得手順によって取得された第２画像を前記端末装置の表示部に表示させる、
   ことを特徴とする制御プログラム。
2. 前記受付手順は、
   前記表示制御手順によって表示部に表示された印がユーザによって選択された場合に、前記ユーザによって選択された印に対応する前記第１画像に対する選択操作を前記ユーザから受け付ける
   ことを特徴とする請求項１に記載の制御プログラム。
3. 前記取得手順は、
   前記第１画像に対応する第１商品の色を代表する代表色に関する色情報、前記第１商品の柄を代表する代表柄に関する柄情報、前記第１商品の模様を代表する代表模様に関する模様情報又は前記第１商品の素材を代表する代表素材に関する素材情報のうち少なくともいずれか一つの情報を取得し、
   前記表示制御手順は、
   前記取得手順によって取得された色情報、柄情報、模様情報又は素材情報のうち少なくともいずれか一つの情報に基づいて、前記代表色、前記代表柄、前記代表模様又は前記代表素材のうち少なくともいずれか一つの要素で前記円環状の輪の中身を示した丸印を前記第１画像に重畳して前記表示部に表示させる
   ことを特徴とする請求項１または２に記載の制御プログラム。
4. 前記表示制御手順によって表示部に表示された丸印がユーザによって選択された場合に、前記ユーザによって選択された丸印に対応する商品の色、柄、模様又は素材のうち少なくともいずれか一つの要素が変更された商品に関する変更画像を生成する生成手順をさらに備え、
   前記表示制御手順は、
   前記生成手順によって生成された変更画像と類似する領域を含み、販売者によって販売対象として指定された第３商品を前記変更画像と類似する領域に含む第２画像であって、前記第３商品と紐づけられた第２画像を前記表示部に表示させる
   ことを特徴とする請求項１〜３のいずれか１つに記載の制御プログラム。

Images