JP7320120B1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】商品に関するサイトやアプリの画面においてカラーチップを表示させるための実装負担を軽減しながら、当該サイトやアプリの利用者の利便性を向上すること。【解決手段】情報処理装置は、同一形状の商品に対応する一つ又は複数の商品画像を取得する取得部と、前記取得部によって取得された各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、前記各商品画像から抽出される部分領域を決定する決定部と、前記決定部によって決定された前記部分領域に対応する部分領域画像を出力する出力部と、を備える。【選択図】図９

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、ＥＣ（Electronic Commerce）サイトでは、商品を示す商品画像とともに、当該商品の色のバリエーションを示す画像（以下、「カラーチップ」という）を表示させることで、当該ＥＣサイトの利用者が商品を選択する際の利便性を向上させることが知られている。例えば、特許文献１には、マルチモーダル深層学習を用いて、商品画像と商品を説明するテキストをモダリティとして、商品の属性である商品の色や部分的な形状を識別すること、ＥＣサイトにおいて、当該商品画像とともに、マルチモーダル深層学習を用いて識別された色や部分的な形状を表示させること、が記載されている。

特許第７０８７２２０号

しかしながら、特許文献１記載の技術では、マルチモーダル深層学習を事前に行う必要があるため、ＥＣサイト等、商品に関するサイトやアプリ画面においてカラーチップを表示させるための実装負担が増大する恐れがある。

本開示は、このような状況に鑑みてなされたものであって、商品に関するサイトやアプリ画面においてカラーチップを表示させるための実装負担を軽減しながら、サイトやアプリの利用者の利便性を向上可能な情報処理装置、情報処理方法、情報処理プログラムを提供することを目的の一つとする。

本開示の一態様に係る情報処理装置は、同一形状の商品に対応する一つ又は複数の商品画像を取得する取得部と、前記取得部によって取得された各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、前記各商品画像から抽出される部分領域を決定する決定部と、前記決定部によって決定された前記部分領域に対応する部分領域画像を出力する出力部と、を備える。

本開示の他の態様に係る情報処理方法は、情報処理装置が、同一形状の商品に対応する一つ又は複数の商品画像を取得する工程と、前記取得部によって取得された各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、前記各商品画像から抽出される部分領域を決定する工程と、決定された前記部分領域に対応する部分領域画像を出力する工程と、を有する。

本開示の他の態様に係る情報処理プログラムは、コンピュータに、同一形状の商品に対応する一つ又は複数の商品画像を取得する工程と、前記取得部によって取得された各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、前記各商品画像から抽出される部分領域を決定する工程と、決定された前記部分領域に対応する部分領域画像を出力する工程と、
を実行させる。

本開示の他の態様に係る情報処理装置は、同一形状の商品に対応する一つ又は複数の商品画像をアップロードするアップロード部と、前記アップロード部によってアップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を取得する取得部と、前記取得部によって取得された前記部分領域画像を表示部に表示させ、入力部から入力されるユーザの要求に応じて、前記部分領域の再抽出用画面を前記表示部に表示させる制御部と、を備える。

本開示の他の態様に係る情報処理方法は、情報処理装置が、同一形状の商品に対応する一つ又は複数の商品画像をアップロードする工程と、前記アップロード部によってアップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を取得する工程と、取得された前記部分領域画像を表示部に表示させる工程と、入力部から入力されるユーザからの要求に応じて、前記部分領域の再抽出用画面を前記表示部に表示させる工程と、を有する。

本開示の他の態様に係る情報処理プログラムは、コンピュータに、同一形状の商品に対応する一つ又は複数の商品画像をアップロードする工程と、前記アップロード部によってアップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を取得する工程と、取得された前記部分領域画像を表示部に表示させる工程と、入力部から入力されるユーザの要求に応じて、前記部分領域の再抽出用画面を前記表示部に表示させる工程と、を実行させる。

本開示の一態様によれば、商品に関するサイトやアプリの画面においてカラーチップを表示させるための実装負担を軽減しながら、サイトやアプリの利用者の利便性を向上できる。

本実施形態に係る情報処理システム１の概要の一例を示す図である。 本実施形態に係る利用者端末３０で表示されるＥＣサイトの画面の一例である。 本実施形態に係る情報処理システム１を構成する各装置の物理構成の一例を示す図である。 本実施形態に係る情報処理装置１０の機能構成の一例を示す図である。 本実施形態に係る店舗側装置２０の機能構成の一例を示す図である。 図６（ａ）～（ｃ）は、本実施形態に係る店舗側装置２０の表示画面の一例を示す図である。 本実施形態に係る店舗側装置２０の表示画面の他の例を示す図である。 本実施形態に係る情報処理装置１０の動作の一例を示すフローチャートである。 図９（ａ）～（ｃ）は、本実施形態に係る各商品画像から抽出される部分領域の決定動作を説明するための図である。 本実施形態に係る店舗側装置２０の動作の一例を示すフローチャートである。

以下に、本発明の一実施形態における情報処理システムについて、図面を参照して詳細に説明する。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。

なお、以下では、１つのＥＣサイト上に複数の店舗（例えば、複数の会社の店舗）が仮想的に設けられ、店舗毎に商品が販売されるＥＣサイト（以下、「モール型ＥＣサイト」という）を提供する情報処理システムを一例として説明するが、本実施形態に係る情報処理システムはこれに限られない。本実施形態に係る情報処理システムは、例えば、１つのＥＣサイト上で自社の商品が販売されるＥＣサイト（以下、「自社ＥＣサイト」という）等、どのようなＥＣサイトを提供してもよい。また、本実施形態は、ＥＣサイトの画面に限られず、商品に関するサイトやアプリの画面に適用し得る。

（概要）
図１は、本実施形態に係る情報処理システムの概要の一例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、店舗側装置２０と、利用者端末３０と、これらの少なくとも二つを接続するネットワーク４０と、を備える。

情報処理装置１０は、ＥＣサイト（例えば、モール型ＥＣサイト）を提供する情報処理装置である。情報処理装置１０は、例えば、一つ又は複数のサーバで構成されてもよい。情報処理装置１０は、ネットワーク４０を介して利用者端末３０と接続される。また、情報処理装置１０は、ネットワーク４０を介して店舗側装置２０と接続されてもよい。

店舗側装置２０は、情報処理装置１０によって提供されるＥＣサイト上に仮想的に設けられる各店舗に対応する情報処理装置である。店舗側装置２０は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はサーバ等であってもよい。店舗側装置２０は、店舗側のユーザによって使用される。

利用者端末３０は、情報処理装置１０によって提供されるＥＣサイトの利用者の端末である。利用者端末３０は、例えば、パーソナルコンピュータ、スマートフォン、タブレット等である。利用者端末３０は、ＥＣサイトの画面を表示させる。

ネットワーク４０は、例えば、イントラネット及び／又はインターネット等である。また、ネットワーク４０は、無線及び／又は有線のネットワークである。

図２は、本実施形態に係る利用者端末３０で表示されるＥＣサイトの画面の一例である。図２に示すように、ＥＣサイトの画面Ｉ１には、商品画像Ｉ１１とともに、カラーチップＩ１２が表示される。カラーチップＩ１２は、商品画像Ｉ１１が示す商品の色のバリエーションを示す画像である。例えば、図２には、商品「Ｔシャツ＃００１」の色のバリエーションを示す３つのカラーチップＩ１２が示されている。

図２に示すように、商品画像Ｉ１１とともにカラーチップＩ１２を画面Ｉ１に表示させることにより、ＥＣサイトの利用者は、商品画像Ｉ１１が示す「Ｔシャツ＃００１」と同一形状で色が異なる商品を容易に認識可能となるので、当該利用者の利便性の向上に寄与できる。なお、商品は、一つのＳＫＵ（Stock Keeping Unit）に対応してもよいし、同一形状で色が異なる複数のＳＫＵに対応してもよい。なお、ＳＫＵはアイテムと言い換えられてもよい。また、同一形状の商品とは、同一の外形の形状の商品であればよく、同一の外形の形状で異なるサイズ（例えば、ＸＳサイズ、Ｓサイズ、Ｍサイズ、Ｌサイズ等）の商品を含んでもよい。また、同一形状とは、略同一の外形の形状を有することを意味し、厳密な同一性を要求するものではない。

本実施形態に係る情報処理システム１では、情報処理装置１０は、同一形状の商品に対応する一つ又は複数の商品画像を取得し、各商品画像から抽出された部分的な領域（以下、「部分領域」という）に対応する画像（以下、「部分領域画像」という）を図１に示すカラーチップＩ１２として出力する。なお、各商品画像から部分領域を「抽出すること」は、各商品画像から部分領域を「切り抜く」、「抜き出す」、「選択する」こと等を含んでもよい。これにより、情報処理装置１０がカラーチップＩ１２を簡便に生成できる。したがって、ＥＣサイトの画面Ｉ１においてカラーチップＩ１２を表示させるための実装負担を軽減しながら、当該ＥＣサイトの利用者の利便性を向上できる。また、情報処理装置１０は、各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、各商品画像から抽出される部分領域を決定するので、カラーチップＩ１２の生成精度を向上でき、ＥＣサイトの利用者の商品選択性を向上できる。

また、本実施形態に係る情報処理システム１では、店舗側装置２０は、同一形状の商品に対応する一つ又は複数の商品画像を情報処理装置１０に対してアップロードし、アップロードされた各商品画像から抽出された部分領域に対応する部分領域画像をカラーチップＩ１２として情報処理装置１０から取得するので、ＥＣサイト上に出店する店舗側装置２０の負担なしに、カラーチップＩ１２を簡便に生成できる。したがって、ＥＣサイトの画面Ｉ１においてカラーチップＩ１２を表示させるための実装負担を軽減しながら、当該ＥＣサイトの利用者の利便性を向上できる。また、店舗側装置２０に表示された部分領域画像に基づいて部分領域の再抽出の要求を受け付けることで、各商品画像から抽出される部分領域を調整できるので、カラーチップＩ１２の生成精度を向上でき、ＥＣサイトの利用者の商品選択性を向上できる。

（構成）
＜物理構成＞
図３は、本実施形態に係る情報処理システム１を構成する各装置の物理構成の一例を示す図である。各装置（例えば、情報処理装置１０、店舗側装置２０及び利用者端末３０）は、演算部に相当するプロセッサ１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read Only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図３で示す構成は一例であり、各装置はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。また、情報処理装置１０は、単体の装置で構成されてもよいし、複数の装置を含んで構成されてもよい。

プロセッサ１０ａは、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されているプログラムを実行することにより、各装置における各種処理を制御する。プロセッサ１０ａは、各装置が備える他の構成と、プログラムとの協働により、各装置の機能を実現し、処理の実行を制御する。プロセッサ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

ＲＡＭ１０ｂ及びＲＯＭ１０ｃは、各種処理に必要なデータ及び処理結果のデータを記憶する。各装置は、ＲＡＭ１０ｂ及びＲＯＭ１０ｃ以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。ＲＡＭ１０ｂ及びＲＯＭ１０ｃは、例えば、半導体記憶素子で構成されてもよい。

通信部１０ｄは、各装置を他の機器に接続するインターフェースである。通信部１０ｄは、他の機器と通信する。通信部１０ｄは、送信部、受信部、又は、送受信部と言い換えられてもよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるためのデバイスや、各装置の外部からデータを入力するためのデバイスである。入力部１０ｅは、例えば、キーボード、マウス、タッチパネル及びカメラ等を含んでよい。表示部１０ｆは、プロセッサ１０ａによる制御に従って、情報を表示するデバイスである。表示部１０ｆは、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。

各装置の機能を実現させるためのプログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続されるネットワークを介して提供されてもよい。各装置では、プロセッサ１０ａが当該プログラムを実行することにより、各装置を制御するための様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、各装置は、プロセッサ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

＜機能構成＞
≪情報処理装置１０≫
図４は、本実施形態に係る情報処理装置１０の機能構成の一例を示す図である。図４に示すように、情報処理装置１０は、記憶部１０１、取得部１０２、決定部１０３及び出力部１０４を備える。記憶部１０１の機能は、情報処理装置１０のＲＡＭ１０ｂ及びＲＯＭ１０ｃの少なくとも一部によって実現され、取得部１０２及び出力部１０４の機能は、情報処理装置１０のプロセッサ１０ａ及び通信部１０ｄの少なくとも一部によって実現され、決定部１０３の機能は情報処理装置１０のプロセッサ１０ａの少なくとも一部によって実現されてもよい。

記憶部１０１は、取得部１０２によって取得される同一形状の商品に対応する一つ又は複数の商品画像を記憶する。記憶部１０１は、決定部１０３によって決定された部分領域に対応する部分領域画像を記憶してもよい。

取得部１０２は、同一形状の商品に対応する一以上の商品画像を取得する。具体的には、取得部１０２は、店舗側装置２０からアップロードされる当該一以上の商品画像を取得してもよい。

また、取得部１０２は、後述する再抽出用画面において、店舗側装置２０の入力部１０ｅから入力されるユーザの指示に基づいて、商品画像から再抽出された部分領域に関する情報（以下、「再抽出情報」という）を取得してもよい。

決定部１０３は、取得部１０２によって取得された各商品画像に含まれる色に関する第１色情報と、各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、各商品画像から抽出される部分領域を決定する。なお、決定部１０３は、取得部１０２によって同一形状の商品に対応する複数の商品画像が取得された場合、上記第１色情報及び第２色情報に基づいて、当該複数の商品画像間で共通する位置の部分領域を、各商品画像から抽出される部分領域として決定してもよい。

ここで、第１色情報は、各商品画像における各色の割合に関する情報（以下、「色割合情報」という）、及び、各商品画像における各色の画素の位置に関する情報（以下、「画素位置情報」という）の少なくとも一つを含んでもよい。

また、第２色情報は、各商品画像内の各部分領域に含まれる色を識別する情報（以下、「色識別情報」という）、各商品画像内の各部分領域に含まれる色の数に関する情報（以下、「色数情報」という）、各商品画像内の各部分領域における各色の割合に関する情報（以下、「部分領域色割合情報」という）、及び、前記商品画像における前記各部分領域の位置に関する情報（以下、「部分領域位置情報」という）の少なくとも一つを含んでもよい。部分領域位置情報は、例えば、当該位置を示す座標であってもよいし、又は、当該位置を導出するための情報（例えば、探索窓のスライド開始位置等の初期値、添え字等の変数、探索窓のスライド幅等の各種パラメータ）であってもよい。

具体的には、決定部１０３は、上記第１色情報に基づいて、各商品画像における各色のスコア（以下、「色スコア」という）を決定してもよい。また、決定部１０３は、当該色スコアと上記第２色情報とに基づいて、各商品画像内の各部分領域のスコア（以下、「部分領域スコア」という）を決定してもよい。また、決定部１０３は、当該部分領域スコアに基づいて、各商品画像から抽出される部分領域を決定してもよい。また、決定部１０３は、各商品画像内で前記部分領域スコアが最も高い部分領域を、前記各商品画像から抽出される部分領域として決定してもよい。

また、決定部１０３は、各商品画像から抽出される部分領域を決定するための種々の処理を行ってもよい。例えば、当該種々の処理は、各商品画像のリサイズ、減色、及び、赤（red）、緑（green）及び青（blue）からなる色空間（以下、ＲＧＢ空間という）から、色相（Hue）、彩度（Saturation）及び明度（Value）からなる色空間（以下、ＨＳＶ空間という）への変換の少なくとも一つを含んでもよい。例えば、決定部１０３は、図８のステップＳ１０２～Ｓ１０７を参照して後述するように、各商品画像から抽出される部分領域を決定してもよい。

また、決定部１０３は、取得部１０２によって取得された再抽出情報に基づいて、各商品画像から抽出される部分領域を決定（再決定）してもよい。

出力部１０４は、決定部１０３によって決定された部分領域に対応する部分領域画像を出力する。具体的には、出力部１０４は、当該部分領域画像を、情報処理装置１０の通信部１０ｄを介して利用者端末３０に送信する。例えば、出力部１０４は、図２のＥＣサイトの画面Ｉ１に示されるように、商品画像と対応付けられた態様で部分領域画像を出力してもよい。また、出力部１０４は、当該部分領域画像を、情報処理装置１０の通信部１０ｄを介して、店舗側装置２０に送信してもよい。例えば、出力部１０４は、後述する図６（ｂ）の店舗側装置２０の表示画面Ｉ２に示されるように、商品画像と対応付けられた態様で部分領域画像を出力してもよい。

≪店舗側装置２０≫
図５は、本実施形態に係る店舗側装置２０の機能構成の一例を示す図である。図５に示すように、店舗側装置２０は、アップロード部２０１、取得部２０２、制御部２０３及び入力受付部２０４を備える。アップロード部２０１及び取得部２０２の機能は、店舗側装置２０のプロセッサ１０ａ及び通信部１０ｄの少なくとも一部によって実現され、制御部２０３の機能は店舗側装置２０のプロセッサ１０ａ及び表示部１０ｆの少なくとも一部によって実現されてもよい。入力受付部２０４は、店舗側装置２０のプロセッサ１０ａ及び入力部１０ｅの少なくとも一部によって実現されてもよい。

アップロード部２０１は、同一形状の商品に対応する一つ又は複数の商品画像をアップロードする。具体的には、アップロード部２０１は、店舗側装置２０の通信部１０ｄを介して、情報処理装置１０に対して当該商品画像を送信する。

また、アップロード部２０１は、後述する再抽出用画面において、店舗側装置２０の入力部１０ｅから入力されるユーザの指示に基づいて、商品画像から再抽出された部分領域に関する再抽出情報をアップロードしてもよい。具体的には、アップロード部２０１は、店舗側装置２０の通信部１０ｄを介して、情報処理装置１０に対して当該再抽出情報を送信する。例えば、アップロード部２０１は、店舗側装置２０に接続される他の装置（例えば、外部データベースや端末等）から取得された各商品画像をアップロードしてもよいし、店舗側装置２０の記憶部に記憶された各商品画像をアップロードしてもよいし、又は、店舗側装置２０の入力部１０ｅ（例えば、カメラ）により撮像された各商品画像をアップロードしてもよい。

取得部２０２は、アップロード部２０１によってアップロードされた各商品画像から再抽出された部分領域に対応する部分領域画像を取得する。当該部分領域は、上記の通り、各商品画像に含まれる色に関する第１色情報と、各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、決定されてもよい。

制御部２０３は、店舗側装置２０の表示部１０ｆに対する表示を制御する。具体的には、制御部２０３は、アップロード部２０１によってアップロードされる同一形状の商品に対応する一つ又は複数の商品画像の選択画面を当該表示部１０ｆに表示させてもよい。

図６（ａ）は、本実施形態に係る一つ又は複数の商品画像の選択画面の一例を示す図である。図６（ａ）に示すように、当該選択画面Ｉ２では、当該一つ又は複数の商品画像の選択ボタンＩ２１が表示される。当該選択ボタンＩ２１の押下が入力受付部２０４によって受け付けられた場合、店舗側装置２０の入力部１０ｅから入力されたユーザの指示に基づいて抽出された一つ又は複数の商品画像Ｉ２２がアップロード部２０１によってアップロードされてもよい。

また、制御部２０３は、取得部２０２によって取得された部分領域画像を当該表示部１０ｆに表示させてもよい。図６（ｂ）は、本実施形態に係る部分領域画像の表示画面の一例を示す図である。例えば、図６（ｂ）に示す表示画面Ｉ３では、部分領域の抽出に用いられた商品画像Ｉ３１と、当該部分領域に対応する部分領域画像Ｉ３２と、当該部分領域の再抽出を要求するボタンＩ３３と、が表示される。

また、制御部２０３は、店舗側装置２０の入力部１０ｅから入力されるユーザの要求に応じて、当該部分領域の再抽出用画面を当該表示部１０ｆに表示させてもよい。例えば、制御部２０３は、図６（ｂ）の表示画面Ｉ３のボタンＩ３３の押下が入力受付部２０４によって受け付けられた場合、部分領域の再抽出用画面を表示部１０ｆに表示させてもよい。

また、制御部２０３は、当該再抽出用画面において、各商品画像内における当該部分領域の位置を示す情報（以下、「位置情報」という）を表示させてもよい。図６（ｃ）は、本実施形態に係る部分領域の再抽出用画面の一例を示す図である。図６（ｃ）に示すように、再抽出用画面Ｉ４には、部分領域の抽出に用いられた商品画像Ｉ４１と、当該部分領域の位置情報Ｉ４２と、当該位置情報Ｉ４２に基づいて修正された部分領域の抽出（又は再抽出）を指示するボタンＩ４３と、が表示されてもよい。再抽出用画面Ｉ４２において、入力部１０ｅから入力されるユーザの指示（例えば、カーソル移動による部分領域の修正指示）が入力受付部２０４によって受け付けられた場合、当該指示に基づいて位置情報Ｉ４２を移動させ、ユーザによるボタンＩ４３の押下に応じて、修正された部分領域に関する再抽出情報が、アップロード部２０１によってアップロードされてもよい。

また、アップロード部２０１によって同一形状の商品に対応する複数の商品画像がアップロードされ、当該複数の商品画像間で共通する位置の部分領域に対応する部分領域画像が取得部２０２によって取得された場合、制御部２０３は、図６（ｃ）に示す再抽出用画面Ｉ４において指示された部分領域を当該複数の商品画像全てに反映させてもよいし、又は、商品画像毎に個別に部分領域の修正が指示可能としてもよい。

また、制御部２０３は、同一形状の商品に対応する一つ又は複数の商品画像の一覧画面を当該表示部１０ｆに表示させてもよい。図７は、本実施形態に係る一覧画面の一例を示す図である。図７に示すように、一覧画面Ｉ５では、同一形状の商品「Ｔシャツ＃００１」に対応する複数の商品画像（ここでは、商品画像Ｉ５１１及びＩ５２１）と、当該複数の商品画像の各々から抽出された部分領域に対応する部分領域画像（ここでは、部分領域画像Ｉ５１２及びＩ５２２）と、が表示される。また、一覧画面Ｉ５では、各商品画像に対応する各色の商品のサイズのバリエーションと、色毎及びサイズ毎の商品の管理コード（アイテム管理コード）が表示されてもよい。

また、制御部２０３は、店舗側装置２０の入力部１０ｅから入力されるユーザの指示に基づいて、上記一覧画面において、各商品画像とともに部分領域画像を表示させるか否かを制御してもよい。

入力受付部２０４は、店舗側装置２０の入力部１０ｅを用いたユーザからの入力情報を受け付ける。当該入力情報は、例えば、図６（ａ）のボタンＩ２１の押下、図６（ｂ）のボタンＩ３３の押下、図６（ｃ）のボタンＩ４３の押下、再抽出情報、及び、図に示す一覧画面において部分領域画像を表示させるか否かの指示情報の少なくとも一つを含んでもよい。

（動作）
図８～１０を参照し、情報処理システム１の動作を説明する。
＜情報処理装置１０の動作＞
図８は、本実施形態に係る情報処理装置１０の動作の一例を示すフローチャートである。なお、図８は、例示にすぎず、不図示のステップが実施されてもよいし、一部のステップ（例えば、ステップＳ１０２～Ｓ１０４）が省略されてもよい。例えば、図８では、同一の形状の商品に対応する複数の商品画像が取得される場合の一例を説明するが、同一の形状の商品に対応する一つの商品画像が取得される場合にも適宜適用可能である。

図８に示すように、ステップＳ１０１において、情報処理装置１０は、同一の形状の商品に対応する複数の商品画像を取得する。具体的には、情報処理装置１０は、店舗側装置２０からアップロードされた複数の商品画像を取得してもよい。例えば、情報処理装置１０は、図９（ａ）に示す商品画像Ｉ６１～Ｉ６４を取得してもよい。図９（ａ）に示すように、商品画像Ｉ６１～Ｉ６４は、同一の形状の商品「セーター」の色、柄及び模様の少なくとも一つのバリエーションを示す画像である。

図８のステップＳ１０２において、情報処理装置１０は、ステップＳ１０１で取得された複数の商品画像の各々に対してリサイズ及び減色を行う。例えば、情報処理装置１０は、各商品画像のサイズを所定サイズ（例えば、１５０×１５０）としてもよい。また、情報処理装置１０は、各商品画像の階調（例えば、各チャンネルの階調）の数を削減してもよい。例えば、情報処理装置１０は、０～２５５階調の２５６色から０～７階調の８色に各商品画像を減色してもよい。なお、ステップＳ１０２における減色は、ステップＳ１０３におけるマスクの生成精度を向上させるためのものであり、省略されてもよい。

ステップＳ１０３において、情報処理装置１０は、ステップＳ１０２においてリサイズ及び減色が行われてた複数の商品画像間の差分に基づいて、マスクを生成する。具体的には、情報処理装置１０は、複数の商品画像のうちで同一の画素値を有する商品画像の数に基づいて画素毎に前景又は背景を判定して、当該マスクを生成してもよい。例えば、情報処理装置１０は、ｎ（ｎ≧１）個の商品画像にそれぞれ含まれるｎ個の同じ位置の画素ｉのうちｎ＊ｂ個以上（又はｎ＊ｂ個より大きい）の画素が同一の画素値を有する場合、当該画素ｉを背景と判定してもよい。一方、情報処理装置１０は、ｎ個の商品画像の画素ｉにおいてｎ＊ｆ個未満（又はｎ＊ｆ個以下）の商品画像が同一の画素値を有する場合、当該画素ｉを背景と判定してもよい。なお、例えば、ｂ＝０．８、ｆ＝０．２５であるが、これに限られない。なお、ステップＳ１０３におけるマスクの生成は、省略されてもよい。

ステップＳ１０４において、情報処理装置１０は、ステップＳ１０２でリサイズ及び減色が行われた複数の商品画像の各々に対して、減色を行う。例えば、情報処理装置１０は、当該複数の商品画像の各々の色をＲＧＢ空間から、ＨＳＶ空間に変換し、ＨＳＶ空間の各チャンネル（すなわち、Ｈ、Ｓ及びＶの３チャンネルそれぞれ）について二値化処理（例えば、大津の二値化）を行うことで、ＨＳＶ空間を８単位に分割し、８単位で当該複数の商品画像の色を識別する。また、情報処理装置１０は、ステップＳ１０３で作成されたマスクを用いて、当該複数の商品画像の各々について画素毎に前景又は背景を区別してもよい。情報処理装置１０は、前景と判定された各画素について、色を識別し、背景と判定された各画素を黒色としてもよい。なお、ステップＳ１０４における減色は、各商品画像内の各画素の色を識別しやすくするためのものであり、省略されてもよい。

ステップＳ１０５において、情報処理装置１０は、上記第１色情報に基づいて、当該複数の商品画像の各々に含まれる各色の色スコアを決定する。上記の通り、第１色情報は、各商品画像における色割合情報（例えば、ＨＳＶ空間を分割した８単位の色（８色）の割合）、及び、各商品画像における各色の画素の位置に関する画素位置情報の少なくとも一つを含んでもよい。当該各色の割合は、各商品画像内の全画素に含まれる色の割合であってもよいし、ステップＳ１０３で背景と判定された画素を含まず、前景と判定された画素の色の割合であってもよい。なお、色スコアは、ステップＳ１０４においてＨＳＶ空間を分割した８単位の色（８色）について付されてもよい。

例えば、情報処理装置１０は、各商品画像における割合が多い色ほど色スコアの値を高く決定し、各商品画像における割合が低い色ほど色スコアの値を低く決定してもよい。また、情報処理装置１０は、各商品画像の中心を含む所定領域（以下、「中心領域」という）内の画素に多い色ほど色スコアの値を高く決定し、当該中心領域に少ない色ほど色スコアの値を低く決定してもよい。或いは、色スコアは、各商品画像における各色の割合（例えば、ＨＳＶ空間を分割した８単位の色（８色）の割合）そのものであってもよい。

図９（ａ）の商品画像Ｉ６１に示されるセーターでは、各色の色スコアは、｛黄色：０．１５，赤色：０．２，水色：０．３，紫色：０．１，…｝である。一方、図９（ｂ）の商品画像Ｉ６２に示されるセーターでは、各色の色スコアは、｛黄色：０．３５，赤色：０．３５，水色：０．０５，紫色：０．０５，…｝である。なお、ここでは、４色の色スコアを明示しているが、色スコアは４色に限られず、所定数の色（例えば、ＨＳＶ空間を分割した８色）について付されればよい。

ステップＳ１０６において、情報処理装置１０は、ステップＳ１０５で決定された色スコアと、上記第２色情報とに基づいて、複数の商品画像の各々に含まれる各部分領域の部分領域スコアを決定する。具体的には、情報処理装置１０は、探索窓を用いて複数の商品画像の各々を走査し、当該複数の商品画像の各々に含まれる各部分領域に探索窓の位置が対応（例えば、一致）するように当該探索窓をスライドしてもよい。情報処理装置１０は、上記色スコアと、探索窓の位置に対応する部分領域に含まれる色に関する第２色情報に基づいて、当該部分領域の部分領域スコアを決定し、複数の商品画像の各々全体を探索窓で走査することにより、当該複数の商品画像の各々に含まれる各部分領域の部分領域スコアを決定してもよい。上記の通り、第２色情報は、例えば、各商品画像内の各部分領域についての色識別情報、色数情報、部分領域色割合情報及び部分領域位置情報の少なくとも一つを含んでもよい。

ここで、探索窓の大きさは、商品画像の１／ｎ（例えば、ｎ＝６）であってもよい。また、探索窓のスライド幅は、探索窓の高さの１／ｍ（例えば、ｍ＝１０）であってもよい。なお、探索窓の形状は、例えば、四角又は丸形（内接円）であってもよい。探索窓の形状をカラーチップＩ１２と同一の形状（例えば、図２では、丸形）とすることにより、商品画像から抽出される部分領域の精度を向上できる。

例えば、図９（ｂ）の商品画像Ｉ７１の探索窓ＳＷ１には、無地部分に対応する画素と模様部分に対応する画素が含まれており、探索窓ＳＷ１内の各色の割合は、｛黄色：０．１，赤色：０．３，水色：０．４，紫色：０．１，…｝であるものとする。ここで、探索窓ＳＷ１に含まれる赤色及び水色以外の黄色及び紫色等は、閾値ｐ（例えば、ｐ＝０．２５）より小さい色割合が小さいノイズ色であるものとする。ステップＳ１０５で決定された商品画像Ｉ６１の各色の色スコアは、｛黄色：０．１５，赤色：０．２，水色：０．３，紫色：０．１，…｝であるので、探索窓ＳＷ１に含まれるノイズ色（ここでは、黄色及び紫色等）を除いた赤色及び水色それぞれの色スコア「０．１５」及び「０．２」を加算した値「０．３５」を、探索窓ＳＷ１に対応する部分領域スコアとしてもよい。

一方、図９（ｂ）の商品画像Ｉ７１の探索窓ＳＷ２には、無地部分に対応する画素だけが含まれており、探索窓ＳＷ２内の各色の割合は、｛黄色：０．１，赤色：０．１，水色：０．４，紫色：０．１，…｝であるものとする。ここで、探索窓ＳＷ１に含まれる水色以外の赤色、黄色及び紫色等は、閾値ｐ（例えば、ｐ＝０．２５）より小さい色割合が小さいノイズ色であるものとする。ステップＳ１０５で決定された商品画像Ｉ６１の各色の色スコアは、｛黄色：０．１５，赤色：０．２，水色：０．３，紫色：０．１，…｝であるので、探索窓ＳＷ２に含まれるノイズ色（ここでは、黄色、赤色及び紫色等）を除いた水色の色スコア「０．３」が、探索窓ＳＷ２に対応する部分領域スコアとなる。同様に、情報処理装置１０は、探索窓ＳＷを用いて商品画像Ｉ７１を走査し、商品画像Ｉ７１内の各部分領域の部分領域スコアを決定する。同様に、商品画像Ｉ７２～Ｉ７４内の各部分領域の部分領域スコアが決定される。

図８のステップＳ１０７において、情報処理装置１０は、ステップＳ１０６で決定された各部分領域の部分領域スコアに基づいて、複数の商品画像の各々から抽出される部分領域を決定する。例えば、上記の通り、図９（ｂ）の商品画像Ｉ７１において探索窓ＳＷ１に対応する部分領域スコアは「０．３５」であるのに対して、探索窓ＳＷ２に対応する部分領域スコアは「０．３」である。商品画像Ｉ７１内の他の部分領域の部分領域スコアを含めて、探索窓ＳＷ１に対応する部分領域スコア「０．３５」が最高値である。この場合、情報処理装置１０は、探索窓ＳＷ１に対応する部分領域を商品画像Ｉ７１から抽出することを決定する。また、情報処理装置１０は、複数の商品画像間で同じ位置の部分領域の部分領域スコアに所定の演算を施した値を用いて、当該複数の商品画像の各々から抽出される部分領域を当該複数の商品画像間で共通に決定してもよい。例えば、図９（ｂ）の商品画像Ｉ７１～Ｉ７４内の探索窓ＳＷ１に対応する部分領域の部分領域スコアの平均値を算出し、当該平均値が最も高い部分領域を、商品画像Ｉ７１～Ｉ７４の各々から抽出される部分領域として当該商品画像Ｉ７１～Ｉ７４間で共通に決定してもよい。なお、情報処理装置１０は、複数の商品画像間で同じ位置の部分領域を抽出するものとするが、これにかぎられず、当該複数の商品画像の各々に含まれる各部分領域の部分領域スコアに基づいて、当該複数の商品画像の各々から抽出される部分領域を当該複数の商品画像間で個別に決定してもよい。例えば、複数の商品画像間で異なる部分領域が抽出されてもよい。

図８のステップＳ１０８において、情報処理装置１０は、ステップＳ１０７で決定された部分領域に対応する部分領域画像を出力する。例えば、図９（ｃ）に示される部分領域画像Ｉ８１～Ｉ８４は、それぞれ、図９（ｂ）の商品画像Ｉ７１～Ｉ７４に示される探索窓ＳＷ１の部分領域に対応する。

図８に示す動作によると、情報処理装置１０は、同一形状の商品に対応する一つ又は複数の商品画像を取得し、各商品画像から抽出された部分領域に対応する部分領域画像をＥＣサイトの画面上に（例えば、図１に示すカラーチップＩ１２として）出力する。したがって、ＥＣサイトの画面においてカラーチップを表示させるための実装負担を軽減しながら、当該ＥＣサイトの利用者の利便性を向上できる。また、情報処理装置１０は、各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、各商品画像から抽出される部分領域を決定するので、カラーチップの生成精度を向上でき、ＥＣサイトの利用者の商品選択性を向上できる。

＜店舗側装置２０の動作＞
図１０は、本実施形態に係る店舗側装置２０の動作の一例を示すフローチャートである。なお、図１０は、例示にすぎず、不図示のステップが実施されてもよいし、一部のステップが省略されてもよい。

図１０に示すように、ステップＳ２０１において、店舗側装置２０は、同一形状の商品に対応する一つ又は複数の商品画像を情報処理装置１０に対してアップロードする。例えば、店舗側装置２０は、店舗側装置２０に接続される他の装置（例えば、外部データベースや端末等）から取得された各商品画像をアップロードしてもよいし、店舗側装置２０の記憶部に記憶された各商品画像をアップロードしてもよいし、又は、店舗側装置２０の入力部１０ｅ（例えば、カメラ）により撮像された各商品画像をアップロードしてもよい。

ステップＳ２０２において、店舗側装置２０は、ステップＳ２０１でアップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を情報処理装置１０から取得する。

ステップＳ２０３において、店舗側装置２０は、ステップＳ２０２によって取得された部分領域画像を店舗側装置２０の表示部１０ｆに表示させる。例えば、店舗側装置２０は、図６（ｂ）に示すように、画面Ｉ３において部分領域画像Ｉ３２を表示部１０ｆに表示させてもよい。

ステップＳ２０４において、店舗側装置２０は、店舗側装置２０の入力部ｅを用いたユーザからの部分領域の再抽出の要求の入力を受け付けたか否かを判定する。当該要求が受け付けられた場合（ステップＳ２０４；ＹＥＳ）、ステップＳ２０５において、店舗側装置２０は、部分領域の再抽出用画面を表示部１０ｆに表示させる。例えば、店舗側装置２０は、図６（ｃ）に示す再抽出用画面Ｉ４を表示部１０ｆに表示させてもよい。なお、図示しないが、再抽出が必要でないことを示す情報が受け付けられた場合、店舗側装置２０は、その旨を情報処理装置１０に対して通知してもよい。

ステップＳ２０５において、店舗側装置２０は、店舗側装置２０の入力部ｅを用いたユーザからの部分領域の再抽出情報の入力を受け付けたか否かを判定する。当該再抽出情報が受け付けられた場合（ステップＳ２０６；ＹＥＳ）、ステップＳ２０７において、店舗側装置２０は、再抽出情報を情報処理装置１０に対してアップロードする。

図１０に示す動作によると、店舗側装置２０は、同一形状の商品に対応する一つ又は複数の商品画像を情報処理装置１０に対してアップロードし、アップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を情報処理装置１０から取得するので、ＥＣサイトの画面においてカラーチップを表示させるための実装負担を軽減しながら、当該ＥＣサイトの利用者の利便性を向上できる。また、店舗側装置２０に表示された部分領域画像に基づいて部分領域の再抽出の要求を受け付けることで、各商品画像から抽出される部分領域を調整できるので、カラーチップの生成精度を向上でき、ＥＣサイトの利用者の商品選択性を向上できる。

以上のように、本実施形態に係る情報処理システム１によれば、ＥＣサイトの画面においてカラーチップを表示させるための実装負担を軽減しながら、当該ＥＣサイトの利用者の利便性を向上できる。

（その他の実施形態）
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

例えば、上記実施形態では、モール型ＥＣサイトを提供する情報処理システムについて説明したが、上記の通り、自社ＥＣサイトを提供する情報処理システムにも適宜適用可能である。自社ＥＣサイトに提供する場合、店舗側装置２０は、省略され、情報処理装置１０に含まれてもよいし、又は、情報処理装置１０とは別の自社の情報処理装置に置き換えられてもよい。

１…情報処理システム、１０…情報処理装置、２０…店舗側装置、３０…利用者端末、４０…ネットワーク、１０ａ…プロセッサ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１０１…記憶部、１０２…取得部、１０３…決定部、１０４…出力部、２０１…アップロード部、２０２…取得部、２０３…制御部、２０４…入力受付部

Claims (13)

1. 同一形状の商品に対応する一つ又は複数の商品画像を取得する取得部と、
   前記取得部によって取得された各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、前記各商品画像から抽出される部分領域を決定する決定部と、
   前記決定部によって決定された前記部分領域に対応する部分領域画像を出力する出力部と、
   を備える情報処理装置。
2. 前記決定部は、
   前記第１色情報に基づいて、前記各商品画像における各色のスコアである色スコアを決定し、
   前記色スコアと前記第２色情報とに基づいて、前記各部分領域のスコアである部分領域スコアを決定し、
   前記部分領域スコアに基づいて、前記各商品画像から抽出される部分領域を決定する、
   請求項１記載の情報処理装置。
3. 前記決定部は、前記各商品画像内で前記部分領域スコアが最も高い部分領域を、前記各商品画像から抽出される部分領域として決定する、
   請求項２記載の情報処理装置。
4. 前記第１色情報は、前記各商品画像における各色の割合、及び、前記各商品画像における各色の画素の位置に関する情報の少なくとも一つを含む、
   請求項１から請求項３のいずれか記載の情報処理装置。
5. 前記第２色情報は、前記各部分領域に含まれる色を識別する情報、前記各部分領域に含まれる色の数に関する情報、前記各部分領域における各色の割合に関する情報、及び、前記各商品画像における前記各部分領域の位置に関する情報の少なくとも一つを含む、
   請求項１から請求項３のいずれか記載の情報処理装置。
6. 同一形状の商品に対応する一つ又は複数の商品画像をアップロードするアップロード部と、
   前記アップロード部によってアップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を取得する取得部と、
   前記取得部によって取得された前記部分領域画像を表示部に表示させ、入力部から入力されるユーザの要求に応じて、前記部分領域の再抽出用画面を前記表示部に表示させる制御部と、
   を備える情報処理装置。
7. 前記制御部は、前記再抽出用画面において、前記各商品画像内における前記部分領域の位置を示す情報を表示させ、
   前記アップロード部は、前記入力部から入力される前記ユーザの指示に基づいて、前記再抽出用画面において再抽出された部分領域に関する情報をアップロードする、
   請求項６記載の情報処理装置。
8. 前記制御部は、前記入力部から入力される前記ユーザの指示に基づいて、前記同一形状の商品に対応する前記一つ又は複数の商品画像の一覧画面において、前記各商品画像とともに前記部分領域画像を表示させるか否かを制御する、
   請求項６又は請求項７記載の情報処理装置。
9. 前記部分領域は、前記各商品画像全体に含まれる色に関する第１色情報と前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて決定される、
   請求項６記載の情報処理装置。
10. 情報処理装置が、
    同一形状の商品に対応する一つ又は複数の商品画像を取得する工程と、
    前記取得された各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、前記各商品画像から抽出される部分領域を決定する工程と、
    決定された前記部分領域に対応する部分領域画像を出力する工程と、
    を有する情報処理方法。
11. 情報処理装置が、
    同一形状の商品に対応する一つ又は複数の商品画像をアップロードする工程と、
    前記アップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を取得する工程と、
    取得された前記部分領域画像を表示部に表示させる工程と、
    入力部から入力されるユーザからの要求に応じて、前記部分領域の再抽出用画面を前記表示部に表示させる工程と、
    を有する情報処理方法。
12. コンピュータに、
    同一形状の商品に対応する一つ又は複数の商品画像を取得する工程と、
    前記取得された各商品画像に含まれる色に関する第１色情報と、前記各商品画像内の各部分領域に含まれる色に関する第２色情報とに基づいて、前記各商品画像から抽出される部分領域を決定する工程と、
    決定された前記部分領域に対応する部分領域画像を出力する工程と、
    を実行させるための情報処理プログラム。
13. コンピュータに、
    同一形状の商品に対応する一つ又は複数の商品画像をアップロードする工程と、
    前記アップロードされた各商品画像から抽出された部分領域に対応する部分領域画像を取得する工程と、
    取得された前記部分領域画像を表示部に表示させる工程と、
    入力部から入力されるユーザの要求に応じて、前記部分領域の再抽出用画面を前記表示部に表示させる工程と、
    を実行させるための情報処理プログラム。

Images