JP6947283B2 - 店舗装置、店舗システム、画像取得方法、およびプログラム - Google Patents

Description

本発明は、画像を用いた商品認識技術に関する。

画像を用いて商品を認識する技術の一例が、例えば、下記特許文献１に開示されている。下記特許文献１では、カメラにより撮像された対象物をオブジェクト認識することで当該対象物を商品として識別し、その商品を購入対象商品として登録する機能を備える商品登録装置が開示されている。

特開２０１６−６２５４５号公報

画像を用いて商品を識別可能とするためには、識別対象の商品毎に学習用および評価用の画像を多数用意し、かつ、それらの画像を使って識別器を構築する作業が必要となる。そして、この作業にかかる手間を削減するためには、外部に委託したり、専用の装置を用意したりすることが考えられるが、その場合、コストが嵩む。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、商品を識別するために利用される識別器を構築する際にかかるコストを削減する技術を提供することである。

本発明の店舗装置は、
ディスプレイの表示面上に載置された商品が写る画像を撮像装置から取得する画像取得手段と、
顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替えるモード切替手段と、
前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録する商品登録手段と、
前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させる表示制御手段と、
前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる画像収集手段と、
を備える。

本発明の店舗システムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイの表示面上に載置された商品が写る画像を生成する撮像装置と、
前記撮像装置により生成された画像を取得する画像取得手段と、
顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替えるモード切替手段と、
前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録する商品登録手段と、
前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させる表示制御手段と、
前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる画像収集手段と、
を備える。

本発明の画像取得方法は、
コンピュータが、
ディスプレイの表示面上に載置された商品が写る画像を撮像装置から取得し、
顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替え、
前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録し、
前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させ、
前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる、
ことを含む。

本発明のプログラムは、コンピュータに上述の画像取得方法を実行させる。

本発明によれば、商品を識別するために利用される識別器を構築する際にかかるコストを削減することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１実施形態の店舗システムの構成例を示す図である。 店舗システムのハードウエア構成を例示するブロック図である。 第１実施形態の店舗システムが商品登録モード時に実行する処理の流れを例示する図である。 第１実施形態の店舗システムが画像収集モード時に実行する処理の流れを例示する図である。 画像収集部が所定の記憶装置に記憶する情報の一例を示す図である。 第３実施形態の店舗システムの構成例を示す図である。 第３実施形態の表示制御部によりディスプレイに表示される情報の一例を示す図である。 第４実施形態の店舗システムの構成例を示す図である。 第４実施形態の店舗システムにより実行される学習処理の流れを例示するフローチャートである。 第５実施形態の店舗システム１の構成例を示す図である。 第５実施形態の店舗システム１の処理の流れを例示するシーケンス図である。 撮影画像から商品領域画像を抽出する第１の手法の例示する図である。 撮影画像から商品領域画像を抽出する第２の手法を例示する図である。 撮影画像から商品領域画像を抽出する第３の手法の例示する図である。 第３の手法の他の例を示す図である。 撮影画像から商品領域画像を抽出する第４の手法を例示する図である。 画像生成部１５４の動作を具体的に例示する図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［第１実施形態］
〔システム構成例〕
図１は、第１実施形態の店舗システム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る店舗システム１は図１に描かれる構成に限定されない。図１に示されるように、店舗システム１は、店舗装置１０、会計処理用機器２０、撮像装置３０、およびディスプレイ４０を含んで構成される。店舗装置１０は、図示しない配線等によって会計処理用機器２０、撮像装置３０、およびディスプレイ４０と接続されている。

店舗装置１０は、一般的なレジ業務に係る処理に加え、商品を識別するための識別器の学習用画像を収集する処理を実行することができる。店舗装置１０の各機能については後述する。

会計処理用機器２０は、店舗のレジ業務で利用される各種機器である。例えば、会計処理用機器２０は、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、ディスプレイ（タッチパネルディスプレイ）やスピーカーなどの出力機器を含む。

ディスプレイ４０は、様々な画像をその表示面上に表示する。また、ディスプレイ４０は、後述の店舗装置１０による制御に従って、特定の背景画像を表示する。また、ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。

撮像装置３０は、商品Ｐが写る画像を生成する。また、図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面に表示された画像を背景として、当該ディスプレイ４０の表示面に載置された商品Ｐを撮影することができる。撮像装置３０により生成された画像は、店舗装置１０に送信される。

図１に例示されるように、本実施形態の店舗装置１０は、画像取得部１１０、モード切替部１２０、商品登録部１３０、表示制御部１４０、および画像収集部１５０を備える。画像取得部１１０は、ディスプレイ４０の表示面上に載置された商品Ｐが写る画像を撮像装置３０から取得する。モード切替部１２０は、店舗システム１（店舗装置１０）の動作モードを、商品登録モードと画像収集モードとの間で切り替える。商品登録モードは、顧客が購入する商品を登録する処理を実行するモードである。言い換えると、商品登録モードは一般的なレジ装置の処理を実行するモードである。一方、画像収集モードは、商品を識別するための商品識別エンジン（識別器）の学習用画像を収集するモードである。商品登録部１３０は、上述の商品登録モードのときに動作する。商品登録部１３０は、画像取得部１１０により取得された画像に基づいて識別器が識別した商品を、購入対象の商品として登録する。言い換えると、商品登録部１３０は、画像取得部１１０により取得された画像を用いて通常のレジ業務に係る処理を実行する処理部である。例えば、商品登録部１３０は、画像取得部１１０により取得された画像に基づいて識別された購入商品の情報を、ディスプレイ４０または会計処理用機器２０として設けられたディスプレイに出力する。表示制御部１４０および画像収集部１５０は、画像収集モードのときに動作する。表示制御部１４０は、ディスプレイ４０の表示面に所定の背景画像を表示させる。画像収集部１５０は、表示制御部１４０によりディスプレイ４０の表示面に表示された背景画像と、ディスプレイ４０の表示面上に載置された商品Ｐと、が写る画像を、識別器の学習用画像として取得する。そして、画像収集部１５０は、識別器の学習用画像として取得した画像を、所定の記憶装置に記憶させる。ここで、所定の記憶装置は、例えば、ハードディスクドライブのような不揮発性の記憶装置であってもよいし、ＲＡＭ（Random Access Memory）のような揮発性の記憶装置であってもよい。

〔ハードウエア構成例〕
店舗システム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、店舗システム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図２は、店舗システム１のハードウエア構成を例示するブロック図である。

店舗装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は店舗装置１０の各機能（画像取得部１１０、モード切替部１２０、商品登録部１３０、表示制御部１４０、および画像収集部１５０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、店舗装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、店舗装置１０は、会計処理用機器２０、撮像装置３０、およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。会計処理用機器２０は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、ディスプレイ（タッチパネルディスプレイ）やスピーカーなどの出力機器を含む。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０は、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイである。また、ディスプレイ４０は、ユーザの入力操作を受け付け可能なタッチパネルであってもよい。

ネットワークインタフェース１０６０は、店舗装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

図２は、あくまで一例であり、店舗システム１のハードウエア構成は図２の例に制限されない。例えば、店舗装置１０は、ネットワークインタフェース１０６０を介して、会計処理用機器２０および撮像装置３０と接続されていてもよい。また、ディスプレイ４０は、会計処理用機器２０のディスプレイの代わりに、商品登録業務用の各種画面を表示してもよい。この場合、会計処理用機器２０のディスプレイはなくてもよい。

〔処理の流れ〕
図３および図４を用いて、本実施形態の店舗システム１により実行される処理の流れを説明する。図３は、第１実施形態の店舗システム１が商品登録モード時に実行する処理の流れを例示する図である。また、図４は、第１実施形態の店舗システム１が画像収集モード時に実行する処理の流れを例示する図である。

＜商品登録モード時の処理＞
まず、図３を用いて、商品登録モード時の処理の流れについて説明する。

まず、店舗システム１を利用するユーザ（店員）は、店舗システム１の動作モードを「商品登録モード」に切り替える操作を実行する。この操作は、例えば、店舗装置１０に接続された図示しないスイッチ等の切り替え操作や、ディスプレイ４０や会計処理用機器２０のディスプレイに表示された切替ボタンの押下操作などである。この操作に応じて、店舗システム１のモードを指定する情報（モード指定情報）が生成され、店舗装置１０に送信される。

店舗装置１０が、上述したような操作によって生成されたモード指定情報（ここでは、「商品登録モード」を指定する情報）を取得すると（Ｓ１０２）、モード切替部１２０は、店舗システム１の動作モードを商品登録モードに設定する（Ｓ１０４）。そして、店舗装置１０は、ディスプレイ４０に商品登録業務用の画面を表示させる（Ｓ１０６）。また、モード切替部１２０によって店舗システム１の動作モードが商品登録モードに設定されたことに応じて、以下に例示するような処理が実行される。

画像取得部１１０は、撮像装置３０により生成された撮影画像を取得する（Ｓ１０８）。例えば、撮像装置３０は、イメージセンサのセンシング結果（撮影画像）を、画像取得部１１０に常時出力している。また、撮像装置３０は、画像取得部１１０の指示に応じて、画像を生成するように構成されていてもよい。そして、商品登録部１３０は、画像取得部１１０により取得された撮影画像の中に商品が存在するか否かを判定する（Ｓ１１０）。例えば、商品登録部１３０は、画像取得部１１０により取得された撮影画像（または撮影画像から抽出される特徴量）を商品識別エンジンに入力して得られる出力結果に基づいて、撮影画像の中に商品が存在するか否かを判定することができる。その他にも、商品登録部１３０は、エッジ特徴量などを用いて撮影画像の中から物体の領域を検出した後、テンプレートマッチングなどを行って当該物体が商品か否かを判定してもよい。

撮影画像の中に商品が存在しない場合（Ｓ１１０：ＮＯ）、画像取得部１１０は、撮像装置３０により生成される新たな撮影画像を取得し、商品登録部１３０は、その新たな撮影画像の中に商品が存在する否かを判定する。

一方、撮影画像の中に商品が存在する場合（Ｓ１１０：ＹＥＳ）、商品登録部１３０は、その商品（商品識別エンジン等により識別された商品）を、購入対象の商品として登録する（Ｓ１１２）。例えば、商品登録部１３０は、次のような動作を行うことができる。まず、商品登録部１３０は、その商品が何かを示す情報（例えば、商品の識別情報）を、商品識別エンジン等の識別結果として取得する。ここで、ディスプレイ４０上に複数の商品が載置されている場合、商品識別エンジンは、それらの商品１つ１つについて識別した結果を出力することができる。そして、商品登録部１３０は、商品識別エンジンから取得した情報を基に、商品登録に必要な情報を取得する。例えば、商品登録部１３０は、商品識別エンジンから取得した商品の識別情報を基に、その商品に関連する情報（例えば、商品名、商品価格、特典の有無など）を取得することができる。そして、商品登録部１３０は、このように取得された商品に関連する情報を用いて購入対象の商品リストを更新する情報を生成する。例えば、商品登録部１３０は、Ｓ１１０の処理で識別された商品に関連する情報を追加した商品リストを、会計処理用機器２０に送信する。また、商品登録部１３０は、Ｓ１１０の処理で識別された商品に関連する情報を、更新用の情報として会計処理用機器２０に送信してもよい。ディスプレイ４０は、商品登録部１３０から取得した情報に基づいて、購入対象の商品の商品リストの表示内容を更新する（Ｓ１１４）。

画像取得部１１０および商品登録部１３０は、購入対象の商品を登録する処理の終了指示が検出されるまで、上述の処理を繰り返し実行する（Ｓ１１６：ＮＯ）。例えば、購入商品を全て登録した後に押下するボタン（小計ボタンなど）が押下されるまで、画像取得部１１０および商品登録部１３０は上述の処理を繰り返し実行する。そして、小計ボタンなどが押下された場合（Ｓ１１６：ＹＥＳ）、画像取得部１１０および商品登録部１３０は上述の処理を終了する。その後、店舗装置１０は代金の支払い処理を実行する（Ｓ１１８）。

なお、上述の処理において、商品登録部１３０は、会計処理用機器２０としてディスプレイが設けられている場合、ディスプレイ４０の代わりに或いは加えて、当該ディスプレイに購入商品のリストを送信してもよい。また、会計処理用機器２０として、バーコードリーダー等が設けられている場合、商品登録部１３０は、当該バーコードリーダーから取得した情報を用いて、購入商品のリストを更新してもよい。

＜画像収集モード＞
次に、図４を用いて、画像収集モード時の処理の流れについて説明する。

まず、店舗システム１を利用するユーザ（店員）は、店舗システム１の動作モードを「画像収集モード」に切り替える操作を実行する。この操作は、例えば、店舗装置１０に接続された図示しないスイッチ等の切り替え操作や、ディスプレイ４０や会計処理用機器２０のディスプレイに表示された切替ボタンの押下操作などである。この操作に応じて、店舗システム１のモードを指定する情報（モード指定情報）が生成され、店舗装置１０に送信される。

店舗装置１０が、上述したような操作によって生成されたモード指定情報（ここでは、「画像収集モード」を指定する情報）を取得すると（Ｓ２０２）、モード切替部１２０は、店舗システム１の動作モードを画像収集モードに設定する（Ｓ２０４）。モード切替部１２０によって店舗システム１の動作モードが画像収集モードに設定されたことに応じて、以下に例示するような処理が実行される。

表示制御部１４０は、ディスプレイ４０に、所定の背景画像を表示させる（Ｓ２０６）。背景画像は、ランダムに生成された画像（例えば、それぞれランダムな幾何学図形の結合画像など）であってもよい。また例えば、背景画像は、商品識別エンジンの利用環境に合わせてチューニングされた画像であってもよい。例えば、店舗での業務において実際に表示される画面やＧＵＩ（Graphical User Interface）などの表示コンテンツ、または、人物の手や指などが、ノイズとして背景画像の少なくとも一部に含まれていてもよい。このようなノイズを背景画像に含めることにより、商品識別エンジンの利用環境（具体的には、ディスプレイ４０上に購入対象の商品を載置し、上部の撮像装置３０で商品をまとめて認識するようなシステム）で実際に起こり得る状況を精度よく再現できる。背景画像は、例えば、ストレージデバイス１０４０などに予め記憶されている。表示制御部１４０は、ストレージデバイス１０４０などから背景画像を読み出し、ディスプレイ４０に出力することができる。

また、店舗システム１を利用するユーザは、商品識別エンジンの学習対象である商品Ｐをディスプレイ４０上の任意の位置に載置する（Ｓ２０８）。その後、店舗システム１を利用するユーザは、店舗装置１０に接続された入力装置（キーボードやタッチパネルなど）を介して、撮像装置３０に撮影動作を指示する（Ｓ２１０）。撮像装置３０は、画像取得部１１０からの撮影指示に応じて、ディスプレイ４０の表示面に表示された背景画像と、ディスプレイ４０の表示面上に載置された商品Ｐと、が写る画像を生成する。そして、画像取得部１１０は、撮像装置３０により生成された画像を取得する（Ｓ２１２）。画像収集部１５０は、Ｓ２１２で取得された画像を、学習用画像として所定の記憶装置（例えば、ストレージデバイス１０４０）に記憶する（Ｓ２１４）。このとき、画像収集部１５０は、例えば、店舗装置１０に接続された入力装置（キーボードやタッチパネルなど）を介して、商品識別エンジンの学習に利用される付加情報の入力を受け付けてもよい。例えば、画像収集部１５０は、商品Ｐが何であるかを示す情報（以下、「商品特定情報」と表記）の入力を受け付け、Ｓ２１２の処理で取得した画像と対応付けて記憶してもよい（例：図５）。図５は、画像収集部１５０が所定の記憶装置に記憶する情報の一例を示す図である。図５では、画像取得部１１０により取得された画像（または、当該画像の特徴量）と、ディスプレイ４０上に載置された商品の商品特定情報（例えば、商品の名称や商品毎に割り当てられた識別情報など）と、を対応付けた情報が例示されている。

以上、本実施形態によれば、一般的なレジ業務を行う装置において、商品を識別するための識別器の学習に利用可能な画像を収集することが可能となる。すなわち、一般的なレジ業務を行う装置を、識別器を構築するための装置として機能させることができる。これにより、識別器を構築する際にかかるコストを削減させることができる。また、本実施形態では、画像収集モードにおいて、ディスプレイ４０に任意の背景画像を表示させることができる。これにより、識別器の学習に適した画像を、容易に作り出すことが可能となる。

［第２実施形態］
本実施形態は、以下の点を除き、第１実施形態と同様の構成を有する。

〔システム構成例〕
本実施形態の店舗システム１は、例えば図１に示されるような構成と同様の構成を有する。本実施形態の表示制御部１４０は、画像収集モードのとき、ディスプレイ４０の表示面に、それぞれ内容の異なる複数の背景画像を切り替えて表示させる。そして、本実施形態の画像収集部１５０は、上記複数の背景画像のいずれかと、ディスプレイ４０の表示面上に載置された商品Ｐと、が写る複数の学習用画像を取得する。

ここで、表示制御部１４０によりディスプレイ４０の表示面上に表示される複数の背景画像は、それぞれランダムに生成された画像（例えば、それぞれランダムな幾何学図形の結合画像など）であってもよい。また例えば、複数の背景画像は、例えば、それぞれ互いに色の異なる複数の無地の画像であってもよい。また、複数の背景画像は、商品識別エンジンの利用環境に合わせてチューニングされた画像であってもよい。例えば、複数の背景画像は、商品が写る画像であってもよい。この場合、商品の種類および配置の少なくとも一方が、複数の背景画像それぞれの間で互いに異なる。またこの場合において、複数の背景画像の少なくとも一部に、商品以外のノイズが含まれていてもよい。具体的には、店舗での業務において実際に表示される画面やＧＵＩ（Graphical User Interface）などの表示コンテンツ、または、人物の手や指などが、ノイズとして複数の背景画像の少なくとも一部に含まれていてもよい。このようなノイズを背景画像に含めることにより、商品識別エンジンの利用環境（具体的には、ディスプレイ４０上に購入対象の商品を載置し、上部の撮像装置３０で商品をまとめて認識するようなシステム）で実際に起こり得る状況を精度よく再現できる。

上記で例示したような複数の背景画像のデータは、例えばストレージデバイス１０４０などに記憶されており、表示制御部１４０は、ストレージデバイス１０４０などから各背景画像のデータを読み出すことができる。また、商品識別エンジンの利用環境に合わせてチューニングされた複数の背景画像を使う場合、表示制御部１４０は、ストレージデバイス１０４０に記憶されているパーツ画像をランダム或いは所定のルールに従って組み合わせて複数の背景画像を生成するように構成されていてもよい。

〔ハードウエア構成例〕
本実施形態の店舗システム１は、第１実施形態と同様のハードウエア構成（例：図２）を有する。本実施形態のストレージデバイス１０４０は、上述の表示制御部１４０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の表示制御部１４０の機能が実現される。

〔処理の流れ〕
本実施形態の大まかな処理の流れは、図４に示すものと同様である。本実施形態では、Ｓ２０６の処理において、表示制御部１４０は、複数の背景画像を所定のタイミングで切り替えて表示させる描画データをディスプレイ４０に送信する。そして、ディスプレイ４０は、表示制御部１４０から受信した描画データに基づいて、複数の背景画像を切り替えながら表示する。これにより、Ｓ２１２の処理において、画像取得部１１０は、複数の背景画像のいずれかと、ディスプレイ４０の表示面上に載置された商品Ｐと、が写る複数の画像を取得することができる。そして、Ｓ２１４の処理において、画像収集部１５０は、このように取得された複数の画像を、商品識別エンジンの学習用画像として所定の記憶装置（例えば、ストレージデバイス１０４０など）に記憶させる。

以上、本実施形態によれば、商品識別エンジンの学習用画像を収集するモードにおいて、商品Ｐを載置するディスプレイ４０の表示面に複数の背景画像が切り替え表示される。これにより、第１実施形態の場合と比較して、多様な学習用画像を容易に収集することが可能となる。

［第３実施形態］
本実施形態は、以下の点を除き、上述の各実施形態と同様の構成を有する。

〔システム構成例〕
図６は、第３実施形態の店舗システム１の構成例を示す図である。本実施形態において、店舗装置１０は、ディスプレイ４０の表示面上に載置された商品Ｐの位置を取得する位置情報取得部１６０を更に備える。位置情報取得部１６０は、例えば、様々な物体検出アルゴリズムを用いて、画像取得部１１０により取得された画像の中から、ディスプレイ４０の表示面に載置された物体（商品Ｐ）の位置を検出することができる。そして、本実施形態の表示制御部１４０は、商品登録モードにおいて商品の位置に応じて表示する情報を、位置情報取得部１６０により取得された商品Ｐの位置に基づいて、ディスプレイ４０の表示面に更に表示させる。

図７に、表示制御部１４０が表示させる情報の一例を示す。図７は、第３実施形態の表示制御部１４０によりディスプレイ４０に表示される情報の一例を示す図である。図７の例では、商品登録モードにおいて商品の位置に応じて表示する情報は、ディスプレイ４０上に載置された商品Ｐの輪郭に沿って表示される枠状の表示要素ｆである。なお、表示制御部１４０は、「撮像装置３０により生成された画像での座標」を「ディスプレイ４０の表示面（商品Ｐの載置面）での座標」に変換する変換ルールを予め保持している。そして、表示制御部１４０は、画像内の商品の位置（座標）を当該変換ルールに基づきディスプレイ４０の表示面の座標に変換し、例えば変換した位置を囲むように枠状の表示要素ｆを表示させることができる。また、表示制御部１４０は、例えば、商品の識別結果に応じて表示させるＧＵＩ（例えば、商品を購入商品として登録するボタンや商品のキャンセルボタンなど）を、商品Ｐの位置に応じて更に表示してもよい。

以上、本実施形態では、ディスプレイ４０の表示面に表示された画像とディスプレイ４０の表示面上に載置された商品Ｐとが写る学習用画像を収集する際、商品登録モードにおいて商品識別エンジンの識別結果に応じて表示される情報が更に表示される。これにより、商品登録モード時に商品の識別結果に応じて表示される情報の領域を、識別器が商品の一部分として誤って認識しないように学習するための画像を生成することができる。

［第４実施形態］
本実施形態は、以下の点を除き、上述の各実施形態と同様である。

〔システム構成例〕
図８は、第４実施形態の店舗システム１の構成例を示す図である。なお、図８の例では、第３実施形態の構成をベースとしている。本実施形態では、店舗装置１０は、学習部１７０を更に備える。学習部１７０は、画像収集部１５０により収集された学習用画像を用いて、商品識別エンジン（識別器）の学習を行う。

〔ハードウエア構成例〕
本実施形態の店舗システム１は、第１実施形態と同様のハードウエア構成（例：図２）を有する。本実施形態のストレージデバイス１０４０は、上述の学習部１７０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の学習部１７０の機能が実現される。

〔処理の流れ〕
図９を用いて、本実施形態の店舗システム１により実行される処理の流れを説明する。図９は、第４実施形態の店舗システム１により実行される学習処理の流れを例示するフローチャートである。

学習部１７０は、図４のＳ２１４の処理で所定の記憶装置に記憶（収集）された、学習用画像を読み出す（Ｓ３０２）。学習部１７０は、例えば、店舗システム１を利用するユーザの選択入力に従って或いはランダムに、所定の記憶装置に記憶された学習用画像の全てまたは一部を読み出すことができる。そして、学習部１７０は、読み出した学習用画像を用いて、商品識別エンジンの学習を行う。

学習部１７０は、例えば次のようにして、商品識別エンジンの学習を行うことができる。学習部１７０は、画像収集部１５０により収集された学習用画像から、ディスプレイ４０の表示面上に載置された商品の領域を示す商品領域画像を抽出する（Ｓ３０４）。例えば、学習用画像が、図７に例示されるように、商品の存在位置を示す情報（例：枠状の表示要素ｆ）を含んでいるとする。この場合、学習部１７０は、商品の存在位置を示す情報（例：枠状の表示要素ｆ）を学習用画像の中から検出する。そして、学習部１７０は、商品の存在位置を示す情報（例：枠状の表示要素ｆ）の検出位置に基づいて、商品領域画像を抽出することができる。具体的には、学習部１７０は、商品の存在位置を示す情報（例：枠状の表示要素ｆ）の内側の領域を切り出して、商品領域画像を生成することができる。また、商品の存在位置を示す情報（例：枠状の表示要素ｆ）が学習用画像に含まれていない場合、学習部１７０は、ユーザに商品の領域を指定させてもよい。この場合、学習部１７０は、キーボードやタッチパネルなどを介して、ユーザの指定入力を受け付けることができる。そして、学習部１７０は、指定された領域を商品領域画像として抽出することができる。なお、学習部１７０は、学習用画像に商品特定情報が対応付けられていない場合、商品特定情報の入力を更に受け付けてもよい。

そして、学習部１７０は、学習用画像から抽出された商品領域画像と、当該学習用画像に対応付けられた商品特定情報と、に基づいて、商品特定情報によって特定される商品の識別用パラメータを生成または更新する（Ｓ３０６）。学習部１７０は、商品特定情報によって特定される商品の識別用パラメータが商品識別エンジンに存在しない場合、抽出した商品領域画像を用いて、その商品の識別用パラメータを生成する。また、商品特定情報によって特定される商品の識別用パラメータが商品識別エンジンに存在する場合は、学習部１７０は、商品領域画像を用いて、その商品の識別用パラメータを更新する。

このように、本実施形態の店舗システム１によれば、上述の各実施形態で生成された学習用画像を用いて、商品識別エンジン（識別器）を容易に構築することができる。

［第５実施形態］
本実施形態は、以下の点を除き、第４実施形態と同様である。

〔システム構成例〕
図１０は、第５実施形態の店舗システム１の構成例を示す図である。本実施形態において、画像収集部１５０は、抽出部１５２および画像生成部１５４を更に備える。抽出部１５２は、撮像装置３０により生成された撮影画像から、商品の領域を示す部分画像（以下、「商品領域画像」と表記）を抽出する。なお、抽出部１５２の動作の具体例については、後述する。画像生成部１５４は、抽出部１５２により抽出された商品領域画像を所定のベース画像に合成することにより学習用画像を生成し、所定の記憶装置に記憶させる。ここで、ベース画像は任意の画像である。例えば、ベース画像は、単色無地の画像、幾何学的パターンや文字などを含む画像、および、自然画像などである。ベース画像は、ここで例示したような画像を任意に組み合わせた画像であってもよい。ここで例示したようなベース画像は、ストレージデバイス１０４０に予め記憶されている。なお、複数種類のベース画像がストレージデバイス１０４０に記憶されていてもよい。また、所定の記憶装置は、例えば、ハードディスクドライブのような不揮発性の記憶装置であってもよいし、ＲＡＭ（Random Access Memory）のような揮発性の記憶装置であってもよい。

〔ハードウエア構成例〕
本実施形態の店舗システム１は、第１実施形態と同様のハードウエア構成（例：図２）を有する。本実施形態のストレージデバイス１０４０は、上述の抽出部１５２およびが画像生成部１５４の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の抽出部１５２および画像生成部１５４の機能が実現される。

〔処理の流れ〕
図１１を用いて、本実施形態の店舗システム１により実行される処理の流れを説明する。図１１は、第５実施形態の店舗システム１の処理の流れを例示するシーケンス図である。

本実施形態のＳ３０２からＳ３１２までの処理の流れは、図４のＳ２０２からＳ２１２までの処理と同様である。

抽出部１５２は、撮像装置３０により生成された撮影画像から、商品の領域を示す商品領域画像を抽出する（Ｓ３１４）。以下、図を用いて、撮影画像から商品領域画像を抽出する具体的な手法をいくつか例示する。

＜第１の手法＞
図１２は、撮影画像から商品領域画像を抽出する第１の手法の例示する図である。図１２の手法では、表示制御部１４０は、それぞれ互いに内容の異なる複数の背景画像として、それぞれ互いに色の異なる無地の画像をディスプレイ４０に表示させる。図１２では、それぞれ、赤（図中斜線部）、白（図中無地部）、青（図中縦線部）を地色とする３枚の背景画像（１ａ〜１ｃ）を用いる例が示されている。これらの画像は、例えば、ストレージデバイス１０４０に記憶されている。なお、図１２はあくまで例示であり、背景画像の色の組み合わせや色の数は図１２の例に制限されない。この場合、画像収集部１５０は、赤色の背景画像（１ａ）および商品Ｐが写っている撮影画像（２ａ）と、白色の背景画像（１ｂ）および商品Ｐが写っている撮影画像（２ｂ）と、青色の背景画像（１ｃ）および商品Ｐが写っている撮影画像（２ｃ）を取得することができる。ここで、商品Ｐはディスプレイ４０の表示面上に載置されている。そのため３枚の撮影画像（２ａ〜２ｃ）を比べた場合、商品Ｐの載置されている領域については、ディスプレイ４０の表示面のよりも色の変化が明らかに小さくなる。すなわち、複数の撮影画像をそれぞれ比較した場合、商品Ｐが載置されている領域の輝度の変化量は、それ以外の領域（すなわち、ディスプレイ４０の表示面）の輝度の変化量よりも明らかに小さくなる。よって、抽出部１５２は、複数の撮影画像間での輝度の変化量を利用して、商品領域画像を抽出することができる。具体的には、抽出部１５２は、まず、３枚の撮影画像（２ａ〜２ｃ）それぞれの各ピクセルについて輝度の分散値を算出する。次に、抽出部１５２は、所定の閾値を用いて、３枚の撮影画像（２ａ〜２ｃ）間で輝度の分散値が当該閾値を超えているピクセルの集合領域（背景領域）と、輝度の変化量が当該閾値未満のピクセルの集合領域（前景領域、すなわち、商品の領域）と、をそれぞれ特定する。この所定の閾値は、例えば、抽出部１５２のプログラムモジュール内で定義されている。次に、抽出部１５２は、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ１を生成する。そして、抽出部１５２は、生成したマスク画像Ｍ１を用いて、撮影画像から商品Ｐの領域を示す商品領域画像Ｐ１を抽出する。抽出部１５２は、生成したマスク画像Ｍ１および抽出した商品Ｐの商品領域画像Ｐ１を、その商品Ｐを識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス１０４０や他の記憶装置などに記憶する。

＜第２の手法＞
図１３は、撮影画像から商品領域画像を抽出する第２の手法を例示する図である。図１３の手法では、表示制御部１４０は、所定の背景画像として、既知の背景画像（１ｄ）をディスプレイ４０に表示させる。既知の背景画像（１ｄ）は、例えば、ストレージデバイス１０４０に記憶されている。既知の背景画像（１ｄ）を表示させたディスプレイ４０上に商品Ｐを載置した後で撮像装置３０が撮影を行うことにより、画像収集部１５０は、図示するような撮影画像（２ｄ）を取得することができる。ここで、商品Ｐはディスプレイ４０の表示面上に載置されている。そのため、撮影画像（２ｄ）において、既知の背景画像（１ｄ）の一部領域は商品Ｐで隠されることになる。つまり、抽出部１５２は、撮影画像（２ｄ）のうち、既知の背景画像（１ｄ）と異なるピクセルの集合領域を、商品の領域として特定することができる。また、抽出部１５２は、撮影画像（２ｄ）のうち、既知の背景画像（１ｄ）と等しいピクセルの集合領域を背景領域として特定することができる。そして、抽出部１５２は、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ２を生成する。そして、抽出部１５２は、生成したマスク画像Ｍ２を用いて、撮影画像から商品Ｐの領域を示す商品領域画像Ｐ２を抽出する。抽出部１５２は、生成したマスク画像Ｍ２および抽出した商品Ｐの商品領域画像Ｐ２を、その商品Ｐを識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス１０４０や他の記憶装置などに記憶する。

第２の手法は、第１の手法と異なり、既知の画像の模様のズレなどを活用し、商品Ｐの領域を特定している。そのため、ディスプレイ４０上に載置された商品が透明な物体（例えば、ペットボトル飲料など）であっても、商品Ｐの領域を精度よく特定することができる。なお、第２の手法において、抽出部１５２は、複数の既知の画像を利用してもよい。この場合、抽出部１５２は、複数の既知の画像それぞれについて異なるピクセルの集合領域を特定した結果に基づいて、商品Ｐの領域を特定することができる。

＜第３の手法＞
図１４は、撮影画像から商品領域画像を抽出する第３の手法の例示する図である。図１４の手法では、表示制御部１４０は、所定の背景画像として、既知の背景画像（１ｅ）をディスプレイ４０に表示させる。なお、第３の手法は、既知の背景画像として無地の画像を用いている点で、第２の手法とは異なる。既知の背景画像（１ｅ）は、例えば、ストレージデバイス１０４０に記憶されている。既知の背景画像（１ｅ）を表示させたディスプレイ４０上に商品Ｐを載置した後で撮像装置３０が撮影を行うことにより、画像収集部１５０は、図示するような撮影画像（２ｅ）を取得することができる。ここで、商品Ｐはディスプレイ４０の表示面上に載置されている。そのため、撮影画像（２ｅ）において、既知の背景画像（１ｅ）の一部領域は商品Ｐで隠されることになる。更に、既知の背景画像（１ｅ）が無地であることから、抽出部１５２は、撮影画像（２ｅ）のうち、既知の背景画像（１ｅ）と色の異なるピクセルの集合領域を、商品の領域として特定することができる。また、抽出部１５２は、撮影画像（２ｅ）のうち、既知の背景画像（１ｅ）と同色のピクセルの集合領域を背景領域として特定することができる。そして、抽出部１５２は、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ３を生成する。そして、抽出部１５２は、生成したマスク画像Ｍ３を用いて、撮影画像から商品Ｐの領域を示す商品領域画像Ｐ３を抽出する。抽出部１５２は、生成したマスク画像Ｍ３および抽出した商品Ｐの商品領域画像Ｐ３を、その商品Ｐを識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス１０４０や他の記憶装置などに記憶する。

第３の手法は、背景画像の色に基づいて、商品Ｐの領域を抽出している。そのため、第３の手法は、輝度の分散値を利用する第１の手法とは異なり、半透明な商品にも対応可能である。

なお、第３の手法において、既知の背景画像はそれぞれ色の異なる複数の画像であってもよい（例：図１５）。図１５は、第３の手法の他の例を示す図である。図１５では、それぞれ、赤色（図中斜線部Ｒ）、白色（図中無地部Ｗ）、青色（図中縦線部Ｂ）を有する既知の３枚の背景画像（１ｆ）が例示されている。なお、本図の例において、商品Ｐのパッケージの色が赤色であり、かつ、商品Ｐには白色のラベルＬが貼り付けられているとする。この場合、抽出部１５２は、図１４で説明した流れと同様にして、赤、白、青のそれぞれについて、マスク画像（色別マスク画像ＭＲ、ＭＷ、ＭＢ）を生成することができる。なお、色別マスク画像ＭＲは、赤色の領域をマスクする画像である。また、色別マスク画像ＭＷは、白色の領域をマスクする画像である。また、色別マスク画像ＭＢは、青色の領域をマスクする画像である。図示されるように、色別マスク画像ＭＲは、商品のパッケージ部分（白色のラベルＬの領域を除く赤色の領域）をマスク領域に含んでしまっている。また、色別マスク画像ＭＷは、商品に貼り付けられた白色のラベルＬの領域をマスク領域に含んでしまっている。このような場合において、抽出部１５２は、例えばこれらの色別マスク画像ＭＲ、ＭＷ、ＭＢのマスク領域の論理積から、最終的なマスク画像Ｍ３’を生成することができる。そして、抽出部１５２は、生成したマスク画像Ｍ３’を用いて、撮影画像から商品Ｐの領域を示す商品領域画像を抽出することができる。このようにすることで、例えば、商品の少なくとも一部の色が背景画像の色と偶然同じであった場合であっても、商品の領域を正確に抽出するマスク画像を生成することができる。

＜第４の手法＞
図１６は、撮影画像から商品領域画像を抽出する第４の手法を例示する図である。図１６の手法では、表示制御部１４０は、所定の背景画像として、動画（１ｇ）をディスプレイ４０に表示させる。なお、図１６では、２つの図形（円と三角形）が時間と共に移動する動画（１ｇ）が例示されている。なお、表示制御部１４０は、図１６の例に限らず、任意の動画を表示させることができる。この場合、画像収集部１５０は、例えば、図中の符号２ｇで示すような、複数の撮影画像を取得することができる。ここで、商品Ｐはディスプレイ４０の表示面上に載置されている。そのため、撮影画像（２ｇ）において、動画（１ｇ）の中で移動する図形の少なくとも一部が、商品Ｐにより隠されることがある（例：２ｇ（２））。つまり、複数の撮影画像において、商品Ｐが載置されている領域は、背景の動画部分と比較して動きが小さくなる。よって、抽出部１５２は、複数の撮影画像において、動きの少ないピクセルの集合領域（継続して止まっている物体の領域）を、商品の領域として特定することができる。具体的には、抽出部１５２は、オプティカルフローや背景差分などを用いて、商品の領域を特定することができる。また、抽出部１５２は、一定以上の動きのあるピクセルの集合領域を背景領域として特定することができる。そして、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ４を生成する。そして、抽出部１５２は、生成したマスク画像Ｍ４を用いて、撮影画像から商品Ｐの領域を示す商品領域画像Ｐ４を抽出する。抽出部１５２は、生成したマスク画像Ｍ４および抽出した商品Ｐの商品領域画像Ｐ４を、その商品Ｐを識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス１０４０や他の記憶装置などに記憶する。

なお、上述の各手法おいて、複数の物体が同時にディスプレイ４０上に載置された場合、抽出部１５２は、次のようにして、個々の物体毎にマスク画像と当該物体の商品領域画像を記憶装置に記憶することができる。具体的には、抽出部１５２は、まず、得られたマスク画像を連結成分分析などによって個々の領域に分割し、物体毎のマスク画像を生成する。そして、抽出部１５２は、物体毎のマスク画像と、マスク画像によって抽出される物体の商品領域画像とを、その物体を識別する情報と対応付けて記憶装置に記憶する。

また、抽出部１５２は、商品領域画像の代わりに、画像取得部１１０により取得された撮影画像を記憶装置に記憶してもよい。この場合でも、記憶装置に記憶された撮影画像とマスク画像とを利用することにより、対象の商品の商品領域画像を必要に応じて生成することができる。

図１１に戻り、画像生成部１５４は、Ｓ３１４の処理で抽出された商品領域画像を所定のベース画像に合成して、学習用画像を生成する（Ｓ３１６）。なお、画像生成部１５４は、Ｓ３１４の処理で抽出された商品領域画像のほか、過去の処理で抽出された他の商品の商品領域画像を使って、学習用画像を生成してもよい。過去の処理で抽出された他の物体の商品領域画像は、例えば、ストレージデバイス１０４０に蓄積されている。この場合、画像生成部１５４は、ユーザの選択入力または予め設定されたルールに従って、ストレージデバイス１０４０から読み出す商品領域画像を選択することができる。また、画像生成部１５４は、ベース画像に合成する商品領域画像の種類や個数をランダムに選択してもよい。

図１７を用いて、画像生成部１５４の動作を具体的に説明する。図１７は、画像生成部１５４の動作を具体的に例示する図である。図１７の例では、２つの物体（商品Ａおよび商品Ｂ）の撮影画像２_Ａおよび２_Ｂから、それぞれ、商品Ａの商品領域画像Ｐ_Ａおよび商品Ｂの商品領域画像Ｐ_Ｂが生成された場合を想定している。この場合、画像生成部１５４は、商品Ａの商品領域画像Ｐ_Ａおよび商品Ｂの商品領域画像Ｐ_Ｂを所定のベース画像に合成して、例えば、符号３で示すような学習用画像を生成することができる。図示されるように、画像生成部１５４は、商品Ａの商品領域画像Ｐ_Ａおよび商品Ｂの商品領域画像Ｐ_Ｂを加工（回転、移動など）することができる。また、画像生成部１５４は、商品Ａの商品領域画像Ｐ_Ａおよび商品Ｂの商品領域画像Ｐ_Ｂの配置数を決定することができる。画像生成部１５４は、ユーザの指定入力や所定のルールに従って、あるいは、全くのランダムに、加工の仕方や配置数を決定することができる。また、画像生成部１５４は、学習用画像の生成時にベース画像に合成した商品領域画像のリストを生成する。このリストは、例えば、ベース画像内での位置座標と、商品の名称や識別番号といった商品を個別に識別可能な情報（または、単に商品であることを示す情報）とを、ベース画像に合成した商品領域画像毎に記憶している。つまり、このリストは、学習用画像において、どの商品がどの位置に存在するかを示す情報として利用できる。

画像生成部１５４は、上述のように生成した第３画像およびリストを、メモリ１０３０やストレージデバイス１０４０といった、所定の記憶装置に記憶する（Ｓ３１８）。このように、本実施形態の画像生成部１５４は、商品領域画像を用いて、様々なシチュエーションに則した画像を無数に作成することができる。そして、学習部１７０は、学習用画像およびリストを入力として、識別器の学習を行うことができる。

以上、本実施形態の店舗システム１では、ディスプレイ４０に載置された商品Ｐを撮影する際、ディスプレイ４０の表示面に背景画像を表示することによって、商品Ｐと背景画像とを含む撮影画像が生成される。そして、背景画像を表示するディスプレイ４０上に商品Ｐを載置していることで撮影画像に生じる特性に基づいて、撮影画像からその商品Ｐの領域を示す商品領域画像が抽出される。そして、抽出された商品領域画像を所定のベース画像に合成することにより、学習用画像が生成される。

本実施形態の店舗システム１によれば、抽出された商品領域画像を用いて、商品識別エンジン（識別器）の学習用画像として、無数のパターンの画像を容易に生成することが可能となる。つまり、本実施形態の店舗システム１によれば、識別器の最適化するための画像の生成効率が向上するため、商品認識に利用される識別器を構築する際の手間を低減させることができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

例えば、本発明は、購入商品の登録から代金の支払いまでの操作を店員用の装置で行う一般的な方式のみならず、所謂セミセルフ方式やセルフ方式にも適用できる。セミセルフ方式では、商品登録用のレジ装置と代金支払い用の精算装置が別々に設けられている。そして、この商品登録用のレジ装置に、上述の店舗装置１０の機能を持たせることができる。また、セルフ方式では、購入商品の登録から代金の支払いまでを顧客が操作する装置で行う。そして、この顧客が操作する装置に、上述の店舗装置１０の機能を持たせることができる。

また、上述の説明で用いた複数のシーケンス図やフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイの表示面上に載置された商品が写る画像を撮像装置から取得する画像取得手段と、
顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替えるモード切替手段と、
前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録する商品登録手段と、
前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させる表示制御手段と、
前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる画像収集手段と、
を備える店舗装置。
２．
前記表示制御手段は、前記画像収集モードのとき、前記ディスプレイの表示面に、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像収集手段は、前記複数の背景画像のいずれかと前記ディスプレイに載置された商品とが写る複数の画像を、前記学習用画像として所定の記憶装置に記憶させる、
１．に記載の店舗装置。
３．
前記表示制御手段は、前記複数の背景画像として、それぞれ互いに色の異なる無地の画像を表示させる、
２．に記載の店舗装置。
４．
前記ディスプレイの表示面上に載置された商品の位置を取得する位置取得手段を更に備え、
前記表示制御手段は、前記商品登録モードにおいて商品の存在位置に応じて表示する情報を、前記位置取得手段により取得された商品の位置に基づいて更に表示させる、
１．から３．のいずれか１つに記載の店舗装置。
５．
前記画像収集手段により収集された学習用画像を用いて、前記識別器の学習を行う学習手段を更に備える、
１．から４．のいずれか１つに記載の店舗装置。
６．
前記学習手段は、
前記学習用画像から、前記ディスプレイ上に載置された商品の領域を示す商品領域画像を抽出し、
抽出した前記商品領域画像を用いて前記識別器の学習を行う、
５．に記載の店舗装置。
７．
前記学習手段は、
前記学習用画像の中から、前記ディスプレイ上に載置された商品の存在位置を示す情報を検出し、
前記学習用画像における前記情報の検出位置に基づいて、前記商品領域画像を抽出する、
６．に記載の店舗装置。
８．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイの表示面上に載置された商品が写る画像を生成する撮像装置と、
前記撮像装置により生成された画像を取得する画像取得手段と、
顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替えるモード切替手段と、
前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録する商品登録手段と、
前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させる表示制御手段と、
前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる画像収集手段と、
を備える店舗システム。
９．
前記表示制御手段は、前記画像収集モードのとき、前記ディスプレイの表示面に、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記画像収集手段は、前記複数の背景画像のいずれかと前記ディスプレイに載置された商品とが写る複数の画像を、前記学習用画像として所定の記憶装置に記憶させる、
８．に記載の店舗システム。
１０．
前記表示制御手段は、前記複数の背景画像として、それぞれ互いに色の異なる無地の画像を表示させる、
９．に記載の店舗システム。
１１．
前記ディスプレイの表示面上に載置された商品の位置を取得する位置取得手段を更に備え、
前記表示制御手段は、前記商品登録モードにおいて商品の存在位置に応じて表示する情報を、前記位置取得手段により取得された商品の位置に基づいて更に表示させる、
８．から１０．のいずれか１つに記載の店舗システム。
１２．
前記画像収集手段により収集された学習用画像を用いて、前記識別器の学習を行う学習手段を更に備える、
８．から１１．のいずれか１つに記載の店舗システム。
１３．
前記学習手段は、
前記学習用画像から、前記ディスプレイ上に載置された商品の領域を示す商品領域画像を抽出し、
抽出した前記商品領域画像を用いて前記識別器の学習を行う、
１２．に記載の店舗システム。
１４．
前記学習手段は、
前記学習用画像の中から、前記ディスプレイ上に載置された商品の存在位置を示す情報を検出し、
前記学習用画像における前記情報の検出位置に基づいて、前記商品領域画像を抽出する、
１３．に記載の店舗システム。
１５．
コンピュータが、
ディスプレイの表示面上に載置された商品が写る画像を撮像装置から取得し、
顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替え、
前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録し、
前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させ、
前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる、
ことを含む画像取得方法。
１６．
前記コンピュータが、
前記画像収集モードのとき、前記ディスプレイの表示面に、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
前記複数の背景画像のいずれかと前記ディスプレイに載置された商品とが写る複数の画像を、前記学習用画像として所定の記憶装置に記憶させる、
ことを含む１５．に記載の画像取得方法。
１７．
前記コンピュータが、
前記複数の背景画像として、それぞれ互いに色の異なる無地の画像を表示させる、
ことを含む１６．に記載の画像取得方法。
１８．
前記コンピュータが、
前記ディスプレイの表示面上に載置された商品の位置を取得し、
前記商品登録モードにおいて商品の存在位置に応じて表示する情報を、前記取得された商品の位置に基づいて更に表示させる、
ことを含む１５．から１７．のいずれか１つに記載の画像取得方法。
１９．
前記コンピュータが、
前記収集された学習用画像を用いて、前記識別器の学習を行う、
ことを含む１５．から１８．のいずれか１つに記載の画像取得方法。
２０．
前記コンピュータが、
前記学習用画像から、前記ディスプレイ上に載置された商品の領域を示す商品領域画像を抽出し、
抽出した前記商品領域画像を用いて前記識別器の学習を行う、
ことを含む１９．に記載の画像取得方法。
２１．
前記コンピュータが、
前記学習用画像の中から、前記ディスプレイ上に載置された商品の存在位置を示す情報を検出し、
前記学習用画像における前記情報の検出位置に基づいて、前記商品領域画像を抽出する、
ことを含む２０．に記載の画像取得方法。
２２．
コンピュータに、１５．から２１．のいずれか１つに記載の画像取得方法を実行させるプログラム。

Claims (10)

1. ディスプレイの表示面上に載置された商品が写る画像を撮像装置から取得する画像取得手段と、
   顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替えるモード切替手段と、
   前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録する商品登録手段と、
   前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させる表示制御手段と、
   前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる画像収集手段と、
   を備える店舗装置。
2. 前記表示制御手段は、前記画像収集モードのとき、前記ディスプレイの表示面に、それぞれ内容の異なる複数の背景画像を切り替えて表示させ、
   前記画像収集手段は、前記複数の背景画像のいずれかと前記ディスプレイに載置された商品とが写る複数の画像を、前記学習用画像として所定の記憶装置に記憶させる、
   請求項１に記載の店舗装置。
3. 前記表示制御手段は、前記複数の背景画像として、それぞれ互いに色の異なる無地の画像を表示させる、
   請求項２に記載の店舗装置。
4. 前記ディスプレイの表示面上に載置された商品の位置を取得する位置取得手段を更に備え、
   前記表示制御手段は、前記商品登録モードにおいて商品の存在位置に応じて表示する情報を、前記位置取得手段により取得された商品の位置に基づいて更に表示させる、
   請求項１から３のいずれか１項に記載の店舗装置。
5. 前記画像収集手段により収集された学習用画像を用いて、前記識別器の学習を行う学習手段を更に備える、
   請求項１から４のいずれか１項に記載の店舗装置。
6. 前記学習手段は、
   前記学習用画像から、前記ディスプレイ上に載置された商品の領域を示す商品領域画像を抽出し、
   抽出した前記商品領域画像を用いて前記識別器の学習を行う、
   請求項５に記載の店舗装置。
7. 前記学習手段は、
   前記学習用画像の中から、前記ディスプレイ上に載置された商品の存在位置を示す情報を検出し、
   前記学習用画像における前記情報の検出位置に基づいて、前記商品領域画像を抽出する、
   請求項６に記載の店舗装置。
8. 表示面が商品の載置面として利用されるディスプレイと、
   前記ディスプレイの表示面上に載置された商品が写る画像を生成する撮像装置と、
   前記撮像装置により生成された画像を取得する画像取得手段と、
   顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替えるモード切替手段と、
   前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録する商品登録手段と、
   前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させる表示制御手段と、
   前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる画像収集手段と、
   を備える店舗システム。
9. コンピュータが、
   ディスプレイの表示面上に載置された商品が写る画像を撮像装置から取得し、
   顧客が購入する商品を登録する商品登録モードと、商品を識別するための識別器の学習用画像を収集する画像収集モードと、を切り替え、
   前記商品登録モードのとき、前記画像に基づいて前記識別器が識別した商品を購入対象の商品として登録し、
   前記画像収集モードのとき、前記ディスプレイの表示面に所定の背景画像を表示させ、
   前記背景画像と前記商品とが写る画像を前記学習用画像として所定の記憶装置に記憶させる、
   ことを含む画像取得方法。
10. コンピュータに、請求項９に記載の画像取得方法を実行させるプログラム。

Images