JPWO2019186973A1 - 画像識別レジ装置、画像識別レジシステム、情報提示方法、およびプログラム - Google Patents

Abstract

画像識別レジシステム（１）は、画像識別レジ装置（１０）、撮像装置（３０）、およびディスプレイ（４０）を含んで構成される。ディスプレイ（４０）は、商品の載置面としても利用される。撮像装置（３０）は、ディスプレイ（４０）上に載置された商品（Ｐ）を撮影してその商品（Ｐ）の画像を生成する。画像識別レジ装置（１０）は、商品識別部（１１０）および表示制御部（１２０）を備える。商品識別部（１１０）は、ディスプレイ（４０）上に載置された商品（Ｐ）の画像を用いて、商品（Ｐ）を識別する。表示制御部（１２０）識別された商品（Ｐ）に対して店員が行うべき作業を示す店員用表示情報をディスプレイ（４０）上に出力する。

Description

本発明は、店舗業務を支援する技術に関する。

下記特許文献１には、レジカウンター上に店員用の表示器と顧客用の表示器とを設け、顧客用の表示器に、登録された商品に関する情報やその他の広告情報を出力する技術が開示されている。

特開２００８−２１７４８８号公報

店舗は、より多くの顧客を獲得するために、質の高い接客サービスを提供して顧客満足度の向上に努める必要がある。ここで、レジカウンターでの接客サービスの質は、顧客満足度への影響度合いが特に高いと言える。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、レジカウンターでの接客サービスの質を向上させる技術を提供することである。

本発明の画像識別レジ装置は、
ディスプレイ上に載置された商品の画像を用いて、前記商品を識別する商品識別手段と、
識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する表示制御手段と、
を備える。

本発明の画像識別レジシステムは、
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する撮像装置と、
前記商品の画像を用いて、前記商品を識別する商品識別手段と、
識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する表示制御手段と、
を備える。

本発明の情報提示方法は、
コンピュータが、
ディスプレイ上に載置された商品の画像を用いて、前記商品を識別し、
識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する、
ことを含む。

本発明のプログラムは、コンピュータに上述の情報提示方法を実行させる。

本発明によれば、レジカウンターでの接客サービスの質を向上させることができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１実施形態における画像識別レジシステムの構成例を示す図である。 画像識別レジシステム１のハードウエア構成を例示するブロック図である。 第１実施形態の画像識別レジシステムにより実行される処理の流れを例示するシーケンス図である。 商品情報記憶部が記憶する情報の一例を示す図である。 画像識別レジ装置のメモリに記憶される購入商品リストの一例を示す図である。 店員用表示情報記憶部が記憶する情報の一例を示す図である。 第２実施形態の画像識別レジシステムにより実行される処理の流れを例示するシーケンス図である。 第３実施形態における画像識別レジシステムの構成例を示す図である。 店員用表示情報および顧客用表示情報を出力する向きの一例を示す図である。 第３実施形態の画像識別レジシステムにより実行される処理の流れを例示するフローチャートである。 店員用表示情報および顧客用表示情報の出力例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［第１実施形態］
〔システム構成〕
図１は、第１実施形態における画像識別レジシステム１の構成例を示す図である。なお、図１はあくまで例示であり、本発明に係る画像識別レジシステム１は図１に描かれる構成に限定されない。図１に示されるように、画像識別レジシステム１は、画像識別レジ装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。画像識別レジ装置１０は、図示しない配線等によって撮像装置３０、およびディスプレイ４０と接続されている。また、画像識別レジ装置１０には、会計処理を行うための会計処理用機器（図示せず）が接続されている。会計処理機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器などである。

ディスプレイ４０は、店舗の業務（例えば、商品の精算業務など）で利用する様々な画像をその表示面上に表示する。なお、ディスプレイ４０は、指やタッチペンなどを用いたタッチ操作による入力を受け付ける機能を有するタッチパネルディスプレイであってもよい。ディスプレイ４０の表示面は、図示されるように、商品Ｐを載置する載置面としても利用される。ここで、商品Ｐは、購入対象の商品である。

図１に示されるように、撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されている。撮像装置３０は、ディスプレイ４０の表示面上に載置された商品Ｐを撮影して、商品Ｐが写っている画像を生成する。撮像装置３０により生成された画像は、画像識別レジ装置１０に送信される。

図１に例示されるように、本実施形態の画像識別レジ装置１０は、商品識別部１１０および表示制御部１２０を備える。

商品識別部１１０は、ディスプレイ４０上に載置された商品Ｐの画像を撮像装置３０から取得する。また、商品識別部１１０は、ディスプレイ上に載置された商品Ｐの画像を用いて、商品Ｐを識別する。具体的には、表示制御部１２０は、ディスプレイ上に載置された商品Ｐの画像解析することにより、当該商品Ｐの識別結果および当該商品Ｐの位置の識別結果などを取得することができる。ここで、商品識別部１１０は、既知の物体認識技術（例えば、パターンマッチングや機械学習により構築された識別器など）を用いて、撮像装置３０により生成された画像に写っている商品およびその商品の位置を識別することができる。また、撮像装置３０により生成された画像に複数の商品が写っている場合であっても、商品識別部１１０は、既知の物体認識アルゴリズムを用いて、それらの商品をそれぞれ個別に識別することができる。そして、商品識別部１１０は、識別した商品に関する情報（商品情報）を、各商品の商品情報を記憶する商品情報記憶部１１２から取得する。そして、商品識別部１１０は、商品の識別結果に基づいて取得される商品情報を用いて、購入対象商品のリストを生成する。商品識別部１１０により生成される購入対象商品のリストは、画像識別レジ装置１０のメモリなどに記憶される。

表示制御部１２０は、商品識別部１１０による商品の識別結果に基づいて、店員向けの表示情報（以下、「店員用表示情報」と表記）をディスプレイ４０上に出力する。店員用表示情報は、商品識別部１１０により識別された単体の商品または複数の商品の組み合わせに応じて店員が行うべき作業を示す情報を含んでいる。

一例として、店員用表示情報は、電子レンジなどを使って商品の温めを行うか否かを顧客に確認するように促す指示を含む。表示制御部１２０は、例えばお弁当といった温めが必要な商品が商品識別部１１０により識別された場合に、このような店員用表示情報を店員用表示情報記憶部１２２から取得してディスプレイ４０上に出力する。他の一例として、店員用表示情報は、保冷剤の要否を顧客に確認するように促す指示を含む。表示制御部１２０は、例えばアイスなどの熱に弱いなど商品が商品識別部１１０により識別された場合に、このような店員用表示情報を店員用表示情報記憶部１２２から取得してディスプレイ４０上に出力する。また、他の一例として、店員用表示情報は、顧客が購入した商品を複数の袋に分けて入れるか否かを顧客に確認するように促す指示を含む。表示制御部１２０は、例えば、食品と共に非食品が商品識別部１１０により識別された場合、このような店員用表示情報を店員用表示情報記憶部１２２から取得してディスプレイ４０上に出力する。また、表示制御部１２０は、例えば、アイスなどの熱に弱い商品と共にホットドリンクなどの熱を持った商品が商品識別部１１０により識別された場合に、このような店員用表示情報を店員用表示情報記憶部１２２から取得してディスプレイ４０上に出力してもよい。なお、これらはあくまで一例であり、店員用表示情報はここで挙げた例に制限されない。

〔ハードウエア構成例〕
画像識別レジシステム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像識別レジシステム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図２は、画像識別レジシステム１のハードウエア構成を例示するブロック図である。

画像識別レジ装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像識別レジ装置１０の各機能（商品識別部１１０および表示制御部１２０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、画像識別レジ装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、画像識別レジ装置１０は、撮像装置３０およびディスプレイ４０と、入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される商品Ｐ）を撮像範囲に含むように設置される。撮像装置３０は、ディスプレイ４０上に載置された商品Ｐを撮影して、その商品Ｐが写る画像を生成する。ディスプレイ４０は、一般的な表示用のデバイスである。ディスプレイ４０は、タッチ機能付きのディスプレイ（タッチパネルディスプレイ）であってもよい。なお、ディスプレイ４０は、商品Ｐの載置面としても利用される。そのため、ディスプレイ４０の表示面としては、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイが利用される。また、入出力インタフェース１０５０には、図示しない会計処理用機器が接続されている。会計処理用機器は、例えば、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機、レシートプリンタ、キーボードやマウスなどの入力機器、スピーカーなどの出力機器を含む。また、会計処理用機器として、店員専用または顧客専用のディスプレイ（ディスプレイ４０とは異なるディスプレイ）が、入出力インタフェース１０５０を介して画像識別レジ装置１０と接続されていてもよい。

ネットワークインタフェース１０６０は、画像識別レジ装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

図２は、あくまで一例であり、画像識別レジシステム１のハードウエア構成は図２の例に制限されない。例えば、画像識別レジ装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。

〔処理の流れ〕
図３を用いて、本実施形態の画像識別レジシステム１により実行される処理の流れを説明する。図３は、第１実施形態の画像識別レジシステム１により実行される処理の流れを例示するシーケンス図である。

まず、商品識別部１１０は、撮像装置３０により生成された撮影画像を取得する（Ｓ１０２）。例えば、撮像装置３０は、イメージセンサのセンシング結果（撮影画像）を、商品識別部１１０に常時出力している。また、撮像装置３０は、商品識別部１１０の指示に応じて、画像を生成するように構成されていてもよい。そして、商品識別部１１０は、撮像装置３０から取得した撮影画像の中に商品が存在するか否かを判定する（Ｓ１０４）。例えば、商品識別部１１０は、取得された撮影画像（または撮影画像から抽出される特徴量）を商品識別エンジン（図示せず）に入力して得られる出力結果に基づいて、撮影画像の中に商品が存在するか否かを判定することができる。その他にも、商品識別部１１０は、エッジ特徴量などを用いて撮影画像の中から物体の領域を検出した後、テンプレートマッチングなどを行って当該物体が商品か否かを判定してもよい。

撮影画像の中に商品が存在しない場合（Ｓ１０４：ＮＯ）、商品識別部１１０は、撮像装置３０により生成される新たな撮影画像を取得し、その新たな撮影画像の中に商品が存在する否かを判定する。

一方、撮影画像の中に商品が存在する場合（Ｓ１０４：ＹＥＳ）、商品識別部１１０は、商品識別エンジンから、撮影画像内の商品の識別結果（例えば、商品ＩＤ（Identifier）や商品名など）と、当該商品の位置の識別結果を取得することができる。更に、商品識別部１１０は、商品の識別結果に基づいて、その商品の商品情報を取得することができる（Ｓ１０６）。商品識別部１１０は、例えば図４に示すような商品情報記憶部１１２から、識別した商品の商品情報を取得することができる。

図４は、商品情報記憶部１１２が記憶する情報の一例を示す図である。図４の例では、商品情報記憶部１１２は、商品ＩＤ、商品名、商品の価格、および商品のカテゴリ（分類）を含む商品情報を記憶している。なお、図４に例示される商品情報はあくまで一例である。商品情報は、例えば、商品に適用される特典に関する情報（値引きの額やロイヤリティプログラムのポイント数など）などを更に含んでいてもよい。具体的な例として、Ｓ１０６の処理で、商品識別エンジンを用いた商品の識別結果として、商品ＩＤ「０００１０１」および商品ＩＤ「１００００１」が取得できたとする。この場合、商品識別部１１０は、これらの商品ＩＤに基づいて、商品名「焼肉弁当」、価格「５００円」、カテゴリ「食品／弁当類」という商品情報と、商品名「食器用洗剤」、価格「２５０円」、カテゴリ「日用品」という商品情報と、を取得することができる。

そして、商品識別部１１０は、Ｓ１０６で取得した商品情報を、メモリ１０３０などに保持されている購入商品リストに追加する（Ｓ１０８）。メモリ１０３０には、例えば図５に例示されるような購入商品リストが記憶される。図５は、メモリ１０３０に記憶される購入商品リストの一例を示す図である。図５に例示されるように、購入商品リストは、商品の識別結果に基づいて取得された商品情報を含んでいる。

表示制御部１２０は、メモリ１０３０などに記憶されている購入商品リストに含まれている商品情報に基づいて、ディスプレイ４０上に出力すべき店員用表示情報を選択する（Ｓ１１０）。表示制御部１２０は、例えば、図６に例示されるような店員用表示情報記憶部１２２から、店員用表示情報を取得することができる。

図６は、店員用表示情報記憶部１２２が記憶する情報の一例を示す図である。図６の例では、店員用表示情報記憶部１２２は、各種店員用表示情報と対応付けて、その店員用表示情報の選択条件に関する情報を記憶している。図６において、選択条件は、「温めが必要」、「熱に弱い」、「食品と非食品」といった、商品の属性に基づいて設定されている。つまり、図６の例において、各々の店員用表示情報は、商品の属性に関連付けて記憶されていると言える。

図６に例示されている店員用表示情報Ａは、商品の温めの要否を顧客に確認するように促す指示に関する情報である。この店員用表示情報Ａの選択条件は「温めが必要な商品が購入商品リストに含まれている」である。なお、表示制御部１２０は、「温めが必要な商品が購入商品リストに含まれているか否か」について、例えば、Ｓ１０６の処理で取得された商品情報に含まれる、商品のカテゴリに関する情報に基づいて判断できる。例えば、図５に示される購入商品リストがメモリ１０３０に記憶されている場合、表示制御部１２０は、商品名「焼肉弁当」のカテゴリ「食品／弁当類」に基づいて、当該商品を温めが必要な商品と判断することができる。この場合、表示制御部１２０は、店員用表示情報Ａを店員用表示情報記憶部１２２から取得する。

また、図６に例示されている店員用表示情報Ｂは、保冷剤の要否を顧客に確認するように促す指示に関する情報である。この店員用表示情報Ｂの選択条件は「熱に弱い商品が購入商品リストに含まれている」である。表示制御部１２０は、店員用表示情報Ａの場合と同様に、店員用表示情報Ｂの選択要否を、商品のカテゴリに関する情報に基づいて判断できる。例えば、図５に示される購入商品リストがメモリ１０３０に記憶されている場合、表示制御部１２０は、選択条件が満たされないため、店員用表示情報Ｂは不要と判断できる。

また、図６に例示されている店員用表示情報Ｃは、食品と非食品で袋を分けるかを顧客に確認するように促す指示に関する情報である。この店員用表示情報Ｃの選択条件は「食品および非食品が購入商品リストに含まれている」である。なお、表示制御部１２０は、「食品および非食品が購入商品リストに含まれているか否か」について、例えば、Ｓ１０６の処理で取得された商品情報に含まれる、商品のカテゴリに関する情報に基づいて判断できる。例えば、図５に示される購入商品リストがメモリ１０３０に記憶されている場合、表示制御部１２０は、商品名「焼肉弁当」のカテゴリ「食品／弁当類」と、商品名「食器用洗剤」のカテゴリ「日用品」に基づいて、食品および非食品が購入リストに含まれていると判断することができる。この場合、表示制御部１２０は、店員用表示情報Ｃを店員用表示情報記憶部１２２から取得する。

ディスプレイ４０上に出力すべき店員用表示情報を選択する流れは、上述の例に限定されない。例えば、店員用表示情報記憶部１２２は、各店員用表示情報と商品ＩＤとを互いに関連付けて記憶していてもよい。この場合、表示制御部１２０は、購入商品リストに含まれる個々の商品ＩＤ、および、個々の商品ＩＤの組み合わせに基づいて、ディスプレイ４０上に出力すべき店員用表示情報を特定することができる。

図３に戻り、表示制御部１２０は、選択した店員用表示情報の出力指示をディスプレイ４０に送信する（Ｓ１１２）。ディスプレイ４０は、Ｓ１１２の出力指示に応じて、店員用表示情報を出力する（Ｓ１１４）。

店員は、このようにディスプレイ４０上に出力される店員用表示情報を確認することにより、自身が行うべき作業を容易に把握することができる。そして、店員が、ディスプレイ４０上の情報に従って作業を適切に行うことにより、店員の作業漏れを防止して、質の高い接客サービスを顧客に提供することができる。

［第２実施形態］
図１にされるような画像識別レジシステム１において、顧客もディスプレイ４０を視認可能な位置に立つ。本実施形態の画像識別レジシステム１は、顧客に有用な表示情報（以下、「顧客用表示情報」と表記）をディスプレイ４０上に表示させる構成を更に備える。

〔システム構成〕
本実施形態の画像識別レジシステム１は、第１実施形態と同様の構成（例：図１）を有する。本実施形態において、表示制御部１２０は、商品識別部１１０による商品の識別結果に基づいて、顧客用表示情報をディスプレイ４０上に更に出力する。

ここで、顧客用表示情報は、レジ業務の状況を示す情報を含む。具体的には、顧客用表示情報は、商品識別部１１０による商品の識別結果（例えば、商品名、商品の数、商品の価格、商品の数、商品に適用される特典に関する情報など）を含む。また、顧客用表示情報は、顧客の購買意欲を促進する情報を含む。具体的には、顧客用表示情報は、商品識別部１１０により識別された商品の関連商品の広告などを含む。

〔処理の流れ〕
図７を用いて本実施形態の画像識別レジシステム１により実行される処理の流れを説明する。図７は、第２実施形態の画像識別レジシステム１により実行される処理の流れを例示するシーケンス図である。

Ｓ２０２からＳ２１０までの処理は、図３のＳ１０２からＳ１１０までの処理と同様である。本実施形態の表示制御部１２０は、図３のＳ１０２からＳ１１０までの処理と同様の処理に加えて、次の処理を実行する。すなわち、表示制御部１２０は、商品識別部１１０による商品の識別結果に基づいて、顧客用表示情報を生成する（Ｓ２１２）。一例として、表示制御部１２０は、商品識別部１１０による商品の識別結果を用いて、購入対象の商品として識別された商品のリストおよびそれら商品の合計金額を含む顧客用表示情報を生成する。他の一例として、表示制御部１２０は、商品識別部１１０による商品の識別結果を用いて、その商品に関連する商品の広告情報を含む顧客用表示情報を生成する。なお、商品の広告情報は、例えば、ストレージデバイス１０４０などに、各商品の識別情報と関連付けて記憶されている。

そして、表示制御部１２０は、Ｓ２１０の処理で選択された店員用表示情報およびＳ２１２で生成された顧客用表示情報の出力指示をディスプレイ４０に送信する（Ｓ２１４）。ディスプレイ４０は、Ｓ２１４の出力指示に応じて、店員用表示情報および顧客用表示情報を出力する（Ｓ２１６）。

本実施形態では、商品識別部１１０の識別結果に基づく顧客用表示情報がディスプレイ４０上に更に出力される。一例として、レジ業務の状況（例えば、購入対象として識別された商品など）を示す顧客用表示情報が、ディスプレイ４０上に表示される。このような顧客用表示情報によって顧客はレジ業務の状況を把握できる。そのため、店員のレジ業務に誤りがあっても即座に気づくことができるという点で、顧客に安心感を与えることができる。他の一例として、顧客の購買意欲を促進する情報（例えば、関連商品の広告情報）を含む顧客用表示情報が、ディスプレイ４０上に表示される。このような顧客用表示情報を介して顧客に対してお薦め商品などをアピールすることにより、店舗の売上を増加させる効果が期待できる。

［第３実施形態］
図１にされるような画像識別レジシステム１では、店員と顧客はそれぞれ異なる位置に立った状態でレジ業務が進むと想定される。例えば、店員と顧客が、ディスプレイ４０が設けられたカウンターを介して対面した状態で、レジ業務が進むと想定される。この場合において、視認性の観点から、店員用表示情報および顧客用表示情報を適切な向きでディスプレイ４０上に出力すべきである。

〔システム構成例〕
図８は、第３実施形態における画像識別レジシステム１の構成例を示す図である。本実施形態において、画像識別レジ装置１０は、店員位置取得部１３０および顧客位置取得部１４０を更に有する。

店員位置取得部１３０は、店員の位置を示す情報（以下、「店員位置情報」と表示）を取得する。一例として、店員位置取得部１３０は、撮像装置３０または図示しない他の撮像装置により生成された画像を解析し、店員位置情報を取得することができる。具体的には、店員位置取得部１３０は、まず、既知の物体認識アルゴリズムを用いて、画像の中から人物と認識される領域（人物領域）を検出する。そして、店員位置取得部１３０は、検出された人物領域の中から、予め登録された店員の特徴（店員の顔の特徴または店舗の制服の特徴など）にマッチする領域を特定する。そして、店員位置取得部１３０は、特定された領域に対応する位置の情報を店員位置情報として取得することができる。なおこの場合において、店員の特徴は、ストレージデバイス１０４０などに予め登録されている。或いは、画像識別レジシステム１において、店員の作業場所が予め定められている場合、店員位置取得部１３０は、その作業場所の内部または近傍に存在する人物領域に対応する位置の情報を、店員位置情報として取得してもよい。他の一例として、店員位置取得部１３０は、図示しないセンサ（例えば、赤外線センサ）などを用いて、店員位置情報を取得することができる。なおこの場合において、店員位置情報を取得するためのセンサは、店員がいると想定される位置をセンシング範囲に含むように設けられる。例えば、店員位置情報を取得するためのセンサは、ディスプレイ４０が設けられたカウンターの縁部のうち、店員の作業場所側の縁部に設置される。

顧客位置取得部１４０は、顧客の位置を示す情報（以下、「顧客位置情報」と表示）を取得する。一例として、顧客位置取得部１４０は、撮像装置３０または図示しない他の撮像装置により生成された画像を解析し、顧客位置情報を取得することができる。具体的には、顧客位置取得部１４０は、店員位置取得部１３０と同様に、まず、既知の物体認識アルゴリズムを用いて、画像の中から人物と認識される領域（人物領域）を検出する。そして、顧客位置取得部１４０は、検出された人物領域の中から、予め登録された店員の特徴（店員の顔の特徴または店舗の制服の特徴など）にマッチしない領域を特定する。そして、顧客位置取得部１４０は、特定された領域に対応する位置の情報を顧客位置情報として取得することができる。或いは、画像識別レジシステム１において、顧客の待機場所が予め定められている場合、顧客位置取得部１４０は、その待機場所の内部または近傍に存在する人物領域に対応する位置の情報を、顧客位置情報として取得してもよい。他の一例として、顧客位置取得部１４０は、図示しないセンサ（例えば、赤外線センサ）などを用いて、顧客位置情報を取得することができる。なおこの場合において、顧客位置情報を取得するためのセンサは、顧客がいると想定される位置をセンシング範囲に含むように設けられる。例えば、顧客位置情報を取得するためのセンサは、ディスプレイ４０が設けられたカウンターの縁部のうち、顧客の待機場所側の縁部に設置される。

本実施形態の表示制御部１２０は、店員位置情報によって示される店員の位置に基づいて、店員用表示情報を出力する向きを決定する。また、本実施形態の表示制御部１２０は、顧客位置情報によって示される顧客の位置に基づいて、顧客用表示情報を出力する向きを決定する。例えば、店員用表示情報および顧客用表示情報を出力する向きは、ディスプレイ４０が設けられたカウンターの周囲の領域毎に決められている（例：図９）。図９は、店員用表示情報および顧客用表示情報を出力する向きの一例を示す図である。図９の例では、ディスプレイ４０が設けられたカウンターの周囲に４つ領域（領域Ａ〜Ｄ）が設定されている。領域Ａに対応する向きは、図面で上に向かう方向ｄ_Ａである。また、領域Ｂに対応する向きは、図面で右に向かう方向ｄ_Ｂである。また、領域Ｃに対応する向きは、図面で下に向かう方向ｄ_Ｃである。また、領域Ｄに対応する向きは、図面で左に向かう方向ｄ_Ｄである。このような情報の出力方向を特定する情報は、例えば、ストレージデバイス１０４０に記憶されている。表示制御部１２０は、店員位置情報が示す位置に基づいて、店員が存在する領域を識別することができる。そして、表示制御部１２０は、店員が存在する領域として識別した領域に対応する方向を、店員用表示情報を出力する方向として決定することができる。同様に、表示制御部１２０は、顧客位置情報が示す位置に基づいて、顧客が存在する領域を識別することができる。そして、表示制御部１２０は、顧客が存在する領域として識別した領域に対応する方向を、顧客用表示情報を出力する方向として決定することができる。

〔ハードウエア構成例〕
本実施形態の画像識別レジシステム１は、第１実施形態と同様のハードウエア構成（例：図２）を有する。本実施形態のストレージデバイス１０４０は、上述の店員位置取得部１３０および顧客位置取得部１４０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の店員位置取得部１３０および顧客位置取得部１４０の機能が実現される。

〔処理の流れ〕
図１０を用いて本実施形態の画像識別レジシステム１により実行される処理の流れを説明する。図１０は、第３実施形態の画像識別レジシステム１により実行される処理の流れを例示するフローチャートである。

店員位置取得部１３０および顧客位置取得部１４０は、それぞれ、店員位置情報および顧客位置情報を取得する（Ｓ３０２）。表示制御部１２０は、店員位置情報が示す位置に基づいて、店員用表示情報の出力位置および向きを決定する（Ｓ３０４）。また、表示制御部１２０は、顧客位置情報が示す位置に基づいて、顧客用表示情報の出力位置および向きを決定する（Ｓ３０６）。そして、表示制御部１２０は、これらの処理の結果に基づいて、店員用表示情報および顧客用表示情報の出力指示を生成し、当該出力指示をディスプレイ４０に送信する。そして、店員用表示情報および顧客用表示情報が、それぞれ決定され向きでディスプレイ４０上に出力される（例：図１１）。図１１は、店員用表示情報および顧客用表示情報の出力例を示す図である。図１１の例では、店員用表示情報が図中ｄ_Ａで示す向きで出力され、かつ、顧客用表示情報が図中ｄ_Ｃの向きで出力されている様子が描かれている。

以上、本実施形態によれば、ディスプレイ４０が設けられたカウンターに対する店員および顧客の位置に応じて、店員用表示情報および顧客用表示情報をそれぞれ適切な向きでディスプレイ４０上に出力することができる。これにより、店員用表示情報および顧客用表示情報の視認性が低下することを防止できる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

例えば、本発明は、店員用のディスプレイと顧客用のディスプレイがそれぞれ備えられた、従来のレジ端末にも適用可能である。この場合、表示制御部１２０は、店員用表示情報および顧客用表示情報を、それぞれ、店員用のディスプレイおよび顧客用のディスプレイに出力すればよい。なお、店員用のディスプレイおよび顧客用のディスプレイがそれぞれ備えられている従来のレジに本発明を適用する場合には、表示制御部１２０は、上述の１枚のディスプレイ４０が利用される場合と異なり、それぞれの情報の出力向きを特定する必要はない。

また、上述の説明で用いたシーケンス図およびフローチャートでは、複数の工程（処理）が順番に記載されているが、複数の工程（処理）の実行順序はその記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイ上に載置された商品の画像を用いて、前記商品を識別する商品識別手段と、
識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する表示制御手段と、
を備える画像識別レジ装置。
２．
前記店員の位置を示す店員位置情報を取得する店員位置取得手段を更に備え、
前記表示制御手段は、
前記店員位置情報によって示される位置に基づいて前記店員用表示情報を出力する向きを決定する、
１．に記載の画像識別レジ装置。
３．
前記表示制御手段は、前記商品の識別結果に基づく顧客用表示情報を前記ディスプレイ上に更に出力する、
１．または２．に記載の画像識別レジ装置。
４．
顧客の位置を示す顧客位置情報を取得する顧客位置取得手段を更に備え、
前記表示制御手段は、
前記顧客位置情報によって示される位置に基づいて前記顧客用表示情報を出力する向きを決定する、
３．に記載の画像識別レジ装置。
５．
表示面が商品の載置面として利用されるディスプレイと、
前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する撮像装置と、
前記商品の画像を用いて、前記商品を識別する商品識別手段と、
識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する表示制御手段と、
を備える画像識別レジシステム。
６．
前記店員の位置を示す店員位置情報を取得する店員位置取得手段を更に備え、
前記表示制御手段は、
前記店員位置情報によって示される位置に基づいて前記店員用表示情報を出力する向きを決定する、
５．に記載の画像識別レジシステム。
７．
前記表示制御手段は、前記商品の識別結果に基づく顧客用表示情報を前記ディスプレイ上に更に出力する、
５．または６．に記載の画像識別レジシステム。
８．
顧客の位置を示す顧客位置情報を取得する顧客位置取得手段を更に備え、
前記表示制御手段は、
前記顧客位置情報によって示される位置に基づいて前記顧客用表示情報を出力する向きを決定する、
７．に記載の画像識別レジシステム。
９．
コンピュータが、
ディスプレイ上に載置された商品の画像を用いて、前記商品を識別し、
識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する、
ことを含む情報提示方法。
１０．
前記コンピュータが、
前記店員の位置を示す店員位置情報を取得し、
前記店員位置情報によって示される位置に基づいて前記店員用表示情報を出力する向きを決定する、
ことを含む９．に記載の情報提示方法。
１１．
前記コンピュータが、
前記商品の識別結果に基づく顧客用表示情報を前記ディスプレイ上に更に出力する、
ことを含む９．または１０．に記載の情報提示方法。
１２．
前記コンピュータが、
顧客の位置を示す顧客位置情報を取得し、
前記顧客位置情報によって示される位置に基づいて前記顧客用表示情報を出力する向きを決定する、
ことを含む１１．に記載の情報提示方法。
１３．
コンピュータに、９．から１２のいずれか１つに記載の情報提示方法を実行させるプログラム。

Claims (7)

1. ディスプレイ上に載置された商品の画像を用いて、前記商品を識別する商品識別手段と、
   識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する表示制御手段と、
   を備える画像識別レジ装置。
2. 前記店員の位置を示す店員位置情報を取得する店員位置取得手段を更に備え、
   前記表示制御手段は、
   前記店員位置情報によって示される位置に基づいて前記店員用表示情報を出力する向きを決定する、
   請求項１に記載の画像識別レジ装置。
3. 前記表示制御手段は、前記商品の識別結果に基づく顧客用表示情報を前記ディスプレイ上に更に出力する、
   請求項１または２に記載の画像識別レジ装置。
4. 顧客の位置を示す顧客位置情報を取得する顧客位置取得手段を更に備え、
   前記表示制御手段は、
   前記顧客位置情報によって示される位置に基づいて前記顧客用表示情報を出力する向きを決定する、
   請求項３に記載の画像識別レジ装置。
5. 表示面が商品の載置面として利用されるディスプレイと、
   前記ディスプレイ上に載置された商品を撮影し、前記商品の画像を生成する撮像装置と、
   前記商品の画像を用いて、前記商品を識別する商品識別手段と、
   識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する表示制御手段と、
   を備える画像識別レジシステム。
6. コンピュータが、
   ディスプレイ上に載置された商品の画像を用いて、前記商品を識別し、
   識別された前記商品に対して店員が行うべき作業を示す店員用表示情報を前記ディスプレイ上に出力する、
   ことを含む情報提示方法。
7. コンピュータに、請求項６に記載の情報提示方法を実行させるプログラム。

Images