JP7060230B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、商品登録作業を効率化する技術に関する。

コンビニエンスストア、スーパー、その他の店舗等で、金銭登録機（例：ＰＯＳ（Point Of Sale）レジスター）が広く利用されている。会計時における金銭登録機への対象商品の登録作業は、商品各々に付された商品コードを所定のリーダで読み取ったり、金銭登録機が備える操作対象（操作ボタン、タッチパネルディスプレイ装置等）を操作したりすることでなされていた。当該登録作業を効率化できる技術が求められている。関連技術が、特許文献１乃至３に開示されている。

特許文献１には、第１撮像手段と、認識手段と、決定手段とを有する情報処理装置が開示されている。第１撮像手段は、対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する。認識手段は、第１撮像手段による複数の撮像方向の各々で撮像された第１撮像画像の各々から、第１撮像画像に含まれた対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を第１撮像画像毎に認識する。決定手段は、第１撮像画像毎での対象画像の認識結果に基づいて、載置台に載置された対象物の認識結果を決定する。当該発明において、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特許文献２には、表示部と、枠線表示手段と、修正受付手段と、枠線修正手段と、商品認識手段と、出力手段とを有する商品読み取り装置が開示されている。表示部は、撮像手段で撮像された画像を表示する。枠線表示手段は、表示部に表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる。修正受付手段は、枠線の修正指示を受付ける。枠線修正手段は、修正指示に従い、画面上の枠線を修正する。商品認識手段は、枠線内の画像に含まれる商品を認識する。出力手段は、商品認識手段により認識された商品の情報を出力する。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特許文献３には、商品を搬送するベルトコンベア、動作を開始するスタートボタン、作業を指示するディスプレイ装置、商品の高さを計測する高さ計測装置、商品を撮像する撮像装置、高さ計測装置及び撮像装置が商品を検出すると計数する第１のカウンタ、焦点距離等を可変し通過する商品からバーコードを読取ってデコードするバーコードスキャナ、登録処理済みの商品数を計数する第２のカウンタ、撮像装置からの画像を処理して商品の位置、大きさ等を判定し、スキャナの商品データに基づいて登録処理を行い、かつ終了ボタンの操作後、第１、第２のカウンタの計数値が一致したとき登録完了を判断するＰＯＳ端末を含む装置が開示されている。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特開２０１３－５４６７３号公報 特開２０１３－１７５８９０号公報 特開平７－３２０１４６号公報

特許文献１乃至３に開示のように、画像認識技術を利用して商品登録を行うことにより、登録作業の効率化が期待される。

しかし、本発明者らは、画像認識技術を利用して商品登録を行う技術において、以下のような課題を新たに見出した。当該技術を利用して登録作業を行う場合、作業者は、登録作業の間、主に商品を載置される載置台の方を向いていると考えられる。作業者が行う作業としては、例えば、載置台上に複数の商品が互いに重ならないように（各商品を撮像するため）並べる作業や、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する作業等が考えられる。

このような状況下において、各種情報が金銭登録機に備えられたディスプレイ装置のみを介して出力される場合、作業者は、登録作業の間、載置台及びディスプレイ装置を繰り返し交互に視認しなければならなくなる。結果、登録作業の効率が悪くなる可能性がある。

本発明は、商品登録作業を効率化する技術を提供する。

本発明によれば、
画像のデータを取得する画像データ取得手段と、
前記画像のデータに基づいて、商品を認識する商品認識手段と、
前記商品認識手段により認識された前記商品を、精算対象として登録する登録手段と、
前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力手段と、
を有し、
１つの前記画像内に複数の前記商品が含まれる場合、前記商品認識手段は複数の前記商品を認識し、前記登録手段は認識された複数の前記商品を精算対象として登録し、
前記出力手段は、前記登録手段により登録された前記商品の数を示す像、又は、前記商品認識手段により認識された前記商品の数を示す像を投影する情報処理装置が提供される。

また、本発明によれば、
コンピュータが、
画像のデータを取得する画像データ取得工程と、
前記画像のデータに基づいて、商品を認識する商品認識工程と、
前記商品認識工程で認識された前記商品を、精算対象として登録する登録工程と、
前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力工程と、
を実行し、
１つの前記画像内に複数の前記商品が含まれる場合、前記商品認識工程では複数の前記商品を認識し、前記登録工程では認識された複数の前記商品を精算対象として登録し、
前記出力工程では、前記登録工程で登録された前記商品の数を示す像、又は、前記商品認識工程で認識された前記商品の数を示す像を投影する情報処理方法が提供される。

また、本発明によれば、
コンピュータを、
画像のデータを取得する画像データ取得手段、
前記画像のデータに基づいて、商品を認識する商品認識手段、
前記商品認識手段により認識された前記商品を、精算対象として登録する登録手段、
前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力手段、
として機能させ、
１つの前記画像内に複数の前記商品が含まれる場合、前記商品認識手段は複数の前記商品を認識し、前記登録手段は認識された複数の前記商品を精算対象として登録し、
前記出力手段は、前記登録手段により登録された前記商品の数を示す像、又は、前記商品認識手段により認識された前記商品の数を示す像を投影するプログラムが提供される。

本発明によれば、商品登録作業を効率化できる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の装置のハードウエア構成の一例を概念的に示す図である。 本実施形態の会計装置の適用例を説明するための図である。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の特徴量記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の商品情報記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の投影部により投影される像の一例を説明するための図である。 本実施形態の投影部により投影される像の一例を説明するための図である。 本実施形態の投影部により投影される像の一例を説明するための図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の投影部により投影される像の一例を説明するための図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の投影部により投影される像の一例を説明するための図である。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の投影部により投影される像の一例を説明するための図である。 本実施形態の会計装置によりディスプレイ装置に表示される情報の一例を模式的に示す図である。

まず、本実施形態（第１乃至第５の実施形態）の会計装置（情報処理装置）のハードウエア構成の一例について説明する。会計装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

図１は、本実施形態の会計装置のハードウエア構成を例示する図である。当該ハードウエア構成は、レジ端末用途に設計された専用装置を用いて実現されてもよいし、ＰＣ（Personal Computer）や携帯端末などの汎用装置を用いて実現されてもよい。

計算機２００は、バス２０２、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２を有する。バス２０２は、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ２０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ２０８は、ハードディスク、ＳＳＤ（Solid State Drive）、又はメモリカードなどの記憶装置である。また、ストレージ２０８は、ＲＡＭやＲＯＭなどのメモリであってもよい。

入出力インタフェース２１０は、計算機２００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース２１０には、タッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８、プリンタ２２０、撮像装置２３０及びプロジェクタ２４０などが接続される。タッチパネルディスプレイ装置２１４は、例えば商品の金額を手動で入力するために利用される。また、タッチパネルディスプレイ装置２１４は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア２１６は硬貨や紙幣を格納する。釣り銭機２１８は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。プリンタ２２０はレシート等の発行を行う。撮像装置２３０は静止画像及び／又は動画像を撮影する。プロジェクタ２４０は所定の像を投影する。なお計算機２００には、キーボードなど、タッチパネルディスプレイ装置２１４以外の入力インタフェースが接続されていてもよい。

ネットワークインタフェース２１２は、計算機２００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース２１２は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば会計装置を実現する計算機２００は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。

ストレージ２０８は会計装置の各機能（各機能部）を実現するプログラムモジュールを記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ２０４は、上記各モジュールを実行する際、これらのモジュールをメモリ２０６上に読み出してから実行してもよいし、メモリ２０６上に読み出さずに実行してもよい。

会計装置のハードウエア構成は図１に示した構成に限定されない。例えば、各プログラムモジュールはメモリ２０６に格納されてもよい。この場合、計算機２００は、ストレージ２０８を備えていなくてもよい。また計算機２００は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機２００はネットワークインタフェース２１２を有さなくてもよい。また会計装置が代金の支払いの処理に利用されない場合、会計装置はドロア２１６、釣り銭機２１８、及びプリンタ２２０を有さなくてもよい。また、会計装置は撮像装置２３０が撮影した画像を取得できればよく、撮像装置２３０自体を有さなくてもよい。この場合、会計装置は撮像装置２３０と通信可能に構成され、撮像装置２３０から画像データを取得する。

以下、本実施形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。

＜第１の実施形態＞
まず、本実施形態の会計装置の概要について説明する。本実施形態の会計装置は、画像認識技術を用いて、商品登録を行うことができる。すなわち、会計装置は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを解析し、画像に写る１つ又は複数の商品を認識する。当該認識においては、各商品の外観の特徴を用いる。そして、会計装置は、認識した１つ又は複数の商品を、精算対象の商品として登録する。

また、会計装置は、載置台の載置面上及び／又は商品上に、所定の像を投影することができる。投影される像は、会計処理に関する情報を含み、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。なお、会計処理に関する情報の具体例は、以下の実施形態で示す。

このような本実施形態の会計装置の場合、登録作業を行う作業者は、載置台上の商品に対する所定の作業（例：載置台上に複数の商品が互いに重ならないように並べる作業、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する作業）を行いながら、載置台の載置面上や商品上に投影された会計処理に関する像を視認することができる。結果、載置台及びディスプレイ装置を繰り返し交互に視認するような場合に比べて、登録作業の効率が向上する。また、会計装置から出力された情報の見落としを軽減できる。

次に、図２を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置１、処理装置４及び投影装置７を有する。会計装置は、さらに、撮像装置３を有してもよい。なお、図において、登録装置１及び処理装置４を分けて記載しているが、これらの装置は、物理的及び／又は論理的に一体になって構成されてもよい。また、撮像装置３、処理装置４及び投影装置７を分けて記載しているが、これらの装置の少なくとも一部は、物理的及び／又は論理的に一体になって構成されてもよい。

図１のハードウエア構成は、登録装置１及び処理装置４が論理的に一体となって構成される例を示す。登録装置１及び処理装置４が図１に示す計算機２００を備える。そして、登録装置１が図１に示すタッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８及びプリンタ２２０を備える。そして、投影装置７が図１に示すプロジェクタ２４０を備える。そして、撮像装置３が図１に示す撮像装置２３０に対応する。

撮像装置３及び投影装置７は、処理装置４と繋がり、通信可能になっている。また、登録装置１は処理装置４と繋がり、通信可能になっている。通信規格は設計的事項である。有線及び無線いずれで通信を行ってもよい。

撮像装置３は、動画像及び／又は静止画像を撮像する機能を有する。撮像装置３は、動画像のデータを継続的に撮像してもよい。その他、撮像装置３は、間欠的（周期的も含む）に静止画像を撮像してもよい。この場合、撮像装置３は、予め定められた所定のタイミング（例：作業者からの指示があったタイミング）で撮像を行うことができる。

撮像装置３は、例えば、載置台２の載置面を含んで撮像するよう、所定位置に設置される。設置位置は設計的事項である。例えば、撮像装置３は、載置台２の載置面の真上や斜め上方に設置され、当該方向から載置面を撮像してもよい。その他、撮像装置３は、載置台２の載置面上に設置され、横方向から載置面を撮像してもよい。その他、載置台２を透明の部材で構成し、載置台２の下方に撮像装置３を設置してもよい。この場合、撮像装置３は、載置台２の下側から、載置面を撮像する。

次に、投影装置７は、載置台２の載置面上及び／又は商品６上に、会計処理に関する像を投影する。投影装置７は、このような投影が実現可能な所定位置に設置される。設置位置は設計的事項である。例えば、投影装置７は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置７は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台２を透明の部材、及び／又は、透過性を有する半透明の部材を含んで構成し、載置台２の下方に投影装置７を設置してもよい。この場合、投影装置７は、載置台２の下側から、載置台２の載置面上に像を投影する。

処理装置４は、撮像装置３から画像データを取得する。そして、処理装置４は、画像解析を行い、画像に含まれる商品６を認識する。当該認識においては、各商品６の外観の特徴を用いる。その後、処理装置４は、認識結果を登録装置１に送信する。

また、処理装置４は、投影装置７を制御する。すなわち、処理装置４は、投影する像や投影する位置を示す制御情報を投影装置７に送信する。投影装置７は、当該制御情報に従い、所定の像を載置台２の載置面上や商品６上に投影する。

登録装置１は、精算対象の商品６を登録する機能を有する。登録装置１は、登録内容に関する情報（例：登録された商品６の商品情報等）を処理装置４に送信する機能を有してもよい。

図示する登録装置１は、ディスプレイ装置１０１、ディスプレイ装置１０２、コードリーダ１０３、操作ボタン１０４及びドロア１０５を有する。

ディスプレイ装置１０１は、載置台２よりも手前側（商品登録の作業者側）に向いており、主に、登録作業を行う作業者が視認する。ディスプレイ装置１０１には、会計処理に関する情報や、警告等が表示される。ディスプレイ装置１０１は、タッチパネルディスプレイ装置であってもよい。

ディスプレイ装置１０２は、載置台２よりも向こう側（顧客側）に向いており、主に、買い物客が視認する。ディスプレイ装置１０２には、会計処理に関する情報や、広告等が表示される。ディスプレイ装置１０２は、タッチパネルディスプレイ装置であってもよい。

コードリーダ１０３は、各商品６に付された商品コード（１次元コード、２次元コード等）を読み取る。複数の操作ボタン１０４の各々は、各種商品、数字、各種機能（例：小計等）に対応しており、各々の入力に用いられる。なお、上述の通り、本実施形態では、画像認識技術を用いて、商品登録を行うことができる。このため、コードリーダ１０３や操作ボタン１０４は、補助的に用いられる。ドロア１０５には、お金や金券等が収納される。

なお、登録装置１は、少なくとも精算対象の商品６を登録する機能を備えておればよく、図示する機能の少なくとも一部を備えなくてもよい。

また、図示する登録装置１は、店員に操作されることを前提にした構成となっているが、買い物客に操作されることを前提とした構成となってもよい。

次に、本実施形態の会計装置の構成を詳細に説明する。図３に、本実施形態の会計装置１０の機能ブロック図の一例を示す。図３に示すように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４、投影部１５とを有する。なお、会計装置１０は、特徴量記憶部１４を有さなくてもよい。この場合、会計装置１０と論理的に分かれた他の装置が、特徴量記憶部１４を備える。そして、会計装置１０は、当該他の装置と通信し、特徴量記憶部１４に記憶された情報を取得可能に構成される。

上述の通り、会計装置１０は、図２に示す登録装置１、処理装置４及び投影装置７を有する。画像データ取得部１１は、処理装置４により実現される。画像解析部１２は、処理装置４により実現される。登録部１３は、登録装置１により実現される。特徴量記憶部１４は、処理装置４により実現されてもよい。投影部１５は、処理装置４及び投影装置７により実現される。

画像データ取得部１１は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを取得する。画像データ取得部１１は、図２を用いて説明した撮像装置３が撮像した画像データをリアルタイムに取得する。

画像解析部１２は、画像データ取得部１１が取得した画像のデータを用いて、画像に写る１つ又は複数の商品を認識する（認識処理）。画像解析部１２は、フレーム毎に認識処理を行い、各フレーム内で１つ又は複数の商品を認識することができる。

画像解析部１２は、当該認識処理において、複数の商品各々の外観の特徴量が予め登録されている特徴量記憶部１４を用いる。図４に、特徴量記憶部１４が記憶する情報の一例を模式的に示す。図示する例では、複数の商品各々を識別するための商品ＩＤ（identifier）と、複数の商品各々の外観の特徴量とが対応付けられている。特徴量は、形状、色、色の分布等を例示できるが、これらに限定されない。特徴量記憶部１４には、各商品に対応して、複数の方向各々から観察した際の複数の外観各々の特徴量が記憶されてもよい。

特徴量記憶部１４及び画像データを用いた画像解析部１２による商品認識のアルゴリズムは設計的事項であり、あらゆる技術を採用できる。例えば、特許文献１乃至３に開示されている技術を採用してもよい。

図３に戻り、登録部１３は、画像解析部１２により認識された１つ又は複数の商品を、精算対象の商品として登録する。例えば、登録部１３は、複数の商品各々の商品情報が予め登録されている商品情報記憶部（不図示）を用いて、商品登録を行ってもよい。

図５に、商品情報記憶部に記憶される商品情報の一例を模式的に示す。図示する商品情報では、商品ＩＤと、各商品の名称と、価格とが互いに対応付けられている。なお、商品情報は、これらの一部を有さなくてもよいし、他の情報を有してもよい。

会計装置１０が、このような商品情報記憶部を備えてもよい。その他、会計装置１０と論理的に分かれた他の装置が、商品情報記憶部を備えてもよい。後者の場合、会計装置１０は、当該他の装置と通信し、商品情報記憶部に記憶された商品情報を取得可能に構成される。

登録部１３は、画像解析部１２により認識された１つ又は複数の商品の商品情報（例：名称、価格等）を、商品情報記憶部から取得する。そして、登録部１３は、取得した商品情報を登録する。登録された商品の商品情報は、登録画面に表示される。登録画面は、ディスプレイ装置１０１やディスプレイ装置１０２（図２参照）に表示される。図１５に、登録画面２０の一例を模式的に示す。図示する例の場合、商品明細の欄に、登録された商品の商品情報が一覧表示される。図示する例の場合、「バナナ」が登録されている。

「登録された商品」は、例えば、登録画面２０に表示された商品を意味する。「登録された商品」は、さらに、未だ登録画面２０に表示されていないが、画像解析部１２により認識され、商品情報記憶部に基づき商品情報を検索されている商品を含んでもよい。当該前提は、以下の実施形態においても同様である。

図３に戻り、投影部１５は、載置面上及び／又は商品上に、会計処理に関する像を投影する。投影される像は、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。像は、会計処理時に作業者に通知されるあらゆる情報を含むことができる。

次に、図２の適用例を用いて、本実施形態の会計装置１０を用いた登録作業の処理の流れの一例を説明する。

まず、買い物客は、店内を回り、購入対象の商品６を買物カゴ５に入れていく。その後、会計処理のため、図示する会計装置１０の場所に移動する。

登録作業を行う店員は、図示するように、買物カゴ５に入っていた商品６を、載置台２の載置面上の所定位置に載置する。これにより、撮像装置３が撮像する撮像画像内に、商品６が写るようになる。

処理装置４（画像データ取得部１１）は、撮像装置３から画像のデータを取得する。その後、処理装置４（画像解析部１２）は、当該画像のデータを解析し、画像に写る商品６を認識する。そして、認識結果を、登録装置１に送信する。登録装置１（登録部１３）は、認識結果を受信すると、認識された商品６を精算対象の商品６として登録する。

また、処理装置４及び投影装置７（投影部１５）は、このような登録作業の間、載置台２の載置面上や、商品６上に、会計処理に関する所定の像（情報）を投影する。

店員は、商品６に対する所定の作業（例：載置台２上に複数の商品６が互いに重ならないように並べる作業、商品６の特徴的な部分が撮像されるように各商品６の載置の仕方（向き等）を調整する作業）を行いながら、載置台２の載置面上や商品６上に投影された会計処理に関する像を視認する。そして、店員は、当該像に基づき、必要に応じて所定の作業を行う。

購入対象の商品６すべての登録作業が完了すると、店員は、登録装置１を操作するなどして、精算処理や支払処理等を行う。

例えば、店員は、操作ボタン１０４に対して所定の操作（例：「小計」ボタンの押下）を行い、登録作業を完了させる。そして、店員は、ディスプレイ装置１０１に表示されている購入金額合計を確認し、買い物客に伝える。その後、店員は、買い物客から支払金等を受けとる。

次いで、店員は、操作ボタン１０４に対して所定の操作を行い、受け取った支払金を入力などする。すると、ディスプレイ装置１０１に釣銭金額が表示され、ドロア１０５が開く。店員は、ドロア１０５に支払金を収納するとともに、ドロア１０５から釣銭を取り出す。そして、店員は、取り出した釣銭を買い物客に渡す。

なお、上記精算処理や支払処理等の流れはあくまで一例であり、登録装置１の構成に応じて流れは異なる。

以上説明した本実施形態の会計装置１０は、画像認識技術を用いて、商品登録を行うことができる。すなわち、会計装置１０は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを解析し、画像に写る１つ又は複数の商品を認識する。そして、会計装置１０は、認識した１つ又は複数の商品を、精算対象の商品として登録する。

このような本実施形態の会計装置１０によれば、複数の商品を一度に登録することが可能となる。また、商品各々に付された商品コードを所定のリーダで読み取ったり、金銭登録機が備える操作対象（操作ボタン、タッチパネルディスプレイ装置等）を操作したりすることで各商品の登録を行う場合に比べて、登録作業者の作業量を減らすことができる。結果、商品の登録作業の効率が向上する。

また、本実施形態の会計装置１０は、載置台の載置面上及び／又は商品上に、所定の像を投影することができる。投影される像は、会計処理に関する情報を含み、文字、数字、記号、図形等のあらゆる形態で構成される。

このような本実施形態の会計装置１０の場合、登録作業を行う作業者は、載置台上の商品に対する所定の作業（例：載置台上に複数の商品が互いに重ならないように並べる、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する）を行いながら、載置台の載置面上や商品上に投影された会計処理に関する像を視認することができる。このため、載置台及びディスプレイ装置を繰り返し交互に視認するというような面倒な作業を行う必要がない。結果、商品の登録作業の効率が向上する。また、会計装置１０から出力された情報の見落としを軽減できる。

＜第２の実施形態＞
本実施形態の会計装置１０は、登録部１３による登録、又は、画像解析部１２による認識に関する像（情報）を、載置台の載置面上及び／又は商品上に投影することができる。以下、詳細に説明する。

本実施形態の会計装置１０の機能ブロック図の一例は、第１の実施形態同様、図３で示される。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、投影部１５とを有する。

なお、第１の実施形態同様、会計装置１０は、特徴量記憶部１４を有さなくてもよい。この場合の前提は、第１の実施形態と同様である。また、会計装置１０は、第１の実施形態同様、商品情報記憶部を有してもよいし、有さなくてもよい。有さない場合の前提は、第１の実施形態と同様である。

画像データ取得部１１、特徴量記憶部１４、及び、商品情報記憶部の構成は、第１の実施形態と同様である。

登録部１３は、登録内容に関する情報を、投影部１５に送信する。登録部１３のその他の構成は、第１の実施形態と同様である。以下、登録部１３から投影部１５に送信される登録内容に関する情報の例を説明する。

第１の実施形態で説明したように、登録部１３は、画像解析部１２より認識結果（認識した１つ又は複数の商品を示す情報）を取得すると、商品情報記憶部から当該商品の商品情報（図５参照）を取得し、精算対象として登録する。登録部１３は、当該登録が完了すると、登録した商品を示す情報（例：商品ＩＤ）を、上記登録内容に関する情報として、投影部１５に送信してもよい。この時、登録部１３は、当該商品の商品情報（商品名称、価格等）をさらに投影部１５に送信してもよい。

その他、登録部１３は、登録した商品の数を示す情報を、登録内容に関する情報として、投影部１５に送信してもよい。

その他、登録部１３は、同じ商品が２個以上登録された場合、その旨を示す情報を、登録内容に関する情報として、投影部１５に送信してもよい。なお、ここで送信される情報には、２個以上登録されている商品の商品ＩＤが含まれる。

図３に戻り、画像解析部１２は、認識した商品各々の位置情報を取得する。例えば、画像解析部１２は、認識した商品各々の画像内の座標を取得する。そして、画像解析部１２は、当該位置情報を投影部１５に送信する。例えば、画像解析部１２は、認識した商品各々の商品ＩＤに、認識した商品各々の位置情報を対応付けて、投影部１５に送信する。また、画像解析部１２は、商品が載置されていない位置の位置情報（画像内の座標）を、投影部１５に送信してもよい。画像解析部１２のその他の構成は、第１の実施形態と同様である。

投影部１５は、登録部１３による登録、又は、画像解析部１２による認識に関する像を投影する。投影部１５は、登録部１３から受信した登録内容に関する情報や、画像解析部１２から受信した認識された商品各々の位置情報等を利用して、当該像の投影を実現する。投影部１５のその他の構成は、第１の実施形態と同様である。

投影部１５は、例えば、登録部１３により登録された商品を特定するための像を投影する。図６に、このような像の一例を示す。

図６では、登録された商品６各々に対応して、丸マークの像７－１が投影されている。当該像７－１は、載置台２の載置面上や商品６上に、各商品６に対応して投影される。なお、像７－１は、登録された商品６各々を作業者が特定できるものであればよく、図示する丸マークに限定されない。

投影部１５は、画像解析部１２から受信した「認識された商品各々の位置情報」を用いて、上述のような像７－１を投影する位置を決定する。

例えば、投影部１５は、予め、画像内の座標を投影エリア内の座標に変換するための変換ルール（例：行列等で構成された変換式等）を保持しておく。そして、投影部１５は、当該変換ルールに基づき、「認識された商品各々の画像内の座標」を、投影エリア内の座標に変換する。そして、投影部１５は、変換された投影エリア内の座標に基づき、像７－１を投影する位置を決定する。例えば、投影部１５は、変換された投影エリア内の座標そのものを、像７－１を投影する位置としてもよい。その他、投影部１５は、変換された投影エリア内の座標と所定の関係にある位置（例：右方向に所定の短い距離離れた位置）を、像７－１を投影する位置としてもよい。

その他、投影部１５は、登録部１３により登録された商品各々に対応して、商品情報（商品名称、価格等）を示す像を投影してもよい（不図示）。例えば、載置面上の各商品の周囲に、このような像を投影してもよい。

その他、投影部１５は、画像解析部１２から受信した認識された商品各々の位置情報を利用して、画像解析部１２により認識された商品を特定するための像を投影してもよい。このような像の一例は、登録部１３により登録された商品を特定するための像と同様、例えば図６に示すようになる。

図６では、認識された商品６各々に対応して、丸マークの像７－１が投影されている。当該像７－１は、載置台２の載置面上や商品６上に、各商品６に対応して投影される。なお、像７－１は、認識された商品６各々を作業者が特定できるものであればよく、図示する丸マークに限定されない。

投影部１５は、画像解析部１２から受信した「認識された商品各々の位置情報」を用いて、上述のような像７－１を投影する位置を決定する。

例えば、投影部１５は、予め、画像内の座標を投影エリア内の座標に変換するための変換ルール（例：行列等で構成された変換式等）を保持しておく。そして、投影部１５は、当該変換ルールに基づき、「認識された商品各々の画像内の座標」を、投影エリア内の座標に変換する。そして、投影部１５は、変換された投影エリア内の座標に基づき、像７－１を投影する位置を決定する。例えば、投影部１５は、変換された投影エリア内の座標そのものを、像７－１を投影する位置としてもよい。その他、投影部１５は、変換された投影エリア内の座標と所定の関係にある位置（例：右方向に所定の短い距離離れた位置）を、像７－１を投影する位置としてもよい。

その他、投影部１５は、画像解析部１２により認識された商品各々に対応して、商品情報（商品名称、価格等）を示す像を投影してもよい（不図示）。例えば、載置面上の各商品の周囲に、このような像を投影してもよい。

その他、投影部１５は、登録部１３により登録された商品の数を示す像を投影してもよい。又は、投影部１５は、画像解析部１２により認識された商品の数を示す像を投影してもよい。図７に、このような像の一例を示す。

図７では、載置台２の載置面上に、登録された商品（又は、認識された商品）の数を示す像７－２が投影されている。図示する像７－２は数字の「２」を示している。なお、当該例では、上述の像７－１も投影されている。

投影部１５は、画像解析部１２から受信した「商品が載置されていない位置の位置情報」を用いて、上記像７－２を投影する位置を決定してもよい。

例えば、投影部１５は、予め、画像内の座標を投影エリア内の座標に変換するための変換ルール（例：行列等で構成された変換式等）を保持しておく。そして、投影部１５は、当該変換ルールに基づき、「商品が載置されていない位置の画像内の座標」を、投影エリア内の座標に変換する。そして、投影部１５は、変換された投影エリア内の座標を、像７－２を投影する位置として決定する。

その他、投影部１５は、登録部１３により同じ商品が２個以上登録された場合、その旨を示す像を投影してもよい。図８に、このような像の一例を示す。

図８では、登録されている２個の同じ商品６各々に対応して、通番（像７－３）が投影されている。この例の場合、作業者は、同じ商品６が２個以上登録されていることに加えて、それがどの商品６であるかも把握できる。

投影部１５は、像７－３の投影位置を、像７－１の投影位置と同様にして決定することができる。

次に、図９のフローチャートを用いて、本実施形態の会計装置１０の処理の流れの一例を説明する。

Ｓ１０では、画像データ取得部１１は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを取得する。

Ｓ１１では、画像解析部１２は、複数の商品各々の外観の特徴量が予め登録されている特徴量記憶部、及び、画像のデータを用いて、画像に写る１つ又は複数の商品を認識する。

Ｓ１２では、登録部１３は、画像解析部１２により認識された１つ又は複数の商品を、精算対象の商品として登録する。

Ｓ１３では、投影部１５は、登録部１３による登録又は画像解析部１２による認識に応じて、当該登録や認識に関する像（図６乃至図８の像７－１乃至像７－３参照）を、載置面上及び／又は商品上に投影する。

以上説明した本実施形態によれば、第１の実施形態と同様な作用効果を実現できる。また、登録部１３による登録に関する情報や画像解析部１２による認識に関する情報を載置面上及び／又は商品上に投影できるので、登録作業を行う作業者は、載置台上の商品に対する所定の作業（例：載置台上に複数の商品が互いに重ならないように並べる、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する）を行いながら、これらの情報を確認することができる。

例えば、図６に示すように、登録された商品６を特定するための像７－１が投影された場合、登録作業を行う作業者は、上記所定の作業を行いながら像７－１を視認することで、登録が正常に完了した商品６と、登録が正常に完了していない商品６とを容易に判別できる。そして、判別結果に応じて、適切な対応を行うことができる。例えば、登録が正常に完了した商品６を袋詰めする。そして、登録が正常に完了していない商品６の載置位置や向き等を調整し、認識処理を再度行わせることができる。その他、登録が正常に完了していない商品６のみ、コードリーダ１０３を用いて個別に商品情報の読み取りを行ってもよい。

他の例として、図６に示すように、認識された商品６を特定するための像７－１が投影された場合、登録作業を行う作業者は、上記所定の作業を行いながら像７－１を視認することで、正常に認識されている商品６と、正常に認識されてない商品６とを容易に判別できる。そして、判別結果に応じて、適切な対応を行うことができる。例えば、正常に認識されていない商品６の載置位置や向き等を調整し、認識処理を再度行わせることができる。その他、正常に認識されていない商品６のみ、コードリーダ１０３を用いて個別に商品情報の読み取りを行ってもよい。

他の例として、図７に示すように、登録された商品６の数を示す像が投影された場合、登録作業を行う作業者は、上記所定の作業を行いながら像７－２を視認することで、登録が正常に完了した商品６の数を容易に把握できる。そして、把握内容に基づき、適切な対応を行うことができる。例えば、精算対象の商品６の数を目で確認しながらカウントし、その結果と、像７－２から把握した数とを比較することで、登録漏れ、二重登録等を検出することができる。

他の例として、図７に示すように、認識された商品６の数を示す像が投影された場合、登録作業を行う作業者は、上記所定の作業を行いながら像７－２を視認することで、正常に認識された商品６の数を容易に把握できる。そして、把握内容に基づき、適切な対応を行うことができる。例えば、精算対象の商品６の数を目で確認しながらカウントし、その結果と、像７－２から把握した数とを比較することで、認識漏れ等を検出することができる。

他の例として、図８に示すように、同じ商品６が２個以上登録されたことを示す像７－３が投影された場合、登録作業を行う作業者は、上記所定の作業を行いながら像７－３を視認することで、その旨を容易に把握することができる。これにより、同じ複数の商品６が漏れなく正常に登録されていることを容易に把握することができる。また、把握内容に基づき、適切な対応を行うことができる。例えば、当該商品６を目で確認することで、外観が似ている互いに異なる商品６が同じ商品６として登録される登録ミスを検出できる。

＜第３の実施形態＞
本実施形態の会計装置１０は、会計処理の案内に関する像を、載置台の載置面上に投影することができる。以下、詳細に説明する。

本実施形態の会計装置１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図３で示される。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、投影部１５とを有する。

なお、第１及び第２の実施形態同様、会計装置１０は、特徴量記憶部１４を有さなくてもよい。この場合の前提は、第１及び第２の実施形態と同様である。また、会計装置１０は、第１及び第２の実施形態同様、商品情報記憶部を有してもよいし、有さなくてもよい。有さない場合の前提は、第１及び第２の実施形態と同様である。

画像データ取得部１１、画像解析部１２、登録部１３、特徴量記憶部１４、及び、商品情報記憶部の構成は、第１及び第２の実施形態と同様である。

投影部１５は、会計処理の案内に関する像を投影する。投影部１５のその他の構成は、第１及び第２の実施形態と同様である。

投影部１５は、例えば、図１０に示すように、商品６を載置するエリアを示す像７－６を投影してもよい。これにより、登録作業を行う作業者は、画像認識技術を用いて商品６を登録するために商品６を載置すべきエリアを容易に把握することができる。

なお、投影部１５は、その他、文字情報で、会計処理の作業説明等を示す像を表示してもよい。例えば、載置台２に、「各商品の主面が上を向くように、互いに重ならないように並べておいて置いてください。画像認識技術を用いて商品登録を行います。」等の作業説明が表示されてもよい。買い物客等、当該登録作業に慣れていない作業者が当該登録作業を行う場合、このような案内情報が有益になる。

その他、投影部１５は、商品のシルエットを投影することで、商品の載置の仕方（例：立てておく、寝かせておく等）を案内してもよい。その他、投影部１５は、動画像により、商品の載置の仕方を案内してもよい。例えば、筒状の商品を寝かせておいたり、商品の特徴的な部分を上向きにして載置したりする様子を撮影した動画像を投影してもよい。

その他、撮像装置３が複数設置されている場合、投影部１５は、当該環境下での好ましい商品の配置の仕方を案内してもよい。例えば、筒状の商品６を、載置台２の載置面上に位置し、横方向から撮像する撮像装置３の近くに載置する案内を、上記シルエットの像や動画像で実現してもよい。その他、箱状の商品６を、載置面の略中央に載置し、上方向から撮像する撮像装置３で撮像させる案内を、上記シルエットの像や動画像で実現してもよい。また、複数の商品６同志で陰にならないように載置する案内を、上記動画像で実現してもよい。

次に、図１１のフローチャートを用いて、本実施形態の会計装置１０の処理の流れの一例を説明する。

Ｓ２０では、投影部１５は、会計処理の案内に関する像を、載置面上に投影する。

Ｓ２１では、画像データ取得部１１は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを取得する。

Ｓ２２では、画像解析部１２は、複数の商品各々の外観の特徴量が予め登録されている特徴量記憶部、及び、画像のデータを用いて、画像に写る１つ又は複数の商品を認識する。

Ｓ２３では、登録部１３は、画像解析部１２により認識された１つ又は複数の商品を、精算対象の商品として登録する。

なお、Ｓ２３の後、投影部１５は、登録部１３による登録に応じて、当該登録に関する像を、載置面上及び／又は商品上に投影してもよい。

以上説明した本実施形態によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、会計処理の案内に関する像を投影することができる。本実施形態のように画像認識で商品登録を行う作業に慣れてない作業者は、当初、戸惑うことが想定される。本実施形態のように、会計処理の案内に関する像を投影することで、当該不都合を軽減できる。

また、一例として、図１０に示すように、像７－６により、載置台２の載置面上で、直接、商品６を載置するエリアを示すことができるので、作業者は、誤解することなく、容易に、当該エリアを把握することができる。

＜第４の実施形態＞
本実施形態の会計装置１０は、会計処理の警告に関する像を、載置台の載置面上及び／又は商品上に投影することができる。以下、詳細に説明する。

本実施形態の会計装置１０の機能ブロック図の一例は、第１乃至第３の実施形態同様、図３で示される。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、投影部１５とを有する。

なお、第１乃至第３の実施形態同様、会計装置１０は、特徴量記憶部１４を有さなくてもよい。この場合の前提は、第１乃至第３の実施形態と同様である。また、会計装置１０は、第１乃至第３の実施形態同様、商品情報記憶部を有してもよいし、有さなくてもよい。有さない場合の前提は、第１乃至第３の実施形態と同様である。

画像データ取得部１１、登録部１３、特徴量記憶部１４、及び、商品情報記憶部の構成は、第１乃至第３の実施形態と同様である。

画像解析部１２は、画像に写る物体を抽出した後、抽出した物体各々の外観の特徴と、特徴量記憶部１４に登録されている情報とを用いて商品を認識する。物体を抽出する技術は設計的事項である。例えば、画像解析部１２は、画像から物体の輪郭線を検出し、検出した輪郭線に基づき、物体を抽出する。

そして、画像解析部１２は、抽出した物体各々の外観の特徴と、特徴量記憶部１４に登録されている複数の商品各々の特徴量とのマッチング具合（類似度）に基づき、商品認識を行う。ある物体の外観の特徴と、ある商品の外観の特徴量とが所定レベル以上類似する場合、画像解析部１２は、その物体をその商品と認識する。

画像解析部１２は、抽出した物体毎に位置情報を取得する。例えば、画像解析部１２は、抽出した物体各々の画像内の座標を取得する。そして、画像解析部１２は、商品として認識できなかった物体（いずれの商品の特徴量とも所定レベル以上類似していない物体）各々の位置情報を、投影部１５に送信する。

画像解析部１２のその他の構成は、第１乃至第３の実施形態と同様である。

投影部１５は、商品として認識されていない物体を特定する像を投影する。投影部１５のその他の構成は、第１乃至第３の実施形態と同様である。投影部１５は、例えば、図１２に示すように、商品６として認識されていない物体を特定する像７－４を投影してもよい。なお、図ではバツマークの像７－４を示しているが、当該マークはあくまで一例である。

また、当該例では、登録された商品６を特定するための像７－１も表示されている。像７－１は丸マークであり、像７－４はバツマークである。複数の情報を投影する場合であっても、マークの形状や、色等を異ならせることで、混同を回避できる。

本実施形態の会計装置１０の処理の流れの一例は、第１乃至第３の実施形態と同様である。

以上説明した本実施形態によれば、第１乃至第３の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、会計処理に関する警告を示す像を、載置台の載置面上や商品上に投影することができる。

このような本実施形態の会計装置１０の場合、登録作業を行う作業者は、載置台上の商品に対する所定の作業（例：載置台上に複数の商品が互いに重ならないように並べる、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する）を行いながら、載置台の載置面上や商品上に投影された警告に関する像を視認することができる。結果、上記作業中に、警告を見逃す不都合を軽減できる。

また、本実施形態によれば、図１２に示すように、商品６として認識されていない物体を特定する像７－４を投影することができる。例えば、特徴量記憶部１４や商品情報記憶部に登録されていない商品や、載置の仕方が好ましくないため画像に含まれる情報（外観）が不十分となり、商品６として認識されなかった商品等が、商品６として認識されていない物体として、像７－４で特定される。

当該像７－４を視認した作業者は、当該商品６の載置位置や向き等を調整したり、当該商品６のみ、コードリーダ１０３を用いて個別に商品情報の読み取りを行うなどの適切な作業を行うことができる。また、特徴量記憶部１４や商品情報記憶部に登録されてない物、例えば買い物客の持ち物（例：携帯電話等）等が載置面に載置されている場合、像７－４を視認することで、当該物が間違って商品６として認識され、登録されるという不都合が生じてないことを容易に把握することができる。

＜第５の実施形態＞
本実施形態の会計装置１０は、会計処理の警告に関する像であって、第４の実施形態と異なる像を、載置台の載置面上及び／又は商品上に投影することができる。以下、詳細に説明する。

本実施形態の会計装置１０の機能ブロック図の一例は、図１３で示される。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、投影部１５と、通知要否確認部１６と、通知対象記憶部１７とを有する。

第１の実施形態で説明した通り、会計装置１０は、図２に示す登録装置１、処理装置４及び投影装置７を有する。画像データ取得部１１は、処理装置４により実現される。画像解析部１２は、処理装置４により実現される。登録部１３は、登録装置１により実現される。特徴量記憶部１４は、処理装置４により実現されてもよい。投影部１５は、処理装置４及び投影装置７により実現される。通知要否確認部１６は、処理装置４により実現される。通知対象記憶部１７は、処理装置４により実現されてもよい。

なお、第１乃至第４の実施形態同様、会計装置１０は、特徴量記憶部１４を有さなくてもよい。この場合の前提は、第１乃至第４の実施形態と同様である。また、会計装置１０は、第１乃至第４の実施形態同様、商品情報記憶部を有してもよいし、有さなくてもよい。有さない場合の前提は、第１乃至第４の実施形態と同様である。また、会計装置１０は、通知対象記憶部１７を有さなくてもよい。この場合、会計装置１０と論理的に分かれた他の装置が、通知対象記憶部１７を備える。そして、会計装置１０は、当該他の装置と通信し、通知対象記憶部１７に記憶された情報を取得可能に構成される。

画像データ取得部１１、画像解析部１２、登録部１３、特徴量記憶部１４、及び、商品情報記憶部の構成は、第１乃至第４の実施形態と同様である。

通知要否確認部１６は、精算対象に含まれている場合、通知が必要な商品が予め登録されている通知対象記憶部１７を用いて、画像解析部１２により認識された商品の中に通知が必要な商品が含まれていないか確認する。

例えば、通知対象記憶部１７には、販売時に年齢確認が必要な商品を特定する情報が記憶されていてもよい。そして、通知要否確認部１６は、当該情報を用いて、画像解析部１２により認識された商品の中に、年齢確認が必要な商品が含まれていないか確認してもよい。この場合、年齢確認が必要な商品が通知対象の商品となる。

その他、通知対象記憶部１７には、購入者に所定の景品をプレゼントするサービスの対象商品を特定する情報が記憶されていてもよい。そして、通知要否確認部１６は、当該情報を用いて、画像解析部１２により認識された商品の中に、景品プレゼント対象商品が含まれていないか確認してもよい。この場合、景品プレゼント対象商品が通知対象の商品となる。

なお、ここで例示した通知対象はあくまで一例であり、その他であってもよい。

投影部１５は、通知が必要な商品を特定するための像を投影する。投影部１５のその他の構成は、第１乃至第４の実施形態と同様である。投影部１５は、例えば、図１４に示すように、通知対象の商品６を特定する像７－５を投影してもよい。なお、図では四角マークの像７－４を示しているが、当該マークはあくまで一例である。

当該例では、登録された商品６を特定するための像７－１も表示されている。像７－１は丸マークであり、像７－４は四角マークである。複数の情報を投影する場合であっても、マークの形状や、色等を異ならせることで、混同を回避できる。

本実施形態の会計装置１０の処理の流れの一例は、第１乃至第４の実施形態と同様である。

以上説明した本実施形態によれば、第１乃至第４の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、通知が必要な商品を特定するための像を投影することができる。

このような本実施形態の会計装置１０の場合、登録作業を行う作業者は、載置台上の商品に対する所定の作業（例：載置台上に複数の商品が互いに重ならないように並べる、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する）を行いながら、当該像を視認することで、所定の商品に対する通知を容易に把握することができる。そして、その通知内容に応じて、年齢確認や、景品プレゼント等の適切な処理を行うことができる。結果、このような処理の対象となっている商品が精算対象に含まれていることを見逃すことによる、当該処理漏れを軽減できる。

以下、参考形態の例を付記する。
１ 画像のデータを取得する画像データ取得手段と、
特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段と、
前記画像解析手段により認識された前記商品を、精算対象として登録する登録手段と、
前記商品上及び／又は前記商品の載置台の載置面上に、会計処理に関する像を投影する投影手段と、
を有する情報処理装置。
２ １に記載の情報処理装置において、
前記投影手段は、前記登録手段による登録又は前記画像解析手段による認識に関する像を投影する情報処理装置。
３ ２に記載の情報処理装置において、
前記投影手段は、前記登録手段により登録された前記商品を特定するための像、又は、前記画像解析手段により認識された前記商品を特定するための像を投影する情報処理装置。
４ ２又は３に記載の情報処理装置において、
前記投影手段は、前記登録手段により登録された前記商品の数を示す像、又は、前記画像解析手段により認識された前記商品の数を示す像を投影する情報処理装置。
５ ２から４のいずれかに記載の情報処理装置において、
前記投影手段は、前記登録手段により同じ前記商品が２個以上登録されたことを示す像を投影する情報処理装置。
６ １から５のいずれかに記載の情報処理装置において、
前記投影手段は、前記会計処理の案内に関する像を投影する情報処理装置。
７ ６に記載の情報処理装置において、
前記投影手段は、前記商品を載置するエリアを示す像を投影する情報処理装置。
８ １から７のいずれかに記載の情報処理装置において、
前記投影手段は、前記会計処理に関する警告を示す像を投影する情報処理装置。
９ ８に記載の情報処理装置において、
前記画像解析手段は、前記画像に写る物体を抽出した後、抽出した物体各々の外観の特徴と、前記特徴量記憶手段に登録されている情報とを用いて前記商品を認識し、
前記投影手段は、前記商品として認識されていない前記物体を特定する像を投影する情報処理装置。
１０ ８又は９に記載の情報処理装置において、
精算対象に含まれている場合、通知が必要な前記商品が予め登録されている通知対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中に通知が必要な前記商品が含まれていないか確認する通知要否確認手段をさらに有し、
前記投影手段は、通知が必要な前記商品を特定するための像を投影する情報処理装置。
１１ １から１０のいずれかに記載の情報処理装置において、
前記登録手段は、複数の前記商品各々の商品情報が予め登録されている商品情報記憶手段を用いて、前記画像解析手段により認識された１つ又は複数の前記商品の前記商品情報を取得し、取得した前記商品情報を登録する情報処理装置。
１２ コンピュータが、
画像のデータを取得する画像データ取得工程と、
特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析工程と、
前記画像解析工程で認識された前記商品を、精算対象として登録する登録工程と、
前記商品上及び／又は前記商品の載置台の載置面上に、会計処理に関する像を投影する投影工程と、
を有する情報処理方法。
１２－２ １２に記載の情報処理方法において、
前記投影工程では、前記登録工程での登録又は前記画像解析工程での認識に関する像を投影する情報処理方法。
１２－３ １２－２に記載の情報処理方法において、
前記投影工程では、前記登録工程で登録された前記商品を特定するための像、又は、前記画像解析工程で認識された前記商品を特定するための像を投影する情報処理方法。
１２－４ １２－２又は１２－３に記載の情報処理方法において、
前記投影工程では、前記登録工程で登録された前記商品の数を示す像、又は、前記画像解析工程で認識された前記商品の数を示す像を投影する情報処理方法。
１２－５ １２－２から１２－４のいずれかに記載の情報処理方法において、
前記投影工程では、前記登録工程で同じ前記商品が２個以上登録されたことを示す像を投影する情報処理方法。
１２－６ １２から１２－５のいずれかに記載の情報処理方法において、
前記投影工程では、前記会計処理の案内に関する像を投影する情報処理方法。
１２－７ １２－６に記載の情報処理方法において、
前記投影工程では、前記商品を載置するエリアを示す像を投影する情報処理方法。
１２－８ １２から１２－７のいずれかに記載の情報処理方法において、
前記投影工程では、前記会計処理に関する警告を示す像を投影する情報処理方法。
１２－９ １２－８に記載の情報処理方法において、
前記画像解析工程では、前記画像に写る物体を抽出した後、抽出した物体各々の外観の特徴と、前記特徴量記憶手段に登録されている情報とを用いて前記商品を認識し、
前記投影工程では、前記商品として認識されていない前記物体を特定する像を投影する情報処理方法。
１２－１０ １２－８又は１２－９に記載の情報処理方法において、
精算対象に含まれている場合、通知が必要な前記商品が予め登録されている通知対象記憶手段を用いて、前記画像解析工程で認識された前記商品の中に通知が必要な前記商品が含まれていないか確認する通知要否確認工程を前記コンピュータがさらに実行し、
前記投影工程では、通知が必要な前記商品を特定するための像を投影する情報処理方法。
１２－１１ １２から１２－１０のいずれかに記載の情報処理方法において、
前記登録工程では、複数の前記商品各々の商品情報が予め登録されている商品情報記憶手段を用いて、前記画像解析工程で認識された１つ又は複数の前記商品の前記商品情報を取得し、取得した前記商品情報を登録する情報処理方法。
１３ コンピュータを、
画像のデータを取得する画像データ取得手段、
特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段、
前記画像解析手段により認識された前記商品を、精算対象として登録する登録手段、
前記商品上及び／又は前記商品の載置台の載置面上に、会計処理に関する像を投影する投影手段、
として機能させるプログラム。
１３－２ １３に記載のプログラムにおいて、
前記投影手段は、前記登録手段による登録又は前記画像解析手段による認識に関する像を投影するプログラム。
１３－３ １３－２に記載のプログラムにおいて、
前記投影手段は、前記登録手段により登録された前記商品を特定するための像、又は、前記画像解析手段により認識された前記商品を特定するための像を投影するプログラム。
１３－４ １３－２又は１３－３に記載のプログラムにおいて、
前記投影手段は、前記登録手段により登録された前記商品の数を示す像、又は、前記画像解析手段により認識された前記商品の数を示す像を投影するプログラム。
１３－５ １３－２から１３－４のいずれかに記載のプログラムにおいて、
前記投影手段は、前記登録手段により同じ前記商品が２個以上登録されたことを示す像を投影するプログラム。
１３－６ １３から１３－５のいずれかに記載のプログラムにおいて、
前記投影手段は、前記会計処理の案内に関する像を投影するプログラム。
１３－７ １３－６に記載のプログラムにおいて、
前記投影手段は、前記商品を載置するエリアを示す像を投影するプログラム。
１３－８ １３から１３－７のいずれかに記載のプログラムにおいて、
前記投影手段は、前記会計処理に関する警告を示す像を投影するプログラム。
１３－９ １３－８に記載のプログラムにおいて、
前記画像解析手段は、前記画像に写る物体を抽出した後、抽出した物体各々の外観の特徴と、前記特徴量記憶手段に登録されている情報とを用いて前記商品を認識し、
前記投影手段は、前記商品として認識されていない前記物体を特定する像を投影するプログラム。
１３－１０ １３－８又は１３－９に記載のプログラムにおいて、
精算対象に含まれている場合、通知が必要な前記商品が予め登録されている通知対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中に通知が必要な前記商品が含まれていないか確認する通知要否確認手段として前記コンピュータをさらに機能させ、
前記投影手段は、通知が必要な前記商品を特定するための像を投影するプログラム。
１３－１１ １３から１３－１０のいずれかに記載のプログラムにおいて、
前記登録手段は、複数の前記商品各々の商品情報が予め登録されている商品情報記憶手段を用いて、前記画像解析手段により認識された１つ又は複数の前記商品の前記商品情報を取得し、取得した前記商品情報を登録するプログラム。

この出願は、２０１６年１月２１日に出願された日本出願特願２０１６－００９６０１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

1. 画像のデータを取得する画像データ取得手段と、
   前記画像のデータに基づいて、商品を認識する商品認識手段と、
   前記商品認識手段により認識された前記商品を、精算対象として登録する登録手段と、
   前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力手段と、
   を有し、
   １つの前記画像内に複数の前記商品が含まれる場合、前記商品認識手段は複数の前記商品を認識し、前記登録手段は認識された複数の前記商品を精算対象として登録し、
   前記出力手段は、前記登録手段により登録された前記商品の数を示す像、又は、前記商品認識手段により認識された前記商品の数を示す像を投影する情報処理装置。
2. 画像のデータを取得する画像データ取得手段と、
   前記画像のデータに基づいて、商品を認識する商品認識手段と、
   前記商品認識手段により認識された前記商品を、精算対象として登録する登録手段と、
   前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力手段と、
   を有し、
   １つの前記画像内に複数の前記商品が含まれる場合、前記商品認識手段は複数の前記商品を認識し、前記登録手段は認識された複数の前記商品を精算対象として登録し、
   精算対象に前記商品が含まれている場合、通知が必要な前記商品が予め登録されている通知対象記憶手段を用いて、前記商品認識手段により認識された前記商品の中に通知が必要な前記商品が含まれていないか確認する通知要否確認手段をさらに有し、
   前記出力手段は、通知が必要な前記商品を特定するための像を投影する情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   前記出力手段は、前記登録手段による登録又は前記商品認識手段による認識に関する像を投影する情報処理装置。
4. 請求項３に記載の情報処理装置において、
   前記出力手段は、前記登録手段により登録された前記商品を特定するための像、又は、前記商品認識手段により認識された前記商品を特定するための像を投影する情報処理装置。
5. 請求項１から４のいずれか１項に記載の情報処理装置において、
   前記出力手段は、登録処理の案内に関する像を投影する情報処理装置。
6. 請求項５に記載の情報処理装置において、
   前記出力手段は、前記商品を載置するエリアを示す像を投影する情報処理装置。
7. 請求項１から６のいずれか１項に記載の情報処理装置において、
   前記出力手段は、登録処理に関する警告を示す像を投影する情報処理装置。
8. コンピュータが、
   画像のデータを取得する画像データ取得工程と、
   前記画像のデータに基づいて、商品を認識する商品認識工程と、
   前記商品認識工程で認識された前記商品を、精算対象として登録する登録工程と、
   前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力工程と、
   を実行し、
   １つの前記画像内に複数の前記商品が含まれる場合、前記商品認識工程では複数の前記商品を認識し、前記登録工程では認識された複数の前記商品を精算対象として登録し、
   前記出力工程では、前記登録工程で登録された前記商品の数を示す像、又は、前記商品認識工程で認識された前記商品の数を示す像を投影する情報処理方法。
9. コンピュータが、
   画像のデータを取得する画像データ取得工程と、
   前記画像のデータに基づいて、商品を認識する商品認識工程と、
   前記商品認識工程で認識された前記商品を、精算対象として登録する登録工程と、
   前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力工程と、
   を実行し、
   １つの前記画像内に複数の前記商品が含まれる場合、前記商品認識工程では複数の前記商品を認識し、前記登録工程では認識された複数の前記商品を精算対象として登録し、
   前記コンピュータが、精算対象に前記商品が含まれている場合、通知が必要な前記商品が予め登録されている通知対象記憶手段を用いて、前記商品認識工程で認識された前記商品の中に通知が必要な前記商品が含まれていないか確認する通知要否確認工程をさらに実行し、
   前記出力工程では、通知が必要な前記商品を特定するための像を投影する情報処理方法。
10. コンピュータを、
    画像のデータを取得する画像データ取得手段、
    前記画像のデータに基づいて、商品を認識する商品認識手段、
    前記商品認識手段により認識された前記商品を、精算対象として登録する登録手段、
    前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力手段、
    として機能させ、
    １つの前記画像内に複数の前記商品が含まれる場合、前記商品認識手段は複数の前記商品を認識し、前記登録手段は認識された複数の前記商品を精算対象として登録し、
    前記出力手段は、前記登録手段により登録された前記商品の数を示す像、又は、前記商品認識手段により認識された前記商品の数を示す像を投影するプログラム。
11. コンピュータを、
    画像のデータを取得する画像データ取得手段、
    前記画像のデータに基づいて、商品を認識する商品認識手段、
    前記商品認識手段により認識された前記商品を、精算対象として登録する登録手段、
    前記商品及び前記商品の載置台の載置面の少なくとも一方に、会計処理に関する情報を出力する出力手段、
    として機能させ、
    １つの前記画像内に複数の前記商品が含まれる場合、前記商品認識手段は複数の前記商品を認識し、前記登録手段は認識された複数の前記商品を精算対象として登録し、
    前記コンピュータを、精算対象に前記商品が含まれている場合、通知が必要な前記商品が予め登録されている通知対象記憶手段を用いて、前記商品認識手段により認識された前記商品の中に通知が必要な前記商品が含まれていないか確認する通知要否確認手段としてさらに機能させ、
    前記出力手段は、通知が必要な前記商品を特定するための像を投影するプログラム。

Images