JP6801676B2 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び、プログラムに関する。

コンビニエンスストア、スーパー、その他の店舗等で、金銭登録機（例：ＰＯＳ（Point Of Sale）レジスター）が広く利用されている。従来、会計時における金銭登録機への対象商品の登録作業は、商品各々に付された商品コードを所定のリーダで読み取ったり、金銭登録機が備える操作対象（操作ボタン、タッチパネルディスプレイ装置等）を操作したりすることでなされていた。当該登録作業を効率化できる技術が求められている。関連技術が、特許文献１乃至３に開示されている。

特許文献１には、第１撮像手段と、認識手段と、決定手段とを有する情報処理装置が開示されている。第１撮像手段は、対象物が載置される載置台の載置面を異なる複数の撮像方向から撮像する。認識手段は、第１撮像手段による複数の撮像方向の各々で撮像された第１撮像画像の各々から、第１撮像画像に含まれた対象物を表す対象画像の特徴量を読み取り、予め記憶された各対象物の特徴量と比較することで、当該対象画像に対応する対象物を第１撮像画像毎に認識する。決定手段は、第１撮像画像毎での対象画像の認識結果に基づいて、載置台に載置された対象物の認識結果を決定する。当該発明において、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特許文献２には、表示部と、枠線表示手段と、修正受付手段と、枠線修正手段と、商品認識手段と、出力手段とを有する商品読み取り装置が開示されている。表示部は、撮像手段で撮像された画像を表示する。枠線表示手段は、表示部に表示される画像に、その画像に含まれる商品を囲うための枠線を表示させる。修正受付手段は、枠線の修正指示を受付ける。枠線修正手段は、修正指示に従い、画面上の枠線を修正する。商品認識手段は、枠線内の画像に含まれる商品を認識する。出力手段は、商品認識手段により認識された商品の情報を出力する。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特許文献３には、商品を搬送するベルトコンベア、動作を開始するスタートボタン、作業を指示するディスプレイ装置、商品の高さを計測する高さ計測装置、商品を撮像する撮像装置、高さ計測装置及び撮像装置が商品を検出すると計数する第１のカウンタ、焦点距離等を可変し通過する商品からバーコードを読取ってデコードするバーコードスキャナ、登録処理済みの商品数を計数する第２のカウンタ、撮像装置からの画像を処理して商品の位置、大きさ等を判定し、スキャナの商品データに基づいて登録処理を行い、かつ終了ボタンの操作後、第１、第２のカウンタの計数値が一致したとき登録完了を判断するＰＯＳ端末を含む装置が開示されている。当該発明においても、各種情報は、ディスプレイ装置やプリンタを介して出力される。

特開２０１３−５４６７３号公報 特開２０１３−１７５８９０号公報 特開平７−３２０１４６号公報

近年、商品各々に付された商品コードに、商品識別情報のみならず、品質保持期限やロットナンバー等の付属情報を含める技術が利用されている。

複数の商品各々に付された商品コードを所定のリーダで読み取ることで登録作業がなさる場合、会計装置は、会計処理時にこれら付属情報を取得することができる。そして、付属情報の内容に応じて、所定の処理を実行することができる。例えば、品質保持期限が切れている商品や、販売が制限されているロットナンバーの商品等が販売されようとしている場合、アラームを出力等できる。結果、このような商品の販売を未然に回避することができる。

しかし、複数の商品各々に付された商品コードを所定のリーダで読み取ることで行われる登録作業は、作業効率の改善余地がある。

これに対し、特許文献１乃至３に開示のように、各商品の外観の特徴を用いた画像認識処理を利用して商品登録を行うことにより、登録作業の効率化が期待される。

しかし、画像認識処理を利用した登録作業の場合、会計装置は、会計処理時に商品識別情報を取得できるに過ぎず、品質保持期限やロットナンバー等の付属情報を取得することはできない。このため、会計装置は、上述のような付属情報の内容に応じた処理の実行を会計処理時に実行できない。また、画像認識処理を利用した登録作業の場合、外観が似ている異なる商品を誤認識する恐れもある。

本発明は、上記問題を解決する手段を提供することを課題とする。

本発明によれば、
画像のデータを取得する画像データ取得手段と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
前記商品認識手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
前記画像内から前記商品コードを抽出できない場合、及び／又は前記画像内から抽出された前記商品コードを読み取れない場合、前記商品を載置する載置台に、前記商品の載置方法の案内に関する情報を出力する出力手段と、
を有する情報処理装置が提供される。

また、本発明によれば、
コンピュータが、
画像のデータを取得する画像データ取得工程と、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
前記商品認識工程で認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
前記画像内から前記商品コードを抽出できない場合、及び／又は前記画像内から抽出された前記商品コードを読み取れない場合、前記商品を載置する載置台に、前記商品の載置方法の案内に関する情報を出力する出力工程と、
を実行する情報処理方法が提供される。

また、本発明によれば、
コンピュータを、
画像のデータを取得する画像データ取得手段、
前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
前記商品認識手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
前記画像内から前記商品コードを抽出できない場合、及び／又は前記画像内から抽出された前記商品コードを読み取れない場合、前記商品を載置する載置台に、前記商品の載置方法の案内に関する情報を出力する出力手段、
として機能させるプログラムが提供される。

本発明によれば、画像認識処理を利用して商品登録を行う技術において、従来にない新たな技術が実現される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の装置のハードウエア構成の一例を概念的に示す図である。 本実施形態の会計装置の適用例を説明するための図である。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の特徴量記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の商品情報記憶部に登録される情報の一例を模式的に示す図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の出力部により投影される像の一例を説明するための図である。 本実施形態の会計装置の機能ブロック図の一例である。 本実施形態の出力部により投影される像の一例を説明するための図である。 本実施形態の出力部により投影される像の一例を説明するための図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の会計装置の適用例を説明するための図である。

まず、本実施形態（第１乃至第３の実施形態）の会計装置（情報処理装置）のハードウエア構成の一例について説明する。会計装置の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。

図１は、本実施形態の会計装置のハードウエア構成を例示する図である。当該ハードウエア構成は、レジ端末用途に設計された専用装置を用いて実現されてもよいし、ＰＣ（Personal Computer）や携帯端末などの汎用装置を用いて実現されてもよい。

計算機２００は、バス２０２、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２を有する。バス２０２は、プロセッサ２０４、メモリ２０６、ストレージ２０８、入出力インタフェース２１０、及びネットワークインタフェース２１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０４などを互いに接続する方法は、バス接続に限定されない。プロセッサ２０４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２０６は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ２０８は、ハードディスク、ＳＳＤ（Solid State Drive）、又はメモリカードなどの記憶装置である。また、ストレージ２０８は、ＲＡＭやＲＯＭなどのメモリであってもよい。

入出力インタフェース２１０は、計算機２００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース２１０には、タッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８、プリンタ２２０、撮像装置２３０及びプロジェクタ２４０などが接続される。タッチパネルディスプレイ装置２１４は、例えば商品の金額を手動で入力するために利用される。また、タッチパネルディスプレイ装置２１４は、精算対象として登録された商品に関する情報など、種々の情報を表示する。ドロア２１６は硬貨や紙幣を格納する。釣り銭機２１８は、代金を投入するための投入口と、釣り銭を排出するための排出口を有する。プリンタ２２０はレシート等の発行を行う。撮像装置２３０は静止画像及び／又は動画像を撮影する。プロジェクタ２４０は所定の像を投影する。なお計算機２００には、キーボードなど、タッチパネルディスプレイ装置２１４以外の入力インタフェースが接続されていてもよい。

ネットワークインタフェース２１２は、計算機２００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース２１２は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば会計装置を実現する計算機２００は、ネットワークを介して、店舗に設置された種々の装置を管理する店舗サーバなどと接続されている。

ストレージ２０８は会計装置の各機能（各機能部）を実現するプログラムモジュールを記憶している。プロセッサ２０４は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ２０４は、上記各モジュールを実行する際、これらのモジュールをメモリ２０６上に読み出してから実行してもよいし、メモリ２０６上に読み出さずに実行してもよい。

会計装置のハードウエア構成は図１に示した構成に限定されない。例えば、各プログラムモジュールはメモリ２０６に格納されてもよい。この場合、計算機２００は、ストレージ２０８を備えていなくてもよい。また計算機２００は、必ずしもネットワークを介して他の装置と通信可能に接続される必要はない。よって計算機２００はネットワークインタフェース２１２を有さなくてもよい。また会計装置が代金の支払いの処理に利用されない場合、会計装置はドロア２１６、釣り銭機２１８、及びプリンタ２２０を有さなくてもよい。また、会計装置は撮像装置２３０が撮影した画像を取得できればよく、撮像装置２３０自体を有さなくてもよい。この場合、会計装置は撮像装置２３０と通信可能に構成され、撮像装置２３０から画像データを取得する。また、会計装置はプロジェクタ２４０を有さなくてもよい。

以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。

＜第１の実施形態＞
まず、本実施形態の会計装置の概要について説明する。本実施形態の会計装置は、画像認識処理を用いて、商品登録を行うことができる。すなわち、会計装置は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを解析し、画像に写る１つ又は複数の商品を認識する。当該認識においては、各商品の外観の特徴を用いる。そして、会計装置は、認識した１つ又は複数の商品を、精算対象の商品として登録する。

また、会計装置は、認識した商品の中から、商品コードの読み取りが必要な商品を抽出する。商品コードは、商品ＩＤ（identifier）が分かる情報を含み、例えばＪＡＮコード等のバーコードが挙げられる。例えば、品質保持期限の確認が必要な商品や、賞味期限の確認が必要な商品、消費期限の確認が必要な商品、同種容量違いの商品群等が、商品コードの読み取りが必要な商品となる。その後、会計装置は、抽出した商品の商品コードを画像の中から抽出し、抽出した商品コードを読み取る。

このように、本実施形態の会計装置は、画像認識処理を用いて商品登録を行う。そして、画像認識処理での認識結果に基づき、商品コードの読み取りが必要な商品を抽出し、抽出した商品に対してのみ、商品コードを読み取る処理を実行する。

次に、図２を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置１、処理装置４を有する。会計装置は、さらに、撮像装置３を有してもよい。なお、図において、登録装置１及び処理装置４を分けて記載しているが、これらの装置は、物理的及び／又は論理的に一体になって構成されてもよい。また、撮像装置３及び処理装置４を分けて記載しているが、これらの装置は、物理的及び／又は論理的に一体になって構成されてもよい。

図１のハードウエア構成は、登録装置１及び処理装置４が論理的に一体となって構成される例を示す。登録装置１及び処理装置４が図１に示す計算機２００を備える。そして、登録装置１が図１に示すタッチパネルディスプレイ装置２１４、ドロア２１６、釣り銭機２１８及びプリンタ２２０を備える。そして、撮像装置３が図１に示す撮像装置２３０に対応する。

撮像装置３は処理装置４と繋がり、通信可能になっている。また、登録装置１は処理装置４と繋がり、通信可能になっている。通信規格は設計的事項である。有線及び無線いずれで通信を行ってもよい。

撮像装置３は、動画像及び／又は静止画像を撮像する機能を有する。撮像装置３は、動画像のデータを継続的に撮像してもよい。その他、撮像装置３は、間欠的（周期的も含む）に静止画像を撮像してもよい。この場合、撮像装置３は、予め定められた所定のタイミング（例：作業者からの指示があったタイミング）で撮像を行うことができる。

撮像装置３は、例えば、載置台２の載置面を含んで撮像するよう、所定位置に設置される。設置位置は設計的事項である。例えば、撮像装置３は、載置台２の載置面の真上や斜め上方に設置され、当該方向から載置面を撮像してもよい。その他、撮像装置３は、載置台２の載置面上に設置され、横方向から載置面を撮像してもよい。図では、載置面に４つの撮像装置３が設置され、四方から載置面の所定領域を撮像している。その他、載置台２を透明の部材、及び／又は、透過性を有する半透明の部材を含んで構成し、図示するように載置台２の下方に撮像装置３を設置してもよい。この場合、撮像装置３は、載置台２の下側から、載置面を撮像する。

その他、登録作業を行う作業者に撮像装置３が設置されてもよい。例えば、作業者が装着する帽子、眼鏡等に、撮像装置３が設置されてもよい。この場合、作業者の視線の先を撮像するように、撮像装置３の向きなどを調整するのが好ましい。

なお、図では６つの撮像装置３が設置されているが、その数や設置位置は設計的事項である。図示する撮像装置３の一部が設置されてなくてもよいし、さらに多くの撮像装置３が設置されてもよい。

処理装置４は、撮像装置３から画像データを取得する。そして、処理装置４は、画像解析を行い、画像に含まれる商品６を認識する。当該認識においては、各商品６の外観の特徴を用いる。その後、処理装置４は、認識結果を登録装置１に送信する。

また、処理装置４は、認識した商品６の中から、商品コードの読み取りが必要な商品６を抽出する。そして、抽出した商品６の商品コードを画像の中から検索し、検索した商品コードを読み取る。その後、処理装置４は、読み取った内容に応じた所定の処理を実行する。

登録装置１は、精算対象の商品６を登録する機能を有する。登録装置１は、処理装置４から受信した情報を用いて、精算対象の商品６を登録する。

図示する登録装置１は、ディスプレイ装置１０１、ディスプレイ装置１０２、コードリーダ１０３、操作ボタン１０４及びドロア１０５を有する。

ディスプレイ装置１０１は、載置台２よりも手前側（商品登録の作業者側）に向いており、主に、登録作業を行う作業者が視認する。ディスプレイ装置１０１には、会計処理に関する情報や、警告等が表示される。ディスプレイ装置１０１は、タッチパネルディスプレイ装置であってもよい。

ディスプレイ装置１０２は、載置台２よりも向こう側（顧客側）に向いており、主に、買い物客が視認する。ディスプレイ装置１０２には、会計処理に関する情報や、広告等が表示される。ディスプレイ装置１０２は、タッチパネルディスプレイ装置であってもよい。

コードリーダ１０３は、各商品６に付された商品コード（１次元コード、２次元コード等）を読み取る。複数の操作ボタン１０４の各々は、各種商品、数字、各種機能（例：小計等）に対応しており、各々の入力に用いられる。なお、上述の通り、本実施形態では、画像認識処理を用いて、商品登録を行うことができる。このため、コードリーダ１０３や操作ボタン１０４は、補助的に用いられる。ドロア１０５には、お金や金券等が収納される。

なお、登録装置１は、少なくとも精算対象の商品６を登録する機能を備えておればよく、図示する機能の少なくとも一部を備えなくてもよい。

また、図示する登録装置１は、店員に操作されることを前提にした構成となっているが、買い物客に操作されることを前提とした構成となってもよい。

次に、本実施形態の会計装置の構成を詳細に説明する。図３に、本実施形態の会計装置１０の機能ブロック図の一例を示す。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、特徴量記憶部１４、読取要否確認部１５と、読取対象記憶部１６と、読取部１７とを有する。図示しないが、会計装置１０は、さらに登録部１３を有してもよい。

なお、会計装置１０は、特徴量記憶部１４を有さなくてもよい。この場合、会計装置１０と論理的に分かれた他の装置が、特徴量記憶部１４を備える。そして、会計装置１０は、当該他の装置と通信し、特徴量記憶部１４に記憶された情報を取得可能に構成される。

また、会計装置１０は、読取対象記憶部１６を有さなくてもよい。この場合、会計装置１０と論理的に分かれた他の装置が、読取対象記憶部１６を備える。そして、会計装置１０は、当該他の装置と通信し、読取対象記憶部１６に記憶された情報を取得可能に構成される。

上述の通り、会計装置１０は、図２に示す登録装置１及び処理装置４を有する。画像データ取得部１１は、処理装置４により実現される。画像解析部１２は、処理装置４により実現される。登録部１３は、登録装置１により実現される。特徴量記憶部１４は、処理装置４により実現されてもよい。読取要否確認部１５は、処理装置４により実現される。読取対象記憶部１６は、処理装置４により実現されてもよい。読取部１７は、処理装置４により実現される。

画像データ取得部１１は、精算対象の商品が載置される載置台の載置面を含むように撮像された画像のデータを取得する。画像データ取得部１１は、図２を用いて説明した撮像装置３が撮像した画像データをリアルタイムに取得する。

画像解析部１２は、画像データ取得部１１が取得した画像のデータを用いて、画像に写る１つ又は複数の商品を認識する（認識処理）。画像解析部１２は、フレーム毎に認識処理を行い、各フレーム内で１つ又は複数の商品を認識することができる。

画像解析部１２は、当該認識処理において、複数の商品各々の外観の特徴量が予め登録されている特徴量記憶部１４を用いる。図４に、特徴量記憶部１４が記憶する情報の一例を模式的に示す。図示する例では、複数の商品各々を識別するための商品ＩＤと、複数の商品各々の外観の特徴量とが対応付けられている。特徴量は、形状、色、色の分布等を例示できるが、これらに限定されない。特徴量記憶部１４には、各商品に対応して、複数の方向各々から観察した際の複数の外観各々の特徴量が記憶されてもよい。

特徴量記憶部１４及び画像データを用いた画像解析部１２による商品認識のアルゴリズムは設計的事項であり、あらゆる技術を採用できる。例えば、特許文献１乃至３に開示されている技術を採用してもよい。

登録部１３は、画像解析部１２により認識された１つ又は複数の商品を、精算対象の商品として登録する。例えば、登録部１３は、複数の商品各々の商品情報が予め登録されている商品情報記憶部（不図示）を用いて、商品登録を行ってもよい。

図５に、商品情報記憶部に記憶される商品情報の一例を模式的に示す。図示する商品情報では、商品ＩＤと、各商品の名称と、価格とが互いに対応付けられている。なお、商品情報は、これらの一部を有さなくてもよいし、他の情報を有してもよい。

会計装置１０が、このような商品情報記憶部を備えてもよい。その他、会計装置１０と論理的に分かれた他の装置が、商品情報記憶部を備えてもよい。後者の場合、会計装置１０は、当該他の装置と通信し、商品情報記憶部に記憶された商品情報を取得可能に構成される。

例えば、登録部１３は、画像解析部１２により認識された１つ又は複数の商品の商品ＩＤをキーとして商品情報記憶部を検索し、キーに対応する商品情報（例：名称、価格等）を取得する。そして、登録部１３は、取得した商品情報を登録する。

図３に戻り、読取要否確認部１５は、読取対象記憶部１６を用いて、画像解析部１２により認識された商品の中から商品コードの読み取りが必要な商品を抽出する。

読取対象記憶部１６には、商品各々に対応する商品コードの読み取りが必要な商品（例：商品ＩＤ）が予め登録されている。以下、読取対象記憶部１６に登録される商品の一例を説明する。

例えば、販売前に、商品コードに含まれる付属情報（例：梱包番号、重量、ロットナンバー、入り数、製造日、品質保持期限、消費期限、賞味期限、出荷先、発注番号等）の確認が必要な商品が、読取対象記憶部１６に登録されてもよい

商品に不具合などが見つかり、所定のロットナンバー（所定の梱包番号や所定の発注番号等であってもよい）の商品の販売が制限されている場合、販売前に、各商品の当該付属情報を確認することが望ましい。例えばこのような理由で、販売前に、付属情報の確認が必要となる。

その他、商品に品質保持期限、消費期限、賞味期限等がある場合、販売前に、これらの期限が切れていないか確認することが望ましい。例えばこのような理由で、販売前に、付属情報の確認が必要となる。

その他、画像解析部１２による商品認識処理において、他の商品と誤認識される可能性が所定レベル以上である商品が、読取対象記憶部１６に登録されてもよい。

外観の特徴が所定レベル以上類似するが互いに異なる商品群においては、画像解析部１２による商品認識処理において、他の商品と誤認識される可能性がある。このような商品群としては、例えば、同種容量違いの商品群が挙げられる。より具体的には、「３５０ｍｌのジュースＡと５００ｍｌのジュースＡ」、「９０ｇの菓子Ｂと２１０ｇの菓子Ｂ」等である。同種容量違いの商品群は、パッケージデザインがほとんど同じであり、大きさや、文字情報等のみが異なるという場合がある。

読取要否確認部１５は、画像解析部１２により認識された商品の商品ＩＤをキーとして読取対象記憶部１６を検索することで、画像解析部１２により認識された商品の中から商品コードの読み取りが必要な商品を抽出する。

読取要否確認部１５により、商品コードの読み取りが必要な商品（商品ＩＤ）が抽出された場合、上述した画像解析部１２は、画像を解析し、当該商品の商品コードを抽出する処理を実行する。例えば、画像解析部１２は、商品コードの読み取りが必要な商品が写る画像内のエリアを検索し、そこから商品コードを抽出する。画像解析部１２は予め商品コードの外観の特徴量を保持しており、当該特徴を画像内で検索することで、商品コードの抽出を実現することができる。

なお、図２に示すように、複数の撮像装置３で複数の方向から載置面を撮像している場合、画像データ取得部１１は、複数の方向から載置面を含むように撮像された複数方向からの画像のデータを取得することができる。そして、画像解析部１２は、複数の方向からの画像のデータを解析し、上記商品コードの抽出を行うことができる。ある方向からの画像に商品コードが写っていないが、他の方向からの画像に商品コードが写っている可能性がある。このため、複数の方向からの画像のデータを解析することで、所定の商品の商品コードを抽出できる確率が高まる。

ところで、第１の撮像装置３で撮像した第１の画像内で認識した第１の商品６の商品コードを、第２の撮像装置３で撮像した第２の画像内で検索する場合、まず、第２の画像内で上記第１の商品６を特定する必要がある。当該特定手段は設計的事項であるが、以下一例を説明する。

例えば、画像解析部１２に、予め、第１の画像に写る載置面上の任意の点の画像内の座標を、第２の画像に写る載置面上の上記任意の点の画像内の座標に変換するための変換ルール（例：行列等で構成された変換式等）が記憶されていてもよい。そして、画像解析部１２は、当該変換ルールを用いて、第１の画像において画像内の所定座標に写る第１の商品６（載置面に載置されている）が第２の画像内のどの座標に写っているか算出してもよい。そして、画像解析部１２は、算出した第２の画像内の座標に写っている商品を、第１の商品６として特定してもよい。

その他、画像解析部１２は、第１の画像内で認識した第１の商品６の外観の特徴量をキーとして第２の画像を検索することで、第２の画像内で第１の商品６を特定してもよい。

読取部１７は、画像解析部１２が画像から抽出した商品コードを読み取る。結果、読取部１７は、商品コードが示す商品ＩＤに加えて、梱包番号、重量、ロットナンバー、入り数、製造日、品質保持期限、賞味期限、消費期限、出荷先、発注番号等の付属情報を取得することができる。なお、商品コードが上記付属情報を直接示していてもよい。この場合、商品コードを読み取り、解析することで、読取部１７は、上記付属情報を取得する。その他、読取部１７は、商品コードを読み取り、解析することで、商品ＩＤを取得してもよい。そして、読取部１７は、取得した商品ＩＤをキーとして、商品ＩＤと付属情報とを対応付けて記憶するデータベースを検索することで、付属情報を取得してもよい。

その後、会計装置１０は、読取部１７が取得した情報に基づき、所定の確認処理を行うことができる。

例えば、会計装置１０は、商品コードの読み取りで得られた付属情報（例：梱包番号、ロットナンバー、発注番号等）の内容が、商品の販売を制限されている商品の付属情報（予め登録されている）に一致しないか確認してもよい。一致しない場合、会計装置１０は、そのまま会計処理を継続する。一方、一致する場合、会計装置１０は、その旨を示す警告を出力する。警告は、販売を制限されている商品（精算対象に含まれているもの）を特定する情報、及び、当該商品は販売が制限されていることを示す情報が含まれる。警告の出力は、図２に示すディスプレイ装置１０１やディスプレイ装置１０２を介してなされてもよい。

その他、会計装置１０は、その時点の日時情報と、商品コードの読み取りで得られた品質保持期限（又は、賞味期限や消費期限）とを比較することで、品質保持期限（又は、賞味期限や消費期限）が切れていないか確認してもよい。切れていない場合、会計装置１０は、そのまま会計処理を継続する。一方、切れている場合、会計装置１０は、その旨を示す警告を出力する。警告は、品質保持期限（又は、賞味期限や消費期限）が切れている商品を特定する情報、及び、当該商品は販売が制限されていることを示す情報が含まれる。警告の出力は、図２に示すディスプレイ装置１０１やディスプレイ装置１０２を介してなされてもよい。

その他、会計装置１０は、商品コードの読み取りで得られた商品ＩＤと、画像解析部１２により認識され、かつ、商品コードの読み取りが必要として抽出された商品の商品ＩＤとを比較することで、画像解析部１２による誤認識がないか確認してもよい。一致している場合、会計装置１０は、そのまま会計処理を継続する。一方、一致しない場合、登録部１３による登録内容を、画像解析部１２による認識結果に基づく商品ＩＤから、商品コードの読み取りで得られた商品ＩＤに変更する。

次に、図６のフローチャート、及び、図２を用いて、本実施形態の会計装置１０の処理の流れの一例を説明する。

まず、買い物客は、店内を回り、購入対象の商品６を買物カゴ５に入れていく。その後、会計処理のため、会計装置１０の場所に移動する。

登録作業を行う店員は、図２に示すように、買物カゴ５に入っていた商品６を、載置台２の載置面上の所定位置に載置する。これにより、撮像装置３が撮像する撮像画像内に、商品６が写るようになる。

すると、画像データ取得部１１（処理装置４）は、撮像装置３から画像のデータを取得する（Ｓ１０）。

その後、画像解析部１２（処理装置４）は、当該画像のデータを解析し、画像に写る商品６を認識する。そして、認識結果を、登録装置１に送信する。

登録部１３（登録装置１）は、認識結果を受信すると、認識された商品６を精算対象の商品６として登録する。

また、読取要否確認部１５（処理装置４）は、Ｓ１１で認識された商品６の中から、商品コードの読み取りが必要な商品６を抽出する（Ｓ１３）。Ｓ１３で抽出された場合、画像解析部１２（処理装置４）は、Ｓ１０で取得された画像のデータを解析し、商品コードの読み取りが必要な商品６が写る画像内のエリアから商品コードを抽出する（Ｓ１４）。

その後、読取部１７は、Ｓ１４で抽出された商品コードを読み取る（Ｓ１５）。これにより、商品コードの読み取りが必要な商品６の商品ＩＤや付属情報が商品コードから取得される。その後、会計装置１０は、読取部１７が取得した情報に基づき、所定の確認処理を行うことができる。所定の確認処理の詳細は、上述の通りである。

購入対象の商品６すべての登録作業が完了すると、店員は、登録装置１を操作するなどして、精算処理や支払処理等を行う。

例えば、店員は、操作ボタン１０４に対して所定の操作（例：「小計」ボタンの押下）を行い、登録作業を完了させる。そして、店員は、ディスプレイ装置１０１に表示されている購入金額合計を確認し、買い物客に伝える。その後、店員は、買い物客から支払金等を受けとる。

次いで、店員は、操作ボタン１０４に対して所定の操作を行い、受け取った支払金を入力などする。すると、ディスプレイ装置１０１に釣銭金額が表示され、ドロア１０５が開く。店員は、ドロア１０５に支払金を収納するとともに、ドロア１０５から釣銭を取り出す。そして、店員は、取り出した釣銭を買い物客に渡す。

なお、上記精算処理や支払処理等の流れはあくまで一例であり、登録装置１の構成に応じて流れは異なる。

以上説明した本実施形態の会計装置１０は、画像認識処理を用いて、商品登録を行うことができる。このため、商品登録の作業の効率化が実現される。

また、本実施形態の会計装置１０は、認識した商品の中から、商品コードの読み取りが必要な商品を抽出することができる。そして、抽出した商品の商品コードを画像の中から抽出し、抽出した商品コードを読み取ることができる。このように、本実施形態の会計装置１０は、すべての商品に対して商品コードの読み取りを行うのでなく、商品コードの読み取りが必要として抽出された商品に対してのみ、商品コードの読み取りを行うことができる。かかる場合、すべての商品に対して商品コードの読み取りを行う場合に比べて、作業の効率化が実現される。

また、本実施形態の会計装置１０は、必要な商品に対しては商品コードの読み取りを行うので、販売時に、ロットナンバー等の付属情報の確認や、品質保持期限、賞味期限、消費期限等の確認等を行うことができる。結果、販売することが好ましくない商品の販売を未然に回避できる。

また、本実施形態によれば、画像解析部１２による商品認識処理において他の商品と誤認識される可能性が所定レベル以上ある商品に対して、商品コードの読み取りを行うことができる。そして、読み取った内容と画像解析部１２による認識結果とを照合し、照合結果を商品登録に反映させることができる。このため、画像解析部１２の誤認識に起因した誤登録を回避できる。

また、本実施形態によれば、会計装置１０が、認識された商品の中から商品コードの読み取りが必要な商品を抽出することができる。このため、作業者は、当該抽出作業を行う必要がない。結果、当該抽出作業による登録作業の効率の悪化を回避できる。

また、本実施形態の場合、所定の商品の商品コードの抽出は、画像内でその商品が写るエリア内を検索することで実現することができる。すなわち、画像全体を検索対象とするのでなく、一部のみを検索対象とすることができる。このため、商品コードの抽出処理に関するコンピュータの処理負担を軽減できる。また、処理に要する時間を短縮できる。

また、本実施形態の場合、複数の方向から載置面を撮像した複数の画像のデータを解析し、商品コードの抽出を行うことができる。このため、高確率で、商品コードの抽出が実現される。

＜第２の実施形態＞
本実施形態の会計装置１０は、会計処理に関する像を載置台の載置面や商品上に投影する投影装置を含む。

図７を用いて、本実施形態の会計装置の適用例を説明する。会計装置は、登録装置１、処理装置４及び投影装置７を有する。会計装置は、さらに、撮像装置３を有してもよい。登録装置１及び撮像装置３の構成は、第１の実施形態と同様である。図７において、撮像装置３、処理装置４及び投影装置７を分けて記載しているが、これらの装置の少なくとも一部は、物理的及び／又は論理的に一体になって構成されてもよい。

投影装置７は、載置台２の載置面上及び／又は商品６上に、会計処理に関する像を投影する。投影装置７は、このような投影が実現可能な所定位置に設置される。設置位置は設計的事項である。例えば、投影装置７は、載置面の真上や斜め上方に設置され、当該方向から像を投影してもよい。その他、投影装置７は、載置面上に設置され、横方向から像を投影してもよい。その他、載置台２を透明の部材で構成し、載置台２の下方に投影装置７を設置してもよい。この場合、投影装置７は、載置台２の下側から、載置台２の載置面上に像を投影する。投影装置７が、図１に示すプロジェクタ２４０を備える。

処理装置４は、投影装置７を制御する。すなわち、処理装置４は、投影する像や投影する位置を示す制御情報を投影装置７に送信する。投影装置７は、当該制御情報に従い、所定の像を載置台２の載置面上や商品６上に投影する。処理装置４のその他の構成は、第１の実施形態と同様である。

図８に、本実施形態の会計装置１０の機能ブロック図の一例を示す。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、読取要否確認部１５と、読取対象記憶部１６と、読取部１７と、出力部１８とを有する。

なお、会計装置１０は、特徴量記憶部１４及び読取対象記憶部１６の少なくとも一方を有さなくてもよい。有さない場合の前提は、第１の実施形態と同様である。

画像データ取得部１１、画像解析部１２、登録部１３、特徴量記憶部１４、読取要否確認部１５、読取対象記憶部１６及び読取部１７の構成は、第１の実施形態と同様である。

出力部１８は、登録装置１、処理装置４及び投影装置７等により実現される。出力部１８は、所定の像を、載置台の載置面上及び／又は商品上に投影する。投影される像は、会計処理に関する情報を含み、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。

例えば、出力部１８は、「画像解析部１２が画像内から商品コードを抽出できない場合」、及び／又は、「画像解析部１２により画像内から商品コードが抽出されたが、読取部１７が当該商品コードを読み取れない場合（例：画像が不鮮明）」、商品コードの読み取りが必要な商品の載置方法の案内情報を出力する（投影する）。

図７に、当該案内情報の一例を示す。図では、丸マークの像７−１で一の商品６を特定し、「商品コードを上向きに載置」との文字情報の像７−１で、載置方法を案内している。丸マークはあくまで一例であり、これに限定されない。

なお、出力部１８は、例えば、以下のようにして、一の商品６に対応する像７−１を投影する位置を決定することができる。出力部１８は、画像解析部１２から「認識された商品６各々の画像内の位置情報（座標）」を取得する。そして、出力部１８は、当該情報を用いて、一の商品６に対応する像７−１を投影する位置を決定する。

例えば、出力部１８は、予め、画像内の座標を投影エリア内の座標に変換するための変換ルール（例：行列等で構成された変換式等）を保持しておく。そして、出力部１８は、当該変換ルールに基づき、「画像解析部１２に認識された商品各々の画像内の座標」を、投影エリア内の座標に変換する。そして、出力部１８は、変換された投影エリア内の座標に基づき、像７−１を投影する位置を決定する。例えば、出力部１８は、変換された投影エリア内の座標そのものを、像７−１を投影する位置としてもよい。その他、出力部１８は、変換された投影エリア内の座標と所定の関係にある位置（例：右方向に所定の短い距離離れた位置）を、像７−１を投影する位置としてもよい。

なお、出力部１８は、このような像に加えて／又は代えて、ディスプレイ装置１０１に当該情報を出力してもよい。

ところで、第１の実施形態では、販売対象の商品の中に、販売が制限されている商品や品質保持期限、賞味期限、消費期限等が切れている商品が含まれる場合、ディスプレイ装置１０１やディスプレイ装置１０２を介して警告が出力される例を示した。当該警告は、投影装置７を用いて所定の像として出力されてもよい。

例えば、図９に示すように、販売が制限されている商品６や品質保持期限、賞味期限、消費期限等が切れている商品６に対して、バツマークの像７−２が投影されてもよい。バツマークはあくまで一例であり、これに限定されない。当該像７−２の投影位置を決定する方法は、上記像７−１を投影する位置を決定する方法と同様にして実現できる。

以上説明した本実施形態によれば、第１の実施形態と同様な作用効果が実現される。

また、本実施形態によれば、投影装置を用いて、会計処理に関する像を載置台の載置面上や商品上に投影することができる。かかる場合、登録作業を行う作業者は、載置台の方を向いて所定の作業（例：載置台上に複数の商品が互いに重ならないように並べる、商品の特徴的な部分が撮像されるように各商品の載置の仕方（向き等）を調整する）を行いながら、載置台の載置面上や商品上に投影された像を視認することができる。結果、上記作業中に、当該像（情報）を見逃す不都合を軽減できる。

また、本実施形態によれば、所定の商品の商品コードの読み取り処理がうまくいかない場合、当該商品の載置方法の案内情報を出力することができる。読み取り処理がうまくいかない原因が商品の載置方法にある場合、当該案内情報により、当該不都合を解消できる可能性がある。

＜第３の実施形態＞
第１及び第２の実施形態では、商品コードの読み取りが必要な商品が含まれる場合、画像内からその商品の商品コードを抽出し、読み取り処理を行っていた。本実施形態では、商品コードの読み取りが必要な商品が含まれる場合、その旨を作業者に通知する。当該通知に応じて、作業者は、コードリーダ等を操作し、当該商品の商品コードを読み取らせることができる。

本実施形態の会計装置１０の機能ブロック図の一例は、第２の実施形態と同様、図８で示される。図示するように、会計装置１０は、画像データ取得部１１と、画像解析部１２と、登録部１３と、特徴量記憶部１４と、読取要否確認部１５と、読取対象記憶部１６と、読取部１７と、出力部１８とを有する。

なお、会計装置１０は、特徴量記憶部１４及び読取対象記憶部１６の少なくとも一方を有さなくてもよい。有さない場合の前提は、第１及び第２の実施形態と同様である。

画像データ取得部１１、画像解析部１２、登録部１３、特徴量記憶部１４、読取要否確認部１５、読取対象記憶部１６及び読取部１７の構成は、第１及び第２の実施形態と同様である。

出力部１８は、所定の像を、載置台の載置面上及び／又は商品上に投影する。投影される像は、会計処理に関する情報を含み、文字、数字、記号、図形等のあらゆる形態で構成される。また、当該像は多数の色で構成されてもよい。また、当該像は、静止画像であってもよいし、動画像であってもよい。

例えば、出力部１８は、商品コードの読み取りが必要な商品を特定する情報を出力する（投影する）。

図１０に、当該情報の一例を示す。図では、四角マークの像７−３で、商品コードの読み取りが必要な商品６を特定している。四角マークはあくまで一例であり、これに限定されない。出力部１８が、このような像７−３の投影位置を決定する方法は、第２の実施形態で説明した像７−１及び像７−２の投影位置を決定する方法と同様にして実現できる。

なお、出力部１８は、このような像に加えて／又は代えて、ディスプレイ装置１０１に当該情報を出力してもよい。

次に、図１１のフローチャートを用いて、本実施形態の会計装置１０の処理の流れの一例を説明する。

まず、買い物客は、店内を回り、購入対象の商品６を買物カゴ５に入れていく。その後、会計処理のため、会計装置１０の場所に移動する。

登録作業を行う店員は、図１２に示すように、買物カゴ５に入っていた商品６を、載置台２の載置面上の所定位置に載置する。これにより、撮像装置３が撮像する撮像画像内に、商品６が写るようになる。

すると、画像データ取得部１１（処理装置４）は、撮像装置３から画像のデータを取得する（Ｓ２０）。

その後、画像解析部１２（処理装置４）は、当該画像のデータを解析し、画像に写る商品６を認識する。そして、認識結果を、登録装置１に送信する。

登録部１３（登録装置１）は、認識結果を受信すると、認識された商品６を精算対象の商品６として登録する。

また、読取要否確認部１５（処理装置４）は、Ｓ２１で認識された商品６の中に、商品コードの読み取りが必要な商品６が含まれていないか確認する（Ｓ２３）。

含まれている場合、出力部１８（処理装置４と、投影装置７及び／又は登録装置１）は、その商品６を特定する情報を出力する（Ｓ２４）。例えば、図１０に示すように、処理装置４及び投影装置７は、その商品を特定する像７−３を投影する。

これに応じて、作業者は、登録装置１のコードリーダ１０３（読取部１７）を操作し、その商品の商品コードを読み取らせる。その後、会計装置１０は、読取部１７が取得した情報に基づき、所定の確認処理を行うことができる。所定の確認処理の詳細は、第１の実施形態で説明した通りである。

購入対象の商品６すべての登録作業が完了すると、店員は、登録装置１を操作するなどして、精算処理や支払処理等を行う。

例えば、店員は、操作ボタン１０４に対して所定の操作（例：「小計」ボタンの押下）を行い、登録作業を完了させる。そして、店員は、ディスプレイ装置１０１に表示されている購入金額合計を確認し、買い物客に伝える。その後、店員は、買い物客から支払金等を受けとる。

次いで、店員は、操作ボタン１０４に対して所定の操作を行い、受け取った支払金を入力などする。すると、ディスプレイ装置１０１に釣銭金額が表示され、ドロア１０５が開く。店員は、ドロア１０５に支払金を収納するとともに、ドロア１０５から釣銭を取り出す。そして、店員は、取り出した釣銭を買い物客に渡す。

なお、上記精算処理や支払処理等の流れはあくまで一例であり、登録装置１の構成に応じて流れは異なる。

以上説明した本実施形態によれば、第１及び第２の実施形態と同様な作用効果を実現できる。

また、本実施形態によれば、商品コードの読み取りが必要な商品が含まれる場合、その商品を特定する情報を出力することができる。これに応じて、作業者は、その商品のみに対して、商品コードの読み取り作業を行うことができる。かかる場合も、すべての商品に対して商品コードの読み取りを行う場合に比べて、作業の効率化が実現される。

また、本実施形態の場合、商品コードを撮像する必要がなく、各商品の６外観の特徴的な部分を撮影できればよい。このため、図１０及び図１２に示すように、設置する撮像装置３の数を減らすことができる。結果、システムのコストの抑制や、システムのメンテナンス負担の軽減などが実現される。

以下、参考形態の例を付記する。
１ 画像のデータを取得する画像データ取得手段と、
特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段と、
前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
を有する情報処理装置。
２ １に記載の情報処理装置において、
前記画像解析手段は、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
前記読取手段は、前記画像解析手段が抽出した前記画像内の前記商品コードを読み取る情報処理装置。
３ １又は２に記載の情報処理装置において、
前記画像データ取得手段は、複数の方向から前記載置面を含むように撮像された複数方向からの前記画像のデータを取得し、
前記画像解析手段は、前記複数方向からの前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出する情報処理装置。
４ ２又は３に記載の情報処理装置において、
前記画像解析手段が前記商品コードを抽出できない場合、及び／又は、前記読取手段が前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する出力手段をさらに有する情報処理装置。
５ ４に記載の情報処理装置において、
前記出力手段は、載置面上に、前記載置方法の案内に関する像を投影する情報処理装置。
６ １から５のいずれかに記載の情報処理装置において、
前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力手段をさらに有する情報処理装置。
７ ６に記載の情報処理装置において、
前記出力手段は、載置面上又は前記商品上に、前記商品コードの読み取りが必要な前記商品を特定する像を投影する情報処理装置。
８ １から７のいずれかに記載の情報処理装置において、
前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されている情報処理装置。
９ １から７のいずれかに記載の情報処理装置において、
前記読取対象記憶手段に、同種容量違いの商品群が登録されている情報処理装置。
１０ コンピュータが、
画像のデータを取得する画像データ取得工程と、
特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析工程と、
前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析工程で認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
を実行する情報処理方法。
１０−２ １０に記載の情報処理方法において、
前記画像解析工程では、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
前記読取工程では、前記画像解析工程で抽出した前記画像内の前記商品コードを読み取る情報処理方法。
１０−３ １０又は１０−２に記載の情報処理方法において、
前記画像データ取得工程では、複数の方向から前記載置面を含むように撮像された複数方向からの前記画像のデータを取得し、
前記画像解析工程では、前記複数方向からの前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出する情報処理方法。
１０−４ １０−２又は１０−３に記載の情報処理方法において、
前記コンピュータが、前記画像解析工程で前記商品コードを抽出できない場合、及び／又は、前記読取工程で前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する出力工程をさらに実行する情報処理方法。
１０−５ １０−４に記載の情報処理方法において、
前記出力工程では、載置面上に、前記載置方法の案内に関する像を投影する情報処理方法。
１０−６ １０から１０−５のいずれかに記載の情報処理方法において、
前記コンピュータが、前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力工程をさらに実行する情報処理方法。
１０−７ １０−６に記載の情報処理方法において、
前記出力工程では、載置面上又は前記商品上に、前記商品コードの読み取りが必要な前記商品を特定する像を投影する情報処理方法。
１０−８ １０から１０−７のいずれかに記載の情報処理方法において、
前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されている情報処理方法。
１０−９ １０から１０−７のいずれかに記載の情報処理方法において、
前記読取対象記憶手段に、同種容量違いの商品群が登録されている情報処理方法。
１１ コンピュータを、
画像のデータを取得する画像データ取得手段、
特徴量記憶手段に登録されている複数の商品各々の外観の特徴量、及び、前記画像のデータを用いて、前記画像内の前記商品を認識する画像解析手段、
前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記画像解析手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
として機能させるプログラム。
１１−２ １１に記載のプログラムにおいて、
前記画像解析手段は、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
前記読取手段は、前記画像解析手段が抽出した前記画像内の前記商品コードを読み取るプログラム。
１１−３ １１又は１１−２に記載のプログラムにおいて、
前記画像データ取得手段は、複数の方向から前記載置面を含むように撮像された複数方向からの前記画像のデータを取得し、
前記画像解析手段は、前記複数方向からの前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出するプログラム。
１１−４ １１−２又は１１−３に記載のプログラムにおいて、
前記コンピュータを、前記画像解析手段が前記商品コードを抽出できない場合、及び／又は、前記読取手段が前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する出力手段としてさらに機能させるプログラム。
１１−５ １１−４に記載のプログラムにおいて、
前記出力手段は、載置面上に、前記載置方法の案内に関する像を投影するプログラム。
１１−６ １１から１１−５のいずれかに記載のプログラムにおいて、
前記コンピュータを、前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力手段としてさらに機能させるプログラム。
１１−７ １１−６に記載のプログラムにおいて、
前記出力手段は、載置面上又は前記商品上に、前記商品コードの読み取りが必要な前記商品を特定する像を投影するプログラム。
１１−８ １１から１１−７のいずれかに記載のプログラムにおいて、
前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されているプログラム。
１１−９ １１から１１−７のいずれかに記載のプログラムにおいて、
前記読取対象記憶手段に、同種容量違いの商品群が登録されているプログラム。

この出願は、２０１６年１月２１日に出願された日本出願特願２０１６−００９６０２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

1. 画像のデータを取得する画像データ取得手段と、
   前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
   前記商品認識手段により認識された前記商品の中から商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
   前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
   前記画像内から前記商品コードを抽出できない場合、及び／又は前記画像内から抽出された前記商品コードを読み取れない場合、前記商品を載置する載置台に、前記商品の載置方法の案内に関する情報を出力する出力手段と、
   を有する情報処理装置。
2. 画像のデータを取得する画像データ取得手段と、
   前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
   前記商品認識手段により認識された前記商品の中から商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
   前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
   前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力手段と、
   を有する情報処理装置。
3. 請求項２に記載の情報処理装置において、
   前記出力手段は、前記商品を載置する載置台又は前記商品に、前記商品コードの読み取りが必要な前記商品を特定する像を投影する情報処理装置。
4. 画像のデータを取得する画像データ取得手段と、
   前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
   前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記商品認識手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
   前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
   を有し、
   前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されている情報処理装置。
5. 画像のデータを取得する画像データ取得手段と、
   前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段と、
   前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記商品認識手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段と、
   前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段と、
   を有し、
   前記読取対象記憶手段に、同種容量違いの前記商品群が登録されている情報処理装置。
6. 請求項１から５のいずれか１項に記載の情報処理装置において、
   前記商品認識手段は、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出し、
   前記読取手段は、前記商品認識手段が抽出した前記画像内の前記商品コードを読み取る情報処理装置。
7. 請求項１から６のいずれか１項に記載の情報処理装置において、
   前記画像データ取得手段は、複数の方向から撮像された複数の前記画像のデータを取得し、
   前記商品認識手段は、複数の前記画像のデータを解析し、前記商品コードの読み取りが必要な前記商品が写る前記画像内のエリアから前記商品コードを抽出する情報処理装置。
8. 請求項６又は７に記載の情報処理装置において、
   前記商品認識手段が前記商品コードを抽出できない場合、及び／又は、前記読取手段が前記商品コードを読み取れない場合、前記商品コードの読み取りが必要な前記商品の載置方法の案内情報を出力する手段をさらに有する情報処理装置。
9. コンピュータが、
   画像のデータを取得する画像データ取得工程と、
   前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
   前記商品認識工程で認識された前記商品の中から商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
   前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
   前記画像内から前記商品コードを抽出できない場合、及び／又は前記画像内から抽出された前記商品コードを読み取れない場合、前記商品を載置する載置台に、前記商品の載置方法の案内に関する情報を出力する出力工程と、
   を実行する情報処理方法。
10. コンピュータを、
    画像のデータを取得する画像データ取得手段、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
    前記商品認識手段により認識された前記商品の中から商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
    前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
    前記画像内から前記商品コードを抽出できない場合、及び／又は前記画像内から抽出された前記商品コードを読み取れない場合、前記商品を載置する載置台に、前記商品の載置方法の案内に関する情報を出力する出力手段、
    として機能させるプログラム。
11. コンピュータが、
    画像のデータを取得する画像データ取得工程と、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
    前記商品認識工程で認識された前記商品の中から商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
    前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
    前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力工程と、
    を実行する情報処理方法。
12. コンピュータを、
    画像のデータを取得する画像データ取得手段、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
    前記商品認識手段により認識された前記商品の中から商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
    前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
    前記商品コードの読み取りが必要な前記商品を特定する情報を出力する出力手段、
    として機能させるプログラム。
13. コンピュータが、
    画像のデータを取得する画像データ取得工程と、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
    前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記商品認識工程で認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
    前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
    を実行し、
    前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されている情報処理方法。
14. コンピュータを、
    画像のデータを取得する画像データ取得手段、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
    前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記商品認識手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
    前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
    として機能させ、
    前記読取対象記憶手段に、前記商品コードに含まれる付属情報の確認が必要な商品が登録されているプログラム。
15. コンピュータが、
    画像のデータを取得する画像データ取得工程と、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識工程と、
    前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記商品認識工程で認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認工程と、
    前記読取要否確認工程で抽出された前記商品の前記商品コードを読み取る読取工程と、
    を実行し、
    前記読取対象記憶手段に、同種容量違いの前記商品群が登録されている情報処理方法。
16. コンピュータを、
    画像のデータを取得する画像データ取得手段、
    前記画像のデータを用いて、前記画像内の商品を認識する商品認識手段、
    前記商品各々に対応する商品コードの読み取りが必要な前記商品が予め登録されている読取対象記憶手段を用いて、前記商品認識手段により認識された前記商品の中から前記商品コードの読み取りが必要な前記商品を抽出する読取要否確認手段、
    前記読取要否確認手段に抽出された前記商品の前記商品コードを読み取る読取手段、
    として機能させ、
    前記読取対象記憶手段に、同種容量違いの前記商品群が登録されているプログラム。

Images