JP7215474B2 - 登録システム、登録方法及びプログラム - Google Patents

Description

本発明は、登録システム、登録方法及びプログラムに関する。

画像解析で商品を認識し、会計対象として登録する技術が検討されている。関連する技術が特許文献１乃至５に開示されている。

特許文献１は、読取窓に１つの商品をかざす操作に応じて生成された当該商品の画像を解析して商品を認識する処理を実行した後、信頼度に基づき選択した複数の商品候補を信頼度に応じた表示形態で表示し、その中から指定された商品を会計対象として登録する装置を開示している。

特許文献２及び３は、読取窓に１つの商品をかざす操作に応じて生成された当該商品の画像を解析して商品を認識する処理を実行した後、信頼度が基準値未満である場合は複数の商品候補を表示し、その中から指定された商品を会計対象として登録する装置を開示している。

特許文献４は、ベルトコンベアー上の商品を撮影した画像を解析して商品を認識する処理を実行した後、信頼度が所定の範囲内である場合は商品候補をディスプレイに表示するとともにその商品が端末付近まで移動したときに表示ランプを点灯させ、その中から指定された商品を会計対象として登録する装置を開示している。

特許文献５は、台に載置された商品をカメラで撮影し、商品の外観の特徴量に基づくパターンマッチングで商品を認識し、認識した商品を会計対象として登録する装置を開示している。

特開２０１５－４１１５７号公報 特開２０１５－１３８３５０号公報 特許第５７４８８８０号公報 特開２０１６－１１０５３８号公報 特開２０１７－２２０２０６号公報

複数の商品をまとめて撮影し、画像に含まれる複数の商品を認識できる技術において、画像解析で認識できない商品を会計対象として登録する手段が望まれる。

本発明者らは、画像解析で認識できない商品の商品候補を表示し、その中から指定された商品を会計対象として登録する技術の利用を検討した。その結果、次のような課題を見出した。複数の商品をまとめて撮影し、画像に含まれる複数の商品を認識できる技術の場合、画像解析で認識できない商品が複数存在する可能性がある。画像解析で認識できない商品が複数存在する状況下で商品候補を表示した場合、その商品候補がどの商品の商品候補であるのかユーザが把握できない。特許文献１乃至３及び特許文献５は、当該課題を解決する手段を記載も示唆もしていない。

特許文献４に開示の技術では、商品候補をディスプレイに表示するとともにその商品が端末付近まで移動したときに表示ランプを点灯させることで、表示した商品候補がどの商品の候補として表示されているのかを明示する。しかし、当該手段は、ベルトコンベアーで商品を移動させることを前提とした技術であり、ベルトコンベアーを利用しない構成では採用できない。

本発明は、複数の商品をまとめて撮影し、画像に含まれる複数の商品を認識できる技術において、画像解析で認識できない商品を会計対象として登録する手段を提供することを課題とする。

本発明によれば、
商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出手段と、
前記物体がいずれの商品であるか認識する認識手段と、
前記認識手段により商品認識されなかった前記物体である第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示手段と、
前記第１の物体の商品候補をディスプレイに表示する第２の表示手段と、
前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付手段と、
前記認識手段により認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録手段と、
を有する登録システムが提供される。

また、本発明によれば、
コンピュータが、
商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出工程と、
前記物体がいずれの商品であるか認識する認識工程と、
前記認識手段により商品認識されなかった前記物体である第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示工程と、
前記第１の物体の商品候補をディスプレイに表示する第２の表示工程と、
前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付工程と、
前記認識工程で認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録工程と、
を実行する登録方法が提供される。

また、本発明によれば、
コンピュータを、
商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出手段、
前記物体がいずれの商品であるか認識する認識手段、
前記認識手段により商品認識されなかった前記物体である第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示手段、
前記第１の物体の商品候補をディスプレイに表示する第２の表示手段、
前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付手段、
前記認識手段により認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録手段、
として機能させるプログラムが提供される。

本発明によれば、複数の商品をまとめて撮影し、画像に含まれる複数の商品を認識できる技術において、画像解析で認識できない商品を会計対象として登録できるようになる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の登録システム１０のハードウエア構成例を示す図である。 本実施形態の登録システム１０の機能ブロック図の一例を示す図である。 本実施形態のコンピュータ５のハードウエア構成の一例を示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０の処理の流れの一例を示すフローチャートである。 本実施形態の登録システム１０の処理の流れの一例を示すフローチャートである。 本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０の機能ブロック図の一例を示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第１のディスプレイ７に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。 本実施形態の登録システム１０により第２のディスプレイ２に出力される情報の一例を模式的に示す図である。

＜第１の実施形態＞
まず、本実施形態の登録システムのハードウエア構成例、及び、処理の概要を説明する。

図１に示すように、登録システムは、載置台１と、第２のディスプレイ２と、第１のディスプレイ７を有する操作端末６と、コンピュータ５と、カメラ４とを有する。図示する例では、カメラ４は支柱３に取り付けられている。なお、図示する構成例はあくまで一例であり、これに限定されない。
カメラ４とコンピュータ５とは、有線及び／又は無線で互いに通信可能に構成される。また、コンピュータ５と操作端末６とは、有線及び／又は無線で互いに通信可能に構成される。さらに、第２のディスプレイ２とコンピュータ５とは、有線及び／又は無線で互いに通信可能に構成される。

第２のディスプレイ２は、載置台１の一部を構成するとともに、各種情報を表示する。会計対象の１つ又は複数の商品は、載置台１の上、より詳細には第２のディスプレイ２の上に載置される。カメラ４は、第２のディスプレイ２を上方から撮影する位置に設置される。カメラ４により生成された画像は、コンピュータ５に送信される。コンピュータ５は画像を解析し、画像内に存在する物体を検出するとともに、検出した物体がいずれの商品であるかを認識する。そして、認識した商品を会計対象として登録する。会計対象として登録された商品は、操作端末６の第１のディスプレイ７に表示される。

また、コンピュータ５は、検出した物体の中の会計対象として登録されていない物体（いずれの商品であるか認識されなかった物体）の中の１つを特定する情報（第１の情報）を第２のディスプレイ２に表示する。また、コンピュータ５は、第１の情報で特定される物体の商品候補を第１のディスプレイ７に表示する。操作端末６は、第１のディスプレイ７に表示されている商品候補の中から１つを選択する操作をユーザから受付ける。そして、コンピュータ５は、第１の情報で特定される物体を、ユーザにより選択された商品候補であると認識し、商品登録する。

このような本実施形態の登録システム１０によれば、表示した商品候補がどの商品（物体）の候補として表示されているのかを明示することができる。

以下、本実施形態の登録システム１０の構成を詳細に説明する。図２に、本実施形態の登録システム１０の機能ブロック図の一例を示す。図示するように、登録システム１０は、検出部１１と、認識部１２と、第１の表示部１３と、第２の表示部１４と、選択入力受付部１５と、登録部１６とを有する。登録システム１０は、物理的及び／又は論理的に分かれた複数の装置により実現されてもよいし、物理的及び／又は論理的に１つの装置により実現されてもよい。物理的及び／又は論理的に分かれた複数の装置により実現される場合、複数の装置は有線及び／又は無線で互いに通信可能に構成される。

登録システム１０が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図３は、コンピュータ５のハードウエア構成を例示するブロック図である。図３に示すように、コンピュータ５は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。周辺回路４Ａを有さなくてもよい。なお、物理的及び／又は論理的に分かれた複数の装置によりコンピュータ５が実現される場合、各装置が当該ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、カメラ等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

図２に戻り、各機能部の機能構成を説明する。

検出部１１は、商品を載置する台の載置面をカメラ４で撮影した画像を解析し、画像の中の物体を検出する。本実施形態では、検出部１１は、図１に示す第２のディスプレイ２の表示面（情報を表示する面）をカメラ４で撮影した画像を解析する。例えば、検出部１１は、当該画像に対して二値化、輪郭抽出処理等を行うことで、物体が存在する領域を検出することができる。

また、検出部１１は、検出した物体各々の画像内の位置を特定することができる。画像内の位置は、画像内の任意の点を原点とし、任意の方向をｘ軸及びｙ軸とした２次元座標系（以下、「画像座標系」）で示される。

図２に戻り、認識部１２は、画像を解析し、検出部１１により検出された物体がいずれの商品であるか認識する。認識部１２は、検出部１１により検出された物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴（参照情報）とを照合することで、その物体がいずれの商品であるかを特定する（商品認識）。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。

例えば、認識部１２は、外観の特徴を登録している商品毎に、検出された物体との類似度を算出する。そして、認識部１２は、類似度が条件（例：第１の基準値以上）を満たす商品が１つである場合、その物体はその商品であるという認識結果を出力することができる。

一方、認識部１２は、類似度が条件（例：第１の基準値以上）を満たす商品が１つも存在しない場合、又は、類似度が条件（例：第１の基準値以上）を満たす商品が複数存在する場合、「その物体を認識できない」という認識結果を出力することができる。

第１の表示部１３は、載置台１の載置面を構成する第２のディスプレイ２に各種情報を表示する。

例えば、第１の表示部１３は、会計対象として登録された商品（例：認識部１２により認識された商品）を示す情報を第２のディスプレイ２に表示することができる。また、第１の表示部１３は、会計対象として登録されていない商品（例：認識部１２により認識されなかった商品）を示す情報を第２のディスプレイ２に表示することができる。さらに、第１の表示部１３は、会計対象として登録されていない商品（例：認識部１２により認識されなかった商品）の中の１つを特定する情報（第１の情報）を第２のディスプレイ２に表示することができる。

図４に、第１の表示部１３により第２のディスプレイ２に表示された情報の一例を模式的に示す。図示する例では、会計対象として登録された商品（例：認識部１２により認識された商品）の載置位置にマークＭ１が表示されている。また、会計対象として登録されていない商品（例：認識部１２により認識されなかった商品）の載置位置にマークＭ２が表示されている。そして、会計対象として登録されていない商品（例：認識部１２により認識されなかった商品）の中の１つを特定するために、１つのマークＭ２を点滅させている（商品Ｐ３に対応するマークＭ２）。当該例の場合、点滅しているマークＭ２が、認識部１２により商品認識されなかった物体の中の１つを特定する第１の情報となる。以下、第１の情報で特定される物体を「第１の物体」という場合がある。

第１の表示部１３は、「画像座標系の座標」を「第２のディスプレイ２の座標系の座標」に変換する変換ルールを予め保持しておく。「画像座標系の座標」は、画像内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。「第２のディスプレイ２の座標系の座標」は第２のディスプレイ２の表示領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。

第１の表示部１３は、当該変換ルールに基づき、検出部１１により特定された各物体の画像座標系の座標を第２のディスプレイ２の座標系の座標に変換する。そして、第１の表示部１３は、当該変換により得られた第２のディスプレイ２の座標系の座標を囲むように、又は、その座標に近接して、各種情報（マークＭ１、Ｍ２等）を表示する。

なお、表示される情報は、文字、数字、記号等の他の情報とすることもできる。また、図示する例では商品の載置位置を内包するように情報を表示しているが、載置位置の近傍に情報を表示してもよい。また、マークＭ１とマークＭ２とは形状の違いで互いを識別しているが、色の違い、濃淡の違い等、他の表示形態の違いで互いを識別してもよい。

また、認識されなかった商品の中の１つを特定する第１の情報の詳細は、上記例示したマークＭ２の点滅に限定されない。例えば、濃淡の違い等、他の表示形態の違いを利用して、認識されなかった商品の中の１つを識別してもよい。また、認識されなかった商品の中の１つのみに、マークＭ２を表示してもよいし、その他の方法を採用してもよい。

図２に戻り、第２の表示部１４は、図５に示すように、第１のディスプレイ７に第１の物体の商品候補を表示する。図示する例では、第１のディスプレイ７に、「リラックス板ガム（ミント味）」、「リラックス板ガム（リンゴ味）」、「リラックス板ガム（イチゴ味）」、「リラックス板ガム（ライム味）」が商品候補として表示されている。

商品候補は、認識部１２による認識結果に基づき決定される。例えば、類似度が条件（例：第１の基準値以上）を満たす商品が複数存在する結果、「その物体を認識できない」という認識結果となった場合、類似度が条件（例：第１の基準値以上）を満たす複数の商品を商品候補とすることができる。

その他、類似度が条件（例：第１の基準値以上）を満たす商品が１つも存在しない結果、「その物体を認識できない」という認識結果となった場合、類似度が他の条件（例：第２の基準値以上（第１の基準値＞第２の基準値））を満たす１つ又は複数の商品を商品候補とすることができる。

図２に戻り、選択入力受付部１５は、第２の表示部１４により表示されている商品候補の中から１つを選択する選択入力をユーザから受付ける。例えば、第１のディスプレイ７はタッチパネルディスプレイであり、選択入力受付部１５は、第１のディスプレイ７に対するタッチ操作で、１つの商品候補を選択する選択入力を受付ける。なお、選択入力受付部１５は、物理ボタン、マイク等の他の入力装置を介して選択入力を受付けてもよい。

登録部１６は、会計対象の商品の商品情報を登録する。例えば、登録部１６は、認識部１２により認識された商品の商品情報（例：価格、商品名等）を商品マスタから取得し、登録する。また、登録部１６は、選択入力受付部１５により受付けられた選択入力で選択された商品候補の商品情報を商品マスタから取得し、登録する。第２の表示部１４は、図５に示すように、登録部１６により登録された会計対象の商品の一覧を第１のディスプレイ７に表示することができる。

次に、図６及び図７のフローチャートを用いて、本実施形態の登録システム１０の処理の流れの一例を説明する。

ユーザは、会計対象の商品を、例えば図１の第２のディスプレイ２の上に載置する。第２のディスプレイ２の上に載置された商品はカメラ４により撮影される。カメラ４により生成された画像は、コンピュータ５に送信される。

なお、ここでは、以下の前提で処理の流れを説明する。
・図４に示すように、第２のディスプレイ２に商品Ｐ１乃至Ｐ３の３つが載置される。
・商品Ｐ１は、検出部１１により物体検出され、認識部１２により商品認識される。
・商品Ｐ２及びＰ３は、検出部１１により物体検出されるが、認識部１２により商品認識されない。

検出部１１は、カメラ４により生成された画像を取得すると（Ｓ１０）、当該画像に対して二値化、輪郭抽出処理等を行い、物体が存在する領域を検出することで、画像の中の１つ又は複数の物体を検出する（Ｓ１１）。上述の前提の通り、検出部１１は、図４に示す商品Ｐ１乃至Ｐ３を物体として検出する。

次いで、認識部１２は、Ｓ１１で検出された１つ又は複数の物体各々がいずれの商品であるか認識する（Ｓ１２）。具体的には、認識部１２は、検出した物体の画像に現れる外観の特徴（画像内の物体が存在する領域の特徴）と、予め登録されている複数の商品各々の外観の特徴（参照情報）とを照合することで、各物体がいずれの商品であるかを特定する。

例えば、認識部１２は、外観の特徴を登録している商品毎に、検出された物体との類似度を算出する。そして、認識部１２は、類似度が条件（例：第１の基準値以上）を満たす商品が１つである場合、その物体はその商品であるという認識結果を出力することができる。

一方、認識部１２は、類似度が条件（例：第１の基準値以上）を満たす商品が１つも存在しない場合、又は、類似度が条件（例：第１の基準値以上）を満たす商品が複数存在する場合、「その物体を認識できない」という認識結果を出力することができる。

上述の前提の通り、認識部１２は、商品Ｐ１を商品認識する。そして、認識部１２は、商品Ｐ２及びＰ３を商品認識しない。

Ｓ１３では、登録部１６は、Ｓ１２で認識された商品の商品情報（例：価格、商品名等）を商品マスタから取得し、会計対象として登録する。ここでは、登録部１６は、商品Ｐ１の商品情報を商品マスタから取得し、会計対象として登録する。

そして、第２の表示部１４は、図５に示すように、会計対象として登録された商品の一覧を第１のディスプレイ７に表示する。図５に示す例では、商品Ｐ１（「昭和の板チョコ」）のみが会計対象として登録されている。

なお、第１の表示部１３は、図４に示すように、会計対象として登録された商品Ｐ１（Ｓ１２で商品認識された物体）を示す情報（図４のマークＭ１）を第２のディスプレイ２に表示することができる。また、第１の表示部１３は、会計対象として登録されていない商品Ｐ２及びＰ３（Ｓ１２で商品認識されなかった物体）を示す情報（図４のマークＭ２）を第２のディスプレイ２に表示することができる。

Ｓ１４では、Ｓ１１で検出された物体の中に、認識部１２により商品認識されなかった物体が存在するか判断する。存在しない場合（Ｓ１４のＮｏ）、Ｓ１５に進む。存在する場合（Ｓ１４のＹｅｓ）、図７のフローに進む。上述の前提の通り、認識部１２は、商品Ｐ２及びＰ３を商品認識しない。このため、図７のフローに進む。

図７のフローでは、まず、認識部１２により商品認識されなかった物体の中の１つが指定される（Ｓ２０）。指定順は設計的事項である。ここでは、商品Ｐ３（物体）が指定されたものとする。

Ｓ２１では、第１の表示部１３は、図４に示すように、指定された物体を特定する第１の情報（点滅するマークＭ２）を第２のディスプレイ２に表示する。また、第２の表示部１４は、図５に示すように、指定された物体の商品候補を第１のディスプレイ７に表示する。

Ｓ２２では、選択入力受付部１５は、第１のディスプレイ７に表示されている商品候補の中から１つを選択する選択入力を受付ける。ここでは、「リラックス板ガム（ミント味）」が選択されたものとする。

Ｓ２３では、登録部１６は、Ｓ２２で選択された商品候補の商品情報（例：価格、商品名等）を商品マスタから取得し、会計対象として登録する。そして、第２の表示部１４は、図８に示すように、その商品候補を、会計対象として登録した商品の一覧に追加する。また、第１の表示部１３は、図９に示すように、商品候補の中から１つを選択され、会計対象として登録された物体（商品Ｐ３）の載置位置に表示する情報を、会計対象として登録された商品を示す情報（図４のマークＭ１）に変更する。

Ｓ２４では、認識部１２により商品認識されなかった物体であって、Ｓ２０で指定されていない物体が存在するか判断する。存在しない場合（Ｓ２４のＮｏ）、当該フローを終了して、図６のＳ１５に進む。存在する場合（Ｓ２４のＹｅｓ）、Ｓ２０に戻って他の物体を新たに指定する。ここでは、商品Ｐ２がまだ指定されていないので、Ｓ２０に戻る。

Ｓ２０では、商品Ｐ２（物体）が新たに指定される。Ｓ２１では、第１の表示部１３は、図９に示すように、指定された物体を特定する第１の情報（点滅するマークＭ２）を第２のディスプレイ２に表示する。また、第２の表示部１４は、図８に示すように、新たに指定された物体の商品候補を第１のディスプレイ７に表示する。以降、同様の処理が行われる。

図６に戻り、精算処理を開始する入力がなければ（Ｓ１５のＮｏ）、Ｓ１０に戻って同様の処理が繰り返す。なお、検出部１１は、例えば画像の時系列な変化に基づき、第２のディスプレイ２に新たに載置された物体と、第２のディスプレイ２に載置され続けている物体とを識別することができる。そして、新たな物体が検出されると、登録部１６は、その物体に対するＳ１２の認識結果、又は、図７のＳ２２の選択入力内容に基づき、新たな商品を会計対象として登録する。

精算処理を開始する入力がなされると（Ｓ１６のＹｅｓ）、登録システム１０は精算処理を行う。例えば、登録システム１０は、登録されている商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録システム１０は、クレジットカード情報の入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録システム１０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。また、登録システム１０は、顧客から預かった預かり金額の入力を受付けたり、それに基づき釣銭額を算出してディスプレイ（例：第１のディスプレイ７）に表示したり、算出した釣銭を払い出したりしてもよい。

以上説明した本実施形態の登録システム１０によれば、複数の商品をまとめて撮影し、画像に含まれる複数の商品を認識するとともに、認識した複数の商品を会計対象として登録することができる。このため、会計対象の商品を登録する作業の効率を向上させることができる。

また、画像解析で認識できない商品が存在する場合、その中の１つを特定する情報及び特定した商品の商品候補を表示することができる。そして、商品候補の中から選択されたものを、会計対象として登録することができる。このように、本実施形態の登録システム１０によれば、表示した商品候補がどの商品（物体）の候補として表示されているのかを明示することができる。このため、ユーザは、容易に表示内容を把握し、作業を円滑に進めることができる。

＜第２の実施形態＞
本実施形態の登録システム１０は、第１の情報で特定する物体（商品候補を表示する物体）を、ユーザ入力に基づき他の物体に変更することができる点で、第１の実施形態と異なる。

本実施形態の登録システム１０のハードウエア構成の一例は、第１の実施形態と同様である。

登録システム１０の機能ブロック図の一例は、図１０で示される。図示するように、登録システム１０は、検出部１１と、認識部１２と、第１の表示部１３と、第２の表示部１４と、選択入力受付部１５と、登録部１６と、切替入力受付部１７とを有する。検出部１１、認識部１２、選択入力受付部１５及び登録部１６の構成は、第１の実施形態と同様である。

切替入力受付部１７は、タッチパネルディスプレイである第２のディスプレイ２を介して、第１の情報で特定する物体（商品候補を表示する物体）を切り替える切替入力を受付ける。切替入力の操作は、例えば、図４に示す状態において、商品Ｐ２の載置位置に表示されたマークＭ２に対するタップ操作であってもよい。当該操作は、第１の情報で特定する物体（商品候補を表示する物体）を、商品Ｐ３から商品Ｐ２に切り替える入力となる。なお、タッチ操作の内容は設計的事項である。

第１の表示部１３は、切替入力に応じて、第１の情報で特定する物体を切り替える。例えば、図４に示す状態において、第１の情報で特定する物体（商品候補を表示する物体）を商品Ｐ３から商品Ｐ２に切り替える入力があった場合、第１の表示部１３は、図１１に示すように、表示内容を変更する。図１１では、商品Ｐ２の載置位置に点滅しているマークＭ２（第１の情報）が表示され、商品Ｐ３の載置位置に点滅してないマークＭ２が表示されている。すなわち、図４から図１１への遷移において、点滅しているマークＭ２（第１の情報）の表示位置が切り替わっている。

第２の表示部１４は、切替入力に応じて、第１のディスプレイ７に表示する商品候補を切り替える。図４に示す状態において、第１の情報で特定する物体（商品候補を表示する物体）を商品Ｐ３から商品Ｐ２に切り替える入力があった場合、第２の表示部１４は、それに応じて、第１のディスプレイ７に表示する商品候補を、商品Ｐ３の商品候補から商品Ｐ２の商品候補に切り替える。

第１の表示部１３及び第２の表示部１４のその他の構成は、第１の実施形態と同様である。

以上説明した本実施形態の登録システム１０によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態の登録システム１０によれば、商品候補を表示する対象をユーザ入力に応じて切り替えることができる。ユーザは、自身の好きな順に処理を進めることができる。

＜第３の実施形態＞
本実施形態の登録システム１０は、図１３に示すように、第１の情報でＭ個（Ｍは２以上）の物体（商品候補を表示する物体）を特定し、当該状態で商品候補の中から１つを選択する選択入力を受付けると、Ｍ個分の選択された商品候補を会計対象として登録する点で、第１及び第２の実施形態と異なる。

本実施形態の登録システム１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。

登録システム１０の機能ブロック図の一例は、図１０で示される。図示するように、登録システム１０は、検出部１１と、認識部１２と、第１の表示部１３と、第２の表示部１４と、選択入力受付部１５と、登録部１６と、切替入力受付部１７とを有する。検出部１１、認識部１２及び選択入力受付部１５の構成は、第１及び第２の実施形態と同様である。

切替入力受付部１７は、認識部１２により商品認識されなかった物体の中のＭ個（Ｍは２以上）を特定する第１の情報を表示するユーザ入力（グループ化入力）を受付ける。グループ化入力は、例えば、図１２に示すように商品Ｐ２の載置位置に表示された点滅しているマークＭ２（第１の情報）と、他の商品Ｐ２´の載置位置に表示されたマークＭ２とを同時にタップする操作であってもよい。なお、タッチ操作の内容は設計的事項である。

第１の表示部１３は、グループ化入力に応じて、第１の情報で特定する物体を切り替える。例えば、図１２に示す状態において、商品Ｐ２と商品Ｐ２´を特定する第１の情報を表示するユーザ入力を受付けると、第１の表示部１３は、図１３に示すように、表示内容を変更する。図１３では、商品Ｐ２の載置位置及び商品Ｐ２´の載置位置の両方に、点滅しているマークＭ２（第１の情報）が表示されている。

第２の表示部１４は、第１の情報で特定される複数の物体の商品候補を第１のディスプレイ７に表示する。例えば、第２の表示部１４は、第１の情報で特定される複数の物体の中のいずれかの商品候補となっている商品を、商品候補として表示することができる。

登録部１６は、Ｍ個（Ｍは２以上）の物体を特定する第１の情報が表示されている状態で選択入力受付部１５が商品候補の中から１つを選択する選択入力を受付けると、Ｍ個分の選択された商品候補を会計対象として登録する。

第１の表示部１３、第２の表示部１４及び登録部１６のその他の構成は、第１及び第２の実施形態と同様である。

以上説明した本実施形態の登録システム１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態の登録システム１０によれば、複数の同一商品が商品認識されず、会計対象として登録されていない場合、それらをひとまとめにして、商品候補を指定する入力を行うことができる。結果、ユーザの作業効率が向上する。

＜第４の実施形態＞
本実施形態の登録システム１０は、図１４に示すように、認識部１２により商品認識されなかった物体を特定する第１の情報として、各々に対応して発行された識別情報（丸数字）を表示する点で、第１乃至第３の実施形態と異なる。

本実施形態の登録システム１０のハードウエア構成の一例は、第１乃至第３の実施形態と同様である。

登録システム１０の機能ブロック図の一例は、図２又は図１０で示される。図示するように、登録システム１０は、検出部１１と、認識部１２と、第１の表示部１３と、第２の表示部１４と、選択入力受付部１５と、登録部１６とを有し、さらに切替入力受付部１７を有してもよい。検出部１１、認識部１２、選択入力受付部１５、登録部１６及び切替入力受付部１７の構成は、第１乃至第３の実施形態と同様である。

第１の表示部１３は、図１４に示すように、認識部１２により商品認識されなかった物体を特定する第１の情報として、各々に対応して発行された識別情報を第２のディスプレイ２に表示する。識別情報は、認識部１２により商品認識されなかった物体を識別する情報である。識別情報は、例えば数字、文字、マーク、図形等で構成される。各識別情報は、各物体に近接して表示される。

第２の表示部１４は、図１５に示すように、第１の情報として表示されている識別情報各々に対応付けて、商品候補を表示する。図１５の状態で、「超炭酸（ライム味）」が選択されると、図１６に示すように選択された商品候補が会計対象に追加される。そして、第１の情報として表示されている他の識別情報に対応付けて、他の商品候補が新たに表示される。このように第２の表示部１４は、認識部１２により商品認識されなかった物体が複数ある場合、１つずつ順に商品候補を表示してもよい。

その他、第２の表示部１４は、図１７に示すように、認識部１２により商品認識されなかった物体が複数ある場合、複数の物体各々の商品候補を同時に表示してもよい。

以上説明した本実施形態の登録システム１０によれば、第１乃至第３の実施形態と同様な作用効果を実現できる。

＜第５の実施形態＞
本実施形態の登録システム１０は、図１８に示すように、認識部１２により商品認識されなかった物体を特定する第１の情報として、各々に対応して発行された識別情報を表示する。そして、本実施形態の登録システム１０は、ユーザ入力に基づき、図１９に示すように、複数の物体に同じ識別情報を付すことができる。当該点で、第１乃至第４の実施形態と異なる。

本実施形態の登録システム１０のハードウエア構成の一例は、第１乃至第４の実施形態と同様である。

登録システム１０の機能ブロック図の一例は、図１０で示される。図示するように、登録システム１０は、検出部１１と、認識部１２と、第１の表示部１３と、第２の表示部１４と、選択入力受付部１５と、登録部１６と、切替入力受付部１７とを有する。検出部１１、認識部１２及び選択入力受付部１５の構成は、第１乃至第４の実施形態と同様である。

第１の表示部１３は、図１８に示すように、認識部１２により商品認識されなかった物体を特定する第１の情報として、各々に対応して発行された識別情報を第２のディスプレイ２に表示する。識別情報は、例えば数字、文字、マーク、図形等で構成される。

切替入力受付部１７は、認識部１２により商品認識されなかった物体の中のＭ個（Ｍは２以上）を特定する１つの識別情報を表示するユーザ入力（グループ化入力）を受付ける。グループ化入力は、例えば、図１８に示す状態において、商品Ｐ２の載置位置に表示されたマークＭ２と商品Ｐ２´の載置位置に表示されたマークＭ２とを同時にタップする操作であってもよい。なお、タッチ操作の内容は設計的事項である。

第１の表示部１３は、グループ化入力に応じて、第１の情報の表示内容を切り替える。例えば、図１８に示す状態において、商品Ｐ２の載置位置に表示されたマークＭ２と商品Ｐ２´の載置位置に表示されたマークＭ２とを同時にタップする操作（グループ化入力）を受付けると、第１の表示部１３は、図１９に示すように、表示内容を変更する。図１９では、商品Ｐ２の載置位置及び商品Ｐ２´の載置位置に対応付けて、同じ識別情報（丸１）が表示されている。

第２の表示部１４は、１つの識別情報で特定される複数の物体の商品候補を第１のディスプレイ７に表示する。例えば、第２の表示部１４は、１つの識別情報で特定される複数の物体の中のいずれかの商品候補となっている商品を、商品候補として表示することができる。

登録部１６は、Ｍ個（Ｍは２以上）の物体を特定する識別情報（第１の情報）が表示されている状態で選択入力受付部１５が商品候補の中から１つを選択する選択入力を受付けると、Ｍ個分の選択された商品候補を会計対象として登録する。

第１の表示部１３、第２の表示部１４、登録部１６及び切替入力受付部１７のその他の構成は、第１乃至及び第４の実施形態と同様である。

以上説明した本実施形態の登録システム１０によれば、第１乃至第４の実施形態と同様な作用効果を実現できる。また、本実施形態の登録システム１０によれば、複数の同一商品が商品認識されず、会計対象として登録されていない場合、それらをひとまとめにして、商品候補を指定する入力を行うことができる。結果、ユーザの作業効率が向上する。

ここで、すべての実施形態に適用可能な変形例を説明する。変形例では、登録システム１０は、第２のディスプレイ２を有さなくてもよい。この場合、第１の表示部１３は、上記実施形態において第２のディスプレイ２に表示していた情報を、投影装置を用いて載置台１の載置面に表示することができる。

第１の表示部１３は、「画像の座標」を「投影装置の投影領域の座標」に変換する変換ルールを予め保持しておく。そして、第１の表示部１３は、画像内の物体の位置（座標）を当該変換ルールに基づき投影装置の投影領域の座標に変換し、例えば変換した位置を囲むように、又は、その位置に近接して、所定の情報を投影することができる。投影装置の投影領域の座標は、投影領域内の任意の位置を原点とし、任意の方向をｘ軸方向及びｙ軸方向と定めた座標系で示される。

以下、参考形態の例を付記する。
１． 商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出手段と、
前記物体がいずれの商品であるか認識する認識手段と、
商品認識されなかった前記物体である第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示手段と、
前記第１の物体の商品候補をディスプレイに表示する第２の表示手段と、
前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付手段と、
認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録手段と、
を有する登録システム。
２． １に記載の登録システムにおいて、
前記台はタッチパネルディスプレイであり、前記タッチパネルディスプレイの表示面が前記載置面となり、
前記タッチパネルディスプレイを介して、前記商品候補を表示する物体を切り替える切替入力を受付ける切替入力受付手段をさらに有し、
前記第１の表示手段は、前記切替入力に応じて、前記第１の情報で特定する物体を切り替える登録システム。
３． ２に記載の登録システムにおいて、
前記第２の表示手段は、前記切替入力に応じて、前記ディスプレイに表示する前記商品候補を切り替える登録システム。
４． １から３のいずれかに記載の登録システムにおいて、
前記商品候補は、前記認識手段による認識結果に基づき決定される登録システム。
５． １から４のいずれかに記載の登録システムにおいて、
前記第１の表示手段は、１つの前記第１の物体を特定する前記第１の情報を前記載置面に表示する登録システム。
６． １から５のいずれかに記載の登録システムにおいて、
前記第１の表示手段は、Ｍ個（Ｍは２以上）の前記第１の物体を特定する前記第１の情報を前記載置面に表示し、
Ｍ個（Ｍは２以上）の前記第１の物体を特定する前記第１の情報が表示されている状態で前記選択入力受付手段が前記商品候補の中から１つを選択する選択入力を受付けると、前記登録手段は、Ｍ個分の選択された前記商品候補を会計対象として登録する登録システム。
７． コンピュータが、
商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出工程と、
前記物体がいずれの商品であるか認識する認識工程と、
商品認識されなかった前記物体である第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示工程と、
前記第１の物体の商品候補をディスプレイに表示する第２の表示工程と、
前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付工程と、
認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録工程と、
を実行する登録方法。
８． コンピュータを、
商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出手段、
前記物体がいずれの商品であるか認識する認識手段、
商品認識されなかった前記物体である第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示手段、
前記第１の物体の商品候補をディスプレイに表示する第２の表示手段、
前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付手段、
認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録手段、
として機能させるプログラム。

この出願は、２０１８年３月２２日に出願された日本出願特願２０１８－０５４１００号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

1. 商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出手段と、
   前記物体がいずれの商品であるか認識する認識手段と、
   商品認識されなかった前記物体である第１の物体のうち、指定された前記第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示手段と、
   前記指定された前記第１の物体の商品候補をディスプレイに表示する第２の表示手段と、
   前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付手段と、
   認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録手段と、
   を有する登録システム。
2. 請求項１に記載の登録システムにおいて、
   前記台はタッチパネルディスプレイであり、前記タッチパネルディスプレイの表示面が前記載置面となり、
   前記タッチパネルディスプレイを介して、前記商品候補を表示する物体を切り替える切替入力を受付ける切替入力受付手段をさらに有し、
   前記第１の表示手段は、前記切替入力に応じて、前記第１の情報で特定する物体を切り替える登録システム。
3. 請求項２に記載の登録システムにおいて、
   前記第２の表示手段は、前記切替入力に応じて、前記ディスプレイに表示する前記商品候補を切り替える登録システム。
4. 請求項１から３のいずれか１項に記載の登録システムにおいて、
   前記商品候補は、前記認識手段による認識結果に基づき決定される登録システム。
5. 請求項１から４のいずれか１項に記載の登録システムにおいて、
   前記第１の表示手段は、１つの前記第１の物体を特定する前記第１の情報を前記載置面に表示する登録システム。
6. 請求項１から５のいずれか１項に記載の登録システムにおいて、
   前記第１の表示手段は、Ｍ個（Ｍは２以上）の前記第１の物体を特定する前記第１の情報を前記載置面に表示し、
   Ｍ個（Ｍは２以上）の前記第１の物体を特定する前記第１の情報が表示されている状態で前記選択入力受付手段が前記商品候補の中から１つを選択する選択入力を受付けると、前記登録手段は、Ｍ個分の選択された前記商品候補を会計対象として登録する登録システム。
7. コンピュータが、
   商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出工程と、
   前記物体がいずれの商品であるか認識する認識工程と、
   商品認識されなかった前記物体である第１の物体のうち、指定された前記第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示工程と、
   前記指定された前記第１の物体の商品候補をディスプレイに表示する第２の表示工程と、
   前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付工程と、
   認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録工程と、
   を実行する登録方法。
8. コンピュータを、
   商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出する検出手段、
   前記物体がいずれの商品であるか認識する認識手段、
   商品認識されなかった前記物体である第１の物体のうち、指定された前記第１の物体を特定する第１の情報を、前記載置面に表示する第１の表示手段、
   前記指定された前記第１の物体の商品候補をディスプレイに表示する第２の表示手段、
   前記商品候補の中から１つを選択する選択入力を受付ける選択入力受付手段、
   認識された前記商品、及び、前記選択入力で選択された前記商品候補を、会計対象として登録する登録手段、
   として機能させるプログラム。

Images