JPWO2019215966A1 - 登録システム、登録方法及びプログラム - Google Patents

Abstract

本発明は、撮像手段から、商品を含む画像を取得する取得部（１０）と、商品に関する割引情報を含むマークの少なくとも一部分が画像に含まれているが画像解析で割引情報を取得できない場合、割引情報を取得するための案内情報を出力する出力部（３０）と、を有する登録システム（１００）を提供する。

Description

本発明は、登録システム、登録方法及びプログラムに関する。

消費期限間近又は賞味期限間近等の所定の条件を満たす商品を値引き販売することがなされている。そして、その実務の一例として、値引き対象の商品に値引きシール等を付すことで、値引き対象の商品であることを顧客や店の店員に明示する手法が利用されている。また、近年、値引き対象の商品に付された値引きシール等を画像解析で認識することが検討されている。関連する技術が、特許文献１乃至３に開示されている。

特許文献１は、サービスラベルの対象商品か否かを事前に登録しておき、サービスラベル対象である場合、サービスラベルを認識するように制御するとともに、サービスラベル対象の商品からサービスラベルを認識できなかった場合、「値引きラベルはありませんか？」等のメッセージを店員用ディスプレイに表示させることを開示している。

特許文献２は、画像解析で商品に付された値引きシール等を認識し、会計処理に反映させる技術を開示している。

特許文献３は、人の手の位置やトングの位置を認識することにより、年齢、性別や割引率等販売関連情報を関連付けて登録する技術を開示している。

特開２０１５−２０７３１３号公報 特開２０１７−４１２７１号公報 特開２０１６−１１０４８０号公報

値引き販売を行う店は、値引きシール等の存在を見落とすことなく、確実に値引きして販売する手段を望む。

特許文献１に記載の技術の場合、サービスラベルの対象商品か否かを事前に登録しておく必要があり、手間がかかる。画像解析で商品に付された値引きシール等を認識する特許文献２に記載の技術の場合、事前登録という手間を回避できる。しかし、値引きシールが商品に付されているにもかかわらず、「値引きシールの一部が手で隠れている」等の何らかの理由により、画像解析で値引きシールを認識できない状況が発生し得る。この場合、その商品を値引きしないまま販売してしまうことになる。

特許文献３に記載の技術は、商品に付された値引きシール等を検出する技術でない。

本発明は、値引き対象の商品の事前登録なしでも、値引き対象の商品を値引きしないまま販売する不都合を抑制することを目的とする。

本発明によれば、
撮像手段から、商品を含む画像を取得する取得手段と、
前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力手段と、
を有する登録システムが提供される。

また、本発明によれば、
コンピュータが、
撮像手段から、商品を含む画像を取得する取得工程と、
前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力工程と、
を実行する登録方法が提供される。

また、本発明によれば、
コンピュータを、
撮像手段から、商品を含む画像を取得する取得手段、
前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力手段、
として機能させるプログラムが提供される。

本発明によれば、値引き対象の商品の事前登録なしでも、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態のマークＭの一例を模式的に示す図である。 本実施形態の登録システムの機能ブロック図の一例を示す図である。 本実施形態の装置のハードウエア構成の一例を示す図である。 本実施形態の登録システムの処理の流れの一例を示すフローチャートである。 本実施形態の登録システムの機能ブロック図の一例を示す図である。 本実施形態の画像解析部の機能ブロック図の一例を示す図である。 会計対象の商品を撮影する撮影システムの一例を模式的に示す図である。 会計対象の商品を撮影する撮影システムの一例を模式的に示す図である。 本実施形態の登録システムの処理の流れの一例を示すフローチャートである。 本実施形態の登録システムの処理の一例を説明するための図である。 本実施形態の登録システムの処理の一例を説明するための図である。

＜第１の実施形態＞
まず、本実施形態の登録システムの概要を説明する。本実施形態の登録システムを利用した会計実務においては、図１に示すような割引情報を含むマークＭが値引き対象の商品に付される。マークＭはシールであってもよい。図示する割引情報は「５０円引き」であり、文字で構成されている。なお、図示するマークＭはあくまで一例であり、これに限定されない。例えば、割引情報の内容、マークＭの形状等を他の構成とすることができる。

本実施形態の登録システムは、会計対象の商品を撮影するカメラにより生成された画像を解析して、商品に付されたマークＭを認識する。そして、マークＭの少なくとも一部分が画像に含まれていることが認識されたが、そのマークＭに含まれる割引情報を取得できなかった場合、登録システムは割引情報を取得するための案内情報を出力する。

このように、画像解析で割引情報を取得する本実施形態の登録システムによれば、値引き対象の商品の事前登録なしで、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。また、割引情報を取得できなかった場合であっても、マークＭの少なくとも一部分が画像に含まれていることを認識した場合に割引情報を取得するための案内情報を出力する本実施形態の登録システムによれば、本当は値引きシールが商品に付されているにもかかわらず、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。

次に、登録システム１００の構成を詳細に説明する。図２に、登録システム１００の機能ブロック図の一例を示す。図示するように、登録システム１００は、取得部１０と出力部３０とを有する。

なお、登録システム１００は、物理的及び／又は論理的に分かれた複数の装置により実現されてもよいし、物理的及び／又は論理的に１つの装置により実現されてもよい。物理的及び／又は論理的に分かれた複数の装置により実現される場合、複数の装置は有線及び／又は無線で互いに通信可能に構成される。

登録システム１００が備えるこれら機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図３は、登録システム１００のハードウエア構成を例示するブロック図である。図３に示すように、登録システム１００は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。周辺回路４Ａを有さなくてもよい。なお、物理的及び／又は論理的に分かれた複数の装置により登録システム１００が実現される場合、各装置が当該ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、図２に示す各機能部の機能構成を説明する。

取得部１０は、商品を撮影する撮像手段から、商品を含む画像を取得する。撮像手段は、動画像又は静止画像を生成するカメラである。以下、カメラにより生成され、取得部１０により取得される画像を「撮影画像」という。

出力部３０は、マークＭの少なくとも一部分が撮影画像に含まれているが画像解析でマークＭに含まれる割引情報を取得できない場合、割引情報を取得するための案内情報を出力する。案内情報は、登録システム１００が割引情報を取得できるようにするため情報であればよく、その詳細は様々である。具体例は、以下の実施形態で示す。

出力部３０は、ディスプレイ、スピーカ等のあらゆる出力装置を介して、案内情報を出力することができる。画像解析でマークＭの少なくとも一部分が撮影画像に含まれていることを認識する処理、及び、画像解析でマークＭに含まれる割引情報を取得する処理は、登録システム１００が行ってもよいし、登録システム１００と通信可能に構成された外部装置が行ってもよい。

次に、図４のフローチャートを用いて、登録システム１００の処理の流れの一例を説明する。

Ｓ２０では、取得部１０は、撮像手段から商品を含む撮影画像を取得する。Ｓ２１では、出力部３０は、商品に関する割引情報を含むマークＭの少なくとも一部分が撮影画像に含まれているが割引情報を取得できない場合、割引情報を取得するための案内情報を出力する。

以上、画像解析で割引情報を取得する本実施形態の登録システム１００によれば、値引き対象の商品の事前登録なしで、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。また、割引情報を取得できなかった場合であっても、マークＭの少なくとも一部分が画像に含まれていることを認識した場合に割引情報を取得するための案内情報を出力する本実施形態の登録システム１００によれば、本当は値引きシールが商品に付されているにもかかわらず、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。

＜第２の実施形態＞
本実施形態の登録システム１００は、第１の実施形態の登録システム１００と同様な処理を行うが、処理内容がより具体化される。

本実施形態の登録システム１００のハードウエア構成の一例は、第１の実施形態と同様である。

図５に、本実施形態の登録システム１００の機能ブロック図の一例を示す。図示するように、登録システム１００は、取得部１０と、画像解析部２０と、出力部３０と、登録部４０とを有する。図６に、画像解析部２０の機能ブロック図の一例を示す。図示するように、画像解析部２０は、マーク認識部２１と商品認識部２２とを有する。

なお、登録システム１００は、物理的及び／又は論理的に分かれた複数の装置により実現されてもよいし、物理的及び／又は論理的に１つの装置により実現されてもよい。物理的及び／又は論理的に分かれた複数の装置により実現される場合、複数の装置は有線及び／又は無線で互いに通信可能に構成される。

取得部１０は、第１の実施形態同様、商品を撮影する撮像手段から、商品を含む撮影画像を取得する。撮像手段は、動画像又は静止画像を生成するカメラである。

例えば、会計対象の商品を載置する台と、台の載置面を撮影するカメラとを含む撮影システムが利用されてもよい。そして、取得部１０は、当該カメラが生成した撮影画像を取得してもよい。

当該撮影システムの一例を図７に示す。図７に示す撮影システムは、台１と、部材２と、支柱３と、カメラ４とを有する。部材２は、台１の上面に位置し、台１の一部をなす。部材２の露出面が、商品を載置する載置面となる。すなわち、オペレータは、会計対象の商品を部材２の露出面に載置する。なお、部材２はディスプレイであってもよいし、他の部材であってもよい。

カメラ４は支柱３に取り付けられており、上方から部材２の露出面を撮影する。カメラ４により生成された撮影画像は、有線及び／又は無線での通信により、登録システム１００に送信される。取得部１０は、当該撮影画像を取得することができる。

その他、カメラの前に商品を１つずつかざすことで、各商品を含む撮影画像が生成される撮影システムが利用されてもよい。当該撮影システムの一例を図８に示す。図８に示す撮影システムは、読取窓５と、筐体６と、ディスプレイ７とを有する。筐体６の内部に不図示のカメラが設置される。読取窓５は光を通過させる構成となっている。カメラは、読取窓５を介して、読取窓５にかざされた商品を撮影する。カメラにより生成された撮影画像は、有線及び／又は無線での通信により、不図示の登録システム１００に送信される。取得部１０は、当該撮影画像を取得することができる。

図５に示す画像解析部２０は、取得部１０により取得された撮影画像を解析する。図６に示す商品認識部２２は、パターンマッチング技術等を利用して、撮影画像に含まれる商品を認識する。例えば、商品認識部２２は、画像の二値化、輪郭線抽出等の技術を利用して撮影画像に含まれる物体を検出する。その後、商品認識部２２は、検出した物体の撮影画像に現れる外観の特徴と、予め登録されている複数の商品各々の外観の特徴とを照合することで、その物体がいずれの商品であるかを特定する。例えば、商品認識部２２は、予め登録されている商品毎に、検出された物体との類似度を算出してもよい。そして、商品認識部２２は、検出された物体との類似度が最も高い商品、又は、その物体との類似度が最も高くかつ当該類似度が基準値以上の商品を特定してもよい。商品の外観の特徴は、色、表面の凹凸、形状等が例示されるが、これらに限定されない。

その他、商品認識部２２は、撮影画像に含まれる物体を検出した後、撮影画像内の物体が存在する領域の中から、パターンマッチング技術等を利用して、バーコードや２次元コード等のコードを検出してもよい。そして、商品認識部２２は、検出したコードを解析し、コードのパターンを情報に変換することで、そのコードが示す商品識別情報を取得してもよい。商品識別情報は、商品を識別できる情報であればよく、商品番号、商品名等が例示される。

図６に示すマーク認識部２１は、例えばパターンマッチング技術等を利用して、マークＭの少なくとも一部分が撮影画像に含まれていることを認識する。そして、マークＭの少なくとも一部分が撮影画像に含まれていることが認識できた場合、マーク認識部２１は、例えば文字認識技術等を利用して、そのマークＭに含まれる割引情報を取得する。

ここで、マークＭの構成例を説明する。図１に、マークＭの一例を模式的に示す。図示するマークＭは円形であり、パターン領域Ａ１と情報領域Ａ２とで構成されている。パターン領域Ａ１には、特徴的なパターンが描かれている。情報領域Ａ２には、割引情報が示されている。図示する割引情報は「５０円引き」であり、文字で構成されている。

なお、図示するマークＭはあくまで一例であり、これに限定されない。例えば、割引情報の内容、パターン領域Ａ１のパターン、パターン領域Ａ１と情報領域Ａ２各々の形状や面積配分、マークＭの形状等を他の構成とすることができる。

次に、マークＭの少なくとも一部分が撮影画像に含まれていることを認識する手段の一例を説明する。なお、あくまで一例であり、これに限定されない。

例えば、マーク認識部２１は、マークＭの少なくとも一部分を示すテンプレート画像と、取得部１０により取得された撮影画像とを照合し、テンプレート画像に合致する領域が撮影画像内に存在することを認識することで、マークＭの少なくとも一部分が撮影画像に含まれていることを認識してもよい。テンプレート画像との合致は、完全一致であってもよいし、完全一致に加えて類似度が閾値以上を含む概念であってもよい。

なお、マーク認識部２１は、テンプレート画像と照合する対象を、商品認識部２２により物体が存在すると認識された撮影画像内の領域に限定してもよい。その他、マーク認識部２１は、テンプレート画像と照合する対象を、商品認識部２２によりいずれの商品であるかを特定された物体が存在する撮影画像内の領域に限定してもよい。

その他、マーク認識部２１は、マークＭのパターン領域Ａ１のパターンを示す領域が撮影画像内に存在することを認識することで、マークＭの少なくとも一部分が撮影画像に含まれていることを認識してもよい。

なお、マーク認識部２１は、パターン領域Ａ１のパターンを示す領域を検索する対象を、商品認識部２２により物体が存在すると認識された撮影画像内の領域に限定してもよい。その他、マーク認識部２１は、パターン領域Ａ１のパターンを示す領域を検索する対象を、商品認識部２２によりいずれの商品であるかを特定された物体が存在する撮影画像内の領域に限定してもよい。

次いで、マーク認識部２１が割引情報を取得する手段の一例を説明する。なお、あくまで一例であり、これに限定されない。例えば、マーク認識部２１は、マークＭが存在する撮影画像内の領域に対して文字認識処理を行うことにより、そのマークＭに含まれる割引情報を取得することができる。

マークＭの少なくとも一部分を示すテンプレート画像を用いた照合処理でマークＭの少なくとも一部分が撮影画像に含まれていることを認識した場合、テンプレート画像と合致した撮影画像内の領域を、文字認識処理を行う対象領域としてもよい。

その他、パターン領域Ａ１のパターンを示す領域が撮影画像に存在することを認識することで、マークＭの少なくとも一部分が撮影画像に含まれていることを認識した場合、パターン領域Ａ１のパターンを示す撮影画像内の領域に基づき、文字認識処理を行う対象領域を決定してもよい。

例えば、パターン領域Ａ１のパターンを示す撮影画像内の領域が、図１に示すパターン領域Ａ１と同様に円の外周を描く場合、マーク認識部２１は、当該円に内包される撮影画像内の領域を、文字認識処理を行う対象領域としてもよい。

その他、パターン領域Ａ１のパターンを示す撮影画像内の領域が、円の外周の一部を描く場合、マーク認識部２１は、当該円の外周の一部を含んで構成される円の外周全体を推定し、推定した円に内包される撮影画像内の領域を、文字認識処理を行う対象領域としてもよい。

登録部４０は、商品認識部２２により認識された商品を、会計対象として登録する。すなわち、登録部４０は、商品認識部２２により認識された商品の商品情報を商品マスタから取得し、会計対象として登録する。商品情報は、例えば商品名、価格等を含む。

なお、マーク認識部２１により割引情報が取得された場合、登録部４０は、会計対象として登録される商品の価格を、マーク認識部２１により取得された割引情報に基づき変更する。具体的には、登録部４０は、商品マスタから取得したその商品の価格を割引情報に基づき変更し、変更後の価格をその商品の価格として登録する。

例えば、マーク認識部２１により取得された割引情報が「○○円引き」であった場合、登録部４０は、商品マスタから取得したその商品の価格から○○円を引いた価格をその商品の価格として登録する。

出力部３０は、マークＭの少なくとも一部分が撮影画像に含まれていることが認識されたが、当該マークＭに含まれる割引情報を取得できなかった場合、割引情報を取得するための案内情報を出力する。案内情報は、割引情報が取得できないことを示す情報を含むことができる。案内情報の他の例は、以下の処理の流れの説明で示す。出力部３０は、ディスプレイ、スピーカ等のあらゆる出力装置を介して、案内情報を出力することができる。

次に、図９のフローチャートを用いて、登録システム１００の処理の流れの一例を説明する。

登録システム１００のオペレータである店員又は顧客は、会計対象の商品を撮影する作業を行う。例えば、図７に示す部材２の上に会計対象の商品を載置する作業であってもよいし、図８に示す読取窓５に会計対象の商品をかざす作業であってもよい。当該作業の結果、会計対象の商品がカメラにより撮影される。

取得部１０は、カメラから撮影画像を取得する（Ｓ１０）。そして、画像解析部２０は、当該撮影画像を解析する（Ｓ１１）。具体的には、商品認識部２２は、撮影画像に含まれる商品を認識する。また、マーク認識部２１は、マークＭの少なくとも一部分が撮影画像に含まれることを認識する。そして、マークＭの少なくとも一部分が撮影画像に含まれることが認識できた場合、マーク認識部２１は、そのマークＭに含まれる割引情報を取得する。なお、商品認識部２２及びマーク認識部２１による処理の詳細は、上述の通りであるのでここでは省略する。

Ｓ１１の画像解析の結果、商品が認識でき（Ｓ１２のＹｅｓ）、マークＭの少なくとも一部分が撮影画像に含まれることが認識でき（Ｓ１３のＹｅｓ）、かつ、割引情報が取得できた場合（Ｓ１４のＹｅｓ）、登録部４０は、Ｓ１１で認識された商品の商品情報を商品マスタから取得し、取得した商品情報に含まれる商品の価格を割引情報に基づき変更した後、その商品を会計対象として登録する（Ｓ１６）。

Ｓ１１の画像解析の結果、商品が認識でき（Ｓ１２のＹｅｓ）、マークＭの少なくとも一部分が撮影画像に含まれることが認識できたが（Ｓ１３のＹｅｓ）、割引情報が取得できなかった場合（Ｓ１４のＮｏ）、出力部３０は割引情報を取得するため案内情報を出力する（Ｓ１７）。

例えば、出力部３０は、Ｓ１７において、「割引情報が取得できませんでした。マークＭが認識できるように○○（認識された商品の商品名）を撮影し直してください」等の再撮影を促す案内情報を出力してもよい。この場合、登録部４０は、Ｓ１１で認識された当該商品を会計対象として登録しなくてもよい。当該例の場合、当該商品は、再撮影で生成された撮影画像を解析した際に、会計対象として登録されることとなる。

その他、出力部３０は、Ｓ１７において、「割引情報が取得できませんでした。○○（認識された商品の商品名）に付されている割引情報を選択してください。」というメッセージと共に、「３０円引き」、「５０円引き」、「半額」等の複数の割引情報を選択可能にディスプレイに表示してもよい。そして、登録システム１００の入力装置は、いずれかの割引情報を選択する入力を受付けてもよい。登録部４０は、Ｓ１１で認識された商品の商品情報を商品マスタから取得し、取得した商品情報に含まれる商品の価格を選択された割引情報に基づき変更した後、その商品を会計対象として登録することができる。

Ｓ１１の画像解析の結果、商品が認識でき（Ｓ１２のＹｅｓ）、かつ、マークＭの少なくとも一部分が撮影画像に含まれることが認識できなかった場合（Ｓ１３のＮｏ）、登録部４０は、Ｓ１１で認識された商品の商品情報を商品マスタから取得し、取得した商品情報に含まれる商品の価格を変更せずに、その商品を会計対象として登録する（Ｓ１５）。

撮影画像から複数の商品が認識された場合、Ｓ１３乃至Ｓ１７の処理は認識された複数の商品各々に対して実行される。

Ｓ１１の画像解析の結果、商品が認識できない場合（Ｓ１２のＮｏ）、精算を開始する指示入力がなければ（Ｓ１８のＮｏ）、Ｓ１０に戻って同様の処理を繰り返す。なお、図７の構成を前提とする場合、画像解析部２０は、例えば撮影画像の時系列な変化に基づき、部材２に新たに載置された物体と、部材２に載置され続けている物体とを識別することができる。そして、新たな物体が検出されると、登録部４０は、その物体に対する認識結果に基づき、新たな商品を会計対象として登録する。

精算開始する指示入力があった場合（Ｓ１８のＹｅｓ）、登録システム１００は精算処理を実行する（Ｓ１９）。例えば、登録システム１００は、それまでに登録された商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、登録システム１００は、クレジットカードの入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、登録システム１００は、精算処理のための情報を他の精算装置に送信してもよい。精算処理のための情報は、例えば登録された商品を示す情報や支払合計金額等を含む。

以上説明した本実施形態の登録システム１００によれば、画像解析でマークＭの存在の認識、及び、割引情報の取得を行うことができる。このような本実施形態の登録システムによれば、値引き対象の商品の事前登録なしで、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。

また、本実施形態の登録システム１００によれば、マークＭの存在が認識されたが、そのマークＭから割引情報を取得できなかった場合、割引情報を取得するための案内情報を出力することができる。このような本実施形態の登録システムによれば、本当は値引きシールが商品に付されているにもかかわらず、値引き対象の商品を値引きしないまま販売する不都合を抑制できる。

＜第３の実施形態＞
本実施形態の登録システム１００は、マークＭの少なくとも一部分が撮影画像に含まれていることが認識できたが、そのマークＭから割引情報が取得できなかった場合、マークＭの撮影画像内での状態に応じて、出力する案内情報の内容を変更することができる。以下、詳細に説明する。なお、本実施形態では、少なくとも一部分が撮影画像に含まれていることが認識されたが、割引情報が取得できなかったマークＭを「情報未取得マーク」という。

本実施形態の登録システム１００のハードウエア構成の一例は、第１及び第２の実施形態と同様である。

本実施形態の登録システム１００の機能ブロック図は、第１及び第２の実施形態同様、図２又は図５で示される。図２に示すように、登録システム１００は、取得部１０と、出力部３０とを有する。また、図５に示すように、登録システム１００は、取得部１０と出力部３０に加えて、画像解析部２０と登録部４０とを有することができる。取得部１０及び登録部４０の構成は、第１及び第２の実施形態と同様である。

画像解析部２０は、例えば、情報未取得マークが撮影画像から見切れているか判断する。例えば、画像解析部２０は、図１０に示すように、情報未取得マークＭ´が存在する撮影画像内の領域が撮影画像の端に接する場合、その情報未取得マークＭ´が撮影画像から見切れていると判断することができる。

出力部３０は、情報未取得マークＭ´が撮影画像から見切れている場合、当該情報未取得マークＭ´を付された商品の載置位置を変える指示を含む案内情報を出力することができる。

その他、画像解析部２０は、撮影画像を解析し、例えば手等の人体を認識することができる。そして、画像解析部２０は、撮影画像内で認識した人体と、情報未取得マークＭ´との位置関係が所定の条件を満たすか判断する。例えば、画像解析部２０は、図１１に示すように、検出した人体Ｈが存在する撮影画像内の領域と、情報未取得マークＭ´が存在する撮影画像内の領域とが互いに接する場合、所定の条件を満たすと判断することができる。なお、Ｆは撮影画像、Ｐ１は商品、Ｈは手である。

出力部３０は、撮影画像に含まれる人体と、情報未取得マークＭ´との位置関係が所定の条件を満たす場合、人体の位置を変える指示を含む案内情報を出力することができる。

画像解析部２０及び出力部３０のその他の構成は、第１及び第２の実施形態と同様である。

以上説明した本実施形態の登録システム１００によれば、第１及び第２の実施形態と同様な作用効果を実現できる。

また、画像解析でマークＭの存在が認識されたが、そのマークＭから割引情報を取得できなかった場合、画像解析でそのマークの状態を特定し、特定した状態に応じた案内情報を出力することができる。このため、次の撮影で生成された撮影画像を解析することで、割引情報が取得される可能性が高くなる。

＜第４の実施形態＞
本実施形態の登録システム１００は、マーク認識部２１によるマークＭの認識結果に応じて、出力する案内情報の内容を変更することができる。以下、詳細に説明する。

本実施形態の登録システム１００のハードウエア構成の一例は、第１乃至第３の実施形態と同様である。

本実施形態の登録システム１００の機能ブロック図は、第１乃至第３の実施形態同様、図２又は図５で示される。図２に示すように、登録システム１００は、取得部１０と、出力部３０とを有する。また、図５に示すように、登録システム１００は、取得部１０と出力部３０に加えて、画像解析部２０と登録部４０とを有することができる。取得部１０、画像解析部２０及び登録部４０の構成は、第１乃至第３の実施形態と同様である。

出力部３０は、マーク認識部２１によるマークＭの認識結果に応じた案内情報を出力する。

例えば、マークＭの一部が認識され、割引情報が取得できない場合、出力部３０は、第２の実施形態及び第３の実施形態で説明した案内情報を出力することができる。その他、出力部３０は、「商品を動かさないようにして撮影してください」等のように撮影方法を示す案内情報を出力してもよい。

また、マークＭの全体が認識されたが、割引情報が取得できない場合、「商品を動かさないようにして撮影してください」等のように撮影方法を示す案内情報を出力してもよい。マークＭの全体が認識されたが、割引情報が取得できない状況は、例えば、商品が動いているためマークＭがブレたり、マークＭに対するピントが合わずにボケたりした場合に起こり得る。このような場合、パターン領域Ａ１のパターンを撮影画像内で特定できるが、文字認識処理で割引情報を取得できないという状況が発生し得る。本実施形態の場合、このような状況下で適切な案内情報を出力することができる。

また、マーク認識部２１によりマークＭの少なくとも一部が認識された後、マーク認識部２１により割引情報を取得する処理が実行されている間、出力部３０は、「割引情報を取得中です」のように割引情報を取得中であることを示す案内情報を出力してもよい。さらに、この場合、出力部３０は、商品を現在の位置から動かさないようにする案内情報を出力してもよい。また、マークＭの全体が認識できるように商品の載置位置を変更するような案内情報を出力してもよい。

以上説明した本実施形態の登録システム１００によれば、第１乃至第３の実施形態と同様な作用効果を実現できる。

また、マーク認識部２１によるマークＭの認識結果に応じて、出力する案内情報の内容を変更することができるので、状況に応じた適切な案内情報を出力することができる。

以下、参考形態の例を付記する。
１． 撮像手段から、商品を含む画像を取得する取得手段と、
前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力手段と、
を有する登録システム。
２． １に記載の登録システムにおいて、
前記案内情報は、前記割引情報が取得できないことを示す情報を含む登録システム。
３． １又は２に記載の登録システムにおいて、
前記マークの少なくとも一部分が前記画像に含まれていることを認識し、当該マークに含まれる前記割引情報を取得するマーク認識手段をさらに有し、
前記マークの少なくとも一部分が前記画像に含まれていることが認識されたが、当該マークに含まれる前記割引情報が取得できなかった場合、前記出力手段は前記案内情報を出力する登録システム。
４． １から３のいずれかに記載の登録システムにおいて、
前記マークの少なくとも一部分が前記画像に含まれていることを認識し、当該マークに含まれる前記割引情報を取得するマーク認識手段と、
前記画像に含まれる商品を認識する商品認識手段と、
前記商品認識手段により認識された前記商品を会計対象として登録する登録手段と、
をさらに有し、
前記割引情報が取得された場合、前記登録手段は、取得された前記割引情報に基づき、会計対象として登録する商品の価格を変更する登録システム。
５． １から４のいずれかに記載の登録システムにおいて、
前記出力手段は、前記画像に含まれる人体と、前記マークとの位置関係が所定の条件を満たす場合、前記人体の位置を変える指示を出力する登録システム。
６． １から５のいずれかに記載の登録システムにおいて、
前記出力手段は、前記マークが前記画像から見切れている場合、前記商品の位置を変える指示を出力する登録システム。
７． コンピュータが、
撮像手段から、商品を含む画像を取得する取得工程と、
前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力工程と、
を実行する登録方法。
８． コンピュータを、
撮像手段から、商品を含む画像を取得する取得手段、
前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力手段、
として機能させるプログラム。

この出願は、２０１８年５月９日に出願された日本出願特願２０１８−０９０７４８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

1. 撮像手段から、商品を含む画像を取得する取得手段と、
   前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力手段と、
   を有する登録システム。
2. 請求項１に記載の登録システムにおいて、
   前記案内情報は、前記割引情報が取得できないことを示す情報を含む登録システム。
3. 請求項１又は２に記載の登録システムにおいて、
   前記マークの少なくとも一部分が前記画像に含まれていることを認識し、当該マークに含まれる前記割引情報を取得するマーク認識手段をさらに有し、
   前記マークの少なくとも一部分が前記画像に含まれていることが認識されたが、当該マークに含まれる前記割引情報が取得できなかった場合、前記出力手段は前記案内情報を出力する登録システム。
4. 請求項１から３のいずれか１項に記載の登録システムにおいて、
   前記マークの少なくとも一部分が前記画像に含まれていることを認識し、当該マークに含まれる前記割引情報を取得するマーク認識手段と、
   前記画像に含まれる商品を認識する商品認識手段と、
   前記商品認識手段により認識された前記商品を会計対象として登録する登録手段と、
   をさらに有し、
   前記割引情報が取得された場合、前記登録手段は、取得された前記割引情報に基づき、会計対象として登録する商品の価格を変更する登録システム。
5. 請求項１から４のいずれか１項に記載の登録システムにおいて、
   前記出力手段は、前記画像に含まれる人体と、前記マークとの位置関係が所定の条件を満たす場合、前記人体の位置を変える指示を出力する登録システム。
6. 請求項１から５のいずれか１項に記載の登録システムにおいて、
   前記出力手段は、前記マークが前記画像から見切れている場合、前記商品の位置を変える指示を出力する登録システム。
7. コンピュータが、
   撮像手段から、商品を含む画像を取得する取得工程と、
   前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力工程と、
   を実行する登録方法。
8. コンピュータを、
   撮像手段から、商品を含む画像を取得する取得手段、
   前記商品に関する割引情報を含むマークの少なくとも一部分が前記画像に含まれているが画像解析で前記割引情報を取得できない場合、前記割引情報を取得するための案内情報を出力する出力手段、
   として機能させるプログラム。

Images