JP7322945B2 - 処理装置、処理方法及びプログラム - Google Patents

Description

本発明は、処理装置、処理方法及びプログラムに関する。

特許文献１に開示の装置は、参照画像との類似度に基づき画像中の物体を認識する画像認識エンジンと、画像中のバーコードを認識することで画像中の物体を認識する画像認識エンジンとの両方に同時に画像中の物体を問合せ、複数のエンジンの認識結果うち最も信頼性の高い認識結果を採用する。

特開２０１８－１８１０８１号公報

複数の画像解析手法で画像に含まれる商品を認識し、複数の画像解析手法各々の認識結果に基づき画像に含まれる商品を認識することで、画像解析で商品を認識する精度が高まる。しかし、複数の画像解析方法各々の認識結果を同一の物体に関するもの同士でまとめる必要がある場合、まとめる精度が低いと、画像解析で商品を認識する精度が低くなる場合がある。特許文献１は当該課題を解決する手段を開示していない。

本発明は、複数の画像解析方法各々の認識結果を同一の物体に関するもの同士でまとめる技術を提供することを課題とする。

本開示によれば、
画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定手段と、
前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定手段と、
前記コードが示す商品識別情報を特定するコード商品特定手段と、
前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け手段と、
を有し、
前記対応付け手段は、
前記商品識別情報と、前記物体エリアが前記コードエリアを内包する前記物体とを対応付け、
前記コードエリアを内包する前記物体エリアが複数ある場合、前記物体エリア内における前記コードエリアの位置が、予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体に前記商品識別情報を対応付ける処理装置が提供される。

また、本開示によれば、
コンピュータが、
画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定工程と、
前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定工程と、
前記コードが示す商品識別情報を特定するコード商品特定工程と、
前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け工程と、
を実行し、
前記対応付け工程では、
前記商品識別情報と、前記物体エリアが前記コードエリアを内包する前記物体とを対応付け、
前記コードエリアを内包する前記物体エリアが複数ある場合、前記物体エリア内における前記コードエリアの位置が、予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体に前記商品識別情報を対応付ける処理方法が提供される。

また、本開示によれば、
コンピュータを、
画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定手段、
前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定手段、
前記コードが示す商品識別情報を特定するコード商品特定手段、
前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け手段、
として機能させ、
前記対応付け手段は、
前記商品識別情報と、前記物体エリアが前記コードエリアを内包する前記物体とを対応付け、
前記コードエリアを内包する前記物体エリアが複数ある場合、前記物体エリア内における前記コードエリアの位置が、予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体に前記商品識別情報を対応付けるプログラムが提供される。

また、本発明によれば、
複数の商品が含まれる画像を取得する画像取得手段と、
前記画像内の各商品の外形を示すエリアを特定する物体エリア特定手段と、
前記画像内でのコードの外形を示すエリアを特定するコードエリア特定手段と、
商品コードが示す商品識別情報を特定するコード商品特定手段と、
前記商品の外形を示すエリアと前記コードの外形を示すエリアが互いに重なる場合、前記商品の外形の位置に前記商品識別情報を対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果に基づき、商品登録を行う商品登録手段と、
を有する商品登録装置が提供される。

本発明によれば、複数の画像解析方法各々の認識結果を同一の物体に関するもの同士でまとめる技術が実現される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理を説明するための図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理を説明するための図である。 本実施形態の処理装置の処理を説明するための図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の会計システムの機能ブロック図の一例である。 本実施形態の会計システムのカメラ２０の設置例を示す図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置が出力する情報の一例を示す図である。

＜第１の実施形態＞
まず、本実施形態の概要を説明する。本実施形態では、商品にコードが付される。コードは、商品識別情報を示す。コードはバーコードであってもよいし、２次元コードであってもよいし、その他のコードであってもよい。すべての商品にコードが付されてもよいし、一部の商品にコードが付されてもよい。一部の商品にコードを付す場合、外観が互いに類似する他の商品が存在する商品にコードを付す。すなわち、外観の特徴のみで識別することが困難な商品にコードを付す。

本実施形態の処理装置は、画像内の物体の外形を示すエリア（以下、「物体エリア」という場合がある）を特定し、特定した物体エリア内に存在する物体の外観の特徴に基づき物体の商品識別情報を特定する。また、処理装置は、画像内のコードの外形を示すエリア（以下、「コードエリア」という場合がある）を特定し、特定したコードエリア内に存在するコードが示す商品識別情報を特定する。次いで、処理装置は、物体エリアとコードエリアが互いに重なる物体とコードを対応付ける。当該処理により、同一の商品に関する物体エリア、コードエリア、物体の外観の特徴に基づき特定した商品識別情報、及び、コードに基づき特定した商品識別情報を互いに対応付けることができる。そして、処理装置は、各商品に関するこれらの情報に基づき、画像に含まれる商品の商品識別情報を決定する。

次に、処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例について説明する。本実施形態の処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、処理装置の機能構成の一例について説明する。図２の機能ブロック図に示すように、処理装置１０は、物体エリア特定部１１と、外観商品特定部１２と、コードエリア特定部１３と、コード商品特定部１４と、対応付け部１５と、決定部１６と、記憶部１７とを有する。なお、処理装置１０は記憶部１７を有さなくてもよい。この場合、処理装置１０と通信可能に構成された外部装置が記憶部１７を有する。

物体エリア特定部１１は、画像内の物体の外形を示すエリアである物体エリアを特定する。例えば、物体エリア特定部１１は、輪郭抽出処理で抽出した輪郭に囲まれた画像内のエリアの中の、エリアの大きさが予め定められた条件を満たすエリア（以下、「大きさ合致エリア」）を抽出する。そして、物体エリア特定部１１は、予め定められた所定のルールに基づき、抽出した大きさ合致エリアを内包するように予め定められた所定形状（例：四角、丸等）のエリアを設定し、当該設定したエリアを物体エリアとして特定する。物体エリアは、大きさ合致エリアのみならず、大きさ合致エリアの周辺を含むように設定されてもよい。また、複数の物体エリアは、一部が互いに重なってもよい。ここで例示した手法はあくまで一例であり、他の手法で物体エリアを特定してもよい。なお、「第１のエリアが第２のエリアを内包する」は、第１のエリアの中に第２のエリアが位置することを意味する。当該前提は、以下のすべての実施形態において同様である。

物体エリア特定部１１は、特定した複数の物体エリア各々を示す情報を、記憶部１７に記憶させる。物体エリアは、画像に設定された２次元座標系の座標を用いて表すことができる。例えば、物体エリアの形状がＭ角形（Ｍは３以上の整数）である場合、Ｍ個の頂点の座標で物体エリアを表してもよい。その他、物体エリアの形状が丸である場合、中心座標と半径の長さで物体エリアを表してもよい。

図３に、記憶部１７が記憶する物体関連情報の一例を示す。図示する物体関連情報は、通番と、物体エリア情報と、商品識別情報と、対応付け情報とを有する。通番は、画像から検出された複数の物体各々を識別する情報である。物体エリア情報は、複数の物体各々の物体エリアの位置を示す情報である。図示する物体エリア情報の例の場合、物体エリアの形状は四角形であり、４個の頂点の座標で物体エリアを表している。図示する商品識別情報は外観商品特定部１２により生成される情報であり、対応付け情報は対応付け部１５により生成される情報である。商品識別情報及び対応付け情報は後述する。

図２に戻り、外観商品特定部１２は、物体エリア特定部１１が特定した物体エリア内に存在する物体の外観の特徴に基づき、物体の商品識別情報を特定する。

例えば、外観商品特定部１２は、機械学習で生成された推定モデルを用いて上記特定を実現することができる。具体的には、オペレータは、複数の商品各々の外観画像と各商品の商品識別情報とを対応付けた教師データを多数生成する。そして、コンピュータが、教師データに基づく機械学習を実行し、画像から商品識別情報を推定する推定モデルを生成する。なお、あらゆる機械学習の手法を採用できる。

外観商品特定部１２は、このようにして生成された推定モデルと、物体エリア特定部１１が特定した物体エリア内の画像とに基づき、当該物体エリア内に存在する物体の商品識別情報を特定する。物体エリア特定部１１が１つの画像から複数の物体エリアを特定した場合、外観商品特定部１２は複数の物体エリア各々内の画像に基づき、各物体エリア内に存在する物体各々の商品識別情報を特定することができる。

その他、外観商品特定部１２は、テンプレートマッチング技術等を用いて画像内から商品の外観の特徴を検出する処理により、物体の商品識別情報を特定してもよい。例えば、外観商品特定部１２は、物体エリア特定部１１が特定した物体エリア内の画像と、テンプレート画像とを照合することで、物体エリア内に存在する物体の商品識別情報を特定する。物体エリア特定部１１が１つの画像から複数の物体エリアを推定した場合、外観商品特定部１２は複数の物体エリア各々内の画像と、テンプレート画像とを照合することで、複数の物体エリア各々内に存在する物体の商品識別情報を特定することができる。

外観商品特定部１２は、図３に示すように、特定した各物体の商品識別情報を記憶部１７に記憶させる。商品識別情報は、複数の商品を互いに識別する情報である。商品識別情報は、所定個数の数字や文字を並べた情報であってもよいし、各商品の名称であってもよいし、その他であってもよい。

図２に戻り、コードエリア特定部１３は、画像内でのコードの外形を示すエリアであるコードエリアを特定する。上述の通り、コードは商品識別情報を示し、商品に付される。コードはバーコードであってもよいし、２次元コードであってもよいし、その他のコードであってもよい。すべての商品にコードが付されてもよいし、一部の商品にコードが付されてもよい。一部の商品にコードを付す場合、外観が互いに類似する他の商品が存在する商品にコードを付す。すなわち、外観の特徴のみで識別することが困難な商品にコードを付す。

コードエリア特定部１３は、コードの外観の特徴を示すコード情報を保持している。コードエリア特定部１３は、テンプレートマッチング技術等を用いて画像内からコードの外観の特徴を検出する処理により、画像内のコードを検出することができる。そして、コードエリア特定部１３は、定められた所定のルールに基づき、検出したコードの外観の特徴部分を内包するように予め定められた所定形状（例：四角、丸等）のエリアを設定し、当該設定したエリアをコードエリアとして特定する。なお、ここで例示した手法はあくまで一例であり、他の手法でコードエリアを推定してもよい。

コードエリア特定部１３は、特定した複数のコードエリア各々を示す情報を、記憶部１７に記憶させる。コードエリアは、画像に設定された２次元座標系の座標を用いて表すことができる。例えば、コードエリアの形状がＭ角形（Ｍは３以上の整数）である場合、Ｍ個の頂点の座標でコードエリアを表してもよい。その他、コードエリアの形状が丸である場合、中心座標と半径の長さでコードエリアを表してもよい。

図４に、記憶部１７が記憶するコード関連情報の一例を示す。図示するコード関連情報は、通番と、コードエリア情報と、商品識別情報と、対応付け情報とを有する。通番は、画像から検出された複数のコード各々を識別する情報である。コードエリア情報は、複数のコード各々のコードエリアの位置を示す情報である。図示する例の場合、コードエリアの形状は四角形であり、４個の頂点の座標でコードエリアを表している。商品識別情報はコード商品特定部１４により生成される情報であり、対応付け情報は対応付け部１５により生成される情報である。商品識別情報及び対応付け情報は後述する。

図２に戻り、コード商品特定部１４は、画像に含まれるコードを解析し、コードが示す商品識別情報を特定する。コード商品特定部１４は、コードエリア特定部１３が特定したコードエリア内の画像に基づき、上記特定処理を行ってもよい。コードエリア特定部１３が１つの画像から複数のコードエリアを特定した場合、コード商品特定部１４は複数のコードエリア内の画像各々に基づき、各コードエリア内に位置するコードが示す商品識別情報を特定する。コード商品特定部１４は、図４に示すように、特定した各コードが示す商品識別情報を記憶部１７に記憶させる。

図２に戻り、対応付け部１５は、画像内の位置関係が所定条件を満たす物体とコードを対応付ける。例えば、対応付け部１５は、物体エリアとコードエリアが互いに重なる物体とコードのペアを対応付ける。より具体的には、対応付け部１５は、画像に含まれる１つのコードである第１のコードと、物体エリアが第１のコードのコードエリアを内包する物体とを対応付ける。

図５を用いて、当該処理を説明する。図５では、１つの画像Ｆ内に２つの物体１０１及び１０５が含まれる。物体１０１にはコード１０２が付されており、物体１０５にはコード１０６が付されている。図では、物体１０１の物体エリア１０３と、コード１０２のコードエリア１０４と、物体１０５の物体エリア１０７と、コード１０６のコードエリア１０８とが示されている。

図示する例の場合、物体１０１の物体エリア１０３が、コード１０２のコードエリア１０４を内包している。このため、対応付け部１５は、物体１０１とコード１０２とを対応付ける。また、図示する例の場合、物体１０５の物体エリア１０７が、コード１０６のコードエリア１０８を内包している。このため、対応付け部１５は、物体１０５とコード１０６とを対応付ける。このような処理にすれば、対応付け部１５は、各物体と、各物体に付されたコードとを対応付けることができる。

対応付け部１５は、上記対応付けの結果を記憶部１７に記憶させる。図３及び図４に示す例の場合、対応付け部１５は、物体関連情報（図３参照）の対応付け情報の欄に各物体と対応付けられたコードの通番を記載し、コード関連情報（図４参照）の対応付け情報の欄に各コードと対応付けられた物体の通番を記載する。図３及び図４から明らかなように、対応付け部１５による対応付け処理により、同一の商品に関する物体、コード、物体エリア（物体エリア情報）、コードエリア（コードエリア情報）、物体の外観の特徴に基づき特定した商品識別情報、及び、コードに基づき特定した商品識別情報を互いに対応付けることができる。

図２に戻り、決定部１６は、外観商品特定部１２が特定した商品識別情報（図３参照）と、コード商品特定部１４が特定した商品識別情報（図４参照）と、対応付け部１５による対応付けの結果とに基づき、画像に含まれる商品の商品識別情報を決定する。

例えば、決定部１６は、コードと対応付けられていない物体の商品識別情報（外観商品特定部１２が当該物体の外観の特徴に基づき特定した商品識別情報）を、画像に含まれる商品の商品識別情報として決定する。また、決定部１６は、物体と対応付けられていないコードの商品識別情報（コード商品特定部１４が当該コードを解析して特定した商品識別情報）を、画像に含まれる商品の商品識別情報として決定する。

また、決定部１６は、互いに対応付けられている物体の商品識別情報（外観商品特定部１２が当該物体の外観の特徴に基づき特定した商品識別情報）及びコードの商品識別情報（コード商品特定部１４が当該コードを解析して特定した商品識別情報）のいずれか一方を、画像に含まれる商品の商品識別情報として決定する。例えば、決定部１６は、互いに対応付けられている物体及びコードの商品識別情報の中のコードの商品識別情報を、画像に含まれる商品の商品識別情報として決定することができる。外観商品特定部１２が特定した結果と、コード商品特定部１４が特定した結果とでは、コード商品特定部１４が特定した結果の方が、信頼度が高い。このため、コード商品特定部１４が特定した結果を優先的に採用することで、画像に基づき商品を識別する処理の信頼度が向上する。

図６に、決定部１６が決定した内容を示す認識結果の一例を模式的に示す。図示する認識結果は、画像に含まれると判断された商品の通番と、各商品の商品識別情報とを有する。

次に、図７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

処理装置１０は、画像を取得すると（Ｓ１０）、画像内の物体の外形を示すエリアである物体エリアを特定する（Ｓ１１）。そして、処理装置１０は、物体エリア内の画像に含まれる物体の外観の特徴に基づき、物体の商品識別情報を特定する（Ｓ１２）。処理装置１０によるこれらの処理の詳細は上述の通りであるので、ここでの説明は省略する。画像から複数の物体エリアが特定された場合、処理装置１０は、複数の物体エリア内の画像各々に含まれる物体の外観の特徴に基づき、複数の物体各々の商品識別情報を特定する。

また、処理装置１０は、画像内でのコードの外形を示すエリアであるコードエリアを特定する（Ｓ１３）。そして、処理装置１０は、コードエリア内の画像に含まれるコードを解析し、コードが示す商品識別情報を特定する（Ｓ１４）。処理装置１０によるこれらの処理の詳細は上述の通りであるので、ここでの説明は省略する。画像から複数のコードエリアが特定された場合、処理装置１０は、複数のコードエリア内の画像各々に含まれるコードを解析し、複数のコード各々が示す商品識別情報を特定する。

なお、Ｓ１１乃至Ｓ１４の処理の順番は図７に示す例に限定されず、その他の順番にすることもできる。

次に、処理装置１０は、物体エリアとコードエリアが互いに重なる物体とコードを対応付ける（Ｓ１５）。処理装置１０は、Ｓ１３で特定されたコードの中の第１のコードと、物体エリアが第１のコードのコードエリアを内包する物体とを対応付けることができる。処理装置１０による当該処理の詳細は上述の通りであるので、ここでの説明は省略する。

次に、処理装置１０は、Ｓ１２で特定した商品識別情報と、Ｓ１４で特定した商品識別情報と、Ｓ１５での対応付けの結果とに基づき、Ｓ１０で取得した画像に含まれる商品の商品識別情報を決定する。例えば、処理装置１０は、コードと対応付けられていない物体の商品識別情報（Ｓ１２で当該物体の外観の特徴に基づき特定された商品識別情報）を、画像に含まれる商品の商品識別情報として決定する。また、処理装置１０は、物体と対応付けられていないコードの商品識別情報（Ｓ１４で当該コードを解析して特定された商品識別情報）を、画像に含まれる商品の商品識別情報として決定する。また、処理装置１０は、互いに対応付けられている物体及びコードの商品識別情報のいずれか一方（例えば、コードの商品識別情報）を、画像に含まれる商品の商品識別情報として決定する。

以上説明した本実施形態の処理装置１０によれば、複数の画像解析手法（商品の外観特徴に基づく認識手法、コード解析に基づく認識手法）で画像に含まれる商品を認識し、複数の画像解析手法各々の認識結果に基づき画像に含まれる商品を認識することができる。このため、画像解析で商品を認識する精度が高まる。

例えば、複数の商品の中に外観が互いに類似する商品群が存在し、外観の特徴のみでそれらの商品を識別することが困難な場合であっても、上記特徴を有する本実施形態の処理装置１０によれば、それら商品を識別することができる。

なお、本実施形態の処理装置１０の場合、外観が互いに類似する他の商品が存在する商品のみにコードを付し、その他の商品にはコードを付さなくてもよい。この場合、外観が互いに類似する他の商品が存在しない商品は商品の外観特徴に基づく認識手法で認識し、外観が互いに類似する他の商品が存在する商品はコード解析に基づく認識手法で認識することとなる。一部の商品のみにコードを付せばよい場合、コードを付す手間や費用負担を軽減できる。

また、処理装置１０によれば、複数の画像解析方法各々の認識結果を同一の物体に関するもの同士で精度よくまとめることができる。このため、画像解析で商品を認識する精度が高まる。

＜第２の実施形態＞
本実施形態の処理装置１０は、１つのコードエリアを内包する物体エリアが複数あり、１つのコードと１つの物体とを対応付けることが困難な場合、複数の物体エリア各々内におけるコードエリアの位置に基づき、その１つのコードと対応付ける１つの物体を決定する機能を有する点で、第１の実施形態の処理装置１０と異なる。本実施形態の処理装置１０のその他の構成は、第１の実施形態の処理装置１０と同様である。

処理装置１０のハードウエア構成の一例は、第１の実施形態の処理装置１０と同様である。

処理装置１０の機能ブロック図の一例は、第１の実施形態の処理装置１０と同様、図２で示される。物体エリア特定部１１、外観商品特定部１２、コードエリア特定部１３、コード商品特定部１４、決定部１６及び記憶部１７の構成は、第１の実施形態と同様であるので、ここでの説明は省略する。

対応付け部１５は、第１の実施形態で説明した機能を有する。そして、対応付け部１５は、画像に含まれる１つのコードである第１のコードのコードエリアを内包する物体エリアが複数ある場合、複数の物体エリア各々内における第１のコードのコードエリアの位置に基づき、第１のコードと対応付ける物体を決定する。

具体的には、本実施形態では、コードを付す位置が予め定められる。コードを付す位置は、例えば、「商品の面の中心」であってもよいし、コードを付す面が四角である場合は「長辺が左右方向に延伸し、短辺が上下方向に延伸する向きに配置した商品の四角形の面における左上の頂点から所定距離以内（左上エリア）」であってもよいし、その他であってもよい。

そして、本実施形態では、「予め定められたコードを付す位置」に対応する「物体エリア内におけるコードエリアの位置（物体エリアとコードエリアとの位置関係）」を示す情報（以下、「コード位置定義情報」）が、予め記憶部１７に記憶されている。例えば、「予め定められたコードを付す位置」が「商品の面の中心」である場合、コード位置定義情報は「コードエリアの位置は、物体エリアの中心」となる。また、「予め定められたコードを付す位置」が「長辺が左右方向に延伸し、短辺が上下方向に延伸する向きに配置した商品の四角形の面における左上の頂点から所定距離以内（左上エリア）」である場合、コード位置定義情報は「コードエリアの位置は、長辺が左右方向に延伸し、短辺が上下方向に延伸する向きに配置した物体エリア（四角形）の左上又は右下の頂点から所定距離以内」となる。

対応付け部１５は、第１のコードのコードエリアを内包する物体エリアが複数ある場合、物体エリアと第１のコードのコードエリアとの位置関係が上記コード位置定義情報で示される位置関係を満たす物体を、第１のコードと対応付ける。図８及び図９を用いて、当該処理を説明する。

図８では、１つの画像Ｆ内に２つの物体１１１及び物体１１５が含まれる。物体１１１の一部と物体１１５の一部は互いに重なっている。物体１１５よりも前方側（画像Ｆを撮影したカメラ側）に物体１１１が位置する。コード１１２は物体１１１に付されたコードである。

図では、物体１１１の物体エリア１１３と、コード１１２のコードエリア１１４と、物体１１５の物体エリア１１６とが示されている。

図より、対応付け部１５は、物体エリア１１３及び物体エリア１１６の両方がコードエリア１１４を内包すると判断する。この場合、対応付け部１５は、「物体エリア１１３内におけるコードエリア１１４の位置」及び「物体エリア１１６内におけるコードエリア１１４の位置」が予め定められたコード位置定義情報を満たすか判断する。

ここでは、コード位置定義情報は「コードエリアの位置は、長辺が左右方向に延伸し、短辺が上下方向に延伸する向きに配置した物体エリア（四角形）の左上又は右下の頂点から所定距離以内」とする。この場合、図より、対応付け部１５は、物体エリア１１３とコードエリア１１４との位置関係がコード位置定義情報を満たし、物体エリア１１６とコードエリア１１４との位置関係はコード位置定義情報を満たさないと判断する。結果、対応付け部１５は、物体１１１をコード１１２と対応付ける。

図９では、１つの画像Ｆ内に２つの物体１２１及び物体１２５が含まれる。物体１２１の一部と物体１２５の一部は互いに重なっている。物体１２５よりも前方側（画像Ｆを撮影したカメラ側）に物体１２１が位置する。コード１２２は物体１２１に付されたコードである。

図では、物体１２１の物体エリア１２３と、コード１２２のコードエリア１２４と、物体１２５の物体エリア１２６とが示されている。

図より、対応付け部１５は、物体エリア１２３及び物体エリア１２６の両方がコードエリア１２４を内包すると判断する。この場合、対応付け部１５は、「物体エリア１２３内におけるコードエリア１２４の位置」及び「物体エリア１２６内におけるコードエリア１２４の位置」が予め定められたコード位置定義情報を満たすか判断する。

ここでは、コード位置定義情報は「コードエリアの位置は、物体エリアの中心」とする。この場合、図より、対応付け部１５は、物体エリア１２３とコードエリア１２４との位置関係がコード位置定義情報を満たし、物体エリア１２６とコードエリア１２４との位置関係はコード位置定義情報を満たさないと判断する。結果、対応付け部１５は、物体１２１をコード１２２と対応付ける。

このように、対応付け部１５は、複数の物体が重なっている場合であっても、各物体と、各物体に付されたコードとを対応付けることができる。

対応付け部１５のその他の構成は、第１の実施形態と同様である。

本実施形態の処理装置１０の処理の流れの一例は、第１の実施形態同様、図７のフローチャートで示される。ここで、図１０のフローチャートを用いて、図７のフローチャートのＳ１５の処理の流れの一例を説明する。

まず、処理装置１０は、図７のＳ１３でコードエリアが特定されたコードの中の１つを処理対象として指定する（Ｓ２０）。次いで、処理装置１０は、指定したコードのコードエリアと、図７のＳ１１で特定された物体エリアとに基づき、Ｓ２０で指定したコードのコードエリアを内包する物体エリアを特定する。

特定した物体エリアの数が０である場合（Ｓ２１の「０」）、処理装置１０は指定したコードに物体を対応付けない（Ｓ２２）。

特定した物体エリアの数が１である場合（Ｓ２１の「１」）、処理装置１０は指定したコードと、特定した物体エリアで特定される１つの物体とを対応付ける（Ｓ２３）。そして、処理装置１０は、対応付けの結果を記憶部１７に登録する（Ｓ２４）。

特定した物体エリアの数が２以上である場合（Ｓ２１の「２以上」）、処理装置１０は、特定した２以上の物体エリア各々内における指定したコードのコードエリアの位置に基づき、指定したコードと対応付ける物体を決定する（Ｓ２５）。そして、処理装置１０は、対応付けの結果を記憶部１７に登録する（Ｓ２４）。当該処理の詳細は、上述の通りであるので、ここでの説明は省略する。

その後、図７のＳ１３でコードエリアが特定されたコードの中に、Ｓ２０で指定されていないコードがある場合（Ｓ２６のＹｅｓ）、処理装置１０はＳ２０に戻り処理を繰り返す。一方、Ｓ２０で指定されていないコードがない場合（Ｓ２６のＮｏ）、処理装置１０は処理を終了する。

以上説明した本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様な作用効果が実現される。また、本実施形態の処理装置１０によれば、コードエリアを内包する物体エリアが複数存在する場合に、コードエリアと複数の物体エリア各々との位置関係に基づき、各物体と各物体に付されたコードとを精度よく対応付けることができる。このため、画像解析で商品を認識する精度が高まる。

ここで、本実施形態の変形例を説明する。上述したコード位置定義情報は商品毎に生成され、各商品の商品識別情報に対応付けて記憶部１７に記憶されていてもよい。当該変形例の場合、対応付け部１５は、処理対象の１つのコードを指定すると、コード商品特定部１４が特定したそのコードが示す商品識別情報を認識し、認識した商品識別情報に対応付けて記憶部１７に記憶されているコード位置定義情報を取得する。そして、対応付け部１５は、指定した１つのコードのコードエリアと、物体エリア特定部１１が推定した物体エリア各々とが、取得したコード位置定義情報を満たすか判断する。その他の処理は上述の通りである。当該変形例においても、上述した本実施形態の作用効果が実現される。また、商品毎にコードを付す位置を定義できるので、各商品の外観のデザイン等に応じた各商品に適した位置にコードを付すことが可能となる。

＜第３の実施形態＞
本実施形態の処理装置１０は、店舗等に設置されたカメラ及び会計装置と連動して使用される。図１１に、本実施形態の会計システムの機能ブロック図の一例を示す。図示するように、会計システムは、処理装置１０と、カメラ２０と、会計装置３０（例：ＰＯＳ（point of sales）システム）とを有する。処理装置１０とカメラ２０は、有線及び／又は無線で通信する。また、処理装置１０と会計装置３０は、有線及び／又は無線で通信する。

図１２に、カメラ２０の設置例を示す。図示する例では、台２３の上に商品を載置する載置エリア２２が設けられている。会計対象の商品が載置エリア２２に載置される。カメラ２０は、支柱２１に接続されている。カメラ２０は、載置エリア２２を撮影する位置及び向きに設置されている。すなわち、カメラ２０は、載置エリア２２に載置された商品を上方から撮影する位置及び向きに設置されている。カメラ２０は、生成した画像データを処理装置１０に送信する。なお、複数のカメラ２０が設置されてもよい。この場合、少なくとも１つのカメラ２０は、台２３に設置され、商品を横から撮影してもよい。

処理装置１０は、カメラ２０が生成した画像データを取得する。そして、処理装置１０は、取得した画像データに基づき第１又は第２の実施形態で説明した処理を実行し、画像に含まれる商品の商品識別情報を決定することにより、商品識別情報に対応する商品を購入商品として登録する。次いで、処理装置１０は、ユーザによる会計ボタンの押下を検出すると登録した商品を精算情報として会計装置３０に送信する。ここで、精算情報は、商品名、商品価格、商品画像、および合計金額を含んでいてもよい。

会計装置３０は、処理装置１０から受信した情報に基づき、会計処理を実行する。図１３のフローチャートを用いて、会計装置３０の処理の流れの一例を説明する。

会計装置３０は、商品識別情報の待ち状態となっている（Ｓ３０）。会計装置３０は、商品識別情報を取得すると（Ｓ３０のＹｅｓ）、その商品識別情報で識別される商品を会計対象として登録する。（Ｓ３１）。例えば、会計装置３０は、予め店舗システム等に登録されている商品マスタを参照し、取得した商品識別情報に対応付けられた商品情報（例：単価、商品名等）を取得し、取得した商品情報を会計対象として登録する。

少なくとも１つの商品が会計対象として登録されると、会計装置３０は、精算処理を開始する入力待ち状態（Ｓ３２）、及び、商品識別情報の待ち状態となる（Ｓ３０）。

そして、精算処理を開始する入力を受付けると（Ｓ３２のＹｅｓ）、会計装置３０は精算処理を実行する（Ｓ３３）。例えば、会計装置３０は、登録されている商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、会計装置３０は、クレジットカード情報の入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、会計装置３０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。また、会計装置３０は、顧客から預かった預かり金額の入力を受付けたり、それに基づき釣銭額を算出してディスプレイに表示したり、算出した釣銭を払い出したりしてもよい。精算処理が終了すると、会計装置３０は、再び商品識別情報の待ち状態となる（Ｓ３０）。

なお、図１１及び図１２では、処理装置１０と会計装置３０とを分けて記載しているが、処理装置１０及び会計装置３０は物理的及び／又は論理的に分かれていてもよいし、物理的及び／又は論理的に一体となっていてもよい。処理装置１０及び会計装置３０が物理的及び／又は論理的に一体となった場合、複数の商品が含まれる画像を取得する画像取得手段と、画像内の各商品の外形を示すエリアを特定する物体エリア特定手段と、画像内でのコードの外形を示すエリアを特定するコードエリア特定手段と、商品コードが示す商品識別情報を特定するコード商品特定手段と、商品の外形を示すエリアとコードの外形を示すエリアが互いに重なる場合、商品の外形の位置に商品識別情報を対応付ける対応付け手段と、対応付け手段による対応付けの結果に基づき、商品登録を行う商品登録手段と、を有する商品登録装置が実現される。

以上説明した本実施形態の会計システムによれば、第１及び第２の実施形態と同様な作用効果が実現される。また、処理装置１０は精度よく商品を識別できるので、会計対象として商品を登録する処理に要する人手を減らすことができる。

ここで、すべての実施形態に適用可能な変形例を説明する。処理装置１０は、対応付け部１５による対応付けの結果を示す情報を出力する出力手段を有してもよい。出力手段による出力は、ディスプレイ、スピーカ、投影装置、プリンター、メーラ等のあらゆる出力装置を介して実現できる。

例えば、出力手段は、物体とコードとが含まれる画像上に、物体エリア及びコードエリア各々を示す情報を表示し、当該情報の表示形態により、互いに対応付けられた物体とコードとを識別する画像を出力することができる。

図１４に、出力手段が出力する情報の一例を示す。当該例では、複数の商品が含まれる画像上に、物体エリア特定部１１が特定した物体エリア１１３及び１１６を示す情報（例：枠）と、コードエリア特定部１３が特定したコードエリア１１４を示す情報（例：枠）とが表示されている。画像は、カメラで撮影することで生成された撮影画像であってもよいし、撮影画像に基づき各物体の位置や形状などを特定し、特定結果に基づき所定形状の物体を所定位置に描画した描画画像であってもよい。

図１４に示す情報では、コード１１２のコードエリア１１４を示す枠と同じ色で、コード１１２に対応付けられた物体１１１の物体エリア１１３を示す枠が示されている。そして、コード１１２のコードエリア１１４を示す枠と異なる色で、コード１１２に対応付けられていない物体１１５の物体エリア１１６を示す枠が示されている。結果、当該枠の表示形態により、互いに対応付けられた物体１１１とコード１１２とが識別可能になっている。なお、枠の色に代えて、枠の形状等のその他の表示態様を調整することで、互いに対応付けられた物体１１１とコード１１２とを識別可能にしてもよい。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。例えば、上記複数の実施形態（及び実施例）を任意の組合せで組み合わせることができる。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定手段と、
前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定手段と、
前記コードが示す商品識別情報を特定するコード商品特定手段と、
前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け手段と、
を有する処理装置。
２． １に記載の処理装置において、
前記対応付け手段は、前記物体エリアと前記コードエリアが互いに重なる前記物体と前記コードのペアを対応付ける処理装置。
３． ２に記載の処理装置において、
前記対応付け手段は、第１のコードと、前記物体エリアが前記第１のコードの前記コードエリアを内包する前記物体とを対応付ける処理装置。
４． ３に記載の処理装置において、
前記対応付け手段は、前記第１のコードの前記コードエリアを内包する前記物体エリアが複数ある場合、複数の前記物体エリア各々内における前記第１のコードの前記コードエリアの位置に基づき、前記第１のコードと対応付ける前記物体を決定する処理装置。
５． ４に記載の処理装置において、
前記対応付け手段は、予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体と前記コードを対応付ける処理装置。
６． ５に記載の処理装置において、
前記対応付け手段は、商品毎に予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体と前記コードを対応付ける処理装置。
７． ２から６のいずれかに記載の処理装置において、
前記物体の外観の特徴に基づき、前記物体の商品識別情報を特定する外観商品特定手段と、
前記コード商品特定手段が特定した前記商品識別情報と、前記外観商品特定手段が特定した前記商品識別情報と、前記対応付け手段による対応付けの結果とに基づき、前記画像に含まれる商品の前記商品識別情報を決定する決定手段と、
を有し、
前記決定手段は、
前記コードと対応付けられていない前記物体の前記商品識別情報を、前記画像に含まれる商品の前記商品識別情報として決定し、
前記物体と対応付けられていない前記コードの前記商品識別情報を、前記画像に含まれる商品の前記商品識別情報として決定し、
互いに対応付けられている前記物体及び前記コードの前記商品識別情報のいずれか一方を、前記画像に含まれる商品の前記商品識別情報として決定する処理装置。
８． ７に記載の処理装置において、
前記決定手段は、
互いに対応付けられている前記物体及び前記コードの前記商品識別情報の中の前記コードの前記商品識別情報を、前記画像に含まれる商品の前記商品識別情報として決定する処理装置。
９． ２から８のいずれかに記載の処理装置において、
前記物体と前記コードとが含まれる画像上に、前記物体エリア及び前記コードエリア各々を示す情報を表示し、前記物体エリア及び前記コードエリア各々を示す情報の表示形態により、互いに対応付けられた前記物体と前記コードとを識別する画像を出力する出力手段をさらに有する処理装置。
１０． コンピュータが、
画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定工程と、
前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定工程と、
前記コードが示す商品識別情報を特定するコード商品特定工程と、
前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け工程と、
を実行する処理方法。
１１． コンピュータを、
画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定手段、
前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定手段、
前記コードが示す商品識別情報を特定するコード商品特定手段、
前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け手段、
として機能させるプログラム。
１２． 複数の商品が含まれる画像を取得する画像取得手段と、
前記画像内の各商品の外形を示すエリアを特定する物体エリア特定手段と、
前記画像内でのコードの外形を示すエリアを特定するコードエリア特定手段と、
商品コードが示す商品識別情報を特定するコード商品特定手段と、
前記商品の外形を示すエリアと前記コードの外形を示すエリアが互いに重なる場合、前記商品の外形の位置に前記商品識別情報を対応付ける対応付け手段と、
前記対応付け手段による対応付けの結果に基づき、商品登録を行う商品登録手段と、
を有する商品登録装置。

この出願は、２０１９年２月２０日に出願された日本出願特願２０１９－０２８４３４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (5)

1. 画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定手段と、
   前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定手段と、
   前記コードが示す商品識別情報を特定するコード商品特定手段と、
   前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け手段と、
   を有し、
   前記対応付け手段は、
   前記商品識別情報と、前記物体エリアが前記コードエリアを内包する前記物体とを対応付け、
   前記コードエリアを内包する前記物体エリアが複数ある場合、前記物体エリア内における前記コードエリアの位置が、予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体に前記商品識別情報を対応付ける処理装置。
2. 請求項１に記載の処理装置において、
   前記対応付け手段は、商品毎に予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体に、前記商品識別情報を対応付ける処理装置。
3. 請求項１又は２に記載の処理装置において、
   前記物体と前記コードとが含まれる画像上に、前記物体エリア及び前記コードエリア各々を示す情報を表示し、前記物体エリア及び前記コードエリア各々を示す情報の表示形態により、互いに対応付けられた前記物体と前記コードとを識別する画像を出力する出力手段をさらに有する処理装置。
4. コンピュータが、
   画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定工程と、
   前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定工程と、
   前記コードが示す商品識別情報を特定するコード商品特定工程と、
   前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け工程と、
   を実行し、
   前記対応付け工程では、
   前記商品識別情報と、前記物体エリアが前記コードエリアを内包する前記物体とを対応付け、
   前記コードエリアを内包する前記物体エリアが複数ある場合、前記物体エリア内における前記コードエリアの位置が、予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体に前記商品識別情報を対応付ける処理方法。
5. コンピュータを、
   画像内の物体の外形を示すエリアである物体エリアを特定する物体エリア特定手段、
   前記画像内でのコードの外形を示すエリアであるコードエリアを特定するコードエリア特定手段、
   前記コードが示す商品識別情報を特定するコード商品特定手段、
   前記物体エリアと前記コードエリアが互いに重なる場合、前記物体と前記商品識別情報を対応付ける対応付け手段、
   として機能させ、
   前記対応付け手段は、
   前記商品識別情報と、前記物体エリアが前記コードエリアを内包する前記物体とを対応付け、
   前記コードエリアを内包する前記物体エリアが複数ある場合、前記物体エリア内における前記コードエリアの位置が、予め定義された前記物体エリアと前記コードエリアとの位置関係を満たす前記物体に前記商品識別情報を対応付けるプログラム。

Images