JP7364457B2 - 認識システム、認識装置、認識方法、認識プログラム - Google Patents

Description

本発明は、認識システム、認識装置、及び、認識及び制御処理方法に関するものである。

小売業におけるＰＯＳ（Ｐｏｉｎｔ оｆ ｓａｌｅ ｓｙｓｔｅｍ）システムにおいて、複数のカメラを用いることで、正確に認識を行う技術が開示されている（例えば、特許文献１）。

特開２０１７－２２０１９８号公報

このようなＰＯＳシステムを含む認識システムにおいて、簡便な構成で高精度に認識を行うことが期待されている。

従って、上記の点に鑑みてなされた本開示の目的は、認識システムにおいて、簡便な構成で高精度に認識を行うことにある。

上述した目的を達成するため、本開示の一側面である認識システムは、物体が配置される載置台と、前記載置台に配置された前記物体の第１の画像を撮像する撮像部と、前記第１の画像に基づいて前記物体に特定の物品が含まれているかを判定するプロセッサと、を備え、前記プロセッサは、前記物体に前記特定の物品が含まれていると判定した場合には前記撮像部に備えられた第１の駆動部を制御し、前記撮像部を移動させ、前記特定の物品が含まれていないと判定した場合には前記載置台に備えられた第２の駆動部を制御し、載置台を移動または変形させることで、前記撮像部と前記物体との相対位置を変更し、前記相対位置が変更された状態で前記撮像部により撮像された第２の画像に基づき、前記物体の認識を行う、ことを含む。

また、本開示の一側面である認識装置は、撮像部により撮像された、載置台に配置された物体の第１の画像に基づいて、前記物体に特定の物品が含まれていると判定した場合に前記撮像部を移動させるように前記撮像部に取り付けられた第１の駆動部を制御し、前記
物体に前記特定の物品が含まれていないと判定した場合に前記載置台を移動または変形させるように前記載置台に取り付けられた第２の駆動部を制御することで前記撮像部と前記物体との相対位置を変化させ、前記相対位置が変化した状態で撮像した前記載置台に配置された前記物体の第２の画像に基づき、前記物体の認識を行うプロセッサを備えることを含む。

また、本開示の一側面である認識方法は、プロセッサが、撮像部により撮像された、載置台に配置された物体の第１の画像に基づいて、前記物体に特定の物品が含まれているかを判定し、前記物体に、前記特定の物品が含まれていると判定した場合には前記撮像部を移動させるように前記撮像部に取り付けられた第１の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に第２画像を撮影させ、前記特定の物品が含まれていないと判定した場合には前記載置台を移動または変形させるように前記載置台に取り付けられた第２の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に前記載置台に配置された前記物体の前記第２画像を撮影させ、前記第２の画像に基づき、前記物体の認識を行う、ことを含む。
また、本開示の一側面である認識プログラムは、プロセッサに、撮像部により撮像された、載置台に配置された物体の第１の画像に基づいて、前記物体に特定の物品が含まれているかを判定させ、前記物体に、前記特定の物品が含まれていると判定された場合には前記撮像部が移動するように前記撮像部に取り付けられた第１の駆動部が制御させられることで前記撮像部と前記物体との相対位置を変更させ、前記相対位置が変更した状態で前記撮像部が第２画像を撮影させられ、前記特定の物品が含まれていないと判定された場合には前記載置台が移動または変形するように前記載置台に取り付けられた第２の駆動部が制御させられることで前記相対位置を変更させ、前記相対位置が変更した状態で前記撮像部が前記第２画像を撮影させられ、前記第２の画像に基づき、前記物体の認識を行わせることを含む。

上記のように構成された本開示によれば、認識システムにおいて、簡便な構成で高精度に認識を行うことが可能となる。

図１は、本開示に係る認識システムが備える、レジ端末及び認識装置の概略構成を示す機能ブロック図である。 図２は、本開示に係る認識システムが備える、レジ端末及び認識装置の外観図である。 図３は、第１の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図４は、図３における撮像部と物体との相対位置の変更前後を示す図である。 図５は、第２の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図６は、第３の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図７は、図６における撮像部と物体との相対位置の変更前後を示す図である。 図８は、第４の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図９は、図８における撮像部と物体との相対位置の変更前後を示す図である。 図１０は、第５の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図１１は、図１０における撮像部と物体との相対位置の変更前後を示す図である。 図１２は、第６の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図１３は、第７の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図１４は、図１３における撮像部と物体との相対位置の変更前後を示す図である。 図１５は、第８の実施例に係る認識装置による、レジ端末に備えられた駆動部の制御方法を示す図である。 図１６は、本開示に係る認識装置での第１の認識及び制御処理方法を示すフローチャート図である。 図１７は、本開示に係る認識装置での第２の認識及び制御処理方法を示すフローチャート図である。 図１８は、本開示に係る認識装置での第３の認識及び制御処理方法を示すフローチャート図である。 図１９は、本開示に係る認識装置での第４の認識及び制御処理方法を示すフローチャート図である。 図２０は、本開示に係る認識装置での第５の認識及び制御処理方法を示すフローチャート図である。

以下、本発明を適用したＰＯＳシステムの実施形態について、図面を参照して説明する。

図１に示すように、本開示に係る認識システム１０００は、レジ端末１と認識装置２を含んで構成されている。

以後の図において、各機能ブロックを結ぶ実線の矢印は、制御信号又は通信される情報の流れを示す。矢印が示す通信は有線通信であってもよいし、無線通信であってもよい。

レジ端末１は、物体の撮像を行い、撮像して得られた画像を認識装置２に送信する。その後、認識装置２から制御信号を受信した場合、レジ端末１は、制御信号に基づいて駆動部１４を制御し、その後再度物体の撮像を行う。

認識装置２は、レジ端末１から撮像された画像を受信し、前記画像に基づいて認識処理を行い、認識結果に応じて制御信号をレジ端末１に送信する。

なお、図１において、レジ端末１と認識装置２はそれぞれ独立して構築されているが、例えば、認識装置２はレジ端末１に含まれる１つのモジュールとして組み込まれてもよい。その場合、第１の送受信モジュール１３と第２の送受信モジュール２１は省略してもよい。以下、レジ端末１と認識装置２がそれぞれ独立して構築されている前提として説明する。

レジ端末１は、撮像部１１、保持部１２、第１の送受信モジュール１３、駆動部１４、載置台１５を含んで構成されている。

認識装置２は、第２の送受信モジュール２１、メモリ２２、プロセッサ２３を含んで構成されている。

以下、レジ端末１及び認識装置２の構成要素について、実際に想定される処理フロー（例えば、図１６乃至２０）に則って説明を行う。従って、それらの構成要素がレジ端末１もしくは認識装置２のどちらに含まれるかについて注意されたい。ただし、先述したように、レジ端末１と認識装置２は必ずしもそれぞれ独立して構築される必要はない。

保持部１２によって保持される撮像部１１は、後述する載置台１５に備えられた物体を撮像する。

撮像部１１は、撮像光学系及び撮像素子を含んで構成される。撮像光学系は、例えば、１個以上のレンズ及び絞りなどの光学部材を含む。レンズは、焦点距離に囚われずどのようなものであってもよく、例えば、一般的な凸レンズ、魚眼レンズを含む広角レンズ、または、焦点距離が可変であるズームレンズであってもよい。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。

保持部１２は、例えば、樹脂、金属またはプラスチックなどの何れか１つの素材によって構成されること、また、複数の素材の組み合わせによって構成されることを含む。また、形状は、例えば、片持ちまたは両持ちのアーム状などであることを含む。ただし、撮像部１１を保持し、後述する駆動部１４による変形または移動に耐えうる剛性が確保されるのであれば、ここに挙げた構成または形状に限られず、どのような様態であってもよい。

第１の送受信モジュール１３は、撮像部１１が撮像した画像を認識装置２に備えられる第２の送受信モジュール２１へ送信する。また、第１の送受信モジュール１３は、第２の送受信モジュール２１から送信される制御信号を受信し、駆動部１４へ送信する。

第２の送受信モジュール２１は、第１の送受信モジュール１３から送信された画像を受信し、メモリ２２に送信する。また、第２の送受信モジュール２１は、プロセッサ２３から受信した制御信号を第１の送受信モジュール１３に送信する。

第１の送受信モジュール１３及び第２の送受信モジュール２１は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信モジュールまたは無線ＬＡＮ通信モジュールなどであってもよい。

メモリ２２は、第２の送受信モジュール２１から受信した画像及び後述する認識処理で用いる照合用データ（例えば、画像データベースまたは学習済みモデルなど）を格納する。後述するプロセッサ２３は、必要に応じてメモリ２２に格納されている画像または照合用データにアクセスする。

なお、メモリ２２は必ずしも認識装置２に備えられる必要はない。つまり、メモリ２２は必ずしも第２の送受信モジュール２１から受信した画像を格納する必要はなく、第２の送受信モジュール２１から後述するプロセッサ２３に画像を直接送信してもよい。その場合、メモリ２２は照合用データを格納するため、例えば、Ｗｅｂサービス上のクラウドとしてもよい。その場合、プロセッサ２３の照合用データへのアクセスのために、第２の送受信モジュール２１はクラウドとの通信を行ってよい。また、メモリ２２を２個備え、それぞれに画像と照合用データを格納してもよく、メモリ２２を２個以上備え、画像と照合用データを分散させて格納してもよい。

メモリ２２は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含む。

プロセッサ２３は、認識部２３１と制御部２３２を含む。プロセッサ２３は、メモリ２２にアクセスし、メモリ２２に格納された画像及び照合用データを取得する。そして、認識部２３１によって認識処理及び認識処理で得られた認識結果に基づく判断処理が行われ、判断処理の結果に基づいて制御部２３２が制御信号を生成する。制御信号は、第２の送受信モジュール２１及び第１の送受信モジュール１３を介してレジ端末１に備えられる駆動部１４に送信される。また、プロセッサ２３は、メモリ２２と同様に、必ずしも認識装置２に備えられる必要はない。つまり、プロセッサ２２はＷｅｂサービス上のクラウドとしてもよい。その場合、プロセッサ２３に係る処理について、第２の送受信モジュール２１はクラウドとの通信を行ってよい。

一般に、認識処理は以下のようなステップで行われる。まず、プロセッサ２３は、画像に対してノイズまたは歪みの除去を含む前処理を行う。次に、プロセッサ２３は、物体の輪郭の強調、明瞭度またはコントラストの調整など含む前処理を行う。続いて、プロセッサ２３は、画像から物体の領域を抽出し、抽出した領域を用いて物体認識を行う。なお、画像内に複数の物体がある場合、プロセッサ２３は、物体数分の領域の抽出及び物体認識を行ってもよい。また、プロセッサ２３は抽出した領域を用いて、物体の領域の面積を求めてよい。

ここでの物体の領域の抽出手法は、例えば、バウンディングボックスを用意し、一定の画素数ずつずらしながら領域候補を抽出する手法、または、画素単位で領域候補を抽出するセマンティックセグメンテーション手法を含む。

ここでの物体認識の手法は、例えば、パターンマッチングと深層学習を含む。パターンマッチングの場合、例えば、認識結果（画像に含まれる物体は何であるか）と認識結果のマッチング率が得られることを含む。深層学習の場合、例えば、認識結果と認識結果の信頼度または尤度などが得られることを含む。

なお、ここまでの認識処理の説明は、物体の領域の抽出と、抽出した領域を用いて物体認識を行うものであったが、例えば、物体の領域の抽出を伴わない物体認識手法を用いる場合は、物体の領域の抽出は省略してもよい。また、ここまで認識処理の説明は、前処理を行うものであったが、前処理しないで物体認識を行っても良い。

プロセッサ２３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含む。

駆動部１４は、撮像部１１を備える保持部１２または載置台１５の少なくとも何れかに１つ以上備えられる。駆動部１４は、第１の送受信モジュール１３及び第２の送受信モジュール２１を介して、制御部２３２が生成した制御信号に基づいて駆動し、撮像部１１と物体との相対位置を変更させる（図２を参照）。制御信号は例えば、物体の認識結果の評価値が所定の条件を満たす場合に生成されることを含む。所定の条件とは、例えば、評価値が所定の閾値未満の場合であること、物体の重畳があること、事前に指定した特定の物品（例えば、生卵または陶器などの壊れ物、生魚または総菜など生鮮食品などを含む注意物品）があることを含む。評価値とは、例えば、パターンマッチングによって得られた認識結果のマッチング率、深層学習によって得られた認識結果の信頼度または尤度、または物体の領域の面積値を含む。

相対位置の変更とは、例えば、駆動部１４によって、駆動部１４が備えられた撮像部１１または後述する載置台１５を、変形または移動させることを含む。変形とは、例えば、湾曲または伸縮を含む。移動とは、例えば、並進運動または回転運動を含む。変形および移動は、例えば、互いに直交する３軸（ｘ軸、ｙ軸及びｚ軸）の少なくとも何れか１つに沿って、または、軸として行うこと、または、特定の基準を設けずにランダムに行うことを含む。

駆動部１４は、例えば、電磁式モータ、超音波モータ、静電気力モータ、油圧モータ、空気圧モータ、圧電アクチュエータ（例えば、モノモルフ、バイモルフまたは積層型）などを含む。また、駆動部１４を複数備える場合、備える場所または位置に応じて、異なる種類の駆動部１４を用いてもよい。また、駆動部１４は、ここに挙げたようなモータ及びアクチュエータに限らず、ドローンを含む移動体であってもよい。

載置台１５は、撮像部１１の撮像対象である物体が配置される。

載置台１５は、例えば、樹脂、金属またはプラスチックなどの何れか１つの素材によって構成されてもよいし、これらの組み合わせで構成されてもよい。また、形状は、例えば、撮像部１１に面する面が長方形、正方形または円などである立体などでもよい。また、特定の載置台１５を用意せず、撮像部１１による撮像範囲を載置台１５と見なしてもよい。ただし、例えば撮像部１１を保持し、後述する駆動部１４による変形または移動に耐えうる剛性が確保されるのであれば、ここに挙げた構成または形状に限られず、どのような様態であってもよい。

図２には、レジ端末１及び認識装置２の外観図が示されている。図２において、第１の送受信モジュール１３及び第２の送受信モジュール２１は、それぞれ認識装置２を備えるハードウェア及び載置台１５の外面に備えられているが、その他の位置に備えられてもよい。例えば、第１の送受信モジュール１３及び第２の送受信モジュール２１は、それぞれ認識装置２のハードウェア及び載置台１５を含むレジ端末１に内蔵されてもよい。また、第１の送受信モジュール１３は、例えば、撮像部１１に備えられてもよい。

また、図２において、駆動部１４は備える位置に応じて、駆動部１４ａ、１４ｂ、１４ｃまたは１４ｄと記号が振られていることに注意されたい。

次に、図３乃至１５を用いて、駆動部１４の備えられる位置に応じて、どのように駆動部１４が駆動し、撮像部１１と物体（以下商品Ａ、Ｂ及びＣ）との相対位置が変更されるかを説明する。

まず、図３乃至７を用いて、駆動部１４が載置台１５に備えられた場合について幾つか例示しながら説明する。

図３には、第１の実施例として、レジ端末１において、駆動部１４ａが載置台１５に備えられている。そして、駆動部１４ａは、認識装置２から受信した制御信号に基づき、載置台１５をｘ軸方向に往復による並進運動させている。

この場合、往復による並進運動により、商品Ａと商品Ｂの重畳が解消されている（並進運動の結果、商品Ａが商品Ａ’のように転がり落ちる）。

第１の実施例における、撮像部１１が撮像する、載置台１５の並進運動の前（相対位置変更前）の第１の画像と、並進運動の後（相対位置変更後）の第２の画像が図４に示されている。

載置台１５の並進運動に伴う相対位置が変更される前の状態では、商品Ａが商品Ｂに寄りかかる形で載置台１５に置かれており、商品Ａの識別が困難であることが分かる。これに対して、相対位置が変更された後の状態では、寄りかかりが解消され、商品Ａ（商品Ａ’）の識別の困難さが緩和されていることが分かる。

図５には、第２の実施例として、レジ端末１において、駆動部１４ａが載置台１５に備えられている。そして、駆動部１４ａは、認識装置２から受信した制御信号に基づき、駆動部１４ａが破線矢印方向に伸縮することで、載置台１５をｙ軸方向に湾曲させている。これにより、撮像部１１と商品Ａ、Ｂとの相対位置の変更という観点において、第１の実施例と同じ効果が得られる。

図６には、第３の実施例として、レジ端末１において、駆動部１４ａが載置台１５に備えられている。そして、駆動部１４ａは、認識装置２から受信した制御信号に基づき、載置台１５を、ｙ軸を軸として回転運動させている。

この場合、図７に示すように、第３の実施例における、撮像部１１が撮像する、載置台１５の回転運動の前（相対位置変更前）の第１の画像では、商品Ｂの一部が撮像範囲から外れており、商品Ｂの識別が困難であることが分かる。これに対して、撮像部１１が撮像する、載置台１５の回転運動の後（相対位置変更後）の第２の画像では、商品Ｂの全体が撮像範囲に入っており、商品Ｂの識別の困難さが解消されていることが分かる。

次に、図８乃至１５を用いて、駆動部１４が保持部１２に備えられた場合について幾つか例示しながら説明する。

図８には、第４の実施例として、レジ端末１において、駆動部１４ｂが保持部１２に備えられている。そして、駆動部１４ｂは、認識装置２から受信した制御信号に基づき、撮像部１１をｙ軸方向に伸縮させている。この伸縮は、例えば、保持部１２が伸縮ロッド構造になっていることを含む。

この場合、図９に示すように、第４の実施例における、撮像部１１が撮像する、保持部１２の伸縮の前（相対位置変更前）の第１の画像では、商品Ｃの一部が撮像範囲から外れており、商品Ｃの識別が困難であることが分かる。これに対して、撮像部１１が撮像する、保持部１２の伸縮の後（相対位置変更後）の第２の画像では、商品Ｃの全体が撮像範囲に入っており、商品Ｃの識別の困難さが解消されていることが分かる。

図１０には、第５の実施例として、レジ端末１において、駆動部１４ｃが保持部１２と載置台１５との接続部に備えられている。そして、駆動部１４ｃは、認識装置２から受信した制御信号に基づき、保持部１２をｚ軸方向に並進運動させている。

この場合、図１１に示すように、第５の実施例における、撮像部１１が撮像する、保持部１２の並進運動の前（相対位置変更前）の第１の画像では、商品Ａの一部が撮像範囲から外れており、商品Ａの識別が困難であることが分かる。これに対して、撮像部１１が撮像する、保持部１２の並進運動の後（相対位置変更後）の第２の画像では、商品Ａの全体が撮像範囲に入っており、商品Ａの識別の困難さが解消されていることが分かる。

図１２には、第６の実施例として、レジ端末１において、第５の実施例と同じく、駆動部１４ｃが保持部１２と載置台１５との接続部に備えられている。そして、駆動部１４ｃは、認識装置２から受信した制御信号に基づき、撮像部１１を、ｘ軸を軸として回転運動させている。これにより、例えば商品Ａ及びＢの側面を撮像することが可能となり、商品ＡまたはＢの識別の困難さが解消される。

図１３には、第７の実施例として、レジ端末１において、駆動部１４ｄが撮像部１１と保持部１２との接続部に備えられている。そして、駆動部１４ｄは、認識装置２から受信した制御信号に基づき、保持部１２が伸縮することで、撮像部１１をｘ軸方向に移動させている。この保持部の伸縮１２は、例えば、保持部１２が伸縮ロッド構造になっていることによって実行することを含む。

この場合、図１４に示すように、第７の実施例における、撮像部１１が撮像する、保持部１２の伸縮の前（相対位置変更前）の第１の画像では、商品Ｃの一部が撮像範囲から外れており、商品Ｃの識別が困難であることが分かる。これに対して、撮像部１１が撮像する、相対位置が変更された後（相対位置変更後）の第２の画像では、商品Ｃの全体が撮像範囲に入っており、商品Ｃの識別の困難さが解消されていることが分かる。

また、保持部１２は、撮像部１１を保持し、物体を撮像することが可能となるのであれば、必ずしも図２、３、５、６、８、１０、１２及び１３に示すような片持ちのアーム状を含む様態に限られない。例えば、図１５に示すように、保持部１２及び駆動部１４ｄをドローンと見なし、ドローンに撮像部１１を備える構成としてもよい。この場合、ドローンはｘ軸、ｙ軸及びｚ軸のいずれの方向にも移動が容易であり、物体の撮像の自由度が高くなる。

ここまで、レジ端末１及び認識装置２について、本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。例えば、撮像部１１と物体との相対位置の変更手法は、ここまでに例として開示した方法以外にも、多くの方法が本開示に基づいて変形及び修正が可能である。例えば、撮像部１１と保持部１２との接続部に備えられた駆動部１４が、撮像部１１を回転運動させてもよいし、また、撮像部１１を湾曲させてもよい。また、撮像部１１と物体との相対位置の変更手法は、本開示及び本開示に基づいて変形及び修正した方法の２つ以上の組み合わせをしてもよい。従って、これらを含む本開示の変形及び修正は本開示の範囲に含まれることに留意されたい。

次に、図１６乃至２０に基づいて、認識装置２に備えられるプロセッサ２３の認識部２３１及び制御部２３２の処理について、フローチャートを用いながら説明する。なお、以下の説明において、メモリ２２及びプロセッサ２３が認識装置２に備えられている前提となっているが、先述したように、メモリ２２及びプロセッサ２３は例えばＷｅｂサービス上のクラウドに備えられてもよい。クラウドにメモリ２２及びプロセッサ２３が備えられる場合、認識装置２は実質的にクラウド上に認識装置２の機能が与えられるとみなしてよい。

まず、図１６を用いてプロセッサ２３の第１の認識及び制御処理方法を説明する。

＜Ｓ００１＞
プロセッサ２３が、撮像部１１が撮像した第１の画像を、第１の送受信モジュール１３、第２の送受信モジュール２１及びメモリ２２を介して取得する。その後、＜Ｓ００２＞に進む。

＜Ｓ００２＞
プロセッサ２３が、取得した第１の画像及びメモリ２２に格納されている照合用データに基づく物体の認識処理を実行し、第１の画像での認識結果及び認識結果の評価値を生成する。その後、＜Ｓ００３＞に進む。

＜Ｓ００３＞
プロセッサ２３が、第１の画像での認識結果の評価値が所定の閾値未満であるかを判定する。その後、第１の画像での認識結果の評価値が所定の閾値未満である場合、＜Ｓ００４＞に進む。また、第１の画像での認識結果の評価値が閾値未満ではない場合、＜Ｓ００７＞に進む。

＜Ｓ００４＞
駆動部１４が撮像部１１と物体との相対位置を変更するように制御信号を生成し、第２の送受信モジュール２１に送信する。その後、＜Ｓ００５＞に進む。制御信号は、例えば、先述してきたような第１乃至８の実施例に対応するように駆動部１４を制御することを含む。

＜Ｓ００５＞
プロセッサ２３が生成した制御信号に基づく駆動部１４の駆動後、プロセッサ２３が、撮像部１１が撮像した第２の画像を、第１の送受信モジュール１３、第２の送受信モジュール２１及びメモリ２２を介して取得する。その後、＜Ｓ００６＞に進む。

＜Ｓ００６＞
プロセッサ２３が、取得した第２の画像及び照合用データに基づく物体の認識処理を実行し、第２の画像での認識結果を生成する。その後、＜Ｓ００７＞に進む。

＜Ｓ００７＞
プロセッサ２３はそれぞれ第１の画像での認識結果または第２の画像での認識結果に基づいて物体認識結果を確定する。その後、処理を終了する。

次に、図１７を用いてプロセッサ２３の第２の認識及び制御処理方法を説明する。第２の認識及び制御処理方法は、物体の重畳が生じた場合に、プロセッサ２３が駆動部１４を駆動させるものである。駆動部１４が駆動することによって、撮像部１１と物体との相対位置が変更され、物体の重畳が解消される。重畳が解消されることで、撮像部１１は正確な物体の撮像が可能になる。

＜Ｓ１０１＞乃至＜Ｓ１０２＞
これらの処理は、プロセッサ２３の第１の認識及び制御処理方法における＜Ｓ００１＞乃至＜Ｓ００２＞に対応する。＜Ｓ１０２＞の処理後、＜Ｓ１０３＞に進む。

＜Ｓ１０３＞
プロセッサ２３が、第１の画像の認識結果において、複数の物体の重畳があるかを判定する。第１の画像での認識結果において複数の物体の重畳があると判定された場合、＜Ｓ１０４＞に進む。また、第１の画像での認識結果において複数の物体の重畳があると判定されなかった場合、＜Ｓ１０７＞に進む。

＜Ｓ１０４＞
プロセッサ２３は駆動部１４が撮像部１１と物体との相対位置を変更するように制御信号を生成する。その後、＜Ｓ１０５＞に進む。

＜Ｓ１０５＞及び＜Ｓ１０６＞
これらの処理は、プロセッサ２３の第１の認識及び制御処理方法における＜Ｓ００５＞及び＜Ｓ００６＞に対応する。＜Ｓ１０６＞の処理後、＜Ｓ１０７＞に進む。

＜Ｓ１０７＞
及び、プロセッサ２３が第２の画像での認識結果を生成した場合、プロセッサ２３はそれぞれ第１の画像での認識結果または第２の画像での認識結果に基づいて物体認識結果を確定する。その後、処理を終了する。

次に、図１８を用いてプロセッサ２３の第３の認識及び制御処理方法を説明する。第３の認識及び制御処理方法は、注意物品が物品の中にあるか否かに応じて、プロセッサ２３が駆動部１４の駆動方法を変更するものである。注意物品がある場合、載置台１に備えられた駆動部１４ａが駆動すると、物体を破損させてしまう可能性がある。そのため、載置台１５に備えられない駆動部１４ｂ、１４ｃまたは１４ｄを駆動させることによって、物体を破損させる可能性を低減することが可能になる。なお、注意物品に関するリストは、照合用データの一部として含まれる。そして、注意物品があるか否かの判定は、照合用データに基づいて判定することが可能となる。

＜Ｓ２０１＞乃至＜Ｓ２０３＞
これらの処理は、プロセッサ２３の第１の認識及び制御処理方法における＜Ｓ００１＞乃至＜Ｓ００３＞に対応する。＜Ｓ２０３＞の処理において、第１の画像での認識結果の評価値が所定の閾値未満である場合、＜Ｓ２０４＞に進む。また、第１の画像での認識結果の評価値が所定の閾値未満ではない場合、＜Ｓ２０９＞に進む。

＜Ｓ２０４＞
プロセッサ２３は、第１の認識結果において注意物品が少なくとも１つ以上含まれているかを判定する。第１の画像での認識結果において注意物品があると判定されなかった場合、＜Ｓ２０５＞に進む。また、第１の画像での認識結果において注意物品があると判定された場合、＜Ｓ２０６＞に進む。

＜Ｓ２０５＞
プロセッサ２３は、載置台１５に備えられた駆動部１４ａが撮像部１１と物体との相対位置を変更するように制御信号を生成する。その後、＜Ｓ２０７＞に進む。

＜Ｓ２０６＞
プロセッサ２３は、載置台１５に備えられていない駆動部１４ｂ、１３ｃまたは１３ｄが撮像部１１と物体との相対位置を変更するように制御信号を生成する。その後、＜Ｓ２０７＞に進む。

＜Ｓ２０７＞乃至＜Ｓ２０９＞
これらの処理は、プロセッサ２３の第１の認識及び制御処理方法における＜Ｓ００６＞乃至＜Ｓ００８＞に対応する。＜Ｓ２０９＞の処理後、処理を終了する。

次に、図１９を用いてプロセッサ２３の第４の認識及び制御処理方法を説明する。撮像部１１と物体との相対位置を変更する回数が１回のみである第１乃至３の認識及び制御処理方法に対して、第４の認識及び制御処理方法は、撮像部１１と物体との相対位置を変更する回数は特に限定されない。相対位置を変更する回数が限定されないことにより、十分な認識結果の評価値が得られるまで相対位置を変更することが可能になる。

＜Ｓ３０１＞
プロセッサ２３が、撮像部１１の撮像回数を意味するｎ（初期値：ｎ＝１）を定義する。その後、＜Ｓ３０２＞に進む。

＜Ｓ３０２＞
プロセッサ２３が、撮像部１１が撮像した第ｎの画像を、第１の送受信モジュール１３、第２の送受信モジュール２１及びメモリ２２を介して取得する。その後、＜Ｓ３０３＞に進む。

＜Ｓ３０３＞
プロセッサ２３が、取得した第ｎの画像及びメモリ２２に格納されている照合用データに基づく物体の認識処理を実行し、第ｎの画像での認識結果及び認識結果の評価値を生成する。その後、＜Ｓ３０４＞に進む。

＜Ｓ３０４＞
プロセッサ２３が、第ｎの画像での認識結果の評価値が所定の閾値未満であるかを判定する。第ｎの画像での認識結果の評価値が所定の閾値未満である場合、＜Ｓ３０５＞に進む。また、第ｎの画像での認識結果の評価値が閾値未満ではない場合、＜Ｓ３０７＞に進む。

＜Ｓ３０５＞
プロセッサ２３は、駆動部１４が撮像部１１と物体との相対位置を変更するように制御信号を生成する。その後、＜Ｓ３０６＞に進む。

＜Ｓ３０６＞
プロセッサ２３が生成した制御信号に基づく駆動部１４の駆動後、プロセッサ２３が、ｎ＝ｎ＋１の処理を行う。その後、＜Ｓ３０２＞に戻る。ｎ＝ｎ＋１の処理を行うことによって、複数回の撮像及び、撮像を行った回数をプロセッサ２３が認知することが可能となる。

＜Ｓ３０７＞
プロセッサ２３は第ｎの画像での認識結果に基づいて物体認識結果を確定する。その後、処理を終了する。

次に、図２０を用いてプロセッサ２３の第５の認識及び制御処理方法を説明する。認識結果の評価値が所定の閾値を満たすまで、繰り返し撮像部１１と物体との相対位置の変更を行う第４の認識及び制御処理方法に対して、第５の認識及び制御処理方法は、相対位置の変更回数に上限を設けている。複数回の相対位置の変更を行うことによって、認識処理にかかる時間が増えてしまい、ユーザに不快感を与えてしまうことがある。そのため、上限を設けることによって、相対位置の変更を伴う認識処理が上手くいかない場合でも、ユーザに不快感を与えないように別処理を行うことが可能となる。

＜Ｓ４０１＞
プロセッサ２３が、撮像部１１の撮像回数を意味するｎ（初期値：ｎ＝１）及び撮像回数の上限値であるｍ（ｍは任意の自然数）を定義する。その後、＜Ｓ４０２＞に進む。

＜Ｓ４０２＞乃至＜Ｓ４０４＞
これらの処理は、プロセッサ２３の第４の認識及び制御処理方法における＜Ｓ３０１＞乃至＜Ｓ３０３＞に対応する。＜Ｓ４０４＞において、第ｎの画像での認識結果の評価値が所定の閾値未満ではない場合、＜Ｓ４０５＞に進む。また、第ｎの画像での認識結果の評価値が所定の閾値未満である場合、＜Ｓ４０６＞に進む。

＜Ｓ４０５＞
この処理は、プロセッサ２３の第４の認識及び制御処理方法における＜Ｓ３０７＞に対応する。＜Ｓ４０５＞の処理後、処理を終了する。

＜Ｓ４０６＞
プロセッサ２３においてｎ＜ｍであるかの判定を行う。プロセッサ２３においてｎ＜ｍである場合、＜Ｓ４０７＞に進む。また、プロセッサ２３においてｎ＜ｍでない場合、＜Ｓ４０９＞に進む。

＜Ｓ４０７＞
プロセッサ２３は、駆動部１４が撮像部１１と物体との相対位置を変更するように制御信号を生成する。その後、＜Ｓ４０８＞に進む。

＜Ｓ４０８＞
この処理は、プロセッサ２３の第４の認識及び制御処理方法における＜Ｓ３０７＞に対応する。その後、＜Ｓ４０２＞に戻る。

＜Ｓ４０９＞
プロセッサ２３は、ユーザへ認識が失敗したことを報知する。その後、処理を終了する。ユーザへの報知は、例えば、別途備えるディスプレイに認識が失敗した旨を表示すること、別途備えるスピーカーで認識が失敗した旨をアナウンス又はビープ音等で報知すること、または、第１乃至ｎの画像に基づく認識結果を候補としてディスプレイに表示し、タッチ操作またはボタン操作によってユーザに修正させることを含む。タッチ操作による修正を行う場合、ディスプレイはタッチパネルを備えてもよい。また、ボタン操作による修正を行う場合、ディスプレイは周辺部に物理ボタンを備えてもよい。なお、必ずしも先に示したようなユーザへ認識が失敗したことを報知する必要はなく、例えば、店員に対して認識が失敗したことを報知してもよい。

ここまで、認識装置２に備えられるプロセッサ２３の認識及び制御処理方法について、本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。例えば、プロセッサ２３の認識及び制御処理方法は、ここまでに例として開示した方法以外にも、多くの方法が本開示に基づいて変形及び修正が可能である。例えば、プロセッサ２３の第３の認識及び制御処理方法において、注意物品がある場合、駆動部１４を駆動させずにユーザに認識の失敗を通知してもよいし、プロセッサ２３の第４の認識及び制御処理方法において、＜Ｓ３０３＞の照合用データの取得を、＜Ｓ３０２＞の第ｎの画像の取得前に行ってもよい。また、プロセッサ２３の認識及び制御処理方法について、本開示及び本開示に基づいて変形及び修正した方法の２つ以上の組み合わせをしてもよい。従って、これらを含む本開示の変形及び修正は本開示の範囲に含まれることに留意されたい。

また、ここまでの認識システム、認識装置、及び、認識及び制御処理方法に係る本開示は、主としてＰＯＳシステムへの適用を考慮していたが、必ずしも適用先はＰＯＳシステムとは限らない。例えば、工場での製品の品質検査、または、農産品の品質検査などに本開示を適用してもよい。品質検査においても、単一のカメラで複数面の撮像が可能となり、キズの有無などを判定することが可能となる。また、本開示によって得られた撮像画像は、物体認識に用いる学習データとして直接、または少なくとも一部を加工して用いることも可能である。その場合、学習用に用いる画像を効率的に取得可能となる。

さらに、これまでに述べたように、本開示の解決手段を認識システム、認識装置、認識方法、及び認識プログラムとして説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。

１ レジ端末
２ 認識システム
１１ 撮像部
１２ 保持部
１３ 第１の送受信モジュール
１４、１４a、１４ｂ、１４ｃ、１４ｄ 駆動部
１４ｅ ドローン
１５ 載置台
２１ 第２の送受信モジュール
２２ メモリ
２３ プロセッサ
２３１ 認識部
２３２ 制御部
１０００ 認識装置
Ａ，Ｂ，Ｃ 物体（商品）

Claims (8)

1. 物体が配置される載置台と、
   前記載置台に配置された前記物体の第１の画像を撮像する撮像部と、
   前記第１の画像に基づいて前記物体に特定の物品が含まれているかを判定するプロセッサと、を備え、
   前記プロセッサは、前記物体に前記特定の物品が含まれていると判定した場合には前記撮像部に備えられた第１の駆動部を制御し、前記撮像部を移動させ、前記特定の物品が含まれていないと判定した場合には前記載置台に備えられた第２の駆動部を制御し、載置台を移動または変形させることで、前記撮像部と前記物体との相対位置を変更し、前記相対位置が変更された状態で前記撮像部により撮像された第２の画像に基づき、前記物体の認識を行う、
   認識システム。
2. 前記特定の物品に関する情報を含む照合用データを記憶するメモリを有する、請求項１に記載の認識システム。
3. 前記特定の物品は生卵、陶器、生魚または総菜を含む、請求項１に記載の認識システム。
4. 前記載置台の変形は、湾曲、または、伸縮であり、前記載置台の移動は、並進運動、または、回転運動である、請求項１または２に記載の認識システム。
5. 前記撮像部の移動は、並進運動、または、回転運動である、請求項１または２に記載の認識システム。
6. 撮像部により撮像された、載置台に配置された物体の第１の画像に基づいて、前記物体に特定の物品が含まれていると判定した場合に前記撮像部を移動させるように前記撮像部に取り付けられた第１の駆動部を制御し、前記物体に前記特定の物品が含まれていないと判定した場合に前記載置台を移動または変形させるように前記載置台に取り付けられた第２の駆動部を制御することで前記撮像部と前記物体との相対位置を変化させ、前記相対位置が変化した状態で撮像した前記載置台に配置された前記物体の第２の画像に基づき、前記物体の認識を行うプロセッサを備えた、
   認識装置。
7. プロセッサが、撮像部により撮像された、載置台に配置された物体の第１の画像に基づいて、前記物体に特定の物品が含まれているかを判定し、
   前記物体に、前記特定の物品が含まれていると判定した場合には前記撮像部を移動させるように前記撮像部に取り付けられた第１の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に第２画像を撮影させ、前記特定の物品が含まれていないと判定した場合には前記載置台を移動または変形させるように前記載置台に取り付けられた第２の駆動部を制御し前記撮像部と前記物体との相対位置が変更された状態で前記撮像部に前記載置台に配置された前記物体の前記第２画像を撮影させ、
   前記第２の画像に基づき、前記物体の認識を行う、
   認識方法。
8. プロセッサに、撮像部により撮像された、載置台に配置された物体の第１の画像に基づいて、前記物体に特定の物品が含まれているかを判定させ、
   前記物体に、前記特定の物品が含まれていると判定された場合には前記撮像部が移動するように前記撮像部に取り付けられた第１の駆動部が制御させられることで前記撮像部と前記物体との相対位置を変更させ、前記相対位置が変更した状態で前記撮像部が第２画像を撮影させられ、前記特定の物品が含まれていないと判定された場合には前記載置台が移動または変形するように前記載置台に取り付けられた第２の駆動部が制御させられることで前記相対位置を変更させ、前記相対位置が変更した状態で前記撮像部が前記第２画像を撮影させられ、
   前記第２の画像に基づき、前記物体の認識を行わせる、
   認識プログラム。