JP6687199B2 - 商品棚位置登録プログラム、及び情報処理装置 - Google Patents

商品棚位置登録プログラム、及び情報処理装置 Download PDF

Info

Publication number
JP6687199B2
JP6687199B2 JP2018060074A JP2018060074A JP6687199B2 JP 6687199 B2 JP6687199 B2 JP 6687199B2 JP 2018060074 A JP2018060074 A JP 2018060074A JP 2018060074 A JP2018060074 A JP 2018060074A JP 6687199 B2 JP6687199 B2 JP 6687199B2
Authority
JP
Japan
Prior art keywords
product
information
shelf
unit
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018060074A
Other languages
English (en)
Other versions
JP2019174959A (ja
Inventor
安紘 土田
安紘 土田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2018060074A priority Critical patent/JP6687199B2/ja
Publication of JP2019174959A publication Critical patent/JP2019174959A/ja
Application granted granted Critical
Publication of JP6687199B2 publication Critical patent/JP6687199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明は、商品棚位置情報(各商品が、どの商品棚の、どの位置に陳列されているかという情報)を登録するための商品棚位置登録プログラム、及び商品棚位置情報を登録する機能を有する情報処理装置に関する。
従来の小売店では、商品棚やバックヤード(店舗のうち、売場に供さないスペース)における商品の配置の情報(特に、上記の商品棚位置情報)が、リアルタイムにデータ化されていない。このため、商品が店内のどこに配置されているかは、人が目視して探すしかなく、店員の負担が大きかった。
もし、商品棚やバックヤードにおける商品の位置をリアルタイムにデータ化することができれば、POSシステムと連動させて、店員への商品棚出しの指示を自動化させたり、コンシューマー向けアプリケーションを利用した、顧客の商品への誘導(商品位置案内)をすることができる。また、上記の商品位置のリアルタイムデータ化を行うことができれば、棚位置の価値(商品が置かれている棚の位置が、どれ位の価値(メリット)をもたらすか)を算出することが可能になる。
そこで、従来から、一部の小売店では、RFID(Radio Frequency Identification)タグを用いて、店舗内における商品位置を管理するようにしている(例えば、特許文献1等参照)。
特開2016−172605号公報
ところが、上記のような従来のRFIDタグを用いた商品位置管理システムでは、各商品にRFIDタグを取り付ける必要があるため、コストが嵩むだけはなく、各商品にRFIDタグを取り付けるのに必要な手間(工数)が大きい。
本発明は、上記課題を解決するものであり、店員ができるだけ少ない工数で、現在の商品棚位置情報を登録することが可能な商品棚位置登録プログラム、及び情報処理装置を提供することを目的とする。
上記課題を解決するために、本発明の第1の態様による商品棚位置登録プログラムは、情報処理装置を、商品棚の撮影画像に写り込んだ各商品の商品ID情報を認識する商品ID情報認識部、前記撮影画像の撮影時における、カメラの3次元位置及び撮影方向を推定するカメラ位置姿勢推定部、前記撮影画像と、前記カメラ位置姿勢推定部により推定した前記カメラの3次元位置及び撮影方向とに基づいて、前記商品ID情報認識部により認識した商品ID情報に対応した商品の3次元位置を算出する商品3次元位置算出部、及び前記撮影画像に写り込んだ各商品について、前記商品ID情報認識部により認識した商品ID情報と、前記商品3次元位置算出部により算出した商品の3次元位置とを、前記商品ID情報に対応した商品が陳列された商品棚と関連付けて、商品棚位置情報の一部又は全部として登録する商品棚位置情報登録部、として機能させる。
この商品棚位置登録プログラムにおいて、前記情報処理装置を、さらに、前記撮影画像に写り込んだ各商品の商品ID情報を認識して、この商品ID情報の認識が最初に成功したときに、認識に成功した商品ID情報に対応した商品が陳列された商品棚を、前記商品棚位置情報登録部により登録した商品棚位置情報に基づいて、判別する商品棚判別部と、前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品のうち、前記撮影画像に写り込んだ各商品について、これらの商品の商品ID情報に対応した商品情報を、前記商品棚位置情報に基づいて、前記撮影画像における前記各商品の3次元位置に対応した位置に表示するように制御する表示制御部として機能させることが望ましい。
この商品棚位置登録プログラムにおいて、前記情報処理装置を、さらに、前記撮影画像に写り込んだ各商品の領域を検出する商品領域検出部として機能させ、前記表示制御部は、前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品の領域のうち、前記商品領域検出部による検出に成功した商品の領域に、マーカーを付して表示することが望ましい。
この商品棚位置登録プログラムにおいて、前記商品ID情報は、各商品の商品タグに記載された商品ID情報であり、前記情報処理装置を、さらに、前記撮影画像に写り込んだ前記各商品の商品タグの2次元位置とサイズを検出する商品タグ領域検出部として機能させ、前記商品3次元位置算出部は、前記カメラ位置姿勢推定部により推定した、前記カメラの3次元位置及び撮影方向に加えて、前記商品タグ領域検出部により検出した各商品の商品タグの2次元位置とサイズに基づいて、前記撮影画像に写り込んだ各商品の商品タグの3次元位置を算出するようにしてもよい。
本発明の第2の態様による情報処理装置は、商品棚の撮影画像に写り込んだ各商品の商品ID情報を認識する商品ID情報認識部と、前記撮影画像の撮影時における、カメラの3次元位置及び撮影方向を推定するカメラ位置姿勢推定部と、前記撮影画像と、前記カメラ位置姿勢推定部により推定した前記カメラの3次元位置及び撮影方向とに基づいて、前記商品ID情報認識部により認識した商品ID情報に対応した商品の3次元位置を算出する商品3次元位置算出部と、前記撮影画像に写り込んだ各商品について、前記商品ID情報認識部により認識した商品ID情報と、前記商品3次元位置算出部により算出した商品の3次元位置とを、前記商品ID情報に対応した商品が陳列された商品棚と関連付けて、商品棚位置情報の一部又は全部として登録する商品棚位置情報登録部とを備える。
この情報処理装置において、前記撮影画像に写り込んだ各商品の商品ID情報を認識して、この商品ID情報の認識が最初に成功したときに、認識に成功した商品ID情報に対応した商品が陳列された商品棚を、前記商品棚位置情報登録部により登録した商品棚位置情報に基づいて、判別する商品棚判別部と、前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品のうち、前記撮影画像に写り込んだ各商品について、これらの商品の商品ID情報に対応した商品情報を、前記商品棚位置情報に基づいて、前記撮影画像における前記各商品の3次元位置に対応した位置に表示するように制御する表示制御部とをさらに備えることが望ましい。
この情報処理装置において、前記撮影画像に写り込んだ各商品の領域を検出する商品領域検出部をさらに備え、前記表示制御部は、前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品の領域のうち、前記商品領域検出部による検出に成功した商品の領域に、マーカーを付して表示することが望ましい。
この情報処理装置において、前記商品ID情報は、各商品の商品タグに記載された商品ID情報であり、前記撮影画像に写り込んだ前記各商品の商品タグの2次元位置とサイズを検出する商品タグ領域検出部をさらに備え、前記商品3次元位置算出部は、前記カメラ位置姿勢推定部により推定した、前記カメラの3次元位置及び撮影方向に加えて、前記商品タグ領域検出部により検出した各商品の商品タグの2次元位置とサイズに基づいて、前記撮影画像に写り込んだ各商品の商品タグの3次元位置を算出するようにしてもよい。
この情報処理装置は、前記カメラをさらに備えることが望ましい。
この情報処理装置は、表示装置をさらに備えることが望ましい。
この情報処理装置は、携帯可能な情報処理装置であることが望ましい。
本発明によれば、店員が店内に配置された商品棚を撮影して回るだけで、情報処理装置が、自動的に、これらの商品棚の撮影画像に写り込んだ各商品の商品ID情報を認識し、認識した商品ID情報に対応した商品の3次元位置を算出した上で、上記の撮影画像に写り込んだ各商品について、これらの商品の商品ID情報と3次元位置を、これらの商品が陳列された商品棚と関連付けて、商品棚位置情報(各商品が、複数の商品棚のうち、どの商品棚の、どの位置に陳列されているかという情報)の一部又は全部として登録する。これにより、上記特許文献1に記載された商品(物品)管理システムを含む、従来の小売店における商品の棚位置の管理方法と比べて、店員が現在の商品棚位置情報を登録するのに必要な工数の低減を図ることができる。
本発明の一実施形態の商品棚位置登録プログラムを実装したスマートフォンの概略のブロック構成図。 同商品棚位置登録プログラムにより実装された、スマートフォンのCPUの機能ブロック構成図。 同スマートフォンにおける商品棚位置情報登録処理のフローチャート。 図3中の表示処理のフローチャート。 同スマートフォンのカメラによる商品棚の撮像画像と、この撮像画像に写り込んだ各商品の商品タグの説明図。 図5中の撮像画像に、商品棚の各商品の商品名を重ね合わせて表示した図。 ある商品棚の撮像時における、カメラの位置、姿勢(撮影方向)、及び画角を示す図。 図7に示す状態において、現在撮影中の商品棚における商品タグ(の商品名)のみを表示した様子を示す説明図。 図7に示す状態において、現在撮影中の商品棚を意識せずに、スクリーン表示領域における3次元空間内に、各商品の商品タグ(の商品名)を配置して表示した様子を示す説明図。 t_1の時点における商品棚位置情報の登録状況を示す図。 t_2の時点における商品棚位置情報の登録状況を示す図。 t_3の時点における商品棚位置情報の登録状況を示す図。
以下、本発明を具体化した実施形態による商品棚位置登録プログラム、及び情報処理装置について、図面を参照して説明する。図1は、本実施形態による商品棚位置登録プログラムを実装したスマートフォン(請求項における「情報処理装置」、及び「携帯可能な情報処理装置」)の概略の内部構成を示すブロック図である。このスマートフォン1は、通信部3を有しており、通信部3とネットワーク(例えば、インターネット)とを介して、学習用サーバ2、及びPOS(Point of Sales)システムのサーバであるPOSサーバ14と接続されている。通信部3は、通信制御用ICとアンテナを備えている。後述する商品タグの領域検出を行うための学習は、学習用サーバ2側で行われ、スマートフォン1側は、学習用サーバ2側から、商品タグ領域検出用の物体検出エンジンの学習済みのパラメータデータを受信(ダウンロード)することで、スマートフォン1側で学習することなく、商品タグ(の領域)を検出することができる。なお、この商品タグ領域検出用の物体検出エンジンは、例えば、R−CNN(Regions with Convolutional Neural Network features)ベースの物体検出エンジンである。また、本明細書において、「エンジン」とは、情報処理装置を使用して、様々な情報処理を行う機構(システム)を意味する。
また、後述するバーコード認識を行うための学習も、学習用サーバ2側で行われ、スマートフォン1側は、学習用サーバ2側から、バーコード認識エンジンの学習済みのパラメータデータを受信(ダウンロード)することで、スマートフォン1側で学習することなく、バーコードを認識することができる。なお、このバーコード認識エンジンは、例えば、CNN(Convolutional Neural Network)と、再帰的なつながりを持つネットワークであるRNN(Recurrent Neural Network)とを組み合わせたエンジンであり、CNNとRNNとを連動させることで、一種のシーケンス情報(連続性のあるデータ)であるバーコードを認識することができる。
さらに、スマートフォン1は、POSサーバ14の商品詳細情報DBから、商品詳細情報(バーコードに対応した商品ID情報、商品名、金額等から構成される情報)を取得する。上記の商品詳細情報DBは、各バーコードの商品ID情報と、商品名や金額等の商品情報とを対応付けたテーブルデータのデータベースである。ここで、上記の商品ID情報とは、例えば、バーコードが、JAN(Japanese Article Number)コードの場合は、商品識別番号である。
スマートフォン1は、さらに、装置全体の制御と各種演算を行うCPU4と、各種のデータやプログラムを記憶するメモリ5とを備えている。メモリ5に記憶されているプログラムには、商品棚位置登録プログラム6が含まれている。この商品棚位置登録プログラム6には、上記のR−CNNベースの物体検出エンジン、及び上記のCNNとRNNとを組み合わせたバーコード認識エンジンが含まれている。また、メモリ5は、上記の物体検出エンジン及びバーコード認識エンジンのパラメータデータ7と、後述する商品棚位置情報ELを記憶している。上記のパラメータデータ7は、上記の学習用サーバ2から受信したパラメータ更新用データにより更新される。
また、スマートフォン1は、カメラ8と、ディスプレイ9(請求項における表示装置)と、操作ボタン10と、マイクロフォン11と、スピーカ12と、二次電池13とを備えている。カメラ8は、商品棚の商品の撮影等に用いられる。ディスプレイ9は、いわゆるタッチパネルタイプのディスプレイであり、カメラ8により撮影された画像(撮影画像)の表示や、後述する商品タグ領域の検出結果の表示や、後述するバーコードの認識結果の表示(具体的には、バーコードに対応した商品名の表示)等に用いられる。操作ボタン10は、ユーザ(店員)による電源オン/オフ等の指示入力に用いられる。また、二次電池13は、リチウムイオン電池等の、充電により繰り返し使用することが可能な電池であり、スマートフォン1の各部に電力を供給する。
図2は、上記の商品棚位置登録プログラム6により実装された、CPU4の機能ブロックを示す。CPU4内の各ブロック(カメラ位置姿勢推定部21、カメラ位置姿勢固定判定部22、商品タグ領域検出部23、バーコード認識部24、商品タグ位置算出部25、商品棚位置情報登録部26、商品棚位置表示制御部27、表示用商品タグ領域検出部28、商品棚判別部29、表示制御部30)の機能は、CPU4がメモリ5に記憶された商品棚位置登録プログラム6を実行することにより実現される。ただし、この構成に限られず、例えば、上記の各ブロックの機能の少なくとも一つを、ASIC(Application Specific Integrated Circuit)等によって構成される個別のハードウェアによって実現してもよい。上記の表示用商品タグ領域検出部28は、請求項における商品領域検出部に相当し、商品タグ位置算出部25は、請求項における商品3次元位置算出部に相当し、バーコード認識部24は、請求項における商品ID情報認識部に相当する。
上記のカメラ位置姿勢推定部21は、商品棚の画像の撮影時における、カメラ8の3次元位置と、カメラ8の撮影方向とを推定する。カメラ位置姿勢固定判定部22は、カメラ位置姿勢推定部21により推定した、直近の数フレーム分の撮影画像におけるカメラ8の3次元位置と撮影方向に基づいて、直近の数フレームにおけるカメラ移動量を検出し、この移動量に基づいてカメラ8が静止している(固定されている)状態であるか否かを判定する。商品タグ領域検出部23は、カメラ8による撮影画像に写り込んだ各商品の商品タグの2次元位置とサイズを検出する。バーコード認識部24は、上記の商品棚の撮影画像に写り込んだ各商品の商品タグにバーコードの形式で記載された商品ID情報を、認識する(読み取る)。すなわち、バーコード認識部24は、上記の商品棚の撮影画像に写り込んだ各商品の商品ID情報を認識する。商品タグ位置算出部25は、上記の商品棚の撮影画像に基づいて、バーコード認識部24により認識した商品ID情報が記載された商品タグの3次元位置を算出することにより、バーコード認識部24により認識した商品ID情報に対応した商品の3次元位置を算出する。
また、上記の商品棚位置情報登録部26は、上記の撮影画像に写り込んだ各商品について、バーコード認識部24により認識した商品ID情報と、商品タグ位置算出部25により算出した商品タグの3次元位置(商品の3次元位置)とを、上記の商品ID情報に対応した商品が陳列された商品棚と関連付けて、商品棚位置情報EL(各商品が、複数の商品棚のうち、どの商品棚の、どの位置に陳列されているかという情報)の一部又は全部として登録する。
また、上記の商品棚位置表示制御部27は、表示用商品タグ領域検出部28、商品棚判別部29、及び表示制御部30から構成される。上記の表示用商品タグ領域検出部28は、カメラ8による現在の撮影画像に写り込んだ各商品の領域を検出する。具体的には、表示用商品タグ領域検出部28は、カメラ8による現在の撮影画像に写り込んだ各商品の商品タグの2次元位置とサイズを検出する。商品棚判別部29は、上記の現在の撮影画像に写り込んだ各商品の(商品タグに記載されたバーコード形式の)商品ID情報を認識して、この商品ID情報の認識が最初に成功したときに、認識に成功した商品ID情報に対応した商品が陳列された商品棚を、上記の商品棚位置情報登録部26により登録した商品棚位置情報ELに基づいて、判別する。表示制御部30は、商品棚判別部29によって、認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品のうち、上記の撮影画像に写り込んだ各商品について、これらの商品の商品ID情報に対応した商品情報を、上記の商品棚位置情報ELに基づいて、上記撮影画像における各商品の3次元位置に対応した位置に表示するように制御する。具体的には、表示制御部30は、商品棚判別部29によって、認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品のうち、上記の撮影画像に写り込んだ各商品について、これらの商品の商品タグに記載されたバーコード形式の商品ID情報に対応した商品名を、上記の商品棚位置情報に基づいて、上記撮影画像における各商品の商品タグの3次元位置に対応した位置に表示するように制御する。
次に、上記図1及び図2に加えて、図3のフローチャートを参照して、上記のスマートフォン1における商品棚位置情報登録処理について説明する。店員が、タッチパネルタイプのディスプレイ9をタッチ操作することにより、商品棚位置情報登録処理の開始を指示すると、CPU4は、商品棚位置登録プログラム6に基づき、商品棚位置情報登録処理を開始する。
具体的には、まず、CPU4は、単眼カメラであるカメラ8により、撮影画像を取得(撮影)した上で(S1)、ARKit(iPhone(登録商標)・iPad(登録商標)向けのAR(Augmented Reality)対応アプリケーションのためのフレームワーク)等の既存の技術を用いて、各フレームの撮影画像から特徴点を抽出し、各フレームの撮影画像間の特徴点の動きから、カメラ8の3次元位置と、カメラ8の撮影方向(撮影姿勢)とを推定する。この特徴点は、撮影画像中の物のエッジ等に相当する点(ポイント)であり、光源(照明)の向きが変わっても、特徴が変わり難い部分である。より詳細に説明すると、CPU4(のカメラ位置姿勢推定部21)は、直近の撮影画像v_tに基づいて、直近の撮影画像v_tにおける特徴点情報c_tを計算する(S2)。この特徴点情報は、メモリ5に、nフレーム分保持(記憶)される。そして、CPU4(のカメラ位置姿勢推定部21)は、メモリ5に保持されたnフレーム分の特徴点情報C(C={c_t,c_t−1,・・・,c_t−n−1})から、直近の撮影画像v_tの撮影時における、カメラ位置(カメラ8の3次元位置)l_tと、姿勢(カメラ8の撮影方向)p_tとを計算する(S3)。メモリ5は、直近のmフレーム分のカメラ位置L(L={l_t,l_t−1,・・・,l_t−m−1})と、姿勢P(P={p_t,p_t−1,・・・,p_t−m−1})とを、保持する。
次に、CPU4は、メモリ5に保持されたmフレーム分のカメラ位置Lと姿勢Pより、mフレームにおける(mフレームの間の)カメラ移動量ΔLPを計算する(S4)。そして、CPU4の商品棚位置表示制御部27が、図4の説明で後述する表示処理を行った後に(S5)、CPU4のカメラ位置姿勢固定判定部22は、S4で求めたカメラ移動量ΔLPが、一定の閾値以下であるか否か(カメラ8が静止している(固定されている)状態であるか否か)を判定する(S6)。
ここで、画像認識を利用する場合には、バーコード読み取りは、(カメラの)手ブレに弱い(手ブレがあると、バーコードを正確に読み取る(認識する)ことが難しい)。特に、多数の商品タグ(のバーコード)が写り込むように、店員が引いて(遠くから)撮影している場合は、なおさら、手ブレに弱い。従って、上記S6の判定処理(カメラ8が静止している状態であるか否かの判定処理)の役割が重要になる。
CPU4は、上記のカメラ移動量ΔLPが一定の閾値以下になる(カメラ8が静止した状態になる)までは(S6でNO)、上記S1乃至S5の処理を繰り返す。そして、CPU4(のカメラ位置姿勢固定判定部22)が、カメラ移動量ΔLPが一定の閾値以下になった(カメラ8が静止した状態になった)と判定すると(S6でYES)、CPU4(の商品タグ領域検出部23)は、カメラ8による(直近の)撮影画像v_tに写り込んだ(i個の)各商品の商品領域情報R={r_1,・・・,r_i}を検出する(S7)。ここで、上記の各商品の商品領域情報とは、図5に示される商品棚31の撮影画像v_tに写り込んだ各商品32の商品タグ33の2次元位置とサイズの情報である。従って、上記S7の商品領域情報検出(抽出)処理は、撮影画像v_tに写り込んだ各商品32の商品タグ33の領域の抽出処理と言い換えることができる。そして、この商品タグ33の領域の抽出処理は、商品棚位置登録プログラム6に組み込まれた、R−CNNベースの物体検出エンジンにより行われる。なお、CPU4は、上記S6の静止状態判定処理において、カメラ8が静止した状態になったと判定した場合に、「バーコードを読み取りますか?」という確認メッセージをディスプレイ9に表示して、店員が、タッチパネルタイプのディスプレイ9のタッチ操作等により、バーコード読み取りを指示した場合に限り、S7以降の処理に進むようにしてもよい。
図5に示されるように、本実施形態における商品タグ33には、商品名34と、値段35と、JANコード等の一次元のバーコード36と、ヒューマンリーダブル文字37とが記載されている。ここで、ヒューマンリーダブル文字37は、バーコード36の内容を人が読める文字で表したもので、何らかの原因 (バーコードの汚れ・損傷、バーコードリーダーの故障など)でバーコード36が読み取れなかった場合に、店員が目で見て、ポスレジ等に打ち込むためのものである。
次に、CPU4(のバーコード認識部24)は、上記のCNNとRNNとを組み合わせたバーコード認識エンジンを用いて、直近の撮影画像v_tと上記の各商品の商品領域情報Rから、撮影画像v_tに写り込んだ各商品32の商品タグ33にバーコード36の形式で記載された商品ID情報D={d_1,・・・,d_n}を認識する(読み取る)(S8)。ただし、上記の認識処理に失敗した商品ID情報d_xには、−1をセットする。なお、上記のように、バーコード36の形式で記載された商品ID情報の認識(読み取り)に、通常のバーコードリーダーではなく、CNNとRNNとを組み合わせたバーコード認識エンジンを用いた理由は、通常のバーコードリーダーによる読み取り(認識)は、光源の明るさや位置の相違への対応力が弱く、また、カメラのブレの問題にも弱いからである。バーコード認識部24は、上記のバーコード認識エンジンを内包しており、このバーコード認識エンジンに含まれるCNNとRNNとを連動させることにより、バーコード36の形式で記載された商品ID情報Dを認識する。
次に、CPU4(の商品タグ位置算出部25)は、商品ID情報Dの配列に格納された要素のうち、上記S8の認識処理に成功した(−1がセットされていない)商品ID情報d_xについて、この商品ID情報d_xに対応した商品タグ33の商品領域情報r_xと、上記S3の処理で求めた直近の撮影画像v_tのカメラ位置l_t及び姿勢p_tとから、各商品ID情報d_xに対応した商品タグ33の3次元位置dp_xを算出する(S9)。すなわち、CPU4の商品タグ位置算出部25は、CPU4のカメラ位置姿勢推定部21により推定したカメラ位置l_tと姿勢p_tとに加えて、CPU4の商品タグ領域検出部23により検出した各商品の商品タグ33の商品領域情報r_x(商品タグ33の2次元位置とサイズ)に基づいて、直近の撮影画像v_tに写り込んだ各商品の商品タグ33の3次元位置dp_xを算出する。そして、CPU4は、算出した各商品タグ33の3次元位置dp_xと、上記S8で生成した商品ID情報Dの配列の各要素d_xとから、直近の撮影画像v_tに写りこんだ各商品タグ33についての、商品ID情報と3次元位置との対応関係を表す商品位置情報Eの配列(E={e_x=(d_x,dp_x),...}を生成する。すなわち、バーコード36の読み込みで特定した各商品32の商品ID情報と、各商品32の商品タグ33の検出位置(3次元位置)との紐づけを行う。
次に、CPU4(の商品棚位置情報登録部26)は、メモリ5に記憶された既存の(これまでに作成済の)商品棚位置情報ELに対して、以下の商品棚位置情報登録処理を行う(S10)。すなわち、CPU4(の商品棚位置情報登録部26)は、メモリ5から読み出した既存の商品棚位置情報EL={E_1,・・・,E_j}の配列中の要素の中に、上記の商品位置情報Eの配列中の商品ID情報の要素d_xを含むものが無い場合は、上記の商品位置情報Eを、商品棚位置情報ELに、一つの要素として追加する。また、CPU4(の商品棚位置情報登録部26)は、既存の商品棚位置情報ELの配列中の要素の中に、上記の商品位置情報Eの配列中のいずれかの商品ID情報の要素d_xを含むものが一つある場合、この要素d_xを含む(商品棚位置情報ELの配列中の)要素E_yの配列に、商品位置情報Eの配列中の要素のうち、未だE_yの配列に登録されていない要素を追加する。また、CPU4(の商品棚位置情報登録部26)は、既存の商品棚位置情報ELの配列中の要素の中に、上記の商品位置情報Eの配列中のいずれかの商品ID情報の要素を含むものが二つ以上ある場合、この商品ID情報の要素を含む(商品棚位置情報ELの配列中の)要素E_y1,・・・,E_ynを、商品棚位置情報ELの配列から削除した上で、元の要素E_y1,・・・,E_ynの配列の要素のうち、未だ商品位置情報Eの配列に登録されていない要素を、商品位置情報Eの配列に追加して、この商品位置情報Eを、商品棚位置情報ELに、一つの要素として追加する。
上記の処理により、CPU4(の商品棚位置情報登録部26)は、上記S8の処理で認識した(読み取った)商品ID情報と、上記S9の処理で算出した各商品32の商品タグ33の3次元位置とを、上記の商品ID情報に対応した商品32が陳列された商品棚31と関連付けて(紐づけて)、商品棚位置情報ELの一部又は全部として登録する。CPU4は、このS10の商品棚位置情報登録処理が終了すると、上記S1のステップに戻る。
なお、本実施形態では、商品陳列位置が変わっても、変わった部分をスマートフォン1で撮影する(変わった部分にスマートフォン1をかざす)だけで、商品棚位置情報ELを更新する(登録し直す)ことができる。しかしながら、商品棚位置情報ELの登録に要する時間を短縮する(登録処理の高速化を図る)という観点からは、上記S7〜S10の処理において、同じ個所の商品タグ33の商品ID情報(バーコード36)を何度も認識しないよう、認識済み位置のバーコード36については、バーコード読み取り(認識)を行わないようにすることが望ましい。従って、S8の認識処理において、撮影画像v_tに写り込んだ各商品32の商品タグ33に記載されたバーコード36のうち、既に認識済の位置のバーコード36については、バーコード読み取り(商品ID情報の認識)を行わないようにして、店員が、タッチパネルタイプのディスプレイ9等を用いて、「再登録」を指示した場合に限り、既に認識済の位置のバーコード36についても、再度、バーコード36の読み取り(商品ID情報の認識)処理と、上記S9及びS10の処理とをやり直してもよい。
また、上記S8に示すように、本実施形態では、バーコード形式で記載された商品ID情報を認識する(読み取る)方法を用いたが、ディープラーニング等の人工知能の技術を用いて、商品棚31に陳列された各商品32そのものの検出と認識(分類)を行う方法も考えられる。しかしながら、現時点の技術では、商品そのものの正確な認識(分類)を行うことが難しい。また、この認識方法では、商品棚に陳列される可能性のある全商品の画像、又はこれらの画像の特徴が必要になるが、陳列される可能性のある商品32の数が多く、商品32のパッケージ等が更新されることも多いため、商品そのものを認識(分類)する方法は、効率が悪い。
次に、図4のフローチャートを参照して、図3中のS5の表示処理について説明する。CPU4(の商品棚位置表示制御部27)は、まず、現在の(直近の撮影画像v_tの撮影時における)カメラ位置l_tと姿勢p_tとから、現在ディスプレイ9上に表示している(カメラ8で写している)領域であるスクリーン表示領域SCを計算する(S11)。このスクリーン表示領域SCは、現在のカメラ位置と姿勢から見えている部分の領域であり、3次元グラフィックスで一般的に用いられている、3次元位置をスクリーン面上に投影するという技術を用いて求められる。CPU4(の商品棚位置表示制御部27)は、スクリーン表示領域SCに、既に、商品名(請求項における「商品情報」)がある(配置されている)状態の場合は(S12でYES)、後述するS17のステップに進む。上記のスクリーン表示領域SCに既に商品名がある状態とは、図6に示すように、ディスプレイ9上に、既に、商品名42が表示されている状態を意味する。
これに対して、スクリーン表示領域SCに、商品名がない(配置されていない)状態の場合(ディスプレイ9上に、未だ、商品名42が表示されていない場合)は(S12でNO)、CPU4(のカメラ位置姿勢固定判定部22)は、上記図3中のS6と同様に、上記S4で求めたカメラ移動量ΔLPが、一定の閾値以下であるか否かの判定を行う(S13)。上記のスクリーン表示領域SCに商品名がない(ディスプレイ9上に、未だ商品名42が表示されていない)状態は、例えば、ある商品棚31に陳列された各商品32についての商品棚位置情報の登録処理を完了して、別の商品棚31に陳列された各商品32についての商品棚位置情報の登録処理を開始した時(店員がこれまでの商品棚31とは別の商品棚31を撮影した時)に生じ得る。
上記S13の判定において、カメラ移動量ΔLPが一定の閾値を超える(カメラ8が静止していない状態)のときは(S13でNO)、CPU4(の商品棚位置表示制御部27)は、図4に示すルーチンの処理を抜ける。
これに対して、カメラ移動量ΔLPが一定の閾値以下のとき(カメラ8が静止した状態のとき)は(S13でYES)、CPU4(の表示用商品タグ領域検出部28)は、上記S7の処理と同様に、カメラ8による現在の撮影画像v_tに写り込んだ各商品32の商品領域情報R={r_1,・・・,r_i}(各商品の商品タグ33の2次元位置とサイズ)を検出(抽出)する(S14)。
上記S14の処理が完了すると、CPU4(の商品棚判別部29)は、上記の物体検出エンジンを用いて、直近の撮影画像v_tと上記の各商品の商品領域情報Rから、撮影画像v_tに写り込んだ商品32の商品タグ33にバーコード36の形式で記載された商品ID情報dを認識する(読み取る)(S15)。ここで、上記の商品ID情報dは、商品領域情報Rの配列における最初の商品領域情報の要素r_1に対応する位置のバーコード36(の商品ID情報)から順に認識していき、最初に認識できたバーコード36の商品ID情報である。
次に、CPU4(の商品棚判別部29)は、上記S15の認識処理で認識に成功したバーコード36の商品ID情報dに対応した商品32が陳列された商品棚31を、上記S10で登録した商品棚位置情報ELに基づいて判別する。すなわち、CPU4(の商品棚判別部29)は、S16の処理に進んで、まず、メモリ5に記憶された商品棚位置情報ELの配列に含まれる要素のうち、商品ID情報の要素として上記のdを含む要素E_xを検索する。ここで、商品棚位置情報EL={E_1,・・・,E_j}の配列中の各要素E_1,E_2,・・・は、各商品棚31に対応したものであり、各商品棚31毎に、その棚に陳列された各商品32についての情報(各商品32の商品ID情報と商品タグ33の3次元位置とが格納された配列e_x=(d_x,dp_x))を格納した配列である。従って、上記のように、商品棚位置情報ELの配列に含まれる要素のうち、商品ID情報の要素として上記のdを含む要素を検索することにより、直近の撮影画像v_tに写り込んだ商品棚31を判別して、この商品棚31に陳列された各商品32についての情報を格納した配列E_xを求めることができる。
そして、CPU4(の表示制御部30)は、上記の配列E_xに含まれる各商品32の要素のうち、各商品32の(商品タグ33の)3次元位置の要素に基づいて、スクリーン表示領域SCにおける3次元空間内に、配列E_xに含まれる各商品32の商品ID情報の要素に対応した商品名を配置する(S16)。すなわち、CPU4(の表示制御部30)は、認識に成功した商品ID情報dに対応した商品が陳列されていると判別された商品棚31の商品32のうち、直近の撮影画像v_tに写り込んだ各商品32について、これらの商品32の商品タグ33に記載された商品ID情報に対応した商品名を、商品棚位置情報EL(の配列E_x)に基づいて、直近の撮影画像v_tにおける各商品の商品タグ33の3次元位置に対応した位置に配置する。
上記S16の処理において、CPU4(の表示制御部30)は、上記の配列E_xに含まれる各商品32の商品ID情報(の要素)をキーにして、図1中のPOSサーバ14の商品詳細情報DBを検索することにより、配列E_xに含まれる各商品32の商品ID情報に対応する商品名を取得し、これらの商品名を、スクリーン表示領域SCにおける3次元空間内に配置する(スクリーン表示領域SCにおける、各商品の商品タグ33の3次元位置に対応した位置に配置する)。そして、CPU4(の表示制御部30)は、現在ディスプレイ9上に表示しているスクリーン表示領域SCに、直近の撮影画像v_tに写り込んだ商品棚31に対応する配列E_xの内容(商品名)を重ね合わせて表示する(S17)。
CPU4(の表示制御部30)は、上記S16及びS17の処理により、図6に示すように、S15の認識処理で認識に成功したバーコードの商品ID情報dに対応した商品が陳列されていると判別された商品棚31の商品32のうち、直近の撮影画像v_tに写り込んだ各商品32の商品タグ33に記載された(バーコード形式の)商品ID情報に対応した商品名42(請求項における商品情報)を、商品棚位置情報EL(の配列E_x)に基づいて、直近の撮影画像v_tにおける各商品32の商品タグ33の3次元位置に対応した位置に表示するように制御する。
図6は、上記S17の処理後に、スマートフォン1のディスプレイ9に表示される検出結果画像40を示す。CPU4(の表示制御部30)は、上記S16の処理において、S15の認識処理で認識に成功した(バーコード36の)商品ID情報dに対応した商品32が陳列されていると判別された商品棚31の商品タグ33のうち、上記S14の商品領域情報検出に成功した商品タグ33aを、図6中の検出結果画像40に破線で示すように、赤色等の枠41で囲んだ状態で表示する。すなわち、CPU4(の表示制御部30)は、商品領域情報検出に成功した商品タグ33aに、マーカーを付して表示する。
これに対して、CPU4(の表示制御部30)は、上記の商品ID情報dに対応した商品32が陳列されていると判別された商品棚31の商品タグ33のうち、上記S14の商品領域情報検出に失敗した商品タグ33bについては、枠41で囲まずに表示する。また、図6中の商品タグ33cは、上記の商品ID情報dに対応した商品32が陳列されていると判別された商品棚31の商品タグ33のうち、上記S8の認識処理で認識に失敗した商品ID情報に対応するバーコード36が記載された商品タグ33ではあるが、上記S14の商品領域情報検出に成功した商品タグ33である。CPU4(の表示制御部30)は、図6に示すように、この商品タグ33cについても、枠41で囲んだ状態で表示するが、商品名42については、表示しない(表示できない)。
上記図4及び図6に示す表示処理を行うことにより、店員は、商品名42が表示されていない商品タグ33b、33cについては、これらの商品タグに記載されたバーコード36の商品ID情報を認識できていない(読み取れていない)ことが、簡単に(一目で)分かる。従って、店員は、直近の撮影画像v_tに写り込んだ全ての商品タグ33に記載されたバーコード36の商品ID情報を認識できるまで(撮影画像v_tに写り込んだ全ての商品32の商品名42が表示されるようになるまで)、スマートフォン1(のカメラ8)を静止させて、上記図3に示される商品棚位置情報登録処理を行えばよい。
上記図4及び図6に示す表示処理では、現在のカメラ位置l_tと姿勢p_tとから、現在、店員に見えている(カメラ8により撮影されている)部分の商品タグ33の商品名42を表示するようにした。具体的には、直近の撮影画像に写りこんでいるバーコード36の商品ID情報と、既に登録済の商品棚位置情報ELとから、現在撮影中の商品棚31を判別して、この商品棚31以外の商品棚(現在撮影中の商品棚31の裏側の商品棚を含む)の商品についての商品名42を表示しないようにした。ここで、商品棚位置情報ELの配列中の全ての商品ID情報の要素に対応した商品名42を、撮影画像v_tにおける各商品の商品タグ33の3次元位置に対応した位置に配置して表示してしまうと、現在撮影中の商品棚31に陳列された商品32の商品名42だけではなく、現在撮影中の商品棚31の裏側の商品棚等に陳列された商品32の商品名42も、表示されてしまう。
そこで、本実施形態では、CPU4(の商品棚位置情報登録部26)が、撮影画像に同時に写りこむバーコード36の商品ID情報を、同一の商品棚31の商品ID情報として、商品棚位置情報ELに登録(記憶)するようにした。これにより、現在撮影中の商品棚31の商品のバーコード36(の商品ID情報)を一つでも認識することができれば、その商品と同じ商品棚31の商品名42を、スクリーン表示領域SCにおける3次元空間内に配置して表示することで、現在撮影中の商品棚31の裏側の商品棚の商品32等の不要な商品32の商品名42の表示を防ぐことができる。
上記の不要な商品32の商品名42の表示を防ぐための工夫について、図7乃至図12を参照して説明する。ただし、図7乃至図12では、記載を簡単にするために、上記の商品名42の代わりに、商品タグ33を記載している。カメラ位置l_t、姿勢(撮影方向)p_t、及び(水平)画角αが、図7に示す状態の時には、ディスプレイ9上に、図8に示すように、現在撮影中の(商品棚31における)1と2の商品タグ33の商品名42のみを表示すべきである。ところが、商品棚31を意識せずに、スクリーン表示領域SCにおける3次元空間内に、各商品棚31に陳列された各商品32の商品タグ33の商品名42を配置すると、図9に示すように、1と2の商品タグ33の商品名42だけではなく、4や9の商品タグ33の商品名42も表示されてしまう。何故なら、上記図4に示される表示処理時には、各商品の商品ID情報Dの認識をせず、単に、商品棚位置情報ELに既に登録されている商品ID情報と商品タグ33の3次元位置とに基づいて、商品棚位置情報ELに登録済の商品ID情報に対応した商品名を、これらの商品ID情報に対応した商品タグ33の3次元位置に配置して、これらの商品名を、カメラ位置l_t、姿勢p_t、及び画角αに応じて、表示するだけだからである。
そこで、現在表示(撮影)中の商品棚31を意識した以下の処理手順により、今、スマートフォン1を持った店員の目の前にある商品棚31の商品タグ33に対応する商品名のみを、スクリーン表示領域SCにおける3次元空間内に配置して表示するようにした。
以下の説明では、商品棚位置情報ELの登録処理が、図10に示すt_1の時点から始まったものとする。まず、図10に示すt_1の時点では、現在表示(撮影)中の商品棚31は、棚(3)である。また、図10に示すカメラ位置l_t、姿勢p_t、及び画角αの状態では、撮影画像v_tに写り込む商品タグ33が、1と2の商品タグ33だけである。このため、上記図3のS7の処理で検出される商品領域情報Rの要素は、1の商品タグ33の商品領域情報r_1と、2の商品タグ33の商品領域情報r_2である。ここで、図10乃至図12中の各商品領域情報r_1、r_2の配列に含まれる要素は、各商品タグ33の2次元位置(図8及び9における横方向の位置x、及び縦方向の位置y)と、商品タグ33のサイズ(幅w及び高さh)である。
また、図10に示すt_1の時点では、図3のS8の処理で認識されるバーコード36の商品ID情報Dの要素は、1と2の商品タグ33の商品ID情報d_1、d_2であり、図3のS9の処理で商品位置情報Eの配列に格納される要素は、1と2の商品タグ33の商品位置情報e_1、e_2である。ここで、図10乃至図12中の各商品位置情報e_1、e_2の配列に含まれる要素は、各商品タグ33の商品ID情報と3次元位置(x,y,z)である。また、t_1の時点では、図3のS10の処理で商品棚位置情報ELの配列に格納される要素は、現在表示(撮影)中の棚(3)の商品位置情報E、すなわち、商品棚位置情報E_1である。そして、現在表示(撮影)中の棚(3)の商品棚位置情報E_1に格納された商品ID情報に対応する商品名のみが、表示対象となる。従って、図10に示すt_1の時点では、1と2の商品タグ33の商品ID情報に対応する商品名42のみが、表示される。
図11に示すt_2の時点になると、その時点で表示(撮影)中の商品棚31は、棚(4)になる。また、図11に示すカメラ位置l_t、姿勢p_t、及び画角αの状態では、撮影画像v_tに写り込む商品タグ33は、7の商品タグ33だけである。このため、上記のS7の処理で検出される商品領域情報Rの要素は、7の商品タグ33の商品領域情報r_1だけになり、S8の処理で認識される商品ID情報Dの要素は、7の商品タグ33の商品ID情報d_1だけになる。従って、上記S9の処理で商品位置情報Eの配列に格納される要素は、7の商品タグ33の商品位置情報e_1だけになる。また、上記S10の処理で商品棚位置情報ELの配列に追加(登録)される要素は、現在表示(撮影)中の棚(4)の商品位置情報E、すなわち、商品棚位置情報E_2だけになる。そして、現在表示(撮影)中の棚(4)の商品棚位置情報E_2に格納された商品ID情報に対応する商品名のみが、表示対象となる。従って、図11に示すt_2の時点では、7の商品タグ33の商品ID情報に対応する商品名42のみが、表示される。
図12に示すt_3の時点でも、表示(撮影)中の商品棚31は、棚(4)のままである。けれども、図11の場合と異なり、図12に示すカメラ位置l_t、姿勢p_t、及び画角αの状態では、撮影画像v_tに写り込む商品タグ33は、6と7の商品タグ33になる(6の商品タグ33が追加される)。このため、上記のS7の処理で検出される商品領域情報Rの要素は、6の商品タグ33の商品領域情報r_1と、7の商品タグ33の商品領域情報r_2になり、S8の処理で認識される商品ID情報Dの要素は、6と7の商品タグ33の商品ID情報d_1、d_2になる。従って、上記S9の処理で商品位置情報Eの配列に格納される要素は、6と7の商品タグ33の商品位置情報e_1、e_2になる。また、上記S10の商品棚位置情報登録処理では、現在表示(撮影)中の棚(4)の商品棚位置情報E_2の配列に、商品位置情報Eの配列中の要素のうち、未だE_2の配列に登録されていない要素(6の商品タグ33の商品位置情報e_2)が追加される。そして、現在表示(撮影)中の棚(4)の商品棚位置情報E_2に格納された商品ID情報に対応する商品名のみが表示される。従って、図12に示すt_3の時点では、6と7の商品タグ33の商品ID情報に対応する商品名42が、表示される。
上記の処理手順により、例えば、図7に示す状態(カメラ位置l_t、姿勢p_t、及び画角α)のときは、図8に示すように、今、スマートフォン1を持った店員の目の前にある商品棚31(棚(3))の商品タグ33(現在撮影中の1と2の商品タグ)の商品名のみが、ディスプレイ9上に表示される。これにより、この商品棚31(棚(3))の裏側の商品棚(棚(1)や棚(2))に陳列された商品32の商品名(4や9の商品タグ33の商品名)が表示されてしまうことを防ぐことができる。
上記のように、本実施形態の商品棚位置登録プログラム6を実装したスマートフォン1(以下、「本実施形態のスマートフォン1」と略す)によれば、店員が店内に配置された商品棚31を撮影して回るだけで、スマートフォン1(のCPU4)が、自動的に、これらの商品棚31の撮影画像に写り込んだ各商品32の(商品タグ33にバーコード36の形式で記載された)商品ID情報を認識し、認識した商品ID情報が記載された商品タグ33の3次元位置を算出する。そして、上記の撮影画像に写り込んだ各商品32について、これらの商品32の商品ID情報と商品タグ33の3次元位置とを、これらの商品32が陳列された商品棚31と関連付けて、商品棚位置情報ELの一部又は全部として登録する。これにより、上記特許文献1に記載された商品(物品)管理システムを含む、従来の小売店における商品の棚位置の管理方法と比べて、店員が現在の商品棚位置情報ELを登録するのに必要な工数の低減を図ることができる。
また、本実施形態のスマートフォン1によれば、商品32の陳列位置が変わっても、変わった部分をスマートフォン1で撮影する(変わった部分にスマートフォン1をかざす)だけで、商品棚位置情報ELを更新する(登録し直す)ことができる。従って、商品棚位置情報ELの更新に必要な工数も低減することができる。
また、認識されたバーコード36の商品ID情報は、対応する商品32がどの商品棚31にあるかという情報、及びその商品32の(商品タグ33の)3次元位置と組み合わせて、商品棚位置情報ELに保存される。従って、この商品棚位置情報ELは、店員向けの商品棚管理の目的だけではなく、AR(Augmented Reality)による顧客の商品への誘導(商品位置案内)等の目的に利用することができる。上記のARによる顧客の商品への誘導方法としては、例えば、スマートフォン1のディスプレイ9に、商品32の位置への案内を表示する方法や、スマートフォン1のスピーカ12により、商品32の位置への音声案内を行う方法等が考えられる。
また、本実施形態のスマートフォン1によれば、CPU4の商品タグ位置算出部25は、カメラ位置姿勢推定部21により推定した、カメラ8の3次元位置と、カメラ8の撮影方向とに加えて、商品タグ領域検出部23により検出した各商品32の商品タグ33の2次元位置とサイズ(商品タグ33が、撮影画像の2次元空間における、どの位置に、どのサイズで写っていたのかという情報)に基づいて、撮影画像に写り込んだ各商品32の商品タグ33の3次元位置を算出するようにした。これにより、撮影画像に写り込んだ商品タグ33の3次元位置を正確に求めることができる。
また、本実施形態のスマートフォン1によれば、撮影画像に写り込んだ各商品32の(商品タグ33に記載された)商品ID情報を認識して、この商品ID情報の認識が最初に成功したときに、認識に成功した商品ID情報に対応した商品が陳列された商品棚31を、商品棚位置情報ELに基づいて判別する。そして、この商品棚31の商品のうち、撮影画像に写り込んだ各商品32について、これらの商品32の商品ID情報に対応した商品名42を、商品棚位置情報ELに基づいて、撮影画像における各商品32の(商品タグ33の)3次元位置に対応した位置に表示するようにした。これにより、現在撮影中の商品棚31の裏側の商品棚の商品32等の不要な商品32の商品名42の表示を防ぐことができる。また、上記のように、(その時点で登録済の)商品棚位置情報ELに基づいて、撮影画像に写り込んだ各商品32の(商品タグ33に記載された)商品ID情報に対応した商品名42を表示するようにしたことにより、店員は、商品名42が表示されていない商品32については、これらの商品32の商品ID情報を認識できていないことを、簡単に(一目で)判別することができる。
また、本実施形態のスマートフォン1によれば、CPU4の商品棚判別部29によって、最初に認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚31の商品32の商品タグ33(請求項における「商品の領域」)のうち、表示用商品タグ領域検出部28による(2次元位置とサイズの)検出に成功した商品タグ33を、図6に示す枠41で囲んだ状態で(マーカーを付して)表示するようにした。これにより、店員は、撮影画像において枠41で囲んでいない(マーカーを付していない)状態で表示された商品タグ33bについては、上記の表示用商品タグ領域検出部28による検出に失敗した商品タグ33であると判別することができる。
変形例:
なお、本発明は、上記の各実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。次に、本発明の変形例について説明する。
変形例1:
上記の実施形態では、請求項における商品ID情報が、一次元バーコード形式で記載された商品ID情報である場合の例について説明したが、商品ID情報は、QRコード等の二次元バーコード形式で記載された商品ID情報であってもよい。また、請求項における商品ID情報は、商品名やヒューマンリーダブル文字(図5参照)等の文字情報であってもよい。この場合は、請求項における商品ID情報認識部は、スマートフォンのカメラ等により読み取った文字情報を、OCR(Optical Character Recognition/Reader)の技術を用いて、スマートフォンを含む情報処理装置が利用可能な文字コードの形式に変換することにより、上記の文字情報を認識するものであってもよい。また、上記の実施形態では、請求項における商品ID情報が、商品タグに記載された商品ID情報である場合の例について説明したが、商品ID情報は、これに限られず、例えば、商品(商品のパッケージを含む)自体に記載された商品ID情報であってもよい。
変形例2:
上記の実施形態では、CPU4の商品棚判別部29によって、最初に認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚31の商品32の商品タグ33のうち、表示用商品タグ領域検出部28による(2次元位置とサイズの)検出に成功した商品タグ33を、赤色等の枠41で囲んだ状態で表示するようにした。けれども、CPUの表示用商品タグ領域検出部による検出に成功した商品タグに付するマーカーは、これに限られず、例えば、星印や丸印のマーカーであってもよい。また、商品タグを検出する代わりに、商品自体の領域を検出して、上記の商品棚の商品の領域のうち、検出に成功した商品の領域に、マーカーを付して表示するようにしてもよい。
変形例3:
上記の実施形態では、撮影画像に写り込んだ各商品32の商品タグ33に記載された商品ID情報を認識して、最初に認識に成功した商品ID情報に対応した商品が陳列された商品棚31の商品のうち、撮影画像に写り込んだ各商品32について、これらの商品32の商品タグ33に記載された商品ID情報に対応した商品名42を、撮影画像における各商品32の商品タグ33の3次元位置に対応した位置に表示するようにした。けれども、上記の商品ID情報に対応した商品名の代わりに、商品ID情報に対応した他の商品情報(例えば、商品の識別コードや識別番号)を表示するようにしてもよい。
変形例4:
上記の実施形態では、スマートフォン1が、撮影画像に写り込んだ各商品32の商品タグ33に記載された商品ID情報を認識して、この商品ID情報の認識が最初に成功したときに、認識に成功した商品ID情報に対応した商品が陳列された商品棚31を、商品棚位置情報ELに基づいて判別するようにした。けれども、撮影画像に写り込んだ各商品の商品タグに記載された商品ID情報の認識が複数回成功したときに、これらの認識に成功した商品ID情報に対応した商品が陳列された商品棚を、商品棚位置情報ELに基づいて判別するようにしてもよい。
変形例5:
上記の実施形態では、本発明の情報処理装置が、スマートフォン1である場合の例を示したが、本発明の情報処理装置は、これに限られず、例えば、カメラを備えたタブレット型コンピュータであってもよい。
変形例6:
上記の実施形態では、商品棚位置登録プログラム6を実装した情報処理装置(スマートフォン1)自体が、表示装置(ディスプレイ9)とカメラ8を備える場合の例を示した。けれども、本発明の商品棚位置登録プログラムを実装した情報処理装置自体が、必ずしも、表示装置とカメラを備える必要はなく、例えば、商品棚位置登録プログラムを実装したパーソナルコンピューター(情報処理装置)と、表示装置及びカメラを備えたスマートフォン又はタブレット型コンピュータとを組み合わせて用いても良い。
1 スマートフォン(情報処理装置、携帯可能な情報処理装置)
6 商品棚位置登録プログラム
8 カメラ
9 ディスプレイ(表示装置)
21 カメラ位置姿勢推定部
23 商品タグ領域検出部(登録用商品タグ領域検出部)
24 バーコード認識部(商品ID情報認識部)
25 商品タグ位置算出部(商品3次元位置算出部)
26 商品棚位置情報登録部
28 表示用商品タグ領域検出部(商品領域検出部)
29 商品棚判別部
30 表示制御部
31 商品棚
32 商品
33 商品タグ(商品の領域)
41 枠(マーカー)
42 商品名(商品情報)
EL 商品棚位置情報
l_t カメラ位置(カメラの3次元位置)
p_t 姿勢(カメラの撮影方向)

Claims (11)

  1. 情報処理装置を、
    商品棚の撮影画像に写り込んだ各商品の商品ID情報を認識する商品ID情報認識部、
    前記撮影画像の撮影時における、カメラの3次元位置及び撮影方向を推定するカメラ位置姿勢推定部、
    前記撮影画像と、前記カメラ位置姿勢推定部により推定した前記カメラの3次元位置及び撮影方向とに基づいて、前記商品ID情報認識部により認識した商品ID情報に対応した商品の3次元位置を算出する商品3次元位置算出部、及び
    前記撮影画像に写り込んだ各商品について、前記商品ID情報認識部により認識した商品ID情報と、前記商品3次元位置算出部により算出した商品の3次元位置とを、前記商品ID情報に対応した商品が陳列された商品棚と関連付けて、商品棚位置情報の一部又は全部として登録する商品棚位置情報登録部、
    として機能させるための、商品棚位置登録プログラム。
  2. 前記情報処理装置を、さらに、
    前記撮影画像に写り込んだ各商品の商品ID情報を認識して、この商品ID情報の認識が最初に成功したときに、認識に成功した商品ID情報に対応した商品が陳列された商品棚を、前記商品棚位置情報登録部により登録した商品棚位置情報に基づいて、判別する商品棚判別部と、
    前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品のうち、前記撮影画像に写り込んだ各商品について、これらの商品の商品ID情報に対応した商品情報を、前記商品棚位置情報に基づいて、前記撮影画像における前記各商品の3次元位置に対応した位置に表示するように制御する表示制御部として機能させることを特徴とする請求項1に記載の商品棚位置登録プログラム。
  3. 前記情報処理装置を、さらに、
    前記撮影画像に写り込んだ各商品の領域を検出する商品領域検出部として機能させ、
    前記表示制御部は、前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品の領域のうち、前記商品領域検出部による検出に成功した商品の領域に、マーカーを付して表示することを特徴とする請求項2に記載の商品棚位置登録プログラム。
  4. 前記商品ID情報は、各商品の商品タグに記載された商品ID情報であり、
    前記情報処理装置を、さらに
    記撮影画像に写り込んだ前記各商品の商品タグの2次元位置とサイズを検出する商品タグ領域検出部として機能させ、
    前記商品3次元位置算出部は、前記カメラ位置姿勢推定部により推定した、前記カメラの3次元位置及び撮影方向に加えて、前記商品タグ領域検出部により検出した各商品の商品タグの2次元位置とサイズに基づいて、前記撮影画像に写り込んだ各商品の商品タグの3次元位置を算出することを特徴とする請求項1乃至請求項3のいずれか一項に記載の商品棚位置登録プログラム。
  5. 商品棚の撮影画像に写り込んだ各商品の商品ID情報を認識する商品ID情報認識部と、
    前記撮影画像の撮影時における、カメラの3次元位置及び撮影方向を推定するカメラ位置姿勢推定部と、
    前記撮影画像と、前記カメラ位置姿勢推定部により推定した前記カメラの3次元位置及び撮影方向とに基づいて、前記商品ID情報認識部により認識した商品ID情報に対応した商品の3次元位置を算出する商品3次元位置算出部と、
    前記撮影画像に写り込んだ各商品について、前記商品ID情報認識部により認識した商品ID情報と、前記商品3次元位置算出部により算出した商品の3次元位置とを、前記商品ID情報に対応した商品が陳列された商品棚と関連付けて、商品棚位置情報の一部又は全部として登録する商品棚位置情報登録部とを備える情報処理装置。
  6. 前記撮影画像に写り込んだ各商品の商品ID情報を認識して、この商品ID情報の認識が最初に成功したときに、認識に成功した商品ID情報に対応した商品が陳列された商品棚を、前記商品棚位置情報登録部により登録した商品棚位置情報に基づいて、判別する商品棚判別部と、
    前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品のうち、前記撮影画像に写り込んだ各商品について、これらの商品の商品ID情報に対応した商品情報を、前記商品棚位置情報に基づいて、前記撮影画像における前記各商品の3次元位置に対応した位置に表示するように制御する表示制御部とをさらに備えることを特徴とする請求項5に記載の情報処理装置。
  7. 前記撮影画像に写り込んだ各商品の領域を検出する商品領域検出部をさらに備え、
    前記表示制御部は、前記商品棚判別部によって、前記認識に成功した商品ID情報に対応した商品が陳列されていると判別された商品棚の商品の領域のうち、前記商品領域検出部による検出に成功した商品の領域に、マーカーを付して表示することを特徴とする請求項6に記載の情報処理装置。
  8. 前記商品ID情報は、各商品の商品タグに記載された商品ID情報であり
    記撮影画像に写り込んだ前記各商品の商品タグの2次元位置とサイズを検出する商品タグ領域検出部をさらに備え、
    前記商品3次元位置算出部は、前記カメラ位置姿勢推定部により推定した、前記カメラの3次元位置及び撮影方向に加えて、前記商品タグ領域検出部により検出した各商品の商品タグの2次元位置とサイズに基づいて、前記撮影画像に写り込んだ各商品の商品タグの3次元位置を算出することを特徴とする請求項5乃至請求項7のいずれか一項に記載の情報処理装置。
  9. 前記情報処理装置は、前記カメラをさらに備えることを特徴とする請求項8に記載の情報処理装置。
  10. 前記情報処理装置は、表示装置をさらに備えることを特徴とする請求項5乃至請求項9のいずれか一項に記載の情報処理装置。
  11. 前記情報処理装置は、携帯可能な情報処理装置であることを特徴とする請求項5乃至請求項10のいずれか一項に記載の情報処理装置。
JP2018060074A 2018-03-27 2018-03-27 商品棚位置登録プログラム、及び情報処理装置 Active JP6687199B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018060074A JP6687199B2 (ja) 2018-03-27 2018-03-27 商品棚位置登録プログラム、及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018060074A JP6687199B2 (ja) 2018-03-27 2018-03-27 商品棚位置登録プログラム、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2019174959A JP2019174959A (ja) 2019-10-10
JP6687199B2 true JP6687199B2 (ja) 2020-04-22

Family

ID=68168762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018060074A Active JP6687199B2 (ja) 2018-03-27 2018-03-27 商品棚位置登録プログラム、及び情報処理装置

Country Status (1)

Country Link
JP (1) JP6687199B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404038B2 (ja) * 2019-11-21 2023-12-25 株式会社Retail AI 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JP7021321B1 (ja) 2020-09-30 2022-02-16 PayPay株式会社 端末装置、決済方法及び決済プログラム
IT202000029354A1 (it) * 2020-12-01 2022-06-01 Sentric S R L Metodo di mappatura di prodotti
CN114185912A (zh) * 2021-12-24 2022-03-15 苏州易泰勒电子科技有限公司 一种具有校验功能的商超大屏幕电子标签自动更新方法
JP7506352B2 (ja) 2022-05-31 2024-06-26 日本製鉄株式会社 物品管理装置、物品管理方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012190094A (ja) * 2011-03-09 2012-10-04 Sony Corp サーバ装置、情報処理方法及びプログラム
JP6043094B2 (ja) * 2012-05-30 2016-12-14 辛東主 商品陳列情報集計システム
JP2014048752A (ja) * 2012-08-29 2014-03-17 Teraoka Seiko Co Ltd 表示札処理システム
US20140244392A1 (en) * 2013-02-27 2014-08-28 Xue Si Xing Digital Marketing Co., Ltd. Graphical Recognition Inventory Management and Marketing System
US10579962B2 (en) * 2014-09-30 2020-03-03 Nec Corporation Information processing apparatus, control method, and program
JP2016194833A (ja) * 2015-03-31 2016-11-17 富士通株式会社 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
US10304031B2 (en) * 2015-06-23 2019-05-28 Toshiba Tec Kabushiki Kaisha Image processing apparatus
US9864969B2 (en) * 2015-06-26 2018-01-09 Toshiba Tec Kabushiki Kaisha Image processing apparatus for generating map of differences between an image and a layout plan

Also Published As

Publication number Publication date
JP2019174959A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
US11501614B2 (en) Skip-scanning identification method, apparatus, and self-service checkout terminal and system
EP3510571A1 (en) Order information determination method and apparatus
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
KR20230020953A (ko) 다수의 광학 코드의 디코딩
EP3745368A1 (en) Self-checkout device to which hybrid product recognition technology is applied
KR20210098509A (ko) 정보 처리
JP2009003701A (ja) 情報システム及び情報処理装置
JP6218151B2 (ja) 出荷作業支援方法、出荷作業支援装置および出荷作業支援プログラム
JP6846467B2 (ja) システム、情報処理装置、情報処理方法、プログラム及び記録媒体
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
US20170262795A1 (en) Image in-stock checker
EP3629276A1 (en) Context-aided machine vision item differentiation
CN112560563A (zh) 物品布局的识别方法、装置及电子设备
EP3474184A1 (en) Device for detecting the interaction of users with products arranged on a stand or display rack of a store
WO2017179543A1 (ja) 情報処理装置、情報処理方法及びプログラム記録媒体
US20210241356A1 (en) Information processing apparatus, control method, and program
US11941860B2 (en) Computational load mitigation for image-based item recognition
US11568564B2 (en) Mapping multiple views to an identity
JP2022011666A (ja) 画像処理装置、画像処理方法およびプログラム
JP6949340B1 (ja) ピッキング作業支援システム
US20230139490A1 (en) Automatic training data sample collection
US20240220999A1 (en) Item verification systems and methods for retail checkout stands
US20230169452A1 (en) System Configuration for Learning and Recognizing Packaging Associated with a Product
US20220261578A1 (en) Method, System and Apparatus for Dynamic Inventory Guidance and Mapping

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200123

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200318

R150 Certificate of patent or registration of utility model

Ref document number: 6687199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250