JP7259754B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、店舗等での棚割業務の分析技術に関する。

店舗の商品棚に陳列される商品の近傍には、商品名や価格といったその商品に関する情報を記載する棚札が配置されている。この棚札が商品と正しく関連づけられていない場合、店舗の利用客が商品の価格などを誤って認識してしまうといった問題が生じ得る。

商品棚の商品と棚札が正しく関連付けられているか否かを確認する技術の一例が、下記特許文献１または２に開示されている。下記特許文献１には、商品情報と電子棚札との対応関係を示す関連情報を予め用意しておき、画像内での商品の位置および電子棚札の位置に基づいて決まる商品と電子棚札との対応関係が、関連情報の対応関係と一致するか否かを判断する技術が開示されている。また、下記特許文献２には、画像から認識された商品の種類の数と棚札の数との関係、または、当該画像から認識された種類ごとの商品の位置と当該画像から認識された棚札の位置との関係に誤りがあるか否かを判定する技術が開示されている。

国際公開第２０１６／０５２３７９号 国際公開第２０１６／０５２３８３号

上述の特許文献１の技術では、商品棚に陳列される全ての商品について、商品情報と電子棚札との対応関係を予め準備しておかなければならず、手間がかかる。また、上述の特許文献２の技術では、位置や数の対応関係は正しいが、棚札に記載される商品情報が違うといった対応関係の誤りを検出できない。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、店舗の商品棚において、棚札が商品と正しく関連付けられているか否かを簡易にかつ精度よく判断する技術を提供することである。

本発明によれば、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する第１判定手段と、
前記対応関係の整合性の判定結果を出力する出力手段と、
を備える情報処理装置が提供される。

本発明によれば、
コンピュータが、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
前記画像を解析することにより、前記棚札の位置を取得し、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定し、
前記対応関係の整合性の判定結果を出力する、
ことを含む情報処理方法が提供される。

本発明によれば、
コンピュータに、上述の情報処理方法を実行させるプログラムが提供される。

本発明によれば、店舗の商品棚において、棚札が商品と正しく関連付けられているか否かを簡易かつ精度よく判断することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１実施形態における情報処理装置の機能構成を概念的に示すブロック図である。 情報処理装置を実現する計算機の構成を例示する図である。 第２実施形態に係る情報処理装置の動作例を示すフローチャートである。 処理対象画像の一例を示す図である。 第３実施形態に係る情報処理装置の動作例を示すフローチャートである。 第４実施形態に係る情報処理装置の機能構成を示すブロック図である。 第４実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 第４実施形態に係る情報処理装置の動作の他の一例を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［第１実施形態］
〔機能構成〕
図１は、第１実施形態における情報処理装置１０の機能構成を概念的に示すブロック図である。図１に示されるように、本実施形態の情報処理装置１０は、商品情報取得部１１０、棚札情報取得部１２０、第１判定部１３０および出力部１４０を有する。

商品情報取得部１１０は、１以上の商品および１以上の棚札が撮像された画像（以下、「処理対象画像」と表記）を解析することにより、各商品の位置を取得する。また、商品情報取得部１１０は、処理対象画像を解析することにより、各商品に関連付けられた商品情報を更に取得してもよい。商品情報は、その商品を識別する情報（商品識別情報）を含んでいる。棚札情報取得部１２０は、処理対象画像を解析することにより、各棚札の位置を取得する。また、棚札情報取得部１２０は、処理対象画像を解析することにより、各棚札に記載されている商品情報（棚札商品情報）をさらに取得してもよい。ここで、棚札は、紙などのアナログ媒体で作られた棚札であってもよいし、電子媒体で作られた所謂電子棚札であってもよい。第１判定部１３０は、商品情報取得部１１０が取得した商品の位置と棚札情報取得部１２０が取得した棚札の位置との関係に基づいて、商品と棚札との対応関係の整合性を判定する。商品情報取得部１１０が各商品に関連付けられた商品情報をさらに取得し、棚札情報取得部１２０が棚札商品情報をさらに取得している場合、第１判定部１３０は、さらに、商品情報取得部１１０が取得した商品情報と棚札情報取得部１２０が取得した棚札商品情報との関係に基づいて、商品と棚札との対応関係の整合性を判定してもよい。出力部１４０は、商品と棚札との対応関係の整合性についての判定結果を出力する。

〔ハードウエア構成〕
情報処理装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

計算機１０００は種々の計算機である。例えば計算機１０００は、ＰＣ（Personal Computer）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置１０を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

図２は、情報処理装置１０を実現する計算機１０００の構成を例示する図である。計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。メモリ１０６０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。ストレージデバイス１０８０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

ネットワークインタフェース１１２０は、計算機１０００をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は情報処理装置１０の各機能（商品情報取得部１１０、棚札情報取得部１２０、第１判定部１３０、出力部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。

以上、本実施形態では、第１判定部１３０は、商品と棚札との対応関係の整合性を判定する際に、商品の位置と棚札の位置との関係、または、当該商品の位置と棚札の位置との関係及び画像に写っている商品と画像に写っている棚札に記載される商品との関係を利用する。この構成により、商品と棚札とが正しく対応付けられているか否かを、事前の対応付け処理を行わずに判定することができる。また、この構成により、商品と棚札とが正しく対応付けられているか否かを精度よく判定することができる。

［第２実施形態］
本実施形態では、第１実施形態の情報処理装置１０をより詳細に説明する。

〔機能構成およびハードウエア構成〕
本実施形態の情報処理装置１０は、第１実施形態と同様の機能構成（例：図１）およびハードウエア構成（例：図２）を有する。本実施形態の情報処理装置１０は、入出力インタフェース１１００やネットワークインタフェース１１２０を介して接続された外部装置から処理対象画像を取得する。特に限定されないが、外部装置は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンや店舗内の監視カメラなどである。例えば、情報処理装置１０は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンなどとネットワークインタフェース１１２０を介して通信して、処理対象画像を取得する。

〔動作例〕
情報処理装置１０の動作例について、図３を用いて説明する。図３は、第２実施形態に係る情報処理装置１０の動作例を示すフローチャートである。

＜第１動作例＞
まず、情報処理装置１０は処理対象画像（例：図４）を取得する（Ｓ１０２）。図４は、処理対象画像の一例を示す図である。図４に例示される処理対象画像において、符号２０は商品棚に陳列されている商品を示す。また、図４に例示される処理対象画像において、符号３０は商品棚に配置されている棚札を示す。図４に例示されるような処理対象画像は、例えば、タブレット端末やスマートフォンといった携帯端末、または、店舗内の監視カメラなどにより生成される。例えば、小売店の担当者やメーカー担当者が、携帯端末のカメラ機能を用いて、商品棚の所望の領域を撮像することによって、図４に例示されるような処理対象画像が生成される。例えば、情報処理装置１０は、小売店の担当者やメーカー担当者のタブレット端末やスマートフォンと通信して、処理対象画像を取得することができる。ただし、情報処理装置１０が撮像機能を備えている場合、情報処理装置１０が処理対象画像を生成してもよい。また、処理対象画像が図示しない記憶装置（外部サーバなど）に記憶されている場合、情報処理装置１０は当該記憶装置と通信して処理対象画像を取得することができる。

そして、商品情報取得部１１０は、処理対象画像を解析して、その処理対象画像に写っている商品の商品情報および商品の位置情報（以下、「商品位置情報」と表記）を取得する（Ｓ１０４）。

具体的には、商品情報取得部１１０は、処理対象画像を解析することによって、処理対象画像の中の商品を表す領域（以下、「商品領域」とも表記）を抽出する。なお、商品情報取得部１１０は、様々な既知のオブジェクト認識技術を利用して、商品領域を抽出することができる。また、処理対象画像の中に複数の商品が写っている場合、商品情報取得部１１０は、商品毎に商品領域を抽出する。商品情報取得部１１０は、抽出した商品領域を解析し、その商品領域が表す商品の商品情報およびその商品の位置情報を取得する。

例えば、商品情報取得部１１０は、各商品領域から抽出される画像特徴量に基づいてパターンマッチングを行うことによって、各商品領域が表す商品がどの商品であるかを認識することができる。この場合、各商品の画像特徴量と各商品の商品情報とが対応付けられたテーブルが、メモリ１０６０やストレージデバイス１０８０に用意される。一例として、商品に関する商品情報は、少なくとも、各商品の名称（商品名）、各商品を識別するための識別子（ＪＡＮ（Japanese Article Number）コードなど）、商品が属するグループの名称（例えばブランド名）、商品が属する商品カテゴリ、商品の内容量（例えば、３５０ｍｌ）、商品のサイズ、各商品の標準価格及びメーカ（製造メーカや販売メーカ）などの情報の何れかを含んでいてもよい。ここで、標準価格とは、例えば希望小売価格、近隣の店舗や他の系列店での商品の設定価格など、店舗で各商品の価格を決める際の標準となる価格を意味する。また、標準価格は幅を持った情報（価格帯を示す情報）であってもよい。例えば、商品毎の価格帯を示す情報がメモリ１０６０等に記憶されており、商品情報取得部１１０は、商品の価格帯を示す情報を読み出してもよい。また、価格帯を決めるための幅を示す情報がメモリ１０６０等に記憶されており、商品情報取得部１１０は、画像処理の結果を基に得られた商品の価格と当該幅を示す情報を基に、商品の価格帯を算出してもよい。なお、この幅は、商品の価格に応じて変更されてもよい。また、商品情報取得部１１０は、店舗や他の系列店での商品の設定価格を複数取得し、最も高い価格と最も低い価格とによって商品の価格帯を決定してもよい。商品情報取得部１１０は、当該テーブルに記憶された複数の画像特徴量の中から、商品領域から抽出した画像特徴量に一致または最も類似する画像特徴量を特定する。そして、商品情報取得部１１０は、特定した画像特徴量に対応付けられている商品情報を取得する。

また、商品情報取得部１１０は、商品の商品棚における位置を、商品位置情報として取得することができる。商品の位置は、例えば、段方向の位置（例えば、最上段から何段目に位置するか）と、列方向の位置（例えば、左端の列から何列目に位置するか）との組み合わせで表される。ここで、商品棚が含まれる画像から各商品の位置を特定する技術には、既存の技術を利用することができる。なお、同じ種類の商品（商品名が同一の商品）が複数の位置に配置されている場合、商品情報取得部１１０は、１つの商品について、複数の位置を取得することとする。なお、位置を特定する処理はこれに限定されない。例えば、商品情報取得部１１０は、商品毎に特定した商品領域の処理対象画像上での座標値を、商品位置情報として取得することができる。

ここで、同一の商品が横方向に複数陳列されていることがある。このような場合、商品情報取得部１１０は、隣接する同一の商品を表す領域（以下、「商品グループ領域」と表記）を特定し、その商品グループ領域の処理対象画像上での座標を、一つの商品の位置情報として取得する。なお、商品情報取得部１１０は、「隣接する同一の商品」を、例えば「各商品領域から抽出される画像特徴量または当該画像特徴量を用いて得られた商品情報が同一または類似するか否か」に基づいて判定することができる。また、商品情報取得部１１０は、商品情報が同一の商品の数、即ち、特定した商品グループ領域からフェイス数を求めることもできる。

なお、上述の説明では、商品情報取得部１１０は、商品グループ領域の処理対象画像上での座標を、一つの商品の位置情報として取得しているが、商品情報取得部１１０の構成は、これに限定されない。例えば、商品情報取得部１１０は、商品グループ領域に含まれるそれぞれの商品の処理対象画像上での座標を取得してもよい。

また、同一の品目であるが、一部の属性（例えば、商品の味や商品の色など）が異なる複数種類の商品（バリエーション商品）が隣接して配置されていることがある。このような場合、商品情報取得部１１０は、これら複数種類の商品を互いに異なる商品として認識してもよいし、同一の商品として認識してもよい。後者の場合、例えば上記したテーブルの１つのレコードに、同一の商品として認識すべき複数種類の商品の特徴量が互いに関連付けられて記憶される。そして、商品情報取得部１１０は、この関連付けを用いることにより、例えば、隣接するバリエーション商品群を表す領域（商品グループ領域）を特定することができる。そして、商品情報取得部１１０は、その商品グループ領域の処理対象画像上での座標を、一つの商品の位置情報として取得する。但し、商品情報取得部１１０は、一部の属性が異なる複数種類の商品のうち、それぞれの商品の位置情報を取得してもよい。

同様に、棚札情報取得部１２０は、処理対象画像を解析して、その処理対象画像に写っている棚札に記載されている商品情報（以下、「棚札商品情報」と表記）および棚札の位置情報（以下、「棚札位置情報」と表記）を取得する（Ｓ１０６）。

具体的には、棚札情報取得部１２０は、処理対象画像を解析することによって、棚札を表す領域（以下、「棚札領域」と表記）を抽出する。処理対象画像の中に複数の棚札が写っている場合、棚札情報取得部１２０は、棚札毎に棚札領域を抽出する。棚札情報取得部１２０は、抽出された棚札領域を解析し、その棚札領域が表す棚札に記載されている商品情報、および、その棚札の位置情報を取得する。

例えば、棚札情報取得部１２０は、ＯＣＲ（Optical Character Recognition）技術等を用いて棚札領域を解析することで、その棚札に記載されている商品情報（商品の名称、商品の説明、商品の価格など）を取得することができる。また、棚札には、各商品を識別する識別情報（商品ＩＤ）をエンコードしたバーコードや二次元コード（例えば、JAN（Japan Article Number）コードやＰＬＵ（Price Look Up）コードなど）が含まれている場合もある。この場合、棚札情報取得部１２０は、バーコードや二次元コードが写っている領域を解析して、エンコードされた識別情報を棚札商品情報として取得することもできる。なお、バーコードや二次元コードがＮｏｎ－ＰＬＵコードである場合、棚札情報取得部１２０は、バーコードや二次元コードが写っている領域を解析することにより、商品の価格をさらに取得できる。また、棚札情報取得部１２０は、棚札毎に特定した棚札領域の処理対象画像上での座標値を、棚札位置情報として取得することができる。

そして、第１判定部１３０は、商品情報取得部１１０により取得された商品位置情報と、棚札情報取得部１２０により取得された棚札位置情報とに基づいて、商品と棚札とを対応付ける（Ｓ１０８）。

一例として、第１判定部１３０は、次のように商品と棚札とを対応付けることができる。まず、第１判定部１３０は、商品位置情報と棚札位置情報と用いて算出される距離に基づいて、ある棚札から所定の閾値ｄ_ｔｈの距離以内に位置する商品を特定する。なお、所定の閾値ｄ_ｔｈは、商品と棚札との位置的なズレの許容範囲を示す任意の値であり、メモリ１０６０などに予め記憶されている。そして、第１判定部１３０は、特定した商品と棚札とを対応付ける。ある棚札から所定の閾値ｄ_ｔｈの距離以内に複数の商品が存在する場合には、第１判定部１３０は、最も近い商品を当該棚札と対応付ければよい。

そして、第１判定部１３０は、商品と棚札との対応付けが基準を満たしているか否かを判定する（Ｓ１１０）。言い換えると、第１判定部１３０は、商品と棚札との対応関係の整合性を判定する。一例として、第１判定部１３０は、棚札と対応付けられていない商品が存在する場合（すなわち、棚札が足りない場合）に、基準を満たしていない（整合がとれていない）と判定する。他の一例として、第１判定部１３０は、商品と対応付けられていない棚札が存在する場合（すなわち、棚札が余っている場合）に、基準を満たしていない（整合がとれていない）と判定する。他の一例として、第１判定部１３０は、１つの商品に対して、棚札商品情報の異なる複数の棚札（記載内容が異なる複数の棚札）が対応付けられている場合に、基準を満たしていない（整合がとれていない）と判定する。他の一例として、第１判定部１３０は、１つの棚札に対して、異なる種類の複数の商品が対応付けられている場合に、基準を満たしていない（整合がとれていない）と判断する。第１判定部１３０は、Ｓ１０８の処理における商品と棚札との対応付けについて、上述の何れの例にも該当しない場合、基準を満たす（整合がとれている、すなわち、商品と棚札が正しく対応付けられている）と判断する。なお、第１判定部１３０の動作は、ここで挙げた例に限定されない。

なお、第１判定部１３０は、Ｓ１１０に示した処理において、互いに対応付けられた商品と棚札が、同一の商品情報を有しているか否か（すなわち棚札に記載されている商品情報が誤っているか否か）を更に判定してもよい。この場合、第１判定部１３０は、互いに対応付けられた商品と棚札が同一の商品情報を有していない場合に、基準を満たしていないと判断する。このようにすると、第１判定部１３０は、ある商品に誤った棚札が付されていることを検出できる。具体的な例として、第１判定部１３０は、棚札情報取得部１２０が取得した棚札商品情報に含まれる商品価格が、商品情報取得部１１０が取得した商品情報に含まれる商品の標準価格の価格帯に含まれるか否かを判定する。例えば、棚札商品情報に含まれる商品価格が、商品情報に含まれる標準価格（価格帯）から大きく逸脱している場合に、第１判定部１３０は、ある商品に誤った棚札が付されている（整合がとれていない）と判断できる。また、この場合において、第１判定部１３０は、ある商品に異常な価格が設定されている（整合がとれていない）と判断することもできる。

基準を満たしていないと第１判定部１３０が判断した場合（Ｓ１１０：ＮＯ）、出力部１４０は、第１判定部１３０よる判定内容を示す情報を、店舗の本社の担当者やメーカー担当者が所有する携帯端末や、店舗に設置された端末に出力する（Ｓ１１２）。例えば、出力部１４０は、Ｓ１０８の処理で対応付けた商品と棚札との組み合わせ毎の判定結果（例えば、正しい対応付け、棚札の欠損、棚札の余剰、棚札に記載される商品情報の誤りなど）を、処理対象画像に重畳表示させた画面を出力先の端末のディスプレイ上に表示させる。即ち、出力部１４０は、判定結果を、利用者が識別可能な態様でディスプレイなどの提示部に表示させる。

＜第２動作例＞
情報処理装置１０の第２動作例のうち、Ｓ１０２～Ｓ１０６は、第１動作例と同様である。そして、第１動作例のＳ１０８で説明した位置情報に基づく対応付けにおいて、第１判定部１３０は、同一の商品情報を有している商品と棚札とを対応付ける。そして、第１判定部１３０は、商品と棚札の対応付けが基準を満たしているか否かを判断する（Ｓ１１０）。言い換えると、第１判定部１３０は、商品と棚札との対応関係の整合性を判定する。一例として、第１判定部１３０は、棚札と対応付けられていない商品が存在する場合（すなわち、棚札が足りない場合）に、基準を満たしていない（整合がとれていない）と判定する。他の一例として、第１判定部１３０は、商品と対応付けられていない棚札が存在する場合（すなわち、棚札が余っている場合）に、基準を満たしていない（整合がとれていない）と判定する。他の一例として、第１判定部１３０は、対応付けられた商品及び棚札の位置情報の差分が基準以上の場合（棚札の位置がずれている場合）に、基準を満たしていない（整合がとれていない）と判定する。第１判定部１３０は、Ｓ１０８の処理における商品と棚札との対応付けについて、上述の何れの例にも該当しない場合、基準を満たす（整合がとれている、すなわち、商品と棚札が正しく対応付けられている）と判断する。なお、第１判定部１３０の動作は、ここで挙げた例に限定されない。

基準を満たしていないと第１判定部１３０が判断した場合（Ｓ１１０：ＮＯ）、出力部１４０は、第１判定部１３０よる判定内容を示す情報を、店舗の本社の担当者やメーカー担当者が所有する携帯端末や、店舗に設置された端末に出力する（Ｓ１１２）。例えば、出力部１４０は、Ｓ１０８の処理で対応付けた商品と棚札との組み合わせ毎の判定結果（例えば、正しい対応付け、棚札の欠損、棚札の余剰、棚札の位置のずれなど）を、処理対象画像に重畳表示させた画面を出力先の端末のディスプレイ上に表示させる。

以上、本実施形態によれば、情報処理装置１０は、画像処理により商品の位置を判断するとともに、棚札の位置を判断する。そして、これらの位置の関係が基準を満たさない場合（例えば距離が一定以上離れている場合）、その旨を示す情報を出力する。従って、商品と棚札の対応関係の誤りを精度よく検出することができる。

［第３実施形態］
本実施形態に係る情報処理装置１０の機能構成は、第１実施形態または第２実施形態に係る情報処理装置１０の機能構成と同様である。

〔動作例〕
図５は、第３実施形態に係る情報処理装置１０の動作例を示すフローチャートである。本図に示す処理のうち、Ｓ１０２～Ｓ１０６に示す処理は、図３に示した処理と同様である。そして、第１判定部１３０は、商品情報取得部１１０により取得された商品情報の並び順と、棚札情報取得部１２０により取得された棚札商品情報の並び順とを特定する（Ｓ１２０）。そして、第１判定部１３０は、これら２つの並び順が一致しているか否かを判断する（Ｓ１２２）。ここで、商品情報の並び順と棚札商品情報の並び順とが一致していない場合は、少なくとも、棚札の順序は正しいが商品の順序が誤っている状態、および、商品の順序は正しいが棚札の順序が誤っている状態のいずれかの状態であることを意味する。よって、２つの並び順が一致していないと第１判定部１３０が判定した場合（Ｓ１２２：Ｎｏ）、出力部１４０は、その旨を示す情報を、小売店の本社の担当者やメーカー担当者が所有する携帯端末や、小売店の店舗に設置された端末に出力する（Ｓ１２４）。

以上、本実施形態では、商品情報の並び順と棚札商品情報の並び順との相違に基づいて、商品と棚札の対応関係の誤りを精度よく検出することができる。

［第４実施形態］
〔機能構成〕
図６は、第４実施形態に係る情報処理装置１０の機能構成を示すブロック図である。本実施形態に係る情報処理装置１０は、第２判定部１５０（第２判定手段および第３判定手段）を有している点を除いて、第１実施形態乃至第３実施形態に係る情報処理装置１０の機能構成と同様である。

第２判定部１５０は、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定する。調査対象商品とは、例えば、小売店の重点商品、自社メーカーの主力商品、他社メーカーの競合商品などである。第２判定部１５０は、例えば調査対象商品を一意に識別する商品ＩＤや調査対象商品の名称といった、調査対象商品を特定するための情報を用いて、処理対象画像内に調査対象商品が存在するか否かを判定することができる。調査対象商品を特定するための情報は、例えば調査対象商品のリストの事前入力といった準備操作により、メモリ１０６０やストレージデバイス１０８０に予め記憶される。この場合、第２判定部１５０は、メモリ１０６０やストレージデバイス１０８０から調査対象商品を特定するための情報を取得することができる。その他にも、第２判定部１５０は、処理対象画像を小売店の担当者やメーカー担当者の携帯端末のディスプレイ上に表示させて、小売店の担当者やメーカー担当者が調査対象商品を選択させるように構成されていてもよい。この場合、第２判定部１５０は、当該画像上で選択した商品の商品情報を「調査対象商品を特定するための情報」として取得することができる。

〔ハードウエア構成〕
本実施形態の情報処理装置１０は、第１実施形態および第２実施形態と同様のハードウエア構成（例：図２）を有する。本実施形態のストレージデバイス１０８０は、上述の第２判定部１５０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０４０が当該プログラムモジュールを実行することにより、上述の第２判定部１５０の機能が実現される。

〔動作例〕
本実施形態に係る情報処理装置１０は、上記した第１実施形態に示した処理及び第２実施形態に示した処理の少なくとも一方を行うほか、図７に示した処理も行う。図７は、第４実施形態に係る情報処理装置１０の動作の一例を示すフローチャートである。

図７に示す処理において、まず、第２判定部１５０は、調査対象商品を特定するための情報（例えば商品情報及び画像特徴量の少なくとも一方）を取得する（Ｓ３０２）。例えば、第２判定部１５０は、メモリ１０６０やストレージデバイス１０８０などの記憶領域から、調査対象商品の商品情報を読み出すことができる。そして、第２判定部１５０は、調査対象商品を特定するための情報を用いて、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定する（Ｓ３０４）。具体的には、第２判定部１５０は、Ｓ３０２で取得された調査対象商品の商品情報を取得した場合、当該調査対象商品の商品情報と商品情報取得部１１０により取得された商品情報とを突き合わせる。換言すると、第２判定部１５０は、商品情報取得部１１０により取得された商品情報に、当該調査対象商品の商品情報と一致する商品情報が存在するか否かを判別する。調査対象商品の商品情報と一致する商品情報が、商品情報取得部１１０により取得された商品情報の中に存在する場合（Ｓ３０４：ＹＥＳ）、第２判定部１５０は、処理対象画像内に調査対象商品が存在すると判断する。この場合、第２判定部１５０は、調査対象商品として判断された商品に対応付けられた棚札に記載された価格情報を取得する（Ｓ３０６）。ここで取得される価格情報は、例えば、図３又は図５で示した棚札商品情報から取得される。

そして、出力部１４０は、Ｓ３０６の処理で取得された価格情報を出力する（Ｓ３０８）。例えば、出力部１４０は、Ｓ３０６の処理で取得された価格情報を、「調査対象商品」と判断された商品に重畳表示させる描画データを処理対象画像に基づいて生成し、対象とする端末のディスプレイ上に出力することができる。尚、上述の説明では、第２判定部１５０は、調査対象商品を特定するための情報を取得する構成を例に説明したがそれに限定されない。例えば、以下の説明では、出力部１４０は、商品情報取得部１１０によって認識された認識結果（認識された商品）を係るディスプレイ上に出力することとする。第２判定部１５０は、利用者のディスプレイに対する入力操作（つまり、調査対象商品を選択する操作）を受け付けるのに応じて、その調査対象商品の情報を用いて、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定してもよい。

さらに、本実施形態に係る情報処理装置１０は、図８に示した処理を代わりに、或いは、追加で行ってもよい。図８は、第４実施形態に係る情報処理装置１０の動作の他の一例を示すフローチャートである。

図８に示す処理において、まず、第２判定部１５０は、調査対象商品を特定するための情報（例えば商品情報及び画像特徴量の少なくとも一方）を取得する（Ｓ４０２）。例えば、第２判定部１５０は、メモリ１０６０やストレージデバイス１０８０などの記憶領域から、調査対象商品の商品情報を読み出すことができる。そして、第２判定部１５０は、調査対象商品を特定するための情報を用いて、処理対象画像から認識された商品の中に調査対象商品が存在するか否かを判定する（Ｓ４０４）。具体的には、第２判定部１５０は、Ｓ３０２で取得された調査対象商品の商品情報を取得した場合、当該調査対象商品の商品情報と商品情報取得部１１０により取得された商品情報とを突き合わせる。調査対象商品の商品情報と一致する商品情報が、商品情報取得部１１０により取得された商品情報の中に存在する場合（Ｓ４０４：ＹＥＳ）、第２判定部１５０は、処理対象画像内に調査対象商品が存在すると判断する。この場合、第２判定部１５０は、その調査対象商品の周囲に位置する他の商品を特定し、その商品に対応づけられた棚札に記載された価格情報を取得する（Ｓ４０６）。ここで取得される価格情報は、例えば、図７に示した処理と同様に、図３又は図５で示した棚札商品情報から取得される。

そして出力部１４０は、Ｓ４０６の処理で取得された価格情報を出力する（Ｓ４０８）。例えば、出力部１４０は、Ｓ４０６で取得した価格情報を、「調査対象商品の周囲の他の商品」として特定された商品それぞれに重畳表示させる描画データを処理対象画像に基づいて生成し、対象とする端末のディスプレイ上に出力することができる。

本実施形態によっても、商品と棚札の対応関係の誤りを精度よく検出することができる。また、例えば出力部１４０から情報を受信する端末の所持者は、予め調査対象商品を指定しておくと、その調査対象商品の価格情報や、その商品の周囲の商品御価格情報を容易に認識することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができるまた、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する第１判定手段と、
前記対応関係の整合性の判定結果を出力する出力手段と、
を備える情報処理装置。
２．
前記商品情報取得手段は、前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
前記棚札情報取得手段は、前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
前記第１判定手段は、さらに、取得した前記商品情報と前記棚札商品情報との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する、
１．に記載の情報処理装置。
３．
前記出力手段は、前記対応関係の整合性の判定結果として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも１つを出力する、
２．に記載の情報処理装置。
４．
前記商品情報取得手段は、前記商品に関連付けられた標準価格を取得し、
前記棚札情報取得手段は、前記棚札に記載されている商品価格を取得し、
前記第１判定手段は、前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
１．から３．のいずれか１つに記載の情報処理装置。
５．
前記画像内の商品の中に調査対象商品が存在するか否かを判定する第２判定手段を更に備え、
前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を更に出力する、
１．から４．のいずれか１つに記載の情報処理装置。
６．
前記画像内の商品の中に調査対象商品が存在するか否かを判定する第３判定手段を更に備え、
前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を更に出力する、
１．から５．のいずれか１つに記載の情報処理装置。
７．
前記第１判定手段は、
前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
２．から６．のいずれか１つに記載の情報処理装置。

８．
コンピュータが、
商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
前記画像を解析することにより、前記棚札の位置を取得し、
取得した前記商品の位置と前記棚札の位置との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定し、
前記対応関係の整合性の判定結果を出力する、
ことを含む情報処理方法。
９
前記コンピュータが、
前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
さらに、取得した前記商品情報と前記棚札商品情報との関係に基づいて、前記商品と前記棚札との対応関係の整合性を判定する、
ことを含む８．に記載の情報処理方法。
１０．
前記コンピュータが、
前記対応関係の整合性の判定結果として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも１つを出力する、
ことを含む９．に記載の情報処理方法。
１１．
前記コンピュータが、
前記商品に関連付けられた標準価格を取得し、
前記棚札に記載されている商品価格を取得し、
前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
ことを含む８．から１０．のいずれか１つに記載の情報処理方法。
１２．
前記コンピュータが、
前記画像内の商品の中に調査対象商品が存在するか否かを判定し、
前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を更に出力する、
ことを含む８．から１１．のいずれか１つに記載の情報処理方法。
１３．
前記コンピュータが
前記画像内の商品の中に調査対象商品が存在するか否かを判定し、
前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を更に出力する、
ことを含む８．から１２．のいずれか１つに記載の情報処理方法。
１４．
前記コンピュータが、
前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
ことを含む９．から１３．のいずれか１つに記載の情報処理方法。

１５．
コンピュータに８．から１４．のいずれか１つに記載の情報処理方法を実行させるプログラム。

この出願は、２０１７年９月２９日に出願された日本出願特願２０１７－１９１７９１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

1. 商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得する商品情報取得手段と、
   前記画像を解析することにより、前記棚札の位置を取得する棚札情報取得手段と、
   取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定する第１判定手段と、
   前記判定の結果を示す情報を出力する出力手段と、
   を備える情報処理装置。
2. 前記商品情報取得手段は、前記画像を解析することにより、前記商品に関連付けられた商品情報をさらに取得し、
   前記棚札情報取得手段は、前記画像を解析することにより、前記棚札に記載されている棚札商品情報をさらに取得し、
   前記第１判定手段は、さらに、前記対応付けに係る商品と棚札とに関して取得した前記商品情報と前記棚札商品情報とを比較した結果を用いて、前記基準を満たしているか否かを判定する、
   請求項１に記載の情報処理装置。
3. 前記出力手段は、前記判定の結果を示す情報として、前記棚札の位置のズレ、前記棚札の欠損、前記棚札の余剰、および、前記棚札商品情報の誤りの少なくとも１つに関する情報を出力する、
   請求項２に記載の情報処理装置。
4. 前記商品情報取得手段は、前記商品に関連付けられた標準価格を取得し、
   前記棚札情報取得手段は、前記棚札に記載されている商品価格を取得し、
   前記第１判定手段は、前記棚札に記載されている商品価格が、前記商品に関連付けられた標準価格の価格帯に含まれるか否かを判定する、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記画像内の商品の中に調査対象商品が存在するか否かを判定する第２判定手段を更に備え、
   前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品に関連する情報を更に出力する、
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品に対応する棚札に記載されている商品価格を前記調査対象商品に関連する情報として更に出力する、
   請求項５に記載の情報処理装置。
7. 前記出力手段は、前記調査対象商品が存在する場合に、前記調査対象商品の周囲に存在する他の商品に対応する棚札に記載されている商品価格を前記調査対象商品に関連する情報として更に出力する、
   請求項５または６に記載の情報処理装置。
8. 前記第１判定手段は、
   前記商品情報に基づく商品の並び順と前記棚札商品情報に基づく商品の並び順とが一致するか否かを判定する、
   請求項２、３、および請求項２を引用する請求項４から７のいずれか１項に記載の情報処理装置。
9. 前記第１判定手段は、取得した前記商品の位置と前記棚札の位置とを用いて算出される距離が所定距離以内であるかに基づいて、前記画像中の商品と棚札との対応付けを決定する、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. コンピュータが、
    商品および棚札が撮像された画像を解析することにより、前記商品の位置を取得し、
    前記画像を解析することにより、前記棚札の位置を取得し、
    取得した前記商品の位置と前記棚札の位置とに基づいて前記画像中の商品と棚札との対応付けを決定し、前記対応付けが基準を満たしている状態であるか否かを判定し、
    前記判定の結果を示す情報を出力する、
    ことを含む情報処理方法。
11. コンピュータに請求項１０に記載の情報処理方法を実行させるプログラム。

Images