JP2024037549A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】商品棚の位置を示す情報を取得しない場合に比べて、商品陳列の管理を容易に行う。【解決手段】プロセッサを備え、プロセッサは、商品棚の少なくとも一部である棚部Ａ０と棚部Ａ０に配された識別部Ｍ０～Ｍ３とを含む画像により識別部Ｍ０～Ｍ３に対応付けられた識別情報を取得し、識別情報により、棚部Ａ０の位置情報を取得する、情報処理装置である。【選択図】図５

Description

本発明は、情報処理装置及びプログラムに関するものである。

例えば、特許文献１には、商品棚を含む画像に対して、指定された位置を示す位置情報を取得する取得手段と、画像から認識された商品が指定された位置に配置された状態を示す棚割情報を、商品の認識結果と前記位置情報とに基づいて生成する生成手段と、を備える棚割情報生成装置が開示されている。

特開２０１６－２２４８３１号公報

ここで、例えば商品販売を行う店舗等に設置されている複数の商品棚について商品陳列の管理を行う場合、各々の商品棚について段数や各段に並べられている商品を示す情報のほかに、商品棚の位置を示す情報を取得すると、管理が容易になる。
本発明の目的は、商品棚の位置を示す情報を取得しない場合に比べて、商品陳列の管理を容易に行うことにある。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、商品棚の少なくとも一部である棚部と当該棚部に配された識別部とを含む画像により当該識別部に対応付けられた識別情報を取得し、前記識別情報により、前記棚部の位置情報を取得する、情報処理装置である。
請求項２に記載の発明は、前記画像に含まれる前記識別部は、少なくとも２つの組合せで、前記棚部において商品検索処理を行う領域を定めるものである、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記少なくとも２つの組合せは、前記商品棚が備える複数の棚板のうち一の棚板に対して配されかつ識別情報を対応付けた２つの前記識別部を含む、ことを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記商品検索処理を行う領域は、前記一の棚板と高さ方向に隣り合う他の棚板に対して配された他の２つの識別部がある場合、当該他の２つの識別部を含む前記組合せで定められ、前記他の２つの識別部がない場合、前記一の棚板に係る前記２つの識別部と前記画像の上端位置との前記組合せで定められる、ことを特徴とする請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記少なくとも２つの組合せは、前記商品棚の左右方向における中間部に配された前記識別部を含む、ことを特徴とする請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記画像に含まれる前記識別部は、前記棚部において商品検索処理を行う領域を定める第１識別部及び第２識別部を含み、前記第１識別部及び前記第２識別部の各々には、少なくとも単数の識別情報が対応付けられ、前記第２識別部には、前記第１識別部よりも多い数の前記識別情報が対応付けられている、ことを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記第１識別部により前記領域が定められる場合であって前記画像に前記第２識別部が含まれる場合、当該第２識別部の位置で当該領域を分割する処理を行う、ことを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記第１識別部により前記領域が定められない場合であって前記画像に前記第２識別部が含まれる場合、当該第１識別部及び当該第２識別部により当該領域を定める処理を行う、ことを特徴とする請求項６に記載の情報処理装置である。
請求項９に記載の発明は、前記画像の前記識別部は、前記棚部において商品検索処理を行う領域を定める第１識別部及び第２識別部を含み、前記第１識別部は、前記棚部において商品検索処理を行う領域を定めるものであり、前記第２識別部は、前記棚部における棚板の位置を定めるものである、ことを特徴とする請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、コンピュータに、商品棚の少なくとも一部である棚部と当該棚部に配された識別部とを含む画像により当該識別部に対応付けられた識別情報を取得する機能と、前記識別情報により、前記棚部の位置情報を取得する機能と、を実現させるプログラムである。

請求項１の発明によれば、商品棚の位置を示す情報を取得しない場合に比べて、商品陳列の管理を容易に行うことができる。
請求項２の発明によれば、識別部が少なくとも２つの組合せで棚部において商品検索処理を行う領域を定めるものである構成を採用しない場合に比べ、用いる識別部の数を少なくすることができる。
請求項３の発明によれば、少なくとも２つの組合せが商品棚の備える複数の棚板のうち一の棚板に対して配されかつ識別情報を対応付けた２つの識別部を含む構成を採用しない場合に比べ、用いる識別部の種類を少なくすることができる。
請求項４の発明によれば、一の棚板と高さ方向に隣り合う他の棚板に対して配された他の２つの識別部がない場合に一の棚板に係る２つの識別部と画像の上端位置との組合せで商品検索処理を行う領域が定められる構成を採用しない場合に比べ、用いる識別部の数を少なくすることができる。
請求項５の発明によれば、少なくとも２つの組合せが商品棚の左右方向における中間部に配された識別部を含む構成を採用しない場合に比べ、商品検索処理を行う領域に自由度を持たせることができる。
請求項６の発明によれば、第２識別部には第１識別部よりも多い数の識別情報が対応付けられている構成を採用しない場合に比べ、用いる識別部の数を少なくすることができる。
請求項７の発明によれば、第１識別部により領域が定められる場合であって画像に第２識別部が含まれる場合に第２識別部の位置で領域を分割する処理を行う構成を採用しない場合に比べ、商品検出処理の性能を向上させることができる。
請求項８の発明によれば、第１識別部により領域が定められない場合であって画像に第２識別部が含まれる場合に第１識別部及び第２識別部により領域を定める処理を行う構成を採用しない場合に比べ、管理負担を軽減することができる。
請求項９の発明によれば、棚部の段数を示す情報を取得することができる。
請求項１０の発明によれば、商品棚の位置を示す情報を取得しない場合に比べて、商品陳列の管理を容易に行うことができる。

本実施の形態が適用される画像処理システムの全体構成例を示した図である。 本実施の形態における画像処理装置のハードウェア構成例を示した図である。 本実施の形態における携帯端末のハードウェア構成例を示した図である。 第１の実施の形態に係る画像処理装置の機能構成例を表すブロック図である。 店舗に置かれた棚を説明する図であり、（ａ）は棚の位置を示す店舗の平面図であり、（ｂ）は、棚のうちの一部の棚に配されたマーカーの位置を示す棚の正面図である。 棚情報取得部が保有する情報を説明する図である。 マーカーの模様例を説明する図である。 第１の実施の形態において撮像画像による識別対象領域の特定を説明する図であり、（ａ）は、第１の実施の形態の撮像画像を示し、（ｂ）は、撮像画像に対するマーカー検出部の検出結果を示し、（ｃ）は、対象領域特定部による特定結果を示す。 識別対象領域からの商品情報の取得を説明する図であり、（ａ）は、識別対象領域を説明する図であり、（ｂ）は識別対象領域の棚割結果を示す情報である。 第２の実施の形態において撮像画像による識別対象領域の特定を説明する図であり、（ａ）は、第２の実施の形態の撮像画像の位置を示し、（ｂ）は、撮像画像に対するマーカー検出部の検出結果を示し、（ｃ）は、対象領域特定部による特定結果を示す。 識別対象領域からの商品情報の取得を説明する図であり、（ａ）は、識別対象領域を説明する図であり、（ｂ）は識別対象領域の棚割結果を示す情報である。 第２の実施の形態における棚割結果を説明する図である。 第３の実施の形態において棚が撮像された撮像画像を用いる処理を説明する図であり、（ａ）は、棚に配されたマーカーの位置を示す棚の正面図であり、（ｂ）は、棚に関し棚情報取得部が保有する情報を説明する図である。 第３の実施の形態において撮像画像による識別対象領域の特定を説明する図であり、（ａ）は、棚における撮像画像の位置を示し、（ｂ）は、撮像画像に対するマーカー検出部の検出結果を示し、（ｃ）は、対象領域特定部による特定結果を示す。 識別対象領域からの商品情報の取得を説明する図であり、（ａ）は、識別対象領域を説明する図であり、（ｂ）は識別対象領域の棚割結果を示す情報である。 第４の実施の形態において棚が撮像された撮像画像を用いる処理を説明する図であり、（ａ）は、棚に配されたマーカーの位置を示す棚の正面図であり、（ｂ）は棚における撮像画像の位置を示す。 第４の実施の形態における棚のマーカー位置の変形例を説明する図であり、（ａ）は第１変形例、（ｂ）は第２変形例、（ｃ）は第３変形例である。 第５の実施の形態において棚が撮像された撮像画像を用いる処理を説明する図であり、（ａ）は、棚に配されたマーカーの位置を示す棚の正面図であり、（ｂ）は、棚に関し棚情報取得部が保有する情報を説明する図である。 店舗に置かれた棚の各々の撮像画像についての処理を行う場合を説明する図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

［本実施の形態の概要］
本実施の形態は、商品棚の少なくとも一部である棚部と棚部に配された識別部とを含む画像により識別部に対応付けられた識別情報を取得し、識別情報により、棚部の位置情報を取得する、ことを備える情報処理装置を提供する。

ここで、棚部とは、商品棚全体又は商品棚の一部をいい、ここにいう商品棚の一部は、１つの商品棚が複数の棚が例えば上下に配置されている場合のいずれかの棚や、１つの商品棚の物理的に分離できない部分をいう。識別部とは、情報処理を行う際に用いる識別情報が予め対応付けられている部分をいう。識別情報とは、棚部の位置情報を取得するための情報をいい、棚部の位置情報とは、商品棚の店舗内における位置を示す情報や、店舗の床に対する高さ位置を示す情報をいう。
情報処理装置としては、画像処理を行う画像処理装置１０（図１参照）を例にとって説明するが、携帯端末２０（同図参照）であってもよい。

［画像処理システムの全体構成］
図１は、本実施の形態が適用される画像処理システム１の全体構成例を示した図である。図示するように、この画像処理システム１は、画像処理装置１０及び携帯端末２０を含む。画像処理装置１０は、通信回線３０に接続されている。携帯端末２０は、無線通信によりアクセスポイント４０を介して通信回線３０と無線接続可能になっている。なお、図では、画像処理装置１０及び携帯端末２０は、１つずつしか示していないが、複数存在してもよい。また、通信回線３０は、例えばＬＡＮ（Local Area Network）やインターネットとすればよい。

画像処理装置１０は、撮像画像を処理する装置であり、棚部と棚部に配されたマーカーを含む撮像画像を例えば携帯端末２０から取得した場合に、撮像画像によりマーカーに対応付けられたマーカーＩＤを取得する。また、マーカーＩＤにより棚部の位置情報を取得する。
なお、画像処理装置１０は、例えばパーソナルコンピュータ（ＰＣ）によって実現するとよい。

携帯端末２０は、対象物を撮像し、画像処理装置１０に送信する端末装置である。携帯端末２０には、カメラアプリケーションがインストールされているとよい。このカメラアプリケーションは、例えば、携帯端末２０の操作者の操作により、対象物を撮像し、撮像画像を画像処理装置１０へ送信する。なお、携帯端末２０は、例えば、スマートフォンによって実現するとよい。

［画像処理装置のハードウェア構成］
図２は、本実施の形態における画像処理装置１０のハードウェア構成例を示した図である。図示するように、画像処理装置１０は、プロセッサ１１と、ＲＡＭ（Random Access Memory）１２と、ＨＤＤ（Hard Disk Drive）１３と、通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）１４と、表示デバイス１５と、入力デバイス１６とを備える。

プロセッサ１１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、後述する各機能を実現する。

ＲＡＭ１２は、プロセッサ１１の作業用メモリ等として用いられるメモリである。ＨＤＤ１３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する例えば磁気ディスク装置である。

通信Ｉ／Ｆ１４は、通信回線３０を介して携帯端末２０との間で各種情報の送受信を行う。
表示デバイス１５は、各種情報を表示する例えばディスプレイである。入力デバイス１６は、ユーザが情報を入力するために用いる例えばキーボードやマウスである。

［携帯端末のハードウェア構成］
図３は、本実施の形態における携帯端末２０のハードウェア構成例を示した図である。図示するように、携帯端末２０は、プロセッサ２１と、ＲＡＭ２２と、ＲＯＭ２３と、入出力デバイス２４と、音声入力機構２５と、音声出力機構２６と、撮像機構２７と、無線回路２８と、アンテナ２９とを備える。

プロセッサ２１は、ＲＯＭ２３等に記憶された各種プログラムをＲＡＭ２２にロードして実行することにより、携帯端末２０の各機能を実現する。

ＲＡＭ２２は、プロセッサ２１の作業用メモリ等として用いられるメモリである。ＲＯＭ２３は、プロセッサ２１が実行する各種プログラム等を記憶するメモリである。

入出力デバイス２４は、各種情報の表示やユーザからの操作入力の受付を行うデバイスであり、例えばタッチパネルである。音声入力機構２５は、外部から音声を入力するデバイスであり、例えばマイクロフォンである。音声出力機構２６は、音声を外部に出力するデバイスであり、例えばスピーカである。

撮像機構２７は、被写体を撮像するデバイスであり、例えばカメラである。

無線回路２８は、無線通信を制御する回路である。アンテナ２９は、無線回路２８が出力した無線通信の信号を送信したり、無線通信の信号を受信して無線回路２８に出力したりするデバイスである。無線通信は、５Ｇ（5th Generation）、ＬＴＥ（Long Term Evolution）、Ｗｉ－Ｆｉ（登録商標）、ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の無線通信規格に準拠する通信を含む。

ここで、小売業の店頭の売場づくりのための重要な作業として、商品の陳列をレイアウトする棚割作業がある。棚割作業に関する技術は、「商品検出」と「商品識別」の２つの処理によって構成される。「商品検出」技術では、ＡＩ(Artificial Intelligence)を用いた物体検出技術によって、棚に配置されている各商品をバウンディングボックスと呼ばれる矩形領域によって商品領域を検出する。また、「商品識別」技術では、「商品検出」技術により検出した商品領域を基に商品画像を切り出し、予め定められている固有特徴に基づいてデータベース中の商品画像とマッチングを行い、最も類似度が高い商品ＩＤと紐づけ、商品ＩＤと商品検出情報から得られる商品位置とから最終的な棚割情報を生成する。
各店舗内の陳列が指示通りになっているかの確認点検作業の効率化や売上向上に向けた棚割の改良が重要であり、スマートフォン等の端末カメラで商品棚を撮影した画像から商品陳列の状態を把握することができれば、確認点検作業の効率化や棚割の改良を容易に行うことが可能になる。
そこで、本実施の形態では、端末カメラで撮像した画像が店舗に置かれている複数棚のどの棚であるかを示す情報を含む棚割情報を取得するようにし、確認点検作業の効率化や棚割の改良を支援するツールを提供する。

［第１の実施の形態］
まず、第１の実施の形態について説明する。
図４は、第１の実施の形態に係る画像処理装置１０の機能構成例を表すブロック図である。図示するように、第１の実施の形態に係る画像処理装置１０は、マーカー検出部５１と、対象領域特定部５２と、棚情報取得部５３と、商品情報取得部５４と、棚割生成部５５とを備えている。

マーカー検出部５１は、携帯端末２０から取得した撮像画像に含まれるマーカーを検出し、検出したマーカーから棚部ＩＤを読み取り、マーカーの位置を示すマーカー位置情報と棚部ＩＤを出力する。
ここにいうマーカーは、例えば商品棚の棚板両端に配置される。さらに説明すると、マーカーには、棚部ＩＤを示す模様等の画像が付されている。棚部ＩＤは、店舗内のどの棚部であるかを特定する識別情報である。

対象領域特定部５２は、マーカーの位置と棚部ＩＤから、組となるマーカー同士を結ぶ線分を基に識別対象領域を特定する。例えば、撮像画像上に複数の棚板がある場合、各棚板の頂点を線分で結ぶ外接矩形を識別対象領域として設定する。また、棚板が撮像画像上の最上位に位置している場合、棚板の上側を識別対象領域として設定してもよい。さらに、マーカーを基準に水平方向及び垂直方向に引いた線とその交点により定義される多角形領域を識別対象領域として特定してもよく、また、複数の棚がある場合は、各棚の識別対象領域を合わせて識別対象領域としてもよい。

棚情報取得部５３は、棚部ＩＤと商品棚に関する情報とを対応付けた棚情報を取得する。より詳細には、棚情報取得部５３は、自身が棚情報を保有する場合の他、画像処理装置１０の外部に棚情報記憶部が設けられ棚情報記憶部に対する要求により棚情報を取得してもよい。
かかる棚情報としては、店舗内にある商品棚やその位置を特定する情報が含まれ、また、商品棚の棚板を特定する情報も含まれる。

商品情報取得部５４は、対象領域特定部５２により特定された識別対象領域に含まれている商品の情報を取得する。すなわち、商品情報取得部５４は、識別対象領域に含まれている商品の検出及び識別を行うことで、商品の情報を取得する。かかる商品の情報は、自身が保有する場合の他、画像処理装置１０の外部に商品情報記憶部が設けられ商品情報記憶部に対する要求により商品の情報を取得してもよい。
かかる商品の情報としては、商品の商品名を示す情報が含まれる。

棚割生成部５５は、棚情報取得部５３により取得された棚情報と商品情報取得部５４により取得された商品の情報から、店舗内の棚における各商品の位置を示す棚割情報を生成する。生成された棚割情報は、表示デバイス１５に表示されたり携帯端末２０に送信され入出力デバイス２４に表示されたりする。

図５は、店舗Ｓに置かれた棚Ａ～Ｆを説明する図であり、（ａ）は棚Ａ～Ｆの位置を示す店舗Ｓの平面図であり、（ｂ）は、棚Ａ～Ｆのうち棚Ａ、Ｂに配されたマーカーの位置を示す棚Ａ、Ｂの正面図である。
図５（ａ）に示すように、店舗Ｓには、複数の棚Ａ～Ｆが置かれている。出入り口ＳＥに近い側に棚Ａ、Ｂが横並びで配され、棚Ａ、Ｂに対向する位置に棚Ｃ、Ｄが並んで配され、棚Ｃ、Ｄの背向かいに棚Ｅ、Ｆが並んで配されている。

図５（ｂ）に示すように、棚Ａは、４段の商品棚であり、６個のマーカーＭ０～Ｍ５が配されている。より詳細には、棚Ａの左上角部にマーカーＭ０、右上角部にマーカーＭ１、左下角部にマーカーＭ４、右下角部にマーカーＭ５が位置し、上下中間の左側にマーカーＭ２、右側にマーカーＭ３が位置する。
さらに説明すると、棚Ａは、２段の棚上部Ａ０と２段の棚下部Ａ１とに分けて管理される。棚Ａの棚上部Ａ０については、マーカーＭ０、Ｍ１、Ｍ２、Ｍ３が用いられ、棚下部Ａ１については、マーカーＭ２、Ｍ３、Ｍ４、Ｍ５が用いられる。

また、棚Ｂは、３段の商品棚であり、４隅の各々にマーカーＭ６～Ｍ９が配されている。すなわち、左上角部、右上角部、左下角部及び右下角部の順にマーカーＭ６～Ｍ９が位置する。さらに説明すると、棚Ｂは、上下に分けられた棚Ａとは異なり、棚部Ｂ０として管理される。

このように、マーカーＭ０～Ｍ９は、矩形の頂点に配されている。そして、棚Ａ、Ｂは、棚上部Ａ０、棚下部Ａ１及び棚部Ｂ０という３つの識別対象エリアが設定されている。棚上部Ａ０、棚下部Ａ１及び棚部Ｂ０の各々には、マーカーＭ０～Ｍ９を介して棚部ＩＤが割り当てられている。以下説明する。

図６は、棚情報取得部５３（図４参照）が保有する情報を説明する図である。
図示するように、棚情報取得部５３は、マーカーＩＤと棚部ＩＤとの紐付けを示す情報５３ａを記憶する記憶部５３１と、棚部ＩＤと各種属性情報との対応を示す情報５３ｂを記憶する記憶部５３２とを有する。

記憶部５３１の情報５３ａは、マーカーＭ０～Ｍ９の各マーカーＩＤ０～９と棚部ＩＤ「Ａ０」、「Ａ１」、「Ｂ０」との関係を示す管理情報である。棚部ＩＤ「Ａ０」は棚上部Ａ０（図５（ｂ）参照）についてのものであり、棚部ＩＤ「Ａ１」、「Ｂ０」はそれぞれ、棚下部Ａ１及び棚部Ｂ０（図５（ｂ）参照）についてのものである。
マーカーＩＤ０～３は、棚部ＩＤ「Ａ０」に紐付けられている。また、マーカーＩＤ２～５は棚部ＩＤ「Ａ１」に紐付けられ、マーカーＩＤ６～９が棚部ＩＤ「Ｂ０」に紐付けられている。

図６に示す情報５３ａでは、マーカーＩＤ０～９のうちマーカーＩＤ０、１、４～９は棚部ＩＤが１つである一方で、マーカーＩＤ２、３は棚部ＩＤが２つである。言い換えると、マーカーＩＤ２、３の棚部ＩＤの数は、単数であるマーカーＩＤ０、１、４～９よりも多い数である。
このように、マーカーＩＤ２、３には、マーカーＩＤ０、１、４～９よりも多い数の棚部ＩＤが対応付けられている。

さらに説明すると、マーカーＩＤ２～３は、棚部ＩＤ「Ａ０」、「Ａ１」の双方に紐付けられ、共用されている。これにより、棚上部Ａ０と棚下部Ａ１とを含む棚Ａにマーカーを配する場合のマーカー数を削減することができる。

棚Ａ、Ｂは商品棚の一例であり、棚上部Ａ０、棚下部Ａ１及び棚部Ｂ０は、商品棚の少なくとも一部の棚部の一例であり、マーカーＭ０～Ｍ９は、棚部に配された識別部の一例であり、後述の撮像画像６０（図８参照）は、棚部と識別部とを含む画像の一例であり、マーカーＩＤ０～９は、識別部に対応付けられた識別情報の一例であり、棚部ＩＤ「Ａ０」、「Ａ１」及び「Ｂ０」は、棚部の位置情報の一例である。
第１の実施の形態におけるマーカーＭ０、１、４～９は、第１識別部の一例であり、マーカーＭ２、３は、第２識別部の一例である。

記憶部５３２の情報５３ｂは、棚部ＩＤ「Ａ０」～「Ｂ０」と棚部ＩＤにより特定される識別対象領域に陳列されている商品のカテゴリである商品カテゴリや識別対象領域の段数を示す各種属性情報との関係を示す管理情報である。
棚部ＩＤ「Ａ０」に陳列される商品カテゴリは、ドリンクであり、段数は２である。また、棚部ＩＤ「Ａ１」の商品カテゴリは惣菜、段数２であり、棚部ＩＤ「Ｂ０」の商品カテゴリはスナック菓子、段数は３である。

したがって、複数のマーカーＭ０～Ｍ９を配した商品棚Ａ、Ｂ（図５（ｂ）参照）を撮像した撮像画像を基に、マーカーＩＤを取得でき、また、マーカーＩＤから棚部ＩＤを取得できる。さらに、棚部ＩＤから商品カテゴリ及び段数の各種属性情報を取得できる。
なお、各種属性情報としての商品カテゴリは、検出した商品を識別する際に参照するデータを商品カテゴリ内で限定するのに用いられる。また、段数は、各商品がどの段に所属しているかを推定するために用いられる。各種属性情報は、商品カテゴリや段数には限られない。

図７は、マーカーＭ０～Ｍ９の模様例を説明する図である。
図示するように、マーカーＭ０～Ｍ９の各々には、互いに異なる模様が付されている。より詳細には、図７に示す模様例は、５×５の格子状のマス目に画像特徴が一意となるように白と黒に塗られた画像的な特徴を有する。マーカーＭ０～Ｍ９の模様に対応してマーカーＩＤ０～９が対応付けられている。
なお、マス目の数は、模様例では５であるが、これに限られず、識別対象となる棚部の数や撮像の解像度等に応じて設定することができる。

図８は、第１の実施の形態において撮像画像６０による識別対象領域の特定を説明する図であり、（ａ）は、第１の実施の形態の撮像画像６０を示し、（ｂ）は、撮像画像６０に対するマーカー検出部５１（図４参照）の検出結果を示し、（ｃ）は、対象領域特定部５２（図４参照）による特定結果を示す。なお、撮像画像６０は、携帯端末２０（図１参照）で撮像され、画像処理装置１０に送信されたものである。なお、撮像画像６０をそのまま用いる場合のほか、撮像時にクロップを行う場合、撮影後のその一部を切り出すトリミングを行う場合でもよい。
図８（ａ）に示すように、撮像画像６０には、棚Ａ、Ｂにおける棚上部Ａ０の全体と棚下部Ａ１及び棚部Ｂ０の一部が含まれる。また、撮像画像６０には、マーカーＭ０～Ｍ９のうちマーカーＭ０～Ｍ３、Ｍ６が含まれている。

そして、撮像画像６０についてマーカー検出部５１がマーカー検出を行うと、図８（ｂ）に示すように、マーカーＭ０～Ｍ３、Ｍ６の模様（図７参照）により、対応するマーカーＩＤ０～３、６を取得する。

その後、対象領域特定部５２は、棚情報取得部５３から、記憶部５３１の情報５３ａ（図６参照）を読み出し、マーカーＩＤ０～３、６のうち４頂点のマーカーがすべて含まれる棚部ＩＤを特定する。すなわち、マーカーＩＤ０～３は４頂点のマーカーについてのものであり、棚部ＩＤ「Ａ０」を特定する。そして、棚部ＩＤ「Ａ０」の棚上部Ａ０は、同図（ｃ）に示すように、検出されたマーカーの位置関係から、矩形の頂点を決める。
その一方で、マーカーＩＤ６は、棚部ＩＤ「Ｂ０」であるところ、棚部ＩＤ「Ｂ０」のマーカーＩＤ６～９のすべてが含まれていないことから、棚部ＩＤ「Ｂ０」は特定されない。
これにより、対象領域特定部５２は、棚部ＩＤ「Ａ０」の棚Ａにおける棚上部Ａ０だけを識別対象領域６１として特定する。このように、識別対象領域６１の位置を取得する。

このように、第１の実施の形態では、マーカーＭ０、Ｍ１では識別対象領域６１が定められない場合であって撮像画像６０にマーカーＭ２、Ｍ３が含まれる場合であり、かかる場合には、マーカーＭ０～Ｍ３により識別対象領域６１を定める処理を行う。これにより、ユーザの撮影技能による画像品質のばらつきが抑制され、検出精度が向上する。また、マーカーＭ０～Ｍ３に紐づけられた店舗Ｓの棚位置情報を売り上げなどの情報を使って分析し棚の配置の改善を行うことができる。
上述したように、マーカーＭ０、Ｍ１は第１識別部の一例であり、マーカーＭ２、Ｍ３は第２識別部の一例である。

図９は、識別対象領域６１からの商品情報の取得を説明する図であり、（ａ）は、識別対象領域６１を説明する図であり、（ｂ）は識別対象領域６１の棚割結果を示す情報６２である。
識別対象領域６１からの商品情報の取得は、商品情報取得部５４（図４参照）により行われ、取得した商品情報を用いて棚割生成部５５（同図参照）が棚割情報を生成する。
より詳細には、識別対象領域６１に含まれる商品について物体検出を行う。物体検出により、図９（ａ）に示すように、棚上部Ａ０には、８つの商品７１ａ～７１ｈが陳列されていることを把握する。

ここで、記憶部５３２の情報５３ｂ（図６参照）によれば、棚部ＩＤ「Ａ０」の商品カテゴリはドリンクであり、段数は２であるという情報を取得できる。このため、かかる情報を用いて物体検出と商品照合を行う。物体検出により、８つの商品７１ａ～７１ｈの物体画像が切り出される。このように切り出された物体画像の画像特徴を用いて、ドリンクという商品カテゴリに限定した参照データの範囲から、商品照合を行う。
これにより、カテゴリ情報が不明の条件で全てのカテゴリから商品の照合を、マーカーを使わずに行う場合と比べて、高速かつ正確に照合を行うことができる。

商品識別を終えたら、当該棚の中で何段目に位置しているのか（所属段）と各段で左から何番目に位置しているか（相対位置）を推定する。所属段は、例えば検出された各商品のｙ座標値のヒストグラムからクラスタリングを行って、各商品の所属する段を決める。また、相対位置は、検出された各商品のｘ座標値が小さい順に対応させる。なお、ここにいうｙ座標値は上下方向の位置であり、ｘ座標値は左右方向の位置である。

図９（ｂ）に示す棚割結果６２では、物体番号、商品名、所属棚及び相対位置の欄が設けられている。そして、物体番号である物体０～物体７はそれぞれ、同図（ａ）に示す商品７１ａ～７１ｈに対応する。なお、相対位置は、所属棚における位置を示す。
より詳細には、棚割結果６２では、商品７１ａ～７１ｈのうち商品７１ａ～７１ｄが１段目に順に並べられ、商品７１ｅ～７１ｈが２段目に順に並べられていることを表している。また、棚割結果６２から明らかなように、商品７１ａ～７１ｈの商品名も具体的に特定されている。このようにして、棚部ＩＤ「Ａ０」の棚割結果６２が生成され、出力される。

付言すると、マーカーを使用しない場合、撮像画像６０（図８参照）の中に入っている商品をすべて検出してしまうため、見切れている商品を除外する後処理を行う必要があり、また、段数が不明なために商品の所属段の推定が難しい。さらに、撮影した棚が店舗内のどの棚なのか不明なため、収集した棚割結果をデータベース上で管理することができない。
これに対し、マーカーＭ０～Ｍ９を使用する第１の実施の形態では、後処理が不要であり、所属段の推定が容易になり、棚割結果をデータベース上で管理できる。

識別対象領域６１は、商品検索処理を行う領域の一例である。なお、第１の実施の形態における識別対象領域６１は、棚Ａの一部である棚上部Ａ０を特定したものである。

［第２の実施の形態］
次に、第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態の場合と同じく、棚Ａ、Ｂが撮像された撮像画像６０を用いる。なお、第２の実施の形態では、第１の実施の形態の場合と共通する事項の説明及び図示を省略することがある。
図１０は、第２の実施の形態において撮像画像６０による識別対象領域６１の特定を説明する図であり、（ａ）は、第２の実施の形態の撮像画像６０の位置を示し、（ｂ）は、撮像画像６０に対するマーカー検出部５１の検出結果を示し、（ｃ）は、対象領域特定部５２による特定結果を示す。なお、図１０は、第１の実施の形態における図８に対応するものである。
図１０（ａ）に示すように、撮像画像６０には、棚Ａ、Ｂの全体すなわち棚上部Ａ０、棚下部Ａ１及び棚部Ｂ０が含まれる。また、撮像画像６０には、マーカーＭ０～Ｍ９が含まれている。

マーカー検出部５１により撮像画像６０からマーカーが検出された場合、図１０（ｂ）に示すように、マーカーＩＤ０～９を取得する。対象領域特定部５２は、記憶部５３１の情報５３ａ（図６参照）から、識別対象領域６１の情報として、棚部ＩＤ「Ａ０」、「Ａ１」及び「Ｂ０」を特定する。すなわち、棚部ＩＤ「Ａ０」、「Ａ１」及び「Ｂ０」の範囲を定義するマーカーＩＤ０～９が全て撮像画像６０に写っているため、棚部ＩＤ「Ａ０」、「Ａ１」及び「Ｂ０」を特定する。
より詳細には、図１０（ｃ）に示すように、識別対象領域６１が識別対象領域６１ａ、６１ｂ、６１ｃからなる場合、識別対象領域６１ａとして棚部ＩＤ「Ａ０」を特定し、識別対象領域６１ｂとして棚部ＩＤ「Ａ１」を特定し、識別対象領域６１ｃとして棚部ＩＤ「Ｂ０」を特定する。

このように、撮像画像６０に含まれるマーカーを検出してマーカーＩＤ及び位置を特定し、特定したマーカーＩＤに紐づけられた情報をデータベースの情報５３ａから読み出し、識別対象領域６１を決定する。４頂点のマーカーが撮像画像６０にすべて含まれている場合は、当該マーカーＩＤが示す棚部を識別対象領域６１とする。

図１１は、識別対象領域６１からの商品情報の取得を説明する図であり、（ａ）は、識別対象領域６１を説明する図であり、（ｂ）は識別対象領域６１の棚割結果を示す情報６２である。なお、図１１は、第１の実施の形態における図９に対応するものである。
識別対象領域６１に含まれる商品の物体検出により、図１１（ａ）に示すように、棚上部Ａ０には商品７１ａ～７１ｈが陳列され、棚下部Ａ１には商品７２ａ～７２ｈが陳列され、棚部Ｂ０には、１２個の商品７３ａ～７３ｌが陳列されていることを把握する。

物体検出の結果である商品７１ａ～７１ｈ、７２ａ～７２ｈ、７３ａ～７３ｌについての商品照合により、図１１（ｂ）に示すように、対応する物体番号、商品名、所属段及び相対位置の情報を取得する。すなわち、識別対象領域６１ａ内の商品７１ａ～７１ｈについての棚割結果６２ａ、識別対象領域６１ｂ内の商品７２ａ～７２ｈについての棚割結果６２ｂ、及び、識別対象領域６１ｃ内の商品７３ａ～７３ｌについての棚割結果６２ｃが生成される。

ここで、第２の実施の形態では、棚上部Ａ０に対応する識別対象領域６１ａと、棚下部Ａ１に対応する識別対象領域６１ｂと、棚部Ｂ０に対応する識別対象領域６１ｃに分ける画像分割して物体検出及び商品照合を行っている。棚Ａについては、棚上部Ａ０と棚下部Ａ１に分ける処理を行っている。
このような画像分割を行った方が画像分割を行わない場合に比べて識別性能は高い。すなわち、前提条件を限定して学習した物体検出モデルの場合には、性能が出易く、好ましい。例えば学習データの段数を１段～６段程度までとして定義して学習するのと比べて、学習データの段数を１段～１２段として定義して学習する方が難しい。
このような第２の実施の形態で識別対象領域６１を分割する処理を行う場合において、撮像画像６０に含まれるマーカーＭ０～Ｍ３は第１識別部の一例であり、マーカーＭ２～Ｍ５は第２識別部の一例である。

もっとも、棚Ａ及び棚Ｂを撮像した撮像画像６０について上述した画像分割を行わずに物体検出及び商品照合を行ってもよい。また、棚Ａを撮像した画像と棚Ｂを撮像した別の画像を撮像画像６０として取得する場合や、棚Ａについて棚上部Ａ０を撮像した画像と棚下部Ａ１を撮像した別の画像として取得する場合であってもよい。

図１２は、第２の実施の形態における棚割結果６２ｄを説明する図である。
図１２に示す棚割結果６２ｄは、棚上部Ａ０の棚割結果６２ａ（図１１（ｂ）も参照）と棚下部Ａ１の棚割結果６２ｂ（同図（ｂ）も参照）を含む。すなわち、棚割結果６２ｄは、棚割結果６２ａ、６２ｂをデータベース上で結合したものであり、棚Ａについてのものである。
このように、撮像画像６０（図１０参照）において棚Ａを棚上部Ａ０と棚下部Ａ１とに分け、棚割結果６２ａ、６２ｂを生成することで識別性能を高めた上で、生成した棚割結果６２ａ、６２ｂを結合することで、棚Ａとして管理することができる。

［第３の実施の形態］
次に、第３の実施の形態について説明する。第３の実施の形態は、第１乃至第２の実施の形態の場合とは異なり、棚Ｃが撮像された撮像画像６０を用いる。なお、第３の実施の形態では、第１乃至第２の実施の形態の場合と共通する事項の説明及び図示を省略することがある。
図１３は、第３の実施の形態において棚Ｃが撮像された撮像画像６０を用いる処理を説明する図であり、（ａ）は、棚Ｃに配されたマーカーの位置を示す棚Ｃの正面図であり、（ｂ）は、棚Ｃに関し棚情報取得部５３（図４参照）が保有する情報を説明する図である。なお、図１３（ａ）は図５（ｂ）に対応するものであり、図１３（ｂ）は図６に対応するものである。

図１３（ａ）に示すように、棚Ｃは、上下２段の商品棚であり、４個のマーカーＭ０～Ｍ１（図７（ａ）、（ｂ）も参照）が配されている。
より詳細には、棚Ｃの棚板ごとにマーカーＭ０～Ｍ１が設置されている。すなわち、上段の棚板の左右両端に同じマーカーＭ０が配置され、下段の棚板の左右両端に同じマーカーＭ１が配置されている。

さらに説明すると、棚Ｃの上端にマーカーｍが配置されている。かかるマーカーｍは、マーカーＭ０～Ｍ１とは異なり、マーカーＩＤ対応の棚部ＩＤを示す模様等の画像が付されていない。棚Ｃの上端を示すマーカーｍは、識別対象領域をより簡易に特定するためのものである。

図１３（ｂ）に示すように、棚情報取得部５３の記憶部５３１には、棚Ｃに関するマーカーＩＤと棚部ＩＤとの紐付けを示す情報５３ｃが記憶されている。より詳細には、情報５３ｃは、マーカーＭ０～Ｍ１の各マーカーＩＤ０～１と棚部ＩＤ「Ｃ０」及び棚板ＩＤ「ｃ００」、「ｃ０１」との関係を示す管理情報である。情報５３ｃの棚板ＩＤは、棚Ｃが備える棚板を特定するための情報である。

また、棚情報取得部５３の記憶部５３２には、棚Ｃに関する棚部ＩＤと各種属性情報との対応を示す情報５３ｄが記憶されている。より詳細には、情報５３ｄは、棚部ＩＤ「Ｃ０」と棚部ＩＤにより特定される識別対象領域に陳列されている商品カテゴリや識別対象領域の段数を示す各種属性情報との関係を示す管理情報である。
棚部ＩＤ「Ｃ０」に陳列される商品カテゴリは、ドリンクであり、段数は２である。

図１４は、第３の実施の形態において撮像画像６０による識別対象領域の特定を説明する図であり、（ａ）は、棚Ｃにおける撮像画像６０の位置を示し、（ｂ）は、撮像画像６０に対するマーカー検出部の検出結果を示し、（ｃ）は、対象領域特定部５２による特定結果を示す。なお、図１４は、第１の実施の形態を示す図８（ａ）～（ｃ）や第２の実施の形態を示す図１０（ａ）～（ｃ）に対応するものである。
図１４（ａ）に示すように、撮像画像６０には、棚Ｃの全体が含まれる。また、撮像画像６０には、マーカーｍ及びマーカーＭ０～Ｍ１が含まれている。

撮像画像６０から図１４（ｂ）に示すマーカー検出が行われた場合、マーカーＭ０～Ｍ１に対応するマーカーＩＤ０～１を取得する。なお、マーカーｍには、マーカーＩＤが対応付けられていない。
対象領域特定部５２（図４参照）は、棚部ＩＤ「Ｃ０」が撮像画像６０に移っているため、記憶部５３１の情報５３ｃ（図１３（ｂ）参照）から、識別対象領域６１の情報として、棚部ＩＤ「Ｃ０」及び棚板ＩＤ「ｃ００」、「ｃ０１」を特定する。

より詳細には、図１４（ｃ）に示すように、棚板ＩＤ「ｃ００」の位置よりも上側の領域であってマーカーｍの位置よりも下側の領域について、棚部ＩＤ「Ｃ０」及び棚板ＩＤ「ｃ００」により識別対象領域６１ｄとする。また、棚板ＩＤ「ｃ０１」よりも上側の領域であって棚板ＩＤ「ｃ００」よりも下側の領域について、棚部ＩＤ「Ｃ０」及び棚板ＩＤ「ｃ０１」により識別対象領域６１ｅとする。
このようにして、識別対象領域６１は、識別対象領域６１ｄ、６１ｅにより画定されることを特定し、棚部ＩＤ「Ｃ０」を特定する。

図１５は、識別対象領域６１からの商品情報の取得を説明する図であり、（ａ）は、識別対象領域６１を説明する図であり、（ｂ）は識別対象領域６１の棚割結果を示す情報６２である。なお、図１５は、第１の実施の形態を示す図９（ａ）～（ｂ）や第２の実施の形態を示す図１１（ａ）～（ｂ）に対応するものである。
商品の物体検出により、図１５（ａ）に示すように、棚Ｃにおける棚部Ｃ０の識別対象領域６１ｄには商品７４ａ～７４ｄが陳列され、識別対象領域６１ｅには商品７４ｅ～７４ｈが陳列されていることを把握する。

物体検出の結果である商品７４ａ～７４ｄ、７４ｅ～７４ｈについての商品照合により、図１５（ｂ）に示すように、対応する物体番号、商品名、所属段及び相対位置の情報を取得する。

［第４の実施の形態］
次に、第４の実施の形態について説明する。第４の実施の形態は、第１乃至第３の実施の形態の場合とは異なり、棚Ｄが撮像された撮像画像６０を用いる。なお、第４の実施の形態では、第１乃至第３の実施の形態の場合と共通する事項の説明及び図示を省略することがある。
図１６は、第４の実施の形態において棚Ｄが撮像された撮像画像６０を用いる処理を説明する図であり、（ａ）は、棚Ｄに配されたマーカーの位置を示す棚Ｄの正面図であり、（ｂ）は棚Ｄにおける撮像画像６０の位置を示す。なお、図１６（ａ）は、図１３（ａ）に対応するものであり、図１６（ｂ）は図１４（ｃ）に対応するものである。

図１６（ａ）に示すように、棚Ｄは、３段の商品棚であり、棚部Ｄ０である。また、棚Ｄには、６個のマーカーＭ０～Ｍ２（図７も参照）が配されている。より詳細には、棚Ｄの棚板ごとにマーカーＭ０～Ｍ２が設置されている。すなわち、上段の棚板の左右両端にマーカーＭ０が配置され、中段の棚板の左右両端にマーカーＭ１が配置され、下段の棚板の左右両端にマーカーＭ２が配置されている。
なお、マーカーＭ０にはマーカーＩＤ０が対応付けられ、マーカーＭ１にはマーカーＩＤ１が対応付けられ、マーカーＭ２にはマーカーＩＤ２が対応付けられている。

ここで、第４の実施の形態では、第３の実施の形態の場合と同じく、棚板の左右両端にマーカーＭ０～Ｍ２が配置されているが、第３の実施の形態の場合とは異なり、商品棚の上端を示すマーカーｍの配置が省略されている。
しかしながら、第４の実施の形態では、商品棚の上端を撮像画像６０の端の位置としている。これにより、棚Ｄに用いるマーカーの数が減る。

図１６（ｂ）に示すように、マーカーＭ０よりも上側の領域であって撮像画像６０の端よりも下側の領域を識別対象領域６１ｆとし、マーカーＭ０、Ｍ１により画定される領域を識別対象領域６１ｇとし、マーカーＭ１、Ｍ２により画定される領域を識別対象領域６１ｈとする。
このようにして、識別対象領域６１は、識別対象領域６１ｆ～６１ｈにより画定されることを特定し、棚部ＩＤ「Ｄ０」を特定する。

第４の実施の形態では、マーカーＭ０～２を含む組合せにより棚部ＩＤ「Ｄ０」としての識別対象領域６１を定めている。さらに説明すると、棚Ｄが備える３つの棚板のうち上段の棚板に対して配されかつ互いに同じマーカーＩＤ０を対応付けた２つのマーカーＭ０を用い、また、中段の棚板に対して配されかつ互いに同じマーカーＩＤ１を対応付けた２つのマーカーＭ１を用い、下段の棚板に対して配されかつ同じマーカーＩＤ２を対応付けたマーカーＭ２を用いている。
このように、棚部ＩＤ「Ｄ０」としての識別対象領域６１を定めるマーカーの組合せは、棚Ｄが備える複数の棚板のうち上段の棚板に対して配されかつ互いに同じマーカーＩＤ０を対応付けた２つのマーカーＭ０を含み、中段の棚板に対して配されかつ互いに同じマーカーＩＤ１を対応付けた２つのマーカーＭ１を含み、下段の棚板に対して配されかつ互いに同じマーカーＩＤ２を対応付けた２つのマーカーＭ２を含む。

また、第４の実施の形態では、図１６（ａ）に示すように、棚Ｄが備える上段、中段及び下段の棚板のうち例えば上段の棚板と高さ方向上側に隣り合うマーカーがない場合であり、かかる場合には、棚部ＩＤ「Ｄ０」としての識別対象領域６１は、同図（ｂ）に示すように、上段の棚板に係る２つのマーカーＭ０と撮像画像６０の上端位置との組合せで定められている。
その一方で、記述の第１乃至第３の実施の形態（図８（ａ）、図１０（ａ）、図１３（ａ））では、上段の棚板と高さ方向上側に隣り合うマーカーＭ０、Ｍ１乃至マーカーｍがあり、かかる場合には、マーカーＭ０、Ｍ１乃至マーカーｍを含む組合せで識別対象領域６１が定められる。

なお、第４の実施の形態では、６個のマーカーＭ０～Ｍ２を棚板の左右両端にそれぞれ配置しているが、これに限られず、３個のマーカーＭ０～Ｍ２を用いる例も考えられる。すなわち、マーカーＭ０～Ｍ２の各々を棚板の左右両端の左右方向中間位置に配置すると共に、棚面の方向（商品置面の左右方向及び高さ位置）を推定することで識別対象領域６１ｆ～６１ｈを特定する。

［変形例］
ここで、図１７を用いて棚Ｄへのマーカー位置についての変形例を説明する。
図１７は、第４の実施の形態における棚Ｄのマーカー位置の変形例を説明する図であり、（ａ）は第１変形例、（ｂ）は第２変形例、（ｃ）は第３変形例である。
図１７（ａ）に示す第１変形例は、撮像画像６０における棚Ｄの対角位置にそれぞれ、マーカーＭ０、Ｍ１が配置されている。２個のマーカーＭ０、Ｍ１により棚部ＩＤ「Ｄ０」としての識別対象領域６１が矩形で画定される。このため、棚Ｄの四隅位置にそれぞれ配置する場合に比べてマーカーの数が少なくて済む。

図１７（ｂ）に示す第２変形例は、撮像画像６０における棚Ｄの四隅のうち３つの位置にそれぞれ、マーカーＭ０～Ｍ２が配置され、かかるマーカーＭ０～Ｍ２により、棚部ＩＤ「Ｄ０」としての識別対象領域６１が矩形で画定される。このため、棚Ｄの四隅位置にそれぞれ配置する場合に比べてマーカーの数が少なくて済む。また、第１変形例の場合よりも１個多いが、マーカーを設けない位置を予め定めておくことで、撮像画像６０の上下方向ないし左右の方向を把握することが可能になる。

図１７（ｃ）に示す第３変形例は、撮像画像６０における棚Ｄに対し、マーカーＭ０～Ｍ５が配置されている。より詳細には、四隅のうち３つにマーカーＭ１、Ｍ４、Ｍ５が配置され、残りの１つにはマーカーが配置されていない。
また、マーカーが配置されていない１つの隅を囲むように３つのマーカーＭ０、Ｍ２、Ｍ３が配置されている。すなわち、マーカーＭ０、Ｍ２は、マーカーが配置されていない１つの隅と同じ高さの隅との間の中間位置にマーカーＭ０が配置され、マーカーが配置されていない１つの隅とその下にある隅との間の中間位置にマーカーＭ２が配置され、マーカーＭ０の下であると共にマーカーＭ２と同じ高さの位置にマーカーＭ３が配置されている。
第３変形例では、棚部ＩＤ「Ｄ０」としての識別対象領域６１を棚板の途中の位置で区画することができる。すなわち、識別対象領域６１を矩形以外の形状で画定できることから、店舗の状況に応じた識別対象領域６１の設定を行うことができる。

このように、第１変形例の撮像画像６０における棚Ｄの対角位置である２つのマーカーＭ０～Ｍ１の組合せ（図１７（ａ）参照）、第２変形例の棚Ｄにおける四隅のうち３つの位置である３つのマーカーＭ０～Ｍ２の組合せ（同図（ｂ）参照）、及び、第３変形例の棚Ｄにおける四隅及び四隅以外の位置である６つのマーカーＭ０～Ｍ５の組合せ（同図（ｃ）参照）で、棚部ＩＤ「Ｄ０」としての識別対象領域６１を定めている。言い換えると、第１変形例のマーカーＭ０～Ｍ１、第２変形例のマーカーＭ０～Ｍ２、第３変形例のマーカーＭ０～Ｍ５は、少なくとも２つの組合せで識別対象領域６１を定めるものである。

また、第３変形例のマーカーＭ０～Ｍ５は、棚Ｄの左右方向における中間部に配されたマーカーＭ０、Ｍ３を含み、棚Ｄの上下方向における中間部に配されたマーカーＭ２を含む。これにより、棚部ＩＤ「Ｄ０」としての識別対象領域６１を矩形以外の形状で特定することができ、領域指定の自由度が高まる。

［第５の実施の形態］
次に、第５の実施の形態について説明する。第５の実施の形態は、第１乃至第４の実施の形態の場合とは異なり、棚Ｅが撮像された撮像画像６０を用いる。なお、第５の実施の形態では、第１乃至第４の実施の形態の場合と共通する事項の説明及び図示を省略することがある。
図１８は、第５の実施の形態において棚Ｅが撮像された撮像画像６０を用いる処理を説明する図であり、（ａ）は、棚Ｅに配されたマーカーの位置を示す棚Ｅの正面図であり、（ｂ）は、棚Ｅに関し棚情報取得部５３（図４参照）が保有する情報を説明する図である。なお、図１８（ａ）は図５（ｂ）に対応するものであり、図１８（ｂ）は図６に対応するものである。

図１８（ａ）に示すように、棚Ｅは、５段の商品棚であり、３段の棚上部Ｅ０と２段の棚下部Ｅ１とに分けて管理される。棚上部Ｅ０に４個のマーカーＭ０（図７も参照）が四隅に配され、棚下部Ｅ１には、４個のマーカーＭ１（同図も参照）が四隅に配されている。
また、棚上部Ｅ０の棚板の左右両端の位置に、マーカーｍ００、ｍ０１、ｍ０２、ｍ０３が配され、棚下部Ｅ１の棚板の左右両端の位置に、マーカーｍ１０、ｍ１１が配されている。

図１８（ｂ）に示す情報５３ｅ、５３ｆは、棚情報取得部５３（図４参照）が保有する情報である。情報５３ｅは、棚上部Ｅ０に関する情報であり、情報５３ｆは、棚下部Ｅ１に関する情報である。

ここで、第５の実施の形態においては、マーカーＭ０、Ｍ１は、メインマーカーであり、マーカーｍ００～ｍ０３、ｍ１０～ｍ１１は、サブマーカーであり、２種類のマーカーを用いている。メインマーカーＭ０、Ｍ１は、識別対象領域を特定するためのものであり、マーカーＩＤが対応付けられている。その一方で、サブマーカーｍ００～ｍ０３、ｍ１０～ｍ１１は、商品が所属する段の位置を特定するためのものであり、マーカーＩＤが対応付けられていないが、マーカーＩＤを対応付けてもよい。

第５の実施の形態におけるメインマーカーＭ０、Ｍ１は、棚部において商品検索処理を行う領域を定める第１識別部の一例であり、サブマーカーｍ００～ｍ０３、ｍ１０～ｍ１１は、棚部における棚板の位置を定める第２識別部の一例である。

情報５３ｅから明らかなように、メインマーカーＭ０とサブマーカーｍ００～ｍ０３が互いに対応付けられている。また、情報５３ｆから明らかなように、メインマーカーＭ１とサブマーカーｍ１０～ｍ１１が互いに対応付けられている。
なお、メインマーカーＭ０、Ｍ１及びサブマーカーｍ００～ｍ０３、ｍ１０～ｍ１１はいずれも、左右両端で同じものを用いている。すなわち、両端のマーカーをペアにしている。

情報５３ｅ、５３ｆから明らかなように、棚上部Ｅ０の商品カテゴリはドリンクであり、棚下部Ｅ１の商品カテゴリはチルドである。商品カテゴリは、上述したように、商品照合の際に用いられる情報である。

［第６の実施の形態］
次に、第６の実施の形態について説明する。
図１９は、店舗Ｓに置かれた棚Ａ～Ｆ（図５（ａ）参照）の各々の撮像画像６０についての処理を行う場合を説明する図であり、携帯端末２０の入出力デバイス２４としてのタッチパネルの表示を示す。
第６の実施の形態は、店舗Ｓに置かれた棚Ａ～Ｆについての撮像画像６０を携帯端末２０から画像処理装置１０に送信する場合において未送信の撮像画像があるとき、画像処理装置１０が携帯端末２０に通知するものである。
図１９に示す例では、携帯端末２０から画像処理装置１０に送信する撮像画像６０として、棚Ａの棚部ＩＤ「Ａ０」、棚Ａの棚部ＩＤ「Ａ１」、棚Ｂの棚部ＩＤ「Ｂ０」、棚Ｃの棚部ＩＤ「Ｃ０」、棚Ｄの棚部ＩＤ「Ｄ０」、棚Ｄの棚部ＩＤ「Ｄ１」、棚Ｅの棚部ＩＤ「Ｅ０」、棚Ｅの棚部ＩＤ「Ｅ１」、棚Ｆの棚部ＩＤ「Ｆ０」、棚Ｆの棚部ＩＤ「Ｆ１」、棚Ｆの棚部ＩＤ「Ｆ２」がある場合、かかる各棚部ＩＤについて自動管理が行われる。

そして、例えば、棚Ｄの棚部ＩＤ「Ｄ１」について未送信であったときには、入出力デバイス２４に、どの棚が未送信であるのかを示すアラート２４ａとして「撮り忘れています」という表示が行われる。これにより、ユーザの作業をサポートすることができる。
なお、図１９の入出力デバイス２４には、棚部ＩＤが示されているが、これに限られず、商品棚の具体的な表示、例えば、店舗Ｓの平面図（図５（ａ）参照）と共にどの棚部について未送信であるのかの表示を行ってもよい。また、未送信の棚部についての撮像画像６０を送信する操作において、未送信の棚部ＩＤを示す領域をタッチすることで、撮像から送信までの一連の機能が作動するようにしてもよい。

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU：Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。
また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、変更してもよい。

＜付記＞
(((1)))
プロセッサを備え、
前記プロセッサは、
商品棚の少なくとも一部である棚部と当該棚部に配された識別部とを含む画像により当該識別部に対応付けられた識別情報を取得し、
前記識別情報により、前記棚部の位置情報を取得する、
情報処理装置。
(((2)))
前記画像に含まれる前記識別部は、少なくとも２つの組合せで、前記棚部において商品検索処理を行う領域を定めるものである、ことを特徴とする(((1)))に記載の情報処理装置。
(((3)))
前記画像に含まれる前記識別部は、前記商品棚が備える複数の棚板のうち一の棚板に対して配されかつ識別情報を対応付けた２つの前記識別部を含む少なくとも２つの組合せである、ことを特徴とする(((1))) 又は(((2)))に記載の情報処理装置。
(((4)))
前記商品検索処理を行う領域は、
前記一の棚板と高さ方向に隣り合う他の棚板に対して配された他の２つの識別部がある場合、当該他の２つの識別部を含む前記組合せで定められ、
前記他の２つの識別部がない場合、前記一の棚板に係る前記２つの識別部と前記画像の上端位置との前記組合せで定められる、ことを特徴とする請求項(((3)))に記載の情報処理装置。
(((5)))
前記少なくとも２つの組合せは、前記商品棚の左右方向における中間部に配された前記識別部を含む、ことを特徴とする(((2)))又は(((3)))に記載の情報処理装置。
(((6)))
前記画像に含まれる前記識別部は、前記棚部において商品検索処理を行う領域を定める第１識別部及び第２識別部を含み、
前記第１識別部及び前記第２識別部の各々には、少なくとも単数の識別情報が対応付けられ、
前記第２識別部には、前記第１識別部よりも多い数の前記識別情報が対応付けられている、ことを特徴とする(((1)))に記載の情報処理装置。
(((7)))
前記第１識別部により前記領域が定められる場合であって前記画像に前記第２識別部が含まれる場合、当該第２識別部の位置で当該領域を分割する処理を行う、ことを特徴とする(((6)))に記載の情報処理装置。
(((8)))
前記第１識別部により前記領域が定められない場合であって前記画像に前記第２識別部が含まれる場合、当該第１識別部及び当該第２識別部により当該領域を定める処理を行う、ことを特徴とする(((6)))に記載の情報処理装置。
(((9)))
前記画像の前記識別部は、前記棚部において商品検索処理を行う領域を定める第１識別部及び第２識別部を含み、
前記第１識別部は、前記棚部において商品検索処理を行う領域を定めるものであり、
前記第２識別部は、前記棚部における棚板の位置を定めるものである、ことを特徴とする(((1)))に記載の情報処理装置。
(((10)))
コンピュータに、
商品棚の少なくとも一部である棚部と当該棚部に配された識別部とを含む画像により当該識別部に対応付けられた識別情報を取得する機能と、
前記識別情報により、前記棚部の位置情報を取得する機能と、
を実現させるプログラム。

(((1)))の発明によれば、商品棚の位置を示す情報を取得しない場合に比べて、商品陳列の管理を容易に行うことができる。
(((2)))の発明によれば、識別部が少なくとも２つの組合せで棚部において商品検索処理を行う領域を定めるものである構成を採用しない場合に比べ、用いる識別部の数を少なくすることができる。
(((3)))の発明によれば、少なくとも２つの組合せが商品棚の備える複数の棚板のうち一の棚板に対して配されかつ識別情報を対応付けた２つの識別部を含む構成を採用しない場合に比べ、用いる識別部の種類を少なくすることができる。
(((4)))の発明によれば、一の棚板と高さ方向に隣り合う他の棚板に対して配された他の２つの識別部がない場合に一の棚板に係る２つの識別部と画像の上端位置との組合せで商品検索処理を行う領域が定められる構成を採用しない場合に比べ、用いる識別部の数を少なくすることができる。
(((5)))の発明によれば、少なくとも２つの組合せが商品棚の左右方向における中間部に配された識別部を含む構成を採用しない場合に比べ、商品検索処理を行う領域に自由度を持たせることができる。
(((6)))の発明によれば、第２識別部には第１識別部よりも多い数の識別情報が対応付けられている構成を採用しない場合に比べ、用いる識別部の数を少なくすることができる。
(((7)))の発明によれば、第１識別部により領域が定められる場合であって画像に第２識別部が含まれる場合に第２識別部の位置で領域を分割する処理を行う構成を採用しない場合に比べ、商品検出処理の性能を向上させることができる。
(((8)))の発明によれば、第１識別部により領域が定められない場合であって画像に第２識別部が含まれる場合に第１識別部及び第２識別部により領域を定める処理を行う構成を採用しない場合に比べ、管理負担を軽減することができる。
(((9)))の発明によれば、棚部の段数を示す情報を取得することができる。
(((10)))の発明によれば、商品棚の位置を示す情報を取得しない場合に比べて、商品陳列の管理を容易に行うことができる。

１０…画像処理装置、１１…プロセッサ、６０…撮像画像、６１、６１ａ、６１ｂ、６１ｃ、６１ｄ、６１ｅ、６１ｆ、６１ｇ、６１ｈ…識別対象領域、Ａ０、Ｅ０…棚上部、Ａ１、Ｅ１…棚下部、Ｂ０、Ｃ０、Ｄ０…棚部、Ｍ０～Ｍ９…マーカー

Claims (10)

1. プロセッサを備え、
   前記プロセッサは、
   商品棚の少なくとも一部である棚部と当該棚部に配された識別部とを含む画像により当該識別部に対応付けられた識別情報を取得し、
   前記識別情報により、前記棚部の位置情報を取得する、
   情報処理装置。
2. 前記画像に含まれる前記識別部は、少なくとも２つの組合せで、前記棚部において商品検索処理を行う領域を定めるものである、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記少なくとも２つの組合せは、前記商品棚が備える複数の棚板のうち一の棚板に対して配されかつ識別情報を対応付けた２つの前記識別部を含む、ことを特徴とする請求項２に記載の情報処理装置。
4. 前記商品検索処理を行う領域は、
   前記一の棚板と高さ方向に隣り合う他の棚板に対して配された他の２つの識別部がある場合、当該他の２つの識別部を含む前記組合せで定められ、
   前記他の２つの識別部がない場合、前記一の棚板に係る前記２つの識別部と前記画像の上端位置との前記組合せで定められる、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記少なくとも２つの組合せは、前記商品棚の左右方向における中間部に配された前記識別部を含む、ことを特徴とする請求項２に記載の情報処理装置。
6. 前記画像に含まれる前記識別部は、前記棚部において商品検索処理を行う領域を定める第１識別部及び第２識別部を含み、
   前記第１識別部及び前記第２識別部の各々には、少なくとも単数の識別情報が対応付けられ、
   前記第２識別部には、前記第１識別部よりも多い数の前記識別情報が対応付けられている、ことを特徴とする請求項１に記載の情報処理装置。
7. 前記第１識別部により前記領域が定められる場合であって前記画像に前記第２識別部が含まれる場合、当該第２識別部の位置で当該領域を分割する処理を行う、ことを特徴とする請求項６に記載の情報処理装置。
8. 前記第１識別部により前記領域が定められない場合であって前記画像に前記第２識別部が含まれる場合、当該第１識別部及び当該第２識別部により当該領域を定める処理を行う、ことを特徴とする請求項６に記載の情報処理装置。
9. 前記画像の前記識別部は、前記棚部において商品検索処理を行う領域を定める第１識別部及び第２識別部を含み、
   前記第１識別部は、前記棚部において商品検索処理を行う領域を定めるものであり、
   前記第２識別部は、前記棚部における棚板の位置を定めるものである、ことを特徴とする請求項１に記載の情報処理装置。
10. コンピュータに、
    商品棚の少なくとも一部である棚部と当該棚部に配された識別部とを含む画像により当該識別部に対応付けられた識別情報を取得する機能と、
    前記識別情報により、前記棚部の位置情報を取得する機能と、
    を実現させるプログラム。