JP6798741B1 - サーバ装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】店舗における商品の陳列に関する陳列情報を取得することができるサーバ装置を提供する。【解決手段】サーバ装置１は、ユーザによって撮影された、店舗における商品の陳列画像と、陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置２から受信する受信部１１と、陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得する特定部１２と、陳列情報と場所情報とを含む出力情報を出力する出力部１３と、特定部１２によって特定された商品に関する情報を取得する取得部１５と、取得部１５によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置２に送信する送信部１６と、を備える。【選択図】図１

Description

本発明は、店舗における商品の陳列画像を受信し、その陳列画像に基づいて商品の陳列に関する陳列情報を取得するサーバ装置等に関する。

小売の各店舗における商品の陳列に関する情報は、小売の本部や、製造会社、卸業者等にとって有用である。例えば、小売の本部は、本部からの指示どおりに商品が陳列されているかを確認するために、商品の陳列に関する情報を入手したい。商品の陳列が指示どおりに行われていない場合には、販売数量の予測が適切に行われず、不適切な自動発注が行われる可能性があるからである。また、指示どおりでない陳列が行われた状況でＰＯＳ分析を行った場合には、正確でない販売数量分析ルールが作成される可能性があるからである。

また、例えば、製造会社や卸業者は、リベート契約等に商品の陳列に関する条件が含まれている場合に、その契約どおりに商品が陳列されているかどうかを確認するために、商品の陳列に関する情報を入手したい。また、独自に販売数量予測システムを構築している場合にも、その予測のために商品の陳列に関する情報を入手したいという要望がある。

なお、関連する技術として、複数の商品が配置された配置場所にいるユーザが、複数の商品の商品情報を比較可能な態様で見ることができるシステムが知られている（特許文献１参照）。

特開２０１９−１７９２９４号公報

しかしながら、店舗における商品の陳列に関する情報を取得することは困難であるという問題があった。例えば、担当者がカメラで撮影することが考えられるが、そのためには担当者が各店舗を訪問する必要があり、多大なコストがかかることになる。また、監視カメラを利用することも考えられるが、通常、監視カメラは陳列されている商品を正面から撮影していないため、監視カメラによって撮影された画像を用いて商品を認識することは困難である。

本発明は、上記問題点に応じてなされたものであり、店舗における商品の陳列に関する情報を取得することができるサーバ装置等を提供することを目的とする。

上記目的を達成するため、本発明の一態様によるサーバ装置は、ユーザによって撮影された、店舗における商品の陳列画像と、陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置から受信する受信部と、陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得する特定部と、陳列情報と場所情報とを含む出力情報を出力する出力部と、特定部によって特定された商品に関する情報を取得する取得部と、取得部によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置に送信する送信部と、を備えたものである。

このような構成により、提供情報をユーザに提供することによって、ユーザが自ら進んで店舗における商品の陳列画像をサーバ装置に送信するようにすることができる。その結果、サーバ装置は、その陳列画像を用いて、店舗における商品の陳列に関する陳列情報を取得して出力することができる。そして、例えば、小売の本部や、製造会社、卸業者等は、その陳列情報を用いることによって、店舗における商品の陳列の状況を確認することができる。

また、本発明の一態様によるサーバ装置では、送信情報には、陳列画像の撮影日も含まれており、出力情報には、撮影日も含まれてもよい。

このような構成により、陳列情報がいつの時点の情報であるのかがわかるようになる。

また、本発明の一態様によるサーバ装置では、取得部は、特定部によって特定された商品のうち、他の商品よりも販売数の多い商品について、販売数が多いことを示す情報を取得してもよい。

このような構成により、陳列画像を送信したユーザは、提供情報によって、販売数の多い商品、すなわち人気のある商品がどれであるのかを知ることができるようになる。

また、本発明の一態様によるサーバ装置では、商品は食品であり、取得部は、特定部によって特定された食品が、食品に関する摂取制限に抵触するかどうかを示す情報を取得してもよい。

このような構成により、陳列画像を送信したユーザは、提供情報によって、陳列画像に含まれる食品が、摂取制限に抵触するかどうかについて知ることができるようになる。

また、本発明の一態様によるサーバ装置では、商品は食品であり、送信情報には、ユーザ識別子も含まれており、食品に関するユーザの摂取制限を示す摂取制限情報が記憶される記憶部をさらに備え、取得部は、特定部によって特定された食品が、送信情報に含まれるユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報を取得してもよい。

このような構成により、陳列画像を送信したユーザは、提供情報によって、陳列画像に含まれる食品が、自分の摂取制限に抵触するかどうかについて知ることができるようになる。

また、本発明の一態様によるサーバ装置では、提供情報は、取得部によって取得された商品に関する情報を陳列画像上において示すための情報であってもよい。

このような構成により、ユーザは、商品に関する情報と、商品との関係を容易に把握することができるようになる。

また、本発明の一態様による情報処理方法は、受信部と、特定部と、出力部と、取得部と、送信部とを用いて処理される情報処理方法であって、受信部が、ユーザによって撮影された、店舗における商品の陳列画像と、陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置から受信するステップと、特定部が、陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得するステップと、出力部が、陳列情報と場所情報とを含む出力情報を出力するステップと、取得部が、特定された商品に関する情報を取得するステップと、送信部が、取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置に送信するステップと、を備えたものである。

本発明の一態様によるサーバ装置等によれば、提供情報をユーザに提供することによって、ユーザが自ら進んで店舗における商品の陳列画像をサーバ装置に送信するようにすることができる。その結果、その陳列画像を用いて、店舗における商品の陳列に関する陳列情報を取得して出力することができるようになる。

本発明の実施の形態によるサーバ装置の構成を示すブロック図 同実施の形態によるサーバ装置の動作を示すフローチャート 同実施の形態における商品情報の一例を示す図 同実施の形態における摂取制限情報の一例を示す図 同実施の形態における陳列画像の一例を示す図 同実施の形態における陳列情報の一例を示す図 同実施の形態における提供情報の一例を示す図 同実施の形態における提供情報の一例を示す図 同実施の形態における提供情報の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

以下、本発明によるサーバ装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態によるサーバ装置は、店舗における商品の陳列画像に含まれる商品に関する情報に応じた提供情報をユーザに提供することによって、ユーザから陳列画像が送信されるようにするものである。

図１は、本実施の形態によるサーバ装置１の構成を示すブロック図である。本実施の形態によるサーバ装置１は、受信部１１と、特定部１２と、出力部１３と、記憶部１４と、取得部１５と、送信部１６とを備える。サーバ装置１は、有線または無線の通信回線５００を介して、端末装置２から情報を受信したり、端末装置２に情報を送信したりすることができる。通信回線５００は、例えば、インターネットや公衆電話回線網等であってもよい。また、端末装置２は、例えば、スマートフォンやタブレット端末であってもよく、パーソナルコンピュータであってもよく、その他の端末装置であってもよい。端末装置２は、撮影機能を有する装置であることが好適である。

受信部１１は、ユーザの端末装置２から送信された送信情報を受信する。送信情報には、ユーザによって撮影された、店舗における商品の陳列画像と、その陳列画像の撮影場所を示す場所情報とが含まれる。送信情報には、陳列画像の撮影日が含まれてもよい。また、送信情報には、ユーザを識別するためのユーザ識別子が含まれてもよい。本実施の形態では、撮影日及びユーザ識別子が送信情報に含まれる場合について主に説明する。

商品は、例えば、食品であってもよく、日用品であってもよく、家電製品であってもよく、その他の商品であってもよい。本実施の形態では、商品が食品である場合について主に説明する。商品は、通常、店舗における販売対象となる商品である。

陳列画像は、店舗において陳列されている商品を撮影した画像である。したがって、陳列画像は、通常、並んでいる複数の商品（厳密には「商品の画像」であるが、簡単のために「商品」と呼ぶことにする。）を含む画像である。陳列画像は、通常、静止画像であるが、動画像であってもよい。陳列画像が動画像である場合には、動画像に含まれる少なくとも１つのフレームについて、後述する各処理が行われてもよい。陳列画像は、例えば、棚に並べられた複数の商品を撮影した画像であってもよい。陳列画像は、カラーの画像であることが好適であるが、白黒の画像であってもよい。

場所情報は、陳列画像の撮影された位置を示す情報であれば、どのようなものであってもよい。この場所情報によって、陳列画像に基づいて取得される商品の陳列に関する情報が、どの店舗の情報であるのかがわかることになる。場所情報は、例えば、端末装置２がＧＰＳ（Global Positioning System）によって取得した緯度、経度などの座標情報であってもよく、店舗の名称であってもよく、撮影位置を示すその他の情報であってもよい。店舗の名称である場所情報は、ユーザによって端末装置２に手入力されてもよい。例えば、複数の候補からユーザによって選択された店舗の名称が、端末装置２で受け付けられてもよい。場所情報に、店舗の中における位置を示す情報、例えば、「入り口に近い場所」や「入り口から遠い場所」などが含まれていてもよい。本実施の形態では、場所情報が端末装置２において取得された緯度、経度である場合について主に説明する。場所情報は、陳列画像の画像データに含まれていてもよい。

撮影日は、例えば、陳列画像の撮影された年月日を示すものであってもよく、さらに撮影時刻も含んでいてもよい。この撮影日によって、陳列画像に基づいて取得される商品の陳列に関する情報が、どの時点の情報であるのかがわかることになる。撮影日は、例えば、端末装置２のカレンダー部や時計部から取得された情報であってもよい。本実施の形態では、撮影日が、陳列画像が撮影された年月日である場合について主に説明する。撮影日は、陳列画像の画像データに含まれていてもよい。

ユーザ識別子は、例えば、ユーザの氏名や電話番号等であってもよく、ユーザを識別するために設定された数字や番号、記号等であってもよい。ユーザ識別子は、例えば、端末装置２において記憶されており、それが読み出されて送信情報に含められてもよい。

なお、受信部１１は、受信を行うための有線または無線の受信デバイス（例えば、モデムやネットワークカードなど）を含んでもよく、または含まなくてもよい。また、受信部１１は、ハードウェアによって実現されてもよく、または受信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

特定部１２は、陳列画像に含まれる商品を特定し、その特定した商品の陳列に関する陳列情報を取得する。陳列画像に含まれる商品の特定は、例えば、陳列画像に含まれる各商品について、商品を識別する商品識別子をそれぞれ取得することであってもよい。商品識別子は、例えば、商品の名称であってもよく、商品を識別するために設定された数字や番号、記号等であってもよい。陳列画像における商品の特定は、例えば、陳列画像に含まれる商品の領域の特定と、その特定した領域における商品の認識とによって行われてもよい。

陳列画像における商品の領域の特定は、例えば、陳列画像における輪郭抽出によって行われてもよく、陳列画像について畳み込みニューラルネットワークなどを用いたセグメンテーションを行い、そのセグメンテーションの結果において商品と認識された領域を特定することによって行われてもよい。商品の領域を特定する処理はすでに公知であり、その詳細な説明を省略する。なお、商品の領域が特定されても、その特定した領域の商品が何であるのかは不明である。その商品が何であるのかについては、次の商品の認識によってわかることになる。

特定された領域の商品の認識は、例えば、パターンマッチングによって行われてもよく、商品の名称を文字認識することによって行われてもよく、畳み込みニューラルネットワーク等を用いた物体認識によって行われてもよい。この商品の認識が行われることによって、特定された領域の商品が、どの商品であるのかが特定されることになる。例えば、その領域の商品を識別する商品識別子が特定されることになる。商品を認識する処理はすでに公知であり、その詳細な説明を省略する。

陳列画像には、通常、複数の商品が含まれている。したがって、特定部１２は、陳列画像に含まれる各商品について、商品識別子と、陳列画像における位置とを取得してもよい。陳列画像における位置は、例えば、特定された商品の領域を示す情報（例えば、領域の輪郭を示す情報など）であってもよく、その領域の代表点（例えば、重心など）の座標であってもよい。

特定部１２は、陳列画像における各商品の商品識別子と、位置とを用いて、陳列情報を取得する。陳列情報は、陳列画像において、商品がどのように陳列されているのかを示す情報である。例えば、陳列情報は、商品識別子と、その商品識別子で識別される商品のフェイス数と、その商品識別子で識別される商品が陳列されている高さとを対応付ける情報であってもよい。フェイス数は、陳列画像において商品が並べられている個数である。陳列画像において、ある商品について２箇所の領域が特定された場合には、その商品のフェイス数は「２」になる。特定部１２は、例えば、陳列画像に含まれる各商品について取得した商品識別子ごとの個数をカウントすることによって、フェイス数を取得することができる。商品の高さは、例えば、商品の陳列棚の段数（例えば、最上段から順番に１段目、２段目など）であってもよく、その他の高さを示す情報であってもよい。特定部１２は、例えば、陳列画像に含まれる各商品について取得した高さ方向の座標値について、クラスタリングを行なって複数のクラスタに分類し、高さが最も高いクラスタから順番に１段目、２段目のように特定してもよい。また、陳列情報は、陳列画像に含まれる各商品について、商品識別子と、その商品識別子で識別される商品の位置とを対応付ける情報であってもよい。また、陳列情報は、陳列画像と、その陳列画像において特定された商品識別子とを含む情報であってもよい。なお、陳列情報は、商品の棚割を示す情報であると考えてもよい。

出力部１３は、出力情報を出力する。出力情報は、陳列情報と場所情報とを含む情報である。送信情報に撮影日が含まれる場合には、出力情報にも撮影日が含まれてもよい。出力情報に含まれる場所情報や撮影日は、その出力情報に含まれる陳列情報の取得元である陳列画像の撮影場所を示す場所情報や、その撮影の日を示す撮影日である。出力部１３によって出力された出力情報は、例えば、小売の本部や、製造会社、卸業者等によって用いられてもよい。

ここで、この出力は、例えば、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、記録媒体への蓄積でもよく、表示デバイス（例えば、液晶ディスプレイや有機ＥＬディスプレイなど）への表示でもよく、他の構成要素への引き渡しでもよい。なお、出力部１３は、出力を行うデバイス（例えば、通信デバイスやプリンタなど）を含んでもよく、または含まなくてもよい。また、出力部１３は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

記憶部１４では、食品に関するユーザの摂取制限を示す摂取制限情報が記憶される。摂取制限情報は、ユーザごとの情報である。食品に関する摂取制限は、例えば、健康の維持のための摂取制限（例えば、塩分の多い食品は食べない、特定のアレルギー物質を含む食品は食べないなど）であってもよく、宗教上の理由による摂取制限（例えば、ハラルのみを食べるなど）であってもよく、思想上の理由による摂取制限（例えば、ビーガン（完全菜食主義者）が食べることができる食品のみを食べるなど）であってもよく、食品に関するその他の摂取制限であってもよい。摂取制限情報は、例えば、ユーザを識別するユーザ識別子と、そのユーザに関する食品の摂取制限に関連する情報とを有する情報であってもよい。食品の摂取制限に関連する情報は、例えば、摂取してはいけないアレルギー物質を示す情報を含んでもよく、栄養素ごとに、多量に摂取してはならないことを示す情報を含んでもよい。栄養素は、例えば、タンパク質、脂質、炭水化物、糖質、食塩相当量、ミネラル、ビタミン、コレステロール、食物繊維などの１以上を含んでもよい。なお、食品分野においては、栄養成分にエネルギーも含まれることが一般的であるため、栄養素に熱量が含まれると考えてもよい。食品の摂取制限に関連する情報は、例えば、ユーザがビーガンかどうかを示す情報や、ユーザがハラルのみを食べるかどうかを示す情報を含んでいてもよい。

記憶部１４では、例えば、商品情報が記憶されていてもよい。商品情報は、商品に関連する情報であり、商品ごとの情報である。商品情報は、例えば、商品を識別する商品識別子と、その商品識別子で識別される商品の属性を示す情報とを含んでいてもよい。商品が食品である場合には、商品の属性を示す情報は、例えば、商品に含まれるアレルギー物質を示す情報、塩分、糖質、たんぱく質、熱量などの栄養素が多く含まれるかどうかを示す情報、ビーガンが食べることができるかどうかを示す情報、ハラルであるかどうかを示す情報などであってもよい。また、商品が食品でない場合には、商品の属性を示す情報は、例えば、アレルギー物質を含むかどうかの情報や、商品に含まれる添加物に関する情報、商品に関する注意点を示す情報（例えば、薬の副作用を示す情報など）であってもよい。

記憶部１４に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が記憶部１４で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部１４で記憶されるようになってもよく、または、入力デバイスを介して入力された情報が記憶部１４で記憶されるようになってもよい。記憶部１４は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。

取得部１５は、特定部１２によって特定された商品に関する情報を取得する。すなわち、陳列画像に含まれる各商品に対応する情報が取得部１５によって取得されることになる。本実施の形態では、取得部１５が、特定部１２によって特定された食品（商品）が、送信情報に含まれるユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報を取得する場合について主に説明する。摂取制限に抵触するかどうかを示す情報は、例えば、摂取制限に抵触することを示す情報であってもよく、摂取制限に抵触しないことを示す情報であってもよい。また、取得部１５は、例えば、特定部１２によって特定された商品のうち、一部の商品についてのみ情報を取得してもよく、すべての商品について情報を取得してもよい。例えば、摂取制限に抵触することを示す情報が取得される場合には、摂取制限に抵触する商品についてのみ、その情報が取得されることになる。商品に関する情報の取得は、例えば、特定部１２によって取得された商品識別子を用いて、記憶部１４で記憶されている情報を検索することによって行われてもよい。

例えば、摂取制限情報によってユーザが卵アレルギーであることが示される場合には、取得部１５は、特定部１２によって特定された食品が、アレルギー物質である卵を含まない食品であるかどうかを示す情報を取得してもよい。より具体的には、摂取制限情報によってユーザが卵アレルギーであることが示される場合には、取得部１５は、特定部１２によって特定された食品のそれぞれについて、記憶部１４から、食品の情報を読み出し、その読み出した食品の情報から、アレルギー物質である卵を含むかどうかを示す情報を取得してもよい。または、摂取制限情報によってユーザが卵アレルギーであることが示される場合には、取得部１５は、特定部１２によって特定された食品の商品識別子と、アレルギー物質である卵を含まないという条件（または、アレルギー物質である卵を含むという条件）とを検索キーとして記憶部１４で記憶されている食品の情報を検索し、ヒットした商品識別子で識別される食品について、その食品を食べることができる旨の情報（または、食べることができない旨の情報）を取得してもよい。その他のアレルギー物質、栄養素、ビーガン、ハラル等の摂取制限がある場合にも、取得部１５は、同様にして、特定部１２によって特定された食品について、ユーザが食べることができるかどうかを示す情報を取得することができる。

また、例えば、摂取制限情報によってユーザが多量に摂取してはならない栄養素が示される場合には、取得部１５は、特定部１２によって特定された食品に、その栄養素が多量に含まれるかどうかを示す情報を取得してもよい。また、例えば、摂取制限情報によってユーザが、ビーガンが食べることができる食品のみを食べることが示される場合には、取得部１５は、特定部１２によって特定された食品が、ビーガンが食べることができる食品であるかどうかを示す情報を取得してもよい。また、例えば、摂取制限情報によってユーザがハラルのみを食べることが示される場合には、取得部１５は、特定部１２によって特定された食品がハラルであるかどうかを示す情報を取得してもよい。

送信部１６は、取得部１５によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置２に送信する。提供情報は、例えば、取得部１５によって取得された商品に関する情報そのものを含む情報であってもよく、取得部１５によって取得された商品に関する情報を用いて生成された情報であってもよい。後者の場合には、例えば、提供情報は、取得部１５によって取得された商品に関する情報を陳列画像上において示すための情報であってもよい。具体的には、提供情報は、食品に禁止アレルギー物質が含まれるかどうかを陳列画像上において示すための情報であってもよい。その提供情報は、取得部１５によって取得された情報に対応する図形や文字列等の表示された陳列画像であってもよく、または、端末装置２において、取得部１５によって取得された情報に対応する図形や文字列等を陳列画像上に表示するための情報（例えば、陳列画像における座標値と、その座標値に表示する図形や文字列等を示す情報など）であってもよい。本実施の形態では、提供情報が、取得部１５によって取得された情報に対応する図形の表示された陳列画像である場合について主に説明する。取得部１５によって取得された商品に関する情報を用いて生成された提供情報が送信部１６によって送信される場合に、その提供情報は、例えば、取得部１５によって生成されてもよく、他の構成要素によって生成されてもよい。

なお、取得部１５によって取得された商品に関する情報そのものを含む提供情報は、例えば、テキスト形式の情報や、表形式の情報などであってもよい。例えば、商品識別子と、その商品識別子で識別される商品に関する情報とを対応付ける情報が提供情報に含まれていてもよい。

また、送信部１６は、例えば、受信部１１によって受信された送信情報の送信元のアドレスを送信先のアドレスとして、その送信情報に含まれる陳列画像に基づいて取得された商品に関する情報に応じた提供情報を送信してもよい。また、送信部１６は、送信を行うための送信デバイス（例えば、モデムやネットワークカードなど）を含んでもよく、または含まなくてもよい。また、送信部１６は、ハードウェアによって実現されてもよく、または送信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

次に、サーバ装置１の動作について図２のフローチャートを用いて説明する。

（ステップＳ１０１）受信部１１は、ユーザの端末装置２から送信された送信情報を受信したかどうか判断する。そして、送信情報を受信した場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０１の処理を繰り返す。

（ステップＳ１０２）特定部１２は、送信情報に含まれる陳列画像において商品を特定する。この商品の特定は、前述のように、陳列画像に含まれる商品を識別する商品識別子を取得することによって行われてもよい。

（ステップＳ１０３）特定部１２は、特定した商品に関する陳列情報を取得する。この陳列情報の取得は、前述のように、商品識別子と、その商品識別子で識別される商品の陳列画像における位置とを用いて行われてもよい。

（ステップＳ１０４）出力部１３は、特定部１２によって取得された陳列情報と、場所情報と、撮影日とを含む出力情報を出力する。

（ステップＳ１０５）取得部１５は、特定部１２によって特定された商品に関する情報を取得する。例えば、取得部１５は、特定部１２によって特定された食品が、送信情報に含まれるユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報を取得してもよい。

（ステップＳ１０６）送信部１６は、取得部１５によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置２に送信する。そして、ステップＳ１０１に戻る。

なお、図２のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態によるサーバ装置１の動作について、具体例を用いて説明する。この具体例では、商品は食品であるとする。また、記憶部１４では、図３で示される商品情報と、図４で示される摂取制限情報とが記憶されているものとする。

図３の商品情報には、商品識別子と、その商品識別子で識別される食品に含まれるアレルギー物質を示す情報（「１」なら含まれており、「０」なら含まれていないとする。）と、その商品識別子で識別される食品に所定量以上の塩分が含まれているかどうかを示す情報（「１」なら所定量以上の塩分が含まれており、「０」ならそうでないとする。）と、その商品識別子で識別される食品に所定量以上の糖質が含まれているかどうかを示す情報（「１」なら所定量以上の糖質が含まれており、「０」ならそうでないとする。）とが含まれる。なお、図３で示される卵や、乳、塩分、糖質等の情報は、それらに関するフラグであると考えてもよい。図３の商品情報では、例えば、商品識別子「ポテトチップＡＢＣ」で識別される食品は、塩分が所定量以上含まれており、糖質が所定量以上含まれていることが示されている。

図４の摂取制限情報には、ユーザを識別するユーザ識別子と、そのユーザ識別子で識別されるユーザが摂取してはならないアレルギー物質を示す情報（「１」なら摂取できず、「０」なら摂取できるとする。）と、そのユーザ識別子で識別されるユーザが、所定量以上の塩分が含まれる食品を食べることができるかどうかを示す情報（「１」なら所定量以上の塩分が含まれる食品を食べることができず、「０」ならそうでないとする。）と、そのユーザ識別子で識別されるユーザが、所定量以上の糖質が含まれる食品を食べることができるかどうかを示す情報（「１」なら所定量以上の糖質が含まれる食品を食べることができず、「０」ならそうでないとする。）とが含まれる。なお、図４で示される卵や、乳、塩分、糖質等の情報も、それらに関するフラグであると考えてもよい。

図４では、ユーザ識別子に対応付けられている情報が「１」である場合には、その情報について摂取制限があることになる。例えば、禁止アレルギー物質「乳」が「１」に設定されているユーザ識別子「Ｕ００２」で識別されるユーザ（以下、「ユーザＵ００２」と呼ぶこともある。他のユーザについても同様であるとする。）は、アレルギー物質「乳」を含む食品を食べることができない。また、例えば、塩分が「１」に設定されているユーザＵ００４は、塩分が所定量以上含まれている食品を食べることができない。また、例えば、糖質が「１」に設定されているユーザＵ００３、Ｕ００６は、糖質が所定量以上含まれている食品を食べることができない。

まず、ユーザＵ００２が店舗に行き、自分の端末装置２を操作して提供情報を取得するアプリケーションを起動し、そのアプリケーションにおいて、ポテトチップやスナック菓子の棚の陳列画像を撮影したとする。その撮影画像は、図５で示されるものであったとする。また、その端末装置２は、その時点の撮影日「２０２０年４月１日」をカレンダー部から取得し、その位置を示す場所情報「Ｎ３４°４１'…、Ｅ１３５°３７'…」をＧＰＳを用いて取得する。そして、その端末装置２は、陳列画像と、撮影日と、場所情報と、端末装置２において記憶されているユーザ識別子「Ｕ００２」とを含む送信情報を、あらかじめ設定されているサーバ装置１のアドレスに送信する。

そのようにして送信された送信情報は、サーバ装置１の受信部１１で受信され、特定部１２に渡される（ステップＳ１０１）。送信情報を受け取ると、特定部１２は、図５で示される陳列画像に含まれる各商品の領域を特定する。次に、特定部１２は、特定した各商品の領域について、商品の認識を行い、商品を識別する商品識別子を取得する（ステップＳ１０２）。また、特定部１２は、陳列画像において、特定した各商品の領域の重心の座標を取得する。その結果、陳列画像に含まれる各商品について、陳列画像における位置と、商品識別子との組が特定されたことになる。

次に、特定部１２は、陳列画像に含まれる各商品の高さ方向の位置（すなわち、図５における上下方向の位置）についてクラスタリングを行い、複数のクラスタに分類する。ここでは、４段の棚に対応する４つのクラスタに分けられたとする。そして、高さ方向の位置が最も高いクラスタから順番に、段識別子「１」「２」「３」「４」をそれぞれ割り当てる。その結果、段識別子と、商品識別子との組が特定されることになる。なお、段識別子「１」で識別される棚は最も高い棚であり、段識別子「４」で識別される棚は最も低い棚である。

その後、特定部１２は、段識別子ごとに、特定された商品識別子の個数をカウントする。そのカウント値がフェイス数となる。したがって、最終的に商品識別子と、段識別子と、フェイス数との組が特定されたことになる。その組の集合が、陳列情報となる。例えば、図５で示される陳列画像からは、図６で示される陳列情報が取得される（ステップＳ１０３）。図６の陳列情報は、商品識別子と、段識別子と、フェイス数とを含んでいる。例えば、商品識別子「ポテトチップＡＢＣ」で識別される商品は、段識別子「１」で識別される最上段の棚に置かれており、フェイス数が「２」であることが示されている。

陳列情報を取得すると、特定部１２は、取得した陳列情報と、送信情報に含まれる撮影日と場所情報とを出力部１３に渡すと共に、陳列画像と、陳列画像における各商品の位置と商品識別子との組と、ユーザ識別子とを取得部１５に渡す。

陳列情報等を受け取ると、出力部１３は、陳列情報、撮影日、場所情報を含む出力情報を、あらかじめ決められたように出力する（ステップＳ１０４）。このようにして出力された情報は、場所情報を用いて店舗ごとにまとめられてもよい。そして、例えば、小売の本部等が要求する店舗の陳列情報と撮影日とが、小売の本部等に渡されてもよい。

商品識別子等を受け取ると、取得部１５は、ユーザ識別子「Ｕ００２」を検索キーとして摂取制限情報を検索し、ヒットしたレコードから、摂取制限の対象となるアレルギー物質等に関する情報を読み出す。摂取制限情報において、ユーザ識別子「Ｕ００２」に対応する情報で「１」が設定されているのは、アレルギー物質「乳」だけであったとする。すると、取得部１５は、図３で示される商品情報において、受け取った商品識別子と、アレルギー物質「乳」の情報「１」とを含む商品情報を検索する。この場合には、商品識別子「ポテトチップＤＥＦ」を含む商品情報がヒットすることになる。そのため、商品識別子「ポテトチップＤＥＦ」で識別される食品が、ユーザＵ００２の摂取制限に抵触する旨の情報が取得される。そして、取得部１５は、陳列画像における商品識別子「ポテトチップＤＥＦ」に対応する位置に、摂取制限に抵触することを示す図形「×」を表示した提供情報を生成し、送信部１６に渡す（ステップＳ１０５）。その提供情報は、図７Ａで示されるものであったとする。

図７Ａで示される提供情報を受け取ると、送信部１６は、送信情報の送信元アドレスを受信部１１から取得し、その送信元アドレスを送信先として、受け取った提供情報を送信する（ステップＳ１０６）。その提供情報は、ユーザＵ００２の端末装置２で受信され、表示されたとする。このようにして、ユーザＵ００２は、図７Ａの画像を見ることができ、商品識別子「ポテトチップＤＥＦ」で識別される食品を食べることができないことを知ることができ、それ以外の食品を購入することができるようになる。また、摂取制限に抵触する食品がどれであるのかが画像によって示されることによって、ユーザＵ００２は、最上段の棚の右側の２つの商品を食べてはいけないことを容易に把握することができる。

なお、例えば、図５で示される陳列画像を送信したユーザが、糖質に関する摂取制限のあるユーザＵ００３である場合には、提供情報は、糖質が所定量以上含まれている食品を示す図７Ｂで示されるものとなる。また、図７Ａや図７Ｂでは、摂取制限に抵触した食品について、食べることができないことを示す図形が設定されたが、そうでなくてもよい。逆に、摂取制限に抵触しない食品について、食べることができることを示す図形が設定されてもよい。具体的には、図５で示される陳列画像を送信したユーザが、塩分に関する摂取制限のあるユーザＵ００４である場合には、提供情報は、塩分が所定量より少ない食品を示す図７Ｃで示されるものとなってもよい。また、摂取制限に抵触する食品、そうでない食品の両方について、食べることができるかどうかを示す図形がそれぞれ設定されてもよい。また、図７Ａから図７Ｃでは、食品を食べることができるかどうかを示す図形のみが陳列画像上に表示される場合について示しているが、例えば、食べることができない理由（例えば、アレルギー物質「乳」が含まれることなど）、または、食べることができる理由（例えば、塩分が所定量より少ないことなど）が、その図形に対応付けられて表示されてもよい。

提供情報において、摂取制限に抵触することを示す図形、すなわち食べることができないことを示す図形が表示されるのか、摂取制限に抵触しないことを示す図形、すなわち食べることができることを示す図形が表示されるのかは、陳列画像に含まれる商品の総数と、そのうち摂取制限に抵触する商品の個数とを用いて決められてもよい。例えば、摂取制限に抵触する商品の個数が、陳列画像に含まれる商品の総数の半分より多い場合には、摂取制限に抵触しないことを示す図形を表示する提供情報が生成され、摂取制限に抵触する商品の個数が、陳列画像に含まれる商品の総数の半分より少ない場合には、摂取制限に抵触することを示す図形を表示する提供情報が生成されてもよい。このようにすることで、提供情報に表示される図形の個数を少なくすることができ、提供情報が見やすくなる。なお、例えば、摂取制限に抵触する商品の個数が、陳列画像に含まれる商品の総数の半分に等しい場合には、どちらの図形が表示されるようにしてもよい。

以上のように、本実施の形態によるサーバ装置１によれば、提供情報をユーザに提供することによって、ユーザが自ら進んで陳列画像をサーバ装置１に送信するようにすることができる。すなわち、ユーザは、提供情報を入手したいために、店舗における商品の陳列画像を積極的に撮影して送信するようになる。したがって、陳列情報を取得するために担当者等が各店舗において商品の撮影を行わなくてもよいことになり、低コストで陳列情報を取得することができるようになる。また、送信情報に陳列画像の撮影日も含まれている場合には、陳列情報に対応する年月日を知ることができ、陳列情報の時間変化を知ることもできる。また、送信情報にユーザ識別子が含まれている場合には、陳列画像に含まれる各商品が、そのユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報をユーザに提供することができ、ユーザにより有用な情報を提供することができるようになる。その結果として、より多くのユーザが陳列画像を送信するようになり、より多くの陳列情報を取得することができるようになると考えられる。また、提供情報が、商品に関する情報を陳列画像上において示すための情報である場合には、商品に関する情報と、商品との関係を容易に把握することができるようになる。

なお、本実施の形態では、送信情報にユーザ識別子が含まれる場合について主に説明したが、そうでなくてもよい。送信情報にユーザ識別子が含まれない場合には、例えば、陳列画像に含まれる商品に対応する情報を、商品ごとに示す提供情報が送信されてもよい。例えば、商品が食品であり、送信情報にユーザ識別子が含まれない場合には、取得部１５は、特定部１２によって特定された食品が、食品に関する摂取制限に抵触するかどうかを示す情報を取得してもよい。具体的には、陳列画像上に、どのようなアレルギー物質を含むのか、所定量以上の塩分を含むかどうか、所定量以上の糖質を含むかどうかなどを示す提供情報が端末装置２に送信されてもよい。また、そのような情報を、表形式やテキスト形式などによって示す提供情報が端末装置２に送信されてもよい。なお、送信情報にユーザ識別子が含まれない場合には、記憶部１４において、摂取制限情報が記憶されていなくてもよい。

また、本実施の形態では、取得部１５によって取得される情報が、食品が摂取制限に抵触するかどうかを示す情報である場合について主に説明したが、そうでなくてもよい。取得部１５によって取得される情報は、それ以外の商品に関する情報であってもよい。例えば、取得部１５は、特定部１２によって特定された商品のうち、他の商品よりも販売数の多い商品について、販売数が多いことを示す情報を取得してもよい。この場合には、ユーザに対して、より多く売れている商品、すなわち人気の高い商品がどれであるのかが示されることになる。なお、他の商品よりも販売数の多い商品とは、その商品が属する分野において、販売数が最も多い商品であってもよく、販売数が上位Ｎ番以内の商品であってもよい。Ｎは２以上の整数である。また、他の商品よりも販売数の多い商品とは、特定部１２によって特定された複数の商品において、販売数が最も多い商品であってもよく、販売数が上位Ｎ番以内の商品であってもよい。そのような商品を特定できるようにするため、記憶部１４において、例えば、商品の分野ごとに、販売数が最大である商品の商品識別子や、販売数が上位Ｎ番以内の商品の商品識別子が記憶されていてもよく、商品識別子と、販売数の順位との組が商品ごとに記憶されていてもよい。そして、取得部１５は、その記憶部１４で記憶されている情報を用いて、特定された各商品のうち、他の商品よりも販売数の多い商品を特定してもよい。また、他の商品よりも販売数の多い商品について取得される、販売数が多いことを示す情報は、例えば、単に販売数が多いことを示す情報であってもよく、販売数の順位を示す情報（例えば、最も売れていることを示す情報や、Ｎ番目に売れていることを示す情報など）であってもよい。この場合には、提供情報は、例えば、陳列画像上に、販売数が多い商品に対応付けて販売数が多いことを示す図形や文字列等を表示した情報であってもよく、販売数の順位が上位である商品に対応付けて販売数の順位を示す図形や文字列等を表示した情報であってもよい。また、提供情報は、例えば、商品識別子と、その商品識別子で識別される商品の販売数が多いことを示す文字列等とを対応付けるテキスト形式の情報や表形式の情報であってもよく、商品識別子と、その商品識別子で識別される商品の販売数の順位を示す文字列等とを対応付けるテキスト形式の情報や表形式の情報であってもよい。

また、本実施の形態では、送信情報に撮影日が含まれている場合について説明したが、そうでなくてもよい。送信情報に撮影日が含まれていない場合には、サーバ装置１は、送信情報の受信日が撮影日であると推定して、陳列情報に年月日を設定してもよい。

また、送信情報に含まれる撮影場所に、撮影方向や、撮影時の仰角などが含まれてもよい。それらが含まれることによって、陳列画像に含まれる各商品が、どこに配置されているのかをより細かく特定することができるようになる。

また、多くの陳列画像が端末装置２から送信される場合には、同じ棚について、複数の陳列画像が取得されることもある。その場合には、複数の陳列画像から取得された複数の陳列情報を統合することによって、より精度の高い陳列情報を取得できるようになる。例えば、商品が倒れた状態で撮影された場合には、適切な商品の認識を行うことができない。また、例えば、買い物客が商品を棚に返却する際に、異なる位置に戻した場合には、本来の陳列情報とは異なる陳列情報が取得されることになる。したがって、例えば、複数の陳列情報を統合する際には、各商品について、最も多いフェイス数を、最終的なフェイス数とするようにしてもよい。また、統合の対象となる陳列情報は、撮影日の近いものであることが好適である。例えば、撮影日によって示される年月日が同じである複数の陳列情報が統合されてもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、サーバ装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態におけるサーバ装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザによって撮影された、店舗における商品の陳列画像と、陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置から受信する受信部、陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得する特定部、陳列情報と場所情報とを含む出力情報を出力する出力部、特定部によって特定された商品に関する情報を取得する取得部、取得部によって取得された商品に関する情報に応じた提供情報を、送信情報を送信した端末装置に送信する送信部として機能させるためのプログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受信する受信部、情報を取得する取得部、情報を出力する出力部、情報を送信する送信部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

図８は、上記プログラムを実行して、上記実施の形態によるサーバ装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図８において、コンピュータシステム９００は、ＣＤ−ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図９は、コンピュータシステム９００の内部構成を示す図である。図９において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（Micro Processing Unit）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態によるサーバ装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ−ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態によるサーバ装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明の一態様によるサーバ装置等によれば、提供情報をユーザに提供することによって、ユーザが自ら進んで陳列画像をサーバ装置に送信するようにすることができるという効果が得られ、店舗における商品の陳列情報を収集するサーバ装置等として有用である。

１ サーバ装置
２ 端末装置
１１ 受信部
１２ 特定部
１３ 出力部
１４ 記憶部
１５ 取得部
１６ 送信部

Claims (8)

1. ユーザによって撮影された、店舗における商品の陳列画像と、当該陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置から受信する受信部と、
   前記陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得する特定部と、
   前記陳列情報と前記場所情報とを含む出力情報を出力する出力部と、
   前記特定部によって特定された商品に関する情報を取得する取得部と、
   前記取得部によって取得された商品に関する情報に応じた提供情報を、前記送信情報を送信した端末装置に送信する送信部と、を備えたサーバ装置。
2. 前記送信情報には、前記陳列画像の撮影日も含まれており、
   前記出力情報には、前記撮影日も含まれる、請求項１記載のサーバ装置。
3. 前記取得部は、前記特定部によって特定された商品のうち、他の商品よりも販売数の多い商品について、販売数が多いことを示す情報を取得する、請求項１または請求項２記載のサーバ装置。
4. 前記商品は食品であり、
   前記取得部は、前記特定部によって特定された食品が、食品に関する摂取制限に抵触するかどうかを示す情報を取得する、請求項１または請求項２記載のサーバ装置。
5. 前記商品は食品であり、
   前記送信情報には、ユーザ識別子も含まれており、
   食品に関するユーザの摂取制限を示す摂取制限情報が記憶される記憶部をさらに備え、
   前記取得部は、前記特定部によって特定された食品が、前記送信情報に含まれるユーザ識別子で識別されるユーザの摂取制限に抵触するかどうかを示す情報を取得する、請求項１または請求項２記載のサーバ装置。
6. 前記提供情報は、前記取得部によって取得された商品に関する情報を前記陳列画像上において示すための情報である、請求項１から請求項５のいずれか記載のサーバ装置。
7. 受信部と、特定部と、出力部と、取得部と、送信部とを用いて処理される情報処理方法であって、
   前記受信部が、ユーザによって撮影された、店舗における商品の陳列画像と、当該陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置から受信するステップと、
   前記特定部が、前記陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得するステップと、
   前記出力部が、前記陳列情報と前記場所情報とを含む出力情報を出力するステップと、
   前記取得部が、特定された商品に関する情報を取得するステップと、
   前記送信部が、取得された商品に関する情報に応じた提供情報を、前記送信情報を送信した端末装置に送信するステップと、を備えた情報処理方法。
8. コンピュータを、
   ユーザによって撮影された、店舗における商品の陳列画像と、当該陳列画像の撮影場所を示す場所情報とを含む送信情報をユーザの端末装置から受信する受信部、
   前記陳列画像に含まれる商品を特定し、特定した商品の陳列に関する陳列情報を取得する特定部、
   前記陳列情報と前記場所情報とを含む出力情報を出力する出力部、
   前記特定部によって特定された商品に関する情報を取得する取得部、
   前記取得部によって取得された商品に関する情報に応じた提供情報を、前記送信情報を送信した端末装置に送信する送信部として機能させるためのプログラム。

Images