JP7433894B2 - 誘導システム、サーバ、プログラムおよびサービス提供方法 - Google Patents

誘導システム、サーバ、プログラムおよびサービス提供方法 Download PDF

Info

Publication number
JP7433894B2
JP7433894B2 JP2019234246A JP2019234246A JP7433894B2 JP 7433894 B2 JP7433894 B2 JP 7433894B2 JP 2019234246 A JP2019234246 A JP 2019234246A JP 2019234246 A JP2019234246 A JP 2019234246A JP 7433894 B2 JP7433894 B2 JP 7433894B2
Authority
JP
Japan
Prior art keywords
information
person
sensor data
unit
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019234246A
Other languages
English (en)
Other versions
JP2021103420A (ja
Inventor
有之 岸本
強一 櫻井
隆司 峯邑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019234246A priority Critical patent/JP7433894B2/ja
Publication of JP2021103420A publication Critical patent/JP2021103420A/ja
Application granted granted Critical
Publication of JP7433894B2 publication Critical patent/JP7433894B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、誘導システム、サーバ、プログラムおよびサービス提供方法に関する。
近年の人感センサは、CPU(Central Processing Unit)やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な処理機能も有しており、例えば、画像センサは撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。
特許第6151085号明細書
ところで、駅構内やショッピングモール、フードコート等において、人が一定の場所に座って又は立って長時間留まることで、他の人の移動や同じ場所に暫く留まりたい場合の障害となるケースがあり、長時間留まる人をいかにスマートに移動させるかが課題であった。
そこで、目的は、滞留する人に移動を促す誘導システム、サーバ、プログラムおよびサービス提供方法を提供することにある。
実施形態によれば、誘導システムは、人を検知する人感センサと、この人感センサと通信可能なサーバとを具備する。人感センサは、解析部を備える。解析部は、所定エリアを撮像素子で撮像して得られたデータを解析して、人の位置と滞在時間を含むセンサデータを生成する。サーバは、取得部と、レコメンド情報生成部を備える。取得部は、センサデータを人感センサから取得する。レコメンド情報生成部は、取得されたセンサデータに含まれる人の位置と滞在時間に基づいて、人の移動を促すレコメンド情報を生成する。
図1は、実施形態に係る誘導システムの一例を示す図である。 図2は、画像センサ3の一例を示すブロック図である。 図3は、画像センサ3で得られた画像データの一例を示す図である。 図4は、画像センサ3のセンシング項目の一例を示す図である。 図5は、クラウドサーバ200の一例を示すブロック図である。 図6は、混雑情報の一例を示す図である。 図7は、店舗情報の一例を示す図である。 図8は、天候情報の一例を示す図である。 図9は、ICカードデータベース240fにより管理される情報の一例を示す図である。 図10は、タブレット20の一例を示す機能ブロック図である。 図11は、クラウドサーバ200が画像センサ3からセンサデータを取得する手順を示すシーケンス図である。 図12は、クラウドサーバ200による入店者登録に係わる処理手順の一例を示すフローチャートである。 図13は、クラウドサーバ200の処理手順の一例を示すフローチャートである。 図14は、レコメンド情報の一例を示す模式図である。 図15は、レコメンド情報の一例を示す模式図である。 図16は、退席促しに係わる処理手順の一例を示すフローチャートである。 図17は、クラウドサーバ200による入店者登録に係わる処理手順の他の例を示すフローチャートである。 図18は、クラウドサーバ200の処理手順の他の例を示すフローチャートである。
人感センサである画像センサは、センサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば、1台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。実施形態に係わる画像センサは、視野内に捕えた映像を撮影して取得した画像データを処理して、例えば人間情報や環境情報を得ることができる。
人間情報は対象空間における人間に関する情報であり、その一例として、人の存在または不在(在/不在)、人数、人の行動、人の活動量などを挙げることができる。人物に付随する物体(物品)、つまり荷物の有無も人間情報の一例である。環境情報は、制御対象の空間(対象空間)の環境に関する情報であり、その一例として店舗の照度分布、あるいは温度分布などを挙げることができる。
人間情報および環境情報は、対象空間ごとに算出することができる。あるいは、対象空間を複数に分割した小領域(エリア)毎に、人間情報や環境情報を算出することもできる。この実施形態では、特に、店舗における人間の在/不在、着席/空席に着目する。
図1は、実施形態に係る誘導システムの一例を示す図である。図1において、複数の画像センサ3(3-0~3-n)が、店舗Tの店内の例えば天井に、店内を見下ろすかたちで配設される。画像センサ3は、来客エリアに配設された複数のテーブルや席(椅子)を視野内に捉える。画像センサ3は、視野に捕えたものを撮像して画像データを生成する。
特に、画像センサ3-0は、店舗Tの入り口や入場ゲート付近に設置され、来店者を正面方向から撮像して、顔画像データ、あるいは全身像データを取得する。
各画像センサ3は、例えば管理室に配置されたゲートウェイ(GW)7に、信号線100を介して接続される。信号線100のプロトコルには、EtherCAT(登録商標)やBACnet(登録商標)、TCP/IP(Transmission Control Protocol / Internet Protocol)、UDP/IPなどを適用できる。
ゲートウェイ7は、店舗内ネットワーク500に接続される。店舗内ネットワーク500の通信プロトコルには、Building Automation and Control Networking protocol(BACnet(登録商標))、DALI、ZigBee(登録商標)、ECHONET Lite(登録商標)等を適用することが可能である。
店舗内ネットワーク500には、管理サーバ400、店舗サーバ5、およびファイヤウォール6が接続される。ファイヤウォール6は、例えばインターネット上に形成された専用線ネットワーク300を介してクラウド600のクラウドサーバ200に接続される。
上記構成により、誘導システムは、クラウド600のクラウドサーバ200や、データセンタ700のデータベース700a等に安全にアクセスして、様々なリソースを利用することができる。以下に、画像センサ3とクラウドサーバ200との連携により提供されるサービスについて説明する。
実施形態に係わる誘導システムは、インターネット等を経由してアクセス可能な各種のシステムや、データベースとも連携し、各種の情報源から得たデータを利用することも可能である。情報源には、例えば、店舗ごとの予約システムや注文システム、気象データや天候情報を配信する気象データサーバ、通信事業者のサーバ等を挙げることができる。
図2は、画像センサ3の一例を示すブロック図である。画像センサ3は、カメラ部31、記憶部32、プロセッサ33、および通信部34を備える。これらは内部バス35を介して互いに接続される。
カメラ部31は、魚眼レンズ31a、絞り機構31b、撮像素子(イメージセンサ)31cおよびレジスタ30を備える。魚眼レンズ31aは、視野内の映像を撮像素子31cに結像する。実施形態では、魚眼レンズ31aは、店舗の来客エリアを視野に捉えていて、来客エリアの映像を撮像素子31cに結像する。なお、来客エリアは複数の領域に分割されるのが普通で、個々の領域を一つの画像センサで撮像し、複数の画像センサで得られた画像データを統合して来客エリアの全領域をカバーするようにしても良い。
撮像素子31cは、CMOS(相補型金属酸化膜半導体)に代表されるイメージセンサであり、例えば毎秒30フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、来客エリアを撮像素子31cで撮像して得られた画像データが生成される。画像データは人の顔画像データを含んでよい。撮像素子31cへの入射光量は絞り機構31bにより調節される。
レジスタ30は、カメラ情報30aを記憶する。カメラ情報30aは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部31に関する情報、あるいは画像センサ3それ自体に関する情報である。
記憶部32は、SDRAM(Synchronous Dynamic RAM)やEPROM(Erasable Programmable ROM)などの半導体メモリである。記憶部32は、カメラ部31により取得された顔画像データを含む画像データ32a、および、実施形態に係わる各種の機能をプロセッサ33に実行させるためのプログラム32b、画像センサを一意に区別するためのセンサID(IDentification)32c、および、辞書データ32dを記憶する。
辞書データ32dは、画像センサ3における検出項目(人、物、男性、女性など)に応じて用意される、いわばテンプレートデータに類するデータである。例えば『椅子』の検出向けに用意された辞書データ32dを用いてテンプレートマッチング処理を行うことで、画像データから椅子が検出される。その精度や椅子のタイプ(オフィスチェア、ソファー、座椅子など)や色を区別可能とするために、多様な辞書データ32dが予め用意される。このほか、車椅子、ベビーカー、子供、カート、白杖利用者、徘徊老人、不審人物、迷子、逃げ遅れた人物、等を検出するための辞書データを作成することができる。作成方法の一例としては、例えばサポートベクトルマシンやボルツマンマシンなどの、機械学習(Machine-Learning)の枠組みを利用することができる。
プロセッサ33は、記憶部32に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ33は、例えばマルチコアCPU(Central Processing Unit)を備え、画像処理を高速で実行することについてチューニングされたLSI(Large Scale Integration)である。FPGA(Field Programmable Gate Array)等でプロセッサ15を構成することもできる。MPU(Micro Processing Unit)もプロセッサの一つである。
通信部34は、信号線100に接続可能で、ゲートウェイ7、管理サーバ400、店舗サーバ5、およびクラウド600とのデータの授受を仲介する。
ところで、プロセッサ33は、実施形態に係る処理機能として、検出部33a、特徴量計算部33b、解析部33c、および学習部33dを備える。検出部33a、特徴量計算部33b、解析部33c、および学習部33dは、例えば、プロセッサ33のレジスタにロードされたプログラム32bに従い、プロセッサ33が演算処理を実行する過程で生成される、プロセスである。
検出部33aは、辞書データ32dを用いて視野内の対象を検出する。すなわち検出部33aは、検出項目ごとに用意される辞書データセットを使用して、画像データ32aから対象空間における対象を検出する。
特徴量計算部33bは、記憶部32に記憶された画像データ32aを所定のアルゴリズムで処理して、視野内の人や物体に係わる特徴量を抽出する。例えば、画像データの各フレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。輝度勾配方向ヒストグラム(histograms of oriented gradients:HOG)特徴量、コントラスト、解像度、S/N比、および色調などの特徴量が知られている。また、輝度勾配方向共起ヒストグラム(Co-occurrence HOG:Co-HOG)特徴量、Haar-Like特徴量なども特徴量として知られている。
解析部33cは、画像データ32aを解析して、着席者の位置、属性情報および滞在時間を含むセンサデータを生成する。すなわち解析部33cは、例えば特徴量計算部33bで得られた特徴量に基づき、人間情報(人の位置、人の在/不在、人数、人の行動、人の活動量、荷物の有無など)や環境情報(照度分布、温度分布等)を計算する。実施形態では、センシング項目として[人セル位置]、[在不在]、[滞在時間]、および[歩行滞留]を想定する。解析部33cは、さらに、男性、女性、若年、中年、老年などの、より詳しい属性情報をセンシングすることも可能である。
また、解析部33cは、人間情報、環境情報、特徴量などを参照し、例えばルールベースによる認識、あるいは機械学習による認識により、店舗における人および物品に関する情報を取得する。例えば、動き特徴量を用いたパターン認識技術により、人の行動(利用客の注文行動、店員の片付け行動など)を検知することができる。
学習部33dは、画像データ32a、および特徴量計算部33bの出力に基づいて、解析部33cによる解析結果の正答率を向上させるべく、学習を行う。
図3は、画像センサ3で得られた画像データの一例を示す図である。この画像データのフレームは、(x)軸および(y)軸方向にそれぞれ7分割され、7×7=49個のセルに分割される。中央の画像センサ3の視野には4個のテーブルと、テーブルごとに4つの席が捉えられている。画像センサ3は、(x、y)=(2,2)、(2,6)、(6,6)、(1,4)のセルに人を検出し、人セル位置として図4に示されるセンサデータを得る。
図4に示されるように、図3の環境に対応して、セル(2,2)、(2,6)、(6,6)には在フラグ1が立つ。セル(1,4)については在フラグが0であり、(移動中)を検知されたことが示される。これらをまとめて、[在不在]=(1,1,1,0)のセンサデータが得られる。人を検知された各セルにつき、[滞在(在席)時間]項目として、例えば(30,30,40,00)が検知される。単位は(分)である。[歩行滞留]として、各セルに(0,0,0,1)が検知される。
さらに、各セル位置(x、y)=(2,2)、(2,6)、(6,6)、(1,4)の人の属性が、例えば男,女,女,男として特定され、それぞれを区別するための識別情報(人ID)が、例えば001,002,003,004として付与される。
さらに詳しく説明する。解析部33cにより計算されるセンサデータには、(1)人の有無、(2)人数、(3)人の活動量、(4)照度、(5)歩行者の滞留状況(歩行滞留)、等が挙げられる。
(1)人の有無(人の在又は不在)の検知
例えば、解析部33cは、画像間の差分に基づいて画像内の人物領域を識別することにより人の有無を検知してもよい。あるいは、人物認識技術を応用して人の有無を検知することもできる。画像間の差分には、背景画像との差分や、時間的に連続する画像間の差分(フレーム間差分)などが用いられてもよい。
(2)人数の推定
例えば、解析部33cは、(1)と同様の方法で画像内の人物領域を識別し、識別された人物領域の画像データを画像処理して、対象空間に存在する人の人数を推定してもよい。
(3)人の活動量の推定
例えば、解析部33cは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて活動量を推定してもよい。例えば、活動量は“無”、“小”、“中”、“大”などの段階で推定されてもよいし、METs(Metabolic Equivalents)等の指標値として推定されてもよい。解析部33cは、部分空間ごとに動き領域を抽出し、部分空間ごとの活動量を推定してもよい。
(4)照度の推定
例えば、解析部33cは、画像と、カメラ部31の撮像設定値(例えばゲインや露光時間など)とに基づいて対象空間(あるいは部分空間ごと)の照度を推定してもよい。
(5)歩行滞留の検知
例えば、解析部33cは、フレーム間差分などを用いて動き領域を抽出し、抽出された動き領域の大きさや形状等に基づいて歩行滞留を検知してもよい。
画像センサ3は、図4に示されるようなセンサデータを繰り返し生成する。センサデータは画像センサ3からゲートウェイ7を経由してクラウドサーバ200に送信される。
図5は、クラウドサーバ200の一例を示すブロック図である。クラウドサーバ200は、CPUやMPU等のプロセッサ210と、ROM(Read Only Memory)220およびRAM(Random Access Memory)230を備えるコンピュータである。クラウドサーバ200は、さらに、ハードディスクドライブ(Hard Disk Drive:HDD)などの記憶部240、光学メディアドライブ260、および、通信部270を備える。
ROM220は、BIOS(Basic Input Output System)やUEFI(Unified Extensible Firmware Interface)などの基本プログラム、および各種の設定データ等を記憶する。RAM230は、記憶部240からロードされたプログラムやデータを一時的に記憶する。
光学メディアドライブ260は、CD-ROM280などの記録媒体に記録されたディジタルデータを読み取る。クラウドサーバ200で実行される各種プログラムは、例えばCD-ROM280に記録されて頒布される。このCD-ROM280に格納されたプログラムは光学メディアドライブ260により読み取られ、記憶部240にインストールされる。
通信部270は、専用線ネットワーク300およびファイヤウォール6経由での、画像センサシステムとの通信を制御する。
記憶部240は、プロセッサ210により実行されるプログラム240a、センサデータ240b、混雑情報240c、店舗情報240d、天候情報240e、および、ICカードデータベース240fを記憶する。センサデータ240bは、画像センサ3から取得される。混雑情報240c、店舗情報240d、ICカードデータベース240fは、例えば店舗サーバ5から取得されたり、センサデータ240bに基づいてクラウドサーバ200で算出される。天候情報240eは、気象データサーバにアクセスして取得される。
図6は、混雑情報240cの一例を示す図である。混雑情報は、店舗内の位置(来客エリア)ごとに、現在の人数と、混雑度の設定値とを対応付けて管理される情報である。位置は、例えば異なるフードコート(S1~S5)に対応付けられ、各位置ごとに混雑度を測るしきい値としての混雑度設定値が設定されている。混雑度設定値=3が設定されていて、つまり人数が3人以上になれば、その位置は混雑していると見做される。
図7は、店舗情報240dの一例を示す図である。店舗情報は、それぞれの店舗(T1~T5)ごとに、取扱商品のジャンルと、現時点におけるセールの有無、およびセール時刻を対応付けて管理される情報である。
図8は、天候情報240eの一例を示す図である。天候情報は、店外情報の一つの例であり、日時に対応付けて、天気、気温、及び湿度が対応付けて管理される情報である。例えば、梅雨時には雨を避けるために、店舗内につい長居しがちである。天候情報を参照し、晴れてきたことが分かればそのことをサイネージして、お客様に「外に出ようか…」という気持ちを起こさせることができる。結果として、さりげない形でお客様に退席してもらうことができる。
図9は、ICカードデータベース240fにより管理される情報の一例を示す図である。ICカードデータベース240fは、ICカードなどで一意に区別可能な人IDごとに、属性、好み(店舗)、好み(店外)、および入店の有無が対応付けて管理される情報である。端的に言えば、ICカードデータベース240fにおいて、人の嗜好を示す、好み情報(ID/属性毎)が管理される。
例えばID=001としてセンシングされた人は、男性で、店舗の好みが食品、店外の情報としては晴れであることを好み、既に入店していることがわかる。この種のデータベースは、例えばWebアクセス履歴を協調フィルタリングなどの手法で解析して生成されることができる。
プロセッサ210は、OS(Operating System)および各種のプログラムを実行する。ところで、プロセッサ210は、実施形態に係る処理機能として取得部210a、識別部210d、レコメンド情報生成部210b、および、提示部210cを備える。取得部210a、識別部210d、レコメンド情報生成部210b、および、提示部210cは、記憶部240のプログラム240aがRAM230にロードされ、当該プログラムの進行に伴ってプロセッサ210が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム240aは、クラウドサーバ200を動作させるためのプログラムであって、クラウドサーバ200を、取得部210a、識別部210d、レコメンド情報生成部210b、および、提示部210cとして動作させるための命令を含む。
取得部210aは、画像センサ3から、着席者の位置および滞在時間を含むセンサデータを取得する。また、取得部210aは、混雑情報、セール情報を取得する。さらに、取得部210aは、気象データサーバにアクセスして、対象とする店舗を含む地理的エリアの天候情報を取得する。
識別部210dは、画像センサ3から取得されたセンサデータに含まれる着席者ごとの顔画像データに基づいて、当該着席者の個人を識別する。
レコメンド情報生成部210bは、画像センサ3から取得されたセンサデータに含まれる着席者の位置と滞在時間に基づいて、着席者の退席を促すレコメンド情報を生成する。その際、混雑情報、セール情報、天候情報を参照して、着席者にとってより適切なレコメンド情報を生成することもできる。さらに、実施形態では、人物の属性および個人を特定し、属性に応じた傾向や、各々の個人向けのレコメンド情報を生成する。
提示部210cは、レコメンド情報生成部210bにより計算されたレコメンド情報を、ディジタルサイネージやWebページなどの電子広告媒体を介して着席者に提示する。
図10は、タブレット20の一例を示す機能ブロック図である。タブレット20は、操作部21と、表示部22と、通信部23と、出力部24と、制御部25と、メモリ26と、を備える。各部(操作部21、表示部22、通信部23、出力部24、制御部25及びメモリ26)は、バス27で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。
操作部21は、例えば、電源のON/OFFを行うための電源スイッチ等のスイッチ類を含む。表示部22は、タッチパネル付きの液晶モニタを有し、画像を表示する。表示部22はタッチパネル機能も有するので、操作部21の機能の一部を兼ねることができる。
通信部23は、店舗T内の無線通信設備(無線LAN(Local Area Network)など)、あるいは公衆セルラフォンシステム等に接続可能な、無線通信ユニットを備える。実施形態では、店舗T内の無線LANに接続して各種の情報を取得することを、想定する。
出力部24は、スピーカーやイヤホンジャック等を備え、アナログの音声や楽音を再生出力したり、オーディオ信号を出力する。
メモリ26は、制御部25が実行するプログラムや各種データ、およびモバイルOS(Operating System)等を記憶する。
制御部25は、CPU等のプロセッサを備え、タブレット20の制御を司る。制御部25のCPUは、メモリ26に記憶されている制御プログラムやインストールされたアプリケーションに従って、各種の処理等を実行する。実施形態では、制御部25は、メモリ26に記憶されたプログラムを読み出し、ブラウザアプリ(ブラウザ)25aを実行する。ブラウザ25aは、Webページの情報や、店舗Tに固有の情報、あるいは、クラウドサーバ200から送信されたレコメンド情報を表示部22に表示する。次に、上記構成における作用を説明する。
図11は、クラウドサーバ200が画像センサ3からセンサデータを取得する手順を示すシーケンス図である。画像センサ3は、画像データを取得し(ステップS101)、記憶部32に保存する(ステップS102)。そして画像センサ3は、画像データを画像処理して(ステップS103)、センサデータを生成する(ステップS104)。
ゲートウェイ7は、画像センサ3からセンサデータを取得し(ステップS106)、バッファメモリなどにセンサデータを保存する(ステップS107)。
クラウドサーバ200は、例えば一定のポーリング周期でセンサデータ取得要求をゲートウェイ7に送信する(ステップS301)。このセンサデータ取得要求を受け付け(ステップS201)たゲートウェイ7は、クラウドサーバ200にセンサデータを送信する(ステップS202)。クラウドサーバ200は、送信されたセンサデータを取得する(ステップS203)。
図12は、クラウドサーバ200による入店者登録に係わる処理手順の一例を示すフローチャートである。人の入店を検知すると(ステップS21)、クラウドサーバ200は、画像センサ3から送信されたセンサデータから、入店者の顔の特徴、および身体の特徴を示す特徴情報を取得する(ステップS22)。次にクラウドサーバ200は、特徴情報から男性、女性、あるいは凡その年齢などの属性情報を抽出し(ステップS23)、記憶部240に登録する(ステップS24)。ここまでの手順を経て、登録処理が完了し(ステップS25)、店舗Tに入ってきた人が入店状態として管理される。
図13は、クラウドサーバ200の処理手順の一例を示すフローチャートである。図11において、クラウドサーバ200は、画像センサ3からのセンサデータを参照し、席ごとに着席者がいるか、または着席状態であるかをモニタする(ステップS31)。混雑情報240cを参照して、混雑度が設定値以上であれば(ステップS32でYES)、クラウドサーバ200は、その席の滞在時間を滞在時間をセンサデータから判定する(ステップS33)。滞在時間が既定値を超えていれば(YES)、クラウドサーバ200は、退席を促すためのレコメンド情報を作成し、着席者に提示して退席を促す(ステップS34)。その後、取得したセンサデータから退席したことを確認できれば(ステップS35でYES)、退席完了である(ステップS42)。
ステップS35で、退席を確認できなければ(NO)、クラウドサーバ200は、その時間において、その人の属性を示す特徴に合った店舗情報があるか否かを判定する(ステップS36)。店舗情報240dを参照して、例えば店舗T1のセールが12:00から始まることを確認できれば(YES)、クラウドサーバ200は、店舗T1での食品のセール情報を示すレコメンド情報を作成し、着席者に提示して退席を促す(ステップS37)。
図14は、レコメンド情報の一例を示す模式図である。実施形態において、レコメンド情報は、例えば卓上に置かれたタブレット20の画面に表示される。図14に示されるように、「お隣のお店T1で、12:00から生鮮食品のセールが始まります!」といった広告情報が、タブレット20に表示される。その後、取得したセンサデータから退席したことを確認できれば(ステップS8でYES)、退席完了である(ステップS42)。
ステップS38で退席を確認できなければ(NO)、クラウドサーバ200は天候情報240eを参照し、その時間における天候が、その人の属性を示す特徴に合っているかどうかを判定する(ステップS39)。その人が、晴れを好む属性を持つ場合、晴れでなければ(NO)処理手順はここまでとし、在席のままの状態が継続されることとなる(ステップS43)。
天候情報が晴れであれば、クラウドサーバ200は、その人に外出を促すレコメンド情報を作成し、着席者に提示して退席を促す(ステップS40)。
図15は、レコメンド情報の他の例を示す模式図である。図15に示されるように、「外は良い天気です。近くの〇〇商店街にでかけてみませんか?」といった広告情報が、タブレット20に表示され、外出がさりげなく促される。その後、取得したセンサデータから退席したことを確認できれば(ステップS11でYES)退席完了、NOであれば、在席のままになる(ステップS13)。
図16は、退席促しに係わる処理手順の一例を示すフローチャートである。図16において、クラウドサーバ200は、レコメンド情報を生成する(ステップS81)。レコメンド情報は、例えばHTML(HyperText Markup Language)形式のテキストデータとして生成される。次に、クラウドサーバ200の提示部210cは、レコメンド情報を提示するためのWebページが更新されたことを、対象となるタブレット20に通知する(ステップS82)。この通知を受けたタブレット20は、更新されたWebページの取得をクラウドサーバ200に要求する。
クラウドサーバ200の提示部210cは、Webページの取得要求の到来を待ち受ける(ステップS83)。取得要求を受信すると(Yes)、クラウドサーバ200の提示部210cは、要求元のタブレット20に、レコメンド情報を含むHTMLデータを送信する(ステップS84)。これを受けたタブレット20のブラウザ25a(図10)は、HTMLデータを可視化して表示部22に表示する。以上の手順により、退席を促すためのレコメンド情報がクラウドサーバ200において生成されたのち、タブレット20において直ちに提示される。
以上述べたように、実施形態によれば、画像センサ3により取得されるセンサデータとして、店舗内の着席者の位置、属性、および滞在時間をクラウドサーバ200に渡す。クラウドサーバ200は、これらのセンサデータに基づき、店舗の混雑状況や着席者の滞在時間などを判定する。その結果に基づき、長時間にわたる着席者の卓上のサイネージ機器(タブレット等)に、その人の属性に応じて退席を促すレコメンド情報を表示するようにした。
既存の技術では、人の退席を促すためのレコメンド情報を作成し、積極的に提示することは知られていなかった。これに対し実施形態では、広告媒体を用いて、自然な形で長期着席者の退席を促すことができる。これらのことから実施形態によれば、滞留する人に退席を促すことの可能な誘導システム、サーバ、プログラムおよびサービス提供方法を提供することが可能となる。
<変形例>
図17は、クラウドサーバ200による入店者登録に係わる処理手順の他の例を示すフローチャートである。以上の説明では入店者の属性情報をセンサデータから取得し、レコメンド情報を作成した。変形例ではさらに一歩踏み込み、入店者の個人を特定することにより、さらに効果的な退席促しを実現する。
図17において、人の入店を検知すると(ステップS51)、クラウドサーバ200は、例えば店舗入り口に設けられたデバイス(カードセンサなど)への、入店者によるICカードのタッチを検知する(ステップS52)。あるいは、スマートフォンなどのデバイスによる近距離無線通信で、ICカード情報に類する情報を取得することもできる。このようにして取得されたICカードの情報(個人IDなど)が、ICカードデータベース240fに入店記録として登録される(ステップS53)。
そうしてクラウドサーバ200は、ICカードデータベース240fのIDと、画像センサでセンシングされた該当者のIDとを紐づけて登録する(ステップS54)。ここまでの手順を経て、登録処理が完了し(ステップS55)、店舗Tに入ってきた人が入店状態として管理される。すなわち入店者は、それぞれ固有のIDと対応付けて管理される。
図18は、クラウドサーバ200の処理手順の他の例を示すフローチャートである。図18において、クラウドサーバ200は、画像センサ3からのセンサデータを参照し、席ごとに着席者がいるか、または着席状態であるかをモニタする(ステップS61)。混雑情報240cを参照して、混雑度が設定値以上であれば(ステップS62でYES)、クラウドサーバ200は、その席に滞在している人(ID:xxxx)の滞在時間を、センサデータから判定する(ステップS63)。滞在時間が既定値を超えていれば(YES)、クラウドサーバ200は、退席を促すためのレコメンド情報を作成し、(ID:xxxx)の人に提示して退席を促す(ステップS64)。その後、取得したセンサデータから退席したことを確認できれば(ステップS65でYES)、退席完了である(ステップS72)。
ステップS65で、退席を確認できなければ(NO)、クラウドサーバ200は、その時間において、(ID:xxxx)の人の特徴に合った店舗情報があるか否かを判定する(ステップS66)。店舗情報240dを参照して、例えば店舗T1のセールが12:00から始まることを確認できれば(YES)、クラウドサーバ200は、店舗T1での食品のセール情報を示すレコメンド情報を作成し、(ID:xxxx)の人に提示して退席を促す(ステップS67)。
ステップS68で退席を確認できなければ(NO)、クラウドサーバ200は天候情報240eを参照し、その時間における天候が、(ID:xxxx)の人の特徴に合っているかどうかを判定する(ステップS69)。その人が、晴れを好む属性を持つ場合、晴れでなければ(NO)処理手順はここまでとし、在席のままの状態が継続されることとなる(ステップS73)。天候情報が晴れであれば、クラウドサーバ200は、(ID:xxxx)の人に外出を促すレコメンド情報を作成し、着席者に提示して退席を促す(ステップS70)。
以上のように、変形例では、顔画像データに基づいて入店者の個人を特定し、予め登録された個人の好みを示す情報(嗜好情報)に則してレコメンド情報を作成するようにした。これにより、より個人の好みに則したかたちで、さらに効果的に退席を促すことが可能になる。
なお、この発明は上記実施の形態に限定されるものではない。例えば、図14、図15のようなメッセージに限らず、周辺の店舗の混雑状況を詳しく表示することによっても、着席者の外出を促すことは可能である。
また、クラウドサーバ200に備わる機能の一部、または全てをゲートウェイ7に実装しても良い。
本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
3…画像センサ、5…店舗サーバ、6…ファイヤウォール、7…ゲートウェイ、15…プロセッサ、20…タブレット、21…操作部、22…表示部、23…通信部、24…出力部、25…制御部、25a…ブラウザ、26…メモリ、27…バス、30…レジスタ、30a…カメラ情報、31…カメラ部、31a…魚眼レンズ、31b…絞り機構、31c…撮像素子、32…記憶部、32a…画像データ、32b…プログラム、32d…辞書データ、33…プロセッサ、33a…検出部、33b…特徴量計算部、33c…解析部、33d…学習部、34…通信部、35…内部バス、100…信号線、200…クラウドサーバ、220…ROM、230…RAM、240…記憶部、240a…プログラム、240b…センサデータ、240c…混雑情報、240d…店舗情報、240e…天候情報、240f…ICカードデータベース、210…プロセッサ、210a…取得部、210b…レコメンド情報生成部、210c…提示部、210d…識別部、260…光学メディアドライブ、270…通信部、300…専用線ネットワーク、400…管理サーバ、500…店舗内ネットワーク、600…クラウド、700…データセンタ、700a…データベース、T,T1~T5…店舗。

Claims (8)

  1. 人を検知する人感センサと、この人感センサと通信可能なサーバとを具備し、
    前記人感センサは、
    所定エリアを撮像して得られたデータを解析して、人の位置、属性情報および滞在時間を含むセンサデータを生成する解析部を備え、
    前記サーバは、
    前記センサデータを前記人感センサから取得し、前記所定エリアを含む地理的エリアの天候情報を取得する取得部と、
    前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する識別部と、
    前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成するレコメンド情報生成部とを備える、誘導システム。
  2. 前記識別部は、前記識別した個人と、当該個人に対応する人とを紐づけてデータベースに管理する、請求項1に記載の誘導システム。
  3. 前記取得部は、前記所定エリアの混雑情報を取得し、
    前記レコメンド情報生成部は、前記混雑情報に基づいて前記レコメンド情報を生成する、請求項1に記載の誘導システム。
  4. 前記取得部は、前記所定エリアとは異なるエリアにおけるセール情報を取得し、
    前記レコメンド情報生成部は、前記セール情報に基づいて前記レコメンド情報を生成する、請求項1に記載の誘導システム。
  5. さらに、電子広告媒体を介して前記レコメンド情報を提示する提示部を具備する、請求項1乃至4のいずれか1項に記載の誘導システム。
  6. 所定エリアを撮像して得られた画像データから人の位置、属性情報および滞在時間を含むセンサデータを生成可能な人感センサと通信する通信部と、
    前記センサデータを前記人感センサから取得し、前記所定エリアを含む地理的エリアの天候情報を取得する取得部と、
    前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する識別部と、
    前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成するレコメンド情報生成部とを備える、サーバ。
  7. コンピュータを、所定エリアを撮像して得られたデータから人の位置、属性情報および滞在時間を含むセンサデータを生成可能な人感センサと通信する通信部として動作させるための命令と、
    コンピュータを、前記センサデータを前記人感センサから取得し、前記所定エリアを含む地理的エリアの天候情報を取得する取得部として動作させるための命令と、
    コンピュータを、前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する識別部として動作させるための命令と、
    コンピュータを、前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成するレコメンド情報生成部として動作させるための命令とを含む、プログラム。
  8. 所定エリアを撮像して得られたデータから人の位置、属性情報および滞在時間を含むセンサデータを生成可能な人感センサと通信可能なサーバに適用されるサービス提供方法であって、
    前記サーバが、前記センサデータを前記人感センサから取得する過程と、
    前記サーバが、前記所定エリアを含む地理的エリアの天候情報を取得する過程と、
    前記サーバが、前記取得されたセンサデータに含まれる前記人の顔画像データに基づいて、当該人の個人を識別する過程と、
    前記サーバが、前記取得されたセンサデータに含まれる前記人の位置、属性情報および滞在時間と、予め登録された嗜好情報と、前記取得された天候情報とに基づいて、前記識別された個人の移動を促すレコメンド情報を生成する過程とを含む、サービス提供方法。
JP2019234246A 2019-12-25 2019-12-25 誘導システム、サーバ、プログラムおよびサービス提供方法 Active JP7433894B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019234246A JP7433894B2 (ja) 2019-12-25 2019-12-25 誘導システム、サーバ、プログラムおよびサービス提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019234246A JP7433894B2 (ja) 2019-12-25 2019-12-25 誘導システム、サーバ、プログラムおよびサービス提供方法

Publications (2)

Publication Number Publication Date
JP2021103420A JP2021103420A (ja) 2021-07-15
JP7433894B2 true JP7433894B2 (ja) 2024-02-20

Family

ID=76755211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019234246A Active JP7433894B2 (ja) 2019-12-25 2019-12-25 誘導システム、サーバ、プログラムおよびサービス提供方法

Country Status (1)

Country Link
JP (1) JP7433894B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7420307B1 (ja) 2023-05-22 2024-01-23 三菱電機ビルソリューションズ株式会社 表示システム、情報処理装置、評価方法、及びコンピュータ読み取り可能な記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073666A (ja) 2000-08-29 2002-03-12 Sharp Corp 情報提供システム及び情報提供サーバ及び情報受信端末並びに情報提供プログラムを記録した記録媒体
JP2007148878A (ja) 2005-11-29 2007-06-14 Nec Corp リコメンド情報配信サーバ、リコメンド情報配信方法、リコメンド情報配信プログラム
JP2016035703A (ja) 2014-08-04 2016-03-17 富士通株式会社 飲食ペース評価プログラム、飲食ペース評価方法、コンピュータ及び飲食ペース評価システム
JP2017059099A (ja) 2015-09-18 2017-03-23 オムロン株式会社 行動制御システム及び行動制御方法
JP2018101442A (ja) 2018-03-02 2018-06-28 ヤフー株式会社 店舗支援システム、店舗支援方法、および店舗支援プログラム
WO2019064381A1 (ja) 2017-09-27 2019-04-04 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
JP2019145045A (ja) 2018-02-23 2019-08-29 パナソニックIpマネジメント株式会社 顧客管理システム、顧客管理方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073666A (ja) 2000-08-29 2002-03-12 Sharp Corp 情報提供システム及び情報提供サーバ及び情報受信端末並びに情報提供プログラムを記録した記録媒体
JP2007148878A (ja) 2005-11-29 2007-06-14 Nec Corp リコメンド情報配信サーバ、リコメンド情報配信方法、リコメンド情報配信プログラム
JP2016035703A (ja) 2014-08-04 2016-03-17 富士通株式会社 飲食ペース評価プログラム、飲食ペース評価方法、コンピュータ及び飲食ペース評価システム
JP2017059099A (ja) 2015-09-18 2017-03-23 オムロン株式会社 行動制御システム及び行動制御方法
WO2019064381A1 (ja) 2017-09-27 2019-04-04 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
JP2019145045A (ja) 2018-02-23 2019-08-29 パナソニックIpマネジメント株式会社 顧客管理システム、顧客管理方法、及びプログラム
JP2018101442A (ja) 2018-03-02 2018-06-28 ヤフー株式会社 店舗支援システム、店舗支援方法、および店舗支援プログラム

Also Published As

Publication number Publication date
JP2021103420A (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
Taramasco et al. A novel monitoring system for fall detection in older people
US10909386B2 (en) Information push method, information push device and information push system
JP6093124B2 (ja) 監督システム
CN107924544B (zh) 信息处理系统和信息处理方法
Khanal et al. Using emotion recognition in intelligent interface design for elderly care
JP7433894B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
JP2017033413A (ja) ロボット撮影システムおよび画像管理方法
Guerrero-Ulloa et al. IoT-based system to help care for dependent elderly
Feng et al. Recognizing activities of daily living to improve well-being
JP7353964B2 (ja) 誘導システム、サーバ、プログラムおよびサービス提供方法
Iio et al. Social acceptance by senior citizens and caregivers of a fall detection system using range sensors in a nursing home
JP2017220181A (ja) 案内表示システム、案内表示方法及び案内表示プログラム
JP2019148992A (ja) 空席情報提示システム、サーバ、空席情報提示方法およびプログラム
Eldib et al. Detection of visitors in elderly care using a low-resolution visual sensor network
WO2019150954A1 (ja) 情報処理装置
JP6793383B1 (ja) 行動体特定システム
Tanaka et al. AkiKomi: Design and Implementation of a Mobile App System for Real-time Room Occupancy Estimation
CN113724454A (zh) 移动设备的互动方法、移动设备、装置及存储介质
JP7009021B2 (ja) 異常者予知システム、異常者予知方法、およびプログラム
Lapierre et al. An intelligent video-monitoring system to detect falls: a proof of concept
JP2022015191A (ja) 推定プログラム、推定装置、推定方法、生成プログラム、生成装置及び生成方法
JPWO2019142566A1 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
JP2022052910A (ja) 体調評価システム、サーバ、プログラムおよび体調評価サービス提供方法
WO2022267006A1 (zh) 防走失方法及系统、可读存储介质、云服务器、移动终端
Dandan et al. Establishment and Optimization of Video Analysis System in Metaverse Environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220615

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7433894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150