JP6979005B2 - 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法 - Google Patents
道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP6979005B2 JP6979005B2 JP2018220756A JP2018220756A JP6979005B2 JP 6979005 B2 JP6979005 B2 JP 6979005B2 JP 2018220756 A JP2018220756 A JP 2018220756A JP 2018220756 A JP2018220756 A JP 2018220756A JP 6979005 B2 JP6979005 B2 JP 6979005B2
- Authority
- JP
- Japan
- Prior art keywords
- store
- image
- visitors
- recognized
- logo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
また、特許文献2、3によれば、空間解像度が低いという課題がある。これは、測位誤差が影響するという理由に基づく。特に、通信インフラ設備に依存するために、一部のユーザを対象とした相対変化しか捉えることができない。
店舗毎に、ロゴ画像を対応付けて記憶した店舗データベースと、
走行中の車両から、進行方向の撮影映像を受信する車両情報受信手段と、
撮影映像から、店舗データベースのロゴ画像を画像認識し、店舗を特定する店舗画像認識手段と、
当該ロゴ画像が映り込む撮影映像から、道路側面に映り込む自動車を画像認識する自動車画像認識手段と、
当該ロゴ画像が映り込む撮影映像から画像認識された当該自動車の認識台数から、当該店舗の訪問者数を推定する訪問者数推定手段と
を有することを特徴とする。
店舗データベースは、店舗毎に、店舗位置を更に対応付けて記憶しており、
車両情報受信手段は、車両から、車両位置を更に受信し、
店舗画像認識手段は、車両位置から所定範囲周辺に含まれる店舗位置となる店舗のロゴ画像のみについて画像認識する
ことも好ましい。
店舗画像認識手段は、当該ロゴ画像について、進行方向に対する右側又は左側の映り込み側を認識し、
自動車画像認識手段は、道路側面における当該ロゴ画像の映り込み側の自動車のみを画像認識する
ことも好ましい。
所定時間帯毎に、当該店舗の当該自動車の認識台数を説明変数とし、当該店舗の訪問者数を目的変数として、予め学習した機械学習エンジンを更に有し、
訪問者数推定手段は、当該店舗の当該自動車の認識台数を説明変数として機械学習エンジンに入力し、その出力として当該店舗の訪問者数を得る
ことも好ましい。
自動車画像認識手段は、当該ロゴ画像の店舗について、撮影映像における当該自動車の認識台数の一連の映り込み変化を表す時系列ベクトルを導出し、
所定時間帯毎に、当該店舗の当該自動車の認識台数の時系列ベクトルを説明変数とし、当該店舗の訪問者数を目的変数として、予め学習した機械学習エンジンを更に有し、
訪問者数推定手段は、当該店舗の当該自動車の認識台数の時系列ベクトルを説明変数として機械学習エンジンに入力し、その出力として当該店舗の訪問者数を得る
ことも好ましい。
当該店舗の訪問者数は、時間帯毎に、航空衛星画像から画像認識された当該店舗の駐車場に映り込む自動車の認識台数、又は、当該店舗に来店した際にカウントされた顧客数である
ことも好ましい。
機械学習エンジンは、LSTM(Long short-term memory)ネットワークである
ことも好ましい。
店舗毎に、ロゴ画像を対応付けて記憶した店舗データベースと、
走行中の車両から、進行方向の撮影映像を受信する車両情報受信手段と、
撮影映像から、店舗データベースのロゴ画像を画像認識し、店舗を特定する店舗画像認識手段と、
当該ロゴ画像が映り込む撮影映像から、道路側面に映り込む自動車を画像認識する自動車画像認識手段と、
当該ロゴ画像が映り込む撮影映像から画像認識された当該自動車の認識台数から、当該店舗の訪問者数を推定する訪問者数推定手段と
してコンピュータを機能させることを特徴とする。
装置は、店舗毎に、ロゴ画像を対応付けて記憶した店舗データベースと、
装置は、
走行中の車両から、進行方向の撮影映像を受信する第1のステップと、
撮影映像から、店舗データベースのロゴ画像を画像認識し、店舗を特定する第2のステップと、
画像認識された当該ロゴ画像から、店舗を特定する第3のステップと、
当該ロゴ画像が映り込む撮影映像から、道路側面に映り込む自動車を画像認識する第4のステップと、
当該ロゴ画像が映り込む撮影映像から画像認識された当該自動車の認識台数から、当該店舗の訪問者数を推定する第5のステップと
を実行することを特徴とする装置の訪問者数推定方法。
カメラは、走行中の進行方向を撮影しているために、道路が中央に映り込むと共に、その道路の側面に「店舗」が映り込んでいる。各店舗には、道路に面する駐車場に複数の「車両」が駐車されている。
また、道路側面には、走行中の自動車の運転手に対して店舗の存在を表示するための「ロゴ(logotype)画像」が見える。ロゴ画像は、顧客誘因のために、看板や建物に表示されたその店舗の意匠文字である(以下では、ロゴ画像は看板に表示されたものとして説明する)。即ち、走行中の自動車のカメラによる「撮影映像(時系列画像)」には、「店舗における看板」と、「駐車場の自動車」とが映り込む。
GPSセンサは、走行中の現在の「車両位置」(緯度・経度)を検知する。
車両情報受信部11は、走行中の車両の車両通信装置2から、車両情報を受信する。車両情報には、少なくとも「撮影映像(時系列画像)」が含まれている。また、車両情報には、「車両位置」が含まれていてもよい。
受信した撮影映像及び車両位置は、店舗画像認識部12へ出力される。
道路を中央にして左側: 看板「a」と、駐車場の車両
道路を中央にして右側: 看板「b」と、駐車場の車両
店舗データベース10は、店舗毎に、少なくとも「ロゴ画像」を対応付けて記憶したものである。また、店舗データベース10は、店舗毎に、「店舗位置」を更に対応付けて記憶したものであってもよい。
店舗画像認識部12は、撮影映像から、店舗データベース10の「ロゴ画像」を画像認識し、店舗を特定する。
具体的な機械学習エンジンとしては、深層学習のYOLO(You Only Look Once)を用いて物体検出をすることができる(例えば非特許文献1参照)。これは、物体領域候補を選び出すことなく、1つのCNN(畳み込みニューラルネットワーク(Convolutional Neural Network))で物体検出からクラス分類まで予測を完結させることができる。アーキテクチャには24層のCNNが用いられ、過学習を防ぐためにepoch数に応じて学習率を変化させている。結果的に、多数クラスの物体をリアルタイムに検出することができる。
図3によれば、例えば看板「a」を検出した場合、その看板は道路左側であることを認識し、看板「b」を検出した場合、その看板は道路右側であることを認識する。
道路を中央に見た場合、看板が存在する側面に、その看板の店舗は存在するためである。
当該車両位置を中心にして、所定半径に含まれる店舗位置となる店舗(検索対象店舗リスト)の中から、ロゴ画像を検索する。車両位置は、当該カメラを搭載した自動車から受信される。車両位置が更新される毎に、また、一定距離を移動した際に、所定半径に含まれる検索対象店舗リストを更新する。
また、店舗画像認識部12は、映り込むロゴ画像の中で、「〇km先に店舗a」のように、「m先」のような文字を自動的に認識し、そのロゴ画像を検出しないようにすることも好ましい。進行方向の先にある店舗はその道路側面に駐車場は無いためである。
勿論、この処理は、店舗のロゴ画像の検索効率を高めるためのものであって、必須となるものではない。全ての店舗のロゴ画像を画像認識するものであってもよい。
自動車画像認識部13は、当該ロゴ画像が映り込む撮影映像から、道路側面に映り込む自動車を画像認識する。自動車画像認識部13も、店舗画像認識部12と同様に、具体的な機械学習エンジンとしては、YOLOを用いて物体検出をすることができる。
撮影画像に映り込む自動車の認識台数は、駐車場の一部しか撮影できていないために空間解像度は低いが、リアルタイムに撮影できるために、時間解像度は高いと言える。
図4によれば、道路中央から左側の看板「a」の店舗については、左側の自動車のみを検出し、道路中央から右側の看板「b」の店舗については、右側の自動車のみを検出する。
即ち、撮影映像の中央を道路として、左側と右側とで領域分割して、看板及び自動車を物体認識する。最も簡易には、フレームを縦に3分割し、看板と同じ領域内に存在する自動車数を認識する。
これによって、走行中の自動車のカメラによる撮影画像から、その看板の店舗に駐車された自動車の台数を検出することができる。
図4によれば、店舗ID毎に、各時刻における自動車の認識台数が対応付けられている。
機械学習エンジン14は、教師データを入力し、予め学習したものである。
(第1段階)店舗の看板を小さく認識すると共に、駐車場の自動車の認識台数が徐々に増加する。
(第2段階)店舗の看板を大きく認識すると共に、駐車場の自動車の認識台数が最大となる。
(第3段階)店舗の看板を急に認識できなくなる。
ここでの第1段階から第3段階までの一定の時間帯について、自動車の認識台数の一連の映り込み変化を、時系列ベクトルとする。
(1)航空衛星画像(リモートセンシング画像)から画像認識された当該店舗の駐車場に映り込む自動車の認識台数
航空衛星画像は、高分解能(例えば50cm分解能)で撮影したものであって、機械学習エンジンを用いて駐車場の車両数を推定することができる(例えば非特許文献2参照)。航空衛星画像に映り込む自動車の認識台数は、駐車場の全体を撮影しているために空間解像度は高い。但し、リアルタイムに撮影することができず、時間解像度は低いと言える。
この顧客数は、店舗内に設定された例えば人体検出センサによって検出された人数であってもよい。また、顧客が所持するスマートフォンとの通信によって検出された人数であってもよい。
(第1の実施形態の教師データ)
説明変数:当該店舗の自動車の認識台数
目的変数:当該店舗の訪問者数
説明変数が、所定の数値である場合、機械学習エンジン14は、回帰分析であってもよい。回帰分析によって、撮影映像における所定時間帯の自動車の認識台数と、店舗の訪問者数との比率を単に学習したものとなる。
説明変数:当該店舗の自動車の認識台数の時系列ベクトル
目的変数:当該店舗の訪問者数
説明変数が、当該店舗の自動車の認識台数の時系列ベクトルである場合、機械学習エンジン14は、LSTM(Long short-term memory、長期短期記憶)であってもよい(例えば非特許文献3参照)。LSTMは、回帰結合型ニューラルネットワーク(RNN(Recurrent Neural Network))を拡張した、時系列データ(sequential data)に対するモデルを学習するものである。LSTMは、RNNの中間層のユニットを、LSTMブロックと称されるメモリと3つのゲートを持つブロックとに置き換えることにおって実現されている。尚、RNNとは、有向閉路を持つニューラルネットワークであり、それ以前の入力によって変化する状態を保持するオートマトンに基づくものである。
訪問者数推定部15は、当該ロゴ画像が映り込む撮影映像から画像認識された当該自動車の認識台数を、当該店舗の訪問者数として推定する。
勿論、走行中の撮影画像から検出した自動車の認識台数が、当該店舗の訪問者数と一致するわけではない。一方で、自動車の認識台数は、当該店舗の訪問者数と一定の比例関係にあると考えられる。
図6(a)によれば、訪問者数推定部15は、当該店舗の当該自動車の「認識台数」を説明変数として機械学習エンジン14に入力し、その出力として当該店舗の訪問者数を得る。
図6(b)によれば、訪問者数推定部15は、当該店舗の当該自動車の「認識台数の時系列ベクトル」を説明変数として機械学習エンジン14に入力し、その出力として当該店舗の訪問者数を得る。
航空衛星画像については、時間解像度は低いが、空間解像度は高い。一方で、走行中の車両の撮影映像から検出した店舗の駐車場の認識台数については、時間解像度は高いが、空間解像度が低い。これに対して、本発明によれば、航空衛星画像が得られていない時間帯であっても、走行中の車両の撮影映像から、その時間帯におけるその店舗の訪問者数を補完的に推定することができる。即ち、高い空間解像度で且つ高い時間解像度で、その店舗の訪問者数を推定することができる。
10 店舗データベース
11 車両情報受信部
12 店舗画像認識部
13 自動車画像認識部
14 機械学習エンジン
15 訪問者数推定部
2 車両通信装置
Claims (9)
- 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置において、
店舗毎に、ロゴ画像を対応付けて記憶した店舗データベースと、
走行中の車両から、進行方向の撮影映像を受信する車両情報受信手段と、
撮影映像から、前記店舗データベースの前記ロゴ画像を画像認識し、店舗を特定する店舗画像認識手段と、
当該ロゴ画像が映り込む撮影映像から、道路側面に映り込む自動車を画像認識する自動車画像認識手段と、
当該ロゴ画像が映り込む撮影映像から画像認識された当該自動車の認識台数から、当該店舗の訪問者数を推定する訪問者数推定手段と
を有することを特徴とする訪問者数推定装置。 - 前記店舗データベースは、店舗毎に、店舗位置を更に対応付けて記憶しており、
前記車両情報受信手段は、前記車両から、車両位置を更に受信し、
前記店舗画像認識手段は、前記車両位置から所定範囲周辺に含まれる店舗位置となる店舗のロゴ画像のみについて画像認識する
ことを特徴とする請求項1に記載の訪問者数推定装置。 - 前記店舗画像認識手段は、当該ロゴ画像について、進行方向に対する右側又は左側の映り込み側を認識し、
前記自動車画像認識手段は、道路側面における当該ロゴ画像の映り込み側の自動車のみを画像認識する
ことを特徴とする請求項1又は2に記載の訪問者数推定装置。 - 所定時間帯毎に、当該店舗の当該自動車の認識台数を説明変数とし、当該店舗の訪問者数を目的変数として、予め学習した機械学習エンジンを更に有し、
前記訪問者数推定手段は、当該店舗の当該自動車の認識台数を説明変数として前記機械学習エンジンに入力し、その出力として当該店舗の訪問者数を得る
ことを特徴とする請求項1から3のいずれか1項に記載の訪問者数推定装置。 - 前記自動車画像認識手段は、当該ロゴ画像の店舗について、撮影映像における当該自動車の認識台数の一連の映り込み変化を表す時系列ベクトルを導出し、
所定時間帯毎に、当該店舗の当該自動車の認識台数の前記時系列ベクトルを説明変数とし、当該店舗の訪問者数を目的変数として、予め学習した機械学習エンジンを更に有し、
前記訪問者数推定手段は、当該店舗の当該自動車の認識台数の時系列ベクトルを説明変数として前記機械学習エンジンに入力し、その出力として当該店舗の訪問者数を得る
ことを特徴とする請求項1から3のいずれか1項に記載の訪問者数推定装置。 - 当該店舗の訪問者数は、時間帯毎に、航空衛星画像から画像認識された当該店舗の駐車場に映り込む自動車の認識台数、又は、当該店舗に来店した際にカウントされた顧客数である
ことを特徴とする請求項4又は5に記載の訪問者数推定装置。 - 前記機械学習エンジンは、LSTM(Long short-term memory)ネットワークである
ことを特徴とする請求項4から6のいずれか1項に記載の訪問者数推定装置。 - 道路側面に並ぶ店舗の訪問者数を推定する装置に搭載されたコンピュータを機能させるプログラムにおいて、
店舗毎に、ロゴ画像を対応付けて記憶した店舗データベースと、
走行中の車両から、進行方向の撮影映像を受信する車両情報受信手段と、
撮影映像から、前記店舗データベースの前記ロゴ画像を画像認識し、店舗を特定する店舗画像認識手段と、
当該ロゴ画像が映り込む撮影映像から、道路側面に映り込む自動車を画像認識する自動車画像認識手段と、
当該ロゴ画像が映り込む撮影映像から画像認識された当該自動車の認識台数から、当該店舗の訪問者数を推定する訪問者数推定手段と
してコンピュータを機能させることを特徴とするプログラム。 - 道路側面に並ぶ店舗の訪問者数を推定する装置の訪問者数推定方法において、
前記装置は、店舗毎に、ロゴ画像を対応付けて記憶した店舗データベースと、
前記装置は、
走行中の車両から、進行方向の撮影映像を受信する第1のステップと、
撮影映像から、前記店舗データベースの前記ロゴ画像を画像認識し、店舗を特定する第2のステップと、
画像認識された当該ロゴ画像から、店舗を特定する第3のステップと、
当該ロゴ画像が映り込む撮影映像から、道路側面に映り込む自動車を画像認識する第4のステップと、
当該ロゴ画像が映り込む撮影映像から画像認識された当該自動車の認識台数から、当該店舗の訪問者数を推定する第5のステップと
を実行することを特徴とする装置の訪問者数推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220756A JP6979005B2 (ja) | 2018-11-26 | 2018-11-26 | 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220756A JP6979005B2 (ja) | 2018-11-26 | 2018-11-26 | 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086969A JP2020086969A (ja) | 2020-06-04 |
JP6979005B2 true JP6979005B2 (ja) | 2021-12-08 |
Family
ID=70908240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018220756A Active JP6979005B2 (ja) | 2018-11-26 | 2018-11-26 | 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6979005B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022259450A1 (ja) * | 2021-06-10 | 2022-12-15 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3225203B2 (ja) * | 1996-05-07 | 2001-11-05 | 小糸工業株式会社 | 駐車場利用状況予測装置及び駐車場利用状況測定装置、並びにこれらを用いた駐車場案内装置 |
JP3631649B2 (ja) * | 1999-12-22 | 2005-03-23 | 日本電信電話株式会社 | 車両計数方法、記録媒体、及び車両計数装置 |
US20140058711A1 (en) * | 2012-08-22 | 2014-02-27 | Inrix, Inc. | Predictive parking |
JP6163742B2 (ja) * | 2012-12-03 | 2017-07-19 | 凸版印刷株式会社 | 商品情報提供装置、及び商品情報提供方法 |
JP6503218B2 (ja) * | 2015-04-03 | 2019-04-17 | 株式会社日立製作所 | 運転支援システム、運転支援装置及び運転支援方法 |
JP6798854B2 (ja) * | 2016-10-25 | 2020-12-09 | 株式会社パスコ | 目的物個数推定装置、目的物個数推定方法及びプログラム |
-
2018
- 2018-11-26 JP JP2018220756A patent/JP6979005B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020086969A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417816B2 (en) | System and method for digital environment reconstruction | |
CN110753892A (zh) | 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统 | |
US9400936B2 (en) | Methods and systems for vehicle tag number recognition | |
CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统 | |
Loce et al. | Computer vision in roadway transportation systems: a survey | |
CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
US20190042857A1 (en) | Information processing system and information processing method | |
CN112997211B (zh) | 数据分发系统、传感器装置和服务器 | |
KR20180046798A (ko) | 실시간 교통 정보 제공 방법 및 장치 | |
US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
CN110967018B (zh) | 停车场定位方法、装置、电子设备及计算机可读介质 | |
JP2019067201A (ja) | 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム | |
JP2007206785A (ja) | 車両追跡システムとこれに使用する画像処理装置、中央装置及び車載装置、並びに、車両追跡方法 | |
JP6979005B2 (ja) | 道路側面に並ぶ店舗の訪問者数を推定する訪問者数推定装置、プログラム及び方法 | |
US11377125B2 (en) | Vehicle rideshare localization and passenger identification for autonomous vehicles | |
CN110781730B (zh) | 智能驾驶感知方法及感知装置 | |
EP3244344A1 (en) | Ground object tracking system | |
Pȩszor et al. | Optical flow for collision avoidance in autonomous cars | |
US20230048304A1 (en) | Environmentally aware prediction of human behaviors | |
Masmoudi et al. | Vision based approach for adaptive parking lots occupancy estimation | |
Ahmad et al. | Comparative study of dashcam-based vehicle incident detection techniques | |
US20220381566A1 (en) | Techniques for detecting a tracking vehicle | |
US11651583B2 (en) | Multi-channel object matching | |
US11704698B1 (en) | Vehicle advertising system and method of using | |
Goel et al. | S mart car parking system using openCV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6979005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |