JP6894395B2 - 情報取得装置及び情報集計システム並びに情報集計装置 - Google Patents

情報取得装置及び情報集計システム並びに情報集計装置 Download PDF

Info

Publication number
JP6894395B2
JP6894395B2 JP2018059488A JP2018059488A JP6894395B2 JP 6894395 B2 JP6894395 B2 JP 6894395B2 JP 2018059488 A JP2018059488 A JP 2018059488A JP 2018059488 A JP2018059488 A JP 2018059488A JP 6894395 B2 JP6894395 B2 JP 6894395B2
Authority
JP
Japan
Prior art keywords
information
target
point cloud
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018059488A
Other languages
English (en)
Other versions
JP2019174910A (ja
Inventor
康平 松▲崎▼
康平 松▲崎▼
塁 木村
塁 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018059488A priority Critical patent/JP6894395B2/ja
Publication of JP2019174910A publication Critical patent/JP2019174910A/ja
Application granted granted Critical
Publication of JP6894395B2 publication Critical patent/JP6894395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、対象と対象の情報取得手段との両方が移動しうるものである場合であっても、対象の情報を高精度に収集することが可能な情報取得装置及び情報集計システム並びに情報集計装置に関する。
不特定多数の消費者を対象とする小売店や飲食店は、出店する立地にその成否が大きく左右される業種と言われている。そのため、出店候補地を選定する際には一般的に立地選定と呼ばれる立地の良し悪しの評価が行われる。立地選定における重要な要素の一つに、その立地の周辺の人流がある。すなわち、ある一定時間における、人の通行する方向、人の属性、人の通行量、人の通行頻度などの、人の流れに関する様々な統計的データである。
ここで、人流を自動的に評価することを目的とした、人流分析や人流推定と呼ばれる技術が存在する。例えば特許文献１では、店舗の内部に固定されたカメラを用いて、特定の区画内での単位時間当たりの人物の数と人物の流入・流出数を自動的に算出している。また、特許文献２では、過去に歩行者が移動した位置を示す移動経路位置と、移動経路位置に歩行者が存在した時間とが対応付けられた時空間軌道を示す時空間軌道データ、および歩行者の属性を示す歩行者属性データを用いて学習を行い、指定した時空間における人物の出現確率を推定している。
特開2016-105243号公報 特開2013-196601号公報
Mur-Artal, Raul, and Juan D. Tardos. "ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras." arXiv preprint arXiv:1610.06475 (2016). P. Besl and N. McKay, "A Method for Registration of 3-D Shapes," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, pp. 239-256, 1992. Liu, Wei, et al. "SSD: Single shot multibox detector." European Conference on Computer Vision. Springer International Publishing, 2016. Babahajiani, Pouria, et al. "Urban 3D segmentation and modelling from street view images and LiDAR point clouds." Machine Vision and Applications (2017): 1-16. R Rothe, R Timofte, L Van Gool, "Deep expectation of real and apparent age from a single image without facial landmarks," International Journal of Computer Vision (IJCV) 2016 井尻善久, 川西康友, and 美濃導彦. "視野を共有しない複数カメラ間での人物照合 (パターン認識・メディア理解)." 電子情報通信学会技術研究報告: 信学技報 111.317 (2011): 117-124.
しかしながら、以上のような従来技術においては、人流に代表されるような不特定多数の移動体の流れを広範囲に渡って効率的且つ詳細に分析ないし推定しようとした場合に、次のような課題があった。
すなわち、特許文献１の方法では、特定の位置にカメラを固定する必要があるため、広範な区画の人流情報を取得するためには、膨大な量の定点カメラが必要であった。また、特許文献２の方法では、実行時には任意の時空間における人流情報を推定することが可能ではあるが、学習データを収集する方法については自動化されていない。すなわち、人流れデータベースと呼ばれる人の流れデータを記憶するデータベースを人力での調査によって収集する必要があり、特に広範な区画に対するデータ収集コストが大きいという問題があった。
ここで、特許文献１や２の手法はカメラやレーザ測域センサ等の計測手段が定点に設置されている前提であるが、計測手段が移動しながら計測を行う場合を考えると、例えば次のような事情によって、効率的な計測が阻害されるという新たな課題も発生することとなる。定点設置を前提とした特許文献１や２の従来技術においては、これらの新たな課題にも対処することができなかった。
１つ目の事情は、人物に代表される移動体とセンサ等の計測手段とが互いに移動していることである。多くの従来技術の人物検出手法は、センサが固定されていることを前提として動的物体領域を検出した上で、その領域に対してのみ人物検出処理を行うことによって探索範囲を制限している。例えば、背景差分やフレーム間差分と呼ばれる手法は、背景が不変である前提の下で動的物体の領域を検出する。しかし、これらはセンサが移動するケースでは利用することは難しい。なぜならば、センサから見える背景が変化するため、たとえ移動するセンサの絶対位置が常に既知であったとしても、従来の背景差分やフレーム間差分と呼ばれる手法を適用することができないためである。
２つ目の事情は、人物に代表される移動体のスケールの変化が大きいということである。例えば天井に設置された定点カメラの場合、画像中に移る人物のスケールはおおよそ同程度となる、しかしながら、例えば車両等の移動手段に搭載されたカメラを用いる場合、極端に近い人物と極端に遠い人物が同時に写ることが頻繁に起こり得る。多くの従来技術の人物検出手法は検出ウィンドウと呼ばれる矩形を用いて人物を検出するため、多様なスケールに対応するためには、ウィンドウのサイズを変化させながら探索を行う必要がある。そのため、想定されるスケールの範囲が大きい場合、処理量が増加してしまう。逆に、処理量を抑えるためには極端に大きい／小さいスケールの探索を行わない設定にするのが一般的であるが、こうすると多様なスケールに対処できなくなってしまう。
また、３つ目の事情として、移動する計測手段を複数（多数）利用する場合をさらに仮に考えたとすると、当該多数の計測手段で得られる情報から移動体の同一性の識別（人物であれば、どの情報が同一人物に該当するのかの識別）をどのように行うか、という問題も起こりうる。
本発明は、上記の従来技術の課題に鑑み、移動可能な計測手段によって効率的に人物等の移動しうる対象の情報を取得することが可能な情報収集装置を提供することを第一の目的とする。また、当該提供された情報収集装置を１つ以上用いて得られる取得情報を集計することが可能な情報集計システムを提供することを第二の目的とする。さらに、当該提供された情報収集装置を１つ以上用いて得られる取得情報を集計することが可能な情報集計装置を提供することを第三の目的とする。
上記目的を達成するため、本発明は、情報取得装置であって、フィールドより点群データを取得する点群取得部と、前記取得した点群データとフィールドの所与の地図データとの位置合わせにより自己位置を推定する自己位置推定部と、フィールドを撮影して画像を取得する画像取得部と、前記画像より対象を検出する対象検出部と、前記推定された自己位置に基づいて、前記検出された対象のフィールドにおける位置情報を推定する位置推定部と、を備えることにより、前記検出された対象に関する情報として、前記推定された位置情報と、前記抽出された特徴情報と、を取得することを第一の特徴とする。
また、本発明は、前記情報取得装置を１つ以上と、情報集計装置と、を備える情報集計システムであって、前記情報集計装置は、各情報取得装置から取得される、検出された対象の特徴情報、位置情報及び時刻情報を、空間及び時間の所定のビンに割り当て、各ビン内において特徴情報が一致するもの同士を同一対象に該当するものとして統合する、同一対象照合部を備えることを第二の特徴とする。また、本発明は、前記情報取得装置の１つ以上から得られる情報を集計する情報集計装置であって、前記情報取得装置はさらに、前記検出された対象の前記画像における特徴情報を抽出する特徴抽出部を備え、前記情報集計装置は、各情報取得装置から取得される、検出された対象の特徴情報、位置情報及び時刻情報を、空間及び時間の所定のビンに割り当て、各ビン内において特徴情報が一致するもの同士を同一対象に該当するものとして統合する、同一対象照合部を備えることを第三の特徴とする。
前記第一の特徴によれば、点群データの位置合わせを用いることにより、対象及び情報取得装置の両者が移動しうる場合であっても、対象の位置情報を高精度に取得することができる。前記第二又は第三の特徴によれば、１つ以上の情報取得装置で得た対象の情報を集計することができる。
一実施形態に係る情報集計システムの構成の模式図である。 一実施形態に係る情報取得装置の動作のフローチャートである。 一実施形態に係る情報集計装置の動作のフローチャートである。 一実施形態に係る情報集計システムの機能ブロック図である。 一実施形態に係る領域検出部の機能ブロック図である。 地図データに設定しておく把握領域の模式例な例を示す図である。 領域検出部の処理内容の模式例を示す図である。
図１は、一実施形態に係る情報集計システムの構成の模式図である。情報集計システム100は、市街地等の実世界のフィールドF内で道路等の所定区画Dを移動することが想定される車両等の移動手段M1,M2,M3にそれぞれ搭載され、当該現在位置から情報を取得可能なそれぞれの範囲R1,R2,R3（当該各範囲は移動に伴って変化するものである）の情報を取得する複数の情報取得装置10-1,10-2,10-3と、当該複数の情報取得装置10-1,10-2,10-3からそれぞれ取得された情報を、ネットワークNを経由して集計するサーバとしての情報集計装置30と、によって構成されている。
当該複数の情報取得装置10-1,10-2,10-3からの情報を集計することによって、図１に模式的に示されるようなフィールドF内に存在する人物に代表される移動体OB1,OB2,OB3等の存在状況（いつの時間にどの場所に何人の人が存在しているかといった状況）等の情報を、サーバとしての情報集計装置30において自動で把握することが可能となる。
なお、図１では模式例として３つの情報取得装置10-1,10-2,10-3が示されているが、情報集計システム100を構成する情報取得装置の台数は１台以上の任意の数であってよい。以降の説明においては、このような任意台数存在しうるうちの任意の1台を「情報取得装置10」として説明する。また同様に、図１では模式例として3人の人物としての移動体OB1,OB2,OB3が示されているが、情報集計システム100によって把握される移動体は一般に不特定多数となる。当該移動体は図４を参照して後述する対象検出部16で検出すべき対象として予め設定しておく任意のものとしてよく、人物はその一例である。
図２は、一実施形態に係る情報取得装置10の動作のフローチャートである。当該フローを開始すると、ステップS1では、情報取得装置10が現在時刻tにおける情報を取得し、当該取得した情報に対して分析処理を行ってから、ステップS2へと進む。当該取得され分析される情報は情報取得装置10の近辺における点群データ、地図データ及び画像などであり、その詳細に関しては図４を参照して後述する。ステップS2では情報取得タイミングに到達したか否かが判定され、到達していればステップS3へ進み、到達していなければステップS2へ戻って次の時刻t+1を新たな現在時刻として、情報の取得及び分析を継続する。なお、ステップS2の到達タイミングの判定は、所定規則で判定すればよく、例えば一定期間の経過ごとに肯定判定を得るようにしてよい。データ送信のためのネットワーク状況などを当該判定のための所定規則に加えてもよく、例えば通信状況が悪い間は否定判定とするようにしてもよい。
ステップS3では、それまで繰り返されたステップS1,S2のループ内で取得及び分析された情報を現在時刻tにおいて情報取得装置10から情報集計装置30へ送信してから、ステップS1へと戻り、次の時刻t+1を新たな現在時刻として情報の取得及び分析を継続する。
このように図２のフローにより、情報取得装置10では取得及び分析した情報を一定期間ごとに情報集計装置30へと送信することができる。一実施形態では当該一定期間の到達判定（ステップS2の判定）を各時刻t,t+1,t+2,…において得るようにすることで、リアルタイムで情報集計装置30への送信を行うようにしてもよい。なお、図１で説明したように情報取得装置10は車両等の移動手段に搭載される等してフィールドF内を移動するように構成されている（当該移動には一定期間の停止が含まれてもよい）ので、種々の場所において情報が取得及び分析されることとなる。
図３は、一実施形態に係る情報集計装置30の動作のフローチャートであり、１つ以上の情報取得装置10の各々が上記の図２のフローに従って取得及び分析した情報を情報集計装置30の側において集計する動作のフローチャートである。当該フローを開始すると、ステップS5では情報集計装置30は情報取得装置10の各々から（情報送信がある場合に）、取得及び分析され送信された情報を現在時刻tにおいて受信してから、ステップS6へと進む。ステップS6では情報集計タイミングに到達したか否かが判定され、到達していればステップS7へと進み、到達していなければステップS5へと戻り、次の時刻t+1を新たな現在時刻として情報受信を継続する。
ステップS6における判定は、一定期間ごとに肯定判定を得るようにしてもよいし、情報集計装置30の集計情報を必要とした管理者等による操作入力（情報集計を行うべき旨の指示入力）を受けることを判定条件としてもよい。ステップS7では現時刻tまでに受信している情報に対して集計処理を行ってからステップS5へと戻る。当該集計処理の詳細は図４を参照して後述する。
図４は、一実施形態に係る情報集計システム100の機能ブロック図として、情報集計システム100の構成要素である情報取得装置10及び情報集計装置30のそれぞれの機能ブロック図を示す図である。
図４に示す通り、情報取得装置10は点群取得部11、自己位置推定部12、地図記憶部13、領域検出部14、画像取得部15、対象検出部16、位置推定部17、属性推定部18、特徴抽出部19及び統計情報送信部20を備える。このうち、（１）点群取得部11、地図記憶部13及び画像取得部15が図２のステップS1における情報取得関連の処理を主に担うものであり、（２）自己位置推定部12、領域検出部14、対象検出部16、位置推定部17、属性推定部18及び特徴抽出部19が図２のステップS1における情報分析関連の処理を主に担うものであり、（３）統計情報送信部20が図２のステップS3における情報送信の処理を担うものである。
また、図４に示す通り、情報集計装置30は同一対象照合部31及び通行量推定部32を備え、当該各部31,32は図３のステップS7における情報集計処理を担うものである。また、図３のステップS5における各々の情報取得装置10からの情報受信処理は、図４において矢印によるデータ授受の流れで示される通り、同一対象照合部31において行われる。以下、図４の各部の説明を行う。
＜点群取得部11＞
点群取得部11は、車両等の移動手段に搭載された情報取得装置10の、現時刻tにおける周囲の形状情報を表す点群データPG(t)を取得して、当該点群データPG(t)を自己位置推定部12へと出力する。ここで、点群データPG(t)の取得手法は各種の既存手法を用いてよく、例えば非特許文献1の様な、ステレオカメラを用いた画像ベースのSLAM(Simultaneous Localization and Mapping)技術によって点群を生成してもよいし、LiDAR(Light Detection and Ranging)の様なリモートセンシング技術を用いて点群を生成してもよい。前者の場合、 点群取得部11を実現するハードウェアとしてはステレオカメラ（及びステレオ画像を処理する画像処理回路）を用いればよく、後者の場合、LiDAR専用のレーザスキャンシステムを用いればよい。
＜自己位置推定部12＞
自己位置推定部12は、地図記憶部13から読み込むデータとしての、現時刻tにおける情報取得装置10が存在しうる範囲（又は、当該範囲に基づく点群データPG(t)が取得されうる範囲）をカバーした地図データMAP(t)と、点群取得部11から得た点群データPG(t)と、を用いて例えば非特許文献２に開示されるような自己位置推定手法（点群同士の位置合わせの手法）を用いることにより、現時刻tにおける情報取得装置10の自己位置pos(t)を推定すると共に、当該推定した自己位置pos(t)によって点群データPG(t)を実世界の座標へと整列させ（すなわち、実世界の座標へと座標変換し）、当該得られた自己位置pos(t)及び整列された点群データPG(t)を領域検出部14へと出力する。
なお、周知のように、自己位置推定の意義は次の通りである。すなわち、点群取得部11で取得した点群データPG(t)は、当該取得したカメラの位置（レーザの場合、レーザ照射源の位置）（及び向き）を基準とした相対座標(x,y,z)[カメラ]で与えられているものである。自己位置推定によって、当該カメラの位置pos(t)（及び向き）を地図データMAP(t)が定義されている実世界の座標系(x,y,z)[世界]におけるものとして求めることにより、点群データPG(t)も当該実世界の座標系(x,y,z)[世界]で定義された整列された点群データとして得ることが可能となる。
ここで、本発明の一実施形態では特に、自己位置推定処理に関して、都市部（電波の遮蔽やマルチパス等が発生しうる箇所の例としての都市部）等において数mから数十mの誤差を含むこともありうるGPS（全地球測位システム）の手法を用いるのではなく、上記のように点群データの位置合わせの手法を用いることにより、次のような効果を奏することができる。すなわち、車両等に搭載され情報取得装置10がある程度の高速で移動し、且つ、分析対象となる人物等も移動体として移動する状況においても、当該移動体の位置を高精度に推定することが可能となるという効果である。
なお、自己位置推定部12では自己位置pos(t)を推定するために上記の通り、自身が存在しうる範囲をカバーした地図データMAP(t)を地図記憶部13（後述）から読み込む必要がある。当該地図データMAP(t)の範囲に関しては、現時刻tに対する過去時刻t-nのものとして既に推定済みの自己位置pos(t-n)（n=1の場合、直近の過去時刻t-1）に基づいて定めてもよいし、GPS（全地球測位システム）等のその他の手法によって、ある程度の精度（点群データよりは低精度）をもって推定される自己位置に基づいて定めてもよい。
＜地図記憶部13＞
地図記憶部13では、自己位置推定部12及び領域検出部14（後述）に対して、現時刻tにて情報取得装置10が存在しうる範囲の地図データMAP(t)を参照に供することを可能とすべく、これよりも広範囲をカバーした地図データMAP[広範囲]を予め記憶しておく。なお、当該広範囲の地図データMAP[広範囲]に関しては、データ量が膨大となる場合には、別途の地図サーバ等（情報取得装置10の外部サーバ等）からその都度、中範囲の地図データMAP[中範囲]として取得したキャッシュデータを利用するようにしてもよい。この際、既存の任意の地図データのキャッシュ技術を利用して中範囲の地図データMAP[中範囲]を更新するようにしてよい。
なお、地図記憶部13で記憶しておく地図データは、世界座標系(x,y,z)[世界]で定義されるものとして、点群データPG(t)との位置合わせが可能な任意のフォーマットで用意しておけばよい。例えば、点群データとして用意されていてもよいし、直線や曲線で囲まれる面成分の集合データ（3次元のCADデータ又はそれに類するデータ）として用意されていてもよい。一実施形態ではベクトル地図として用意されておけばよい。ベクトル地図は周知のように、点、線分（2点を結ぶ線分）又は面（3点以上を結んで閉じた面）によって地図上の位置を定義すると共に、当該点、線分又は面が何であるかの属性情報（例えば、ある面がある会社の敷地である旨を特定する属性情報）も定義可能なものである。
＜領域検出部14＞
図５は、一実施形態に係る領域検出部14の機能ブロック図である。領域検出部14は、自己位置推定部12で得られた世界座標系(x,y,z)[世界]へと整列された点群データPG(t)と、地図記憶部13から得られる地図データMAP(t)（自己位置推定部12で参照したのと同様のもの）と、に基づき、現時刻tの画像P(t)（後述する画像取得部15において取得される画像P(t)）内において移動対象が含まれる候補となる領域の情報を得て、当該領域の情報を対象検出部16へと出力する。
領域検出部14では当該全体的な処理を担うための要素処理を担う構成として、図５に示す通りの非対応検出部141、選別部142及びセグメント化部143を備え、この順番で各処理を行う。以下、当該各部141,142,143の処理の詳細を順番に説明する。
＜非対応検出部141＞
非対応検出部141は、自己位置推定部12から得られる整列された点群データPG(t)と、地図記憶部13から得られる、既に述べた自己位置推定部12にて参照したとの同様の地図データMAP(t)と、を照合することにより、点群データPG(t)のうち地図データMAP(t)との位置対応が取れない点群データを非対応点群データPG(t)[非対応]として得て、選別部142へと出力する。当該照合する際は、点群データの各点(x,y,z)[i](ここでiは各点を識別するインデクスでありi=1,2,…である)に関して、地図データMAP(t)の構成要素（点、線、面など）との最小距離を計算し、当該最小距離が所定閾値以上となるような点(x,y,z)[i]が非対応点群データPG(t)[非対応]に属するものとすればよい。
非対応検出部141の当該処理内容より明らかなように、得られる非対応点群データPG(t)[非対応]は地図データMAP(t)に対応する点が存在しないものとして、人物などの移動体を構成している候補となる点群データに相当するものである。
＜選別部142＞
選別部142は、非対応検出部141より得た非対応点群データPG(t)[非対応]に対してさらに選別処理を行い、選別された点群データPG(t)[選別]をセグメント化部143へと出力する。当該選別処理においては、地図記憶部13から得られる地図データMAP(t)における属性情報を参照し、移動体が存在しうる領域であって且つ情報集計システム100によって移動体の存在状況等を把握すべき領域として設定されている領域（把握領域R(t)とする）に近い点を、非対応点群データPG(t)[非対応]の中から選別すればよい。当該近い点を計算する場合は、非対応検出部141に関して説明したのと同様の距離計算を行えばよく、非対応点群データPG(t)[非対応]の各点(x,y,z)[i]のうち、把握領域R(t)の構成要素（点、線、面など）との最小距離が所定閾値以下となるものを、選別された点群データPG(t)[選別]に属するものとして判定すればよい。
ここで、地図データMAP(t)における把握領域R(t)は、地図記憶部13に記憶しておく地図（の全体）MAP[広範囲]（又はMAP[中範囲]）において、予め管理者等が属性情報として設定しておけばよい。例えば、地図データがベクトル地図の場合、その属性情報に把握領域とするか否かを定義しておけばよく、その他のフォーマットの地図データにおいても同様の属性情報を定義しておけばよい。
図６は、地図データに設定しておく把握領域の模式例な例を、図１のフィールドFの例に対応するものとして示すものである。ここではグレー色の領域として示す道路Dに沿った位置の7個の四角形領域（面領域）として設定されている歩道領域PD1〜PD7が把握領域として設定され、これ以外の領域は把握領域ではないものとして設定されている。
以上の処理内容より明らかなように、選別部142では非対応点群データPG(t)[非対応]をさらに、分析対象となりうるものにだけに選別して絞り込んだものとして選別された点群データPG(t)[選別]を得ることで、以下に説明する各部の処理対象を選別し、処理の高速化を図るという効果を奏することが可能である。
なお、選別部142に関しては省略する実施形態も可能である。この場合、選別された点群データPG(t)[選別]ではなく、選別前の非対応点群データPG(t)[非対応]がそのまま、次に説明する後段側のセグメント部143での処理対象となる。
＜セグメント化部143＞
セグメント化部143では、選別部142で得た選別された点群データPG(t)[選別]（世界座標系(x,y,z)[世界]で与えられているもの）を画像P(t)の画素座標(u,v)に投影することで、点群データPG(t)[選別]が画像P(t)の画像座標(u,v)上で占めるセグメントSG(t)を求め、対象検出部16へと出力する。当該投影する際は、世界座標系(x,y,z)[世界]において予め所定のボクセルグリッドを設定しておき、点群データPG(t)[選別]の点を内包しているボクセル群BOX(t)を点群データPG(t)[選別]の占有領域を表すものとして、当該ボクセル群BOX(t)を画像P(t)の画像座標(u,v)上へと投影することによって、粗く表現されたものとしてのセグメントSG(t)を得るようにすればよい。また、ボクセル群BOX(t)ではなくその他の占有領域モデル（ポリゴンなど）を投影してセグメントSG(t)を得るようにしてもよい。（なお、セグメント化部143が含まれる領域検出部14では図４及び図５に示される通り、後述する画像取得部15で取得される画像P(t)のデータ（画像内容）自体は参照する必要はない。ただし、画像P(t)の画像座標(u,v)に関しては、世界座標系(x,y,z)[世界]との対応関係を含めて当該画像座標(u,v)が予め既知のものとして、セグメント化部143において当該画像座標(u,v)におけるセグメントSG(t)を求めることができる。このことは画像取得部15の説明においてキャリブレーションとして後述する通りである。）
ここで、点群データPG(t)[選別]に属する各点に関して、点群取得部11で取得した際のカメラの位置（前述の自己位置pos(t)に相当）からの距離などに基づいて、互いに近接している点同士が同一グループに属するようにグループ分けを行い、当該グループ分けされた点群データPG(t)[選別][k]（ここで、kはグループの識別インデクスであり、k=1,2,…である）ごとに、セグメントSG(t)[k]を得ることができる。従って例えば、２つのセグメントSG(t)[1]及びSG(t)[2]は画像P(t)（画像座標(u,v)）上では接触部分を有する領域となっているが、実世界の座標(x,y,z)[世界]では対応する点群データPG(t)[選別][1]及びPG(t)[選別][2]が互いに離れているものとして、画像P(t)（画像座標(u,v)）上においても互いに異なるセグメントであるものとして取得することが可能となる。なお、グループ分けに関しては種々の方法が利用可能であり、例えば点座標(x,y,z)[世界]に対してk-means（k平均法）などを適用するようにしてもよいし、前述の内包ボクセル群BOX(t)を求めたうえで、ボクセル群BOX(t)のうち互いに連続しているもの同士が同一グループであるものとしてグループ分けするようにしてもよい。
後段側の対象検出部16では画像P(t)の全体ではなく、セグメント化部143で得られるセグメント領域SG(t)のみを対象として検出処理を行うことで、次のような効果を奏することができる。すなわち、セグメント領域SG(t)のみを処理対象とすることによる高速化のほか、検出処理の精度を上げることも可能となる。すなわち、従来技術に関して既に述べた通り、画像ベースの方法では多様なスケールに対処する場合に処理量が増加するが、3次元空間上での点群は画像上のスケールとは無関係であるため、移動体が含まれると考えられる領域を高速にセグメント化することができる。また、例えば車載のカメラ（後述の画像取得部15の例）から歩道等を撮影した場合には移動体としての人物等が重複して写ることにより、複数の人物を一人と誤認することや，遮蔽による未検出が起こり得る。それに対し、3次元空間上ではボクセルグリッド等によるグループ分けによって複数の人物を容易に分離することができるため、頑健に動的物体領域をセグメント化することができる。同様の理由で、画像に基づく人物検出とは異なり、背景による影響を受けない（画像P(t)において前景と背景の両方が動いていても3次元空間の利用によって結果的に前景抽出が可能となる）という利点もある。
図７は、以上説明した各部141,142,143で構成される領域検出部14による処理内容の模式例を[1]〜[7]と分けて示す図である。[1]は、自己位置推定部12で得られ点群データPG(t)が取得された実世界のマップ情報MAP(t)の模式例であり、歩道としての面領域SF1と車道としての面領域SF2で構成されている。ここで、[2]に示すように、実世界シーンには歩道SF1上に検出対象である人物としての移動体OB1が存在し、車道SF2上には検出対象ではないその他の対象NOB（例えば偶然通りがかった野生動物等）が存在していたものとする。当該[2]の実世界シーンに関して取得された点群データPG(t)の例としての点群PG10が、[3]に複数の白丸（○）で示されている。
図７にて[3]から[4]への処理が非対応検出部141の処理の模式例である。[3]の全ての点群PG10のうち、地図データMAP(t)である歩道SF1及び車道SF2から距離が離れたものが非対応の点群PG1,PG2として[4]に示すようにそれぞれ得られる。さらに、[4]から[5]への処理が選別部143の処理の模式例であり、非対応点群のうち点群PG1は把握領域として設定されている歩道SF1の近くに存在するので選別され、非対応点群のうち点群PG2は把握領域として設定される歩道SF1の近くには存在せず、把握領域として設定されていない車道SF2の近くに存在するために選別対象から除外されている。こうして、[5]では結果的に当初の移動体OB4（人物など）に対応する点群PG1のみが選別され、別対象NOB（野生動物など）に対応する点群PG2は除外されている。
さらに、図７にて[5],[6],[7]の処理の流れがセグメント化部143の処理の模式例である。[5]の選別された点群データPG1に対して、[6]に示すような内包ボクセル群BX1（複数のグループではなく、１グループのみの連続したボクセル領域の例）が得られ、これを世界座標系(x,y,z)[世界]から画像座標(u,v)に投影したものとして、[7]に示すようなセグメント領域R10が得られている。
なお、図７の例では[2]に示す別対象NOB（野生動物など）に該当するものとして、[4]に示す対応する点群PG2が選別処理で除外されている。このような選別処理による除外は、点群自体の取得においてノイズがあった場合にも効果を奏するものである。
＜画像取得部15＞
画像取得部15は、ハードウェアとしては通常のカメラで実現することが可能であり、現時刻tの画像P(t)を取得して対象検出部16及び属性推定部18へと出力する。
なお、点群取得部11で取得される点群PG(t)の相対座標値としての相対座標(x,y,z)[カメラ]と、画像取得部15で取得される画像P(t)の各画素位置(u,v)とは、予め既存技術であるカメラキャリブレーションを行っておくことにより、対応関係を与えておくものとする。すなわち、画像取得部15のカメラ中心から各画素位置(u,v)へ向けて（逆）投影する直線上の3次元座標値としての点群PG(t)の相対座標(x,y,z)[カメラ]が、当該対応関係によって既知であるものとする。（換言すれば、点群取得部11及び画像取得部15では、ハードウェアとしては別であっても、同一のカメラ（既に述べた通り、点群取得部11がレーザで実現される場合、レーザ照射源の位置にカメラがあるものとする）におけるものとして、点群PG(t)及び画像P(t)が取得されるものとする。）なお、点群取得部11を前述のステレオ画像技術で実現する場合、その片方の画像を画像取得部15で取得する画像として採用してもよい。
従って、自己位置推定部12によって自己位置pos(t)が世界座標系(x,y,z)[世界]において既知となると、画像取得部15のカメラ中心から各画素位置(u,v)へ向けて（逆）投影する直線上の3次元座標値としての実世界の座標(x,y,z)[世界]も既知となる。前述の領域検出部14においては、このような既知の関係を用いることにより、選別された点群データPG(t)[選別]に対応する画像P(t)の画像座標(u,v)上のセグメント領域SG(t)を求めることが可能である。
＜対象検出部16＞
対象検出部16は、画像取得部15から得た画像P(t)に対して、既存手法としての画像認識を適用することで、予め設定されている所定の移動体としての検出対象（例えば人物）を検出し、検出結果（画像P(t)上で占める位置）を位置推定部17、属性推定部18及び特徴抽出部19へと出力する。なお、画像P(t)の具体的な内容に応じて、対象検出部16においては対象が検出されないこともあれば、１つ以上の対象が検出される場合もありうる。
例えば人物を検出する場合、画像認識の分野においては、画像中に含まれる人物の位置と大きさを検出する人物検出技術が広く研究されている。近年では、深層学習、特に畳み込みニューラルネットワーク（convolutional neural networks）を利用した人物検出において、例えば非特許文３のように人物の向きや姿勢、服装などの見えの変換に対して頑健な検出が実現されている。対象検出部16では，任意の人物検出技術を用いて、画像P(t)から人物の位置と大きさを検出すればよい。人物以外を検出する場合も同様に既存手法を用いればよい。あるいは、非特許文献４の様に、画像と点群の両方を用いて人物検出を行っても良いし、点群のみでもよい。
ここで、一実施形態では、図４にも示されるように、対象検出部16は画像P(t)の全体ではなく、領域検出部14で得たセグメント領域SG(t)（またはこれを包含する領域）のみを対象として検出を行うことができる。例えば、図７の例であれば、[7]のセグメント領域R10又はその包含矩形等のみを検出対象の領域としてよい。ここで前述の通り、複数のセグメント領域SG(t)[k](k=1,2,…)が得られている場合、それぞれにおいて検出を行えばよい。この結果、未検出となるセグメント領域がある場合も存在しうるが、既に述べた通り、結果的に点群データPG(t)の3次元構造の情報が2次元の画像P(t)を対象とする対象検出部16でも利用されることとなり、高精度且つ高速な検出が可能となる。また、スケール変化に対しても頑強且つ高速に検出が可能となる。
なお、領域検出部14で得たセグメント領域SG(t)（またはこれを包含する領域）への限定を行わず、画像P(t)の全体を対象として対象検出部16で検出を行う実施形態も可能である。当該実施形態を採用する場合、情報取得装置10は図４の構成において領域検出部14を省略した構成となる。当該構成の場合においても、自己位置推定部12で得られる自己位置pos(t)に関しては少なくとも、位置推定部17へと出力されることとなる。
＜属性推定部18＞
属性推定部18では対象検出部16で得た画像P(t)内の検出対象の領域を解析することにより、当該検出対象の属性を推定し、得られた属性情報を統計情報送信部20へと出力する。検出対象が人物であれば、属性情報は例えばその性別や年齢として推定することができる。
ここで、画像からの属性情報の推定には既存技術を用いればよい。例えば非特許文献５では、人物の年齢を平均誤差３才という精度で推定している。また、人物の性別に関しても、顔画像を用いる場合に86%，全身画像を用いる場合に75%という精度で推定することが可能であると報告されている。属性推定部18では、任意の属性推定技術を用いて、映像フレームから人物の属性を推定すればよい。なお、属性推定部18は情報取得装置10から省略する実施形態も可能である。
＜位置推定部17＞
位置推定部17は、自己位置推定部12で取得した実世界における自己位置pos(t)と、対象検出部16で取得した画像P(t)中の対象の位置情報を用いて、実世界における対象の位置情報を推定し、統計情報送信部20へと出力する。検出対象が複数であればそれぞれ位置情報が推定される。
具体的には、初めにカメラ位置（既に述べた点群取得部11及び画像取得部15の共通のカメラ位置）から見た対象の相対位置を計算する。自己位置推定部12で取得した点群の各点が対応している画像取得部15の画素位置に対応するデプス情報（ここで、画素位置(u,v)に前述のキャリブレーションによって対応するカメラ基準の点群座標の3次元位置(x,y,z)[カメラ]がデプス情報を与える）を、画像P(t)中の対象領域を表す画素に対して与えることにより、対象領域の画素を実世界の3次元空間に（逆）投影する。その後、対象領域を表す3次元点群の平均値（重心）を計算し、それを対象位置とすればよい。なお、重心以外の領域代表位置を対象位置としてもよい。最後に、自己位置推定部12で取得した実世界における自己位置pos(t)を用いて、上記の対象位置（相対座標(x,y,z)[カメラ]で与えられている）を実世界での座標値（世界座標(x,y,z)[世界]で与えられている）として得る。
以上のような位置推定部17の処理によって高精度な対象位置を得ることができる。すなわち、領域検出部14で得た画像P(t)の領域内における複数のセグメント領域SG(t)[k](k=1,2,…)も、当該セグメント領域が実際の対象に該当することが確認できれば、対象の位置を反映したものとなっている。しかしながら、セグメント領域SG(t)[k](k=1,2,…)はボクセル等の手法により高速計算で粗いセグメントとして得られるものであり、実際には例えばノイズや隣の別の人物等（の一部分）などをボクセル等に含むこともありうる。そこで、位置推定部17では再度、対象検出部16による画像P(t)内での高精度な対象位置の検出結果を利用して対象の3次元位置を求めることで、高精度に当該3次元位置を求めることが可能となる。
＜特徴抽出部19＞
特徴抽出部19では、対象検出部16から得られる画像P(t)内の対象領域より、対象の同一性を識別する性能を有する任意の特徴情報を抽出して、統計情報送信部20へと出力する。 例えば、対象が人物であれば、非特許文献６に開示される同一人物照合のための任意の特徴量を抽出すればよい。その他、SIFT特徴量などを抽出してもよい。対象検出部16において対象検出した際に既に当該識別性能を有する特徴情報を利用している場合であれば、特徴抽出部19では再度の抽出処理を行うことなく、対象検出部16で得た特徴情報をそのまま統計情報送信部20へと出力してもよい。
＜統計情報送信部20＞
統計情報送信部20では、位置推定部17で取得した実世界における対象の位置情報、属性推定部18から得られた属性情報、特徴抽出部19から得られた特徴情報を情報集計装置30の同一対象照合部31へと送信する。この際、対象ごとに対応する属性情報及び特徴情報を送信すると共に、対応する時刻情報t（当該情報を得る元となった点群取得部11及び画像取得部15での点群PG(t)及び画像P(t)の取得時刻t）もタイムスタンプとして紐づけて送信する。前述の通り、属性情報は省略されてもよい。
さらに、統計情報送信部20では情報取得装置10又はその周辺設備で取得されるその他の情報を紐づけて同一対象照合部31へと送信してもよい。例えば、情報取得装置10が車両搭載の場合であれば、車両のセンサから得られる速度情報や，通信モジュールを介して得られる天候などの情報を合わせた統計情報を、さらに送信してもよい。ここで、画像P(t)に写る対象が人物であれば、そのプライバシーを保護するため、画像P(t)そのものは送信しないようにしてもよい。
以上、情報取得装置10の各部を説明した。以下、情報集計装置 30の各部を説明する。図３のフローを参照して説明した通り、情報集計装置30は１つ以上の（典型的には多数の）情報取得装置10において上記の統計情報送信部20から継続的に送信される統計情報を集計して解析する役割を有するものである。
＜同一対象照合部31＞
まず、同一対象照合部31が処理を行うための前提を説明する。実世界の地図（地図記憶部13における地図データMAP[広域]）を特定の方法で区画に分割しておく。ここで言う区画とは、例えば歩道を20m刻みに区切った領域である。更に、時刻情報を用い
て、特定の時間間隔、例えば3秒ごとに分類する。このように、区画（空間）及び時間に関する所定のビンを予め定義しておく。
同一対象照合部31ではこうして、多数の統計情報送信部20から送信されたデータに含まれる対象情報（少なくとも検出対象の特徴情報及び位置情報をタイムスタンプと共に含む）を、当該定義しておいた区画と時間から成る２次元のビンに割り当てる。そして、上記の特徴情報を用いてビン内での同一対象データを照合し、それらを1つに統合する。具体的には，ビンごとに含まれる特徴情報を網羅的に組み合わせて同一対象か否かを判定し、是であれば統合する。
この際、さらに属性情報を考慮して属性情報が一致するもの同士を統合するようにしてもよい。属性情報の一致を考慮しない場合に、特徴情報に基づく一致判断によって複数の異なる属性情報を統合する必要が生じた場合、例えば性別は最頻値を選択し、年齢は平均値を選択する様にしてもよい。
このようにして、空間と時間で区切られた範囲内で同一対象の照合を行うことにより、誤照合を引き起こす候補が削減されるため、無制限の場合に比べて高精度な同一対象照合を実現することができる。計算量を削減するために、区画および／または時間の間隔を狭めることにより１つのビンに属するデータ数を減らすことで、１つのビンにおいて照合対象のデータ数を減らすようにしてもよい（すなわち、固定的なビンではなく可変的なビンを用いてもよい）し、網羅的な組み合わせの代わりに属性情報が類似する組み合わせのみで同一人物照合を行ってもよい。
なお、同一対象照合部31で用いる区画のビンは、図６で模式例を説明した通りの、選別部142で用いる個別の把握領域（地図記憶部13で属性情報として定義されている把握領域）と一致するものとして予め定義しておいてもよい。当該把握領域をさらに細分化したもの、または逆に統合して大きくしたものを区画のビンとして採用してもよい。
＜通行量推定部32＞
通行量推定部32では、上記の同一対象照合部31において得た各ビンの統合結果（及び統計情報送信部20から送信されているその他の統計情報）を用いて、各ビンの通行量を推定する。以下、検出対象が人物であり情報取得装置10が車両搭載されている場合を例として、当該通行量（人物に関する交通量）の推定を説明する。
通行量推定部32では、「観測」に関して予め定めた閾値以上の観測数のデータ（ここで、1回の「観測」とはある１つの情報取得装置10で当該時間及び空間ビンのデータが得られたことを意味する。当該データにおいて実際に「観測」された人数がゼロ（対象が未検出）であってもよく、1回分の「観測」に該当する。）が集まった区画と時間のビンに関して、各データに含まれる道路の長さ、徒歩等による通行者の人数を用い、また、予め与えておく通行者及び車両のそれぞれの一定速度（又は当該ビンを通過するのに要する一定時間）を用いることで、一時間あたりなど一定時間辺りの交通量（ユーザ等により指定された空間ビンの指定された期間における交通量）の最尤値を推定する。ここで、道路の長さとは一般には、当該ビンに対応する区間（歩道等）において情報取得装置10が人物を検出しうる範囲のことであり、ビンの定義の際に予め当該範囲（道路の長さ）も紐づけて設定しておけばよい。例えば図６の歩道区画PD3のビンに関しては、当該区画PD3の近辺の道路D（Ｔ字路Tの近辺）の長さとして設定しておけばよい。なお、以下の説明のように人物及び車両の当該区画の滞在時間（車両に関してより正確には当該区画のデータ取得可能な滞在時間）が所与の値として定義されていればよいので、定義される道路の長さに対応する実際の道路は図６のＴ字路Tのように、枝分かれ等が含まれるものであってもよい。
当該推定は、次のような確率に基づくモデルによって行うことができる。θを、推定対象となる時間及び空間ビンのデータを（同一空間ビンにおいて時間方向に）複数用いて得られる単位時間τあたりの交通量とする。すなわち、同一対象照合部31で照合した時間空間ビンにおける空間ビンの所定幅は、当該交通量θの推定対象の単位時間τよりも細かいτ/M（Mは2以上の整数）であるものとし、同一空間ビンにおいて当該M個の連続時間ビンのデータを参照することで交通量θを推定するものとする。（M=6の場合の例として、例えば図６の徒歩区画PD1の空間ビン（ある１つの固定された空間ビン）に関して、ある日の13時〜14時（単位時間τ=1時間）の交通量θを、同一対象照合部31で照合した6つの時間ビン「13:00〜13:10」、「13:10〜13:20」、「13:20〜13:30」、「13:30〜13:40」、「13:40〜13:50」、「13:50〜14:00」におけるデータ（識別された人数）に基づいて推定することができる。）
対象としての人物の徒歩移動速度が一定でv[徒歩]であるものとし、当該空間ビンの長さ（図６に示したような歩道区画の長さ）をLとすると、人物が当該歩道区画としてのビンに滞在している時間T[滞在]は以下となる。
T[滞在]=L/v[徒歩]
ある車両（情報取得装置10を搭載した車両）が当該歩道区画としてのビンを通過するのに要する時間をT[通過]とする（車速を一定としてv[車両]とするとT[通過]=L/v[車両]である）と、ある車両が当該単位時間τにおいて人物とすれちがう確率p（従って、当該すれちがうことにより当該人物の位置情報等を取得する確率p）は以下となる。τは前述の通り単位時間である。
p=T[滞在]/(τ-T[通過])
以上の数値例を挙げると次の通りである。例えば、歩道区画長L=20m、単位時間τ=1時間=3600秒、徒歩移動速度v[徒歩]=4km/τ（時速4km）、車両通過時間T[通過]=3秒の場合、以下のようになる。
T[滞在]=20 / (4 * 1000 / (3600)) = 18(秒)
p=18 / (3600 - 3) ≒ 1 / 200
当該すれちがう確率pを用いることで、当該時間空間ビン（時間軸の幅がτ/M）を時間軸方向にM個連続で並べた単位時間τあたりの交通量がθ（前述の通り当該θが推定対象である）のとき、当該時間空間ビンで定義される1回の観測において車両がn人とすれちがう確率qθ（すなわち、当該１つの時間空間ビンに関して同一対象照合部31で照合して識別された人数がnとなる確率qθ）は以下のようになる。
qθ= θCn*pn* (1-p)(θ-n)
ここで、空間ビンを固定して考えると、交通量θの推定対象となる単位時間τに関して、空間ビンの空間幅がそれぞれτ/ＭのM回分の観測が行われているので、各観測ごとに上記のqθが求まるが、毎回観測される数人数（nの部分）が一般には異なることとなる。そこで、m回目(m=1,2,…,M)の観測のqθをqm,θとすると、単位時間τの徒歩交通量がθ人の時にM回の観測でのすれ違い人数が観測どおりになる確率は、
Qθ=q1,θ * q2,θ * ・・・ qM,θ
となり、θの関数としての確率が求まることとなる。
通行量推定部32では以下のように、当該確率Qθが最も高いθを、交通量の最尤値θ[最尤値]として、推定結果を得ることができる。
θ[最尤値]=argmax(Qθ)
なお、以上の確率に基づくモデルによる交通量の最尤値θ[最尤値]の推定は、交通量θを推定するための観測データ（同一対象照合部31で得るデータ）が疎である場合に好適である。当該観測データが十分に密であれば当該モデルを用いずに、観測データをそのまま交通量として採用してもよい。上述の仮定に反する場合、例えば停車している車両からの観測の場合は同一位置で類似した観測を複数回行うこととなる。また、単一の車両からの観測のみではオクルージョンなどに起因して人が未検出となる恐れがある。これらの問題に対処するために、本発明の一実施形態においては同一対象照合部31を経て複数の車両からの観測を統合した後の区画と時間のビンに含まれる徒歩交通者の人数を一つの観測として扱う。
以上、本発明によれば、その応用的な用途として例えば、立地周辺の人流情報や人物の属性情報を自動的に収集し、立地ごとの統計情報を定量的に評価することができる。以下、本発明における補足を述べる。
（１）情報取得装置10においては、特徴抽出部19による特徴情報の抽出処理が省略され、対象検出部16で検出された検出対象と、当該検出対象に関して位置推定部17で推定された位置情報と、のみを取得するものとして構成されていてもよい。
（２）図４に示した情報取得装置10及び情報集計装置30はそれぞれ、一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって各装置10,30を構成することができる。さらに、各装置10,30の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等において実現するようにしてもよい。図１では情報集計装置30は情報取得装置10とは別途のサーバとして説明したが、複数の情報取得装置10のうち一部（全部でもよい）が情報集計装置30の機能を併用して備えるものであってもよい。１つ以上の情報取得装置10に当該併用される場合、情報集計装置30の当該併用される機能（特に全体のデータの共有機能）はＰ２Ｐ（ピアツーピア）形式などで実現されてもよい。
10…情報取得装置、11…点群取得部、12…自己位置推定部、13…地図記憶部、14…領域検出部、15…画像取得部、16…対象検出部、17…位置推定部、18…属性推定部、19…特徴抽出部、20…統計情報送信部
30…情報集計装置、31…同一対象照合部、32…通行量推定部

Claims (8)

  1. 情報取得装置であって、
    フィールドより点群データを取得する点群取得部と、
    前記取得した点群データとフィールドの所与の地図データとの位置合わせにより前記点群データを取得したカメラの位置として自己位置を推定する自己位置推定部と、
    前記カメラの位置よりフィールドを撮影して画像を取得する画像取得部と、
    前記画像より対象を検出する対象検出部と、
    前記推定された自己位置と、前記画像より検出された対象の領域に対応する前記点群の深度と、に基づいて、前記検出された対象のフィールドにおける位置情報を推定する位置推定部と、を備えることにより、
    前記検出された対象に関する情報として、前記推定された位置情報を取得し、
    前記取得した点群データのうち前記所与の地図データとの対応が取れない非対応点群データを求め、当該非対応点群データが前記画像において占めるセグメント領域を検出する領域検出部をさらに備え、
    前記対象検出部では、前記画像のうち、当該セグメント領域又は当該セグメント領域を包含する領域より、対象を検出し、
    前記領域検出部はさらに、前記非対応点群データのうち、前記所与の地図データにおいて予め定義されている把握領域の近傍にあるものを選別し、前記セグメント領域を、前記選別された非対応点群データが前記画像において占める領域として検出することを特徴とする情報取得装置。
  2. 前記把握領域は、前記画像より検出される対象が移動しうる領域として予め定義されていることを特徴とする請求項１に記載の情報取得装置。
  3. 前記領域検出部ではさらに、前記求めた非対応点群データを空間座標値に基づいてグループ分けし、前記セグメント領域を当該分けられたグループごとに区別して検出することを特徴とする請求項１または２に記載の情報取得装置。
  4. 前記領域検出部は、前記非対応点群データを内包する空間領域を求め、当該空間領域が前記画像において占める領域として前記セグメント領域を検出することを特徴とする請求項１ないし３のいずれかに記載の情報取得装置。
  5. 前記領域検出部は、前記空間領域をボクセルとして求めることを特徴とする請求項４に記載の情報取得装置。
  6. 請求項１ないし５のいずれかに記載の情報取得装置を１つ以上と、情報集計装置と、を備える情報集計システムであって、
    前記情報取得装置はさらに、
    前記検出された対象の前記画像における特徴情報を抽出する特徴抽出部を備え、
    前記情報集計装置は、
    各情報取得装置から取得される、検出された対象の特徴情報、位置情報及び時刻情報を、空間及び時間の所定のビンに割り当て、各ビン内において特徴情報が一致するもの同士を同一対象に該当するものとして統合する、同一対象照合部を備えることを特徴とする情報集計システム。
  7. 前記情報取得装置はさらに、
    前記検出された対象の属性情報を前記画像より抽出する属性抽出部を備え、
    前記情報集計装置は、
    前記各ビン内において特徴情報が一致するもの同士を同一対象に該当するものとして統合する際に、検出された対象の属性情報も考慮して統合することを特徴とする請求項６に記載の情報集計システム。
  8. 前記情報集計装置がさらに、
    前記同一対象照合部で同一対象に該当するものが統合されたビンに含まれる対象数の情報に基づき、指定された空間ビンの指定された期間における対象の通行量を推定する通行量推定部を備えることを特徴とする請求項６または７に記載の情報集計システム。
JP2018059488A 2018-03-27 2018-03-27 情報取得装置及び情報集計システム並びに情報集計装置 Active JP6894395B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018059488A JP6894395B2 (ja) 2018-03-27 2018-03-27 情報取得装置及び情報集計システム並びに情報集計装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018059488A JP6894395B2 (ja) 2018-03-27 2018-03-27 情報取得装置及び情報集計システム並びに情報集計装置

Publications (2)

Publication Number Publication Date
JP2019174910A JP2019174910A (ja) 2019-10-10
JP6894395B2 true JP6894395B2 (ja) 2021-06-30

Family

ID=68170356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018059488A Active JP6894395B2 (ja) 2018-03-27 2018-03-27 情報取得装置及び情報集計システム並びに情報集計装置

Country Status (1)

Country Link
JP (1) JP6894395B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023209997A1 (ja) * 2022-04-28 2023-11-02 日立Astemo株式会社 外界認識装置
WO2024004191A1 (ja) * 2022-06-30 2024-01-04 富士通株式会社 対応付け方法、装置、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6649178B2 (ja) * 2016-05-24 2020-02-19 株式会社東芝 情報処理装置、および、情報処理方法

Also Published As

Publication number Publication date
JP2019174910A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
Weld et al. Deep learning for automatically detecting sidewalk accessibility problems using streetscape imagery
US20200401617A1 (en) Visual positioning system
EP3280977B1 (en) Method and device for real-time mapping and localization
Wieland et al. Estimating building inventory for rapid seismic vulnerability assessment: Towards an integrated approach based on multi-source imaging
Bartels et al. Threshold-free object and ground point separation in LIDAR data
Laumer et al. Geocoding of trees from street addresses and street-level images
Minetto et al. Measuring human and economic activity from satellite imagery to support city-scale decision-making during covid-19 pandemic
Azevedo et al. Automatic vehicle trajectory extraction by aerial remote sensing
Rout A survey on object detection and tracking algorithms
US20160267326A1 (en) Image abstraction system
JP6997057B2 (ja) 不動物体情報から端末位置を推定する装置、プログラム及び方法
Daraei et al. Velocity and shape from tightly-coupled LiDAR and camera
Zhao et al. Automated traffic surveillance system with aerial camera arrays imagery: Macroscopic data collection with vehicle tracking
Taran et al. Impact of ground truth annotation quality on performance of semantic image segmentation of traffic conditions
Payet et al. Scene shape from texture of objects
JP6894395B2 (ja) 情報取得装置及び情報集計システム並びに情報集計装置
Akabane et al. Pedestrian trajectory prediction based on transfer learning for human-following mobile robots
Balali et al. Video-based highway asset recognition and 3D localization
Kukolj et al. Road edge detection based on combined deep learning and spatial statistics of LiDAR data
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
Hamledari Inpro: Automated indoor construction progress monitoring using unmanned aerial vehicles
Karaki et al. A comprehensive survey of the vehicle motion detection and tracking methods for aerial surveillance videos
Yang et al. Locator slope calculation via deep representations based on monocular vision
Masmoudi et al. Vision based approach for adaptive parking lots occupancy estimation
Murayama et al. Deep pedestrian density estimation for smart city monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210603

R150 Certificate of patent or registration of utility model

Ref document number: 6894395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150