JP4568845B2 - 変化領域認識装置 - Google Patents
変化領域認識装置 Download PDFInfo
- Publication number
- JP4568845B2 JP4568845B2 JP2007116753A JP2007116753A JP4568845B2 JP 4568845 B2 JP4568845 B2 JP 4568845B2 JP 2007116753 A JP2007116753 A JP 2007116753A JP 2007116753 A JP2007116753 A JP 2007116753A JP 4568845 B2 JP4568845 B2 JP 4568845B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- area
- change area
- box
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
つまり、空間情報をGISデータベースに統合・管理し、必要な情報をシミュレータによって仮想空間上に再現することで、広大な実世界の状況を容易に、素早く把握することが可能となり、監視や警備の自動化や、災害発生時の初期状況把握に対して有効であると考えられる。
また、リアルタイムにGISデータベースを更新できるようにすることを目的とする。
また、本発明の変化領域認識装置は、特定領域を三次元の点データの集合で表す第1の領域データと任意の時刻における前記特定領域を三次元の点データの集合で表す第2の領域データとを入力し、前記特定領域を三次元の小空間に区分する複数のボックスを設定し、第2の領域データの表す各点の三次元座標に基づいて各点が含まれるボックスを特定し、第2の領域データの表す各点が含まれる各特定ボックスの代表点を設定し、第2の領域データの表す各点の三次元座標に基づいて第1の領域データの表す各点に対する各特定ボックスの代表点の誤差範囲を算出し、第1の領域データの表す各点の三次元座標と各特定ボックスの代表点の三次元座標とを前記誤差範囲に基づいて比較し、当該特定ボックスの代表点が第1の領域データの表す各点から前記誤差範囲内に位置しない場合に当該特定ボックスに含まれる各点の第2の領域データを前記特定領域内の変化領域を示す変化領域データとし、変化領域データを表す各点データに基づいて変化領域の輪郭を算出し、算出した輪郭を持つ変化領域を表す変化領域データを特定する変化領域特定部と、前記変化領域特定部が特定した変化領域データに基づいて変化領域を認識する変化領域認識部と、360度全周囲を撮像するセンサが前記特定領域の周辺を移動して異なる位置から前記特定の領域を撮像した複数の画像データと各画像データを撮像時の前記センサの位置情報とを入力し、入力した複数の画像データに基づいて前記特定領域を表す点データの集合を生成し、入力した前記センサの位置情報に基づいて前記特定領域を表す点データの集合の座標系を前記第1の領域データの座標系に変換して前記変化領域特定部の入力する第2の領域データを生成する領域データ作成部とを備えたことを特徴とする。
三次元GISを監視・警備用途に使用することを考えると、従来のGISデータ更新方法において幾つかの問題が明確になる。まず、測定位置が上空であることである。上空からの測定では、地面や屋根といった水平面の計測がしやすい反面、壁面などの垂直面や屋根の下などの陰になる部分に対してほとんど計測できない。また、人や車両など地形に比べると格段に小さな物体を対象とすることは、今後のセンサの解像度向上や計算機の画像処理能力の向上を考慮しても困難である。また、データ取得から解析処理に時間がかかり、データベースの更新には数ヶ月から数年単位、短くても数日を要していた。このため、人や車両といった移動体をデータベース化したり、変化が起こった時を捉えたりといった用途には使用できなかった。
人や車両を含む変化領域の抽出と、抽出した変化領域のGISデータベースへの反映とをリアルタイムに行うための環境変化認識システム10の構成について、図1に基づいて以下に説明する。
ここでセンサ200は、測定対象(領域や物体)を計測できるように配置されているものとする。例えば、測定対象の3方(前方、後方、側面)を撮像できるようにして2ヶ所以上に配置してもよいし、自己位置標定装置(例えばRTK−GPS/INS:RealTime Kinematic−Global Positioning System/Inertial Navigation System)(図示しない)を備えて自己位置を取得する1つのセンサ200を配置し、測定対象の周辺を移動してもよい。
RTK−GPS/INSによる測位をする場合、センサ200は、数センチの精度でリアルタイムに自己の位置・姿勢の計測が可能になる。また、ODVにより撮像する場合、センサ200は、計測した位置・姿勢のデータと同期のとれた全周画像を取得することが可能になる。そして、RTK−GPS/INSの計測データから求められるODVの位置(ODVの円筒形状を成す仮想撮像面の中心位置)・姿勢(ODVの仮想撮像面の中心を原点とする局所空間座標系の基準座標軸の方向)や移動速度などの運動パラメータと、センサ200の移動に伴ない複数地点でODVにより取得した全周画像とを用いて、距離画像測定装置210のデータ処理部でエピポーラ拘束や視差を求めるモーションステレオ視の方法により距離画像を取得する。
例えば、異なる二地点でRTK−GPS/INSの計測データからODVの位置・姿勢の6自由度を推定し、これを拘束条件としてODVの全周画像の全画素に関するエピポーラ拘束(移動に伴なうODVの各位置とODVの注視点とが存在する平面であるエピポーラ平面、及びエピポーラ平面がODVの仮想撮像面と交差するエピポーラ線等の幾何学的な拘束条件)を求める。このエピポーラ拘束に従い、異なる二地点でそれぞれ得られた全周画像(仮想撮像面)上で、同一対象物(二地点の全周画像上で互いに対応する注視点)の画像を特定する(マッチングを取る)。特定した各画像を用いてモーションステレオ視の原理によって視差によって対象物までの距離と方向を求め、当該距離と方向に存在する画像の画像情報を求めて、距離画像を得る。この距離画像を用いて各画像の三次元モデルを構築することによって、密なテクスチャ付き三次元モデルの作成が可能になる。
さらに、360度全周囲の画像を自己位置/姿勢と同期して取得できるため、走行中のデータ取得が可能である他、車体動揺による姿勢角の補正も可能になる。また、ステレオ視演算の相関を取る画像を変え、ベースラインを自由に変えることで、距離画像精度を上げることが可能になる。
なお、レーザレーダで距離画像を取得する場合は、レーザの出力光が物体で反射して戻ってくるまでの時間を計測して距離を算出した後、レーザの出力方向を変動させる。レーザの出力方向と上記算出された距離とを逐次計測し、この計測値を集積することによって物体の三次元形状を測定する。
GISモデル作成部110では、センサ200が取得した測定対象の距離画像と位置情報とを入力して三次元GISモデルデータを作成する。センサ200が複数存在する場合は、測定対象を測定した複数のセンサ200のデータを入力して一つの三次元GISモデルデータを作成する。そして、作成した三次元GISモデルをGISモデル記憶部150に記憶する。三次元GISモデル(以下、三次元モデルデータとする)とは、センサ200の取得した点列データをセンサ座標系から任意の座標系に変換したデータであり、三次元の領域を示すデータである。
なお、任意の座標系としては、各地域毎に設定された基準座標系を用いても良いし、特定の施設や領域内で固定された局所的な基準座標系を用いても良い。
変化領域抽出部120では、GISモデル作成部110が作成した三次元モデルデータとGISデータベース300であらかじめ管理されている三次元GISデータとを比較する。そして、GISデータベース300の三次元GISデータを教師データとしてGISモデル作成部110が作成した三次元モデルデータの差異を抽出し、抽出した差異部分を変化領域とする。そして、変化領域内に存在する新たな物体を抽出する。つまり、変化要因である物体(変化領域)を特定する。GISモデル作成部110とGISデータベース300は共通の座標系を参照する。
形状データ記憶部140には、各種物体の「形状」、「大きさ」の情報(形状データ)を記憶しておく。
物体認識部130では、変化領域抽出部120が抽出した変化領域内の新たな物体の「形状」、「大きさ」をキーとして形状データ記憶部140を検索し、対応する物体を判定する。つまり、変化を引き起こしたのがどのような状況によるものかの認識を行う。
教師データ記憶部320は三次元GISデータ(教師データ)を時刻と共に記憶する。三次元GISデータとは、三次元の領域を示すデータである。
GISデータ更新部310は、認識装置100で認識した物体の発失を教師データ記憶部320に登録する。つまり、GISデータ更新部310がセンサ200の計測の状況をデータベースに反映することで、現在の状況へと更新する。
GISデータ参照部330は、測位対象に関する情報(位置情報や名称)を入力し、対応する教師データを教師データ記憶部320から取得して出力する。つまり、センサ200の前回の測定時の教師データを認識装置100に出力する。
三次元GISデータ(教師データ)では、測定対象となった建物や構造物等の立体形状を有する物体毎に、各物体を互いに識別するための識別番号が割当てられている。三次元GISデータは、例えば複数の点(ノード)と各ノードを接続する接続ラインから構成されて、接続ラインが立体的な形状を成す。
KIWI+のデータフォーマットは、建物等の物体をベクトルと画像テクスチャ等の属性で表現している。そこで認識装置100は、センサ200がステレオ視で得た三次元の点列データから面抽出を行い、面の各頂点を求めベクトル化し、得られた面にODV画像の対応テクスチャを貼付け、専用API(Application Program Interface)(GISデータ更新部310のインタフェース)を介してKIWI+データベース(GISデータベース300)の更新を行う。
図2において、認識装置100は、システムユニット910、CRT(Cathode Ray Tube)表示装置901、キーボード(K/B)902、マウス903、コンパクトディスク装置(CDD)905、プリンタ装置906、スキャナ装置907を備え、これらはケーブルで接続されている。
さらに、認識装置100は、FAX機932、電話器931とケーブルで接続され、また、ローカルエリアネットワーク(LAN)942、ウェブサーバ941を介してインターネット940に接続されている。
図3において、認識装置100は、プログラムを実行するCPU(Central Processing Unit)911を備えている。CPU911は、バス912を介してROM913、RAM914、通信ボード915、CRT表示装置901、K/B902、マウス903、FDD(Flexible Disk Drive)904、磁気ディスク装置920、CDD905、プリンタ装置906、スキャナ装置907と接続されている。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920、光ディスク装置は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信ボード915は、FAX機932、電話器931、LAN942等に接続されている。
例えば、通信ボード915、K/B902、スキャナ装置907、FDD904などは、情報入力部の一例である。
また、例えば、通信ボード915、CRT表示装置901などは、出力部の一例である。
磁気ディスク装置920には、オペレーティングシステム(OS)921、ウィンドウシステム922、プログラム群923、ファイル群924が記憶されている。プログラム群923は、CPU911、OS921、ウィンドウシステム922により実行される。
ファイル群924には、実施の形態の説明において、「〜判定し」、「〜を判定した結果」、「〜を計算し」、「〜を計算した結果」、「〜を処理し」、「〜を処理した結果」のような表現で説明する結果情報が、「〜ファイル」として記憶されている。
また、実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータの入出力を示し、そのデータの入出力のためにデータは、磁気ディスク装置920、FD(Flexible Disk cartridge)、光ディスク、CD(コンパクトディスク)、MD(ミニディスク)、DVD(Digital Versatile Disk)、その他の記録媒体に記録される。あるいは、信号線やその他の伝送媒体により伝送される。
環境変化認識システム10において、まず、センサ200は距離画像測定装置210(全周撮像装置:ODV)から距離画像を取得すると共に撮像した位置の情報を取得する(S101〜S102)。次に、GISモデル作成部110は取得した距離画像と位置情報とに基づいて距離画像の三次元モデルデータを生成する(S103〜S104)。生成された三次元モデルデータは一旦メモリに格納される。
次に、変化領域抽出部120は三次元モデルデータと教師データを、三次元空間上で投票処理して変化領域を抽出する。抽出した変化領域において物体が消失している場合、GISデータ更新部310は、消失した物体(の存在位置・存在領域)に対応する教師データを更新する。GISモデルデータには、その識別番号に対応付けられて消失した物体の消失時間を示す消失時間フラグ、新たに生成した物体の生成時間を示す生成時間フラグ等の、属性データの記憶領域が設定されている。
例えば、教師データ記憶部320から、三次元モデルデータ中で消失した物体に対応するGISモデルデータを参照し、参照されたGISモデルデータに対して消失した物体の消失時間を示す消失時間フラグを設定する。(S105)。
次に、変化領域抽出部120は抽出した変化領域において新たな物体が発生している場合、クラスタリング処理をして変化領域の分割を行い、発生した新たな物体(以下、変化領域の物体とする)を抽出する(S106)。
次に、変化領域の物体の三次元モデルをXYZ各面に投影し(S107)、変化領域の物体の輪郭を抽出する(S108)。
次に、物体認識部130は抽出した物体の輪郭と形状データ記憶部140に記憶された物体の形状データとを比較し、変化領域の物体の認識を行う(S109)。そして、GISデータ更新部310は認識した物体を教師データ記憶部320に反映させる(S110)。
ここでは、教師(GIS)データに存在しない駐車車両を変化領域の物体として抽出する例で説明を行う。
図5は、実施の形態1における距離画像取得(S101)の方法を示す図である。
センサ200は、図5に示すように、車両脇を画像取得位置1から画像取得位置3に移動して車両の前後、道路側の側面からの距離画像を取得する(S101)。また、距離画像を取得時に距離画像を取得した位置をGPS/INSにより測位する(S102)。
GISモデル作成部110は、センサ200から距離画像(点列データ)と位置情報とを取得する。そして、位置情報に対してセンサ200のセンサ座標系から教師データ記憶部320に記憶されるGISデータの座標系に座標変換を行う(S103)。
GISモデル作成部110は、距離画像を座標変換した位置情報に対応させて、X座標値、Y座標値、Z座標値と色情報(RGB:Red−Green−Blue)とを持つ点列データ(三次元モデルデータ)をGISモデル記憶部150に記憶する(S104)。
三次元モデルデータを生成する際に行ったODVの測定と、教師データ記憶部320の教師(三次元GIS)データを生成する際に行った測定では測定環境が異なる。つまり、三次元モデルデータと教師データとでは誤差が生じるため、重複するデータを消去することで差分をとることができない。そこで、変化領域抽出部120は、まず、GISモデル記憶部150から、新たに生成された三次元モデルデータを取得する。次に、取得した三次元モデルの位置情報をGISデータ参照部330に出力する。GISデータ参照部330は、教師データ記憶部320から位置情報の示す位置に対応する教師データを取得して変化領域抽出部120に出力する。そして変化領域抽出部120は、生成された三次元モデルデータと、教師データを用いて投票処理を行い、変化領域を抽出する(S105)。
投票処理について、図6、図7に基づいて以下に説明する。
まず、三次元GISデータの座標系(Σ)に沿って、空間を特定の間隔dで区切ることで、空間を複数の小空間(ボクセル空間。以下、単にボックスと呼ぶ)に区分けする。各ボックスを、例えば三次元の配列データ(i,j,k)で番号付けする。
次に、センサ200の取得画像から三次元モデルデータを生成する。三次元モデルデータの各データ点(ノード)について、どのボックス内にそのデータ点の座標が存在するのかを識別する。例えば図6の例に示すように、上記ボックスのうち、そのデータ点の座標Q(2.3、1.5、0.3)が内部に含まれるボックスBを、データ点を有した(2、1、0)番の配列のボックスとしてカウントする(投票処理する)。このボックスの投票処理により、三次元モデルデータの各データ点の集合を、ボックスの集合(ボックスが繋がって形成される集合体)に捉え直して表現する。なお、データ点の座標からボックスの配列を求める際は、図の例のように単に座標値を四捨五入するなど、簡便な方法を用いて求めると、演算量を軽減することができる。
また、データ点が含まれるボックスの座標として、そのボックスの代表点P(中心点など)を採用し、その代表点を用いて以下のように誤差判定を行う。
投票処理の結果得られるボックスの代表点を、各代表点に一定の誤差σを持たせた球状の領域の集合として、この代表点と教師(三次元GIS)データと比較する。
図7左図のように、三次元GISデータを構成する各点(黒丸)の誤差領域内にボックスモデルデータを構成する代表点(白丸)が存在する場合は、この代表点を有するボックスモデルデータが三次元GISデータと同一と判定し、このボックスモデルデータを切り捨てる。
図7右図のように、三次元GISデータの誤差領域内にボックスモデルデータを構成する代表点が存在しない場合は、このボックスモデルデータが変化領域の一部を示すデータであると判断して、この代表点に連結したボックスモデルデータを整理する。
代表点の測定値が複数ある場合、加重平均をして測定値の最良推定値を求める。以下、ある量XについてN個の測定値があるものとする(式1)。
また、Wiは式3のように定義される重みであり、それぞれの誤差の逆数の二乗である。
S105で抽出した変化領域はそれぞれ特定の体積を持つボックスであるが、変化をもたらしたものは何らかの形状を持つ物体である。
よって、この変化の生じた変化ボックスを、変化領域として認識する必要がある。
そこで、変化領域の分割(S106)の処理では、互いの間隔が一定範囲内にある隣接したボックスをまとめて、ひとつの変化領域として認識する。
これをクラスタリングと呼ぶ。
その手順は以下のとおりである。
(1)低密度部分の消去
ボックスのカウント数がしきい値以下となるボックスの、カウント値を0とする。
(2)領域化
所定のボックスに囲まれたカウント値0のボックスに対し、高いカウント値を設定することで領域化する。
(3)ノイズの削除
まとまったボックス集合体の、領域体積の小さい領域(ノイズ領域)を削除する。
S105で抽出した変化領域内には、複数の物体を含んでいる場合が考えられ、それらを個別に認識する必要がある。そこで変化領域の分割(S106)では、クラスタリング処理で変化領域を物体毎に分割している。クラスタリング処理とは、変化領域をボックスが連結する各部分に分割し、分割した各部分が別の物体を構成するものか同一の物体を構成するものかを判定して同一の物体を構成する部分をグループ化する処理のことである。
変化領域抽出部120は、S106で分割した各変化領域の三次元モデルデータをX、Y、Zの各平面に投影する。例えば、VRMLや点密度で三次元モデルデータを各平面に投影する。
変化領域抽出部120は、S107で各変化領域の三次元モデルデータを投影した各平面のデータに基づいて物体の輪郭を抽出する。例えば、曲線、曲面を抽出してもよいし、前出の直線近似により輪郭を抽出してもよい。
図8は、実施の形態1におけるS108で実施される変化領域の分割を示す図である。
図8において、左図が分割前の変化領域であり、右図が分割後の変化領域である。右図は、左図の変化領域をラベル1で示す領域、ラベル2で示す領域、ラベル3で示す領域に分割した場合を示している。
図8に示す変化領域の分割を行うために変化領域抽出部120は図9に示す処理を行う。
図9において、S201〜S207の処理がクラスタリング処理であり、S208の処理がラベリング処理である。
図10では、抽出された変化領域の駐車車両(2台)の三次元モデルデータをVRML(Virtual Reality Modeling Language)フォーマットでY平面(ここでは、車両の側面)に投影したものを示している。
図11では、図10で示した駐車車両を、1cm2あたりの三次元モデルの点密度で示している。つまり、1cm2内に点データが有る場合、その1cm2を1つの点で示す。また、その1cm2内に存在する点の数(点密度)が多い場合と少ない場合とで色を変える。
図11は、横視差ステレオで距離画像を取得し三次元モデルを作成した場合のY平面投影図であるが、横視差ステレオは、ベースラインと平行する横エッジの感度が低いため、横エッジが少ない車両の側面には測定できなかった部分(点データが無い部分または点密度が低い部分)が生じている。
図12では、図11で示した駐車車両に対する点密度のうち、点密度が10未満の部分を削除したものを示している。
図13では、図12で示した駐車車両に対する点密度のうち、高い点密度部分に囲まれた隙間を埋めて領域化したものを示している。
図14では、図13で示した駐車車両に対する点密度の領域のうち、領域面積が10(cm2)以下の領域を削除したものを示している。
図15では、図14で示した駐車車両に対する四角形で近似した各領域で変化領域を分割したものを示している。図15において、変化領域の2台の駐車車両はそれぞれ車体の前部と後部とに分割されている。
図16では、図15で示した駐車車両に対する点密度の各領域を直線近似したものを示している。
具体的には、四角形で近似した隣り合う領域の内側の間隔または外側の間隔が一定の閾値より大きい、つまり、隣り合う領域が一つの物体を構成するには離れすぎているか、隣り合う領域が一つの物体を構成すると物体が大きすぎると判断できる場合に、隣り合う領域は一つの物体を構成しないと判定する。駐車車両を対象とする場合、一般的な車両の大きさを考慮して閾値を設定すればよい。
また、直線で近似した隣り合う領域が形成する物体の形状の特徴に基づく判定を行う。例えば、駐車車両を対象とする場合、中央部の窪んだ車両は無いと判断できることから、隣り合う領域の直線が逆八の字を形成する場合、隣り合う領域は一つの物体を構成しないと判定する。
また、色の連続性を考慮して、隣り合う領域のRGB平均輝度値が一定の閾値以上に異なる場合、隣り合う領域は一つの物体を構成しないと判定する。
上記判定の組合せにより判定を行い、隣り合う領域が一つの物体を構成しないと判定しなかった場合に、隣り合う領域が一つの物体を構成すると判定する。
これにより、物体の一部の画像データが取得できず物体の画像データが複数の領域に分割された場合であっても各領域が一つの物体を構成することを検出することができる。
図17では、図16で示したそれぞれ2つの領域に分割された2台の駐車車両を車両単位で認識したものを示している。
まず、Y平面やX平面において変化領域の各物体を四角形近似して物体側面の長さと物体の高さを計測する。前出の図17は、Y平面において変化領域の各物体を四角形に近似した場合を示している。
図18、図19は、実施の形態1における変化領域(駐車車両)のZ平面投影図である。
図18は、図17の2台の駐車車両の三次元モデルデータをZ平面に投影してそれぞれを四角形近似した図である。
また、前出の図5で説明したように、駐車車両に対して前方、後方、側面の画像を取得する場合、画像を取得した反対側の側面を撮像できない為、Z平面投影図は、通常、図19に示すように3辺のみ点密度が存在することになる。しかし、既知の3辺から四角形近似ができるため、駐車車両の幅を計測することができる。
物体認識部130は、S108で変化領域抽出部120が抽出した輪郭について形状データ記憶部140を検索して抽出した輪郭に対応する物体を判定する。そして、形状データ記憶部140に記憶された対応する物体の情報(例えば、物体の名称)を取得し、変化領域の物体を認識する。
例えば、上記のように直方体近似で輪郭を抽出した場合、直方体の高さ、長さ、幅が一致する物体を形状データ記憶部140で検索する。
物体認識部130は、S106で変化領域抽出部120が分割した変化領域の各物体に対する画像データ(テクスチャ)をGISモデル記憶部150から取得し、取得したテクスチャとS109で認識した物体の情報とをGISデータ更新部310に出力する。GISデータ更新部310はテクスチャと物体の情報とを教師データ記憶部320に追加する。
まず、物体認識部130は、変化領域の物体を示す点データを最小二乗法により直線近似して、直線の傾きから物体の前後を判定する(図16)。
次に、物体認識部130は、判定した物体の前後に対応させて、直方体近似した物体の各面のテクスチャをGISモデル記憶部150から取得する。
図20は、実施の形態1における直方体近似した物体(駐車車両)からテクスチャを取得する図を示す。
次に、物体認識部130は、変化領域の物体を示す点集合から4つの頂点の点データを取得し、取得した点データ(位置データ)の座標系をENU座標系に変換する。但し、GISモデル記憶部150に記憶された点データの座標系がENU座標系である場合は変換処理は不要である。
そして、物体認識部130は、S109で認識した物体の情報と、判定した物体の前後の情報に対応させて取得したテクスチャと、ENU座標系の4つの頂点の位置データと、S108で計測した高さとをGISデータ更新部310に出力する。GISデータ更新部310は入力したデータを入力した時刻と関連付けて教師データ記憶部320に追加する。
図21は、実施の形態1における教師データ記憶部320に追加するワゴンのデータを示す図である。
図において、Positionは、ワゴンの三次元モデルデータを構成するENU座標系の4つの頂点の位置データ(ENU座標系でのXY方向の座標)を示し、Heightはワゴンの三次元モデルデータの高さ(ENU座標系でのZ方向を高さ方向とする)を示す。また、Front,Side,Backはそれぞれ、ワゴンの三次元モデルデータをX方向、Y方向、−X方向から見た場合の、ワゴンの画像を示す。この画像はテクスチャとしてGISモデル記憶部150に記憶されている。
これによって、変化領域内で新たに出現した三次元モデルデータについて、単なる大きさや形状の情報を取得するだけではなく、テクスチャの画像情報を用いて物体の特徴点を識別することが可能となる。
また、短時間でのデータベース更新が可能であり、駐車車両など一定時間のみ存在する物体をデータベースに登録することが可能となり、固定物だけではなく移動体についてもデータベース化とその変化の抽出を行うことができる。
Claims (4)
- 特定領域を点データの集合で表す第1の領域データと任意の時刻における前記特定領域を点データの集合で表す第2の領域データとを入力し、
入力した第2の領域データに基づいて第1の領域データに対する第2の領域データの誤差範囲を算出し、
第1の領域データと第2の領域データとを比較して第1の領域データと第2の領域データとで相違する第1の領域データの部分データと第2の領域データの部分データとを抽出し、
抽出した第1の領域データの部分データと第2の領域データの部分データとを前記誤差範囲に基づいて比較し、第2の領域データの部分データが第1の領域データの部分データからの前記誤差範囲内に位置しない場合に第2の領域データの部分データを前記特定領域内の変化領域を示す変化領域データとし、
変化領域データを表す各点データに基づいて変化領域の輪郭を算出し、算出した輪郭を持つ変化領域を表す変化領域データを特定する変化領域特定部と、
前記変化領域特定部が特定した変化領域データに基づいて変化領域を認識する変化領域認識部と、
360度全周囲を撮像するセンサが前記特定領域の周辺を移動して異なる位置から前記特定の領域を撮像した複数の画像データと各画像データを撮像時の前記センサの位置情報とを入力し、入力した複数の画像データに基づいて前記特定領域を表す点データの集合を生成し、入力した前記センサの位置情報に基づいて前記特定領域を表す点データの集合の座標系を前記第1の領域データの座標系に変換して前記変化領域特定部の入力する第2の領域データを生成する領域データ作成部と、
各物体の形状データを記憶する形状データ記憶部とを備え、
前記変化領域認識部は、
前記変化領域特定部の特定した変化領域データと前記形状データ記憶部に記憶された形状データとを比較し、変化領域データと合致した形状データの示す物体を変化領域データに対応する物体と識別することを特徴とする変化領域認識装置。 - 前記変化領域特定部は、
特定領域を三次元の点データの集合で表す第1の領域データと任意の時刻における前記特定領域を三次元の点データの集合で表す第2の領域データとを入力し、
前記特定領域を三次元の小空間に区分する複数のボックスを設定し、
第2の領域データの表す各点の三次元座標に基づいて各点が含まれるボックスを特定し、
第2の領域データの表す各点が含まれる各特定ボックスの代表点を設定し、
第2の領域データの表す各点の三次元座標に基づいて第1の領域データの表す各点に対する各特定ボックスの代表点の誤差範囲を算出し、
第1の領域データの表す各点の三次元座標と各特定ボックスの代表点の三次元座標とを前記誤差範囲に基づいて比較し、当該特定ボックスの代表点が第1の領域データの表す各点から前記誤差範囲内に位置しない場合に当該特定ボックスを前記特定領域内の変化領域を示す変化領域ボックスとし、
各変化領域ボックスに含まれる点の個数をカウントし、
点の個数が特定の閾値未満である変化領域ボックスを削除し、
点の個数が特定の閾値以上である各変化領域ボックスに囲まれたボックスを変化領域ボックスとし、
変化領域ボックスが連なった各変化領域ボックス集合体のうち、特定の体積未満の変化領域ボックス集合体を削除し、
各変化領域ボックス集合体の各変化領域ボックスを直線で近似し、
近似した直線の傾きに基づいて隣り合う各変化領域ボックス集合体の関連を判定し、関連すると判定した各変化領域ボックス集合体の各点データを前記特定領域内の一つの変化領域データとする
ことを特徴とする請求項1記載の変化領域認識装置。 - 特定領域を三次元の点データの集合で表す第1の領域データと任意の時刻における前記特定領域を三次元の点データの集合で表す第2の領域データとを入力し、
前記特定領域を三次元の小空間に区分する複数のボックスを設定し、
第2の領域データの表す各点の三次元座標に基づいて各点が含まれるボックスを特定し、
第2の領域データの表す各点が含まれる各特定ボックスの代表点を設定し、
第2の領域データの表す各点の三次元座標に基づいて第1の領域データの表す各点に対する各特定ボックスの代表点の誤差範囲を算出し、
第1の領域データの表す各点の三次元座標と各特定ボックスの代表点の三次元座標とを前記誤差範囲に基づいて比較し、当該特定ボックスの代表点が第1の領域データの表す各点から前記誤差範囲内に位置しない場合に当該特定ボックスに含まれる各点の第2の領域データを前記特定領域内の変化領域を示す変化領域データとし、
変化領域データを表す各点データに基づいて変化領域の輪郭を算出し、算出した輪郭を持つ変化領域を表す変化領域データを特定する変化領域特定部と、
前記変化領域特定部が特定した変化領域データに基づいて変化領域を認識する変化領域認識部と、
360度全周囲を撮像するセンサが前記特定領域の周辺を移動して異なる位置から前記特定の領域を撮像した複数の画像データと各画像データを撮像時の前記センサの位置情報とを入力し、入力した複数の画像データに基づいて前記特定領域を表す点データの集合を生成し、入力した前記センサの位置情報に基づいて前記特定領域を表す点データの集合の座標系を前記第1の領域データの座標系に変換して前記変化領域特定部の入力する第2の領域データを生成する領域データ作成部と、
各物体の形状データを記憶する形状データ記憶部とを備え、
前記変化領域認識部は、
前記変化領域特定部が特定した変化領域データと前記形状データ記憶部に記憶された形状データとを比較し、変化領域データと合致した形状データが示す物体を変化領域データに対応する物体として識別する
ことを特徴とする変化領域認識装置。 - 前記変化領域特定部は、
当該特定ボックスの代表点が第1の領域データの表す各点から前記誤差範囲内に位置しない場合に当該特定ボックスを前記特定領域内の変化領域を示す変化領域ボックスとし、
各変化領域ボックスに含まれる点の個数をカウントし、
点の個数が特定の閾値未満である変化領域ボックスを削除し、
点の個数が特定の閾値以上である各変化領域ボックスに囲まれたボックスを変化領域ボックスとし、
変化領域ボックスが連なった各変化領域ボックス集合体のうち、特定の体積未満の変化領域ボックス集合体を削除し、
各変化領域ボックス集合体の各変化領域ボックスを直線で近似し、
近似した直線の傾きに基づいて隣り合う各変化領域ボックス集合体の関連を判定し、
関連すると判定した各変化領域ボックス集合体の各点データを前記特定領域内の一つの変化領域データとする
ことを特徴とする請求項3記載の変化領域認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007116753A JP4568845B2 (ja) | 2007-04-26 | 2007-04-26 | 変化領域認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007116753A JP4568845B2 (ja) | 2007-04-26 | 2007-04-26 | 変化領域認識装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004363092A Division JP3966419B2 (ja) | 2004-12-15 | 2004-12-15 | 変化領域認識装置および変化認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007193850A JP2007193850A (ja) | 2007-08-02 |
JP4568845B2 true JP4568845B2 (ja) | 2010-10-27 |
Family
ID=38449435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007116753A Expired - Fee Related JP4568845B2 (ja) | 2007-04-26 | 2007-04-26 | 変化領域認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4568845B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5088627B2 (ja) * | 2008-04-30 | 2012-12-05 | 国際航業株式会社 | マルチマッチング方法 |
KR100931004B1 (ko) | 2008-11-27 | 2009-12-10 | (주)미도지리정보 | 지리정보 및 지형정보에 따른 데이터의 오차 여부를 확인 및 갱신해서 수치지도의 정밀성을 향상시킨 수치지도 제작시스템 |
KR101030763B1 (ko) * | 2010-10-01 | 2011-04-26 | 위재영 | 이미지 획득 유닛, 방법 및 연관된 제어 유닛 |
MY162769A (en) * | 2010-10-25 | 2017-07-14 | Lockheed Corp | Detecting structural changes to underwater structures |
CN102254319B (zh) * | 2011-04-19 | 2013-06-19 | 中科九度(北京)空间信息技术有限责任公司 | 一种多层次分割的遥感影像变化检测方法 |
EP3361235A1 (en) * | 2017-02-10 | 2018-08-15 | VoxelGrid GmbH | Device and method for analysing objects |
KR102078254B1 (ko) * | 2018-03-30 | 2020-02-17 | 서울시립대학교 산학협력단 | 라이다 데이터를 이용한 지형 변화 실시간 탐지 방법, 이를 위한 시스템 및 서버에 저장된 컴퓨터프로그램 |
JP7102383B2 (ja) | 2019-10-24 | 2022-07-19 | 株式会社東芝 | 路面画像管理システム及びその路面画像管理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002024855A (ja) * | 2000-07-12 | 2002-01-25 | Ricoh Co Ltd | 3次元形状生成方法およびその方法を実施するためのプログラムを記憶した記憶媒体 |
JP2004046464A (ja) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 |
JP2004173195A (ja) * | 2002-11-22 | 2004-06-17 | Fuji Heavy Ind Ltd | 車両監視装置および車両監視方法 |
JP2004259114A (ja) * | 2003-02-27 | 2004-09-16 | Seiko Epson Corp | 物体識別方法および物体識別装置、並びに物体識別プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08272929A (ja) * | 1995-03-29 | 1996-10-18 | Sharp Corp | 動物体3次元位置抽出装置 |
JP3349060B2 (ja) * | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
-
2007
- 2007-04-26 JP JP2007116753A patent/JP4568845B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002024855A (ja) * | 2000-07-12 | 2002-01-25 | Ricoh Co Ltd | 3次元形状生成方法およびその方法を実施するためのプログラムを記憶した記憶媒体 |
JP2004046464A (ja) * | 2002-07-10 | 2004-02-12 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 |
JP2004173195A (ja) * | 2002-11-22 | 2004-06-17 | Fuji Heavy Ind Ltd | 車両監視装置および車両監視方法 |
JP2004259114A (ja) * | 2003-02-27 | 2004-09-16 | Seiko Epson Corp | 物体識別方法および物体識別装置、並びに物体識別プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2007193850A (ja) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4568845B2 (ja) | 変化領域認識装置 | |
Murphy et al. | Historic building information modelling (HBIM) | |
Sportouche et al. | Extraction and three-dimensional reconstruction of isolated buildings in urban scenes from high-resolution optical and SAR spaceborne images | |
US10186080B2 (en) | Image processing | |
Gross et al. | Extraction of lines from laser point clouds | |
US10521694B2 (en) | 3D building extraction apparatus, method and system | |
WO2006027339A2 (en) | Method and system for 3d scene change detection | |
Huang et al. | Semantics-aided 3D change detection on construction sites using UAV-based photogrammetric point clouds | |
US20120294534A1 (en) | Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus | |
CA2582971A1 (en) | Computational solution of and building of three dimensional virtual models from aerial photographs | |
Alidoost et al. | An image-based technique for 3D building reconstruction using multi-view UAV images | |
JP4058293B2 (ja) | レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム | |
Cosido et al. | Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace | |
JP2016217941A (ja) | 3次元データ評価装置、3次元データ測定システム、および3次元計測方法 | |
Guo et al. | Extraction of dense urban buildings from photogrammetric and LiDAR point clouds | |
CN115825067A (zh) | 一种基于无人机的地质信息采集方法、系统及电子设备 | |
Razali et al. | A hybrid point cloud reality capture from terrestrial laser scanning and UAV-photogrammetry | |
JP3966419B2 (ja) | 変化領域認識装置および変化認識システム | |
CN112749584A (zh) | 一种基于图像检测的车辆定位方法及车载终端 | |
Che Ku Abdullah et al. | Integration of point clouds dataset from different sensors | |
Lari et al. | A new approach for segmentation-based texturing of laser scanning data | |
CN114677435A (zh) | 一种点云全景融合要素提取方法和系统 | |
Habib et al. | Integration of lidar and airborne imagery for realistic visualization of 3d urban environments | |
Chen et al. | Intelligent Interpretation of the Geometric Properties of Rock Mass Discontinuities Based on an Unmanned Aerial Vehicle | |
Henricsson et al. | Automated 3-D reconstruction of buildings and visualization of city models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |