JP6084552B2 - 路面オルソ画像の生成装置および生成方法 - Google Patents

Description

本発明は路面オルソ画像の生成装置および生成方法に関するものである。

移動計測車両による収集データに基づいて路面オルソ画像を生成するものとしては、従来、例えば特許文献１に記載されたものが知られている。この従来例において、路面オルソ画像の生成は、レーザスキャナ等を搭載したレーザ計測車両を道路上で走行させて得られるレーザデータの各スポット点に反射強度に応じた色を割り付けた上で、各スポット点をその３次元座標計測値を利用して正射影位置に配置し直してなされる。上記レーザデータはレーザ計測車両の走行軌跡を利用して道路面から所定の高さを持たせて生成される道路立体内のもののみが抽出されることにより、街路樹などの道路面上に覆い被さる地物を示しているものが取り除かれる。

また、路面オルソ画像は、以上のようにレーザデータに色を割り付けて生成する以外に、移動計測車両にレーザスキャナ等に加えてカメラをも搭載しておき、このカメラの撮影画像の各画素をレーザデータ（点群データ）を利用して正射影位置に配置し直して生成することも可能である。

特開２０１３-９３００８号公報

しかしながら、上述のようにカメラの撮影画像に基づいて路面オルソ画像を生成する場合、上述したレーザデータのように街路樹等を示す画素群を撮影画像からオペレータの目視によらずに除去することができない。

すなわち、カメラの撮影画像の各画素はレーザデータのように正確な高さ情報を持たないために、高さ情報に基づいて街路樹等を示す画素群を特定することはできないし、一般に移動計測車両においてカメラの撮影タイミングとレーザスキャナのスキャンタイミングとは異なっていることから、街路樹等を示すレーザデータの点群の領域に対応する撮影画像中の画素群を特定することも難しい。とりわけ、除去の原因となっているものが街路樹等ではなく、走行中の移動計測車両や他車両などの移動しているものである場合、その絶対的な位置が特定されないために、撮影画像中の対応する画素群を特定することができない。

このため従来においては、移動計測車両や他車両などの移動しているものの映り込みをオペレータが目視で確認した上で、手作業でマスク処理していたが、この場合、一度の撮影機会で撮影画像が数千枚から数万枚などの枚数に達するのが一般的であることから、多大な労力、時間を要してしまうという欠点がある。

本発明は以上の欠点を解消すべくなされたものであって、移動計測車両や他車両などの移動しているものを示す画素群のカメラの撮影映像からの除去を効率的にすることのできる路面オルソ画像の生成装置および生成方法の提供を目的とする。

本発明によれば上記目的は、
ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両１による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成装置であって、
前記カメラによる所定の撮影画像２において移動計測車両１または他車両３の映り込みにより路面４が隠蔽され、あるいは他車両３の影５が路面４に映っている領域を非正常計測領域６として自動的に検出し、当該非正常計測領域６を他の撮影画像２における路面撮影領域により補完して路面オルソ画像を生成する生成手段７を有し、
かつ、前記生成手段７は、
前記撮影画像２をエッジ画像８に変換するエッジ検出フィルタ９と、
前記エッジ画像８の複数における出現頻度に基づいてエッジ強度を補正して指標値化する指標化手段１０と、
前記指標値に基づいてエッジ画像８を二値化した二値画像１１内の閉領域を移動計測車両１の映り込み領域と判定し、非正常計測領域として検出する自車両検出手段１２とを有する路面オルソ画像の生成装置を提供することにより達成される。

移動計測車両１は、ＧＰＳやＩＭＵによりカメラやレーザスキャナによるデータ取得時の外部標定要素を、カメラやレーザスキャナにより計測対象である路面４の色情報や形状（座標）情報を走行時に逐次取得し、事前のキャリブレーションにより算出されるカメラの内部標定要素とともに、これらを収集データとして路面オルソ画像の生成装置に提供する。路面オルソ画像の生成装置は、カメラの撮影画像２をレーザスキャナにより取得される路面４の形状に投影処理してオルソ化し、オルソ画像を生成する。なお、外部標定要素の一部である移動計測車両１へのカメラ、レーザスキャナの設置位置・姿勢は、事前のキャリブレーションにより算出されて路面オルソ画像の生成装置に提供される。また、移動計測車両１にＧＰＳとともにオドメータを搭載しておき、ＧＰＳデータをオドメータデータにより補って外部標定要素を決定することも可能である。

カメラの撮影画像２に路面４を遮るようにして映り込むことのある移動計測車両としての自車両１や他車両３、あるいは他車両３の影５は、生成手段７によりその撮影画像２内での領域が自動的に検出され、当該領域について、移動計測車両１の走行に伴ってこれら自車両１等が映り込むことなく撮影された同じ場所の路面４の画像により補完される。

また、本発明によれば、カメラの撮影画像２を単にエッジ画像８に変換した場合、自車両１に加え、例えば縁石や道路標示等もエッジとして検出されてしまう可能性があるが、出現頻度に応じてエッジ強度を補正して指標値化することにより、これらの不要な検出を防止して自車両１のみを良好に特定することができる。すなわち、自車両１の映り込みは、カメラの移動計測車両１における取り付け位置と姿勢に起因し、該当するカメラにより撮影された全ての撮影画像２において同一の領域に位置するために、出現頻度とエッジ強度を考慮してエッジ成分を指標値化することにより、自車両１のみを適切に検出することができる。

この場合において、二値画像１１の複数種類を生成して各々の閉領域を比較し、重複率を算出する比較手段１３を設け、所定の閾値を超える重複率の閉領域を非正常計測領域６として検出すれば、自車両１の検出精度をさらに高めることができる。

また、他車両３の影５の映り込み領域については、
ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両１による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成装置であって、
前記カメラによる所定の撮影画像２において移動計測車両１または他車両３の映り込みにより路面４が隠蔽され、あるいは他車両３の影５が路面４に映っている領域を非正常計測領域６として自動的に検出し、当該非正常計測領域６を他の撮影画像２における路面撮影領域により補完して路面オルソ画像を生成する生成手段７を有し、
かつ、前記生成手段７は、
上記撮影画像２から輝度値に基づいて影候補領域１４を抽出する影候補領域抽出手段１５と、
上記撮影画像２において上記影候補領域１４の外縁に位置する各着目画素１６から影候補領域１４の内外方向所定範囲内に位置する近傍画素の輝度値をサンプリングし、その出現頻度の統計処理により影５と背景の境界を示す輝度の閾値を求める境界判定手段１７と、
上記閾値に従って影候補領域１４を外側に拡張して得られる閉領域を他車両３による影領域１８と判定する影検出手段１９とを有する路面オルソ画像の生成装置を用いることにより自動的に検出することができる。

影５は、その輝度値に基づいて検出することが不可能ではないが、路面４においては周辺からの太陽光線の照り返しが珍しくないために、暗い部分に加えてやや暗い程度の部分も存在しやすい。このため、輝度値に基づいて最初に暗い領域を抽出した上で、その後にやや暗い程度の領域へも領域拡張して全体を特定することにより、検出精度を維持しつつ影５の全体を漏れなく検出することができる。

上述したやや暗い程度の影５の外縁は、暗い影５の外縁を跨いで適数の画素の輝度値をサンプリングした上で、例えば、輝度値を横軸、その出現頻度を縦軸とするヒストグラム２０における谷の輝度値に従って決定することが可能であり、このようにヒストグラム化して解析することにより、影５と日向の境界の輝度値を出現頻度の推移に基づいて統計的に求めることができる。

この場合において、上記近傍画素の輝度値の参照範囲を影候補領域１４の外側に逐次拡張して出現頻度の増加率を算出し、上述したヒストグラム２０の谷が所定値を超える出現頻度の増加率の輝度値間にあるときに閾値として判定すれば、輝度値の参照範囲の拡張が影５と日向の境界部分に達して谷の前後に応じた輝度値が増加傾向にあるときに閾値が決定されることから、不測のノイズの影響を抑えることができる。

さらに、他車両３の映り込み領域については、上述のようにして検出される他車両３の影５を利用して特定することが可能であり、具体的には例えば、
上記影候補領域１４あるいは影領域１８の上縁部から地上座標系において所定の長さ範囲内となる線分２１を探索する線分探索手段２２と、
上記線分２１の移動計測車両１の進行方向を基準にした角度を演算し、予め設定された所定の許容角度範囲内にあるか否かに基づいて当該線分２１を他車両３の側面下縁、正背面下縁、あるいはそれ以外のいずれかに振り分ける方位判定手段２３と、
上記線分２１が他車両３の側面下縁あるいは正背面下縁に該当するときに、線分２１の地上座標系における寸法に基づいて、車両の側面下縁および正背面下縁の目安寸法毎に当該目安寸法に応じた車両種別を関連づけて構成される車両種別データベース２４を参照して、影５の原因となっている他車両３の車両種別を判定する車両種別判定手段２５と、
上記車両種別に応じたサイズの車両モデル２６を撮影画像２上に投影処理して得られる車両モデル占有領域を他車両３の映り込み領域と判定する他車両検出手段２７とを用いることにより自動的に検出することができる。

他車両３の検出は、上述したように他車両３の影５が検出されたときに、この影５を頼りにして検出することができる。これにより、撮影画像２中から単に輝度値等を頼りに他車両３を検出する場合におけるような、他車両３の色の違いによる検出精度の低下を防止することができる。

他車両３の影５は他車両３の下側に発生することから、他車両３自体は、影５の上縁部に表れる線分２１の長さ、この線分２１の他車両３の進行方向に対する方位により、その車両種別、長手方向の向きを特定することが可能である。撮影画像２上に上記車両種別に応じた他車両３の車両モデル２６を上述の線分２１の位置や長手方向の向きに応じて投影処理することにより、他車両３の撮影画像２上における映り込み領域を把握することができる。

上記車両モデル２６としては、車両の概略の大きさに応じて、例えば、小型車、普通車、大型車といったように分類することが可能である。各車両モデルの形状は、このような分類に応じて当該車両分類における典型的なものにすれば足り、例えば普通車であればいわゆるセダンタイプのように側面視台形形状に設定することが可能である。この場合において、車両モデル２６として直方体の単数あるいは複数の組合せからなるボックスモデルを利用すれば、他車両３の撮影画像２上におけるおおよその占有領域を効率的に把握することが可能になる。

また、上記車両モデル２６は、例えば車両種別に応じた実際の車両サイズよりもやや大きくなるように設定すれば他車両３を撮影画像２から確実に除去することができるが、車両モデル占有領域内の画素の輝度値をサンプリングして所定の統計値を演算し、該統計値に基づいて車両モデル占有領域内から他車両３の映り込み領域をさらに絞り込み抽出し、あるいは車両モデル占有領域の外部近傍から追加抽出する調整部を設ければ、車両モデル２６を他車両３の特定のための統計値の決定に活用して、他車両３をより高精度に特定することが可能となる。

以上のようにして特定される自車両１、他車両３、あるいは他車両３の影５は、
上記撮影画像２から抽出された自車両１等の領域をマスク処理するマスク処理手段２８と、
マスク処理されたものを含む撮影画像２の複数を上記レーザスキャナによる点群データに基づいて投影処理してオルソ化し、撮影重複領域を調整して路面オルソ画像を統合生成するオルソ画像処理手段２９とを設けることにより、路面４の画像によって補完され、これらを路面４の画像によって補完したオルソ画像を得ることができる。

また、本発明によれば、
ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両１による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成方法であって、
前記カメラによる所定の撮影画像２において移動計測車両１または他車両３の映り込みにより路面４が隠蔽され、あるいは他車両３により路面４の影になっている領域を非正常計測領域６として自動的に検出し、当該非正常計測領域６を他の撮影画像２における路面撮影領域により補完して路面オルソ画像を生成し、
かつ、
エッジ検出フィルタ９により前記撮影画像２をエッジ画像８に変換し、
指標化手段１０により前記エッジ画像８の複数における出現頻度に基づいてエッジ強度を補正して指標値化し、
自車両検出手段１２により、前記指標値に基づいてエッジ画像８を二値化した二値画像１１内の閉領域を移動計測車両１の映り込み領域と判定し、非正常計測領域６として検出する路面オルソ画像の生成方法、あるいは、
ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両１による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成方法であって、
前記カメラによる所定の撮影画像２において移動計測車両１または他車両３の映り込みにより路面４が隠蔽され、あるいは他車両３により路面４の影になっている領域を非正常計測領域６として自動的に検出し、当該非正常計測領域６を他の撮影画像２における路面撮影領域により補完して路面オルソ画像を生成し、
かつ、
影候補領域抽出手段１５により前記撮影画像２から輝度値に基づいて影候補領域１４を抽出し、
境界判定手段１７により、前記撮影画像２において前記影候補領域１４の外縁に位置する各着目画素１６から影候補領域１４の内外方向所定範囲内に位置する近傍画素の輝度値をサンプリングし、その出現頻度の統計処理により影５と背景の境界を示す輝度の閾値を求め、
影検出手段に１９より、前記閾値に従って影候補領域１４を外側に拡張して得られる閉領域を他車両３による影領域１８と判定し、非正常計測領域６として検出する路面オルソ画像の生成方法を提供することもできる。
なお、本発明によれば、
ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両１による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成装置であって、
前記カメラによる所定の撮影画像２において移動計測車両１または他車両３の映り込みにより路面４が隠蔽され、あるいは他車両３の影５が路面４に映っている領域を自動的に検出し、当該非正常計測領域６を他の撮影画像２における路面撮影領域により補完して路面オルソ画像を生成する生成手段７を有する路面オルソ画像の生成装置や、
ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両１による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成方法であって、
前記カメラによる所定の撮影画像２において移動計測車両１または他車両３の映り込みにより路面４が隠蔽され、あるいは他車両３により路面４の影になっている領域を自動的に検出し、当該非正常計測領域６を他の撮影画像２における路面撮影領域により補完して路面オルソ画像を生成する路面オルソ画像の生成方法を提供することも可能である。

以上の説明から明らかなように、本発明によれば、移動計測車両や他車両などの移動しているものを示す画素群のカメラの撮影映像からの除去を効率的にすることのできる路面オルソ画像の生成装置および生成方法を提供することができるために、カメラの撮影画像に基づいて路面オルソ画像を生成する際の労力、時間を省いて簡易、迅速に路面オルソ画像を提供することができる。

本発明に係る路面オルソ画像の生成装置のブロック図である。 路面オルソ画像の生成手順を示す図である。 自車両の映り込み領域を特定する処理を説明する図で、（ａ）は撮影画像の一例を示す図、（ｂ）は他の撮影画像の一例を示す図である。 自車両の映り込み領域を特定する処理を説明する図で、（ａ）は図３（ａ）に対応するエッジ画像を示す図、（ｂ）は図３（ｂ）に対応するエッジ画像を示す図である。 自車両の映り込み領域を特定する処理を説明する図で、（ａ）は二値画像を示す図、（ｂ）は特定した自車両の映り込み領域を示す図である。 他車両の影の映り込み領域を特定する処理を説明する図で、（ａ）はカメラの撮影画像を示す図、（ｂ）は輝度値に基づいて影候補領域を抽出した状態を示す図である。 他車両の影の映り込み領域を特定する処理を説明する図で、（ａ）は影候補領域の外縁近傍における画素の輝度値のサンプリングを説明するための図、（ｂ）は初期のサンプリングにより生成されたヒストグラムを示す図、（ｃ）はサンプリング範囲を拡張したときに生成されるヒストグラムを示す図である。 他車両の映り込み領域を特定する処理を説明する図で、（ａ）は影からの線分の検索を説明する図、（ｂ）は線分に対する方位の判定を説明するための平面図である。 他車両の映り込み領域を特定する処理を説明する図で、（ａ）は車両モデルの一例を示す図、（ｂ）は他の車両モデルの一例を示す図、（ｃ）は車両モデルを投影処理した状態を示す図である。 他車両の映り込み領域を特定する処理を説明する図で、（ａ）は輝度飽和部分を組み込む処理を説明する図、（ｂ）は他車両の映り込み領域の特定を調整する処理を説明する図である。

図１ないし図１０に本発明の実施の形態を示す。路面オルソ画像の生成に際しては、先ず、ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両１を生成対象の路面４上に走行させ、位置情報としてのＧＰＳデータ４１、姿勢情報としてのＩＭＵデータ４２、路面４の色情報としての撮影画像データ（撮影画像２）、路面４の形状情報としてのレーザデータ４３を車上から逐次収集する。上記移動計測車両１は、具体的には例えばハッチバックタイプ等の普通自動車であり、ＧＰＳアンテナ、ＩＭＵ、カメラ、レーザスキャナをルーフ上に、ＧＰＳ受信機等を車内に配置して構成される。

また、上記カメラは移動計測車両１の左右斜め前方向、両側方向、左右斜め後方向を撮影する合計６台で、レーザスキャナは車両前後方向にそれぞれ上向きおよび下向きの広角の範囲でレーザ光を照射する４台で構成される。カメラによる撮影は動画、あるいは静止画のいずれでも足りるが、６台のカメラは車両周囲を全周に渡って切れ目なく撮影できるように画角を設定され、各カメラは、撮影が静止画の場合には、車両の進行方向に個々の撮影範囲が適宜オーバーラップするように撮影タイミングが設定される。

一方、４台のレーザスキャナのうち下向きに設置されている２台は、それぞれ路面を全幅に渡って計測し得るスキャニング範囲を設定され、計測車両の進行に伴って路面のスキャニングが行われる。取得するレーザ点群の密度に関する要求仕様に応じて、レーザスキャナのスキャンレートや車両の進行速度が設定されたり、使用する台数が変更されたりする場合もある。なお、カメラやスキャナの台数やその画角等については、移動計測車両１の走行に伴って路面４を漏れなく撮影、計測できれば、例えば車両前方において路面を全幅に渡って広角に撮影する単数のみでも足りる。

路面オルソ画像生成装置は、具体的にはコンピュータであり、図１に示すように、入力部４４、記憶部４５、および演算部４６を有し、以上のようにして取得されたＧＰＳデータ４１、ＩＭＵデータ４２、撮影画像データ２、レーザデータ４３が入力部４４から入力されて記憶部４５に記憶される。なお、各カメラの内部標定要素、および各カメラやレーザスキャナの移動計測車両１における設置位置・姿勢などの一部の外部標定要素についても、事前のバンドル調整により算出され、当該カメラ等による撮影画像データ２やレーザデータ４３に関連づけられて入力部４４から入力され、記憶部４５に記憶される。

上記演算部４６は、撮影画像２における自車両１の映り込み領域を特定するために、エッジ検出フィルタ９、指標化手段１０、および自車両検出手段１２を有する。自車両１の映り込みは、車両の左右斜め前方向を撮影する２台のカメラの各々の撮影範囲に自車両１のボンネットやフロントガラスなどの一部が含まれてしまうことにより生じるもので、具体的には、図３（ａ）および（ｂ）に示すように、これらのカメラによる撮影画像２の下縁部に発生する。なお、図３において４は路面、３は他車両、４７は道路標示、４８は縁石、４９は道路標識、５０は建物、５１は植物、５２は高架橋、５３は歩道用のフェンス、５４は電柱である。

上記エッジ検出フィルタ９は、撮影画像２から明るさが鋭敏に変化している箇所をエッジとして検出するもので、これにより撮影画像２は図４（ａ）および（ｂ）に示すエッジ画像８に変換される。以上のエッジ検出フィルタ９としては、具体的には例えばｓｏｂｅｌフィルタ等を利用することができる。

上記指標化手段１０は、エッジ画像８の複数に基づいてエッジ強度Ｉを指標値化するもので、指標値Ｉは次式により求められる。

ここで、Ｅｉはｉ番目の撮影画像２における画素位置でのエッジ強度、ＮｅはＮ枚の撮影画像２の同一の画素位置におけるエッジの出現頻度、Ｎｅ/Ｎは出現確率、ｔは出現確率に対する閾値（０＜ｔ≦１）、Ｉｍａｘは強度値として設定する最大値、ｓはエッジ強度を抑制するためのパラメータ（例えば２程度の値）であり、ωは重み付け値（例えば１０程度の値）である。上式に示すようにエッジ強度を出現頻度を利用して補正することで、単にエッジ強度を複数のエッジ画像８間で平均化する場合とは異なり、エッジ強度が低くても出現頻度に応じてエッジとして検出することができる。

図５（ａ）は以上の指標値化手段による指標値を二値化して得られる二値画像１１であり、上記自車両検出手段１２は、このように二値画像１１を生成した上で、二値画像１１を輪郭追跡して得られる閉領域を自車両１の映り込み領域と判定し、図５（ｂ）に示すように非正常計測領域６として検出する。なお、二値化に際しての閾値はいわゆる「大津の二値化」に従うなど適宜に決定することができる。

また、以上の自車両検出手段１２は、自車両１の検出精度を高めるための比較手段１３を備える。この比較手段１３は、異なる撮影画像２に基づいて得られた上述の閉領域同士を比較し、その重複率を算出する。このようにして得られた重複率が所定の閾値を超えることを自車両検出手段１２による非正常計測領域６の検出の条件とされることにより、自車両１の検出信頼度がさらに高められる。

具体的には、比較対象の双方の閉領域が重複する領域の画素数をＡ、一方の閉領域のみに属する領域の画素数をＢとすると、Ａ／（Ａ＋Ｂ）が所定値以上である場合に自車両の検出が良好であるとして、少なくとも双方の閉領域のいずれかに属する領域を自車両１の映り込み領域、非正常計測領域６と判定する。なお、Ａ／（Ａ＋Ｂ）が所定値に満たない場合には、撮影画像２の選定を変更してエッジ画像８の生成からやり直す。

また、上述した演算部４６は他車両３の影領域１８を特定するために、図１に示すように、影候補領域抽出手段１５、境界判定手段１７、および影検出手段１９を有する。他車両３の影５は、全てのカメラの撮影画像２に映る可能性があり、例えば図６（ａ）に示すように、他車両３の下側を暗くするようにして発生する。なお、図６（ａ）において５５は影５において太陽光の周囲からの反射などによりやや明るくなってしまっているやや暗い程度の部分である。

上記影候補領域抽出手段１５は、輝度値に基づいて撮影画像２から影候補領域１４を抽出するもので、影候補領域１４を抽出するための輝度値の閾値を低く設定することにより、上述したように影５のやや暗い程度の部分５５を除く特に暗い部分のみを影候補領域１４として抽出する。図６（ｂ）は影候補領域１４を抽出した状態を示す。なお、上記閾値は実験により決定される。

上記境界判定手段１７は、上述した影５のやや暗い程度の部分１４の外縁を境界として求めるものであり、この境界を決定するための輝度値を統計処理により決定する。境界を示す輝度値の決定に際し、境界判定手段１７は影候補領域１４の外縁に位置する各着目画素１６から影候補領域１４の内外方向所定範囲内に位置する近傍画素の輝度値をサンプリングする。サンプリングは、具体的には例えば、図７（ａ）に着目画素を含む矩形の実線で示すように、影候補領域１４の下縁に位置する着目画素１６から上下方向に適数の近傍画素を対象にしてなされる。

この境界判定手段１７によるサンプリングは、境界を示す輝度値が決定できるまで逐次そのサンプリング範囲を拡大してなされ、先ず最初の段階では、影５の特に暗い部分１４と、やや暗い程度の部分５５のそれぞれに属する近傍画素のみがサンプリングされるようにサンプリング範囲が調整される。以上のサンプリングにより得られた輝度値を図７（ｂ）にヒストグラム２０として示す。このヒストグラム２０は輝度値を横軸、その頻度を縦軸とするもので、矢印の箇所は着目画素１６の輝度値を示す。

初期のサンプリングを終えたら、次いで、図７（ａ）に２点鎖線で示すように、サンプリング範囲を逐次下方に拡張してサンプリングを続ける。このサンプリングに際しては、輝度毎に出現頻度の増加率が算出される。拡張が影５のやや暗い程度の部分５５の境界を越えると、図７（ｃ）に示すように、ヒストグラム２０には頻度の少ない境界が谷として現れ、また、頻度の増加率は上記谷の前後で高くなる。境界判定手段１７は、以上のような谷の存在と、この谷の前後での頻度の増加傾向の出現を条件として影５のやや暗い部分５５と背景との境界、言い換えれば影領域１８と非影領域との境界を示す輝度値に決定する。具体的には、次式により輝度値ｖ_ｔを算出し、ヒストグラムを参照して判定することができる。

ここでｍ（ｖ）、ｎ（ｖ）は輝度ｖにおけるサンプリング領域拡張前後の頻度を返す関数であり、ｔ１、ｔ２は頻度の増加率を規定する値である（ただし、ｔ１≦ｔ２）。

境界判定手段１７による境界の判定は、影候補領域１４の外縁に位置する全ての着目画素１６に対し、その横方向、および上方向にもサンプリング範囲を設定してなされ、上述した条件が満たされない場合、影領域１８と非影領域との境界が影候補領域１４の下方にはないものと判断し、着目画素１６を当該方向の影領域１８の外縁と判定する。

上記影検出手段１９は、以上のようにして境界判定手段１７により決定された輝度値まで影候補領域１４を外側に拡張して得られる閉領域を求め、これを影領域１８と判定して非正常計測領域６として検出する。

さらに、上述した演算部４６は他車両３の映り込み領域を特定するために、図１に示すように、線分探索手段２２、方位判定手段２３、車両種別判定手段２５、および他車両検出手段２７を有する。他車両３の映り込みは、上述した影５同様、全てのカメラの撮影画像２に生じる可能性があり、その位置は、図６（ａ）に示すように影領域１８あるいは影候補領域１４のすぐ上側である。

上記線分探索手段２２は、このような影５と他車両３との位置関係に着目して他車両３の映り込み領域を特定するための助けとなる線分２１を探索するものであり、影領域１８の上縁を直線近似し、地上座標系で所定の許容長さ範囲内にある最長の線分２１を探索する。影領域１８上縁の直線による近似には例えばハフ変換を利用することが可能であり、直線の許容長さ範囲は、自動車の側面下縁、正背面下縁の長さを考慮して決定される。

後述するように他車両３として小型車、普通車、大型車の３種が区分けして検出されるこの実施の形態において、上記許容長さ範囲は、最も長い大型車の側面下縁の長さから最も短い小型車の正背面下縁の長さまでの範囲に設定される。図６（ａ）に示すように他車両３が斜め後方から撮影される撮影画像２においては、図８に示すように左側面下縁を示す線分２１と、背面下縁を示す線分２１’の双方が含まれており、図８（ａ）に示すように、そのうち最長のものである左側面下縁を示す線分２１が抽出される。

なお、線分２１の地上座標系での長さや、後述する方位については、撮影画像２内の写真座標と地上座標との間に次式に示す関係が成立することを利用して特定することができる。

ここで、（ｘ，ｙ）は写真座標、（Ｘ，Ｙ，Ｚ）は地上座標、（Ｘ0，Ｙ0，Ｚ0）は地上座標におけるカメラの投影中心位置、ｆはカメラの焦点距離、ω，φ，κはＸ軸、Ｙ軸、Ｚ軸周りの回転量（姿勢角）である。例えば、他車両３近辺の路面４が水平面であると仮定すれば、他車両３を基準とする座標系は地上座標系と平行となり、また、カメラの投影中心を原点とするような座標系を考えれば、上式の回転量について、既知である移動計測車両１に対するカメラの取り付け姿勢角を適用して判断することができる。さらに、路面４からカメラまでの高さも既知であるため、路面４から車両の底面までの高さを例えば２０-３０センチメートルと仮定すれば、他車両３の底面の地上座標を類推することもできる。

上記方位判定手段２３は、以上のようにして抽出された線分２１の方位を判定し、線分２１が他車両３の側面下縁、正背面下縁、あるいはそれ以外のいずれを示すものであるかを特定する。路面４の長手方向に対する上記線分２１の公差角を求めることにより、図８（ｂ）に示すように、公差角がない、若しくは小さいとき、言い換えれば線分２１が路面４の長手方向に平行、あるいはほぼ平行であるときには他車両３の側面下縁を、公差角が直角に近いとき、すなわちほぼ直交するときには正背面下縁を、これらのいずれにも該当しないときにはこれら以外を示すものと特定することができる。なお、図８（ａ）および（ｂ）において５６は自車両１の実際の進行方向である。また、上述の公差角が小さいとする程度や直角に近いとする程度の角度範囲については、実験により決定することが可能である。さらに、上述した路面４の長手方向は、カメラの移動計測車両１における取り付け方位角（水平面内での公差角）に基づいて決定することができる。

以上の方位判定手段２３による方位判定を終えると、図８（ａ）および（ｂ）に示すように、図６（ａ）の撮影画像２からは、他車両３の側面下縁、正確には他車両３の前後輪間に位置する側面下縁を示すものとしての線分２１が抽出される。この線分２１から上述のように小型車、普通車、大型車の３種を区分けして検出するために、上述した記憶部４５には、車両種別データベース２４が格納される。この車両種別データベース２４は、車両の側面下縁および正背面下縁の目安寸法毎に車両種別を関連づけて構成されるもので、例えば車両種別毎の規格寸法を利用して構成される。

以上の車両種別データベース２４を参照することにより、上記車両種別判定手段２５は、線分２１の地上座標系における長さ、および車両の側面下縁あるいは正背面下縁のいずれを示しているかの情報に基づき、他車両３の車両種別を判定する。

上記他車両検出手段２７は、以上のように車両種別が判定された他車両３の撮影画像２における映り込み領域を特定するもので、このような他車両３の映り込み領域の特定を可能にするために、記憶部４５には車両モデル格納部５７が形成される。

この車両モデル格納部５７は、上述した小型車、普通車、大型車の３種の車両モデル２６を格納する。図９（ａ）および（ｂ）は、普通車、大型車の車両モデル２６Ａ、２６Ｂを示すもので、車両モデル２６は、車両種別に応じてその形状や大きさが異なり、側面下縁の寸法Ｌや正背面下縁の寸法Ｗが異なる。また、各車両モデル２６は、単純な構造で車両の形状や大きさの相違を表現するために、直方体の単数あるいは複数の組合せからなるボックスモデルで構成される。なお、車両モデル２６は、その長手方向に線対称形状に形成される。

他車両検出手段２７による他車両３の映り込み領域の特定は、上述のようにして特定された車両種別に基づく車両モデル２６を撮影画像２上に投影処理してなされる。車両モデル２６の投影は、車両モデル２６を構成する矩形面の各々を撮影画像２上に投影変換して実現することができる。

投影変換は具体的には次式に基づいて行うことができる。

なお、符号は式３において既述したものである。また、図９（ｃ）は撮影画像２に車両モデル２６を投影処理した状態である。

以上の車両モデル２６の投影処理により占有される領域が上記他車両検出手段２７により他車両３の映り込み領域として検出される。また、他車両検出手段２７は、車両モデル占有領域を補正して他車両３の映り込み領域を調整するための第１調整手段５８を有する。

この第１調整手段５８は、他車両３のルーフ表面などでの太陽光等の反射により輝度値が飽和している部位、すなわちハレーション部位５９を他車両３の映り込み領域の一部として組み込む。ハレーション部位５９の組み込みは、車両モデル占有領域の外縁を検索して輝度値が飽和している連続状の画素群を特定した後、この画素群の少なくとも一部が車両モデル占有領域内に位置することを条件にしてなされ、不規則形状からなるハレーション部位の凸包を演算することにより、図１０（ａ）に示すように、ハレーション部位５９を含む一定領域６０を単位としてなされる。

また、他車両検出手段２７は、以上の第１調整手段５８に加え、車両モデル占有領域内外で他車両３の映り込み領域を絞り込み、あるいは拡張する第２調整手段６０を有する。この第２調整手段６０は、車両モデル占有領域内の適数の画素群、具体的には縦横がＭ×Ｎの画素の輝度値や色情報をサンプリングし、他車両３の色や平均輝度の統計量、具体的には例えば標準偏差や尖度、歪度等を算出した上で、車両モデル占有領域の外縁に位置する注目画素６１から内外方向に向かって順次画素の輝度値や色情報を参照し、統計量から導かれる規定範囲を超えた場合に当該画素を他車両３の映り込み領域と判定する。なお、図１０（ｂ）は上記サンプリング範囲６２および輝度値等の参照範囲６３を示すもので、サンプリング範囲６２は、車両モデル占有領域の下縁を基端として設定される。また、上述の規定範囲は実験により決定することができる。

一般に路面４は色や輝度の変化が小さいために、標準偏差が小さく、尖度は、正規分布（＝３）に近く、また、歪度の絶対値が大きくなる傾向にあるが、車両の場合には車体の付属物によるエッジや光の反射の影響等により変化が大きくなるために上記とは逆の傾向を示す。第２調整手段６０はかかる性質を利用することにより車両モデル占有領域内外で他車両３の映り込み領域を判定する。

なお、車両の窓領域は、向こう側の風景が透過して見えている場合や周辺の景色が反射している場合には、以上のような判定にしたがって特定、判定することが可能であるが、光の反射がない場合やスモークガラスのように暗い場合、さらには車両のテールランプに関してはこれでは特定、判定することが難しい。但し、このような場合においては、例えば明度が低くなっており、また、車体の色とも異なっていることが多いため、参照対象の画素を中心にしたＭ×Ｎの範囲の画素群の統計量を算出した際に、平均輝度が所定の閾値より下回っているか、または彩度が所定の閾値以上で、かつ、車両の色との色相に基づく色変化が所定の閾値を超える場合に他車両３の映り込み領域とみなすことが可能である。また、以上のような特殊な窓領域やテールランプの追跡に関しては、画素の参照範囲が道路標示４７に到達したり、強いエッジ画素が出現したり、平均輝度が極めて高くなった場合にはそこで終了し、また、これらのいずれにも該当しない場合であっても、車両モデル占有領域の外縁からの参照範囲が他車両３の存在領域を明らかに超えていると想定される所定の画素数に達した時点で終了する。

さらに、上述した演算部４６は自車両１、他車両３、および他車両３の影５の映り込み領域を非正常計測領域６として除外した撮影画像２に基づいてオルソ画像を生成するためのオルソ画像生成手段３０を有する。このオルソ画像生成手段３０は、マスク処理手段２８、オルソ画像処理手段２９を有する。

上記マスク処理手段２８は、撮影画像２に基づくオルソ画像の生成に際し、撮影画像２内の所定領域をオルソ画像の生成材料として使用しないようにするためのものであり、上述の非正常計測領域６をマーキングし、あるいは非正常計測領域６に所定の識別コードを付与する。このマーキング等は、具体的には所定のフラグ情報をマスク用のバッファに格納等してなされ、オルソ画像処理手段２９による処理時に参照されることによりオルソ画像の生成対象から除外される。また、非正常計測領域６は、マスク処理手段２８における輪郭追跡処理によりポリゴン化され、オルソ画像処理手段２９は、ポリゴンデータを画像化してこれを参照することによりオルソ画像の生成対象を判定する。

一方、オルソ画像処理手段２９は撮影画像２をレーザデータ４３に基づく地形形状に投影処理し、撮影画像２を構成する各画素を正射方向に配置し直すことによりオルソ画像を生成する。このオルソ画像処理手段２９は、上述したマスク処理手段２８がマーキング等した領域を上述のように投影処理の処理対象から除外するように設定される。また、オルソ画像処理手段２９は、上述した従来例に示すように路面４を推定することにより、路面４から所定の高さ範囲内のレーザデータ４３のみをフィルタリングにより抽出し、これを利用して撮影画像２を正射変換する。

さらに以上に加えて演算部４６は、オルソ画像をディスプレイ等に出力する出力部６４をも備える。

以上の路面オルソ画像生成装置によるオルソ画像の生成は、図２に示すように、全てのカメラの撮影画像２に対する自車両１の映り込み領域の検出処理と、他車両３、およびその影５の映り込み領域の検出処理とを並行して進めておき、自車両１、他車両３、および他車両３の影５の全ての映り込み領域が特定された上で、これらの映り込み領域を対象にしてマスク処理をした後、オルソ化処理をすることによりなされる。なお、自車両１が移動計測車両１の左右斜め前方を撮影するカメラの撮影領域にのみ映り込む可能性がある場合には、当該カメラの撮影画像２のみを対象にして車両１の映り込み領域の検出処理をすれば足りる。

また、以上の画像処理においては、より具体的には、エッジ検出フィルタ９による撮影画像２の複数のエッジ画像８への変換に際しては、撮影タイミングの大きく異なる撮影画像２の所定数をランダムに選択した上で、エッジ画像８変換前にメディアンフィルタやガウシアンフィルタ等により画像のノイズが除去される。また、このようなノイズ除去に加え、エッジ画像８への変換に先立って、撮影画像２からスミアによる輝度の飽和領域が除去される。輝度の飽和領域は、スミアが垂直または水平方向に直線帯状に発生することから、各画素の輝度値を参照し、飽和と見なす輝度値の画素が一定のＸ座標上、あるいはＹ座標上の近傍範囲内にほぼ直線状に並んでいることをもって特定することが可能である。この場合において、スミア領域を跨いでエッジを示す画素がある場合には、両エッジ画素間を連結処理しておくことが望ましい。

上述のようにエッジ検出フィルタ９により撮影画像２をエッジ画像８に変換し（Ｓ１）、次いで、指標化手段１０によりエッジ強度を指標化し（Ｓ２）、この後、自車両検出手段１２により二値画像１１に変換した上で（Ｓ３）、重複率に基づいて閉領域を特定すれば（Ｓ４）、自車両１の映り込み領域が決定される。自車両検出手段１２により二値画像１１から閉領域を検出する際には、予め自車両１の映り込み領域の画素数をある程度想定して最小限度画素数を設定し、この最小限度画素数よりも多いことを閉領域の抽出条件とすることにより、自車両１の映り込み領域の検出精度が高められる。また、自車両１の映り込み位置は、撮影画像２の下縁部に位置することから、閉領域の抽出にこのような位置条件を加えることにより、さらに検出精度が高められる。なお、閉領域については二値画像１１から抽出した後に整形が施される。

一方、他車両３の影領域１８の抽出、すなわち影候補領域抽出手段１５による撮影画像２からの影候補領域１４の抽出に際しては、予め撮影画像２がグレースケール画像に変換され、このグレースケール画像における輝度値に基づいて影候補領域抽出手段１５により影候補領域１４が抽出される（Ｓ５）。影候補領域１４は、上記グレースケール画像を影５とみなすことのできる所定の輝度値を基準にして二値画像１１に変換した上で、輪郭追跡することにより特定される。なお、この影候補領域１４についても、その面積が小さいものについてはノイズとして抽出対象外と判定される。

影候補領域１４を抽出したら、境界判定手段１７により影領域１８の外縁と背景との境界が判定される（Ｓ６）が、着目画素１６を影候補領域１４の外縁に沿って隣接画素に順次変更して繰り返すことにより影候補領域１４の外縁の全周に渡って境界の輝度値を判定する際には、メディアンフィルタ等によって隣接する着目画素１６における境界輝度値を平滑化することにより、撮影画像２において影５の輝度値が緩やかに変化する態様に応じることになり、その精度が高められる。以上のように境界の輝度値が判定された（Ｓ６）ら、この輝度値に従って影検出手段１９により影候補領域１４が拡張され、これにより影領域１８の検出が終了する（Ｓ８）。なお、影領域１８についても、上述した自車両１の映り込み領域における閉領域同様、最後に整形が施される。

さらに、他車両３の抽出に関しては、先ず、線分探索手段２２により影領域１８の上縁部から地上座標系に換算したときに所定の長さ条件を満たす線分２１が探索され（Ｓ８）、線分２１が見付けられたら、次いで、方位判定手段２３により線分２１の方位が判定され（Ｓ９）、この判定の結果、上記線分２１が他車両３の下縁を示すものと特定されれば、この後、車両種別判定手段２５により車両種別が特定され（Ｓ１０）、さらに最後に、特定された車両種別に基づいて他車両検出手段２７により他車両３の映り込み領域が決定される（Ｓ１１）。線分探索手段２２による影領域１８からの線分２１の探索に際しては、影領域１８を構成する影５が他車両３以外の路側の地物により生じる可能性を考慮し、自車両１、すなわちカメラからの距離が遠い影領域１８が線分２１の探索対象から除外される。なお、この距離は、自車両１から路側までの距離や、距離による影領域１８の位置精度の低下を考慮して実験により決定することができる。

また、影領域１８のカメラからの距離は、後述する道路標示線のように影領域１８の形状を簡略化した上で、車両の底部の高さを例えば２０-３０センチと仮定して他車両３の下端縁の地上座標系における高さ座標を与えることにより、上記式３に基づき、他車両３の下端縁の地上座標が特定できる。カメラと影領域１８との距離は、以上のように地上座標が特定される他車両３の下端縁とカメラとの平面距離を基準にすればおおよそ判明する。

以上のようにして線分２１が検出されたら、上述のように方位判定手段２３により線分２１の方位が判定され、当該線分２１が他車両３の下端縁を示すものであるか、それ以外を示すものであるかが特定されるが、この際に他車両３の下端縁以外であると判明した場合には、当該影領域１８に基づく他車両３の検出はできないとしてこの処理を終了する。

また、他車両検出手段２７により利用される車両モデル２６はその種類を少なくして効率を高めるために典型的な形状と大きさに設定される。上述ではボックスモデルとして構成したが、典型的な形状であればより複雑にしても足りる。この他車両検出手段２７は、上述した自車両１を示す閉領域同様、車両モデル占有領域を最後に整形する。加えて、第２調整手段６０は、車両モデル２６占有領域の外縁画素を個々にチェックし、チェック対象の画素から所定範囲内で道路標示以外のエッジ画素が見付かった場合には、これを他車両３のエッジとして判定して当該エッジまで他車両３の映り込み領域を拡張する。

また以上のように、自車両１、他車両３、およびその影５の撮影画像２における映り込み領域が特定されたら、オルソ画像生成手段３０によるオルソ化に先立って、さらに、撮影画像２内からこれら以外の地物、より正確には路面４を除く残余の地物の領域が検出される。この残余の地物の検出に際しては、誤検出を防ぐために予め撮影画像２から道路標示線が抽出される。

道路標示線は白線や黄色線からなるために、輝度の高い白色画素、および黄色画素を撮影画像２から抽出することにより撮影画像２内でその領域をおおよそ特定することが可能である。黄色画素の抽出に際しては、撮影画像２に事前に黄色系の色相の強調処理を加えておくことにより、抽出の精度が高められる。また、以上のように白色画素等を特定したら、撮影画像２を二値化して道路標示線の候補領域とした上で、輪郭追跡処理してポリゴン化し、さらに、ハフ変換等によって外縁画素を直線近似した上で、近似直線を構成する画素数が所定の閾値よりも多い、言い換えれば白線や黄色線と見なしうるだけの一定の長さがあるときに道路標示線として検出する。

なお、白色画素の抽出は、ＨＳＶ変換等の色空間の変換処理により、彩度が小さく、かつ、強度が大きい画素を対象にしてなされ、一方、黄色画素は、同様にＨＳＶ変換等により、色相が所定の範囲内にあり、また、彩度が所定値以上で、かつ、強度が所定の範囲内にある画素を対象にしてなされる。また、上記ポリゴンについては、上述のように近似直線を構成する画素数のみならず、上述した式４を活用して地上座標系におけるその面積や長さをも条件として道路標示線か否かを判定することにより、道路標示線の検出の信頼性が高められる。さらに、道路標示線の検出に際して、以上のように近似直線を使用する以外にも、上記ポリゴンの輪郭形状を簡略化する、具体的には例えば、上記ポリゴンの輪郭画素を逐次その長手方向に追跡してほぼ同一直線上に位置するか否かにより道路標示線の端縁に位置する画素であるか否かを判定し、端縁の画素と判定できたときには、間に位置する画素を間引き、これを繰り返して得られた道路標示線の両端画素の間隔を距離的に特定しても足りる。

以上のようにして道路標示線を抽出したら、上述した残余の地物の検出がなされる。残余の地物の検出は、撮影画像２から上述した自車両１等の領域に加えて道路標示線の領域をも除いた上でなされ、さらに、路面４の色に近い領域を彩度や明度に基づいて除外した上で、撮影画像２内を小領域毎に区分けしてなされる。検出は、エッジ強度が強く、エッジの出現率が所定以上であることを条件にしてなされ、検出後には該当領域に整形処理がなされる。なお、撮影画像２の上部領域については、建物の上部であるなど、路面４以外であることが明らかなため、マスク処理対象として扱うことができる。

以上のように残余の地物の領域が特定されたら、マスク処理手段２８により、これらが自車両１の映り込み領域等とともにマスク処理される（Ｓ１２）。なお、このマスク処理は、上述した撮影画像２の上部領域についてもなされる。この後、オルソ処理手段２９により撮影画像２の画素が正射影位置に配置し直されてオルソ画像が完成する（Ｓ１３）。このオルソ画像は、出力部６４を介してディスプレイに表示等される。

なお、オルソ処理手段２９による撮影画像２のオルソ処理に際しては、撮影画像２において自車両１から所定以上の距離にある画像領域は対象外とされる。上記距離は、撮影画像２の地上座標系を基準にして、撮影画像２の写真座標を利用して設定される。

なお、以上において説明した演算部４６の有する各手段等は、生成手段７を構成する。

１ 移動計測車両
２ 撮影画像
３ 他車両
４ 路面
５ 影
６ 非正常計測領域
７ 生成手段
８ エッジ画像
９ エッジ検出フィルタ
１０ 指標化手段
１１ 二値画像
１２ 自車両検出手段
１３ 比較手段
１４ 影候補領域
１５ 影候補領域抽出手段
１６ 着目画素
１７ 境界判定手段
１８ 影領域
１９ 影検出手段
２０ ヒストグラム
２１ 線分
２２ 線分探索手段
２３ 方位判定手段
２４ 車両種別データベース
２５ 車両種別判定手段
２６ 車両モデル
２７ 他車両検出手段
２８ マスク処理手段
２９ オルソ画像処理手段
３０ オルソ画像生成手段

Claims (10)

1. ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成装置であって、
   前記カメラによる所定の撮影画像において移動計測車両または他車両の映り込みにより路面が隠蔽され、あるいは他車両の影が路面に映っている領域を非正常計測領域として自動的に検出し、当該非正常計測領域を他の撮影画像における路面撮影領域により補完して路面オルソ画像を生成する生成手段を有し、
   かつ、前記生成手段は、
   前記撮影画像をエッジ画像に変換するエッジ検出フィルタと、
   前記エッジ画像の複数における出現頻度に基づいてエッジ強度を補正して指標値化する指標化手段と、
   前記指標値に基づいてエッジ画像を二値化した二値画像内の閉領域を移動計測車両の映り込み領域と判定し、非正常計測領域として検出する自車両検出手段とを有する路面オルソ画像の生成装置。
2. 前記二値画像の複数種類を生成して各々の閉領域を比較し、重複率を算出する比較手段を有し、
   前記自車両検出手段は、所定の閾値を超える重複率の閉領域を非正常計測領域として検出する請求項１記載の路面オルソ画像の生成装置。
3. ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成装置であって、
   前記カメラによる所定の撮影画像において移動計測車両または他車両の映り込みにより路面が隠蔽され、あるいは他車両の影が路面に映っている領域を非正常計測領域として自動的に検出し、当該非正常計測領域を他の撮影画像における路面撮影領域により補完して路面オルソ画像を生成する生成手段を有し、
   かつ、前記生成手段は、
   前記撮影画像から輝度値に基づいて影候補領域を抽出する影候補領域抽出手段と、
   前記撮影画像において前記影候補領域の外縁に位置する各着目画素から影候補領域の内外方向所定範囲内に位置する近傍画素の輝度値をサンプリングし、その出現頻度の統計処理により影と背景の境界を示す輝度の閾値を求める境界判定手段と、
   前記閾値に従って影候補領域を外側に拡張して得られる閉領域を他車両による影領域と判定し、非正常計測領域として検出する影検出手段とを有する路面オルソ画像の生成装置。
4. 前記境界判定手段は、輝度値を横軸、その頻度を縦軸とするヒストグラムを生成するとともに、前記近傍画素の輝度値の参照範囲を影候補領域の外側に逐次拡張して出現頻度の増加率を算出し、前記ヒストグラムの谷が所定値を超える出現頻度の増加率の輝度値間にあるときに閾値として判定する請求項３記載の路面オルソ画像の生成装置。
5. 前記影候補領域あるいは影領域の上縁部から地上座標系において所定の長さ範囲内となる線分を探索する線分探索手段と、
   前記線分の移動計測車両の進行方向を基準にした角度を演算し、予め設定された所定の許容角度範囲内にあるか否かに基づいて当該線分を他車両の側面下縁、正背面下縁、あるいはそれ以外のいずれかに振り分ける方位判定手段と、
   前記線分が他車両の側面下縁あるいは正背面下縁に該当するときに、線分の地上座標系における寸法に基づいて、車両の側面下縁および正背面下縁の目安寸法毎に当該目安寸法に応じた車両種別を関連づけて構成される車両種別データベースを参照して、影の原因となっている他車両の車両種別を判定する車両種別判定手段と、
   前記車両種別に応じたサイズの車両モデルを撮影画像上に投影処理して得られる車両モデル占有領域を他車両の映り込み領域と判定し、非正常計測領域として検出する他車両検出手段とを有する請求項３または４記載の路面オルソ画像の生成装置。
6. 前記車両モデルが直方体の単数あるいは複数の組合せからなるボックスモデルである請求項５記載の路面オルソ画像の生成装置。
7. 前記撮影画像から抽出された非正常計測領域をマスク処理するマスク処理手段と、
   マスク処理されたものを含む撮影画像の複数を前記レーザスキャナによる点群データに基づいて投影処理してオルソ化し、撮影重複領域を調整して路面オルソ画像を統合生成するオルソ画像処理手段とを有する請求項１ないし６のいずれかに記載の路面オルソ画像の生成装置。
8. ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成方法であって、
   前記カメラによる所定の撮影画像において移動計測車両または他車両の映り込みにより路面が隠蔽され、あるいは他車両により路面の影になっている領域を非正常計測領域として自動的に検出し、当該非正常計測領域を他の撮影画像における路面撮影領域により補完して路面オルソ画像を生成し、
   かつ、
   エッジ検出フィルタにより前記撮影画像をエッジ画像に変換し、
   指標化手段により前記エッジ画像の複数における出現頻度に基づいてエッジ強度を補正して指標値化し、
   自車両検出手段により、前記指標値に基づいてエッジ画像を二値化した二値画像内の閉領域を移動計測車両の映り込み領域と判定し、非正常計測領域として検出する路面オルソ画像の生成方法。
9. ＧＰＳ、ＩＭＵ、カメラ、およびレーザスキャナを搭載した移動計測車両による収集データに基づいて路面オルソ画像を生成する路面オルソ画像の生成方法であって、
   前記カメラによる所定の撮影画像において移動計測車両または他車両の映り込みにより路面が隠蔽され、あるいは他車両により路面の影になっている領域を非正常計測領域として自動的に検出し、当該非正常計測領域を他の撮影画像における路面撮影領域により補完して路面オルソ画像を生成し、
   かつ、
   影候補領域抽出手段により前記撮影画像から輝度値に基づいて影候補領域を抽出し、
   境界判定手段により、前記撮影画像において前記影候補領域の外縁に位置する各着目画素から影候補領域の内外方向所定範囲内に位置する近傍画素の輝度値をサンプリングし、その出現頻度の統計処理により影と背景の境界を示す輝度の閾値を求め、
   影検出手段により、前記閾値に従って影候補領域を外側に拡張して得られる閉領域を他車両による影領域と判定し、非正常計測領域として検出する路面オルソ画像の生成方法。
10. 移動計測車両に搭載されたカメラの撮影画像から輝度値に基づいて影と推定される影候補領域を抽出する影候補抽出手段と、
    前記影候補領域の上縁部から地上座標系において所定の長さ範囲内となる線分を探索する線分探索手段と、
    前記線分の移動計測車両の進行方向を基準にした角度を演算し、予め設定された所定の許容角度範囲内にあるか否かに基づいて当該線分を他車両の側面下縁、正背面下縁、あるいはそれ以外のいずれかに振り分ける方位判定手段と、
    前記線分が他車両の側面下縁あるいは正背面下縁に該当するときに、前記線分の地上座標系における寸法に基づいて、車両の側面下縁および正背面下縁の目安寸法毎に当該目安寸法に応じた車両種別を関連づけて格納する車両種別データベースを参照して、影の原因となっている他車両の車両種別を判定する車両種別判定手段と、
    前記車両種別に応じた車両モデルを前記線分に側面下縁あるいは正背面下縁を合わせて撮影画像上に投影処理して得られる車両モデル占有領域を他車両の映り込み領域と判定し、非正常計測領域として検出する他車両検出手段と、
    前記撮影画像の複数を移動計測車両に搭載されたレーザスキャナによる点群データに基づいて投影処理してオルソ化するとともに、前記非正常計測領域を他の撮影画像における路面撮影領域により補完し、かつ、撮影重複領域を調整することにより路面オルソ画像を統合生成するオルソ画像生成手段とを有する路面オルソ画像の生成装置。

Images