JP5407810B2 - 周辺環境推定装置、周辺環境推定プログラムおよび周辺環境推定システム - Google Patents

Description

本発明は、周辺環境を推定する周辺環境推定装置、周辺環境を推定する制御をコンピュータに実行させる周辺環境推定プログラムおよび周辺環境推定システムに関する。

地図データを最新の状態に保つメンテナンス等を行うために、車の周辺環境であるロードサイド形状の変化等を調べることがある。この場合、実際に現地を歩いて調査する代わりに、現地のロードサイド形状の映像を、車載画像を用いて撮影して後で精査することが行われている。

従来技術として、車載画像を用いてロードサイド形状を推定する技術が特許文献１に提案されている。また、車載画像の中央部分だけをラインセンサ的に用いてロードサイド形状を推定する技術が特許文献２に提案されている。

特開２００５−５６２９５号公報 特開２００７−１４８８０９号公報

ロードサイド形状として、道路上の並走車両、駐車車両または歩道上の歩行者等、一時的に存在する移動物体を除いた建物や道路形状等の周辺環境を推定しておくことは、地図等を作成したりする意味でも有用である。

例えばこの場合、周辺物体を車載カメラで撮影し、撮影された周辺物体と車載カメラ位置とからの距離を測定して、これらの測定結果を複数集めて比較し、差分を調査する。差分が大きい領域を、一時的な移動物体（障害物）の存在があった領域とみなせば、このような方法によって、周辺環境内での移動物体を除去した静止環境を推定することができる。

しかし、従来では、このように測定結果を利用して、移動物体を除いた周辺環境を精度よく推定することが困難である、といった問題があった。測定点すなわちカメラ位置やカメラ視線方向は、カメラが搭載される車の進行経路や車種等に依存する。上記問題は、一方の測定データを取得したときの測定点やカメラ視線方向と、他方の測定データを取得したときの測定点やカメラ視線方向とが異なってしまうことが多いため、取得した複数の測定データそれぞれを単純に比較することができないことに起因している。

本発明はこのような点に鑑みてなされたものであり、移動物体が存在する環境にあって、周辺環境を精度よく推定する周辺環境推定装置を提供することを目的とする。
また、本発明の他の目的は、移動物体が存在する環境にあって、周辺環境を精度よく推定する周辺環境推定プログラムおよび周辺環境推定システムを提供することである。

上記課題を解決するために、周辺環境を推定する周辺環境推定装置が提供される。この周辺環境推定装置は、カメラの位置と撮影方向を認識し、既知の位置である基準経路点を１つ以上含む基準経路を設定して、前記カメラで撮影された画像にもとづき、前記画像内に撮影された周辺物体までの前記基準経路からの距離を求める周辺環境推定部を備え、前記周辺環境推定部は、前記カメラまたは前記周辺環境推定装置と前記カメラとが移動体に設置された場合、前記移動体の進行経路上で測定した、前記周辺物体と前記移動体との距離を、前記基準経路上における距離に変換するデータ変換処理を行うことで、前記周辺物体までの前記基準経路からの距離を求める。

周辺環境を高精度に推定することが可能になる。

周辺環境推定装置の構成例を示す図である。 周辺環境推定部の構成要素を示す図である。 道路を走行する移動体から道路沿いの周辺物体を測定している一例を示す図である。 データ変換部の動作の一例を示すフローチャートである。 最適なマッピング位置の算出フローチャートを示す図である。 画像マップの作成例を示す図である。 画像マップを示す図である。 距離画像変換部の動作の一例を示すフローチャートである。 データ比較部の動作例を示すフローチャートである。 データ比較部の動作例を示すフローチャートである。

以下、本発明の実施の形態を図面を参照して説明する。図１は周辺環境推定装置の構成例を示す図である。
周辺環境推定装置１は、カメラ１ａと、周辺環境推定部１０とを備え、周辺環境として例えばロードサイド形状や、状況等の空間情報などを推定する装置である。なお、推定に用いる測定データを測定するカメラ１ａは、道路周辺に固定的に設置されたカメラでも構わない。また、周辺環境推定装置１は、道路周辺に固定的に設置された装置を含んでも特に問題はない。固定のカメラおよび固定の装置を含むことで、利用する測定データ量を増やすことができる。以後はカメラ１ａまたは装置全体は例えば、自動車などの移動体に設置されて使用されるものとして説明をする。

周辺環境推定部１０は、カメラ１ａの位置および撮影方向を用いて、周辺環境の推定として、周辺物体との距離および方向を推定する。カメラ１ａの位置や撮影方向としては、任意の座標系位置および方向を用いてよいが、一例として緯度経度や方位角を用いて説明する。周辺環境推定部１０はさらに、基準となる１つ以上の任意の既知の位置（緯度経度）である基準経路点を繋いだ基準経路を設定する。

そして、カメラ１ａで撮影された画像にもとづいて得た、画像内に撮影された周辺物体までのカメラ１ａからの距離を、基準経路からの距離へと変換する。このように、撮影したカメラからの距離を、設定した基準経路からの距離へと変換することで、撮影方向や撮影位置の違いを吸収することができ、測定結果から周辺環境を高精度に推定することができる。

次に周辺環境推定部１０の構成について説明する。図２は周辺環境推定部１０の構成要素を示す図である。周辺環境推定部１０は、周辺測定部１１、位置取得部１２、基準経路設定部１３、データ変換部１４、距離画像変換部１５、データ比較部１６および出力部１７を含む。

周辺測定部１１は、カメラ１ａで撮影される周辺環境（周辺物体）とカメラ１ａを搭載している移動体との距離、および周辺物体に対するカメラ１ａの視線方向を測定する。位置取得部１２は、移動体の現在位置（＝カメラ１ａの現在位置）を取得する。

基準経路設定部１３は、移動体が通過する際の道路上に、基準となるカメラの移動位置やカメラ視線方向を定めた基準経路・方向（以下、単に基準経路と呼ぶ）を設定する。データ変換部１４は、移動体が進行経路上で測定した周辺物体の測定データを、基準経路からの測定データとなるように変換処理する。

距離画像変換部１５は、データ変換部１４で変換した測定データまたは既存の測定データを、２次元マップとして画像マップに変換する。既存の測定データとは、例えば、他車や道路に固定的に設けられたカメラ等ですでに測定された距離データなどである。

データ比較部１６は、画像マップを使用しない場合には、データ変換部１４で変換された基準となる測定データと、既存の測定データとの比較処理、またはデータ変換部１４で変換されたデータをさらに距離画像変換部１５で変換した画像マップ同士での比較処理を行って周辺環境を推定する。また、画像マップを使用する場合には、データ変換部１４で変換された基準となる測定データから生成された画像マップと、既存の測定データから生成された画像マップとを比較（対応する画像箇所の画素値の比較等）して周辺環境を推定する。出力部１７は、例えば、処理結果を表示出力したり、図示しない記憶部に対して、処理結果のデータを書き込んだりする。

次に各構成要素について詳しく説明する。周辺測定部１１では、移動体に搭載したカメラ（カメラ１ａ）の画像情報にもとづき、周辺物体と自移動体との距離を推定および測定する。

例えば、移動体である車の前後左右を撮影するカメラの撮影画像内での画素の移動量と、カメラの推定移動変化量とを比較することで、周辺環境とカメラを搭載している移動体との距離を推定する。

このようなカメラ画像を用いた測定および推定方法としては例えば、ステレオカメラ画像や時間差を置いた同じカメラの２画像を用いた方法がある（カメラ画像を用いずに、レーザ、ミリ波または光などによる直接的なセンサによる測定方法を用いてもよい）。

次に位置取得部１２について説明する。位置取得部１２は、移動体の現在位置（カメラの現在位置）を取得する。例えば、移動体に搭載したＧＰＳ（Global Positioning System）や車速カウンタ、その他の任意の位置計測および位置取得方法を用いて、緯度経度に代表される任意の位置座標系での位置情報を取得する。

次に基準経路設定部１３について説明する。基準経路設定部１３は、各道路での測定結果を比較するための基準経路を設定し、基準経路データとして保持する。基準経路データは、例えば、基準経路を生成するための複数の点の位置・方向情報であり、緯度経度等の位置座標情報が含まれる。

基準経路は、カメラ位置やカメラ視線方向（以降、基準経路上のカメラの視線方向をカメラ基準方向とも呼ぶ）の基準となるものである。また、基準経路は、１つの道路に少なくとも１つあればよいが、複数設定してもよい。

基準経路を１つではなく複数設定するとしたのは、道路の往路復路や各レーンによって異なる基準を選定する可能性があることを考慮したものである。例えば、同じ道路であっても往路復路やレーンで道路形状が大きく異なる場合があり、これらがあらかじめ分かっている場合には、その道路形状に応じた基準経路を設定する。基準経路が実際の道路形状に似ている方が、特にカーブしている道路においては、精度の高い比較が可能となる。

このような基準経路は、あらかじめ道路形状などの情報を元にデータベース化して用意しておくことができる。また、最初に道路を走行した車のカメラ移動位置およびカメラ視線方向（カメラ方向）を、基準経路のカメラ位置やカメラ視線方向として用いることができる。この場合は、実施にあたり特別なデータ整備を必要としないため、サービスを簡単に開始利用することができるという利点がある。

次にデータ変換部１４の動作について図３、図４を用いて説明する。データ変換部１４は、移動体が自車経路上の、あるカメラ視線方向で測定した距離データを、基準経路設定部１３で設定したカメラ基準方向で測定した距離データとなるように、データ変換する処理を行う。

このデータ変換処理では、測定した距離データを対応づけ（マッピング）する基準経路上の点（マッピング位置）として、変換した距離データの誤差が最も小さくなるような基準経路上の点を選定する。基準経路を設定して測定した距離データをマッピングすることにより、位置の違いや撮影方向を吸収することができ、後段処理部において測定結果から周辺環境を高精度に推定することが可能になる。

図３は道路を走行する移動体から道路沿いの周辺物体を測定している一例を示す図である。移動体の自車経路（進行経路）とは別に基準経路が設定されている。また、ここでは簡単のために、カメラ基準方向は、基準経路に対して垂直方向とする。同様に、移動体が周辺物体との距離を測定している時のカメラ方向は、測定時の自車経路に対して垂直方向とする。

基準経路は、Ｒ、Ｓ、Ｔの３点を通る経路とする。基準経路上の移動点Ｓにおけるカメラ基準方向は、その１つ前の移動点Ｒとの線分ＲＳへの垂線方向として決定する。また、自車経路は、Ｍ、Ｎの２点を通る経路とする。測定時の移動点Ｎのカメラ方向は、線分ＭＮへの垂線方向である。なお、カメラ方向（またはカメラ基準方向）は、当然上記以外の方向であってもよい。また、ここでＲ、Ｓ、Ｔの３点は便宜的に等間隔としているが、異なる間隔であっても構わない。

移動体である自車は、道路上の自車位置Ｎで、周辺測定部１１によって測定点Ａを検知し、測定点Ａと移動体との距離（ＡＮの距離）を求める。そして、データ変換部１４では、距離ＡＮを基準経路上のデータに変換する（基準経路から測定した距離とするようなデータ変換を行う）。

図４はデータ変換部１４の動作の一例を示すフローチャートである。
〔Ｓ１〕自車位置Ｎの周辺の基準経路点を探索する。位置取得部１２で取得した自車位置Ｎに対し、位置Ｎの近隣の基準経路点を基準経路データから探索する。この例では、基準点Ｓを探索したとする。

ここで、基準経路データは、基準経路設定部１３で保持されるが、あらかじめ近隣の経路点でグルーピングや階層化して保持しておくと、データ変換部１４において探索が容易となり高速探索が可能となる。

例えば、交差点間隔で基準経路点をグルーピングする、さらに道路単位または位置情報の近い交差点同士でグルーピングしておく、などが考えられる。交差点間隔でグルーピングを行うことで、移動体の右左折後にも容易に基準経路を検索することができる。

なお、図３の基準経路点Ｓは、基準経路を構成する折れ線の頂点としたが、実際には折れ線の途中であっても構わない。例えば、測定点Ａから自車位置Ｎへの直線と、近隣の基準経路線分群との交点を求めることで、基準経路の頂点以外の任意の点を基準経路点として取得することができる。このようにすれば、自車位置Ｎに対して、より近い基準経路点を取得することができるため、基準経路上の最適マッピング位置の探索時間を短縮できる可能性がある。

〔Ｓ２〕自車位置Ｎ周辺を探索して検出した基準経路点Ｓにおけるカメラ基準方向と平行な直線Ｌを、測定点Ａから基準経路へ向かって引き、基準経路との交点Ｂを求める。
〔Ｓ３〕測定点Ａと移動体との距離ＡＮを基準経路上のデータに変換するために、交点Ｂを起点として、基準経路上で変換誤差が最も小さくなるような、最適なマッピング位置を算出する。

交点Ｂは、自車位置Ｎの近隣の基準経路点Ｓにおけるカメラ基準方向から算出したものなので、交点Ｂの属する線分ＳＴ上のカメラ基準方向と、交点Ｂの算出で用いたカメラ基準方向とが異なる可能性が高い（図３からも、点Ｓにおけるカメラ基準方向と、線分ＳＴ上のカメラ基準方向とは異なっていることがわかる）。このため、交点Ｂを起点として、よりよい測定結果マッピング位置を以下のように算出する（図３の例では、最適なマッピング位置として点Ｃが求まっている様子を示している）。

まず、交点Ｂの周辺で基準経路上の前後に、位置を少しずつずらしたマッピング位置候補点Ｂｎ（図３ではＢ１〜Ｂ３）を求める。その後、線分ＡＢｎと、候補点Ｂｎの属する基準経路線分ＳＴのカメラ基準方向との成す角βを求める。

さらに、角度βが限りなくゼロに近くなるような位置を探して、候補点位置をずらしていく。この角度βが最小となる候補点、図３では候補点Ｂ３を、最適マッピング位置Ｃとして採用する。

なお、位置をずらしながら最適位置を決定する方法としては、数値解析計算における近似解算出方法として、例えば、ニュートン法等の反復解法、直接解法等があり、これらを用いることができる。

ここで、候補点Ｂｎの３次元座標を（Bnx，Bny，Bnz）、測定点Ａの３次元座標を（Ax，Ay，Az）、カメラ基準方向の正規化ベクトルである基準方向正規化ベクトルＶを（Vx，Vy，Vz）とすると、角度βは、以下の式（１ａ）で記述できる（acos は arccos）。また、Ｄは、候補点Ｂｎから測定点Ａへ向けた正規化ベクトルであり、式（１ｂ）で示される。

なお、図３では、最初に求まった交点Ｂの属する線分ＳＴ内に、最終的な候補点Ｃが納まったが、必ずしも同じ線分内に候補点探索を限定するわけではない。
〔Ｓ４〕自車位置Ｎで測定した測定点Ａにおける測定データを、基準経路上のマッピング位置Ｃにおける測定データに変換する。すなわち、自車位置Ｎにおいて、あるカメラ方向（測定方向）で測距した距離データを、基準経路上のマッピング位置Ｃにおけるカメラ基準方向Ｄで測距した距離データに変換する。

マッピング位置Ｃからの距離データは、測定点Ａとマッピング位置Ｃとの距離を算出し、算出したこの距離を、基準経路上のマッピング位置Ｃにおける、基準経路にデータ変換した距離とする。

〔Ｓ５〕マッピング位置から測定点Ａへのベクトルと、マッピング位置における基準方向ベクトルとの成す角度βを算出し、該当角度を基準経路へのデータ変換時の誤差として保持する。

ここで、角度βがゼロであれば、最終候補点Ｃから測定点Ａへの直線は、最終候補点Ｃの基準方向ベクトルＤと同じ直線上にあることから、そのまま測定点Ａと最終候補点Ｃの線分距離ＡＣを、距離データとして利用する。

また、角度βがゼロでない場合は、線分距離ＡＣをそのまま用いるか、または角度βからＡＣcosβを求めて用いることにするが、いずれにしろ誤差が生じることに留意する。誤差であるβおよびβに起因した値（cosβ等）は、測定点Ａの基準経路マッピングにおける、含み誤差として保持しておき、後段の比較処理の際に利用することができる。例えば、異なる測定結果がある場合に、最終的な測定推定値を決める際の重み付けとして利用することができ、より精度を高めることが可能になる。

また、基準経路マッピングで変換した候補点および変換後の測定値は、そのまますべて保持してデータベース化し、後述する距離画像変換部１５やデータ比較部１６で利用することができる。さらに、近隣の測定値をある程度纏めて平均値や最小・最大値を保持し、それを利用してもよい。

測定値を細かく保持するほど、周辺環境を正確に把握することが可能だが、データ量が増えて比較処理量も増すことになる。このため、測定データ量の圧縮のため、または測定データ値の微小な雑音除去のために、測定データを纏めることも有効である。

このように、上記の手法を用いて、任意の経路での測定情報を適応的に基準経路での測定情報に変換することができるため、基準経路と自車経路との差分等の、以後のデータ比較処理等の利用を容易に実現することができる。また、測定時および変換時の誤差を測定値と同時に保持することで、変換誤差を考慮したより正確な数値比較が可能となる。

図５は最適なマッピング位置の算出フローチャートを示す図である。
〔Ｓ１１〕交点Ｂの周辺での左右に十分ずれた探索範囲の両端となる候補点Ｂｒ、Ｂｌを求める。

〔Ｓ１２〕基準経路上で候補点Ｂｒ、Ｂｌの中点に位置する候補点Ｂｃを求める。さらに基準経路上で、ＢｒとＢｃの中点に位置する候補点Ｂｃｒと、ＢｌとＢｃの中点に位置する候補点Ｂｃｌとを求める。

〔Ｓ１３〕ＢｃｒとＢｃｌから測定点Ａへの各ベクトルと、各候補点での基準方向ベクトルとの成す角βｃｒ、βｃｌを算出し、βｃｒはβｃｌより絶対値が小さいか否かを判断する。小さい場合はステップＳ１４へいき、小さくなければステップＳ１７へいく。

〔Ｓ１４〕角度βｃｒは規定値より小さい、または規定探索繰り返し数を超えたか否かを判断する。上記条件が成り立たない場合はステップＳ１５へいき、成り立つ場合はステップＳ１６へいく。

〔Ｓ１５〕ＢｒとＢｃ間に最適候補が存在するため、次の探索のために、候補点Ｂｃを候補端Ｂｌとし、Ｂｃｒを中点候補点Ｂｃにする。ステップＳ１３へ戻る。
〔Ｓ１６〕Ｂｃｒは基準経路上の最適なマッピング位置Ｃとする。

〔Ｓ１７〕角度βｃｌは規定値より小さい、または規定探索繰り返し数を超えたか否かを判断する。上記条件が成り立たない場合はステップＳ１８へいき、成り立つ場合はステップＳ１９へいく。

〔Ｓ１８〕ＢｌとＢｃ間に最適候補が存在するため、次の探索のために、候補点Ｂｃを候補端Ｂｒとし、Ｂｃｌを中点候補点Ｂｃにする。ステップＳ１３へ戻る。
〔Ｓ１９〕Ｂｃｌは基準経路上の最適なマッピング位置Ｃとする。

次に距離画像変換部１５について説明する。距離画像変換部１５では、基準経路用に変換した後の測定データを、２次元の画像マップに変換（展開）する処理を行う。
具体的には、基準経路に沿い、地面から上空に向けて立ち上がるような平面を定義し、その平面に対して（平面の凹凸に対して）、測定データを任意の画素値（輝度、色）に変換した画像マップに変換する。

例えば、測定データの数値を０〜２５５の輝度値に量子化し、測定データが基準経路位置からの距離だけでなく、地面からの高さの情報も保持していた場合に、定義した平面内でその高さ情報に合致した画素を選定して、該当する輝度値とする。

図６は画像マップの作成例を示す図である。カメラ１ａの撮影した画像中心（縦軸）の画素変化（フロー）を用いて、測定した測定点ａ〜ｅが存在した場合を考える。
これらの測定点までの測定値は、データ変換部１４で、基準経路上の測定値に変換されている。また、図６では、変換した基準経路上の位置が、高さ方向の異なる同地点ｍに変換されたと考える。さらに、測定値もほぼカメラ１ａからの測定値と変化がないとする。

距離画像変換部１５は、この変換された位置および測定値を用いて、基準経路に沿った画像平面に対し、地点ｍに相当する画素を選定する。そして、測定点ａ〜ｅの測定値を０〜２５５の輝度に変換し、これを選定した各画素の輝度として、グレイスケール画像を作成する。

図６において、天空を計測した測定値の大きい（遠い）測定点ａは、輝度値が大きいものとし（例えば輝度値＝２５５）、家屋を計測した中間の測定値の測定点ｂ、ｃは、輝度が中間の値とし（例えば輝度値＝１３２）、至近の駐車車両を計測した測定値の小さな測定点ｄ、ｅは輝度が小さな値（例えば輝度値＝１２）として設定する。測定点ａ〜ｅの輝度値により作成される画像マップ１５ａを図７に示す。

なお、測定値を輝度に変換する方法は上記に限定するものではなく、閾値を用いて段階的に輝度を決定してもよいし、何らかの多次元関数を用いて輝度を決定してもよい。
輝度を利用すると、以後のデータ比較部１６での比較処理において、既存の画像処理アルゴリズムを用いることができて、処理の煩雑さを軽減することができるが、輝度ではなく色、または適当に変換した数値として何段階かに分類した数値に変換してもよい。

一方、基準経路の測定値に変換したときに出た誤差、すなわち角度βの値を用いた値（cosβ）等についても、上記の画像マップとして保持してもよいし、または別の画像マップとして保持してもよい。

例えば前者として、誤差を０〜１の値に正規化し、その誤差を上記の画像マップの透過度として保持させてもよい。このように誤差も測定値の画像マップと同じ形式の２次元マップ上に展開することで、後述するデータ比較で誤差を含めた計算を実行することができ、比較精度の向上を図ることが可能になる。

なお、データ変換部１４で述べた変換後のデータ保持単位と同様に、この２次元画像マップの画素分解能も任意であり、細かい画素にして保持すれば細かい測定値をそのままプロット可能であるし、大きな画素にして複数の測定値の平均や最大値、最小値などを採用することで、その部分の傾向を見るのに用いてもよい。

特に大きな単位で纏めて保持しようとする場合には、データ変換部１４において、基準経路上の近くのプロット位置にある測定値を複数探索して纏めるより、一度細かい画素の画像としたものを、画像処理の画素ブロック単位の複数画素に対する処理関数を用いて纏めるほうが、高速処理が可能になる。処理関数としては例えば平均化関数が考えられる。

図８は距離画像変換部１５の動作の一例を示すフローチャートである。
〔Ｓ２１〕基準経路点ｍに対応する、画像マップ上の画素位置Ｇmを求める。
〔Ｓ２２〕基準経路点ｍでの測定値を、０〜２５５の値に変換する。

〔Ｓ２３〕基準経路点ｍでの測定値変換時等の誤差を、０．０（誤差最大）〜１．０（誤差最小＝なし）の値に正規化する。
〔Ｓ２４〕画像マップ上の画素Ｇｍを中心とする任意の大きさの領域に含まれる画素群に、現在の輝度に測定変換値（０〜２５５）、透過度αに誤差値（０．０〜１．０）を設定する。

このように、距離画像変換部１５により、測定結果の位置を３次元的なマップとして保持するのではなく、２次元マップとして保持することで、利用時のデータ量の削減および比較の高速化が可能になる。また、誤差値については、測定値の画像マップと同様の形式で保持すれば、誤差こみの比較なども容易に行うことができる。

次にデータ比較部１６について説明する。データ比較部１６は、データ変換部１４で基準経路上に変換した、自移動体（自車）の測定データと、既存の測定データ（他移動体（他車）で取得した測定データ等）、またはそれをさらに距離画像変換部１５で変換した画像マップ同士での比較を行う。

最初に画像マップを用いずに測定データで比較を行う場合について説明する。同じ基準経路上の十分近くにある点で、２つの測定結果（変換した測定値）の差が閾値以上の場合、どちらかの測定時に移動物体や障害物等の一時的な周辺物体が存在する（一時的な周辺環境の変化が生じた）と判定する。

このとき、どちらかの測定結果には、測定誤差に加えて、位置取得部１２で取得した自車位置の誤差や、データ変換部１４で変換した際の誤差が含まれている可能性がある。
この場合、基準経路上の位置Ｃの算出時に利用した角度βによる誤差があらかじめ保持されているならば、誤差値を考慮して比較してもよい。すなわち、距離ＡＣではなく、保持しているβを用いて、ＡＣ±ＡＣcosβまでを登録値とみなし、誤差幅のある値として比較する。

また、比較の結果、どちらか片方を有効とするのではなく、複数の測定結果を纏めて確からしい測定値を求めてもよい。具体的には、測定結果に（１−cosβ）を信頼度として重み付けして平均値をとることなどが考えられる。

（１−cosβ）を信頼度とした場合、１が最大の信頼度となり、βが大きいほど信頼度が小さくなる。複数の測定結果が蓄積されるほど、信頼度を重み付けした平均値は、理論的に実際の周辺環境、特に一時的な移動物体のない周辺静止環境への距離に収束することが可能である。

なお、データ比較部１６では、複数の測定データの比較を行って周辺環境を推定するだけでなく、単独の測定結果値を用いて、周辺環境を推定することも可能である。すなわち、基準経路に関する情報（基準経路が道路上の中心付近を通る経路である等の情報）と、道路形状に関する情報（道路の幅やレーン数等の情報）を保持している場合には、単独の測定結果値を用いて周辺環境を推定することもできる。

例えば、道路上の中心付近を基準経路が通り、道路の幅Ｗが既知であるとする。この場合、道路の外側周辺部、すなわち歩道より遠くに存在する物体を測定した場合には、道路幅Ｗ／２よりも基準経路上の測定値が大きくなるはずである。一方で、路上の駐車車両などを測定した場合には、道路幅Ｗ／２よりも測定値が小さくなる。したがって、これらのことを考慮することにより、単独の測定結果値を用いて、周辺環境を推定することも可能である。

次に画像マップを用いて比較する場合について説明する。測定結果を量子化して画素輝度に適用した画像マップを用いて比較する場合、画像の画素比較を行えばよい。すなわち、画像内の該当画素同士の輝度差を求めて、その差が閾値以上ならば、輝度の大きな（または小さな）値を破棄する、または一時的な周辺移動物体が該当画素部分に存在したものと考える。

また、該当画素の位置する基準経路点のカメラ基準方向に向けたベクトルを、画素輝度に対応した距離分だけ延伸したところに、周辺物体が存在すると解釈してもよい。なお、上記では、データ比較部１６は、基準経路上の測定値または画像マップとしてデータ比較を行うことを説明したが、これに限定するものではない。

例えば、データ変換部１４の変換を逆に適用し、他で測定したデータを基準経路経由で自車経路に変換して比較したり、または基準経路への変換の代わりに他で測定したデータを同様の方法で直接自車経路へ変換して比較してもよい。

自車経路に変換したデータを取得することで、比較した結果が、直感的に理解しやすく、また、自車経路を基本として表示しているナビゲーション画面などにそのまま表示することも可能である。

また、複数の測定結果を集めて、より正確な周辺状況を把握するために用いる以外にも、基準経路上の平均測定値などを蓄積しておき、データ変換部１４の変換を逆に適用し、参考とする基準データを移動体である自車経路上のデータに変換して、周辺状況マップとして利用することもできる。

次にデータ比較部１６が画像マップを用いてデータ比較処理を行う場合の具体例について説明する。図９はデータ比較部１６の動作例を示すフローチャートである。一時的に存在する移動物体の存在有無に関する判定処理を示している。

まず、距離画像変換部１５において、画像マップ（MapN）を作成する。この場合、自車位置Ｎでの測定値Ａに対する、基準経路上の最適マッピング位置Ｃに対応する画像マップ上の画素Ｇｃと、データ変換後の測定データの画素輝度（Ｉ_N）と、透明度α値（α_N）とを求めて、自車の測定結果を纏めた画像マップ（MapN）を作成する。

〔Ｓ３１〕画像マップ（MapN）と、他車が測定作成した結果を集めた画像マップ（以下、蓄積画像マップ（MapN-1）と呼ぶ）から、画素Ｇｃ周辺の部分画像を夫々切り出す。
〔Ｓ３２〕部分画像Ｎ、Ｎ−１の差分画像を計算する。差分画像は、同じ画素位置の輝度差ΔＩを新たな輝度とし、誤差をδαとする。ΔＩが式（２）で表され、δαは式（３）で表せる。

ΔＩ＝Ｉ_N−Ｉ_N-1・・・（２）
δα＝（（α_N ²＋α_N-1 ²））^1/2・・・（３）
〔Ｓ３３〕画素ＧｃにおけるΔＩの絶対値が規定値Ｘ（＝探索したい一時的な周辺移動物体の幅を、距離から画素輝度に変換した参考値）よりも大きいか否かを判断する。大きい場合はステップＳ３４へいき、大きくない場合は終了する。

〔Ｓ３４〕差分画像で、自車位置Ｎの画素の規定領域範囲（＝規定値Ｘの探索したい一時的な周辺移動物体の大きさを、大きさから画素数に変換したものから求めた参考画素範囲）の周辺画素群の輝度差ΔＩの絶対値の平均値を取得する。

〔Ｓ３５〕平均値は規定値Ｘよりも大きいか否かを判断する。大きい場合はステップＳ３６へいき、大きくない場合は終了する。
〔Ｓ３６〕ΔＩは負か否かを判断する。負の場合はステップＳ３７へいき、負でない場合はステップＳ３８へいく。

〔Ｓ３７〕自車位置Ｎでの測定時に、一時的な周辺移動物体が存在した可能性が高いと判定する。この場合は、画像マップへの反映を行わない、なお、判定結果の利用例としては、周辺移動物体が存在する可能性が高い旨の通知、または差分画像の周辺エッジを取得して周辺物体の輪郭とみなす等がある。

〔Ｓ３８〕他車の測定値の蓄積結果には、一時的な周辺移動物体が存在していた可能性が高いと判定する。判定結果の利用例としては、周辺移動物体が存在する可能性が高い旨の通知、他車の蓄積画像マップ（MapN-1）の値を自車の画像マップ（MapN）に差し替え、または差分画像の周辺エッジを取得して周辺物体の輪郭とみなす等がある。

図１０はデータ比較部１６の動作例を示すフローチャートである。画像データとして保持するデータの更新／差し替え処理を示している。まず、図９と同様に距離画像変換部１５において、画像マップ（MapN）が作成される。

〔Ｓ４１〕他車が測定作成した結果を集めた蓄積画像マップ（MapN-1）から、自車が作成した画像マップ（MapN）に該当する範囲の部分画像を切り出す。
〔Ｓ４２〕蓄積画像マップ（MapN-1）の部分画像Ｎ−１を、画像マップ（MapN）の部分画像Ｎの値を用いて、更新するか差し替えるかを判断する。更新の場合はステップＳ４３へいき、差し替える場合はステップＳ４４へいく。

〔Ｓ４３〕自車測定値を蓄積画像マップ（MapN-1）に反映保持する。この場合、部分画像Ｎ−１と部分画像Ｎとの同位置画素に対し、新輝度Ｉａ、新誤差αａおよび新蓄積データ数Ｓａを式（４）〜（６）のように更新設定する。Ｓは、部分画像Ｎ−１の該当画素の蓄積データ数である。

Ｉａ＝（Ｓ×Ｉ_N-1＋Ｉ_N）÷（Ｓ＋１）・・・（４）
αａ＝（Ｓ×α_N-1 ²＋α_N ²）÷（Ｓ＋１）・・・（５）
Ｓａ＝Ｓ＋１・・・（６）
〔Ｓ４４〕自車測定値を使って蓄積画像マップ（MapN-1）を差し替える。新輝度Ｉａ＝Ｉ_N、新誤差αａ＝α_N、新蓄積データ数Ｓａ＝１となる。

以上説明したように、周辺環境推定装置１では、各道路上に基準となる基準経路を設定し、測定結果（被写体位置）を基準経路にマッピングして、測定データの比較を行う。そして、差が大きいものは一時的な移動物体が存在したとして、例えば、該当測定データを却下する等の処理を行って、総合的な距離測定結果を得る構成とした。

従来の測定では、測量点・方向（カメラ位置・方向）が車の経路等によって異なるため、単純に測定値を比較することが困難であり、このため周辺環境の推定精度の信頼性が低いものであった。

これに対し、周辺環境推定装置１では、道路毎に基準経路を決定して、移動経路上での測定値を基準経路にマッピングして比較し、さらに比較処理時に明らかに測定結果が異なる部分を「周辺移動物体（周辺障害物）の存在可能性があるエリア」とするなどの判定処理を行う。

これにより、撮影方向や撮影位置の違いを吸収することができ、測定結果を精度よく比較することができ、周辺環境の推定精度を格段に向上させることが可能になる。
さらに、測定結果を基準経路上に高さ方向の値となる２次元画像マップに展開して、保持・利用することにより、データ処理量を大幅に削減でき、比較処理（周辺環境推定処理）の高速化が可能になる。

なお、上記の周辺環境推定装置１の処理機能は、コンピュータによって実現することができる。その場合、周辺環境推定装置１が有すべき機能の処理内容を記述したプログラム（周辺環境推定プログラム）が提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。

コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することもできる。

なお、周辺環境推定装置１が適用される製品としては、移動体に設置したロードサイド測定装置や、カメラ１ａを搭載した移動体と、周辺環境推定部１０の機能を有するセンタ間を通信して、測定データを更新利用したり、センタ内の蓄積結果から有効な測定データを抽出したりする交通システム等、様々な形態に対して適用することが可能である。

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。
（付記１） 周辺環境を推定する周辺環境推定装置において、
カメラの位置と撮影方向を認識し、既知の位置である基準経路点を１つ以上含む基準経路を設定して、前記カメラで撮影された画像にもとづき、前記画像内に撮影された前記周辺物体までの前記基準経路からの距離を求める周辺環境推定部
を有することを特徴とする周辺環境推定装置。

（付記２） 前記周辺環境推定部は、前記カメラまたは前記周辺環境推定装置と前記カメラとが移動体に設置された場合、最初に通過した前記移動体の経路を前記基準経路として設定することを特徴とする付記１記載の周辺環境推定装置。

（付記３） 前記周辺環境推定部は、前記カメラまたは前記周辺環境推定装置と前記カメラとが移動体に設置された場合、
前記移動体の進行経路上で測定した、前記周辺物体と前記移動体との距離を、前記基準経路上における距離に変換するデータ変換処理を行うことで、前記周辺物体までの前記基準経路からの距離を求め、
前記データ変換処理を行うために、前記基準経路上の点をマッピングして、誤差が最も小さくなるように前記基準経路上のマッピング位置を算出することを特徴とする付記１記載の周辺環境推定装置。

（付記４） 前記周辺環境推定部は、測定に伴う誤差として、少なくとも前記データ変換処理を行った際の変換誤差を保持することを特徴とする付記３記載の周辺環境推定装置。

（付記５） 前記周辺環境推定部は、前記基準経路を形成する基準経路点を、周辺領域毎にグルーピングして保持しておくことを特徴とする付記１記載の周辺環境推定装置。
（付記６） 前記周辺環境推定部は、前記周辺物体までの前記基準経路からの距離を、２次元マップとして保持することを特徴とする付記１記載の周辺環境推定装置。

（付記７） 前記周辺環境推定部は、算出した前記周辺物体までの前記基準経路からの距離と、現在の測定距離とを比較することで、周辺環境の変化を推定することを特徴とする付記１記載の周辺環境推定装置。

（付記８） 周辺環境を推定する制御をコンピュータに実行させる周辺環境推定プログラムにおいて、
前記コンピュータに
カメラの位置と撮影方向を認識し、既知の位置である基準経路点を１つ以上含む基準経路を設定して、前記カメラで撮影された画像にもとづき、前記画像内に撮影された前記周辺物体までの前記基準経路からの距離を求める、
処理を実行させることを特徴とする周辺環境推定プログラム。

（付記９） 周辺環境を推定する周辺環境推定システムにおいて、
カメラと、
前記カメラの位置と撮影方向を認識し、既知の位置である基準経路点を１つ以上含む基準経路を設定して、前記カメラで撮影された画像にもとづき、前記画像内に撮影された前記周辺物体までの前記基準経路からの距離を求める周辺環境推定部と、
前記周辺環境推定部の処理結果を出力する出力部と、
を有することを特徴とする周辺環境推定システム。

１ 周辺環境推定装置
１ａ カメラ
１０ 周辺環境推定部

Claims (6)

1. 周辺環境を推定する周辺環境推定装置において、
   カメラの位置と撮影方向を認識し、既知の位置である基準経路点を１つ以上含む基準経路を設定して、前記カメラで撮影された画像にもとづき、前記画像内に撮影された周辺物体までの前記基準経路からの距離を求める周辺環境推定部を備え、
   前記周辺環境推定部は、
   前記カメラまたは前記周辺環境推定装置と前記カメラとが移動体に設置された場合、
   前記移動体の進行経路上で測定した、前記周辺物体と前記移動体との距離を、前記基準経路上における距離に変換するデータ変換処理を行うことで、前記周辺物体までの前記基準経路からの距離を求める、
   ことを特徴とする周辺環境推定装置。
2. 前記周辺環境推定部は、前記カメラまたは前記周辺環境推定装置と前記カメラとが前記移動体に設置された場合、最初に通過した前記移動体の経路を前記基準経路として設定することを特徴とする請求項１記載の周辺環境推定装置。
3. 前記周辺環境推定部は、前記データ変換処理を行うために、前記基準経路上の点をマッピングして、誤差が最も小さくなるように前記基準経路上のマッピング位置を算出することを特徴とする請求項１記載の周辺環境推定装置。
4. 前記周辺環境推定部は、算出した前記周辺物体までの前記基準経路からの距離と、現在の測定距離とを比較することで、前記周辺環境の変化を推定することを特徴とする請求項１記載の周辺環境推定装置。
5. 周辺環境を推定する制御をコンピュータに実行させる周辺環境推定プログラムにおいて、
   前記コンピュータに
   カメラの位置と撮影方向を認識し、既知の位置である基準経路点を１つ以上含む基準経路を設定して、前記カメラで撮影された画像にもとづき、前記画像内に撮影された周辺物体までの前記基準経路からの距離を求める際に、
   前記カメラまたは周辺環境推定装置と前記カメラとが移動体に設置された場合、
   前記移動体の進行経路上で測定した、前記周辺物体と前記移動体との距離を、前記基準経路上における距離に変換するデータ変換処理を行うことで、前記周辺物体までの前記基準経路からの距離を求める、
   処理を実行させることを特徴とする周辺環境推定プログラム。
6. 周辺環境を推定する周辺環境推定システムにおいて、
   カメラと、
   前記カメラの位置と撮影方向を認識し、既知の位置である基準経路点を１つ以上含む基準経路を設定して、前記カメラで撮影された画像にもとづき、前記画像内に撮影された周辺物体までの前記基準経路からの距離を求める周辺環境推定部と、
   前記周辺環境推定部の処理結果を出力する出力部と、
   を備え、
   前記周辺環境推定部は、
   前記カメラまたは周辺環境推定装置と前記カメラとが移動体に設置された場合、
   前記移動体の進行経路上で測定した、前記周辺物体と前記移動体との距離を、前記基準経路上における距離に変換するデータ変換処理を行うことで、前記周辺物体までの前記基準経路からの距離を求める、
   ことを特徴とする周辺環境推定システム。
   

Images