JP7102890B2 - 経路シミュレーション装置 - Google Patents

Description

本開示は、車両が走行すべき経路を計算し、計算した経路が正しいかどうかを検証する経路シミュレーション装置に関する。

車両に取り付けたセンサから、車両の走行すべき経路上の物体を検知する検査装置が開発されてきた。物体の検出範囲を求めるために、経路を計算し、計算した経路が正しいか否かのシュミレーションツールが必要となる。従来の技術としては、カメラで取得した画像から経路を検出する技術がある（特許文献１，２）。

特許文献１に記載された車両自動走行システムは、進行方向の路上等に書かれた車線を撮影するカメラ、カメラで撮影された原画像を取り込む画像入力部、画像入力部から入力された原画像を２値データ化し、該原画像データをガウス型関数で重み付けしたものの総和をとってボケ画像データに変換し、ボケ画像データに基づいて進行すべき方向と速度を決めるための画像処理・認識を行うコンピュータ、コンピュータで決めた方向と速度で車両を駆動するための動力を発生してタイヤに伝える動力部を備えている。

また、特許文献２に記載された軌道認識装置は、軌道走行車両が走行する軌道を認識する軌道認識装置であって、車外進行方向の対象を検出する視覚センサ、視覚センサの信号に基づき、車外進行方向設定範囲の視覚情報を生成する視覚情報処理手段、視覚情報に基づいて設定範囲内に存在する軌道を求めるとともに、求めた軌道の中から自車両が走行中の軌道を特定する軌道検出部とを備えている。

このように、特許文献１，２では、カメラ画像から輝度の濃淡情報用いて、道路の車線や鉄道のレールを検出し、車両が走行すべき経路（軌道）を生成している。

特開２００８－１３０８１号公報 特開２０００－３２６０１号公報

しかしながら、特許文献１，２に記載された技術では、夜間で画像が暗い場合や、霧や雪等の悪環境の場合には、画像の視認性が悪く、経路を検出することが困難であった。

本開示の課題は、経路を検出することなく画像状態に依存せず経路を計算し、計算した経路が正しいか否かを検証できる経路シミュレーション装置を提供することにある。

本開示の経路シミュレーション装置は、車両が走行すべき経路の勾配情報とカーブ情報とを含む経路情報を記憶する経路情報テーブルと、前記車両の現在の位置情報と前記経路情報テーブルに記憶された前記経路情報とに基づき３次元の経路座標における前記経路の勾配方向成分とカーブ方向成分を計算する経路計算部と、前記車両に取り付けられ、前記経路を撮影するカメラと、前記カメラの焦点距離と設置角度と高さとを含む撮影パラメータに基づき前記経路計算部で計算された前記経路座標における経路計算結果を３次元のカメラ座標における経路計算結果に変換するカメラ座標変換部と、前記カメラ座標変換部で変換された前記カメラ座標における前記経路計算結果を、２次元の画像座標における経路計算結果に変換する画像座標変換部と、前記画像座標変換部で変換された画像座標における経路計算結果を前記カメラで撮影された前記カーブ情報を含む前記経路の画像に重畳して表示する表示部とを備えることを特徴とする。

本開示によれば、経路計算部が車両の現在の位置情報と経路情報テーブルに記憶された経路情報とに基づき３次元の経路座標における経路の勾配方向成分とカーブ方向成分を計算し、カメラ座標変換部は、経路座標における経路計算結果を３次元のカメラ座標における経路計算結果に変換する。画像座標変換部は、カメラ座標における経路計算結果を２次元の画像座標における経路計算結果に変換し、表示部は、画像座標における経路計算結果をカメラで撮影されたカーブ情報を含む経路の画像に重畳して表示する。

即ち、経路計算部が既知の経路情報を用いて経路の勾配方向成分とカーブ方向成分を計算しているのみで、画像処理による経路の検出は行わないため、夜間で画像が暗い場合や、霧や雪等の悪環境の画像状態に依存せず経路を計算できる。また、経路計算結果がカメラで撮影されたカーブ情報を含む経路の画像に重畳して表示されるので、計算した経路が正しいか否かを検証できる。

実施例１の経路シミュレーション装置の構成ブロック図である。 実施例１の経路シミュレーション装置における勾配方向及びカーブ方向の経路座標系を示す図である。 実施例１の経路シミュレーション装置における経路座標系とカメラ座標系とを示す図である。 実施例１の経路シミュレーション装置における画像座標系を示す図である。 実施例１の経路シミュレーション装置の経路計算結果とカメラ画像との重畳表示を示す図である。 実施例２の経路シミュレーション装置において経路計算結果がカメラで撮影された経路画像からずれて重畳表示された状態を示す図である。

以下、実施例の経路シミュレーション装置について図面を参照して詳細に説明する。実施例の経路シミュレーション装置は、車両が走行すべき道路や鉄道の線路等の経路を計算し、計算した経路が正しいかどうかを検証する。経路は、例えば、直線、勾配、カーブ曲率により定義される。

図１に示す経路シミュレーション装置は、経路情報テーブル１１と、経路計算部１２と、カメラパラメータメモリ１３と、カメラ座標変換部１４、カメラ１５と、画像メモリ１６と、画像座標変換部１７、画像表示部１８を備えている。

経路情報テーブル１１は、書き込み読み出し可能なメモリに設けられ、車両が走行すべき経路の勾配情報とカーブ情報とを含む経路情報と車両の各位置におけるある起点からの距離情報とを対応付けて記憶する。経路の勾配情報としては、経路の高さ、勾配角等である。カーブ情報としては、経路の位置、経路のカーブ等である。なお、鉄道の場合には、経路情報として傾き等のカント情報が含まれる。カント情報は、各起点からの距離位置におけるカントの値である。

経路計算部１２は、経路情報テーブル１１から車両の現在の位置情報に対応するある起点からの距離情報を読み出し、読み出したある起点からの距離情報に対応する経路情報に基づき３次元の経路座標における経路を計算するもので、ＣＰＵ（中央処理装置）等により構成される。

経路計算部１２は、経路情報テーブル１１の経路情報に基づき経路の中心を算出し、経路の中心情報をカメラ座標変換部１４に出力する。

カメラパラメータメモリ１３は、カメラ１５の焦点距離とカメラの設置角度とカメラの高さとを含む撮影パラメータを記憶する。

カメラ座標変換部１４は、カメラパラメータメモリ１３に記憶されたカメラ１５の焦点距離と設置角度と高さとを含む撮影パラメータに基づき、経路計算部１２で計算された３次元の経路座標における経路計算結果をカメラ１５の３次元のカメラ座標における経路計算結果に変換する。カメラ座標変換部１４は、経路の中心情報を画像座標変換部１７に出力する。

カメラ１５は、車両に取り付けられ、車両から経路を撮影して２次元の経路画像を得る。カメラ１５は、所定の周期で２次元の経路画像を取り込み、２次元の経路画像を画像メモリ１６に出力する。画像メモリ１６は、カメラ１５からの２次元の経路画像を記憶する。

画像座標変換部１７は、カメラ座標変換部１４で変換された３次元のカメラ座標における経路計算結果を、２次元の画像座標における経路計算結果に変換する。画像座標変換部１７は、画像メモリ１６からの２次元の経路画像を入力する。

画像表示部１８は、画像座標変換部１７で変換された２次元の画像座標における経路計算結果を、画像メモリ１６からの２次元の経路画像に重畳して表示する。

次に、このように構成された実施例１の経路シミュレーション装置の動作を図面を参照しながら詳細に説明する。

まず、車両が走行すべき経路の勾配情報とカーブ情報とを含む経路情報を格納する経路情報テーブル１１を作成する。経路計算部１２は、経路情報テーブル１１に基づき現在の車両の位置を原点とした３次元の経路座標における経路を計算する。

図２に示すように、車両１が走行すべき経路の勾配方向成分を計算し、図３に示すように、車両１が走行すべき経路のカーブ方向成分を計算し、勾配方向成分とカーブ方向成分とを重ね合わせることで、経路座標系とする。

勾配方向成分は、勾配角θ_１と高低差ｈからなる。勾配角θ_１は、水平ｙを基準とした相対的な上下方向の経路の傾き角である。高低差ｈは、所定位置（車両１）を基準とした相対的な経路の高さｈである。カーブ方向成分は、カーブ角θ_２と経路位置ｘとからなる。カーブ角θ_２は、所定位置（車両１）の経路方向を延長した軸ｙを基準とした相対的な左右方向の経路の傾き角である。経路位置ｘは、所定位置（車両１）の経路方向を延長した軸ｙを基準とした相対的な経路位置である。

次に、カメラ座標変換部１４は、カメラパラメータメモリ１３に記憶されたカメラ１５の焦点距離と設置角度と高さとを含む撮影パラメータに基づき、経路計算部１２で計算された３次元の経路座標の経路をカメラ中心を原点とした３次元のカメラ座標の経路に変換する。

図３に、実施例１の経路シミュレーション装置における３次元の経路座標系（Ｘ，Ｙ，Ｚ）と３次元のカメラ座標系（Ｘ´，Ｙ´，Ｚ´）とを示す。Ｏｔは、３次元の経路座標系（Ｘ，Ｙ，Ｚ）の原点である。Ｏｃは、３次元のカメラ座標系（Ｘ´，Ｙ´，Ｚ´）の原点である。カメラ座標変換部１４は、撮影パラメータに基づき、回転、平行移動の組み合わせて座標変換を行う。

次に、画像座標変換部１７は、カメラ座標変換部１４で変換された３次元のカメラ座標における経路計算結果を、２次元の画像座標における経路計算結果に変換する。２次元の画像座標は、図４に示すように、画面左上を原点Ｏｉとした画像座標系であり、ｘ方向に例えば１９２０ピクセル、ｙ方向に１０８０ピクセルの画像座標系からなる。

次に、画像座標変換部１７は、画像メモリ１６から図５（ａ）に示す２次元の経路画像を入力する。２次元の経路画像には、中心経路Ａ１と左側経路Ａ２と右側経路Ａ３とが表示されるが、各経路が見えにくくなっていることがわかる。

図５（ｂ）に、画像座標変換部１７で変換された２次元の画像座標におけるカメラ視点での経路計算結果を示す。図５（ｂ）には、経路計算結果として、中心経路Ｂ１と左側経路Ｂ２と右側経路Ｂ３とが表示され、各経路が見え易くなっていることがわかる。

次に、画像表示部１８は、画像座標変換部１７で変換された２次元の画像座標におけるカメラ視点での経路計算結果を、画像メモリ１６からの２次元の経路画像に重畳して表示する。

即ち、図５（ｃ）に示すように、経路計算結果としての中心経路Ｂ１と左側経路Ｂ２と右側経路Ｂ３とが、２次元の経路画像としての中心経路Ａ１と左側経路Ａ２と右側経路Ａ３とに重畳表示される。

このように実施例１の経路シミュレーション装置によれば、経路計算部１２が車両１の現在の位置情報と経路情報テーブル１１に記憶された経路情報とに基づき３次元の経路座標における経路を計算し、カメラ座標変換部１４は、経路座標における経路計算結果を３次元のカメラ座標における経路計算結果に変換する。

画像座標変換部１７は、カメラ座標における経路計算結果を２次元の画像座標における経路計算結果に変換し、画像表示部１８は、画像座標における経路計算結果をカメラ１５で撮影された経路画像に重畳して表示する。

即ち、経路計算部１２が既知の経路情報を用いて経路を計算しているのみで、画像処理による経路の検出は行わないため、夜間で画像が暗い場合や、霧や雪等の悪環境の画像状態に依存せず経路を計算できる。また、経路計算結果がカメラ１５で撮影された経路の画像に重畳して表示されるので、計算した経路が正しいか否かを検証できる。

また、カメラ１５は、物体を撮影することにより物体の位置の２次元情報を取得する。画像座標変換部１７は、カメラ１５の画像座標における物体の位置の２次元情報をカメラ座標における物体の位置の３次元情報に変換する。カメラ座標変換部１４は、画像座標変換部１７で変換された物体の位置の３次元情報を経路座標における物体の位置の３次元情報に変換する。

従って、車両から物体までの距離情報を加えた物体の位置の３次元情報を得ることができる。この物体の位置の３次元情報に基づいて、距離に基づいた物体の特徴が得られ、物体の誤検知を低減することができる。

（実施例２）
次に、実施例２の経路シミュレーション装置について説明する。実施例２の経路シミュレーション装置は、経路計算結果がカメラ１５で撮影された経路画像からずれて重畳表示された場合について説明する。

図６に示すように、経路計算結果としての中心経路Ｃ１と左側経路Ｃ２と右側経路Ｃ３とが、経路画像としての中心経路Ａ１と左側経路Ａ２と右側経路Ａ３からずれて重畳表示される場合がある。

このような場合には、マウスやキーボード等の操作部を用いて、ＣＰＵにより、経路情報テーブル１１に記憶された経路の勾配情報とカーブ情報とカント情報を含む経路情報を微調整する。マウスやキーボード等の操作部は、本発明の調整手段に対応する。

そして、微調整された経路計算結果を画面に表示し、画面を見ながら、経路計算結果が２次元の経路画像としての中心経路Ａ１と左側経路Ａ２と右側経路Ａ３とに重なるようにする。経路計算結果が２次元の経路画像に重なるまで経路情報を微調整する。

そして、図５に示すように、修正された中心経路Ｂ１と左側経路Ｂ２と右側経路Ｂ３が、２次元の経路画像としての中心経路Ａ１と左側経路Ａ２と右側経路Ａ３とに重なるように表示させる。

また、カメラパラメータメモリ１３に記憶されたカメラ１５の焦点距離とカメラの設置角度とカメラの高さとを含む撮影パラメータを微調整することにより、３次元のカメラ座標の経路が微調整されて、経路計算結果が微調整される。この場合も、微調整された経路計算結果を画面に表示し、画面を見ながら、経路計算結果が２次元の経路画像に重なるまで経路情報を微調整する。

なお、実施例１，２では、経路情報テーブル１１を経路の敷設情報に基づいて手動で作成しているが、例えば、ジャイロセンサや３次元スキャナ等を車両に設置して、対象区間の経路情報を事前に取得し、経路情報テーブル１１を自動で作成してもよい。

１ 車両
１１ 経路情報テーブル
１２ 経路計算部
１３ カメラパラメータメモリ
１４ カメラ座標変換部
１５ カメラ
１６ 画像メモリ
１７ 画像座標変換部
１８ 画像表示部

Claims (3)

1. 車両が走行すべき経路の勾配情報とカーブ情報とを含む経路情報を記憶する経路情報テーブルと、
   前記車両の現在の位置情報と前記経路情報テーブルに記憶された前記経路情報とに基づき３次元の経路座標における前記経路の勾配方向成分とカーブ方向成分を計算する経路計算部と、
   前記車両に取り付けられ、前記経路を撮影するカメラと、
   前記カメラの焦点距離と設置角度と高さとを含む撮影パラメータに基づき前記経路計算部で計算された前記経路座標における経路計算結果を３次元のカメラ座標における経路計算結果に変換するカメラ座標変換部と、
   前記カメラ座標変換部で変換された前記カメラ座標における前記経路計算結果を、２次元の画像座標における経路計算結果に変換する画像座標変換部と、
   前記画像座標変換部で変換された画像座標における経路計算結果を前記カメラで撮影された前記カーブ情報を含む前記経路の画像に重畳して表示する表示部と、
   を備えることを特徴とする経路シミュレーション装置。
2. 前記カメラは、物体を撮影することにより前記物体の位置の２次元情報を取得し、
   前記画像座標変換部は、前記カメラの画像座標における前記物体の位置の２次元情報を前記カメラ座標における前記物体の位置の３次元情報に変換し、
   前記カメラ座標変換部は、前記画像座標変換部で変換された前記カメラ座標における前記物体の位置の３次元情報を前記経路座標における前記物体の位置の３次元情報に変換することを特徴とする請求項１記載の経路シミュレーション装置。
3. 前記表示部において、前記カメラで撮影された前記経路の画像に対して、前記画像座標における前記経路計算結果がずれていた場合には、前記経路情報テーブルの前記経路情報と前記撮影パラメータとの少なくとも一方を微調整する調整手段を備えることを特徴とする請求項１又は請求項２記載の経路シミュレーション装置。

Images