JP7278705B2

JP7278705B2 - 自律走行経路生成方法及びその装置

Info

Publication number: JP7278705B2
Application number: JP2017185937A
Authority: JP
Inventors: 鐵薫張
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2016-11-30
Filing date: 2017-09-27
Publication date: 2023-05-22
Anticipated expiration: 2037-09-27
Also published as: EP3330147A1; CN108116409A; US20180150082A1; EP3330147B1; KR20180061686A; US10452075B2; CN108116409B; JP2018090239A

Description

本発明は、自律走行車両の自律走行経路を生成する方法及び装置に関し、より詳細には、道路の傾斜度を算出し、傾斜度に基づいて自律走行経路を生成する方法及び装置に関する。

自律走行車両は、走行時車両周辺の環境を認識し、走行経路を主体的に決定して自身の動力を用いて独立的に走行する。自律走行車両は、運転者がハンドル、加速ペダル及びブレーキなどを操作しなくても経路上に存在する障害物及び距離を維持して道路の形状に応じて速度及び走行方向を調整しながら、自ら目的先まで到達することができる。例えば、道路の直線区間では加速を行い、曲線道路では道路の曲率に対応して走行方向を変更しながら減速を行う。

本発明の目的は、自律走行経路を生成する方法及び装置を提供することにある。

一側面に係る自律走行車両の自律走行経路生成方法は、自律走行車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記自律走行車両と地面との間の傾斜度を算出するステップと、前記算出された傾斜度に基づいて前記自律走行車両の自律走行経路を生成するステップとを含む。

前記自律走行経路を生成するステップは、前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって、鳥瞰イメージを生成するステップと、前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、を含み得る。

前記自律走行経路を生成するステップは、前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップを含み、前記補正されたデータは、前記自律走行経路を生成するために用いられる。

前記傾斜度を算出するステップは、前記入力イメージ内の車線を検出するステップと、前記検出された車線に基づいて前記車線の消失点を検出するステップと、前記消失点に基づいて前記傾斜度を算出するステップと、を含み得る。

前記車線の消失点を検出するステップは、複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップ、を含み得る。

前記消失点に基づいて前記傾斜度を算出するステップは、予め設定された消失点の位置及び前記検出された消失点の位置を受信するステップと、前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、を含み得る。

前記予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップは、前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを受信するステップ、を含み得る。

前記予め設定された消失点の高さ座標は、前記入力イメージの中心高さ座標であり得る。

前記自律走行経路生成方法は、予め設定された周期で算出された傾斜度に基づいて前記地面の状態を決定するステップと、前記決定された地面の状態に基づいて前記自律走行車両を制御するステップとをさらに含み得る。

前記地面の状態を決定するステップは、前記傾斜度の偏差に基づいて前記地面の状態を決定するステップを含み得る。

他の一実施形態に係る自律走行車両の自律走行経路生成装置は、プロセッサと、メモリと、前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記自律走行車両と地面との間の傾斜度を算出するステップと、前記算出された傾斜度に基づいて前記自律走行車両の自律走行経路を生成するステップとを行うプログラムと、を含む。

前記自律走行経路生成装置は、前記自律走行車両の前方を撮影することで前記入力イメージを生成するカメラ、をさらに含み得る。

前記自律走行車両の自律走行経路を生成するステップは、前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって鳥瞰イメージを生成するステップと、前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、を含み得る。

前記自律走行経路を生成するステップは、前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップを含み、前記補正されたデータは、前記走行経路を生成するために用いられる。

前記車線の消失点を検出するステップは、複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップを含み得る。

前記消失点に基づいて前記傾斜度を算出するステップは、予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップと、前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、を含み得る。

前記予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップは、前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを算出するステップを含み得る。

前記プログラムは、予め設定された周期で算出された傾斜度に基づいて前記地面の状態を決定するステップと、前記決定された地面の状態に基づいて前記自律走行車両を制御するステップと、をさらに含み得る。

前記地面の状態を決定するステップは、前記傾斜度の偏差に基づいて前記地面の状態を決定するステップ、を含み得る。

更なる一実施形態に係る傾斜度算出方法は、自律走行車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記前方の傾斜度を算出するステップ、とを含む。

更なる一実施形態に係る傾斜度算出装置は、プロセッサと、メモリと、前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、自律走行車両の前方を撮影した入力イメージを受信するステップと、前記入力イメージに基づいて前記前方の傾斜度を算出するステップとを行うプログラムと、を含む。

更なる一実施形態に係る車両制御方法は、車両のカメラによって取得されたイメージ内の消失点の位置を検出するステップと、予め設定された消失点の位置及び前記検出された消失点の位置に基づいて前記車両と地面との間の傾斜を算出するステップと、前記傾斜度に基づいて前記車両の走行を自律的に制御するステップと、を含む。

前記検出された消失点は車線の消失点であり得る。

前記検出された消失点の位置は前記検出された消失点の高さ座標を含み、前記予め設定された消失点の位置は前記イメージの中心高さ座標を含み得る。

前記車両の走行を自律的に制御するステップは、前記傾斜度に基づいて前記イメージを鳥瞰視点イメージに変換するステップと、前記鳥瞰視点イメージに基づいて自律走行経路を生成するステップと、前記自律走行経路に基づいて前記車両の走行を制御するステップと、を含み得る。

本発明によれば、自律走行経路を生成する方法及び装置を提供することができる。

一例に係る自律走行車両を示す。一例に係る姿勢が安定した自律走行車両が生成した鳥瞰イメージを示す。一例に係る姿勢が不安定な自律走行車両が生成した鳥瞰イメージを示す。一例に係る姿勢が不安定な自律走行車両が生成した鳥瞰イメージを示す。一例に係る傾斜路が障害物として判断した場合を示す。一実施形態に係る自律走行経路生成装置の構成図である。一実施形態に係る自律走行経路生成方法のフローチャートである。一例に係る鳥瞰イメージに基づいて自律走行経路を生成する方法のフローチャートである。一例に係る入力イメージに基づいて傾斜度を算出する方法のフローチャートである。一例に係る自律走行車両が前方に傾斜した場合、カメラの撮影システムを示す。一例に係る車道が曲線である場合、撮影された入力イメージを示す。一例に係る複数の消失点が示される入力イメージを示す。一例に係る消失点に基づいて傾斜度を算出する方法のフローチャートである。一例に係る予め設定された消失点の高さ座標及び算出された消失点の高さ座標を示す。一例に係る地面の状態に基づいて自律走行車両を制御する方法のフローチャートである。一例に係るカメラの傾斜を調整して車線を検出する方法のフローチャートである。一実施形態に係る前方の傾斜度算出方法のフローチャートである。

以下に、添付する図面を参照しながら実施形態を詳細に説明する。しかし、特許出願の範囲がこの実施形態によって制限されたり、限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

以下で説明する実施形態には様々な変更が加えられ得る。下記に説明する実施形態は、その実施形態について限定しようとするためのものではなく、これに対する全ての変更、均等物ないし代替物を含むものとして理解しれなければならない。

本実施形態で用いる用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なる定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野において通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略することにする。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。

図１は、一例に係る自律走行する車両を示す。

自律走行車両１１０は、運転者からの入力がほとんどないか又は全くない状況であっても、認知された走行環境に応じて自律モードで走行する。例えば、自律走行車両１１０は自動車であってもよい。異なる例として、自律走行車両１１０は、モータサイクル、ドローン、又は船であってもよく、記載された実施形態に限定されることはない。

走行環境は、自律走行車両１１０に取付け又は設置された１つ以上のセンサを用いて認知される。例えば、１つ以上のセンサは、カメラ、ライダー（ｌｉｄａｒ）センサ、レーダー（ｒａｄａｒ）センサ及び１つ以上の音声認識センサを含み、記載の例に制限されることはない。走行環境は、道路、道路の状態、車線の種類、周辺車両の有無、近接した車両との距離、天気、障害物の有無などを含み、記載された例に制限されることはない。

自律走行車両１１０は、走行環境を認識し、走行環境に適切な自律走行経路１２０を生成する。自律走行車両１１０は、自律走行経路１２０に沿って行くように、内外部の機械的な要素を制御する。自律走行車両１１０は、自律走行経路１２０を周期的に生成する。自律走行車両１１０は、自律走行経路１２０をルール基盤モデル（ｒｕｌｅｂａｓｅｄｍｏｄｅｌ）を用いて生成する。例えば、自律走行車両１１０が必ず守らなければならない条件が予め設定されており、自律走行車両１１０は条件が満たされる最適な自律走行経路１２０を生成する。例えば、条件のうちの１つは交通法規を守ることであってもよい。

図２は、一例に係る姿勢が安定した自律走行車両が生成した鳥瞰イメージを示す。

自律走行車両１１０が道路を走行する場合２１０、自律走行車両１１０は、自律走行車両１１０の前面に位置するカメラを用いて車両前方２１５に対するイメージを撮影する。自律走行車両１１０の姿勢が安定した場合、カメラに撮影されたイメージの平面が地面と垂直に、カメラが自律走行車両１１０に設けられている。イメージの平面に対して、以下では図１０を参照して詳細に説明する。

カメラのイメージの平面が地面と垂直な場合、撮影されたイメージ２２０は地平線がイメージ２２０内の中央線に位置する。

自律走行車両１１０は、撮影されたイメージ２２０に基づいて、車両前方２１５を鳥瞰視点で眺めたイメージ２３０を生成する。鳥瞰視点で眺めたイメージは、鳥瞰イメージと命名する。例えば、自律走行車両１１０は、撮影されたイメージ２２０の視点をカメラの視点から鳥瞰視点に変換することで鳥瞰イメージ２３０を生成し得る。イメージの視点を変換するために、イメージスワッピング技術を用いてもよい。イメージ２２０を鳥瞰イメージ２３０に変換する場合、イメージ２２０及び鳥瞰イメージ２３０の間に互いに対応しないピクセルが存在することがあり、イメージ２２０のピクセルに対応していない鳥瞰イメージ２３０のピクセルは、ホール領域２３５として示される。自律走行経路の生成において、ホール領域２３５の有無は考慮要素ではないため、ホール領域２３５に対する追加処理は要求されない。車両１１０は、鳥瞰イメージ２３０を用いて走行経路を生成する。

図３及び４は、一例に係る姿勢が不安定な自律走行車両が生成した鳥瞰イメージを示す。

走行中の自律走行車両１１０の姿勢が不安定に変化することが発生し得る。例えば、車両１１０が出発する場合、自律走行車両１１０の前面が上に傾くことがある。異なる例として、自律走行車両１１０の前輪が凹凸を通過する場合、自律走行車両１１０の前面が上に傾くことがある。自律走行車両１１０の前面が上に傾く状態で車両前方３１２に対するイメージが撮影される場合３１０が発生する。車両前方３１２は、自律走行車両１１０の姿勢が安定した場合の車両前方３１４に比べて上向きの角度θ_１である。

車両前方３１２に対するイメージ３２０は、地平線３２２がイメージ３２０内の中央線３２４よりも下にある。

イメージ３２０に基づいて生成された鳥瞰イメージ３３０は、実際の道路状況とは相違して示される。例えば、実際の道路状況は平地であるものの、自律走行車両１１０の姿勢が不安定な場合に生成された鳥瞰イメージ３３０は下り坂のように示され、鳥瞰イメージ３３０によって測定された距離も実際の距離とは相違するものである。

図４は、図３とは異なる例を示す。走行中の自律走行車両１１０の姿勢が不安定に変化することが発生し得る。例えば、走行中の自律走行車両１１０が制動する場合、自律走行車両１１０の前方が下に傾くことがある。異なる例として、自律走行車両１１０の後輪が凹凸を通過する場合、自律走行車両１１０が下に傾くことがある。

自律走行車両１１０が下に傾いた状態で車両前方４１２に対するイメージが撮影される場合４１０が発生し得る。車両前方４１２は、自律走行車両１１０の姿勢が安定した場合の車両前方４１４に比べて下向きの角度θ_２である。

車両前方４１２に対するイメージ４２０は、地平線４２２がイメージ４２０内の中央線４２４よりも上にある。

イメージ４２０に基づいて生成された鳥瞰イメージ４３０は、実際の道路状況とは相違して示される。例えば、実際の道路状況は平地であるものの、自律走行車両１１０の姿勢が不安定な場合に生成された鳥瞰イメージ４３０は登り坂のように示され、鳥瞰イメージ４３０によって測定された距離も実際の距離とは相違するものである。

図５は、一例に係る傾斜路が障害物として判断した場合を示す。

図３及び図４は、自律走行車両の姿勢が不安定な場合について説明したが、図５は、自律走行車両１１０が傾斜路５１２を障害物５２２として認識した場合を示す。

実際の道路状況５１０は車両前方に傾斜路５１２が位置したものであるが、自律走行車両１１０は車両前方に対する鳥瞰イメージに基づいて車両前方に障害物５２２が位置した道路状況５２０として認識する。自律走行車両１１０が車両前方に障害物５２２が位置したものとして認識した場合、自律走行車両１１０は、障害物５２２を回避するための迂回経路を生成したり、経路を生成できないこともある。

自律走行車両１１０が実際の道路状況５１０を正確に認識できないことにより誤った走行経路が生成されることがある。そのような場合を防止するために、自律走行車両１１０の姿勢又は道路の傾斜度が走行経路を生成するために考慮される。以下の図６ないし図１７を参照して、自律走行車両と地面との間の傾斜度を算出する方法及び算出した傾斜度を用いる方法を詳細に説明する。

図６は、一実施形態に係る自律走行経路生成装置の構成図である。

自律走行経路生成装置６００は、カメラ６１０、センサ６２０、通信部６３０、プロセッサ６４０、及びメモリ６５０を含む。自律走行経路生成装置６００は、図１ないし図５を参照して前述された自律走行車両１１０に含まれる。

カメラ６１０は、車両前方を撮影することで入力イメージを生成する。カメラ６１０は、カメラ６１０のイメージの平面と平地が垂直になるよう自律走行車両１１０に設けられる。

センサ６２０は、１つ以上のセンサを含んでもよい。例えば、センサ６２０は、自律走行車両１１０の周辺を撮影する追加カメラ、ライダーセンサ、レーダーセンサ、及び音声認識センサを含む。

通信部６３０は、カメラ６１０、センサ６２０、プロセッサ６４０及びメモリ６５０と接続してデータを送受信する。通信部６３０は、外部の他の装置に接続してデータを送受信する。通信部６３０は、自律走行経路生成装置６００内の回路網として実現される。例えば、通信部６３０は、内部バス及び外部バスを含み得る。異なる例として、通信部６３０は、自律走行経路生成装置６００と外部の装置を接続する要素であってもよい。通信部６３０は、インターフェースであってもよい。通信部６３０は、外部の装置からデータを受信し、プロセッサ６４０及びメモリ６５０にデータを送信する。

プロセッサ６４０は、通信部６３０が受信したデータ及びメモリ６５０に格納されたデータを処理する。

「プロセッサ」は、目的とする動作を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたデータ処理装置である。例えば、目的とする動作は、プログラムに含まれたコード又は命令を含む。例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサ、中央処理装置、プロセッサコア、マルチ－コアプロセッサ、マルチプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－ＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）を含んでもよい。

プロセッサ６４０は、メモリ（例えば、メモリ６５０）に格納されたコンピュータで読込みできるコード（例えば、ソフトウェア）及びプロセッサ６４０によって誘発された命令を実行する。

メモリ６５０は、通信部６３０が受信したデータ及びプロセッサ６４０が処理したデータを格納する。例えば、メモリ６５０はプログラムを格納し得る。

一側面によれば、メモリ６５０は、１つ以上の揮発性メモリ、不揮発性メモリ及びＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ及び光学ディスクドライブを含み得る。

メモリ６５０は、自律走行経路を生成する命令語セット（例えば、ソフトウェア）を格納する。自律走行経路を生成する命令語セットは、プロセッサ６４０によって実行される。プロセッサ６４０は、命令語セットに応じて自律走行経路を生成する。

以下、図７ないし図１７を参照してカメラ６１０、センサ６２０、通信部６３０、プロセッサ６４０、及びメモリ６５０を詳細に説明する。

図７は、一実施形態に係る自律走行経路生成方法のフローチャートである。

ステップＳ７１０において、カメラ６１０は、車両１１０の前方を撮影することで入力イメージを生成する。入力イメージはカラーイメージであってもよい。ステップＳ７１０は、予め設定された周期で実行される。カメラ６１０は、予め設定された周期で複数の入力イメージを生成する。

ステップＳ７２０において、プロセッサ６４０は、入力イメージをカメラ６１０から受信する。

ステップＳ７３０において、プロセッサ６４０は、入力イメージに基づいて自律走行車両１１０と地面との間の傾斜度を算出する。傾斜度は、自律走行車両１１０の正面及び地面間の角度であってよい。傾斜度を算出する方法については、以下に図９ないし図１４を参照して詳細に説明する。

ステップＳ７４０において、プロセッサ６４０は、算出された傾斜度に基づいて自律走行車両１１０の自律走行経路を生成する。自律走行経路を生成する方法については、以下に図８を参照して詳細に説明する。

図８は、一例に係る鳥瞰イメージに基づいて自律走行経路を生成する方法のフローチャートである。

ステップＳ８１０において、プロセッサ６４０は、算出された傾斜度に基づいて鳥瞰イメージを生成する。例えば、プロセッサ６４０は、傾斜度を用いて入力イメージを鳥瞰視点にワーピングすることにより鳥瞰イメージを生成する。

ステップＳ８２０において、プロセッサ６４０は、算出された傾斜度を用いて検出データを補正する。検出データは、センサ６２０を用いて受信される。プロセッサ６４０は、傾斜度と関係のある検出データを補正する。

ステップＳ８３０において、プロセッサ６４０は、鳥瞰イメージ及び検出データに基づいて車両１１０の自律走行経路を生成する。

図９は、一例に係る入力イメージに基づいて傾斜度を算出する方法のフローチャートである。

図７を参照して前述したステップＳ７３０は、下記のステップＳ９１０、Ｓ９２０、Ｓ９３０を含む。

ステップＳ９１０において、プロセッサ６４０は、入力イメージ内の１つ以上の車線を検出する。例えば、プロセッサ６４０は、入力イメージ内の外側車線（ｓｉｄｅｌａｎｅ）及び中央車線（ｃｅｎｔｅｒｌａｎｅ）を検出する。

ステップＳ９２０において、プロセッサ６４０は、車線の消失点を検出する。例えば、プロセッサ６４０は、複数の車線が互いに接する点を消失点として検出する。

ステップＳ９３０において、プロセッサ６４０は、検出された消失点に基づいて傾斜度を算出する。消失点に基づいて傾斜度を算出する方法を、以下に図１３及び１４を参照して詳細に説明する。

図１０は、一例に係る自律走行車両が前方に傾斜した場合における、カメラの撮影システムを示す。

カメラ６１０の撮影システム１０００は、レンズ１００５及びレンズ１００５の軸１０２０に基づいて前方の場面１０３０を撮影することによって、入力イメージ１０４０を生成する。

自律走行車両１１０が前方に傾斜した場合（又は、前が押さえられた場合）、カメラ６１０のレンズ１００５は車両１１０が傾いた角度に対応して傾斜し、レンズ１００５の軸１０２０が下降する。平地でのレンズ１００５の正常な軸１０１０と下に傾いた軸１０２０との間に角度θ_ｔが発生する可能性がある。角度θ_ｔは傾斜度として命名される。カメラ６１０は、レンズ１００５の軸１０２０に沿って前方の場面１０３０を撮影することによって、入力イメージ１０４０を生成する。前方の場面１０３０と正常な軸１０１０が接する線１０３５上に消失点が発生する可能性がある。線１０３５は地平線である。

自律走行車両１１０が後方に傾斜した場合（又は、前が上に傾いた場合）にも前述の説明が同様に適用され得る。自律走行車両１１０が後方に傾斜した場合には、レンズ１００５の軸が正常な軸１０１０に比べて上向きになるものとして理解される。

図１１は、一例に係る車道が曲線である場合、撮影された入力イメージを示す。

一側面によれば、車で１１０２が曲線である場合、プロセッサ６４０は車線が接する点を消失点１１１０として検出する。地平線１１２０は、消失点１１１０を含んでもよい。車線が接する点が消失点１１１０として検出されるため、プロセッサ６４０は、車線が直線でない曲線である場合にも消失点１１１０を検出できる。

図１２は、一例に係る複数の消失点が示される入力イメージを示す。

道路１２０２が平地１２０４と登り坂１２０６に続いている。プロセッサ６４０は、平地１０２で第１車線１２１０に対する第１消失点１２１２を検出し、登り坂１２０６で第２車線１２２０に対する第２消失点１２２２を検出する。第１消失点１２１２は第１線１２１５に含まれ、第２消失点１２２２は第２線１２２５に含まれる。車両１１０を基準にして第１車線１２１０は、第２車線１２２０に比べてさらに近接する。

プロセッサ６４０は、複数の消失点１２１２、１２２２が検出された場合、自律走行車両１１０で最も近接する消失点１２１２を傾斜度を算出するための消失点として決定する。例えば、プロセッサ６４０は、傾斜度を算出するために複数の消失点１２１２、１２２２のうち、自律走行車両１１０で最も近接する第１車線１２１０に対する第１消失点１２１２を選択する。

図１３は、一例に係る消失点に基づいて傾斜度を算出する方法のフローチャートである。

図９を参照して前述されたステップＳ９３０は、以下のステップＳ１３１０、Ｓ１３２０を含む。

ステップＳ１３１０において、プロセッサ６４０は、予め設定された消失点の位置及び検出された消失点の位置を受信する。例えば、プロセッサ６４０は、予め設定された消失点の高さ座標及び検出された消失点の高さ座標を受信する。予め設定された消失点の高さ座標は、イメージの中心高さ座標であり得る。予め設定された消失点の高さ座標及び検出された消失点の高さ座標について、図１４を参照して詳細に説明する。

ステップＳ１３２０において、プロセッサ６４０は、予め設定された消失点の位置及び検出された消失点の位置間の差に基づいて傾斜度を算出する。一側面によれば、予め設定された消失点の位置及び検出された消失点の位置間の差、及び傾斜度を対応させるマッチングテーブルが、メモリ６５０に格納され得る。異なる側面によれば、傾斜度は下記の数式（１）を用いて算出され得る。例えば、予め設定された消失点の位置と検出された消失点の位置との間の差はイメージ上の距離であるため、予め設定された消失点の位置及び検出された消失点の位置間の差に基づいて実際の距離を示すｖ_ｙが算出される。ｆ_ｙはカメラのレンズから検出された消失点までの実際の距離である。異なる例として、ｖ_ｙは、イメージ上の予め設定された消失点の位置と検出された消失点の位置との間の差であり、ｆ_ｙは、イメージ撮影システム内のレンズから検出された消失点までの距離である。

図１４は、一例に係る予め設定された消失点の高さ座標及び算出された消失点の高さ座標を示す。

予め設定された消失点の位置は、入力イメージ１４００の中心線１４１０上に位置する。中心線１４１０の高さ座標１４２０は、平地で撮影されたイメージの消失点が含まれるように予め設定されてもよい。例えば、入力イメージ１４００の解像度が１９２０×１０８０の場合、下から５４０番目又は５４１番目のピクセルが中心線１４１０に含まれる。

同じ傾斜度で撮影された複数の入力イメージは、車線の形態とは関係なく、同一の消失点線１４３０上に含まれる消失点を有する。すなわち、傾斜度が同じである場合、予め設定された消失点の高さ座標１４２０と算出された消失点の高さ座標１４４０との間の差が一定である。

図１５は、一例に係る地面の状態に基づいて自律走行車両を制御する方法のフローチャートである。

以下のステップＳ１５１０、Ｓ１５２０は、前述のステップＳ７４０と並列的に実行され得る。

ステップＳ１５１０において、プロセッサ６４０は、予め設定された周期で算出された傾斜度に基づいて地面の状態を決定する。ステップＳ７１０、Ｓ７２０、Ｓ７３０が予め設定された周期で実行される場合、複数の傾斜度が算出される。プロセッサ６４０は、複数の傾斜度の偏差を算出する。プロセッサ６４０は、算出された偏差に基づいて地面状態を決定する。例えば、複数の偏差範囲それぞれに対する地面状態が予め設定され得る。

ステップＳ１５２０において、プロセッサ６４０は、決定された地面状態に基づいて自律走行車両１１０を制御する。例えば、地面の状態が平坦でないほど、走行速度が低くなる。

図１６は、一例に係るカメラの傾斜を調整して車線を検出する方法のフローチャートである。

以下のステップＳ１６１０、Ｓ１６２０、Ｓ１６３０は図９を参照して前述したステップＳ９１０が実行された後に実行され得る。

ステップＳ１６１０において、プロセッサ６４０は、入力イメージ内の車線が検出されたか否かを判断する。

ステップＳ１６２０において、プロセッサ６４０は、車線が検出されていない場合、カメラ６１０の傾斜を調整する。例えば、自律走行車両１１０が位置した道路の傾斜が登り坂から下り坂に変化する場合、自律走行車両１１０の前方に設置されたカメラ６１０は道路を撮影し難い。この場合、プロセッサ６４０は、カメラ６１０のレンズ軸を下降させることができる。傾斜が調整されたカメラ６１０は入力イメージを生成することができる。

ステップＳ１６３０において、プロセッサ６４０は、傾斜が調整されたカメラ６１０が生成した入力イメージ内の車線が検出されたか否かを判断する。入力イメージ内の車線が検出された場合、図９を参照して前述したステップＳ９２０が実行され得る。

一側面によれば、カメラ６１０の傾斜が調整された場合、ステップＳ９２０でプロセッサ６４０は、検出された消失点の位置を補正する。例えば、プロセッサ６４０は、調整されたカメラ６１０の傾斜に対応する値を用いて消失点の位置を補正する。

他の側面によれば、カメラ６１０の傾斜が調整された場合、ステップＳ９３０で、プロセッサ６４０は算出された傾斜度を補正する。例えば、プロセッサ６４０は、調整されたカメラ６１０の傾斜に対応する値を用いて傾斜度を補正できる。

図１７は、一実施形態に係る前方の傾斜度算出方法のフローチャートである。

図６を参照して前述した自律走行経路生成装置６００は、自律走行経路を生成しない場合にも自律走行車両１１０の周辺環境を認識するために車両前方の傾斜度を算出する。

ステップＳ１７１０において、プロセッサ６４０は、車両の前方を撮影したイメージを受信する。例えば、カメラ６１０は、車両前方を撮影することでイメージを生成し、プロセッサ６４０は、カメラ６１０からイメージを受信する。イメージは、図６を参照して説明された入力イメージに対応する。

ステップＳ１７２０において、プロセッサ６４００は、イメージに基づいて車両前方の傾斜度を算出する。傾斜度は、自律走行車両１１０の正面と地面との間の角度である。ステップＳ１７２０に対する詳細な説明は、図９ないし図１４を参照して説明したステップＳ７３０に対する説明に代替できるためその説明は省略する。

実施形態に係る方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述のように、実施形態を限定された図面によって説明したが、当技の術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形さえも適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。

したがって、他の具現、他の実施形態、及び請求範囲と均等なものも後述する請求範囲に属する。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組み合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ記録媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータで読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータで読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述のように、実施形態を限定された図面によって説明したが、当技の術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形さえも適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、かつ／あるいは、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。

１１０：車両
６００：自律走行経路生成装置
６１０：カメラ
６２０：センサ
６３０：通信部
６４０：プロセッサ
６５０：メモリ

Claims

自律走行経路生成装置により実施される、自律走行経路生成方法であって、
自律走行車両の前方をカメラで撮影した入力イメージを、該装置のプロセッサが、受信するステップと、
前記入力イメージに基づいて、前後方向における前記自律走行車両と地面との間の傾斜度を、該装置のプロセッサが、算出するステップと、
前記算出された傾斜度に基づいて、前記自律走行車両の自律走行経路を、該装置のプロセッサが、生成するステップと、
を含み、
前記傾斜度を算出するステップは、
前記入力イメージ内の車線を検出するステップ、を含み、
前記車線が検出されない場合は、前記カメラの傾斜を調整し、
前記車線が曲線である場合は、地平線と接する点を消失点として検出し、検出された前記消失点に基づいて、前記傾斜度を算出する、
自律走行経路生成方法。
前記自律走行経路を生成するステップは、
前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって、鳥瞰イメージを生成するステップと、
前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、
を含む、請求項１に記載の自律走行経路生成方法。
前記自律走行経路を生成するステップは、
前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップ、を含み、
前記補正されたデータは、前記自律走行経路を生成するために用いられる、
請求項１または２に記載の自律走行経路生成方法。
前記傾斜度を算出するステップは、さらに、
前記検出された車線に基づいて前記車線の消失点を検出するステップと、
前記消失点に基づいて前記傾斜度を算出するステップと、
を含む、請求項１ないし３のいずれか一項に記載の自律走行経路生成方法。
前記車線の消失点を検出するステップは、
複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップ、を含む、
請求項４に記載の自律走行経路生成方法。
前記消失点に基づいて前記傾斜度を算出するステップは、
予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップと、
前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、
を含む、請求項４に記載の自律走行経路生成方法。
前記予め設定された消失点の位置と前記検出された消失点との位置を受信するステップは、
前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを受信するステップ、を含む、
請求項６に記載の自律走行経路生成方法。
前記予め設定された消失点の前記高さ座標は、前記入力イメージの中心高さ座標である、
請求項７に記載の自律走行経路生成方法。
前記自律走行経路生成方法は、さらに、
予め設定された周期で算出された傾斜度に基づいて前記地面の傾斜状態を決定するステップと、
前記決定された地面の傾斜状態に基づいて前記自律走行車両を制御するステップと、
を含む、請求項１に記載の自律走行経路生成方法。
前記地面の傾斜状態を決定するステップは、
前記予め設定された周期で算出された複数の前記傾斜度の偏差に基づいて前記地面の傾斜状態を決定するステップ、を含む、
請求項９に記載の自律走行経路生成方法。
請求項１ないし請求項１０のいずれか一項に記載の方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
自律走行車両の自律走行経路生成装置であって、
プロセッサと、
メモリと、
前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、
前記自律走行車両の前方をカメラで撮影した入力イメージを受信するステップと、
前記入力イメージに基づいて、前後方向における前記自律走行車両と地面との間の傾斜度を算出するステップと、
前記算出された傾斜度に基づいて、前記自律走行車両の自律走行経路を生成するステップと、
を行うプログラムと、
を含み、
前記傾斜度を算出するステップは、
前記入力イメージ内の車線を検出するステップ、を含み、
前記車線が検出されない場合は、前記カメラの傾斜を調整し、
前記車線が曲線である場合は、地平線と接する点を消失点として検出し、検出された前記消失点に基づいて、前記傾斜度を算出する、
自律走行経路生成装置。
前記カメラは、前記自律走行車両の前方を撮影することで前記入力イメージを生成する、
請求項１２に記載の自律走行経路生成装置。
前記自律走行車両の自律走行経路を生成するステップは、
前記傾斜度に基づいて前記入力イメージの視点を鳥瞰視点に変換することによって鳥瞰イメージを生成するステップと、
前記鳥瞰イメージに基づいて前記自律走行経路を生成するステップと、
を含む、請求項１２または１３に記載の自律走行経路生成装置。
前記自律走行車両の自律走行経路を生成するステップは、
前記傾斜度を用いて前記自律走行車両の周辺環境を検出したデータを補正するステップ、を含み、
前記補正されたデータは、前記自律走行経路を生成するために用いられる、
請求項１２ないし１４のいずれかに記載の自律走行経路生成装置。
前記傾斜度を算出するステップは、さらに、
前記検出された車線に基づいて前記車線の消失点を検出するステップと、
前記消失点に基づいて前記傾斜度を算出するステップと、
を含む、請求項１２ないし１５のいずれかに記載の自律走行経路生成装置。
前記車線の消失点を検出するステップは、
複数の消失点が検出された場合、前記複数の消失点のうち前記自律走行車両で最も近接した消失点を前記消失点として検出するステップ、を含む、
請求項１６に記載の自律走行経路生成装置。
前記消失点に基づいて前記傾斜度を算出するステップは、
予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップと、
前記予め設定された消失点の位置と前記検出された消失点の位置との間の差に基づいて前記傾斜度を算出するステップと、
を含む、請求項１６に記載の自律走行経路生成装置。
前記予め設定された消失点の位置と前記検出された消失点の位置とを受信するステップは、
前記予め設定された消失点の高さ座標と前記入力イメージ内の前記検出された消失点の高さ座標とを算出するステップ、を含む、
請求項１８に記載の自律走行経路生成装置。
前記予め設定された消失点の前記高さ座標は、前記入力イメージの中心高さ座標である、
請求項１９に記載の自律走行経路生成装置。
前記プログラムは、さらに、
予め設定された周期で算出された傾斜度に基づいて前記地面の傾斜状態を決定するステップと、
前記決定された地面の傾斜状態に基づいて前記自律走行車両を制御するステップと、
を含む、請求項１２に記載の自律走行経路生成装置。
前記地面の傾斜状態を決定するステップは、
前記予め設定された周期で算出された複数の前記傾斜度の偏差に基づいて前記地面の傾斜状態を決定するステップ、を含む、
請求項２１に記載の自律走行経路生成装置。
自律走行経路生成装置により実施される、傾斜度算出方法であって、
自律走行車両の前方をカメラで撮影した入力イメージを、該装置のプロセッサが、受信するステップと、
前記入力イメージに基づいて、前記前方の傾斜度を、該装置のプロセッサが、算出するステップと、
を含み、
前記傾斜度を算出するステップは、
前記入力イメージ内の車線を検出するステップ、を含み、
前記車線が検出されない場合は、前記カメラの傾斜を調整し、
前記車線が曲線である場合は、地平線と接する点を消失点として検出し、検出された前記消失点に基づいて、前記傾斜度を算出する、
傾斜度算出方法。
傾斜度算出装置であって、
プロセッサと、
メモリと、
前記メモリに格納され、前記プロセッサによって実行されるプログラムであり、
自律走行車両の前方をカメラで撮影した入力イメージを受信するステップと、
前記入力イメージに基づいて前記前方の傾斜度を算出するステップと、
を行うプログラムと、
を含み、
前記傾斜度を算出するステップは、
前記入力イメージ内の車線を検出するステップ、を含み、
前記車線が検出されない場合は、前記カメラの傾斜を調整し、
前記車線が曲線である場合は、地平線と接する点を消失点として検出し、検出された前記消失点に基づいて、前記傾斜度を算出する、
傾斜度算出装置。
自律走行経路生成装置により実施される、車両制御方法であって、
車両のカメラによって取得された入力イメージ内の消失点の位置を、該装置のプロセッサが、検出するステップと、
予め設定された消失点の位置と前記検出された消失点の位置とに基づいて、前後方向における前記車両と地面との間の傾斜度を、該装置のプロセッサが、算出するステップと、
前記傾斜度に基づいて、前記車両の走行を、該装置のプロセッサが、自律的に制御するステップと、
を含み、
前記傾斜度を算出するステップは、
前記入力イメージ内の車線を検出するステップ、を含み、
前記車線が検出されない場合は、前記カメラの傾斜を調整し、
前記車線が曲線である場合は、地平線と接する点を消失点として検出する、
車両制御方法。
前記検出された消失点は車線の消失点である、
請求項２５に記載の車両制御方法。
前記検出された消失点の位置は前記検出された消失点の高さ座標を含み、
前記予め設定された消失点の位置は前記入力イメージの中心高さ座標を含む、
請求項２５または２６に記載の車両制御方法。
前記車両の走行を自律的に制御するステップは、
前記傾斜度に基づいて前記入力イメージを鳥瞰視点イメージに変換するステップと、
前記鳥瞰視点イメージに基づいて自律走行経路を生成するステップと、
前記自律走行経路に基づいて前記車両の走行を制御するステップと、
を含む、請求項２５ないし２７のいずれか一項に記載の車両制御方法。