JP6757442B2 - 自動運転車における車線後処理 - Google Patents

Description

本願は、全体として自動運転車の操作に関するものである。より具体的に、本願は、走行車線及びその構成を認識するための画像処理に関するものである。

自律モード運転（例えば、無人運転）の車両は、乗員、特に運転者をいくつかの運転関連責任から解放することができる。自律モードで走行する場合、車両は車載センサを用いて様々な位置にナビゲートが可能になるので、最低のマンマシンインタラクションの場合又は乗客がいない場合などいくつかの状況で車両走行が許容される。

運動計画及び制御は、自動運転の重要な操作である。自動運転車（ＡＤＶ）は、２Ｄカメラを含む異なるセンサやカメラを用いて、車線の車線構成を確定することができ、車線の車線境界線又は車線幅を確定することを含む。車線境界線検出及び処理は、カメラに基づく自動運転対策の中核的な問題であり、自動運転において非常に重要な役割を果たす。しかしながら、車線境界線を検出する効率的な方法が未だに乏しい。

本願の一実施形態は、自動運転車の車線を決定するためのコンピュータ実施方法を提供する。前記方法は、前記自動運転車のカメラにより撮影された画像を画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、前記２値画像の画素値は、第１の画素値および第２の画素値からなり、ここで、画素値が前記第１の画素値である画素が車線に関連付けられ、画素値が前記第２の画素値である画素が車線に関連付けられていない、ステップと、前記車線ラベルマップ画像に対して連結成分分析を実行して、隣り合う車線画素をグループ化することで、一つ又は複数の車線を表すグループ化された画素を生成するステップと、前記一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、前記輪郭解析は、前記車線の輪郭を確定するステップと、前記車線の内縁を検出するステップと、前記内縁に沿ってレーンマークを生成するステップと、を含むステップと、前記画像空間に対してホモグラフィ変換を実行することで前記レーンマークを前記画像空間から車両地上空間にマッピングするステップであって、前記車両地上空間とは、車両が走行している地面を表す三次元地表面であり、前記車両地上空間におけるマッピングされたレーンマークは、前記自動運転車を運転するための車線構成を確定するのに用いられる、ステップと、を含む。

本願のほかの一実施形態は、指令が記憶された非一時的な機械可読媒体を提供する。前記指令がプロセッサにより実行されるときに、前記プロセッサに処理を実行させ、前記処理は、自動運転車のカメラにより撮影された画像を画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、前記２値画像の画素値は、第１の画素値および第２の画素値からなり、ここで、画素値が前記第１の画素値である画素が車線に関連付けられ、画素値が前記第２の画素値である画素が車線に関連付けられていない、ステップと、前記車線ラベルマップ画像に対して連結成分分析を実行して、隣り合う車線画素をグループ化することで、一つ又は複数の車線を表すグループ化された画素を生成するステップと、前記一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、前記輪郭解析は、前記車線の輪郭を確定するステップと、前記車線の内縁を検出するステップと、前記内縁に沿ってレーンマークを生成するステップと、を含むステップと、前記画像空間に対してホモグラフィ変換を実行することで前記レーンマークを前記画像空間から車両地上空間にマッピングするステップであって、前記車両地上空間とは、車両が走行している地面を表す三次元地表面であり、前記車両地上空間におけるマッピングされたレーンマークは、前記自動運転車を運転するための車線構成を確定するのに用いられる、ステップと、を含む。

本願のもう一つの実施形態は、プロセッサと、前記プロセッサに接続されて指令を記憶するためのメモリとを備えるデータ処理システムを提供する。前記指令が前記プロセッサにより実行されるときに、前記プロセッサに処理を実行させ、前記処理は、自動運転車のカメラにより撮影された画像を画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、前記２値画像の画素値は、第１の画素値および第２の画素値からなり、ここで、画素値が前記第１の画素値である画素が車線に関連付けられ、画素値が前記第２の画素値である画素が車線に関連付けられていない、ステップと、前記車線ラベルマップ画像に対して連結成分分析を実行して、隣り合う車線画素をグループ化することで、一つ又は複数の車線を表すグループ化された画素を生成するステップと、前記一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、前記輪郭解析は、前記車線の輪郭を確定するステップと、前記車線の内縁を検出するステップと、前記内縁に沿ってレーンマークを生成するステップと、を含むステップと、前記画像空間に対してホモグラフィ変換を実行することで前記レーンマークを前記画像空間から車両地上空間にマッピングするステップであって、前記車両地上空間とは、車両が走行している地面を表す三次元地表面であり、前記車両地上空間におけるマッピングされたレーンマークは、前記自動運転車を運転するための車線構成を確定するのに用いられる、ステップと、を含む。

本発明の実施形態は、図面の各図において限定的ではなく例示的な形態で示され、図面における同じ図面符号は類似の構成要素を示している。注意すべきことは、本願において、本発明の「一」又は「一つ」の実施形態の引用は必ずしも同じ実施形態を指す必要がなく、少なくとも一つを意味する。また、図面の数の簡略化及び低減化を図って、本発明の一つ以上の実施形態の特徴を与えられた添付図面を用いて説明することができ、また、与えられた実施形態については、添付図面における全ての構成要素が必要とされることではない。
図１は、一実施形態に係るネットワークシステムを示すブロック図である。 図２は、一実施形態に係る自動運転車の一例を示すブロック図である。 図３Ａは、一実施形態に係る自動運転車に併用される感知及び計画システムの一例を示すブロック図である。 図３Ｂは、一実施形態に係る自動運転車に併用される感知及び計画システムの一例を示すブロック図である。 図３Ｃは、一実施形態に係る自動運転車に併用される感知及び計画システムの一例を示すブロック図である。 図４Ａは、一実施形態に係る車線の２Ｄ画像を後処理する方法の一例を示すフローチャートである。 図４Ｂは、一実施形態に係る車線の２Ｄ画像を後処理する方法の一例を示すフローチャートである。 図４Ｃは、一実施形態に係る車線の２Ｄ画像を後処理する方法の一例を示すフローチャートである。 図５Ａは、一実施形態に係る車線ラベルマップ画像を示す図である。 図５Ｂは、一実施形態に係る車線ラベルマップ画像を示す図である。 図５Ｃは、一実施形態に係る車線ラベルマップ画像を示す図である。 図６は、一実施形態に係る輪郭解析及びレーンマークを示す図である。 図７は、一実施形態に係るエッジに接続されたマークのパターンを示す図である。 図８Ａは、一実施形態に係る車線オブジェクトを示す図である。 図８Ｂは、一実施形態に係る車線オブジェクトを示す図である。 図９は、一実施形態に係る自動運転に用いられる車線の車線境界線を確定する処理を示すフローチャートである。 図１０は、一実施形態に係るデータ処理システムを示すブロック図である。

以下、説明の詳細を参照しながら本願の様々な実施形態及び態様を説明し、図面には前記様々な実施形態が示される。以下の説明及び図面は本願を説明するためのものであり、本願を限定するものとして解釈すべきではない。多くの具体的に詳細を説明して本願の様々な実施形態の徹底した理解を提供する。ところが、いくつかの場合には、本願の実施形態に対し簡潔的な説明を提供するために、周知又は従来技術の詳細については説明していない。

本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態を参照しながら説明された特定の特徴、構造又は特性が本願の少なくとも一実施形態に含まれてもよいことを意味する。「一実施形態において」という用語は、本明細書の全体において必ず同一の実施形態を指すとは限らない。

いくつかの実施形態に基づいて、自動運転車に用いられる車線を確定するコンピュータ実施方法を説明する。当該方法は、自動運転車のカメラにより撮影された画像を画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、各々の画素は、当該画素が車線に関連付けられているときに第１の画素値を有し、当該画素が車線に関連付けられていないときに第２の画素値を有する、ステップと、車線ラベルマップ画像に対して連結成分分析を実行して、同じ画素値を有する隣り合う画素を連結することで、一つ又は複数の車線を表す連結画素を生成するステップと、一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、前記輪郭解析は、車線の輪郭を確定するステップと、車線の輪郭及び車両の位置に基づいて車線の内縁を検出するステップと、内縁に沿ってレーンマークを生成するステップとを含むステップと、レーンマークを画像空間から車両地上空間にマッピングするステップと、を含むことができる。車両地上空間におけるマッピングされたレーンマークは、ＡＤＶを運転するための車線構成を確定するのに用いられる。本明細書に使用されている用語「画像空間」とは、２次元画素マッピング（例えば、ｘ座標とｙ座標）デジタルカメラの画像である。

いくつかの実施形態に基づいて、当該方法は、レーンマークとエッジとを接続させて、エッジがマークを接続したグラフを生成するステップであって、各々のレーンマークは、ほかの各々のレーンマークに接続される、ステップと、各々のエッジのコストを計算するステップであって、前記コストは、同じ車線境界線に属するレーンマークの適合性の尺度である、ステップと、エッジ及びレーンマークに対して選択及びグループ化を行うことで、選択されたマーク及び選択されたエッジにより形成された車線境界線を生成するステップとをさらに含む。

いくつかの実施形態に基づいて、一つ又は複数の計算装置を有する、自動運転車の車線を確定するためのシステムであって、前記システムは、自動運転車（ＡＤＶ）のカメラにより撮影された画像を、画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、各々の画素は、当該画素が車線に関連付けられているときに第１の画素値を有し、当該画素が車線に関連付けられていないときに第２の画素値を有するステップと、車線ラベルマップ画像に対して連結成分分析を実行して、同じ画素値を有する隣り合う画素を連結することで、一つ又は複数の車線を表す連結画素を生成するステップと、一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、輪郭解析は、車線の輪郭を確定し、車線の輪郭及び車両の位置に基づいて車線の内縁を検出し、内縁に沿ってレーンマークを生成することを含む、ステップと、レーンマークを画像空間から車両地上空間にマッピングするステップであって、車両地上空間におけるマッピングされたレーンマークは、ＡＤＶ運転用の車線構成を確定するのに用いられる、ステップとを実行するように構成される。本明細書に使用されている「車両地上空間」とは、車両が走行している地面を表す三次元地表面である。

図１は、本開示の一実施形態に係る自動運転車両のネットワーク構成を示すブロック図である。図１に示すように、構成１００は、ネットワーク１０２を介して１つ又は複数のサーバ１０３〜１０４に通信可能に接続される自動運転車両１０１を備える。１つの自動運転車両のみが示されたが、複数の自動運転車両は、ネットワーク１０２を介して相互に接続され、及び／又はサーバ１０３〜１０４に接続されてもよい。ネットワーク１０２は、任意のタイプのネットワーク（有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えば、インターネット、セルラーネットワーク、衛星ネットワークなどのワイドエリアネットワーク（ＷＡＮ）又はそれらの組み合わせ）であってもよい。サーバ１０３〜１０４は、任意のタイプのサーバ又はサーバクラスタであってもよく、例えば、ネットワーク又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバー又はそれらの組み合わせが挙げられる。サーバ１０３〜１０４は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図及び関心地点（ＭＰＯＩ）サーバ又は位置サーバなどであってもよい。

自動運転車両とは、運転手からの入力が非常に少ない又はない場合に車両をナビゲートして環境を通過させる自動運転モードに配置可能な車両である。このような自動運転車両は、車両の走行環境に関する情報を検出するように配置される一つ以上のセンサを備えるセンサシステムを含んでもよい。前記車両とその関連するコントローラは、検出された情報を使用して前記環境を通過するようにナビゲートを行う。自動運転車両１０１は、手動モード、完全自動運転モード又は部分自動運転モードで走行することができる。

一実施形態において、自動運転車両１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、センサシステム１１５とを含むが、これらに限定されない。自動運転車両１０１は、更に普通の車両に含まれるいくつかの一般的な構成要素、例えば、エンジン、車輪、ステアリングホイール、変速機などを含むことができ、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により複数種の通信信号及び／又はコマンド（例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンドなど）を使用して制御可能である。

構成要素１１０〜１１５は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続されることができる。構成要素１１０〜１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続されることができる。ＣＡＮバスは、ホストコンピュータなしのアプリケーションでマイクロコントローラ及びデバイスが互いに通信できるように設計された車両バス規格である。ＣＡＮバスは、メッセージに基づくプロトコルであり、もともと自動車内の多重電気配線のために設計されたが、他の多くの環境にも用いられる。

ここで図２に示すように、一実施形態において、センサシステム１１５は、一つ又は複数のカメラ２１１と、全地球位置決めシステム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダユニット２１４と、光検出及び測距（ＬＩＤＡＲ）ユニット２１５とを含むが、これらに限定されない。ＧＰＳシステム２１２は、自動運転車両の位置に関する情報を提供するように動作可能な送受信機を含んでもよい。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車両の位置及び配向の変化を感知することができる。レーダユニット２１４は、無線信号を使って自動運転車両のローカル環境におけるオブジェクトを感知するシステムを表すことができる。いくつかの実施形態において、オブジェクトを感知することに加えて、レーダユニット２１４は、更にオブジェクトの速度及び／又は進行方向を感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使って自動運転車両の所在環境におけるオブジェクトを感知することができる。その他のシステム構成要素に加えて、ＬＩＤＡＲユニット２１５は、一つ又は複数のレーザ光源、レーザスキャナ及び一つ又は複数の検出器を更に含むことができる。カメラ２１１は、自動運転車両の周辺環境の画像を取得するための一つ又は複数の装置を含むことができる。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば、回転及び／又は傾斜のプラットフォームに取り付けることによって、機械的に移動されてもよい。

センサシステム１１５は、更にその他のセンサ、例えば、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えば、マイクロホン）を含むことができる。オーディオセンサは、自動運転車両の周辺環境から音声を取得するように配置されてもよい。ステアリングセンサは、ステアリングホイール、車両の車輪又はそれらの組み合わせの操舵角を感知するように配置されてもよい。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合において、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサとして集積されてもよい。

一実施形態において、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットともいう）と、ブレーキユニット２０３とを含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は進行方向を調整するために使用される。スロットルユニット２０２は、モータ又はエンジンの速度を制御するために使用され、更にモータ又はエンジンの速度によって車両の速度及び加速度を制御する。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤを減速させ、ひいては車両を減速させる。図２に示す構成要素は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現できることに注意すべきである。

図１を再び参照して、無線通信システム１１２は、自動運転車両１０１と、装置、センサ、他の車両などのような外部システムとの通信を可能にする。例えば、無線通信システム１１２は、直接又は通信ネットワークを介して一つ又は複数の装置と無線通信することができ、例えば、ネットワーク１０２を介してサーバ１０３〜１０４と通信することができる。無線通信システム１１２は、任意の移動体通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えばＷｉＦｉ）を使用して他の構成要素又はシステムと通信することができる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース（登録商標）などを使用して装置（例えば、乗客のモバイルデバイス、表示装置、車両１０１内のスピーカ）と直接通信することができる。ユーザインターフェースシステム１１３は、車両１０１内に実施された周辺装置の部分（例えば、キーワード、タッチスクリーン表示装置、マイクロホン及びスピーカなどを含む）であってもよい。

自動運転車両１０１の機能のうちの一部又は全部は、特に自動運転モードで動作する場合に、感知及び計画システム１１０により制御されるか、又は管理されることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）及びソフトウェア（例えば、オペレーティングシステム、計画及びルーティングプログラム）を備え、センサシステム１１５、制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地から目的地までのルート又は経路を計画し、その後、計画及び制御情報に基づいて車両１０１を走行させる。あるいは、感知及び計画システム１１０は、車両制御システム１１１と一体に集積されてもよい。

例えば、乗客であるユーザは、例えば、ユーザインターフェースを介して旅程の出発地位置及び目的地を指定することができる。感知及び計画システム１１０は、旅程に関するデータを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及びルート情報を取得することができ、前記ＭＰＯＩサーバは、サーバ１０３〜１０４の一部であってもよい。。位置サーバは、位置サービスを提供し、ＭＰＯＩサーバは、地図サービス及びいくつかの位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続性記憶装置にローカルキャッシュされてもよい。

自動運転車両１０１がルートに沿って移動する時、感知及び計画システム１１０は、交通情報システム又はサーバ（ＴＩＳ）からリアルタイム交通情報を取得することができる。サーバ１０３〜１０４は、第三者機関により動作可能であることに注意すべきである。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体に集積されてもよい。リアルタイム交通情報、ＭＰＯＩ情報及び位置情報、並びにセンサシステム１１５によって検出されたか又は検知されたリアルタイムローカル環境データ（例えば、障害物、オブジェクト、周辺車両）に基づいて、感知及び計画システム１１０は、指定された目的地までに安全かつ効率的に到着するように、最適なルートを計画し、計画されたルートに従って、例えば、制御システム１１１によって、車両１０１を走行させることができる。

サーバ１０３は、様々なクライアントに対して、データ解析サービスを実行するデータ解析システムであってもよい。一実施形態において、データ解析システム１０３は、データコレクタ１２１と機械学習エンジン１２２を含む。データコレクタ１２１は、様々な車両（自動運転車両又は人間の運転手によって運転される一般車両）から運転統計情報１２３を収集する。運転統計情報１２３には、発行された運転コマンド（例えば、スロットルコマンド、ブレーキコマンド、ステアリングコマンド）を示す情報及び異なる時点で車両のセンサにより取得された車両の応答（例えば、速度、加速度、減速度、方向）を示す情報が含まれる。運転統計情報１２３は、異なる時刻における運転環境を記述する情報を更に含むことができ、例えば、ルート（出発地及び目的地を含む）、ＭＰＯＩ、道路状況や天気状況などが挙げられる。

機械学習エンジン１２２は、運転統計情報１２３に基づいて、様々な目的に応じて１セットのルール、アルゴリズム及び／又は予測モデル１２４を生成するか又は訓練する。アルゴリズム１２４は、車線の２値画像に基づいて車線をマークするか又は車線構成を確定するように車線後処理アルゴリズムを含むことができる。その後、アルゴリズム１２４は、リアルタイム自動運転期間に車線構成を認識し確定するように、ＡＤＶにアップロードされてもよい。

図３Ａ及び図３Ｂは、一実施形態に係る自動運転車と共に使用される感知及び計画システムの一例を示すブロック図である。システム３００は、図１の自動運転車１０１の一部として実現されてもよく、感知及び計画システム１１０、制御システム１１１及びセンサシステム１１５を含むが、これらに限定されない。図３Ａ及び図３Ｂに示すように、感知及び計画システム１１０は、位置決めモジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６及びルーティングモジュール３０７を含むが、これらに限定されない。

モジュール３０１〜３０７のうちの一部又は全部は、ソフトウェア、ハードウェア又はこれらの組み合わせで実現されてもよい。例えば、これらのモジュールは、永続性記憶装置３５２にインストールされ、メモリ３５１にロードされ、且つ一つ以上のプロセッサ（図示せず）により実行されてもよい。注意すべきことは、これらのモジュールのうちの一部又は全部は、図２の車両制御システム１１１の一部又は全部のモジュールに通信可能に接続されるか、又はそれらと一体に統合されてもよい。モジュール３０１〜３０７及びそれらのサブ構成要素のうちの一部は、集積モジュールとして一体に統合されてもよい。

位置決めモジュール３０１は、（例えば、ＧＰＳユニット２１２を利用して）自動運転車３００の現在の位置を確定し、ユーザの旅程又はルートに関連する如何なるデータを管理する。位置決めモジュール３０１（地図及びルーティングモジュールともいう）は、ユーザの旅程又はルートに関連する如何なるデータを管理する。ユーザは、例えば、ユーザインターフェースを介して登録し旅程の出発地及び目的地を指定することができる。位置決めモジュール３０１は、自動運転車３００における地図及びルート情報３１１のような他の構成要素と通信して、旅程関連データを取得する。例えば、位置決めモジュール３０１は、位置サーバ並びに地図及びＰＯＩ（ＭＰＯＩ）サーバから位置及びルート情報を取得することができる。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービス及びある位置のＰＯＩを提供することにより、地図及びルート情報３１１の一部としてキャッシュされることができる。自動運転車３００がルートに沿って移動する際に、位置決めモジュール３０１は交通情報システム又はサーバからリアルタイム交通情報を取得することもできる。

感知モジュール３０２は、センサシステム１１５により提供されたセンサデータと、位置決めモジュール３０１により取得された位置決め情報とに基づいて、周囲環境に対する感知を確定する。感知情報は、一般の運転手が運転手により運転されている車両の周囲において感知すべきものを示すことができる。感知は、車線構成（例えば、直進車線又はカーブ車線）、信号機信号、他の車両の相対位置、歩行者、建築物、横断歩道又は例えば、オブジェクトの形式での他の交通関連標識（例えば、止まれ標識、ゆずれ標識）などを含むことができる。

感知モジュール３０２は、一つ以上のカメラにより撮影された画像を処理し解析して、自動運転車の環境におけるオブジェクト及び／又は特徴を認識するために、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含むことができる。前記オブジェクトは、交通信号、道路の境界、車道、他の車両、歩行者及び／又は障害物などを含むことができる。コンピュータビジョンシステムは、オブジェクト認識アルゴリズム、ビデオトラッキング及び他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図を描画し、オブジェクトを追跡し、及びオブジェクトの速度などを推定することができる。感知モジュール３０２は、ＲＡＤＡＲ及び／又はＬＩＤＡＲのような他のセンサにより提供される他のセンサデータに基づいて、オブジェクトを検出することもできる。感知モジュール３０２の付加モジュール及び機能については、また図３Ｃを参照されたい。

各オブジェクトに対して、予測モジュール３０３は、様々な場合にオブジェクトがどのように挙動するかを予測する。予測は、地図及びルート情報３１１と交通ルール３１２のセットをもとに、当該時点において運転環境が感知された感知データに基づいて実行される。例えば、オブジェクトが反対方向における車両で、且つ現在の運転環境に交差点が含まれている場合に、予測モジュール３０３は、車両が直進するか又はカーブ走行するかを予測する。感知データが、交差点に信号機がないことを示す場合、予測モジュール３０３は、交差点に入る前に車両が完全に停止する必要があると予測する可能性がある。感知データが、車両が現在左折専用車線又は右折専用車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折又は右折する可能性がより高いと予測することができる。

オブジェクトごとに対して、決定モジュール３０４はオブジェクトをどのように対応するかを決定する。例えば、特定のオブジェクト（例えば、交差のルートにおける他の車両）及びオブジェクトを記述するメタデータ（例えば、速度、方向、操舵角）について、決定モジュール３０４は前記オブジェクトと遇うときに如何に対応するか（例えば、追い越し、道譲り、停止、追い抜き）を決定する。決定モジュール３０４は、交通ルール又は運転ルール３１２のルールセットに基づいてこのような決定を下すことができ、前記ルールは永続性記憶装置３５２に記憶されてもよい。

ルーティングモジュール３０７は、出発地から目的地までの一つ以上のルート又は経路を提供するように構成される。例えば、ユーザから受け取った出発地から目的地までの所定の旅程に対して、ルーティングモジュール３０７は、ルート及び地図情報３１１を取得して出発地から目的地に到着する全ての可能なルート又は経路を確定する。確定された出発地から目的地に到着するルート毎に、ルーティングモジュール３０７は、地形図の形式で基準線を生成することができる。基準線とは、他の車両、障害物又は交通状況などからの全ての干渉を受けない理想的なルート又は経路を指す。即ち、路上に他の車両、歩行者又は障害物がなければ、ＡＤＶは基準線に完全に又は緊密に従うべきである。そして、地形図が決定モジュール３０４及び／又は計画モジュール３０５に提供される。決定モジュール３０４及び／又は計画モジュール３０５は、全ての可能なルートを検査して、他のモジュールから提供された他のデータ（例えば位置決めモジュール３０１からの交通状況、感知モジュール３０２により感知された運転環境及び予測モジュール３０３により予測された交通状況）を結合して、最適ルートのうちの一つを選択し補正する。ＡＤＶを制御するための実際のルート又は経路は、その時点における特定運転環境によって、ルーティングモジュール３０７から提供された基準線に近接するか又は異なっていてもよい。

感知されたオブジェクトのそれぞれに対する決定に基づいて、計画モジュール３０５は、ルーティングモジュール３０７により提供された基準線を基準にして自動運転車に対して経路又はルート並びに運転パラメータ（例えば、距離、速度及び／又は操舵角）を計画する。言い換えれば、所定のオブジェクトに対して、決定モジュール３０４は当該オブジェクトに対して何をするかを決定し、計画モジュール３０５はどのようにするかを決定する。例えば、所定のオブジェクトに対して、決定モジュール３０４は前記オブジェクトを追い抜くかを決定することができ、計画モジュール３０５は前記オブジェクトを左側から追い抜くか又は右側から追い抜くかを決定することができる。計画及び制御データは計画モジュール３０５により生成され、車両３００が次の移動周期（例えば、次のルート／経路区間）にはどのように移動するかを記述する情報を含む。例えば、計画及び制御データは、車両３００が３０マイル／時間（ｍｐｈ）の速度で１０メートル移動し、その後に２５ｍｐｈの速度で右側車線に変更するように指示することができる。

計画及び制御データに基づいて、制御モジュール３０６は、計画及び制御データにより限定されたルート又は経路に応じて、適当なコマンド又は信号を車両制御システム１１１に送信することにより、自動運転車を制御し運転するようにする。前記計画及び制御データは、経路又はルートに沿って異なる時点で適切な車両構成又は運転パラメータ（例えば、スロットル、ブレーキ、及びターニングコマンド）を使用して、車両をルート又は経路の第１の点から第２の点まで運転するのに十分な情報を含む。

一実施形態において、計画段階は、例えば、時間間隔が１００ミリ秒（ｍｓ）の周期などの複数の計画周期（指令周期ともいう）で実行される。計画周期又は指令周期のそれぞれに対して、計画及び制御データに基づいて一つ以上の制御指令を発する。すなわち、１００ｍｓごとに、計画モジュール３０５は、例えば、目標位置及びＡＤＶが目標位置に到着するのに必要な時間を含む次のルート区間又は経路区間を計画する。或いは、計画モジュール３０５は、更に具体的な速度、方向及び／又は操舵角などを指定することもできる。一実施形態において、計画モジュール３０５は、次の所定時間周期（例えば、５秒）のルート区間又は経路区間を計画する。各計画サイクルに対して、計画モジュール３０５は、前の周期で計画された目標位置に基づいて、現在の周期（例えば、次の５秒）のの目標位置を計画する。次に、制御モジュール３０６は、現在の周期の計画及び制御データに基づいて、一つ以上の制御指令（例えば、スロットル、ブレーキ、ステアリング制御指令）を生成する。

注意すべきことは、決定モジュール３０４及び計画モジュール３０５は、集積モジュールとして一体化されてもよい。決定モジュール３０４／計画モジュール３０５は、自動運転車の運転経路を決定するために、ナビゲーションシステム又はナビゲーションシステムの機能を具備することができる。例えば、ナビゲーションシステムは、自動運転車が経路に沿って移動することを実現するための一連の速度及び進行方向を決定することができる。前記経路において、自動運転車が最終的な目的地に通じる走行車線に基づく経路に沿って進行するとともに、感知された障害物を実質的に回避することができる。目的地は、ユーザインターフェースシステム１１３を経由して行われたユーザ入力によって設定されることができる。ナビゲーションシステムは、自動運転車が走行している場合に走行経路を動的に更新することができる。ナビゲーションシステムは、自動運転車のための運転経路を決定するために、ＧＰＳシステム及び一つ以上の地図からのデータをマージすることができる。

決定モジュール３０４／計画モジュール３０５は、自動運転車の環境における潜在的な障害物を認識、評価、回避又は他の方法で追い抜くための衝突防止システム又は衝突防止システムの機能を更に含むことができる。例えば、衝突防止システムは、制御システム１１１の一つ以上のサブシステムを操作させることで、ステアリング操作、カーブ走行操作、ブレーキ操作などを行うことによって、自動運転車のナビゲーション中の変更を実現することができる。衝突防止システムは、周囲の交通モード、道路状況などに応じて実現可能な障害物回避操作を自動的に決定することができる。衝突防止システムは、自動運転車が方向変更して進入しようとする隣接領域に位置する車両、建築障害物などが他のセンサシステムにより検出された時に、ステアリング操作を行わないように構成されることができる。衝突防止システムは、使用可能で且つ自動運転車の乗員の安全性を最大化させる操作を自動的に選択することができる。衝突防止システムは、自動運転車の客室内に最小値の加速度を発生させると予測される回避操作を選択することができる。

車線境界線検出及び処理は、カメラに基づく自動運転車の中心的な問題である。ＡＤＶは、車両を制御、方向変換及びナビゲートする交通車線の正確な表現を有する必要がある。しかしながら、本明細書で把握したように、車線境界線検出及び処理の従来方法には欠陥がある。そこで、本明細書では、車線検出境界線の改善された方法について説明する。

図３Ｃは、感知モジュール３０２及び様々なサブ部材の実施形態を示す。図３Ｃは、感知モジュール３０２のモジュール及び機能の網羅的な図であることを意味するのではなく、他のモジュール及び機能は示されていない。図３Ｃを参照すると、車線マップ画像生成器３０２０は、ＡＤＶのカメラによって撮影された画像を画像空間内の２値画像に変換するように構成されることができる。ここで、２値画像の各画素は、例えば当該画素が車線に関連付けられている場合に、例えば「１」の第１論理値のような第１の画素値を有し、当該画素が車線に関連付けられない場合には、「０」の第２論理値を有して、車線ラベルマップ画像を生成する。

連結成分分析器３０２１は、車線を認識するために車線ラベルマップ画像からの画素を連結又はグループ化するように構成されることができる。例えば、連結成分分析器は、画素値が１又は同じ画素値を有する隣接画素を連結することができる。連結／グループ化された画素は、一つ又は複数の車線を認識又は表示する。連結成分分析器は、例えば、車線画素（ラインに属すると認識された画素）に対してマージファインド（ｕｎｉｏｎ−ｆｉｎｄ）又はユニオンファインド（ｕｎｉｏｎ−ｆｉｎｄ）を実行することで、画素を連結／グループ化することができる。

輪郭解析器３０２２は、連結画素に基づいて車線の輪郭を確定するように構成されることができる。レーンマーク生成器３０２３は、輪郭の内縁を確定し、車線の内縁に沿ってレーンマークを生成するように構成されることができる。車線の内縁に基づく車両の制御は、ＡＤＶに対して厳密な制御を提供し、車両が車線の外側へ逸脱するリスクを低減するのに有利である。

車両地上空間変換器３０２４は、レーンマークを画像空間から車両地上空間にマッピングするように構成されることができる。例えば、車両地上空間変換器３０２４は、レーンマークを車両地上空間にマッピングするように、画像空間に対してホモグラフィ変換（ｈｏｍｏｇｒａｐｈｉｃ ｔｒａｎｓｆｏｒｍ）を実行することができる。

図７を参照し、マーク関連付けエンジン３０２５は、エッジ７０２を介してレーンマーク６０２を他のレーンマークに接続し、各エッジのコスト７０４を算出し、エッジ及びレーンマークを選択しグループ化することで、選択したマークにより形成される車線を生成するように構成されることができる。

再び図３Ｃを参照し、車線オブジェクト生成器３０２６は、マークによって形成された車線境界線を車線オブジェクトと関連付けて、車線オブジェクトの空間ラベル及び車線オブジェクトの意味ラベルを確定するように構成されることができ、以下これに対してさらに詳細に説明する。

図４Ａは、一実施形態に係る自動運転車の車線を確定するプロセスを示すフローチャートである。図４Ａに示されるプロセスは、ソフトウェア、ハードウェア又はそれらの組み合わせを含むことができる処理ロジックにより実行されてもよい。システムは、カメラにより２Ｄ画像を撮影すると、操作４０２において、システムは画像を画像空間内における２値画像に変換することができる。画像の各画素は、当該画素が車線に関連付けられる場合に第１論理値を有し、或いは、当該画素が車線に関連付けられない場合に第２論理値を有することができる（例えば、図５Ｃの、画素５０４を参照）。図５Ｂに示すように、この種の画像は、車線ラベルマップ画像として説明することができ、ここで、黒で示される画素５０２は走行車線に関連する画素を示し、白空間は走行車線に関連しない画素を示す。車線情報が圧縮されている（例えば、他の画像データがファイルから取り除かれる）ため、車線を画像空間内の２値画素に表示して、プロセッサがより高速に分析するようなファイルをプロセッサに提供するのに有利である。

次に、図５Ａに示すように、操作４０４において、システムは車線ラベルマップ画像に対して連結成分分析を実行することにより、車線に関連する全ての画素を連結又はグループ化し、例えば、隣接する車線画素を連結又はグループ化することにより実現することができる。これにより、一つ又は複数の車線を表す連結された又はグループ化された画素が生成される。画素は、既知の和集合アルゴリズム又は当技術分野の既知の他の同等なアルゴリズムを用いて連結及びグループ化することができる。

システムは、車線ごとに輪郭解析を実行することができる。例えば、図６に示すように、操作４０６において、システムは、先に連結された画素に基づいて、車線６００の輪郭を確定することができる。

次に、システムは、操作４０８において、車線の内縁を検出することができる。例えば、ＡＤＶ位置が２つの車線の間にあることが分かっている場合、システムは２つの車線の内縁を車両に対して手前（すなわち、内側）のエッジとして認識することができる。図６を参照し、車線輪郭６００から内縁６０４を検出することを示す。ＡＤＶ位置を、車線の頂部ではなく、検出された交通車線の間に位置決めすることができるため、車線輪郭の内縁を検出することにより、車両制御を改善することができる。

次に、システムは、操作４１０において、車線の内縁に沿ってレーンマークを生成することができる。このとき、レーンマークは、依然として画像空間にある。図６に示すように、レーンマーク６０２は、車線輪郭６００の検出された内縁６０４に沿ったマークである。

そして、システムは、操作４１２において、レーンマークを画像空間から車両地上空間にマッピングし、車両地上空間におけるマッピングされたレーンマークを用いて、ＡＤＶの方向変換、ナビゲーション及び運転のための車線構成を確定することができる。例えば、システムは、画像空間におけるレーンマークに対してホモグラフィ変換を実行して、それらを車両地上空間にマッピングすることができる。画像空間から車両地上空間へのマッピングは、プロセッサ密集型であってもよいが、（画像全体ではなく）マークを利用することで、貴重なプロセッサリソースが節約される。

レーンマークが車両地上空間内にある場合には、操作４２０において、システムはレーンマークに対してマーク関連付けを実行することができる。例えば、図４Ｂに示すように、操作４２２において、システムは、エッジを使用してレーンマークを接続することができる。各マークは、エッジを介して各々の他のマークに接続することができる。次に、操作４２４において、エッジ毎にコストを算出することができる。ここで、コストは同一の車線境界線に属するレーンマークの適合性の尺度である。例えば、システムは、連結されたノード間の距離（例えば、エッジの長さ）に基づいてコストを割り当てることができる。そして、操作４２６において、システムは、エッジで接続されたレーンマークに対して選択及びグループ化を行うことができ、選択されたマークと選択されたエッジとからなる車線境界線が生成される。当該選択は、車両地上空間におけるエッジの２つのノード／マークの間のユークリッド距離、偏角及び／又は相対方位、或いはその組み合わせに依存するエッジコストに基づいて行うことができる。ユークリッド距離は、ユークリッド空間内の２点間の距離であってもよく、偏角は、前に選択されたエッジに対する選択されたエッジの偏位角度であってもよく、相対方位は、前に選択されたエッジに対する選択されたエッジの位置及び／又は方向であってもよい。

例えば、図７には、車両地上空間における、エッジ７０２により接続されたレーンマーク７０６が示されている。各マークは、各々の他のマークへ通じるエッジを有する。エッジ毎にエッジコスト７０４が算出される。このような方法は、各マーク組み合わせペア間のコスト確定に有利であり、エッジ及びマークの選択及びグループ化に役立つ。

例えば、エッジはグリーディアルゴリズム（ｇｒｅｅｄｙ ａｌｇｏｒｉｔｈｍ）により選択することができる。全体／組み合わせ最短距離を検索する面で最適とは言えないことが一般的に知られているが、この場合、速度、簡潔性、局所最適化及びレーンマークの全体／組み合わせ最短距離をレーンマークと関連付ける場合に特別価値を有するものではないため、グリーディアルゴリズムは有利である。マーククラスタを切断するために、システムは閾値を設定し、コストが閾値を超えたか否かに基づいてエッジ選択を行うことができる。エッジ選択が特定のコストを超えると、当該エッジは選択されず、連続的に連結された一つのクラスタを他のクラスタから切断する。

システムは、車線境界線を車線境界線の多項式関数に変換して表示することができる。この場合、車線境界線はグラフ形式で表される。このような方法によって構成された車線境界線は、他の方法に比べてより確実であるため有利であり、車線境界線がグラフに基づいているからである。これに対して、他の方法（例えば、ハフ変換）は投票プログラムを利用する。しかし、ハフ変換による車線検出は、相対方位及びずれに依存してパラメータ空間において行われるので、確実でない可能性がある。また、グラフに基づく車線境界線は、車線がいつ実線ではなく破線又は点線であるかをよりうまく検出することができる。

車線境界線が形成された後、図４Ａに戻って参照し、操作４３０において、システムは、選択されたマークと選択されたエッジとからなる車線境界線に基づいて、車線オブジェクトを生成することができる。例えば、操作４３２において、システムは、車線境界線を車線オブジェクトと関連付けることができる。操作４３４において、システムは車線オブジェクトの空間ラベルを確定することができ、操作４３６において、車線オブジェクトの意味ラベルを確定することができる。

空間ラベルには、車両に関連する車線位置を認識するための名称分類が含まれてもよい。例えば、図８Ａ〜図８Ｂを参照し、車線インスタンス８０２について、空間ラベル８０４は、当該車線が車両左側の第１車線であることを示す「Ｌ０」を有し、「Ｌ１」空間ラベルを有する車線オブジェクトは、当該車線が車両左側の第２車線であることを示すことができ、「Ｒ１」は当該車線が車両右側の第２車線であることを示すことができる。また、フィールド８０６を用いて、車線インスタンスが実車線であるか破線であるかを示すことができる。

システムは車線オブジェクトの意味ラベルを確定することもできる。例えば、車線オブジェクトに関連する車線境界線のレーンマークに基づいて、システムは、例えば、点線、破線、実線、曲げ、二重実線、二重破線などのような車線の種類を確定することができる。したがって、意味ラベルは、車線オブジェクト及び相互関連するレーンマークを１種類の車線と関連付けることができる。

好ましいことは、空間ラベルは各車線オブジェクトに関連して、特にいくつかの車線インスタンスを検出した場合に、車両制御を改善することができる。同様に、意味ラベルは、計画及び制御システムへ車線種類に関するより多くの情報を提供することにより車両制御を改善することができ、これによりＡＤＶは運転決定をしながら車線種類を考慮することができる。

図９は、一実施形態に係る自動運転に用いられる車線の車線境界線を確定するプロセスを示すフローチャートである。プロセス９００は、ソフトウェア、ハードウェア又はそれらの組み合わせを含むことができる処理ロジックにより実行することができる。例えば、プロセス９００は、感知モジュール３０２により実行することができる。図９を参照し、操作９０１において、処理ロジックは、ＡＤＶのカメラにより撮影された画像を画像空間内の２値画像に変換して、車線ラベルマップ画像を生成する。変換中、１つ又は複数の車線と無関係の何らかの画素の画素値を修正するように、画像フィルタリング操作を実行することができる。２値画像における各画素は、当該画素が車線に関連する場合に第１論理値（例えば、論理値１又はＴＲＵＥ）を有し、或いは、当該画素が車線に関連しない場合に第２論理値（例えば、論理値０又はＦＡＬＳＥ）を有することができる。操作９０２において、処理ロジックは、車線ラベルマップ画像に対して連結成分分析を行って、隣接する車線画素をグループ化することで、１つ又は複数の車線を表すグループ化された画素を生成する。操作９０３において、処理ロジックは、車線ごとに、輪郭解析を実行して車線の形状を確定し、当該輪郭解析は、車線の輪郭及び内縁を確定し、レーンマークを生成することを含む。操作９０４において、処理ロジックは、レーンマークを画像空間から車両地上空間にマッピングする。車両地上空間におけるマッピングされたレーンマークは、車線に沿ってＡＤＶを運転するように、車線の車線構成を確定するのに用いられることができる。

注意すべきことは、以上に例示及び説明された構成要素の一部又は全ては、ソフトウェア、ハードウェア又はこれらの組み合わせで実現することができる。例えば、このような構成要素は、永続性記憶装置にインストールされるとともに記憶されるソフトウェアとして実現されてもよく、前記ソフトウェアは、本願にわたって記載されたプロセス又は操作を実施するように、プロセッサ（図示せず）でメモリにロードして実行されてもよい。或いは、このような構成要素は、集積回路（例えば、決定用途向け集積回路又はＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のような専用ハードウェアにプログラミング又は埋め込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードはアプリケーションからの対応するドライバー及び／又はオペレーティングシステムを介してアクセスすることができる。さらに、このような構成要素は、ソフトウェア構成要素が一つ以上の決定の指令によってアクセス可能な指令セットの一部として、プロセッサ又はプロセッサコアにおける決定のハードウェアロジックとして実現されることができる。

図１０は、本願の一実施形態と共に使用可能なデータ処理システムの一例を示すブロック図である。例えば、システム１５００は、図１の感知及び計画システム１１０、又はサーバ１０３〜１０４のような、前記プロセス又は方法のいずれかを実行するデータ処理システムのいずれかを表すことができる。システム１５００は、いくつかの異なる構成要素を含むことができる。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、ディスクリート型電子デバイス又は回路基板に適するその他のモジュール（例えば、コンピュータシステムのマザーボード又はアドインカード）として実現されることができ、又は、他の形態でコンピュータシステムのシャーシ内に組み込まれた構成要素として実現されることができる。

また注意すべきこととして、システム１５００は、コンピュータシステムのいくつかの構成要素の高レベルビューを示すことを意図している。しかしながら、理解すべきことは、決定の実施例において付加的構成要素が存在してもよく、また、その他の実施例において示された構成要素を異なる構成にすることが可能である。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤ、パーソナルデジタルアシスタント（ＰＤＡ）、スマートウォッチ、パーソナルコミュニケーター、ゲーム装置、ネットワークルーター又はハブ、無線アクセスポイント（ＡＰ）又はリピーター、セット・トップボックス、又はこれらの組み合わせを表すことができる。なお、単一の機械又はシステムのみが示されたが、「機械」又は「システム」という用語は、本明細書で説明されるいずれか一種以上の方法を実行するための、単独で又は共同で一つ（又は複数）の指令セットを実行する機械又はシステムの任意の組み合わせも含まれると解釈されるものとする。

一実施形態において、システム１５００は、バス又はインターコネクト１５１０を介して接続される、プロセッサ１５０１と、メモリ１５０３と、装置１５０５〜１５０８とを含む。プロセッサ１５０１は、単一のプロセッサコア又は複数のプロセッサコアが含まれる単一のプロセッサ又は複数のプロセッサを表すことができる。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）などのような、一つ以上の汎用プロセッサを表すことができる。より具体的には、プロセッサ１５０１は、複雑指令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小指令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長指令語（ＶＬＩＷ）マイクロプロセッサ、又はその他の指令セットを実行するプロセッサ、又は指令セットの組み合わせを実行するプロセッサであってもよい。プロセッサ１５０１は、更に一つ以上の専用プロセッサであってもよく、例えば、決定用途向け集積回路（ＡＳＩＣ）、セルラー又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組込みプロセッサ、又は指令を処理可能な任意の他のタイプのロジックが挙げられる。

プロセッサ１５０１は、（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）前記システムの様々な構成要素と通信するための主処理ユニット及び中央ハブとして機能することができる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ１５０１は、本明細書で説明される操作及びステップを実行するための指令を実行するように構成される。システム１５００は、更に所望によるグラフィックサブシステム１５０４と通信するグラフィックインターフェースを含むことができ、グラフィックサブシステム１５０４は、表示コントローラ、グラフィックプロセッサ、及び／又は表示装置を含むことができる。

プロセッサ１５０１は、メモリ１５０３と通信することができ、メモリ１５０３は、一実施形態において、所定量のシステムメモリを提供するための複数のメモリ装置によって実現されることができる。メモリ１５０３は、一つ以上の揮発性記憶（又はメモリ）装置を含むことができ、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、又はその他のタイプの記憶装置が挙げられる。メモリ１５０３は、プロセッサ１５０１又はその他の任意の装置により実行される指令シーケンスを含む情報を記憶することができる。例えば、様々なオペレーティングシステム、デバイスドライバ、ファームウェア（例えば、ベーシックインプット／アウトプットシステム又はＢＩＯＳ）、及び／又はアプリケーションの実行可能なコード及び／又はデータは、メモリ１５０３にロードされ、プロセッサ１５０１により実行されることができる。オペレーティングシステムは、任意のタイプのオペレーティングシステムであってもよく、例えば、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、アップル社のＭａｃＯＳ（登録商標）／ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）社のＡｎｄｒｏｉｄ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、又はその他のリアルタイム若しくは組込みオペレーティングシステムが挙げられる。

システム１５００は、例えば、ネットワークインターフェース装置１５０５、所望による入力装置１５０６、及びその他の所望によるＩ／Ｏ装置１５０７を含む装置１５０５〜１５０８のようなＩ／Ｏ装置を更に含むことができる。ネットワークインターフェース装置１５０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を含むことができる。前記無線送受信機は、ＷｉＦｉ送受信機、赤外線送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線携帯電話送受信機、衛星送受信機（例えば、全地球位置決めシステム（ＧＰＳ）送受信機）、又はその他の無線周波数（ＲＦ）送受信機、又はこれらの組み合わせであってもよい。ＮＩＣは、イーサネット（登録商標）カードであってもよい。

入力装置１５０６は、マウス、タッチパネル、タッチスクリーン（表示装置１５０４と統合されてもよい）、ポインター装置（例えば、スタイラス）、及び／又はキーボード（例えば、物理キーボード又はタッチスクリーンの一部として表示された仮想キーボード）を含むことができる。例えば、入力装置１５０６は、タッチスクリーンと接続するタッチスクリーンコントローラを含むことができる。タッチスクリーン及びタッチスクリーンコントローラは、例えば、様々なタッチ感応技術（コンデンサ、抵抗、赤外線、及び表面弾性波の技術を含むが、これらに限定されない）のいずれか、並びにタッチスクリーンと接触する一つ以上の接触点を決定するためのその他の近接センサアレイ又はその他の素子を用いて、それらの接触及び移動又は中断を検出することができる。

Ｉ／Ｏ装置１５０７は、音声装置を含むことができる。音声装置は、例えば、音声認識、音声複製、デジタル記録、及び／又は電話機能のような音声サポートの機能を促進するために、スピーカ及び／又はマイクロフォンを含んでもよい。その他のＩ／Ｏ装置１５０７は、更に、ユニバーサルシリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩーＰＣＩブリッジ）、センサ（例えば、加速度計のようなモーションセンサ、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサなど）、又はこれらの組み合わせを含むことができる。装置１５０７は、更に結像処理サブシステム（例えば、カメラ）を含むことができ、前記結像処理サブシステムは、（写真及びビデオ断片の記録のような）カメラ機能を促進するための光学センサを含むことができ、例えば、電荷結合素子（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサが挙げられる。決定のセンサは、センサハブ（図示せず）を介してインターコネクト１５１０に接続されることができ、キーボード又はサーマルセンサのようなその他の装置は、システム１５００の具体的な構成又は設計に応じて組込みコントローラ（図示せず）により制御されることができる。

データ、アプリケーション、一つ以上のオペレーティングシステムなどの情報の永続性記憶を提供するために、プロセッサ１５０１には、大容量記憶装置（図示せず）が接続されることもできる。様々な実施形態において、より薄くてより軽量なシステム設計を可能にしながら、システムの応答性を向上させるために、このような大容量記憶装置は、ソリッドステートデバイス（ＳＳＤ）によって実現されることができる。しかしながら、その他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）を使用して実現されることができ、より小さい容量のＳＳＤ記憶装置をＳＳＤキャッシュとして機能することで、停電イベントの間にコンテキスト状態及び他のそのような情報の不揮発性記憶を可能にし、それによりシステム動作が再開するときに通電を速く実現することができる。また、フラッシュデバイスは、例えば、シリアルペリフェラルインターフェース（ＳＰＩ）を介してプロセッサ１５０１に接続されることができる。このようなフラッシュデバイスは、前記システムのＢＩＯＳ及びその他のファームウェアを含むシステムソフトウェアの不揮発性記憶のために機能することができる。

記憶装置１５０８は、コンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体又はコンピュータ可読媒体ともいう）を含むことができ、前記コンピュータアクセス可能な記憶媒体１５０９には、本明細書で記載されたいずれか一種以上の方法又は機能を具現化する一つ以上の指令セット又はソフトウェア（例えば、モジュール、ユニット、及び／又はロジック１５２８）が記憶されている。処理モジュール／ユニット／ロジック１５２８は、前記構成要素及び車線処理に関連するサブ構成要素のいずれかを表すことができ、構成要素は、例えば、計画モジュール３０５、制御モジュール３０６ 制御モジュール、感知モジュール３０２が挙げられ、サブ構成要素は、例えば、車線マップ画像生成器３０２０、連結成分分析器３０２１、輪郭解析器３０２２、レーンマーク生成器３０２６が挙げられる。処理モジュール／ユニット／ロジック１５２８は、更に、データ処理システム１５００、メモリ１５０３、及びプロセッサ１５０１による実行中に、メモリ１５０３内及び／又はプロセッサ１５０１内に完全的に又は少なくとも部分的に存在してもよく、データ処理システム１５００、メモリ１５０３、及びプロセッサ１５０１も機械アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック１５２８は、更に、ネットワークによってネットワークインターフェース装置１５０５を介して送受信されてもよい。

コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶するために用いることができる。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されるが、「コンピュータ可読記憶媒体」という用語は、前記一つ以上の指令セットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュとサーバ）を含むと解釈されるものとする。「コンピュータ可読記憶媒体」という用語は更に、指令セットを記憶又は符号化できる任意の媒体を含むと解釈されるものであり、前記指令セットは機械により実行され、本願のいずれか一種以上の方法を前記機械に実行させるためのものである。それゆえに、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ、光学媒体及び磁気媒体、又はその他の任意の非一時的な機械可読媒体を含むが、これらに限定されないと解釈されるものとする。

本明細書に記載の処理モジュール／ユニット／ロジック１５２８、構成要素及びその他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又は（ＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ又は類似の装置のような）ハードウェア構成要素の機能に統合されてもよい。更に、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置におけるファームウェア又は機能性回路として実現されてもよい。更に、処理モジュール／ユニット／ロジック１５２８は、ハードウェア装置とソフトウェア構成要素の任意の組み合わせで実現されてもよい。

注意すべきことは、システム１５００は、データ処理システムの様々な構成要素を有するものとして示されているが、構成要素を相互接続する任意の決定のアーキテクチャ又は方式を表すことを意図するものではなく、そのような詳細は、本願の実施形態と密接な関係がない。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ、及び／又はその他のデータ処理システムも、本願の実施形態と共に使用することができることを理解されたい。

前記具体的な説明の一部は、既に、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムと記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。本明細書では、一般的に、アルゴリズムは、所望の結果につながるセルフコンシステントシーケンスと考えられる。これらの操作は、物理量の物理的処置が必要なものである。

しかしながら、念頭に置くべきことは、これらの用語及び類似の用語の全ては、適切な物理量に関連付けられるものであり、これらの量を標識しやすくするためのものに過ぎない。以上の説明で他に明示的に記載されていない限り、本明細書の全体にわたって理解すべきことは、（添付された特許請求の範囲に記載されているような）用語による説明とは、コンピュータシステム、又は類似の電子計算装置の作動又はプロセスを指し、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリにおける物理（電子）量として示されるデータを制御するとともに、前記データをコンピュータシステムメモリ又はレジスタ又はこのようなその他の情報記憶装置、伝送又は表示装置において同様に物理量として示される別のデータに変換する。

本願の実施形態は、本明細書の操作を実行するための装置にも関する。このようなコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶される。機械可読媒体は、機械（例えば、コンピュータ）により読み取り可能な形式で情報を記憶するための任意のメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置）を含む。

上述した図面において説明されたプロセス又は方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体に具現化されるもの）、又は両方の組み合わせを含む処理ロジックにより実行されることができる。前記プロセス又は方法は、以上で決定の順序に応じて説明されたが、前記処理の一部が異なる順序で実行されてもよいことを理解されたい。また、一部の操作は、順番ではなく並行して実行できる。

本願の実施形態は、いずれの決定のプログラミング言語を参照することなく記載されている。理解すべきことは、本明細書に記載の本願の実施形態の教示を実現するために、様々なプログラミング言語を使用することができる。

前記明細書において、本願の実施形態は、既にその具体的な例示的な実施形態を参照しながら記載された。明らかなように、添付された特許請求の範囲に記載された本願のより広い趣旨及び範囲を逸脱しない限り、本願に対して様々な変更を行うことができる。それゆえに、本明細書及び図面は、限定的な意味でなく、例示的な意味で理解されるべきである。

Claims (21)

1. 自動運転車の車線を確定するためのコンピュータ実施方法であって、前記方法は、
   前記自動運転車（ＡＤＶ）のカメラにより撮影された画像を画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、前記２値画像の画素値は、第１の画素値および第２の画素値からなり、ここで、画素値が前記第１の画素値である画素が車線に関連付けられ、画素値が前記第２の画素値である画素が車線に関連付けられていない、ステップと、
   前記車線ラベルマップ画像に対して連結成分分析を実行して、隣り合う車線画素をグループ化することで、一つ又は複数の車線を表すグループ化された画素を生成するステップと、
   前記一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、前記輪郭解析は、
   前記車線の輪郭を確定するステップと、
   前記車線の内縁を検出するステップと、
   前記内縁に沿ってレーンマークを生成するステップと、を含むステップと、
   前記画像空間に対してホモグラフィ変換を実行することで前記レーンマークを前記画像空間から車両地上空間にマッピングするステップであって、前記車両地上空間とは、車両が走行している地面を表す三次元地表面であり、前記車両地上空間におけるマッピングされたレーンマークは、前記自動運転車を運転するための車線構成を確定するのに用いられる、ステップと、
   を含むコンピュータ実施方法。
2. エッジを用いて前記レーンマークを接続することで、エッジにより接続されたマークのグラフを生成するステップであって、各々のレーンマークは、各々のほかのレーンマークに接続される、ステップと、
   各々のエッジのコストを計算するステップであって、前記コストは、同じ車線境界線に属するレーンマークの互換性の尺度である、ステップと、
   前記エッジ及び前記レーンマークに対して選択及びグループ化を行うことで、選択されたレーンマーク及び選択されたエッジにより形成された車線境界線を生成するステップと、をさらに含む
   請求項１に記載の方法。
3. 一つ又は複数の前記車線境界線を対応する車線オブジェクトに関連付けるステップをさらに含む
   請求項２に記載の方法。
4. 各々の車線オブジェクトの車線インスタンスに基づいて、一つ又は複数の前記車線境界線を対応する車線オブジェクトに関連付けるステップをさらに含む
   請求項２に記載の方法。
5. 前記自動運転車の位置に対する前記車線オブジェクトの位置に基づいて、前記車線オブジェクトの空間ラベルを確定するステップをさらに含む
   請求項３に記載の方法。
6. 前記車線オブジェクトに関連付けられている前記車線境界線のレーンマークに基づいて、前記車線オブジェクトの意味ラベルを確定するステップであって、前記意味ラベルは、点線車線及び破線車線を含む、ステップをさらに含む
   請求項３に記載の方法。
7. 前記エッジに対する選択及びグループ化は、グリーディアルゴリズムにより実行される
   請求項２に記載の方法。
8. 各々の前記エッジのコストの値は、前記エッジにより接続された二つのレーンマークの間の距離に基づいて割り当てられる
   請求項２に記載の方法。
9. 前記レーンマークを画像空間に記憶することで、多項式関数を形成する
   請求項２に記載の方法。
10. 指令が記憶された非一時的な機械可読媒体であって、前記指令がプロセッサにより実行されるときに、前記プロセッサに処理を実行させ、前記処理は、
    自動運転車（ＡＤＶ）のカメラにより撮影された画像を画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、前記２値画像の画素値は、第１の画素値および第２の画素値からなり、ここで、画素値が前記第１の画素値である画素が車線に関連付けられ、画素値が前記第２の画素値である画素が車線に関連付けられていない、ステップと、
    前記車線ラベルマップ画像に対して連結成分分析を実行して、隣り合う車線画素をグループ化することで、一つ又は複数の車線を表すグループ化された画素を生成するステップと、
    前記一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、前記輪郭解析は、
    前記車線の輪郭を確定するステップと、
    前記車線の内縁を検出するステップと、
    前記内縁に沿ってレーンマークを生成するステップと、を含むステップと、
    前記画像空間に対してホモグラフィ変換を実行することで前記レーンマークを前記画像空間から車両地上空間にマッピングするステップであって、前記車両地上空間とは、車両が走行している地面を表す三次元地表面であり、前記車両地上空間におけるマッピングされたレーンマークは、前記自動運転車を運転するための車線構成を確定するのに用いられる、ステップと、
    を含む非一時的な機械可読媒体。
11. 前記処理は、
    エッジを用いて前記レーンマークを接続することで、エッジにより接続されたマークのグラフを生成するステップであって、各々のレーンマークは、各々のほかのレーンマークに接続される、ステップと、
    各々のエッジのコストを計算するステップであって、前記コストは、同じ車線境界線に属するレーンマークの互換性の尺度である、ステップと、
    前記エッジ及び前記レーンマークに対して選択及びグループ化を行うことで、選択されたレーンマーク及び選択されたエッジにより形成された車線境界線を生成するステップと、
    をさらに含む
    請求項１０に記載の非一時的な機械可読媒体。
12. 前記処理は、
    一つ又は複数の前記車線境界線を対応する車線オブジェクトに関連付けるステップをさらに含む
    請求項１１に記載の非一時的な機械可読媒体。
13. 前記処理は、
    各々の車線オブジェクトの車線インスタンスに基づいて、一つ又は複数の前記車線境界線を対応する車線オブジェクトに関連付けるステップをさらに含む
    請求項１１に記載の非一時的な機械可読媒体。
14. 前記処理は、
    前記自動運転車の位置に対する前記車線オブジェクトの位置に基づいて、前記車線オブジェクトの空間ラベルを確定するステップをさらに含む
    請求項１２に記載の非一時的な機械可読媒体。
15. 前記処理は、
    前記車線オブジェクトに関連付けられている前記車線境界線のレーンマークに基づいて、前記車線オブジェクトの意味ラベルを確定するステップであって、前記意味ラベルは、点線車線及び破線車線を含む、ステップをさらに含む
    請求項１２に記載の非一時的な機械可読媒体。
16. 前記エッジに対する選択及びグループ化は、グリーディアルゴリズムにより実行される
    請求項１１に記載の非一時的な機械可読媒体。
17. 各々の前記エッジのコストの値は、前記エッジにより接続された二つのレーンマークの間の距離に基づいて割り当てられる
    請求項１１に記載の非一時的な機械可読媒体。
18. 前記レーンマークを画像空間に記憶することで、多項式関数を形成する
    請求項１１に記載の非一時的な機械可読媒体。
19. プロセッサと、
    前記プロセッサに接続されて指令を記憶するためのメモリとを備えるデータ処理システムであって、
    前記指令が前記プロセッサにより実行されるときに、前記プロセッサに処理を実行させ、前記処理は、
    自動運転車（ＡＤＶ）のカメラにより撮影された画像を画像空間内の２値画像に変換することで、車線ラベルマップ画像を生成するステップであって、前記２値画像の画素値は、第１の画素値および第２の画素値からなり、ここで、画素値が前記第１の画素値である画素が車線に関連付けられ、画素値が前記第２の画素値である画素が車線に関連付けられていない、ステップと、
    前記車線ラベルマップ画像に対して連結成分分析を実行して、隣り合う車線画素をグループ化することで、一つ又は複数の車線を表すグループ化された画素を生成するステップと、
    前記一つ又は複数の車線の各々に対して、輪郭解析を実行するステップであって、前記輪郭解析は、
    前記車線の輪郭を確定するステップと、
    前記車線の内縁を検出するステップと、
    前記内縁に沿ってレーンマークを生成するステップと、を含むステップと、
    前記画像空間に対してホモグラフィ変換を実行することで前記レーンマークを前記画像空間から車両地上空間にマッピングするステップであって、前記車両地上空間とは、車両が走行している地面を表す三次元地表面であり、前記車両地上空間におけるマッピングされたレーンマークは、前記自動運転車を運転するための車線構成を確定するのに用いられる、ステップと、
    を含むデータ処理システム。
20. 前記処理は、
    エッジを用いて前記レーンマークを接続することで、エッジにより接続されたマークのグラフを生成するステップであって、各々のレーンマークは、各々のほかのレーンマークに接続される、ステップと、
    各々のエッジのコストを計算するステップであって、前記コストは、同じ車線境界線に属するレーンマークの互換性の尺度である、ステップと、
    前記エッジ及び前記レーンマークに対して選択及びグループ化を行うことで、選択されたレーンマーク及び選択されたエッジにより形成された車線境界線を生成するステップと、をさらに含む
    請求項１９に記載のデータ処理システム。
21. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１ないし請求項９のいずれか一項に記載の方法を実現させるコンピュータプログラム。

Images