JP6395759B2 - レーン検出 - Google Patents

Description

関連出願のクロスリファレンス及び優先権
本願は、２０１５年５月２８日印度国出願の、印度国仮出願（発明の名称：レーン検出のための方法及びシステム）第２０７９／ＭＵＭ／２０１５号の優先権を主張する。

本明細書に記載の実施形態は、レーン検出に関連し、特に、様々な照明及び道路条件下でのレーン検出に関する。

視覚情報を用いるレーンマーキングの検出は、車線逸脱警報（ＬＤＷ）、車線維持支援（ＬＫＡ）及び前方衝突警報（ＦＣＡ）などのドライバ支援及び安全機能をサポートする基本的要件である。レーンマーキングを検出するために、クリアセンサやカラーフィルタセンサを伴うカメラが、用いられる。ドライバ支援の利用例に対して、視覚センサ、即ちカメラが後ものの前部に搭載され、道路画像をキャプチャする。カメラは、約４５°の水平視野及び約３０°の鉛直視野のレンズと共に、用いられるサイズＶＧＡ又はＨＤのＣＭＯＳ／ＣＣＤのアセンブリである。レーンマーキングは、色（印度、米国、欧州では白及び黄、韓国では青）、幅及び形状（実線及び破線）にて変動し得る。

レーンを検出するための様々な従来技術は、エッジ検出及びエッジに対するライン近似、並びに、グローバルセグメンテーション技術の使用を含む。例えば、一つの技術では画像領域がサブ領域に分割され、ハフラインが個々のサブ領域内のエッジにフィットされ、消失点を判別する。別の技術は、画像の逆遠近法マッピングを含み、閾値化により、更にはハフラインをフィットすることにより、レーンマークを検出する。推奨される或る技術は、道路のレーンマーキングを検出するための閾値化方法を用いるものである。

印度国特許出願第１５９４／ＭＵＭ／２０１５号

発明者は、以下に説明するように、それら従来システムに関する複数の技術的課題を把握している。前述の技術は、道路及び直線のレーンマーキングの近視界では、十分に動作するが、しかしながら、レーン検出の実際のシナリオをサポートするためには、距離に関する検出の改善、及び、曲部や破線のレーンマーキングのような形状の検出の改善が、取り組まれるべきである。更に、レーン検出技術は、乗物内で用いられる埋め込みプラットフォームのための、精度及び性能の観点から改善され得る。

以下は、実施形態の基本的理解を提供するために本開示のいくつかの実施形態の簡易な概要を表す。この概要は、実施形態の広範囲の概観ではない。実施形態の肝要な／重大な要素を特定することや、実施形態の範囲を描くことを、意図するものでは無い。その唯一の目的は、以下に示すより詳細な説明への序章として簡易な形式のいくつかの実施形態を示すことである。

前述の内容を考慮して、本明細書の実施形態は、レーン検出のための方法及びシステムを提供する。一つの形態では、レーン検出のためのコンピュータ実装方法が提供され、方法は、レーンマーキングを有する道路の少なくとも一つの画像に対応するエッジ画像を生成するステップであって、エッジ画像は、レーンマーキングに対応するインバウンズのエッジのペアを含む、ステップを含む。方法は更に、少なくとも一つの画像の複数の水平画像ストリップから、複数のレーンマスクを抽出するステップを含む。水平画像ストリップ内の複数のレーンマスクのうちのレーンマスクは、水平画像ストリップ内のレーンマーキングのサブセットを示す。複数のレーンマスクは、複数の水平画像ストリップ内のレーンマーキングのサブセットのインテンシティについての適応可能な閾値化に基づいて、抽出される。更に、方法は、複数の水平画像ストリップ内の複数のレーンマスクの、構造情報及びインテンシティ情報に少なくとも基づいて、複数のレーンマスクの間から複数の有効なレーンマスクを選択するステップを含む。更に、方法は、レーンマーキングに対応するインバウンズのエッジのペアについての、複数のエッジセグメントを特定するために、インバウンズのエッジのペアと複数の有効なレーンマスクとの間のオーバラップを判別するステップを含む。インバウンズのエッジのペアについての、複数のエッジセグメントは曲率情報を含み、エッジセグメントの曲率情報は、レーンマーキングに対する、エッジセグメントの曲率を示す。インバウンズのエッジのペアの有効なエッジセグメントのセットが、曲率情報に基づいて、取得される。有効なエッジセグメントのセットはレーンマーキングを検出することを促進する。

別の形態では、レーン検出のためのコンピュータ実装システムが提供される。システムは、少なくとも一つのメモリと、及び、少なくとも一つのプロセッサとを含み、前記少なくとも一つのメモリは、前記少なくとも一つのプロセッサと結合しており、前記少なくとも一つのプロセッサは、レーンマーキングを有する道路の少なくとも一つの画像に対応するエッジ画像を生成するステップであって、エッジ画像は、レーンマーキングに対応するインバウンズのエッジのペアを含む、ステップを、行うものとする、前記少なくとも一つのメモリ内に格納されるプログラムされた命令を、実行することができる。システムは更に、少なくとも一つの画像の複数の水平画像ストリップから、複数のレーンマスクを抽出するようにさせられ、水平画像ストリップ内の複数のレーンマスクのうちのレーンマスクは、水平画像ストリップ内のレーンマーキングのサブセットを示す。複数のレーンマスクは、複数の水平画像ストリップ内のレーンマーキングのサブセットのインテンシティについての適応可能な閾値化に基づいて、抽出される。システムは更に、複数の水平画像ストリップ内の複数のレーンマスクの、構造情報及びインテンシティ情報に少なくとも基づいて、複数のレーンマスクの間から複数の有効なレーンマスクを選択するようにさせられる。レーンマーキングに対応するインバウンズのエッジのペアについての、複数のエッジセグメントを特定するために、インバウンズのエッジのペアと複数の有効なレーンマスクとの間のオーバラップが、判別される。インバウンズのエッジのペアについての、複数のエッジセグメントは曲率情報を含む。エッジセグメントの曲率情報は、レーンマーキングに対する、エッジセグメントの曲率を示す。システムは更に、複数のエッジセグメントの曲率情報に基づいて、インバウンズのエッジのペアの有効なエッジセグメントのセットを取得するようにさせられ、有効なエッジセグメントのセットはレーンマーキングを検出することを促進する。

更に別の形態では、レーン検出のための方法を実行するコンピュータプログラムが統合される持続性コンピュータ読み取り可能媒体が提供される。一つの形態では、レーン検出のためのコンピュータ実装方法が提供され、方法は、レーンマーキングを有する道路の少なくとも一つの画像に対応するエッジ画像を生成するステップであって、エッジ画像は、レーンマーキングに対応するインバウンズのエッジのペアを含む、ステップを含む。方法は更に、少なくとも一つの画像の複数の水平画像ストリップから、複数のレーンマスクを抽出するステップを含む。水平画像ストリップ内の複数のレーンマスクのうちのレーンマスクは、水平画像ストリップ内のレーンマーキングのサブセットを示す。複数のレーンマスクは、複数の水平画像ストリップ内のレーンマーキングのサブセットのインテンシティについての適応可能な閾値化に基づいて、抽出される。更に、方法は、複数の水平画像ストリップ内の複数のレーンマスクの、構造情報及びインテンシティ情報に少なくとも基づいて、複数のレーンマスクの間から複数の有効なレーンマスクを選択するステップを含む。更に、方法は、レーンマーキングに対応するインバウンズのエッジのペアについての、複数のエッジセグメントを特定するために、インバウンズのエッジのペアと複数の有効なレーンマスクとの間のオーバラップを判別するステップを含む。インバウンズのエッジのペアについての、複数のエッジセグメントは曲率情報を含み、エッジセグメントの曲率情報は、レーンマーキングに対する、エッジセグメントの曲率を示す。インバウンズのエッジのペアの有効なエッジセグメントのセットが、曲率情報に基づいて、取得される。有効なエッジセグメントのセットはレーンマーキングを検出することを促進する。

発明の詳細な説明は、添付の図面を参照して記載されている。図面では、参照番号の最左の桁が、その参照番号が最初に登場する図面を特定する。同様の機能及びモジュールを参照するように、同じ数字が図面全体に亘って用いられている。

図１は、例示の実施形態に係る、レーン検出のための例示の環境を示す。 図２は、実施形態に係る、レーン検出のためのシステムのブロック図である。 図３Ａは、例示の実施形態に係る、道路の画像を示す。 図３Ｂは、例示の実施形態に係る、図３Ａの画像に対応するエッジ画像を示す。 図３Ｃは、例示の実施形態に係る、図３Ｂのエッジ画像のレーンマーキングのインバウンズのエッジを含む画像を示す。 図４Ａは、例示の実施形態に係る、道路の画像、例示の水平画像ストリップ及び道路のためのレーンマスク、並びに、画像に対応する再構成画像を、示す。 図５は、例示の実施形態に係る、道路の画像に対応する複数の水平画像ストリップを抽出するための例示の描写を示す。 図６Ａ及び図６Ｂは、例示の実施形態に係る、画像に関連する水平画像ストリップのための例示のヒストグラム、及び、水平画像ストリップに対応する処理されたヒストグラムを、示す。 図６Ａ及び図６Ｂは、例示の実施形態に係る、画像に関連する水平画像ストリップのための例示のヒストグラム、及び、水平画像ストリップに対応する処理されたヒストグラムを、示す。 図７（Ａ）、図７（Ｂ）及び図７（Ｃ）は、例示の実施形態に係る、レーンエッジから意図せぬエッジを除去するための例示のシナリオを示す。 図８は、本開示に係る、レーン検出のための方法のフロー図を示す。

本明細書の実施形態、及び、それらに係る種々の特徴及び利点の詳細は、添付の図面に示され且つ以下の記載にて詳述される非限定的な実施形態を参照して、より十分に説明される。本明細書で用いる例は、本明細書の実施形態を実施し得るやり方の理解を促進すること、更に当業者が本明細書の実施形態を実施できることを、意図するに過ぎない。従って、例は、本明細書の実施形態の範囲を限定するものとして解釈されるべきではない。

方法及びシステムは、本明細書に記載の特定の実施形態に限定されない。更に、方法及びシステムは、本明細書に記載の他のモジュール及び方法から独立して及び分離して実施され得る。個々のデバイスエレメント／モジュール及び方法は、他のエレメント／モジュール及び他の方法と組み合わせて用いられ得る。

レーン検出のためのシステム及び方法が実装されるやり方は、図１から図８に関して、詳細に説明される。レーン検出のための記載の方法及びシステムの形態は、複数の様々なシステム、実用的な実施形態、及び／又は構成にて、実装され得るが、実施形態は、以下の励磁のシステムの文脈で記載される。

図１は、例示の実施形態に係る、レーン検出のための例示の環境１００を示す。レーン検出は、例えば、ドライブの安全ゾーンを規定する道路１０２などの、道路の縁若しくは境界を検出することである。そのような縁は、マーキング１０４やマーキング１０６などの、レーンマーキングを形成することにより、規定される。道路上のレーンマーキングは、乗物ドライバや歩行者のための道路交通ルールを示す。用いられるマーキングは、色にて（地理上）白、黄、若しくは青である。進歩的なドライバ補助システム及び自律乗物の一部として、正確なレーン検出は、レーン逸脱警告、レーン保持補助、前方衝突警告などの、様々な安全機能のための重要タスクである。

種々の実施形態は、レーン密度（輝度）情報、及び、正確なレーン境界を特定するレーンマーキング及びエッジの構造情報を用いることによる、レーン検出のための方法及びシステムを開示する。更に、前記の実施形態は、中低のノイズのシナリオ下での長距離までの、実線の、破線の、直線の、及び曲線のレーンマーキングを検出することをターゲットとする。更に、前記の実施形態は、レーンマーキングの検出のためのシーン内のノイズを処理することを促進する。例えば、提示される方法及びシステムにより、光と影、シーン内の他の乗物などの、ノイズのあるシナリオでのレーン検出が可能になる。提示の実施形態は、レーンマーキングの構造及び色の情報を使用して、レーンマークの正確なインバウンズを抽出し、このことにより、レーン逸脱警告などの更なるコンポーネントの正確さが改善される。

ある実施形態では、方法及びシステムは、ピクセルインテンシティ及びエッジ情報を用いて、実線若しくは破線である、曲線、直線のレーンを検出することにより、より遠くの距離にてレーンマーキングを検出する。本明細書では、エッジは、近接する領域（若しくはピクセルに関してインテンシティの鋭利な変化と関連付けられる領域として、定義され得る。例えば、レーンマーキング１０４のエッジは、１０４ａ、１０４ｂとして示され、レーンマーキング１０６のエッジは、１０６ａ、１０６ｂとして示される。通常、レーンマーキングは、道路と対比してより明るく、従って、レーンマーキングのエッジは、インテンシティの鋭利な変化と関連付けられ得る。レーン検出のために実装される例示のシステムを、図２を参照して更に記載する。

図２は、本開示の実施形態に係る、レーン検出のためのシステム２００のブロック図を示す。実施形態では、システム２００は、距離を検出し、曲線で破線のレーンマーキングのような形状を道路上で検出することにより、レーン検出を促進する。例えば、システム２００は、レーンマーキングを信頼性高く特定するための、レーンマーキングのエッジのピクセルインテンシティ及びエッジ情報を用いて、実線若しくは破線である曲線の、直線のレーンを検出することにより、より遠くの距離にてレーンマーキングを検出するようにさせられる。レーンの正確なインバウンズを達成するために、全体の任意のフレームからの空間画像ストリップ及びエッジからの、レーンマーキングのマスクが、それらの相互の対応に沿って決定される。

システム２００は、プロセッサ２０２などの一つ若しくはそれ以上のハードウエアプロセッサ、メモリ２０４などの少なくとも一つのメモリ、及び、メディアセンサ２０６などの少なくとも一つのメディアセンサを含む、又は、それらと通信する。ある実施形態では、プロセッサ２０２、メモリ２０４、及びメモリ２０４、並びに、メディアセンサ２０６は、システムバスや類似のメカニズムなどの、システムバスにより結合され得る。

プロセッサ２０２は、とりわけ、通信と関連する音声及び論理機能を実装する回路を含み得る。例えば、プロセッサ２０２は、一つ若しくはそれ以上のデジタルシグナルプロセッサ（ＤＳＰ）、一つ若しくはそれ以上のマイクロプロセッサ、一つ若しくはそれ以上の専用コンピュータチップ、一つ若しくはそれ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、一つ若しくはそれ以上の特定用途向け集積回路（ＡＳＩＣ）、一つ若しくはそれ以上のコンピュータ、種々のアナログデジタルコンバータ、デジタルアナログコンバータ、及び／又は、他のサポート回路を、含み得るが、それらに限定されるものでは無い。プロセッサ２０２は、よって、メッセージ及び／又はデータ即ち情報をエンコードする機能も含み得る。プロセッサ２０２は、とりわけ、クロック、算術論理ユニット（ＡＬＵ）、及びプロセッサ２０２のオペレーションをサポートする様に構成されたロジックゲートを、含み得る。更に、プロセッサ２０２は、一つ若しくはそれ以上のプログラムを実行する機能部を含み得、該プログラムは、メモリ２０４に格納され得、若しくは、プロセッサ２０２にアクセスし得る。

メモリ２０４などの少なくとも一つのメモリは、システムの機能を実装するためにシステムにより用いられる、任意の数の情報、及びデータを格納し得る。メモリ２０４は、例えば、揮発性メモリ及び／又は不揮発性メモリを含み得る。揮発性メモリの例は、揮発性ランダムアクセスメモリ（ＲＡＭ）を含み得るが、それに限定されるものではない。不揮発性メモリは、更に若しくは別途、電気的消却プログラム可能型読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードドライブなどを、含み得る。揮発性メモリの複数の例は、ランダムアクセスメモリ、ダイナミックランダムアクセスメモリ、スタティックランダムアクセスメモリなどを含むが、それらに限定されるものではない。不揮発性メモリの複数の例は、ハードディスク、磁気テープ、光学ディスク、プログラム可能読取専用メモリ、消却プログラム可能型読取専用メモリ、電気的消却プログラム可能型読取専用メモリ、フラッシュメモリなどを含むが、それらに限定されるものではない。メモリ２０４は、システム２００が、種々の例示の実施形態に係る種々の機能を実行し得るための、情報、データ、アプリケーション、命令などを格納するように、構成され得る。更に若しくは別途、メモリ２０４は、プロセッサ２０２により実行されると、システムに種々の実施形態に記載されるように振る舞わせる命令を格納するように構成され得る。

ある実施形態では、メディアセンサ２０６は、プロセッサ２０２と通信する、カメラ、ビデオ及び／又はオーディオモジュールなどの、画像キャプチャモジュールを含み得る。メディアセンサ２０６は、格納し、表示し、若しくは伝送するための、画像、ビデオ及び／又はオーディオをキャプチャすることを促進するどんな手段でもよい。例えば、メディアセンサ２０６がカメラ内に実装され得る例示の実施形態では、カメラが、該カメラによりキャプチャされるマーカの画像からデジタル画像ファイルを形成して保存するように構成されてもよい。メディアセンサ２０６は、画像をキャプチャするように構成されたＣＭＯＳ／ＣＣＤ（相補型ＭＯＳ／電荷結合素子）などのハードウエアを含み得る。ある実施形態では、道路の画像及び／又はビデオなどの、メディアコンテンツは、メモリ２０４などの、メモリデバイス内にキャプチャされて格納される。メディアセンサ２０６は、回路、レンズ、若しくは他の光学コンポーネントなどの、全てのハードウエアと、キャプチャされた画像からデジタル画像を作成するソフトウエアを、含み得る。

或る例示の実施形態では、メディアセンサ２０６は画像を視覚するのに必要とされるハードウエアのみを含み得、システム２００のメモリデバイスなどの、メモリデバイスは、キャプチャされた画像からデジタル画像を作成するソフトウエアの形式で、プロセッサ２０２により実行する命令を格納する。例示の実施形態では、メディアセンサ２０６は更に、プロセッサ２０２が画像データを処理する助けとなるプロセッサ若しくはコプロセッサ、並びに、画像データを圧縮する及び／若しくは展開する、エンコーダ及び／若しくはデコーダを、含み得る。エンコーダ及び／若しくはデコーダは、例えば、ＪＰＥＧスタンダード若しくは他のフォーマットに従って、エンコード及び／又はデコードし得る。

例示の実施形態では、システム２００は、乗り物内に埋め込まれ得る。ある実施形態では、システム２００、若しくは、少なくともシステム２００のメディアセンサ２０６は、乗物のバックミラーの背後にて、乗物上に搭載され得、よって、システム２００は、リアルタイムで道路の画像をキャプチャすることを促進し得る。ある実施形態では、メディアセンサ２０６は、バックミラーの背後にインストールされる前方直面カメラ内に埋め込まれ得る。ある実施形態では、乗物が動いているとき若しくは静止しているとき、システム２００は、道路の画像をキャプチャすることを促進し得る。システム２００は、リアルタイムでレーンマーキングを評価する／検出するために、キャプチャされた画像を利用し得る。

システム２００は、ドライブのための安全ゾーンを判別するべく道路上にレーンマーキングを検出するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、システム２００に、ドライブのための安全ゾーンを判別するべく道路上にレーンマーキングを検出させるよう構成されている。ここで、レーンマーキングのペアの範囲内に在る道路の幅は、ドライブのための安全ゾーンに対して決定される。レーンは左及び右のレーンマーキングにより縁付けられ、道路上のレーンマーキングは計測可能な厚さであるので、レーンマーキングのインバウンズは道路の安全領域を表す。この目的のために、システム２００は、安全領域を判別することを促進し得るように、左のレーンマーキングの右エッジ及び右のレーンマーキングの左エッジを特定するようにさせられる。

ある実施形態では、システム２００は、キャプチャした画像を個別のグレースケール画像に変換し、更に、レーン検出のためにグレースケール画像に関する処理を実行するように、させられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、システム２００に、キャプチャした画像を個別のグレースケール画像に変換させ、更に、レーン検出のためにグレースケール画像に関する処理を実行させるよう構成されている。これ以降、グレースケール画像を画像と称することがある。ある実施形態では、システム２００は、カメラ／メディアセンサによりキャプチャされる、レーンマーキングを有する道路の一つ若しくはそれ以上の画像（又はグレースケール画像）に対応する、エッジ画像を生成するようにさせられる。エッジ画像は、レーンマーキングに対応するインバウンズのエッジの対（ペア）を明確に示す。ここで、レーンマーキングのエッジは、レーンマーキングの各々の左エッジ及び右エッジを表す。画像（キャプチャされた画像に対応するグレースケール画像）及び対応するエッジ画像を、更に図３Ａ及び図３Ｂを参照して、示して説明する。

例示の実施形態では、システム２００は、エッジ検出フィルタを用いることにより、画像内でエッジを特定するようにさせられる。エッジ検出フィルタの例は、キャニ（Ｃａｎｎｙ）エッジ検出器を含み得る。単独のレーンに対応するインバウンズのエッジの検出は、上記レーンのレーンマーキングのライジングエッジ及びトレイリングエッジを検出することを含み得る。ここで、レーンマーキングのライジングエッジは、低ピクセルインテンシティから高ピクセルインテンシティへの推移が観察されるエッジに対応し得る。また、レーンマーキングのトレイリングエッジは、高ピクセルインテンシティから低ピクセルインテンシティへの推移が観察される、レーンマーキングのそのエッジを含む。ある実施形態では、システム２００は、個々のピクセルにおける大きさと共に勾配の符号に基づいて、レーンマーキングのライジング及び／又はトレイリングエッジを特定するようにさせられる。ある実施形態では、以下の擬似コードは、レーンマーキングからのエッジの抽出のために実行され得る。

システム２００は、エッジ画像からライジング及びトレイリングエッジを選択すると、レーンマーキングのインバウンズのエッジのペアを選択するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、レーンマーキングのインバウンズのエッジのペアを選択するように構成されている。例えば、システム２００は、左レーンマーキングの右エッジと右レーンマーキングの左エッジを、エッジ画像からのインバウンズのエッジのペアとして選択するようにさせられる。ここで、レーンマーキングの各々からの一つのみのエッジの選択により、更なる処理のために考慮すべきエッジの数が減少し、よって、レーンマーキングの正確なインバウンズを選択する更なる処理における複雑さが減少する、ということに留意すべきである。

ある実施形態では、システム２００は、道路の画像から複数の水平画像ストリップを抽出するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、道路の画像から複数の水平画像ストリップを抽出するように構成されている。ここで、複数の水平画像ストリップからの画像ストリップは、レーンマーキングのサブセットを含む。道路の画像及び対応する画像ストリップの例を、更に図４を参照して、示して説明する。例示の実施形態では、画像ストリップは、画像の高さ沿いに選択される。画像は、カメラ／メディアセンサによりキャプチャされた道路の画像の、グレースケール画像であることに、留意すべきである。例示の実施形態では、画像の高さ沿いにストリップを選択することにより、破線のレーンマーキング及び曲線のレーンマーキング（例えば、図１に示す曲線状の道路上のマーキング）をサポートすることが促進される。例示の実施形態では、カメラ／システム２００から、より近い距離からより遠い距離までの範囲である、様々な距離におけるレーンマーキングがカバーされるように、ストリップ、及び個々のストリップの高さの、選択が構成されている。更に、そのような画像ストリップの選択は、画像からより遠い視界における、より大きい変動を最小化する助けとなる（即ち、より近い視界ではより大きいストリップであり、より遠い視界ではより小さいストリップである）。画像の高さ沿いの、画像ストリップのサイズの変動の例は、更に図５を参照して示されており、左のレーンマーキングは実線であり、右のレーンマーキングは破線である。

例示の実施形態では、複数の画像ストリップは、レーンマーキングの空間的サブセットを含む。例示の実施形態では、レーンマーキングの空間的サブセットは、画像ストリップの殆どのものに存在し得、画像ストリップのうち欠如するものはほとんどない。ここで、画像ストリップに存在するレーンマーキングのサブセットは、「レーンマスク」と称され得る。特に、水平画像ストリップ内の複数のレーンマスクにおける一つのレーンマスクは、水平画像ストリップ内のレーンマーキングのサブセットを示す。ある実施形態では、システム２００は、複数の画像ストリップから複数のレーンマスクを抽出するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、複数の画像ストリップから複数のレーンマスクを抽出するように構成されている。ここで、画像は乗物に搭載される前方直面カメラによりキャプチャされることに留意すべきであり、乗物の動作の間には、レーンインテンシティのプロファイルと環境照明のプロファイルの両方が、影響され得る。更に、乗物、樹木などの、他のオブジェクトの影は、検出の正確性に影響する。従って、システム２００は、複数の水平画像ストリップ内のレーンマーキングのサブセットのインテンシティに関する、適応可能な閾値化を利用して、複数の水平画像ストリップ内の背景からレーンマスクを分離するようにさせられる。更に、システム２００は、以下で説明するように、抽出されるレーンマーキングの構造情報に基づいて、抽出されるレーンマスクを認証するようにさせられる。

ある実施形態では、適応可能な閾値化を利用することは、少なくとも一つの画像内でのレーンマーキングのインテンシティの適応可能な閾値化を含む。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、適応可能な閾値化を適用するように構成されている。道路のインテンシティは、道路の幅及び長さに亘って変動するので、道路の長さに亘って小さいストリップを考慮することにより、上記の画像ストリップ内の道路のバックグラウンドから輝度領域を分離するための、水平画像ストリップの各々内の（インテンシティの）閾値を決定することが促進される。上記の、道路のバックグラウンドから輝度領域を分離するための閾値を決定することは、水平画像ストリップ内の濃淡値のインテンシティプロファイル若しくはヒストグラムを利用し得る適応２値化と、及び、レーンマークのための、最小限のノイズを伴う潜在的候補の画像マスクを特定する、最も適切な閾値の更なる決定とを、含み得る。ヒストグラム内の最も高いピークは、レーン領域のインテンシティ値を表し、ピークの位置は、道路のインテンシティの変動に従って、変化する。ヒストグラムの次に最も高いピークが、レーンマーキングのインテンシティ周りにあるように観察される。ある実施形態では、システム２００は、画像ノイズにより発生し得る、ヒストグラム内の局所的ピークを除外するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、画像ノイズにより発生し得る、ヒストグラム内の局所的ピークを除外するように構成されている。ある実施形態では、システム２００は、ローパスフィルタされたエンベロープを生成するようにヒストグラム上で円滑化オペレーションを実行することにより、局所的ピークを除外するようにさせられ得る。更に、二つの最大値の間の最小値は円滑ヒストグラムから決定される。図６Ａを参照して画像ストリップの例示のヒストグラムを更に示して説明する。図６Ｂを参照すると円滑化されたヒストグラムが記載される。システム２００は、インテンシティプロファイルから、インテンシティプロファイルのピーク（第１の最大値）とそれに続くピーク（第２の最大値）との間の最小値を導出することにより、レーン固有の署名閾値を探索する２値化のために採られるインテンシティ閾値を、適応的に決定するようにさせられる。上記の、インテンシティ閾値の適応的な決定は、最大値間の最小値の閾値化（ＭＢＭＴ）と称される。画像内のレーンマーキングのインテンシティを適応的に閾値化する、ＭＢＭＴの方法は、特許文献１（印度国特許出願第１５９４／ＭＵＭ／２０１５号・発明の名称“Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｏｆ Ｇｒｏｕｎｄ Ｔｒｕｔｈ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ａｎｄ Ｖａｌｉｄａｔｉｏｎ ｏｆ Ｌａｎｅ Ｄｅｔｅｃｔｉｏｎ Ｗａｒｎｉｎｇ”）に更に記載され、本明細書に参照の上組み込まれる。

ある実施形態では、複数の画像ストリップの適応的な閾値化に基づいて決定されるレーンマスクは、有効なレーンマスクに加えて、一つ若しくはそれ以上の非レーンマスクを、含んでもよい。そのような非レーンマスクは、影、道路の局所的なインテンシティ変動、場面内の乗物、及び他の同様の要因により、生じ得る。ある実施形態では、システム２００は、個々の水平画像ストリップ内の構造情報とインテンシティ情報に少なくとも基づいて、潜在的なレーンマスク（若しくは複数のレーンマスク）から、非レーンマスクを除去するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、潜在的なレーンマスク（若しくは複数のレーンマスク）から、非レーンマスクを除去するように構成されている。レーンマスクの構造情報は、個々の画像ストリップ内のレーンマスクの形状及びサイズを含み得る。より小さい領域のレーンマーキング、若しくは画像ストリップ内のレーンマスクは、道路沿いのより長い距離における曲線形状とは無関係に、矩形若しくは長方形の特徴を示し得る。更に図４を参照して、画像ストリップ内のレーンマスクの例を示して説明する。また、インテンシティ情報は、レーンマーキングのピクセルと関連付けられるインテンシティ値を含み得る。

ある実施形態では、システム２００は、複数の画像ストリップ内のレーンマスクの、形状、サイズ、及びインテンシティ変動に少なくとも基づいて、複数のレーンマスクの間から複数の有効なレーンマスクを選択するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、複数のレーンマスクの間から複数の有効なレーンマスクを選択するように構成されている。例えば、システム２００は、レーンマスクと関連付けられるピクセルのインテンシティに基づいて、潜在的なレーンマスクを抽出し、更に、潜在的なレーンマスクからレーンマーキングに属さないマスクを除外するようにさせられる。ある実施形態では、システム２００は、有効なレーンマスクを内部に有する画像ストリップのセットを選択するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、有効なレーンマスクを内部に有する画像ストリップのセットを選択するように構成されている。システム２００は更に、それら画像ストリップを結び付けて／接合してレーンマーキングを有する道路の画像を再構築し、これにより再構築された画像が複数の有効なレーンマスクを含むように、させられることがある。図４を参照して再構築された画像の例を本明細書にて記載する。

ある実施形態では、システム２００は、インバウンズのエッジのペアと複数の有効なレーンマスクとの間の、オーバラップを判別することを決定して、レーンマーキングに対応する、インバウンズのエッジのペアの複数のエッジセグメントを、特定するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、インバウンズのエッジのペアと複数の有効なレーンマスクとの間の、オーバラップを判別することを決定するように構成されている。ある実施形態では、オーバラップは、インバウンズのエッジのペアと関連付けられるピクセルに対して、複数の水平画像ストリップの一つ上にて対応するピクセルの存在を判別することにより、判別される。ここで、インバウンズのエッジの、複数の部分若しくはエッジセグメントは曲率情報を含むことに留意すべきである。任意のポイントにおけるインバウンズのエッジのペアの、エッジセグメントの曲率情報は、レーンマーキングに関するエッジセグメントの曲率を示すことを、含み得る。換言すれば、エッジ情報は、上記ポイント若しくはパッチが線形即ち直線から逸脱し得る角度を含む。レーンマーキングは、道路の様々な領域に亘って空間的な共線性を示すので、システム２００は、共線性／
近接性及び距離基準に基づいて、選択されたレーンエッジ部分／セグメントをグループ化するようにさせられ得る。グループ化されたエッジでは、局所的ノイズを最小限にするように、平滑化が実行される。システム２００は更に、個々のエッジ部分を他の短いリストされたエッジと比較して、前記エッジ部分が同じレーンマーキング（左レーンマーキング若しくは右レーンマーキング）に属するかどうか判別するようにさせられる。システム２００は更に、画像内の位置に基づいて左及び右のレーンマーキングを表す、インバウンズのエッジのペア（例えば、左レーンマーキングと右レーンマーキング）の中から、有効なエッジセグメントのセットを選択若しくは取得するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、個々のエッジ部分を他の短いリストされたエッジと比較して、インバウンズのエッジのペアの中から有効なエッジセグメントのセットを選択若しくは取得するように構成されている。左レーンに対するエッジグループ化のための、例示の擬似コードを以下に示す。右レーンに対するエッジグループ化を特定するのも同じステップとなり得る。

ある実施形態では、レーンマスクとオーバラップしていると判別されるエッジセグメントは、レーンバウンズ若しくは有効なエッジセグメントとして考慮される。例示の実施形態では、システム２００は、マスクの境界を強調する形態学的膨張オペレーションを実行することにより、マスクが拡張される境界のケースを提供するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、マスクの境界を強調する形態学的膨張オペレーションを実行するように構成されている。形態学的膨張オペレーションは、実際の環境条件下でのレーンマーク及び道路の境界における、強度変化の率の変動を提供するように、少量により（例えば、全ての側部で１ピクセル）レーンマスクの境界を拡張することを、含み得る。

あるシナリオでは、シーン内の乗物及び他のオブジェクトの存在により、レーンマーキングのエッジに接続し、このことによりレーンマーキングの検出の正確性に影響する、意図しないエッジが生じることがある。システム２００は、更なる処理を経由させるエッジの質を向上させるように、レーンエッジから、意図しないエッジを分離するようにさせられ得る。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、レーンエッジから、意図しないエッジを分離するように構成されている。意図しないエッジは、コーナを形成することにより、レーンと接続し得る。エッジ上のコーナは、高い曲率を示すポイントである。意図しないエッジにより形成されるそのようなコーナの例を、更に図７を参照して示して説明する。

ある実施形態では、システム２００は、コーナの存在を判別するように、曲率情報に基づいて、意図しないエッジを特定するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、曲率情報に基づいて、意図しないエッジを特定するように構成されている。システム２００は更に、コーナが検出されるポイントにおいて意図しないエッジを分離して、インバウンズのエッジのペアから有効なエッジセグメントのセットを取得するようにさせられ得る。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、コーナが検出されるポイントにおいて意図しないエッジを分離して、インバウンズのエッジのペアから有効なエッジセグメントのセットを取得するように構成されている。ここで、曲率情報は、レーンエッジ及びレーンマーキング上の多数のポイントの間での幾何学的角度を含み得る。ある実施形態では、システム２００は、複数のエッジセグメントの各々に配置されるポイントのセットに対する湾曲の角度の間の変動が、角度の閾値以上であるかどうか、を判別するようにさせられる。このことは、三つの等間隔のポイント、例えば、エッジの輪郭上のＰｉｎ（ｘｉ−ｎ，ｙｉ−ｎ）、Ｐｉ（ｘｉ，ｙｉ）、及びＰｉ＋ｎ（ｘｉ＋ｉ，ｙｉ＋１）を考慮することにより為される。ｙ−値が等間隔であると仮定して、レーンエッジの輪郭上の三つの連続ポイントの異なるセットに対して、（ｘｉ−ｎ＋ｘｉ−ｎ−２ｘｉ）を計算する。システム２００は、以下の数１に記載の条件を適用して、潜在的コーナを形成するポイントのセットを検出するようにさせられ得る。
ここで、ｎは、連続するポイントｉ間の距離を表し、ＣＴｈｄは、曲率の閾値を表す。

ある実施形態では、「ｎ」及び「ＣＴｈｄ」は、画像解像度に基づいて、画像デジタル化による局所的曲率変動を回避するように、最適に選択される。例示の実施形態では、「ＣＴｈｄ」は、３０度を超える任意の曲率はコーナポイントと考慮され得るように、選択され得る。ある実施形態では、局所的最大値が潜在的コーナポイントから検出されて、コーナポイントを検出する。コーナを検出する例示の擬似コードは、以下のように示される。

ある実施形態では、システム２００は、前記変動が角度の閾値以上であると判別することで、複数のエッジセグメントの内の一つ若しくはそれ以上のエッジセグメントをノイズのあるエッジセグメントとしてマークするようにさせられる。システム２００は更に、複数のエッジセグメントからノイズのあるエッジセグメントを取り除いて有効なエッジセグメントのセットを取得するようにさせられる。例示の実施形態では、プロセッサ２０２は、メモリ２０４の内容と共に、場合によっては本明細書に記載の他のコンポーネントと共に、一つ若しくはそれ以上のエッジセグメントをマークし、複数のエッジセグメントからノイズのあるエッジセグメントを取り除いて有効なエッジセグメントのセットを取得するように構成されている。

例示の実施形態に従って、図３Ａは、道路の画像３１０を示し、図３Ｂは、図３Ａの道路に対応するエッジ画像３５０を示し、図３Ｃは、図３Ｂのエッジ画像の、レーンマーキングのインバウンズのエッジを含む画像３６０を示す。

レーン検出による道路の視覚表示により、車線逸脱警報（ＬＤＷ）、車線維持支援（ＬＫＡ）及び前方衝突警報（ＦＣＡ）などのドライバ支援及び安全機能をサポートするような種々の機能を実施することが促進される。図２を参照して説明すると、道路の画像、例えば、道路３１２は、乗物上、若しくは乗物内部にインストールされる前方直面カメラによりキャプチャされ得る。例えば、カメラは、カメラが道路の画像をキャプチャできるように乗物のバックミラーの背後にインストールされ得る。ある実施形態では、それらカメラは、クリアセンサ若しくはカラーフィルタセンサを具体化し得る。ドライバ支援の利用例に対しては、視覚センサ、即ち、カメラは、乗物の前部に搭載されて道路画像をキャプチャする。カメラは、４５度程の水平視野（ＦＯＶ）及び３０度程の鉛直視野のレンズと共に用いる、サイズＶＧＡ若しくはＨＤのＣＭＯＳ／ＣＣＤセンサのアセンブリである。ある実施形態では、カメラによりキャプチャされる画像はカラー画像でもよく、レーン検出のために更なる処理を実行する前にグレースケール画像に変換されてもよい。例えば、図３Ａに示す画像３１０は、道路３１２のグレースケール画像を表す。

本明細書に記載するように、道路３１２の画像３１０は、レーンマーキング３１４及び３１６を含み得る。レーンマーキングは、様々な国に対して、色が変化し得る。レーンマーキングは、例えば、印度、米国、及び欧州では白及び黄の色であり、大韓民国では青野色である。更に、レーンマーキングは、実線レーンマーキングや破線レーンマーキングなど、様々な幅や形状であることがある。ある実施形態では、開示されるシステム（例えば、図２のシステム２００）は、エッジ、特に、画像内のレーンマーキングのインバウンズのエッジを、検出するようにさせられる。

ここで、レーンマーキング３１４、３１５は、道路上の左の及び右のレーンマーキングでよい。ここで、用語「左」及び「右」は、乗物を参照して用いられるものであればよく、乗物の左側に向かうレーンマーキングは、左のレーンマーキングと称され得、乗物の右側に向かうレーンマーキングは、右のレーンマーキングと称され得る。記載を明確にし、及び、レーンマーキングのペアを相互に区別するために、レーンマーキングのペアは、第１のレーンマーキング及び第２のレーンマーキングと、称されてもよい。

図３Ｂを参照すると、画像３１０に対応するエッジ画像３５０がここに示される。エッジ画像３５０は、レーンマーキング、例えば、レーンマーキング３１４及び３１６の、エッジを夫々含み得る。例えば、図３Ｂと図３Ｃをまとめて参照すると、レーンマーキング３１４は、エッジ３１４ａ及び３１４ｂを含み、レーンマーキング３１６は、エッジ３１６ａ及び３１６ｂを含む。図２を参照すると、システム２００は、レーンマーキングのインバウンズのエッジ、例えば、レーンマーキングを検出するようにさせられる。インバウンズのエッジは、ドライブのための安全ゾーンを規定し得るレーンマーキングのエッジを示す。ここで、インバウンズのエッジは、右のレーンマーキングの左エッジ、及び、左のレーンマーキングの右エッジ、と仮定される。例えば、レーンエッジ３１４ｂ及び３１６ｂのインバウンズのエッジは、レーンマーキング３１４及び３１６のインバウンズのエッジを形成し得る。図２を参照して既に説明したように、レーンマーキングのエッジはエッジ検出フィルタを用いて特定され得る。

図４は、例示の実施形態に従って、道路の画像４１０、道路に対する例示の水平画像ストリップ４２０及びレーンマスク４３０、並びに、画像４１０に対応する再構成画像４５０を、示す。画像４１０は、カメラによりキャプチャされた画像のグレースケール画像であればよい。道路の画像４１０は、レーンマーキングのペア、例えば、レーンマーキング４１２及び４１４を含むように示されている。図２を参照して説明したように、システム２００は、画像から、例えば、道路の画像４１０から、複数の水平画像ストリップを抽出するようにさせられる。例示の水平画像ストリップ４２０がここに示される。画像から水平画像ストリップを抽出することの例を、更に図５を参照して説明する。

ここで、水平画像ストリップ４２０は、レーンマスク、即ちレーンマーキングの空間的サブセットを含む。例えば、水平画像ストリップ４２０は、レーンマーキング４１２及び４１４のレーンマスク４２２、４２４を、夫々含むように示されている。そのような、レーンマーキング４１２、４１４の空間的サブセット４２２、４２４は、レーンマスクと称される。レーンサブセット４２２、４２４のレーンマーキング部分に対応するレーンマスクの例は、画像部分４３０に示される。

画像部分４３０は、水平画像ストリップ４２０内のレーンマーキング４２２、４２４の部分に対応するレーンマスク４３２、４３４を含むように示されている。ある実施形態では、レーンマスクは、画像ストリップ、例えば、画像ストリップ４２０上に、適応可能な閾値化を適用することにより、検出され若しくは生成され得る。適応可能な閾値化を適用することの例を、図６Ａ及び図６Ｂを参照して説明する。

ある実施形態では、複数のレーンマスクに対して、適応可能な閾値化を適用することにより生成されるレーンマスクは、共に組み合わされて、例えば、画像４５０を再構成し得る。例示の実施形態では、複数のレーンマスクは、複数のレーンマスクの中から複数の有効なレーンマスクを取得する若しくは選択するために、有効とされ得、複数の有効なレーンマスクは、画像を再構成するために利用され得る。当然ながら、再構成画像４５０は、多数の閾値化ストリップ、例えば、水平ストリップ若しくは画像部分４３０を伴う、関心領域（ＲＯＩ）を表す。

図５は、例示の実施形態に従って、道路の画像に対応する複数の水平画像ストリップを抽出するための例示の説明を示す。ここに示されるように、画像は、レーンマーキング５０２、５０４を有する道路領域を表す。画像内でキャプチャされる道路の領域は、画像の高さ沿いに複数の水平ストリップに分割される。例えば、ここでの画像は、画像の高さに沿ってストリップ５０６、５０８、５１０などの複数の水平ストリップにより分割される。ある実施形態では、カメラから、より近い距離からより遠い距離までの範囲の様々な距離にて、レーンマーキングがカバーされるように、ストリップの選択、及び個々のストリップの高さが構成される。更に、ストリップのそのような構成は、より遠い視野にてより大きい変動を最小限にし、即ち、より大きいストリップがより近い視野にて構成され、より小さいストリップがより遠い視野にて構成される。例えば、カメラに最も近いストリプ５０６は、カメラからより遠い距離にあるストリップ５０８と対比して、より大きい。ある実施形態では、記載した構成により、レーンマーキングの部分が破線である画像からストリップを適切にキャプチャすることが、促進される。図５に示すように、レーンマーキング５０２は実線であり、レーンマーキング５０４は破線である。

例示の実施形態では、画像から抽出されるストリップの各々に対して、レーンマスクの潜在的候補が抽出され得る。ある実施形態では、複数の水平画像ストリップに対して、適応可能な閾値化を適用することにより、レーンマスクの潜在的候補が抽出され得る。図２を参照して説明したように、システム２００は、水平画像ストリップ内のグレー値のヒストグラムを使用して、最も適切な閾値を判別し、最小限のノイズを伴うレーンマークのための潜在的候補のマスクを特定する、適応可能な２値化を実装する。水平画像ストリップのヒストグラム（若しくはインテンシティプロファイル）の使用を記載する例を、更に図６Ａ及び図６Ｂを参照して説明する。

図６Ａ及び図６Ｂは、例示の実施形態に係る、画像に関連する水平画像ストリップのためのインテンシティプロファイル若しくはヒストグラム６１０の例、及び、水平画像ストリップに対応する処理されたヒストグラム６５０を、示す。画像のヒストグラムは、画像に亘る、例えば、道路の画像に亘る、ピクセル強度の配分のグラフ表示である。実際に、ピクセル強度は、道路の幅及び長さに亘って変動し得る。例えば、レーンマーキング３１４の領域のピクセル強度は、道路の他の領域のピクセル強度よりも高くなり得る。よって、水平画像ストリップに対応するヒストグラム６１０は、画像ストリップ内の画像ピクセルのピクセル強度の、変動を示し得る。例えば、画像ストリップ、例えば、画像ストリップ４２０（図４）に対応するヒストグラム６１０は、道路に亘るピクセル強度の変動を含むように示される。ある実施形態では、ヒストグラム内の道路に亘るピクセル強度の変動により、閾値を判別することが促進され、道路の背景から（レーンマーキングを示す）明るい領域を分離することができる。

ヒストグラム６１０の最も高いピーク６１２（若しくは最大値）は、レーン領域のインテンシティ値を表し、ピークの位置は、道路のインテンシティの変動に従って変動する。ヒストグラム６１０の次に最も高いピーク６１４（それに続く最大値）は、レーンマーキングのインテンシティ周りであると観察される。画像ノイズによるヒストグラム内の局所的ピークは、図６Ｂに示すような、インテンシティプロファイルのローパスフィルタエンベロープ、若しくは処理済みヒストグラム６５０を生成するべくヒストグラム６１０上に平滑化オペレーションを実行することにより、取り除かれる。更に、極小値６１６、例えば、二つの最大値６１２、６１４の間の極小値６１６は、平滑化ヒストグラム６５０から判別される。二つの最大値６１２、６１４の間の極小値６１６は、個別の水平画像ストリップに対するインテンシティ閾値を示し得る。

図７（Ａ）、図７（Ｂ）、及び図７（Ｃ）は、例示の実施形態に係る、レーンエッジから意図しないエッジを除去する例示のシナリオを示す。例えば、図７（Ａ）は、レーン７１２、７１４などのレーンを有する、道路の画像７１０を示す。画像７１０は、グレースケール画像であればよい。画像７１０は道路上をドライブする乗物７１６も示し、乗物７１６の影７１８はレーンの一方７１２と重なっている。レーン検出が実施されるべきシーン内に、他の乗物、木などの意図しない物体が存在すると、レーンマーキングのエッジと繋がってしまう意図しないエッジが生じることがある。例えば、乗物７１６及び乗物７１６の影７１８が存在することで、意図しないエッジが生じ得る。それら意図しないエッジは、コーナを形成することによりレーンエッジと繋がり得る。意図しないエッジのために形成される例示のコーナが、図７（Ｂ）に示されている。

図７（Ｂ）を参照すると、乗物の影により形成される意図しないエッジ７２２のために形成されるコーナが、７２４としてマークされている。特に、自動車の影のエッジがレーンエッジエッジに繋がる。ある実施形態では、システム２００（図２）は、そのようなコーナが検出されるポイントにて、エッジを特定して分離するようにさせられる。ある実施形態では、システム２００は、エッジにおける曲率情報、若しくは角拡散を利用して、コーナを特定し得る。例えば、システムは、曲率情報に基づいてエッジ内の区分のポイントを検出し得る。ある実施形態では、システムは、図２を参照して説明したように、曲率若しくは角拡散が曲率の閾値より大きいコーナとして、これらの区分ポイントを考慮し得る。例えば、ここでは、エッジ上のポイント７２４の曲率は、曲率の閾値より大きいと判別される。

図８は、本開示に係る、レーン検出のための方法８００のフロー図を示す。ある実施形態では、レーン検出のためにシステム（若しくはレーン検出システム）が乗物内に統合され得る。それらシステムの例は、システム２００（図２）を含み得る。ある実施形態では、システムは、乗物がドライブし得る道路の画像をキャプチャするメディアセンサ（若しくはカメラ）を含み得る。一方で、システム２００は、カメラからインプット画像を受信するためにカメラと通信し得、道路上をドライブするためにレーンマーキングの範囲内で安全ゾーンを検出するように、インプット画像を処理し得る。ある実施形態では、システムは、リアルタイムで道路の画像をキャプチャしてキャプチャした画像を処理するように、させられる。ある実施形態では、処理に先立ち、画像は、例えば、キャプチャした画像をグレースケール画像に変換することにより、予め処理され得る。

８０２では、道路の画像に対応するエッジ画像が生成される。エッジは、道路上のレーンマーキングのエッジを表す。ある実施形態では、エッジ画像は、レーンマーキングに対応するインバウンズのエッジのペアを含み得る。レーンマーキング及びインバウンズのエッジを含むエッジ画像の例は、図３Ｂを参照して示される。

８０４では、複数の水平画像ストリップがレーンマーキングのサブセットを含むように、複数の水平画像ストリップが画像から抽出される。画像から抽出される多数の画像ストリップの例は、図４を参照して、説明されて示される。ある実施形態では、複数の画像ストリップが画像から抽出され得、画像ストリップの各々内のレーンマーキングのインテンシティの適応可能な閾値化に基づいて、レーンマーキングが抽出される。

８０６では、複数の有効なレーンマーキングが、複数の潜在的レーンマーキングの中から選択される。ある実施形態では、複数の有効なレーンマーキングは、少なくとも、個々の画像ストリップ内のレーンマーキングのサブセットの、形状、サイズ、及びインテンシティ変動に基づいて、選択される。

８０８では、エッジ画像内のインバウンズのエッジと、複数の画像ストリップ内の有効なレーンマーキングのサブセットとの、オーバラップが判別される。前記オーバラップにより、インバウンズのエッジの、複数の部分がレーンマーキングに属することを判別することが促進される。ある実施形態では、インバウンズのエッジの、複数の部分は、曲率情報と関連付けされる。

８１０では、曲率情報に基づいて、インバウンズのエッジのペアの、複数の部分から、ノイズを除外することにより、インバウンズのエッジのペアの、有効なエッジセグメントが取得される。ある実施形態では、インバウンズのエッジの、複数の部分のノイズは、影や、乗物、木などの他の物体により形成され得る意図しないエッジ部分である。

本開示の様々な実施形態は、制約されない環境、曲率、形状、及びノイズ偏向を含む、種々の道路条件下でのレーン検出のための方法及びシステムを、提供する。提案する方法及びシステムは、レーン検出を実施するための、適応可能なフィギュア抽出、形状ベースの異常値棄却、及び経験的ノイズ除去を、利用する。

当業者が実施形態を作成して使用できるように、本明細書では発明の要旨を記載している。発明の実施形態の範囲は、請求項により規定され、当業者が気の付く他の変更も含み得る。それらの他の変更が請求項の文言とは異ならない類似の要素を有するならば、又は、それらの他の変更が請求項の文言と殆ど異ならない等価の要素を含むならば、それらの他の変更は請求項の範囲内にあることが意図される。

しかし、当然のことながら、保護の範囲は、内部にメッセージを有するプログラム、更にはコンピュータ読み取り可能格納手段に拡張される。それらコンピュータ読み取り可能格納手段は方法の一つ若しくはそれ以上のステップを実装するプログラムコード手段を含み、プログラムは、サーバ若しくはモバイルデバイス、又は任意の適切なプログラム可能デバイス上で稼動する。ハードウエアデバイスは、プログラムされ得る任意の種類のデバイス、例えば、サーバ、パーソナルコンピュータなど、若しくはそれらの任意の組み合わせのような、任意の種類のコンピュータであればよい。デバイスは、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のような、例えば、ハードウエア、若しくは、例えば、ＡＳＩＣ及びＦＰＧＡの、ハードウエアとソフトウエアの組み合わせ、又は、少なくとも一つのマイクロプロセッサと、ソフトウエアモジュールが内部に配置された少なくとも一つのメモリ、である手段も含み得る。よって、手段は、ハードウエアとソフトウエアの両方を含み得る。本明細書に記載する方法の実施形態は、ハードウエアとソフトウエアで実装され得る。デバイスは、ソフトウエア手段も含み得る。一方で、実施形態は、例えば、複数のＣＰＵを用いて、異なるハードウエア上で実装され得る。

本明細書の実施形態は、ハードウエア及びソフトウエア要素を含み得る。ソフトウエア内に実装される実施形態は、ファームウエア、常駐ソフトウエア、マイクロコード等を含むが、それらに限定されない。本明細書に記載の種々のモジュールにより実施される機能は、他のモジュールで、若しくは、他のモジュールの組み合わせで実装され得る。この記載のために、コンピュータ利用可能若しくはコンピュータ読み取り可能媒体は、命令実行システム、装置、若しくはデバイスにより使用するための、又は、接続するプログラムを、含み、格納し、通信し、伝搬し、若しくはトランスポートし得る、どんな装置であってもよい。

プログラムコードを格納する及び／又は実行するのに適するデータ処理システムは、システムバスを介してメモリエレメントと直接的に若しくは間接的に結合する少なくとも一つのプロセッサを含むであろう。メモリエレメントは、プログラムコードの実際の実行の間に採用されるローカルメモリ、大容量記憶装置、並びに、実行の間に大容量記憶装置からコードが検索されなければならない回数を減少させるために少なくとも一部のプログラムコードの一時的ストレージを提供するキャッシュメモリを、含み得る。

（キーボード、ディスプレイ、ポインティングデバイスなどを含むがそれらに限定されない）インプット／アウトプット（Ｉ／Ｏ）デバイスは、直接的に、若しくは、介入Ｉ／Ｏコントローラを介して、のいずれかでシステムと結合し得る。ネットワークアダプタも、システムと結合し得、これにより、データ処理システムは、介入するプライベート若しくはパブリックネットワークを介して、他のデータ処理システム若しくはリモートプリンタ又はストレージデバイスと結合し得る。モデム、ケーブルモデム、及びイーサネット（登録商標）カードは、現下利用可能なタイプのネットワークアダプタのうちのほんの少しである。

実施形態を実施する代表的なハードウエア環境は、本明細書の実施形態に係る情報処理／コンピュータシステムのハードウエア構成を含み得る。本明細書のシステムは、少なくとも一つのプロセッサ若しくは中央処理装置（ＣＰＵ）を含む。ＣＰＵは、システムバスを介して、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、及びインプット／アウトプット（Ｉ／Ｏ）アダプタなどの、種々のデバイスと相互接続する。Ｉ／Ｏアダプタは、ディスクユニットやテープドライブなどの周辺機器や、システムにより読み出し可能である他のプログラムストレージデバイスと、接続し得る。システムは、プログラムストレージデバイスの本発明に係る命令を読み取り、これらの命令が本明細書の実施形態の方法を実行することを追う。

システムは更に、キーボード、マウス、スピーカ、マイクロホン、及び／又は、タッチスクリーンデバイス（図示せず）などの他のユーザインタフェースデバイスを、バスに接続して、ユーザインプットを収集する、ユーザインタフェースアダプタを含む。更に、通信アダプタは、バスをデータ処理ネットワークに接続し、ディスプレイアダプタは、バスを、例えば、モニタ、プリンタ、若しくはトランスミッタとして具現化され得るディスプレイデバイスに接続する。

特定の実装及び実施形態についての前述の記載は、他の者が、従来の知識を適用することにより一般的概念から乖離すること無く、種々の利用例のためにそれらの特定の実施形態を即座に修正して適応し得る、本明細書の実装及び実施形態の一般的性質を完全に明らかにするものであり、従って、それらの適応及び修正は、開示の実施形態の等価物の意味及び範囲の内部で理解されるべきであり、理解されることを意図している。当然のことながら、本明細書で採用される語句若しくは用語は、記述のためのものであり限定のためのものではない。従って、本明細書の実施形態を好適な実施形態の観点で記載したが、当業者は、本明細書の実施形態が本明細書に記載の実施形態の精神及び範囲の内部での修正を伴って実施され得る、ということを認識するであろう。

前述の記載を種々の実施形態を参照して提示した。本願が属する技術分野での当業者は、記載した構造及び動作の方法は、原理、精神及び範囲から有意に乖離すること無く実施され得る、ということを理解するであろう。

２０２・・・プロセッサ、２０４・・・メモリ、２０６・・・メディアセンサ。

Claims (14)

1. レーン検出のためのコンピュータ実装方法において、
   レーンマーキングを有する道路の少なくとも一つの画像に対応するエッジ画像を生成するステップであって、エッジ画像は、レーンマーキングに対応するインバウンズのエッジのペアを含む、ステップと、
   少なくとも一つの画像の複数の水平画像ストリップから、複数のレーンマスクを抽出するステップであって、水平画像ストリップ内の複数のレーンマスクのうちのレーンマスクは、水平画像ストリップ内のレーンマーキングの空間的サブセットを示し、複数のレーンマスクは、複数の水平画像ストリップ内のレーンマーキングのサブセットのインテンシティについての適応可能な閾値化に基づいて、抽出される、ステップと、
   複数の水平画像ストリップ内の複数のレーンマスクの、構造情報、色情報及びインテンシティ情報に少なくとも基づいて、複数のレーンマスクの間から複数の有効なレーンマスクを選択するステップであって、構造情報は、複数のレーンマスクの形状及びサイズを含み、インテンシティ情報は、複数のレーンマスクのピクセルと関連付けられるインテンシティ値を含む、選択するステップと、
   レーンマーキングに対応するインバウンズのエッジのペアについての、複数のエッジセグメントを特定するために、インバウンズのエッジのペアと複数の有効なレーンマスクとの間のオーバラップを判別するステップであって、インバウンズのエッジのペアについての、複数のエッジセグメントは曲率情報を含み、エッジセグメントの曲率情報は、レーンマーキングに対する、エッジセグメントの曲率を示す、ステップと、及び、
   複数のエッジセグメントの曲率情報に基づいて、インバウンズのエッジのペアの有効なエッジセグメントのセットを取得するステップであって、有効なエッジセグメントのセットはレーンマーキングを検出することを促進する、ステップと
   を含む、コンピュータ実装方法。
2. 前記少なくとも一つの画像が、レーンマーキングを伴う道路のグレースケール画像を含む、請求項１に記載の方法。
3. 複数の水平画像ストリップのうちの水平画像ストリップ内の、レーンマーキングのサブセットのインテンシティについての適応可能な閾値化は、
   水平画像のインテンシティプロファイルを決定することと、
   インテンシティプロファイルから、最大値とその次の最大値との間の極小値を導出することと、及び、
   最大値とその次の最大値との間の極小値に基づいて、水平画像ストリップに対するインテンシティの閾値を適応可能に決定することと
   を含む、請求項１に記載の方法。
4. インバウンズのエッジのペアと複数の有効なレーンマスクとの間のオーバラップを判別するステップが、インバウンズのエッジのペアと関連付けられる個々のピクセルに対して、複数の水平画像ストリップのうちの一つ上の対応するピクセルの存在を判別するステップを含む、請求項１に記載の方法。
5. エッジセグメントの曲率情報が、エッジセグメント上に配置するポイントのセットに対する曲線の角度を含む、請求項１に記載の方法。
6. 有効なエッジセグメントのセットを取得するステップが、
   複数のエッジセグメントのうちのエッジセグメントの各々上に配置する、ポイントのセットに対する、曲線の角度の間の変動が、角度の閾値以上であるかどうか、判別するステップと、
   前記変動が角度の閾値以上であると判別すると、複数のエッジセグメントのうちの一つ若しくはそれ以上エッジセグメントを、ノイズのあるエッジセグメントとしてマークするステップと、及び、
   有効なエッジセグメントを取得するために、複数のエッジセグメントからノイズのあるエッジセグメントを取り除くステップと
   を含む、請求項５に記載の方法。
7. 複数の水平画像ストリップが異なる高さを有する、請求項１に記載の方法。
8. レーン検出のためのコンピュータ実装システムにおいて、
   少なくとも一つのメモリ２０４と、及び、
   少なくとも一つのプロセッサ２０２と
   を含み、
   前記少なくとも一つのメモリ２０４は、前記少なくとも一つのプロセッサ２０２と結合しており、
   前記少なくとも一つのプロセッサ２０２は、
   レーンマーキングを有する道路の少なくとも一つの画像に対応するエッジ画像を生成するステップであって、エッジ画像は、レーンマーキングに対応するインバウンズのエッジのペアを含む、ステップと、
   少なくとも一つの画像の複数の水平画像ストリップから、複数のレーンマスクを抽出するステップであって、水平画像ストリップ内の複数のレーンマスクのうちのレーンマスクは、水平画像ストリップ内のレーンマーキングの空間的サブセットを示し、複数のレーンマスクは、複数の水平画像ストリップ内のレーンマーキングのサブセットのインテンシティについての適応可能な閾値化に基づいて、抽出される、ステップと、
   複数の水平画像ストリップ内の複数のレーンマスクの、構造情報、色情報及びインテンシティ情報に少なくとも基づいて、複数のレーンマスクの間から複数の有効なレーンマスクを選択するステップであって、構造情報は、複数のレーンマスクの形状及びサイズを含み、インテンシティ情報は、複数のレーンマスクのピクセルと関連付けられるインテンシティ値を含む、選択するステップと、
   レーンマーキングに対応するインバウンズのエッジのペアについての、複数のエッジセグメントを特定するために、インバウンズのエッジのペアと複数の有効なレーンマスクとの間のオーバラップを判別するステップであって、インバウンズのエッジのペアについての、複数のエッジセグメントは曲率情報を含み、エッジセグメントの曲率情報は、レーンマーキングに対する、エッジセグメントの曲率を示す、ステップと、及び、
   複数のエッジセグメントの曲率情報に基づいて、インバウンズのエッジのペアの有効なエッジセグメントのセットを取得するステップであって、有効なエッジセグメントのセットはレーンマーキングを検出することを促進する、ステップと
   を行うものとする、前記少なくとも一つのメモリ２０４内に格納されるプログラムされた命令を、実行することができる、
   コンピュータ実装システム。
9. 複数の水平画像ストリップのうちの水平画像ストリップ内の、レーンマーキングのサブセットのインテンシティについての適応可能な閾値化を実行するために、
   前記少なくとも一つのプロセッサ２０２は、
   水平画像のインテンシティプロファイルを決定することと、
   インテンシティプロファイルから、最大値とその次の最大値との間の極小値を導出することと、及び、
   最大値とその次の最大値との間の極小値に基づいて、水平画像ストリップに対するインテンシティの閾値を適応可能に決定することと
   を行うものとする命令により、更に構成される、
   請求項８に記載のシステム。
10. インバウンズのエッジのペアと複数の有効なレーンマスクとの間のオーバラップを判別するために、
    前記少なくとも一つのプロセッサ２０２は、
    インバウンズのエッジのペアと関連付けられる個々のピクセルに対して、複数の水平画像ストリップのうちの一つ上の対応するピクセルの存在を判別すること
    を行うものとする命令により、更に構成される、
    請求項８に記載のシステム。
11. エッジセグメントの曲率情報が、エッジセグメント上に配置するポイントのセットに対する曲線の角度を含む、請求項８に記載のシステム。
12. 有効なエッジセグメントのセットを取得するために、
    前記少なくとも一つのプロセッサ２０２は、
    複数のエッジセグメントのうちのエッジセグメントの各々上に配置する、ポイントのセットに対する、曲線の角度の間の変動が、角度の閾値以上であるかどうか、判別するステップと、
    前記変動が角度の閾値以上であると判別すると、複数のエッジセグメントのうちの一つ若しくはそれ以上エッジセグメントを、ノイズのあるエッジセグメントとしてマークするステップと、及び、
    有効なエッジセグメントを取得するために、複数のエッジセグメントからノイズのあるエッジセグメントを取り除くステップと
    を行うものとする命令により、更に構成される、
    請求項１１に記載のシステム。
13. 複数の水平画像ストリップが異なる高さを有する、請求項８に記載のシステム。
14. 前記少なくとも一つのプロセッサ２０２と前記少なくとも一つのメモリ２０４とに結合する少なくとも一つのメディアセンサを更に含み、
    前記少なくとも一つのメディアセンサは少なくとも一つの画像をキャプチャすることを促進する、請求項８に記載のシステム。