JP6384182B2 - 道路上の線形指示標識の検出方法及び装置 - Google Patents

Description

本発明は微小振幅発振信号の出力に用いる周期信号発生装置に関するもので、特に遅延時間を調節できる遅延装置に応用する周期信号発生装置に関するものである。

運転支援システムの応用は日々普及されている。運転支援システムは路面検出機能、通行人と車両検出機能、道路フェンス検出、道路上各種標識物検出機能等が含まれる。

道路上に存在する各種線形標識物は、通常、道路トレンドに平行な、例えば、白色横断歩道、単白線、双白線、三本白線、単黄線、双黄線、白色矢印線等である。

下記の説明においては、線形標識物の色を区別せず、「白線」と総称する。ただし、これは単に説明の便宜を図るためであり、該線は他の色であってもよい。白線タイプを検出した後、補助的に例えばカラー画像の色で線の色を区別することができる。

各種の白線タイプは、いずれも特定の交通走行指示意味を有する。白線タイプの検出は運転者の安全運転に役立つ。車両が走行する道路の白線タイプの相違に応じて、通行人検出又は車両警告に異なる重みを与えることができる。

また、白線タイプ情報は無人運転及び運転支援に対しても重要な役割を有し、走行経路を予測して自動ブレーキ指導等を提供することができる。

各種道路上の線形標識物の検出に適合する方法及び装置が求められている。これに鑑みて、本発明の目的は、道路上の線形指示標識の検出方法及び装置を提供することにある。

本発明は、このために提案されたものである。

本発明の一面によれば、路上の線形指示標識の検出方法を提供しており、路面領域を含むｕ視差マップを取得すること；ｕ視差マップで、道路消失点を確定すること；第１所定極点間隔と第１所定極角間隔で表される第１解像度から、道路消失点近傍の所定領域の直線の第１解像度確率分布図を取得すること；物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定することを含んでもよい。

本発明の他方の面によれば、道路上の線形指示標識の検出装置を提供しており、路面領域を含むｕ視差マップを取得するＵ視差マップ取得部と；ｕ視差マップで、道路消失点を確定する道路消失点確定部と；第１所定極点間隔と第１所定極角間隔で表される第１解像度から、道路消失点近傍の所定領域の直線の第１解像度確率分布図を取得する第１解像度確率分布図取得部と；物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定する異なるタイプ線形指示標識区分部とを備えてもよい。

本発明の実施例の道路上の線形標識物検出方法及び装置によれば、各種類型の道路上の線形標識物、例えば横断歩道、道路上の矢印、道路上の白文字、道路上の車道線を検出することができ、車両運転支援に寄与する。

さらに、本発明の実施例の道路上の線形標識物検出方法及び装置によれば、第２所定極点間隔と第２所定極角間隔で表される第２解像度から、道路消失点近傍の所定領域の直線の第２解像度確率分布図を取得し、そのうち、第２解像度が第１解像度より高いこと；車道線であると判定された線形指示標識に対して、第２解像度確率分布図上で現れる対応線の本数を確定すること；及び現れる対応線の本数に基づいて、さらに該車道線のタイプを判定することをさらに含んでもよい。従って、第１解像度（低解像度）の確率分布図を利用して道路上の線形指示標識の粗分類を実現し、第２解像度（高解像度）の確率分布図を利用して、異なる車道線の確率分布図上で現れる線の本数に基づいて、車道線の詳細分類を実現することができる。

以下、図面を参照しながら本発明の実施例を詳しく説明した内容において、本発明のこれら及び／又は他の面並びにメリットはより明確になり、且つ理解しやすくなる。
本発明の１実施例による車両自動コントロールシステム１００を示す概略図である。 本発明の１実施例による図１に示す車両自動コントロールシステム１００に使用可能なカメラ１０１と画像処理モジュール１０２の構成例を示す概略図である。 本発明の１実施例による道路上の線形指示標識検出装置３００の基本機能構成例を示す図である。 本発明の１実施例による道路上の線形指示標識検出方法を示す全体フローチャートである。 概略的に路面領域を含む視差マップと視差マップから変換して得たＵ視差マップを示す。 （ａ）は、Ｕ視差マップ上の１つの候補道路消失点ＣＶＰ、及び例示的に極点ｂと極角θで表す該候補道路消失点ＣＶＰを通過する１本の直線を概略的に示し、（ｂ）は、すべての基本点のすべての直線の確率分布図を概略的に示し、（ｃ）は、（ｂ）の確率分布図に対応する候補道路消失点ＣＶＰ（即ち基本点ｂ）の重合度分布曲線概略図を示し、（ｄ）は、重合度分布曲線によって消失点ｘ０を確定する概略図を示し、（ｅ）は、（ｂ）と同じ確率分布図であり、ここで、消失点に近く、大多数直線を含む領域が長方形枠で標識され、（ｆ）は、階調画像上の対応する白線を示す図である。 図６の（ｅ）中の長方形枠部分（即ち、道路消失点近傍の領域）を独立に取り出して得られた、ある解像度の確率分布図又は角度分布図を示す図である。 （ａ）は、元の階調画像を示し、（ｂ）は、対応するＵマップを示し、（ｃ）及び（ｄ）は、２つの異なる解像度の角度分布図の例を概略的に示す図である。 （ａ）及び（ｂ）は、角度分布図の点と元の階調画像上の直線間の対応関係を概略的に示す図である。 （ａ）は、三次元視覚原理を概略的に示し、（ｂ）は、現実の世界の２つの点ＰとＱが同じ深さを有する場合、真の距離と画素距離間の関係を示す図である。 Ｕ視差マップ中に２本の道路白線間の画素幅Ｄｗｉｄｔｈと道路白線の傾斜角度との間の関係を示す図である。 （ａ）〜（ｃ）は、階調画像上の各種道路上の線形指示標識と第１解像度の確率分布図上の対応点（又は対応曲線）との間の対応関係を概略的に示し、（ｄ）は、区分して保留した階調画像上の丸で表される車道線部分を示す図である。 本発明の第３実施例による道路上の線形指示標識検出方法５００を示す全体フローチャートである。 （ａ）は、異なる本数の白線からなる車道線の例を概略的に示し、（ｂ）は、階調画像上の異なるタイプの車道線と高解像度角度分布図における対応曲線を概略的に示す図である。 （ａ）及び（ｂ）は、階調画像上の車道線、高解像度角度分布図上の対応曲線及び階調画像中の直線に対応する密度リストを示す図である。 本発明の実施形態の実現に適合する例示的な計算システム６００を示すブロック図である。

当業者に本発明をよりよく理解させるために、以下、図面と具体的な実施形態を参照しながら、本発明をさらに詳しく説明する。

本発明各実施例における道路上の線形指示標識検出は視差マップ及び／又はＵ視差マップ（必要に応じてさらに階調画像又はカラー画像を含む）を操作対象とし、以下、視差マップ及び視差マップの俯瞰図としてのＵ視差マップを簡単に紹介する。

視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）はいずれの画像を基準とし、そのサイズが該基準画像のサイズで、要素値が視差値となる画像である。視差マップはシーンの距離情報を含む。視差マップは双眼カメラが撮影した左画像と右画像から計算して得ることができ、又は立体視図における深度図から計算して得ることができる。

普通の２次元の視差マップにおけるある点の座標は普通（ｕ，ｖ）で表し、そのうち、ｕは横座標、ｖは縦座標であり、点（ｕ，ｖ）での画素の画素値は、ｄ（ｕ，ｖ）で表し、該点（ｕ，ｖ）での視差を表す。

視差俯瞰図又はＵ−視差マップは視差マップから計算して得ることができる。Ｕ−視差マップにおける任意の１点（ｕ，ｄ）のグレー値は視差マップに対応する横座標がｕである列中の視差値がｄである点の個数である。

視差マップの概念、取得、及びどのように視差マップからＵ−視差マップを取得するかについての詳細は、本出願者の別の、テーマが「道路分割物検出方法及び装置」、出願番号がＮｏ．２０１１１０４０９２６９．１の先行出願に見られる。

以下、下記の順で説明する。

＜１、第１実施例＞
＜１．１、車両自動コントロールシステム＞
＜１．２、カメラと画像処理モジュール＞
＜１．３、道路上の線形指示標識検出装置＞
＜２、第２実施例：道路上の線形指示標識検出方法＞
＜３、第３実施例：道路上の線形指示標識検出方法＞
＜４、第四実施例：道路上の線形指示標識検出の計算システム＞
＜１、第１実施例＞
＜１．１、車両自動コントロールシステム＞
図１は本発明の１実施例による車両自動コントロールシステム１００を示す概略図である。車両自動コントロールシステム１００が車両に取り付けられる。該車両自動コントロールシステム１００は例えば、２つのカメラ１０１、画像処理モジュール１０２、車両制御モジュール１０３を備える。カメラ１０１は車両バックミラーに近い位置に取り付けられてもよく、車両前方のシーンをキャプチャする。キャプチャされた車両前方シーンの画像は画像処理モジュール１０２の入力とする。画像処理モジュール１０２は入力された視差マップを分析して、各種検出処理、例えば本発明の実施例の道路上の線形指示標識検出、及び他の路面検出処理、フェンス検出処理、通行人検出処理等を行う。車両制御モジュール１０３は画像処理モジュール１０２が出力した信号を受信し、検出して得られたカレント道路上の線形指示標識、例えば各種分道線（例えば、各車道（ｌａｎｅ）を区分する線）、及び路面、フェンス、通行人等情報に基づいて制御信号を生成して車両の走行方向と走行速度等を制御する。

図に示す車両自動コントロールシステム１００は例に過ぎず、他のパーツ、例えばＧＰＳナビゲーション一部等を備えてもよい。

＜１．２、カメラと画像処理モジュール＞
図２は本発明の１実施例による図１に示す車両自動コントロールシステム１００に使用可能なカメラ１０１と画像処理モジュール１０２の構成例を示す概略図である。

図２に示すように、図中左側に２つのカメラ１０１を示し、カメラ１０１は画像センサ２０１及びカメラデジタル信号プロセッサー（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ，ＤＳＰ）２０２を備える。画像センサ２０１は光信号を電子信号に変換し、キャプチャしたカレント車両前方の画像をアナログ画像信号に変換し、さらに結果をカメラＤＳＰ２０２に伝送する。必要があると、カメラ１０１はさらにレンズ、フィルター等を備えてもよい。本設備中、２つ又は複数の（図示せず）カメラ１０１を備えてもよく、これらのカメラが正しく合わせた後、同時に複数の画像をキャプチャすることができ、双眼結像又は多眼結像を便利にする。カメラＤＳＰ２０２はアナログ画像信号をデジタル画像信号に変換して画像処理モジュール１０２に送信する。

画像処理モジュール１０２の機能ブロック図に示すように、画像処理モジュール１０２は、例えば、画像入力部２０３、視差マップ結像部２０４、路面検出部２０４、通行人と車両検出部２０５、道路上の線形指示標識検出部２０６等を備えても良い。画像入力部２０３は所定の時間間隔に画像を取得することができる。視差マップ結像部２０４は双眼視覚原理を利用して、入力された一対のデジタル画像を視差マップに変換する。路面検出部２０４は例えば視差マップ結像部２０４からの視差マップ（及び／又は階調画像）に基づいて路面を検出することができる。通行人と車両検出部２０５は例えば視差マップ結像部２０４からの視差マップ（及び／又は階調画像）に基づいて通行人と車両を検出することができる。道路上の線形指示標識検出部２０６は例えば視差マップ結像部２０４からの視差マップ（階調画像に基づいても良い）に基づいて道路上の線形指示標識を検出することができる。

図２に示す後続に視差を取得する双眼カメラ結像は例示に過ぎず、例えば他の赤外光飛行速度に基づく、及びテクスチャ・ライトに基づくステレオカメラ等を用いて設置してもよい。また、車両上にカメラ装置を配置しなくてもよく、例えば有線ネットワーク又は無線ネットワーク接続により外部からの画像データ等を受信することができる。

図２に示す画像処理モジュールは例示に過ぎず、そのうちの一部例えば、路面検出部２０４を省略してもよく、及び付加の他の一部、例えばフェンス検出部、Ｕ視差マップ取得部、Ｖ視差マップ取得部を備えてもよく、階調画像に基づく対象検出等を備えてもよい。

以下、本発明に注目される道路上の線形指示標識検出部の構成と操作過程を重点として紹介する。

＜１．３、道路上の線形指示標識検出装置＞
以下、図３の説明を参照しながら本発明の１実施例の道路上の線形指示標識検出装置の基本機能構成に従って例示する。図３は本発明の１実施例による道路上の線形指示標識検出装置３００の基本機能構成例を示す図である。

図３は本発明の１実施例による道路上の線形指示標識検出装置３００の基本機能構成例を示す図であり、該道路上の線形指示標識検出装置３００は図２に示す道路上の線形指示標識検出部２０６に用いられる。該道路上の線形指示標識検出装置３００の入力は画像データ例えば双眼カメラが撮影した左画像と右画像であり、出力は検出して得られたある種又はいくつの道路上の線形指示標識である。

図３に示すように、本発明の１実施例による道路上の線形指示標識検出装置３００はＵ路面領域を含むｕ視差マップを取得する視差マップ取得部３１０と、ｕ視差マップで、道路消失点を確定する道路消失点確定部３２０と、第１所定極点間隔と第１所定極角間隔で表される第１解像度から、道路消失点近傍の所定領域の直線の第１解像度確率分布図を取得する第１解像度確率分布図取得部３３０と、物理世界における互いに平行な直線間の距離と該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定する異なるタイプ線形指示標識区分部３４０とを備えてもよい。

ただし、前記道路上の線形指示標識の検出装置３００の各部はソフトウェアプログラムにより実現することができ、例えば汎用コンピュータにおけるＣＰＵプラスＲＡＭ及びＲＯＭ等並びにその中に運行するソフトウェアコードにより実現される。ソフトウェアプログラムは例えばフラッシュメモリ、フロッピー（登録商標）ディスク、ハードディスク、光ディスク等の記憶媒体上に記憶することができ、運行する時、例えばランダム（サイトへ）アクセスメモリＲＡＭにローディングしてＣＰＵにより実行される。また、汎用コンピュータのほか、さらに専用集積回路とソフトウェアの間の協力により実現することができる。前記集積回路は例えばＭＰＵ（マイクロプロセッサユニット）、ＤＳＰ（デジタル信号プロセッサー）、ＦＰＧＡ（現場プログラマブルゲートアレイ）、ＡＳＩＣ（専用集積回路）等のうちの少なくとも１つにより実現される。このような汎用コンピュータ又は専用集積回路等は例えば車両上に積載されることができ、且つ例えば車両上に取り付けられた結像設備例えばカメラに通信し、カメラが撮影して得られた二次元画像及び／又は斜視画像を処理して道路上の線形指示標識検出結果を取得し、及び道路上の線形指示標識検出結果に従って車両の運転を制御してもよく、例えば警告情報をだし、自動ブレーキし、又は応急保護装置等を起動する。また、道路上の線形指示標識の検出装置３００の各部は専門のハードウェア、例えば特定の現場プログラマブルゲートアレイ、専用集積回路等により実現することができる。また、道路上の線形指示標識の検出装置３００の各部もソフトウェアとハードウェアの結合により実現することができる。

ただし、図３中に示す矢印は２つのパーツの機能の間に論理的関係が存在することを示し、２つのパーツの間は直接又は間接的に操作可能な接続することができる。また、図３におけるある２つのパーツの間にはある方向の矢印接続を示していなくても、両者の間に必然的に該方向の論理的関係が存在しないと表明せず、逆に、両者の間は操作可能な接続関係が存在し、例えば第１解像度確率分布図取得部３３０と異なるタイプ線形指示標識区分部３４０とＵ視差マップ取得部３１０の間は論理的関連が存在してもよく、そのうち、第１解像度確率分布図取得部３３０と異なるタイプ線形指示標識区分部３４０は操作過程中にＵ視差マップ取得部３１０が取得したＵ視差マップを利用する必要がある可能性がある。

前記道路上の線形指示標識の検出装置３００における各ユニットの構成と数量は本発明の範囲を制限しない。本発明の１実施例により、前記Ｕ視差マップ取得部３１０、道路消失点確定部３２０、第１解像度確率分布図取得部３３０、異なるタイプ線形指示標識区分部３４０を１つの独立な部に合併して相応な機能と操作を実行して実現することができ、又はＵ視差マップ取得部３１０、道路消失点確定部３２０、第１解像度確率分布図取得部３３０、異なるタイプ線形指示標識区分部３４０をさらにより小さいユニットに分割してこれらの各自の機能と操作を実現することができる。

また、ただし、図３中に示す構成は、排他式ものではなく、逆に、道路上の線形指示標識の検出装置３００は他のパーツ、例えば、例えば異なるタイプ線形指示標識区分部３４０が処理した後の結果に用いられる表示部、及び例えば、関連情報及び／又は中間処理結果を外部等に伝達するための通信部を備えてもよい。

以下、図４〜９を参照しながら道路上の線形指示標識検出装置３００の各部の機能と操作の例示を詳しく説明する。

＜２、第２実施例：道路上の線形指示標識検出方法＞
図４は本発明の１実施例による道路上の線形指示標識検出方法４００を示す全体フローチャートである。

図４に示すように、ステップＳ４１０において、Ｕ視差マップ取得部３１０は路面領域を含むｕ視差マップを取得する。

前記のように、双眼カメラ、多目カメラ、ステレオカメラにより撮影して道路領域を含む視差マップを計算して取得し、視差マップから変換してＵ視差マップを取得し、又は立体視図から深さ図を取得し、深さ図により視差マップを取得し、視差マップから変換してＵ視差マップを取得する。

まず、路面領域を含む視差マップを取得し、次に視差マップから変換してＵ視差マップを取得する場合、どのように例えばステレオカメラが取得した画像から路面領域の視差マップを取得するかについて、例えば下記のいくつの方法を用いてもよく、すなわち、マニュアルにより路面領域を指定してもよく、例えば所定高度閾値ｒｈを用いて視差マップにおいて路面からの高度がｒｈより大きいすべての点を削除してもよく、なぜかというと、高度がｒｈより大きい点は表路上の車両、自転車を運転する人又は電柱等のノイズ等を表す可能性があるからであり、又は各種路面推定又は検出方法を用いて路面を検出して路面領域を含む視差マップを取得してもよく、例えば本出願者の名称が「路面検出方法及び装置」、出願番号がＮｏ．２０１２１０１９４０７４．４である出願に紹介した路面検出方法を用いても良い。

路面領域を含む視差マップを取得した後、視差マップの俯瞰図、すなわちＵ視差マップを取得することができる。

図５は概略的に示す路面領域を含む視差マップ（左図）と視差マップから変換して得たＵ視差マップ（右図）であり、そのうち、左図横座標はｘ、縦座標はｙ、右図横座標はｘ、縦座標はｄである。

さらに、ここでは、さらにこのように得られたＵ視差マップに対して後処理、例えばノイズ除去を行うことができ、そのうち、１種の実現形態は、すべてのグレー値が所定閾値未満の点を視差俯瞰図から除去し、すなわち、すべてのグレー値が所定閾値未満の点のグレー値をゼロにする。これは、ノイズが普通、離散点であり、視差マップの各列中に、多くの視差が同じノイズ点が存在することがない。また、無意識に例えば白線の分道線を除去することを回避するために、好適に所定閾値を小さい値に設定し、例えば１に設置する。

前文に説明した事情は、まず視差マップを取得し、次に視差マップからＵ視差マップを取得することである。しかし、これは例示に過ぎず、例えば双眼カメラが取得した画像を処理又は計算して直接にＵ視差マップを取得することもできる。又は、直接に外部から有線ネットワーク又は無線ネットワークにより通信して路面領域を含むＵ視差マップを受信することもできる。

図４に戻って、ステップＳ４２０においてｕ視差マップで、道路消失点を確定する。

当業者が公知した射影変換原理から、元の三次元空間に互い平行する直線がＵ視差マップ中において視差値がゼロ（すなわちｄ＝０）である点に交差することが分かり、ここではこの交差点を道路消失点と称する。視差俯瞰図中に、視差値がゼロである点は１本の横線上に位置し、ここでは視差値がゼロである点を基本点と総称し、候補道路消失点とも称する。各基本点を通過する各直線が存在する確率を考察すると、道路消失点を通過する道路分割物としての直線が存在する確率がもっとも大きくなるべきであり、又はもっとも集中的（すなわち、もっとも非分散）になるべきである。

それにより、このような重合度分布に基づいて道路消失点を確定することができる。

１実施例中に、ｕ視差マップで、道路消失点を確定することは、以下のことを含む。

（１）Ｕ視差マップで、各候補道路消失点に対して、候補道路消失点を通過する各直線が存在する確率を計算し、各候補道路消失点を通過する直線の確率分布図を取得し、対応する候補道路消失点を極点と対応極角として、各直線が極点と極角によって制限され、それにより、各候補道路消失点の直線の確率分布を取得し、
ここでは、候補道路消失点はＣＶＰ（ｃａｎｄｉｄａｔｅ ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ）と略称し、図６の（ａ）はＵ視差マップ上の１つの候補道路消失点ＣＶＰを示す図であり、該図におけるかっこは選択待ちの消失点ゾーンの位置を示す。横座標はＸ、縦座標はｄ、図５における右図と同じである。候補道路消失点ＣＶＰの位置は横座標ｂで示し（縦座標は視差ｄ＝０）、該候補道路消失点ＣＶＰを通過する１本の直線は極点ｂと極角θで表す。

図６の（ｂ）はすべての基本点のすべての直線の確率分布図を概略的に示す図であり、そのうち、横座標は各ＣＶＰ点（すなわち横座標ｂ）、縦座標は夾角角度Ａｎｇｌｅ（すなわちθ）を示し、点（ｂ，θ）ところの値は確率Ｄｉｓ（θ，ｂ）、すなわち極点ｂと夾角θで確定された直線が存在する確率を表し、該確率は例えば該直線上にあるＵ視差マップ上の非ゼロ点の点数がＵ視差マップ上のすべての非ゼロの点数に占める比率に従って計算することができる。

Ｕ視差マップ生成形態から見れば、図６の（ｆ）中の階調画像上ｂの右側白線は、図６の（ａ）中の極点ｂと夾角θで確定された直線（ｂ，θ）に対応することが分かり、例えば、図６の（ａ）カラー画像６（ｆ）への矢印曲線にしめす通りである。従って、図６の（ｂ）中の大きい黒点ところの画素点は、極点ｂと夾角θで確定された直線（ｂ，θ）の存在確率を表し、図６の（ｆ）中の右側白線に対応することが分かり、言い換えれば、一定程度上、図６の（ｆ）中の右側白線存在の確率を特徴付ける。

ただし、確率分布図に対しては、各直線の確率について、極点間所定間隔と極角間の所定間隔に基づいて、各直線に対して確率計算を行うことができ、従って、異なる解像度の確率分布図を取得し、極点間の間隔が小されば小さいほど、極角間の間隔は小さくなり、確率分布図の解像度は高くなる。

（２）各候補道路消失点を通過する各直線が存在する確率に基づいて、各候補道路消失点の直線が存在する確率の分布の重合程度を表す重合度を取得することにより、候補道路消失点の重合度分布を取得する。

各候補道路消失点ｃｖｐ（すなわち基本点ｂと称しても良い）に対して、極角θを変化させて、１組の関連の直線を取得する。この組の直線が通過したのは真の消失点であると、これらの各本の直線の確率は、非常に大きいでなければ（白線が所在する直線）、非常に小さい（直線にある点が非常に少ない）。情報論の角度から、この組の直線の確率分布の重合程度は収束的である。この組の直線が通過したのは真の消失点ではないと、この組の直線の確率分布の重合程度は発散的である。定量的に各組の直線の確率分布の重合程度（収束又は発散）を度量するために、１つの例中に、情報エントロピーを用いて計算することができ、例えば、下記の公式（１）で候補道路消失点ＣＶＰ（すなわち基本点ｂ）の重合度Ｅｎ（ｂ）を表し、

そのうち、１つの候補道路消失点ＣＶＰ（すなわち基本点ｂ）の重合度Ｅｎ（ｂ）が大ければ大きいほど、該候補道路消失点ＣＶＰ（すなわち基本点ｂ）の関連する直線が存在する確率分布の重合程度が高くなり、すなわち分散程度が低くなると表す。

各候補道路消失点ＣＶＰ（すなわち基本点ｂ）の重合度に基づいて、候補道路消失点ＣＶＰ（すなわち基本点ｂ）重合度分布を取得し、図６の（ｃ）は図６の（ｂ）の確率分布図に対応する候補道路消失点ＣＶＰ（即ち基本点ｂ）の重合度分布曲線概略図を示す図であり、そのうち、横座標は各候補道路消失点ＣＶＰ（すなわち基本点ｂ）の位置、縦座標Ｅｎ（ｂ）は各候補道路消失点ＣＶＰ（すなわち基本点ｂ）に対応する重合度である。

（３）候補道路消失点の重合度分布曲線に基づいて道路消失点を確定する。

図６の（Ｃ）に示したように、Ｅｎ（ｂ）値がもっとも大きいところは、対応する直線組がもっとも収束的であることを意味し、対応するｂ値はＵマップ上の道路消失点の位置となるべきである。図６の（ｄ）に示すように、消失点はｘ０、対応するエントロピー値は図中の点ｘ０を通過する垂直線とＥｎ（ｂ）曲線が交差する位置である。道路消失点を確定した後、確率分布図上、道路消失点を通過する直線の確率は標識さえることができ、図６の（ｅ）中の垂直線に示すように、この線が消失点ｘ０を通過し且つＸ軸に直交する。図６の（ｅ）は図６の（ｂ）と同じ確率分布図である。消失点に近い大多数の直線を含む領域は、図６の（ｅ）中に長方形枠で標識された。説明の便宜上、該長方形枠内領域の角度分布も角度分布図と称し、消失点を通過する大多数の直線の確率を含む。

Ｕ視差マップで道路消失点を確定する方法は、共通の出願者即ち株式会社理光の名称が「道路カーブタイプ検出方法及び装置」、出願番号がＣＮ２０１２１０２６２０２１．１である特許出願及び前記の共通の出願者即ち株式会社理光の名称が「道路分割物検出方法及び装置」、出願番号がＮｏ．２０１１１０４０９２６９．１である先行出願における内容を参照して、引用により該特許文献全文を本文中に合併することができる。

図４に戻り、ステップＳ４３０中に、第１所定極点間隔と第１所定極角間隔で表される第１解像度から、道路消失点近傍の所定領域の直線の第１解像度確率分布図を取得する。

道路消失点を確定した後、消失点位置に従って道路消失点近傍領域で異なる極点間の間隔ステップサイズ、及び異なる極角間の間隔ステップサイズを選択し、従って高さが異なる解像度の確率分布図を取得することができる。該道路消失点近傍領域は主に道路消失点近傍の各種角度の直線の確率分布を表し、そのため、角度分布図と称することがあり、本文中の角度分布図は道路消失点近傍領域のある種の解像度の確率分布図を指す。

図７は図６の（ｅ）中の長方形枠部分（即ち道路消失点近傍の領域）を独立に取り出して得られたある解像度の確率分布図又は角度分布図を示す図である。道路消失点近傍領域範囲の大さは必要に応じて設置され、経験に従って設置され、又はオンライン学習により確定される。

図７に示す角度分布図中に、図６の（ｂ）又は６の（ｅ）の確率分布図と同じ、Ａ（θ，ｂ）ところの画素値Ｄｉｓ（θ，ｂ）は０〜１の間の１つの確率値であり、極点位置がｂ、極角がθの直線が存在する確率を度量する。角度分布図をフィルターすることができ、例えば画素値が所定閾値より大きい点だけを保留する。従って、異なる閾値を選択すると、画像中に残した点の個数も異なる。画像中の横軸はＣＶＰ（即ち候補道路消失点の横座標）であり、横軸上の解像度は各対の隣接する選択待ち消失点間の距離に決められ、後文中にこの解像度を距離解像度と称し、ステップサイズはΔｄと記し、図７に示す通りである。画像中の縦軸は角度Ａｎｇｌｅ（即ちθ）であり、縦軸の解像度は、Ｕマップ中の同じ消失点を通過する各対の隣接する直線間の角度によって決められ、以降では、該解像度を角度解像度と称し、ステップサイズはΔθと記し、図７に示す通りである。Ａｎｇｌｅ−ＣＶＰ角度分布図を生成する時、異なる距離解像度、角度解像度及び確率（Ｄｉｓ（θ，ｂ））閾値を選択することができる。

図８中の（ｃ）と（ｄ）は２つの異なる解像度の角度分布図の例を示しており、ここでは、より低い確率閾値でフィルター処理が施されている。相対的に言うと、図８の（ｃ）は低い距離解像度と角度解像度を用いて低解像度の角度分布図を得た例であり、図８の（ｄ）は高い距離解像度と角度解像度を用いて高解像度の角度分布図を得た例であり、ここで、前者（図８の（ｃ））の解像度ステップサイズ（距離ステップサイズ／角度ステップサイズ）の値は概ね後者（図８の（ｄ））の２倍である。図８の（ａ）はこれらが対応するオリジナル階調画像であり、図８の（ｂ）は対応するＵマップである。後述するように、異なる解像度の角度分布図によって、以降の白線タイプを判定することができ、即ち、低解像度の角度分布図を使用して白線の太い種類を判定し、高解像度の角度分布図を使用して白線の細い種類を判定することができる。図８の（ａ）は元の階調画像における左側白線を位置決めし、それぞれ図８の（ｃ）と（ｄ）中の楕円領域が示す一部画像に対応し、図中の矢印に示す通りである。図８の（ｃ）と（ｄ）に示すように、同じ白線は図８の（ｃ）中に１つの太い曲線に対応し、図８の（ｄ）中に２条細曲線（即ち、元の左側白線の両辺）に対応する。前記情報を利用して白線タイプを識別することができ、後文にこれに対して詳しく説明する。

好ましくは、道路上の線形指示標識の粗分類（例えば、車道白線と横断歩道、道路上の矢印と道路上の白文字を区別する）を行う時、選択する確率分布図の解像度は下記の条件を満たす解像度であり、すなわち、該解像度は階調画像上の１本の白線（両本のエッジ）を確率分布図上の２つの点（細かい２つの点、図８ｄ）の場合）ではなく、１つの点（粗い点、図８の（ｃ）の場合）に対応させ、又は、局所範囲から見れば、実際の現れは階調画像上の１本の白線を確率分布図上の２本細い曲線ではなく、一セクション太い曲線に対応させることである。

代わりに、選択した解像度は階調画像上の１本の白線の２つのエッジを確率分布図上の２つの点（細かい２つの点、図８の（ｄ）の場合）に対応させる場合、このような細かい２つの点の間の距離は非常に近いから、閾値を設定することにより、２つの点の間距離が閾値未満の２つの小さな点を１つの点として処理することができ、後続の粗分類過程に有利である。

図４に戻り、ステップＳ４４０中に、物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角間の関係に基づいて、異なるタイプの線形指示標識を判定する。

発明者は、物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間に一定の依頼関係が存在し、１つの例において該相互関係に従って、道路上の線形指示標識の類別を確定することができることが発見した。

前述したように、角度分布図上の１つの点はオリジナル階調画像上の１本の直線を表し、図８における（ａ）、（ｂ）と（ｆ）はこの関係を示す。図９における（ａ）及び（ｂ）は角度分布図の点と元の階調画像上の直線間のこの対応関係を概略的に示す図である。点（β１，ｘ０）和点（β２，ｘ０）は図９ｂ）中に黒点で標識される。ここでは、ｘ０は道路消失点の横座標、β１とβ２は道路消失点を通過する２本直線の角度である。図９の（ａ）と（ｂ）中における矢印付き線で示すように、図９の（ａ）中左側の白線は点（βｌ，ｘ０）に対応し、図９の（ａ）中右側の白線は点（β２，ｘ０）に対応する。図９の（ａ）中Ｒｗｉｄｔｈと関連の両端矢印線は２本白線の現実の三次元空間中の実際距離を標識する。

以下、物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係の１種の表現例示を論証する。

図１０の（ａ）に示す三次元視覚原理から、現実の世界中の点Ｐに対して、下記の関係式（２）を取得することができる。

そのうち、ｂａｓｅ又はｂａｓｅ（ｂ）は基線距離を表し、Ｚは点Ｐの深さを表し、ｆはカメラのフォーカルレングスを表し、ｄは点Ｐの視差値を表し、ｘｌとｘｒはそれぞれ左図と右図において画素に対応する水平座標である。

図１０の（ｂ）に示すように、現実の世界中に２つの点ＰとＱがあり、同じ深さを有すると、これら間の真の距離Ｒｗｉｄｔｈ（即ち真の幅）と視差マップ上の対応画素点の間の水平方向上の画素距離（即ち画素幅）は下記の関係式（３）を満たす。

前述したように、視差マップの路面領域を俯瞰投影し、ｕ視差マップを取得する。図１１に示すように、Ｕ視差マップ中に視差がｄ箇所であり、２本道路白線間の画素幅Ｄｗｉｄｔｈと道路白線の傾斜角度（即ち、白線の極角θ、白線と候補道路消失点の所在する直線との間がなす角）との間は下記の関係式（４）を満たす。

そのうち、θ１は道端直線ｌｌと水平線とのＵ視差マップでの夾角を表し、θ２は道端直線ｌ２と水平線とのＵ視差マップでの夾角を表す。ｃｔｇはアークタンジェントである。

関係式（４）と関係式（３）を結合して、物理世界における互いに平行な直線間的実際距離Ｒｗｉｄｔｈと該互いに平行な直線の第１解像度確率分布図での対応極角との間（０１と０２）の関係式（５）を取得することができる。

前述したように、基線距離ｂａｓｅは事前に既知する量であり、各種道路白線の間の実際距離は普通それぞれ異なり、例えば関連道路法規の規定を満たす可能性があり、所定の範囲を有する。白線Ｕ視差マップでの角度は角度分布図（特に低解像度の角度分布図）上の消失点近傍で容易に取得可能である。従って、前記公式（５）中の関係を利用して、各種道路上の線形指示標識を区分することができ、これにより、走行道路白線とほかの白線タイプを区別する。

図１２における（ａ）〜（ｃ）は階調画像上の各種道路上の線形指示標識と第１解像度の確率分布図上の対応点（又は対応曲線）との間の対応関係を概略的に示す図である。

各低解像度の角度分布図上で、白線の間の実際距離は両端に矢印が付く直線で標識され、白線のエッジは太い直線で標識される。白線に対応する点は、点で標識され、その対応関係は矢印付き曲線で指す
図１２の（ａ）に示すように、左図に横断歩道を有する階調画像を示し、右図に対応する低解像度角度図を示す。階調画像上の複数本の横断歩道に対応し、低解像度角度分布図上の消失点縦線上に複数の点を有することが分かるようになる。公式（５）に従って算出した低解像度角度分布図上の各対の隣接点に対応する直線間の実際距離は一般車道線間の距離より小さく、且つ各対の隣接点から算出された距離はほとんど同じである。これらの特徴により、この横断歩道タイプの白線を判断することができる。

図１２の（ｂ）に示すように、そのうち、左図に矢印白線と車道線白線を有する階調画像を示し、右図に対応する低解像度角度図を示す。低解像度角度分布図上で、消失点を通過してｘ軸に直交する直線に沿って、各対隣接点間の実際距離を計算する時、実際距離により車道線を確定し、さらに確定された車道線と隣接点との間の距離により、矢印白線を確定する。矢印白線と車道線白線間の実際距離は車道線間の実際の距離より小さく、且つ所定範囲にあることがわかるようになる。これにより、ここではこの矢印タイプの白線を判断することができる。

図１２の（ｃ）に示すように、そのうち、左図に路面白文字と車道線白線を有する階調画像を示し、右図に対応する低解像度角度図を示す。低解像度角度分布図上で、消失点を通過してｘ軸に直交する直線に沿って、上記の公式（５）を利用して各対の隣接点間の実際距離を計算する時、実際距離により車道線を確定し、さらに確定された車道線と隣接点との間の距離により、路面白文字を確定することができる。取得された路面白文字と車道線との間の距離は車道線間の実際距離より小さく、且つ所定範囲にある。これにより、ここでは、この路面白文字を判断することができる。

横断歩道、矢印線、路面白文字等のタイプを検出した後、各種道路状況下での車道線を見つけ出し、図１２の（ｄ）に示す階調画像上の丸で表される部分の通りである。

図１２の（ａ）〜（ｃ）に示す各種物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を区分する例示方法は下記のように行うことができ、即ち、
（１）第１解像度確率分布図上の極点位置が道路消失点に位置しかつ確率が所定閾値より大きい各直線に対して、各直線の極角を確定すること、
（２）各直線の極角及び物理世界における互いに平行な直線間的実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、第１解像度確率分布図上の前記各直線のうち、隣接直線間の物理世界における実際距離を計算すること、及び
（３）少なくとも一部が計算した各直線のうち隣接直線間の物理世界における実際距離に基づいて、異なるタイプの線形指示標識を判定すること。

他の例示中に、物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係を表す表を予め作成して記憶することができ、例えば表の１本のデータ条目中にそれぞれ公式（５）における左側の極角のアークタンジェント差のデータ項と基線距離で公式（５）右側の距離を割るデータ項を記録し、該データ条目の対応する線形指示標識を記録してもよい。このように、互いに平行な直線の第１解像度確率分布図での対応極角間のアークタンジェント差を計算し、次に予め保存された関係表を調べることにより、直接に対応する道路上の線形指示標識、例えば横断歩道、矢印線、道路上の白文字又は車道白線等であるかを確定する。

図４に戻り、ステップＳ４４０終了後、該プロセスは終了することができる。

前記実施例の道路上の線形指示標識の検出方法を利用して、Ｕ視差マップで道路消失点を確定し、道路消失点近傍に所定領域の直線の適当解像度の確率分布図を取得し、物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定することができる。

＜３、第３実施例：道路上の線形指示標識検出方法＞
図４に示す第２実施例の道路上の線形指示標識検出方法中に、道路上の線形指示標識に対して粗分類を行い、又は大きい類別上で異なる類別に属する道路上の線形指示標識を区分し、例えば横断歩道、道路上の白色矢印、道路上の白文字及び車道白線を区分する。しかし、車道白線自体同士はさらに詳しく各種タイプ、例えば単本白線、双本白線、三本白線に分類することができ、同じ本数の白線の間はまた破線と実線の区別等が存在する。

以下、図１３を参照しながら、道路上の線形指示標識を粗分類した上で、さらに詳しく車道線のタイプを区分する方法例示を説明する。

図１３は本発明第３実施例による道路上の線形指示標識検出方法５００を示す全体フローチャートである。

図１３中の方法５００のステップＳ５１０〜Ｓ５４０は図４中の方法４００のステップＳ４１０〜Ｓ４４０と基本的に同じであり、実現と機能については、図４における対応ステップの説明を参照することができ、ここでは、繰り返して説明しない。図１３における道路上の線形指示標識検出方法５００と図４における道路上の線形指示標識検出方法４００との相違点は、追加したステップＳ５５０〜Ｓ５７０にあり、これにより、車道線のタイプの詳細分類を実現し、以下、詳しくステップＳ５５０〜Ｓ５７０を説明する。

車道白線のタイプの詳細分類の思想は、前記した８の（ｄ）に示すように、高解像度の確率分布図で、１本の白線の車道白線、２本白線の車道白線及び３本白線の車道白線が対応的に異なる本数の線を有し、これにより、前の低解像度確率分布図上で車道白線であると判断した点（又は線）に対して、高解像度の確率分布図上で現れる対応線の本数に従って、さらに車道線のタイプを詳細分類することはできる。

１つの例中に、車道線を構成する白線の本数に従って車道線を分類し、これにより、例えば１本の白線の車道線、２本白線の車道線及び３本白線の車道線等に分類する。

図１４の（ａ）は異なる本数の白線からなる車道線の例を示す図であり、その中の記号１、２、３は１本の白線を含む車道線を指し、記号４は２本白線を含む車道線を指し、記号５と６は３本白線を含む車道線を指す。

このような１本の白線の車道線、２本白線の車道線及び３本白線の車道線の低解像度の確率解像度図上ではいずれも１つの太い点又は１本の太い線（図８の（ｃ）を参照）として現れ、しかし、高解像度の確率解像度図上で各本白線のエッジはいずれも１つの点又は１本の細い線として表示され、これにより、異なる本の白線からなる車道線は異なる点の個数又は細い線の本数として現れ、従って、これにより、異なるタイプの車道線間の区分を行う。

具体的にはに、例えば、図１４の（ｂ）における左図に示すように、１本の白線を含む車道線（階調画像において参考することができ、それぞれ破線と実線である）は、対応する高解像度角度分布図中で、２本曲線であり、消失点を通過してＸ軸に直交する直線上で、２つの点である。

さらに例えば、図１４の（ｂ）における中間図に示すように、２本白線の車道線を含み、対応する高解像度角度分布図中で、３本曲線であり、消失点を通過してｘ軸に直交する直線上で、３つの点である。該２本白線を含む車道線は対応する高解像度角度分布図で４本曲線ではなく３本曲線として現れ、これは、左側白線の右エッジと右側白線の左エッジの距離が非常に近いからであり、従って、角度分布図中で１本の曲線として現れる。

例えば、図１４の（ｂ）における右図に示すように、３本白線を含む２類車道線は、対応する高解像度角度分布図中で、４本曲線であり、消失点を通過してｘ軸に直交する直線上で、４つの点である。該３本白線を含む車道線は対応する高解像度角度分布図中で６本曲線ではなく４本曲線として現れ、原因は同じく、２本白線の隣接するエッジ間隔が非常に近いからであり、角度分布図中で１本の曲線として表示される。

従って、高解像度画像上の曲線の異なる個数に従って、異なる白線本数を含む車道線タイプを区別することができ、図１４の（ｂ）における丸に示すように、同じ本数白線の車道線である。

前記概念に基づいて、如図１３に示すように、第３実施例の実現中に、ステップＳ５５０で、第２所定極点間隔と第２所定極角間隔で表される第２解像度から、道路消失点近傍の所定領域の直線の第２解像度確率分布図を取得し、そのうち、第２解像度が第１解像度より高い。ここでは、第２解像度は、物理世界中の道路上の１本の白線の２つのエッジが第２解像度の確率分布図上で２つの点として表示できるように、十分高くなるべきである。

ステップＳ５６０中で、車道線であると判定された線形指示標識に対して、第２解像度確率分布図上で現れる対応線の本数を確定する。

ステップＳ５７０中で、現れる対応線の本数に基づいて、さらに該車道線のタイプを判定する。

それにより、異なる白線本数を含む車道線を区分することができる。

１つの例中で、追加的には、さらに同じ白線本数を含むが線の破実が異なる車道線を区分するために、第２解像度確率分布図上で形同線の本数として現れる車道線に対して、該車道線の階調画像上の特徴により、さらに該車道線のタイプを区別する。

明らかに、破線道路白線と実線道路白線は階調画像上で異なる連続性特徴として現れ、従って、互いに区分することができる。

もう１実施例中で、同じ白線本数の車道線タイプに対して、その連続性が異なる特徴に従って破線と実線を区分することができる。例えば、各本線の密度リストを計算して、この連続性特徴を表すことができる。高解像度角度分布図上の各点の値は、いずれもオリジナル階調画像上の線の累積である。高解像度角度分布図を計算する時、計算しようとする点に対して、累積過程中に記録したこの点はオリジナル階調画像のＸ座標の値に対応し、この点の密度リストを取得し、つまりオリジナル階調画像中に直線が対応する密度リストである。密度リストを利用して白線の精確タイプを判断する。図１５の（ａ）に示すように、原始白線の右エッジは高解像度角度分布図中の１つの点に対応し、矢印付き曲線に示す通りである。この点の密度リストは図１５の（ａ）における右図に示す通りである。この２種の車道線は高解像度角度分布図でいずれも１本の曲線であり、しかし、これらの密度リストは異なり、従って、この２種の１本の白線を有するが虚実が異なる車道線を区分することができる。同理に、ここでは、同じく３本白線を有するほかの２種の車道線を区分することができ、図１５の（ｂ）に示す通りである。これらの中間白線のエッジは異なる密度リストに対応する。

前記第３実施例の道路上の線形指示標識の検出方法により、第一解像度（低解像度）の確率分布図を利用して、道路上の線形指示標識の粗分類を実現することができ、且つ第２解像度（高解像度）の確率分布図を利用して、異なる車道線が概率分布図で現れる線の本数に基づいて、車道線の詳細分類を実現することができる。

＜４、第四実施例：道路上の線形指示標識の計算システムを検出する＞
本発明はさらに１種の道路上の線形指示標識検出用計算システムにより実施することができる。図１６は本発明実施形態の実現に適合する例示的な計算システム６００を示すブロック図である。図１６に示すように、計算システム６００は、ＣＰＵ（中央処理ユニット）６０１、ＲＡＭ（ランダムアクセスメモリ）６０２、ＲＯＭ（読み出し専用メモリ）６０３、システムバス６０４、ハードディスクコントローラ６０５、キーボードコントローラ６０６、シリアルインタフェースコントローラ６０７、並行インタフェースコントローラ６０８、表示コントローラ６０９、ハードディスク６１０、キーボード６１１、シリアル外部設備６１２、並行外部設備６１３及び表示器６１４を備えてもよい。これらの設備中、システムバス６０４にカップリングするものは、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、ハードディスクコントローラ６０５、キーボードコントローラ６０６、シリアルコントローラ６０７、並行コントローラ６０８及び表示コントローラ６０９がある。ハードディスク６１０はハードディスクコントローラ６０５にカップリングし、キーボード６１１はキーボードコントローラ６０６にカップリングし、シリアル外部設備６１２はシリアルインタフェースコントローラ６０７にカップリングし、並行外部設備６１３は並行インタフェースコントローラ６０８にカップリングし、及びディスプレイ６１４は表示コントローラ６０９にカップリングする。図１６に示す構成ブロック図は例示の目的のために過ぎず、本発明範囲を制限するものではないと理解すべきである。ある場合、具体的な状況に応じていくつの設備を増加又は減少させることができる。

当業者は、本発明がシステム、装置、方法又はコンピュータプログラム製品として実現されることが分かる。従って、本発明は下記の形式として実現することができ、即ち、完全なハードウェアであってもよく、完全なソフトウェア（ファームウエア、常駐ソフトウェア、マイクロコード等を備える）であってもよく、さらにハードウェアとソフトウェアの組み合わせ形式であってもよく、本文は普通「回路」、「モジュール」、「装置」又は「システム」である。また、いくつの実施例中に、本発明はさらに１つの又は複数のコンピュータ可読媒体におけるコンピュータプログラム製品の形式として実現することができ、該コンピュータ可読媒体にはコンピュータ可読プログラムコードを備える。

１つの又は複数のコンピュータ可読媒体の任意の組み合わせを採用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は例えば電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又は機器、又は任意以上の組み合わせであってもよいが、それらに限らない。コンピュータ可読記憶媒体のさらならる具体的な例（完全なリストではない）は、１つの又は複数のリード線を有する電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光メモリ、磁気メモリデバイス、又は前記の任意の適切の組み合わせを備える。本文中、コンピュータ可読記憶媒体はいかなる、プロクラムを含む、または記憶する有形媒体であってもよく、該プログラムは命令実行システム、装置又は機器に使用し、又は組み合わせて使用することができる。

コンピュータ可読信号媒体はベースバンド中に含まれてもよく、又は搬送波の一部が伝播するデータ信号としてもよく、その中にコンピュータ可読のプログラムコードを搭載している。この伝播するデータ信号は多種の形式を用いてもよく、電磁信号、光信号又は前記の任意の適切な組み合わせを含むが、それらに限らない。コンピュータ可読の信号媒体はさらにコンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、命令実行システム、装置又は機器に使用され、又は組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

コンピュータ可読媒体に含まれるプログラムコードはいかなる適当な媒体で伝送することができ、無線、電線、光ファイバーケーブル、光ケーブル、ＲＦ等、又は前記任意の適切な組み合わせを含むが、それらに限らない。

１種又は多種プログラミング言語又はその組み合わせで本発明操作実行用コンピュータプログラムコードを作成することができ、前記プログラミング言語は対象に向けるプログラミング言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、さらに通常の手続式型プログラミング言語、例えば「Ｃ」言語又は類似のプログラミング言語を含む。プログラムコードは完全にユーザーコンピュータ上で実行し、一部的にユーザーコンピュータで実行し、１つの独立なソフトウェアパッケージとして実行し、一部がユーザーコンピュータ上で一部がリモートコンピュータ上で実行し、又は完全にリモートコンピュータ又はサーバー上で実行することができる。リモートコンピュータに関する場合、リモートコンピュータは任意種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）又はウィメンズアクションネットワーク（ＷＡＮ）を含む）によりユーザーコンピュータに接続することができ、又は、外部コンピュータ（例えばインターネットサービスプロバイダを利用してインターネットにより接続する）に接続することができる。

以上、本発明の実施例の方法、装置（システム）及びコンピュータプログラム製品のプロセス図及び／又はブロック図を参照しながら本発明を説明した。フローチャート及び／又はブロック図における各ボックス及びプロセス図及び／又はブロック図中における各ボックスの組合せは、いずれもコンピュータプログラム命令により実現することができる。これらのコンピュータプログラム命令は汎用コンピュータ、専用コンピュータ又はほかのプログラマブルデータ処理装置のプロセッサーに提供し、従って１種機器を生産し、これらのコンピュータプログラム命令はコンピュータ又はほかのプログラマブルデータ処理装置により実行され、実現フローチャートが発生し、フローチャート及び／又はブロック図におけるボックス中に所定の機能／操作を実現する装置が発生することが理解すべきである。

これらのコンピュータプログラム命令をコンピュータ又はほかのプログラマブルデータ処理装置を特定形態で稼働させられるコンピュータ可読媒体中に記憶することができ、このようにして、コンピュータ可読媒体中に記憶した命令は１つの実現フローチャート及び／又はブロック図中におけるボックスに所定の機能／操作を含む命令装置（ｉｎｓｔｒｕｃｔｉｏｎ ｍｅａｎｓ）の製造品（ｍａｎｕｆａｃｔｕｒｅ）を生じる。

コンピュータプログラム命令をコンピュータ、ほかのプログラマブルデータ処理装置、又はほかの設備上にローディングしてコンピュータ、ほかのプログラマブルデータ処理装置又はほかの設備上に一連の操作ステップを実行し、コンピュータ実現の過程を発生させ、従って、コンピュータ又はほかのプログラマブル装置上に実行する命令は実現フローチャート及び／又はブロック図におけるボックスに所定の機能／操作を実現する過程を提供することができるようになる。

前述説明は説明用に過ぎず、多くの修正及び／又は取り替えを行うことができる。例えば、前文の説明中に、カメラは車両上に取り付けると説明したが、これは例に過ぎず、本発明を制限するものではなく、カメラはいかなる位置に位置決めすることができ、階調画像と相応な視差マップを得ることが出来る限り、本発明を応用して道路交通環境における道路上の線形指示標識を検出することができる。

また、前文の説明中、道路上の線形指示標識は白い色として説明したが、説明の便宜に想定したのであり、実際上に道路上の線形指示標識の色は制限しない。本発明を利用して道路上の線形指示標識を区分した後、さらにグレー図又はカラー画像上の該線形指示標識の色を介して区分することができる。

前文の説明中、該検出方法は道路上の線形指示標識の区分に応用され、実際上、本発明の検出方法はほかのＵ視差マップで道路消失点に交差する直線形対象、例えば、縁石、道端フェンス等の検出に用いることができる。

図面におけるフローチャートとブロック図は本発明の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示した。この点で、フローチャート又はブロック図における各ボックスは１つのモジュール、ブロック又はコードの一部を代表することができ、前記モジュール、ブロック又はコードの一部は１つの又は複数の所定の論理の機能実現用実行可能な命令を含む。またに注意すべきなのは、いくつかの取り替えとしての実現中に、ボックス中にマークする機能は図面中にマークする順序と異なる順序で発生することができる。例えば、２つの連続的なボックスは実際上に基本的に並行して実行することができ、ある場合、逆の順序で実行することもでき、これは関わる機能に定める。また注意すべきなのは、ブロック図及び／又はフローチャートにおける各ボックス、及びブロック図及び／又はフローチャートにおけるボックスの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現することができ、又は専用ハードウェアとコンピュータ指令の組み合わせで実現することもできる。

以上は、本発明の各実施例を説明したが、前記説明は例示的なものであり、完全なものではなく、且つ披露した各実施例に限らない。説明した各実施例の範囲と趣旨から外れない場合、本技術分野の普通の当業者にとって、多くの修正と変更は容易に相当し得るものである。本文に使用する用語の選択は、最高に各実施例の原理、実際応用又は市場中の技術への改良を解釈し、又は本技術分野のほかの普通の当業者に本文に披露した各実施例を理解させることを目的とする。

Claims (10)

1. 路面領域を含むｕ視差マップを取得すること、
   ｕ視差マップで、道路消失点を確定すること、
   第１所定極点間隔と第１所定極角間隔で表される第１解像度から、道路消失点近傍の所定領域の直線の第１解像度確率分布図を取得すること、及び
   物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定することを含む道路上の線形指示標識の検出方法。
2. 第２所定極点間隔と第２所定極角間隔で表される第２解像度から、道路消失点近傍の所定領域の直線の第２解像度確率分布図を取得し、そのうち、第２解像度が第１解像度より高いこと、
   車道線であると判定された線形指示標識に対して、第２解像度確率分布図上で現れる対応線の本数を確定すること、及び
   現れる対応線の本数に基づいて、該車道線のタイプを判定することをさらに含む請求項１に記載の道路上の線形指示標識の検出方法。
3. 前記のＵ視差マップで道路消失点を確定することは、
   Ｕ視差マップで、各候補道路消失点に対して、候補道路消失点を通過する各直線が存在する確率を計算し、各候補道路消失点を通過する直線の確率分布図を取得し、各直線に対し、対応する候補道路消失点を極点と対応極角として限定することで、各候補道路消失点の直線の確率分布を取得すること、
   各候補道路消失点を通過する各直線が存在する確率に基づいて、各候補道路消失点の直線が存在する確率の分布の重合程度を表す重合度を取得することにより、候補道路消失点の重合度分布を取得すること、及び
   候補道路消失点の重合度分布に基づいて、道路消失点を確定することを含む請求項１に記載の道路上の線形指示標識の検出方法。
4. 前記物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定することは、
   第１解像度確率分布図上の極点が道路消失点に位置しかつ確率が所定閾値より大きい各直線に対して、各直線の極角を確定すること、
   各直線の極角及び物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、第１解像度確率分布図上の前記各直線中に隣接する直線同士の物理世界における実際距離を計算すること、及び
   少なくとも一部が算出された各直線中に隣接する直線同士の物理世界における実際距離に基づいて、異なるタイプの線形指示標識を判定することを含む請求項１に記載の道路上の線形指示標識の検出方法。
5. 第２解像度確率分布図上で同形線の本数として現れる車道線に対して、該車道線の階調画像上の特徴により、さらに該車道線のタイプを区別することをさらに含む請求項２に記載の道路上の線形指示標識の検出方法。
6. 検出された線形指示標識に基づいてプロンプトメッセージを出し、又は自動的に車両の走行をコントロールすることをさらに含む請求項１〜５のいずれかに記載の道路上の線形指示標識の検出方法。
7. 路面領域を含むｕ視差マップを取得するＵ視差マップ取得部と、
   ｕ視差マップで、道路消失点を確定する道路消失点確定部と、
   第１所定極点間隔と第１所定極角間隔で表される第１解像度から、道路消失点近傍の所定領域の直線の第１解像度確率分布図を取得する第１解像度確率分布図取得部と、
   物理世界における互いに平行な直線間の距離と該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定する異なるタイプ線形指示標識区分部と、を備える道路上の線形指示標識の検出装置。
8. 第２所定極点間隔と第２所定極角間隔で表される第２解像度から、道路消失点近傍の所定領域の直線の第２解像度確率分布図を取得し、そのうち、第２解像度が第１解像度より高い第２解像度確率分布図取得部と、
   車道線であると判定された線形指示標識に対して、第２解像度確率分布図上で現れる対応線の本数を確定する車道線対応線本数確定部と、
   現れる対応線の本数に基づいて、さらに該車道線のタイプを判定する車道線タイプ判定部と、をさらに備える請求項７に記載の道路上の線形指示標識の検出装置。
9. 前記道路消失点確定部がｕ視差マップで道路消失点を確定することは、
   Ｕ視差マップで、各候補道路消失点に対して、候補道路消失点を通過する各直線が存在する確率を計算し、各候補道路消失点を通過する直線の確率分布図を取得し、各直線に対し、対応する候補道路消失点を極点と対応極角として限定することで、各候補道路消失点の直線の確率分布を取得すること、
   各候補道路消失点を通過する各直線が存在する確率に基づいて、各候補道路消失点の直線が存在する確率の分布の重合程度を表す重合度を取得することにより、候補道路消失点の重合度分布を取得すること、及び
   候補道路消失点の重合度分布に基づいて、道路消失点を確定することを含む請求項７に記載の道路上の線形指示標識の検出装置。
10. 前記異なるタイプ線形指示標識区分部が物理世界における互いに平行な直線間の距離と該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、異なるタイプの線形指示標識を判定することは、
    第１解像度確率分布図上の極点が道路消失点に位置しかつ確率が所定閾値より大きい各直線に対して、各直線の極角を確定すること、
    各直線の極角及び物理世界における互いに平行な直線間の実際の距離と、該互いに平行な直線の第１解像度確率分布図での対応極角との間の関係に基づいて、第１解像度確率分布図上の前記各直線中に隣接する直線同士の物理世界における実際距離を計算すること、及び
    少なくとも一部が算出された各直線中に隣接する直線同士の物理世界における実際距離に基づいて、異なるタイプの線形指示標識を判定することを含む請求項７に記載の道路上の線形指示標識の検出装置。