JP6856852B2 - 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置 - Google Patents

横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置 Download PDF

Info

Publication number
JP6856852B2
JP6856852B2 JP2020004555A JP2020004555A JP6856852B2 JP 6856852 B2 JP6856852 B2 JP 6856852B2 JP 2020004555 A JP2020004555 A JP 2020004555A JP 2020004555 A JP2020004555 A JP 2020004555A JP 6856852 B2 JP6856852 B2 JP 6856852B2
Authority
JP
Japan
Prior art keywords
coordinates
lane
element candidate
lane element
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004555A
Other languages
English (en)
Other versions
JP2020126609A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
寅洙 金
寅洙 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020126609A publication Critical patent/JP2020126609A/ja
Application granted granted Critical
Publication of JP6856852B2 publication Critical patent/JP6856852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自律走行車両に利用するための方法及び装置に関し；より詳しくは、自律走行車の走行経路を計画するための、車線要素を検出する前記方法及び前記装置に関する。
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークはマシンラーニング（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
一方、イメージセグメンテーション（Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）は、例えばトレーニングイメージあるいはテストイメージを入力として利用して、ラベルイメージを生成する方法である。最近、ディープランニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴び、セグメンテーションにおいてもディープラーニングが多く利用される傾向にある。
最近、ディープＣＮＮにおいてポストプロセッシングがたくさん利用されている。ＣＮＮは、自律走行モジュールにおいて多くの役割を担うが、その一つは入力イメージから一つ以上の車線を検出することである。車線を検出することにより、車両が走行できる余裕空間を検出したり、車両が道路中央をうまく走行できるように適切に調節することができる。
だが、ディープＣＮＮからの結果だけを利用すると、車線検出の効果が低下する場合が多い。したがって、ディープＣＮＮから導き出された結果をポストプロセッシングして、車線を検出する。ところが、各ピクセルが前記車線内に含まれているか否かを決定して車線を検出する場合は、前記車線内に含まれている少なくとも一つの単位領域を設定して車線を検出した場合と比較した際、その結果が良好ではない。
本発明は、前述した問題点を解決することを目的とする。
本発明は、少なくとも一つの横フィルタマスクを利用して、少なくとも一つの入力イメージ内に車線のピクセルを含む一つ以上の単位領域である一つ以上の車線要素を検出することによって一つ以上の車線を容易に検出することを目的とする。
また、本発明は、前記車線要素をより容易に検出するための一つ以上の予測方法を提供することを目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、少なくとも一つの横フィルタマスクを利用して、少なくとも一つの入力イメージ内に位置した一つ以上の車線のピクセルを含む一つ以上の単位領域である一つ以上の車線要素を検出する方法において、（ａ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が前記入力イメージを利用して少なくとも一つのセグメンテーションスコアマップを生成すると、コンピューティング装置がこれを取得する段階；（ｂ）前記コンピューティング装置が、前記ＣＮＮの出力端においてデータプロセッシングを遂行する少なくとも一つのポストプロセッシング（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）モジュールをもって、（ｉ）前記セグメンテーションスコアマップ及び（ｉｉ）多数のフィルタリングパラメータを含む前記横フィルタマスクを利用して、少なくとも一つのマグニチュードマップ（Ｍａｇｎｉｔｕｄｅ ｍａｐ）を生成させる段階；（ｃ）前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記マグニチュードマップの値を参照して前記セグメンテーションスコアマップの各行ごとの一つ以上の車線要素候補群それぞれを決定させる段階；及び（ｄ）前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに一つ以上の予測演算を適用するようにすることにより、それぞれの前記車線要素を検出させる段階；を含むことを特徴とする方法が提供される。
一例として、前記（ｂ）段階で、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの値を、前記横フィルタマスクを利用して変換することにより前記マグニチュードマップを生成させる。
一例として、ｍ×ｎのサイズを有する前記セグメンテーションスコアマップ上の第ｋ行（ｋは、１以上ｎ以下の整数（Ｉｎｔｅｇｅｒ）である）内に含まれた値の座標を（ｘ，ｋ）（ｘは、１以上ｍ以下の整数である）とした場合、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記マグニチュードマップ上の（ｘ，ｋ）の値を算出して前記セグメンテーションスコアマップと同じ大きさを有する前記マグニチュードマップを生成するようにし、（ｉ）ｘが２以上ｍ−１以下の場合、前記横フィルタマスクに含まれた［−１，０，１］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ），（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計それぞれを前記マグニチュードマップ上の（ｘ，ｋ）のそれぞれの値とし、（ｉｉ）ｘが１である場合、前記横フィルタマスクに含まれた［０，１］値をそれぞれ前記セグメンテーションスコアマップ上の（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とし、（ｉｉｉ）ｘがｍである場合、前記横フィルタマスクに含まれた［−１，０］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ）及び（ｘ，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とする。
一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの前記行それぞれに対応する前記マグニチュードマップに含まれている値それぞれの絶対値及び符号を参照して、各前記行ごとの前記車線要素候補群それぞれの初期左側境界座標及び初期右側境界座標を検出させることにより、各前記行ごとの前記車線要素候補群を決定する。
一例として、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、それぞれの調整された左側境界座標及びそれぞれの調整された右側境界座標を参照して、各前記行ごとの拡張車線要素候補群それぞれを決定するようにし、前記それぞれの調整された左側境界座標が各前記行ごとの前記車線要素候補群それぞれの中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期左側境界座標までの距離の所定の倍数に該当するものと決定し、前記それぞれの調整された右側境界座標が各前記行ごとの前記車線要素候補群それぞれの前記中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期右側境界座標までの距離の前記所定の倍数に該当すると決定する。
一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、前記（ｄ）段階において、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）各前記行ごとに第１閾値より大きいそれぞれの前記車線要素候補群の前記セグメンテーションスコアマップ上の値の中の最も大きい値それぞれの座標が、各前記行ごとの前記車線要素候補群それぞれの基準座標に決定されるようにし、（ｉｉ）それぞれの前記基準座標の左側に、第２閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終左側境界座標に決定され、それぞれの前記基準座標の右側に、第３閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終右側境界座標に決定されるようにする、前記予測演算が遂行される。
一例として、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、（ｉ）前記セグメンテーションスコアマップの各前記行ごとの前記車線要素候補群それぞれの値の中の前記第１閾値よりも大きい値の座標をそれぞれの基準座標候補群に決定するようにし、（ｉｉ）それぞれの各前記基準座標候補群の値の中の各値の左側又は右側に位置している値より小さい一部の値を除去するプロセスを繰り返すことにより、それぞれの前記基準座標候補群の値の中の最も大きい値をそれぞれ検出して、前記最も大きい値それぞれに対応するそれぞれの座標を各前記行ごとの前記車線候補群それぞれの前記基準座標として決定させる。
一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、前記（ｄ）段階において、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）予め設定された車線幅に対する情報を参照して、前記セグメンテーションスコアマップの各前記行ごとのそれぞれのサンプル幅が決定され、（ｉｉ）各前記行ごとの前記車線要素候補群それぞれの、前記セグメンテーションスコアマップ上の値を利用して、それぞれの前記サンプル幅に対応する幅を有するそれぞれのサブグループが生成され、（ｉｉｉ）それぞれの前記サブグループ内に含まれていない、前記セグメンテーションスコアマップ上の値の平均と、それぞれの前記サブグループ内に含まれている、前記セグメンテーションスコアマップ上の値の平均との間のそれぞれの差異が算出され、各前記行ごとのそれぞれの代表サブグループが決定され、（ｉｖ）前記代表サブグループそれぞれの左側部分内で、閾値に所定範囲内で近接する値それぞれの座標が最終左側境界座標それぞれとして決定され、前記代表サブグループそれぞれの右側部分内で、前記閾値に所定範囲内で近接する値それぞれの座標が最終右側境界座標それぞれとして決定されるようにする、前記予測演算が遂行される。
一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、前記（ｄ）段階において、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに前記予測演算を適用するようにし、各前記行ごとのそれぞれの前記車線要素候補群の偏差値の合計それぞれが最も大きいそれぞれの最大合計サブアレイ（ｓｕｂａｒｒａｙ）が決定され、それぞれの前記最大合計サブアレイ内のそれぞれの最も左側の座標及びそれぞれの最も右側の座標がそれぞれの最終左側境界座標及びそれぞれの最終右側境界座標として決定されるようにする、前記予測演算が遂行される。
一例として、前記（ｃ）段階で、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、前記（ｄ）段階において、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップに前記予測演算を適用して各前記行ごとの前記車線要素候補群それぞれの最終左側境界座標それぞれ及び最終右側境界座標それぞれを検出するようにし、各前記行ごとの前記車線要素候補群それぞれの前記最終左側境界座標それぞれ及び前記最終右側境界座標それぞれを参照して、それぞれの前記車線要素を生成する。
本発明の他の態様によれば、少なくとも一つの横フィルタマスクを利用して、少なくとも一つの入力イメージ内に位置した一つ以上の車線のピクセルを含む一つ以上の単位領域である一つ以上の車線要素を検出するコンピューティング装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が前記入力イメージを利用して少なくとも一つのセグメンテーションスコアマップを生成すると、前記ＣＮＮの出力端でデータプロセッシングを遂行する少なくとも一つのポストプロセッシングモジュールをもって、（ｉ）前記セグメンテーションスコアマップ及び（ｉｉ）多数のフィルタリングパラメータを含む前記横フィルタマスクを利用して、少なくとも一つのマグニチュードマップ（Ｍａｇｎｉｔｕｄｅ ｍａｐ）を生成させるプロセス、（ＩＩ）前記ポストプロセッシングモジュールをもって、前記マグニチュードマップの値を参照して、前記セグメンテーションスコアマップの各行ごとの一つ以上の車線要素候補群それぞれを決定させるプロセス、及び（ＩＩＩ）前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに一つ以上の予測演算を適用するようにすることにより、それぞれの前記車線要素を検出させるプロセスを遂行するための前記インストラクションを遂行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置が提供される。
一例として、前記（Ｉ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの値を、前記横フィルタマスクを利用して変換することにより前記マグニチュードマップを生成させる。
一例として、ｍ×ｎのサイズを有する前記セグメンテーションスコアマップ上の第ｋ行（ｋは、１以上ｎ以下の整数（Ｉｎｔｅｇｅｒ）である）内に含まれた値の座標を（ｘ，ｋ）（ｘは、１以上ｍ以下の整数である）とした場合、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記マグニチュードマップ上の（ｘ，ｋ）の値を算出して前記セグメンテーションスコアマップと同じ大きさを有する前記マグニチュードマップを生成するようにし、（ｉ）ｘが２以上ｍ−１以下の場合、前記横フィルタマスクに含まれた［−１，０，１］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ），（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計それぞれを前記マグニチュードマップ上の（ｘ，ｋ）のそれぞれの値とし、（ｉｉ）ｘが１である場合、前記横フィルタマスクに含まれた［０，１］値をそれぞれ前記セグメンテーションスコアマップ上の（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とし、（ｉｉｉ）ｘがｍである場合、前記横フィルタマスクに含まれた［−１，０］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ）及び（ｘ，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とする。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの前記行それぞれに対応する前記マグニチュードマップに含まれている値それぞれの絶対値及び符号を参照して、各前記行ごとの前記車線要素候補群それぞれの初期左側境界座標及び初期右側境界座標を検出させることにより各前記行ごとの前記車線要素候補群を決定する。
一例として、前記プロセッサが、前記ポストプロセッシングモジュールをもって、それぞれの調整された左側境界座標及びそれぞれの調整された右側境界座標を参照して、各前記行ごとの拡張車線要素候補群それぞれを決定するようにし、前記それぞれの調整された左側境界座標が各前記行ごとの前記車線要素候補群それぞれの中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期左側境界座標までの距離の所定の倍数に該当するものと決定し、前記それぞれの調整された右側境界座標が各前記行ごとの前記車線要素候補群それぞれの前記中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期右側境界座標までの距離の前記所定の倍数に該当すると決定する。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）前記各前記行ごとに第１閾値より大きいそれぞれの前記車線要素候補群の前記セグメンテーションスコアマップ上の値の中の最も大きい値それぞれの座標が、各前記行ごとの前記車線要素候補群それぞれの基準座標に決定されるようにし、（ｉｉ）それぞれの前記基準座標の左側に、第２閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終左側境界座標に決定され、それぞれの前記基準座標の右側に、第３閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終右側境界座標に決定されるようにする、前記予測演算が遂行される。
一例として、前記プロセッサが、前記ポストプロセッシングモジュールをもって、（ｉ）前記セグメンテーションスコアマップの各前記行ごとの前記車線要素候補群それぞれの値の中の前記第１閾値よりも大きい値の座標をそれぞれの基準座標候補群に決定するようにし、（ｉｉ）各前記基準座標候補群の値の中の各値の左側又は右側に位置している値より小さい一部の値を除去するプロセスを繰り返すことにより、それぞれの前記基準座標候補群の値の中の最も大きい値をそれぞれ検出して、前記最も大きい値それぞれに対応するそれぞれの座標を各前記行ごとの前記車線候補群それぞれの前記基準座標として決定させる。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）予め設定された車線幅に対する情報を参照して、前記セグメンテーションスコアマップの各前記行ごとのそれぞれのサンプル幅が決定され、（ｉｉ）各前記行ごとの前記車線要素候補群それぞれの、前記セグメンテーションスコアマップ上の値を利用して、それぞれの前記サンプル幅に対応する幅を有するそれぞれのサブグループが生成され、（ｉｉｉ）それぞれの前記サブグループ内に含まれていない、前記セグメンテーションスコアマップ上の値の平均と、それぞれの前記サブグループ内に含まれている、前記セグメンテーションスコアマップ上の値の平均との間のそれぞれの差異が算出され、各前記行ごとのそれぞれの代表サブグループが決定され、（ｉｖ）前記代表サブグループそれぞれの左側部分内で、閾値に所定範囲内で近接する値それぞれの座標が最終左側境界座標それぞれとして決定され、前記代表サブグループそれぞれの右側部分内で、前記閾値に所定範囲内で近接する値それぞれの座標が最終右側境界座標それぞれとして決定されるようにする、前記予測演算が遂行される。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに前記予測演算を適用するようにし、各前記行ごとのそれぞれの前記車線要素候補群の偏差値の合計それぞれが最も大きいそれぞれの最大合計サブアレイ（ｓｕｂａｒｒａｙ）が決定され、それぞれの前記最大合計サブアレイ内のそれぞれの最も左側の座標及びそれぞれの最も右側の座標がそれぞれの最終左側境界座標及びそれぞれの最終右側境界座標として決定されるようにする、前記予測演算が遂行される。
一例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップに前記予測演算を適用して各前記行ごとの前記車線要素候補群それぞれの最終左側境界座標それぞれ及び最終右側境界座標それぞれを検出するようにし、各前記行ごとの前記車線要素候補群それぞれの前記最終左側境界座標それぞれ及び前記最終右側境界座標それぞれを参照して、それぞれの前記車線要素を生成する。
本発明は、横フィルタマスクを利用して入力イメージ上の車線ピクセルを含む単位領域である車線要素を検出することにより、車線検出がさらに容易に行われるようにする効果がある。
また、本発明は、車線要素をより容易に検出するための予測方法を提供する効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
少なくとも一つの横フィルタマスクを利用して、少なくとも一つの入力イメージ内に位置した一つ以上の車線のピクセルを含む一つ以上の単位領域である一つ以上の車線要素を検出するコンピューティング装置の構成を示した図面である。 本発明の一例に係る前記車線要素を検出するプロセスを示すフローチャートである。 本発明の一例に係る少なくとも一つのセグメンテーションスコアマップ、横フィルタマスク及び少なくとも一つのマグニチュードマップを示した例示図面である。 本発明の一例に係る車線要素候補群を示した例示図面である。 本発明の一例に係る前記車線要素を示した例示図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、少なくとも一つの横フィルタマスクを利用して、少なくとも一つの入力イメージ内に位置した一つ以上の車線のピクセルを含む一つ以上の単位領域である一つ以上の車線要素を検出するコンピューティング装置の構成を示した図面である。
図１を参照すれば、前記コンピューティング装置１００は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）２００及びポストプロセッシングモジュール３００を含み得る。
前記ＣＮＮ２００及び前記ポストプロセッシングモジュール３００の入出力過程及び演算過程はそれぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０及び前記プロセッサ１２０の具体的な連結関係を省略した。また、前記学習装置は、後述されるプロセスを遂行するためのコンピュータ読取り可能な命令語を格納できるメモリ１１５を追加的に含み得る。一例として、プロセッサ、メモリ、媒体（ｍｅｄｉｕｍ）等は、一つのプロセッサに統合されて機能することもできる。
以上、本発明の前記横フィルタマスクを利用して、前記入力イメージ内に含まれた前記車線の前記ピクセルを含む前記単位領域である前記車線要素を検出する方法を遂行する前記コンピューティング装置１００の構成を説明したところ、本発明に係る前記車線要素を検出する前記方法について図２を参照して説明する。
図２は、本発明の一例に係る前記車線要素を検出するプロセスを示すフローチャートである。
図２を参照すれば、前記ＣＮＮ２００が前記入力イメージから少なくとも一つのセグメンテーションスコアマップを生成すると、前記通信部１１０がこれを取得できる（Ｓ０１）。この後、前記ポストプロセッシングモジュール３００が前記セグメンテーションスコアマップ及び前記横フィルタマスクを利用して少なくとも一つのマグニチュードマップ（ｍａｇｎｉｔｕｄｅ ｍａｐ）を生成することができる（Ｓ０２）。その後、前記ポストプロセッシングモジュール３００が、前記マグニチュードマップの値を参照して、前記セグメンテーションスコアマップの各行ごとの一つ以上の車線要素候補群それぞれを決定することができる（Ｓ０３）。最後に、前記ポストプロセッシングモジュールは、各前記行ごとの前記車線要素候補群それぞれに一つ以上の予測演算を適用することにより一つ以上の車線要素を検出することができる（Ｓ０４）。
図２に示した本発明の一例に係る前記車線要素を検出する前記方法を調べたところ、これをより具体的に説明することにする。
まず、前記ＣＮＮ２００が前記入力イメージから前記セグメンテーションスコアマップを生成すると、前記コンピューティング装置１００がこれを取得できる。
前記セグメンテーションスコアマップは、前記ＣＮＮ２００によって前記入力イメージに少なくとも一つのコンボリューション演算及び少なくとも一つのデコンボリューション演算が適用されることによって生成され得る。
その後、前記コンピューティング装置１００が、前記ＣＮＮ２００の出力端でデータプロセッシングを遂行する前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップ及び多数のフィルタリングパラメータを含む前記横フィルタマスクを利用して、前記マグニチュードマップを生成するようにすることができる。
前記横フィルタマスクの役割は、前記セグメンテーションスコアマップに含まれている値を変換することにより、前記変換された値が含まれた前記マグニチュードマップを生成することである。前記横フィルタマスクは、［−１，０，１］の行列の形であり得るが、これに限定されるものではない。
本発明に係る、［−１，０，１］の形の前記横フィルタマスクを利用して前記マグニチュードマップを生成するプロセスを探るために、図３を参照する。
図３は、本発明の一例に係る前記セグメンテーションスコアマップ、前記横フィルタマスク及び前記マグニチュードマップを示した例示図面である。
図３を参照すれば、前記セグメンテーションスコアマップ３１０の値と前記マグニチュードマップ３３０の値が１対１対応することがわかる。例えば、前記セグメンテーションスコアマップ３１０上で点線長方形に表示された値である０．３５５８と前記マグニチュードマップ３３０上で点線長方形に表示された値である０．９９４が互いに対応することがわかる。また、前記セグメンテーションスコアマップ３１０に前記横フィルタマスク３２０を利用した一つ以上の演算を適用して前記マグニチュードマップ３３０が生成されることがわかる。
前記マグニチュードマップの値を生成するプロセスを説明するために、前記セグメンテーションスコアマップはｍ×ｎのサイズを有し、前記セグメンテーションスコアマップ上の第ｋ行（ｋは、１以上ｎ以下の整数（Ｉｎｔｅｇｅｒ）である）内に含まれた値の座標を（ｘ，ｋ）（ｘは、１以上ｍ以下の整数である）と想定できるであろう。
ここで、（ｉ）ｘが２以上ｍ−１以下である場合、前記横フィルタマスクに含まれた［−１，０，１］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ），（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計それぞれを前記マグニチュードマップ上の（ｘ，ｋ）のそれぞれの値とする。（ｉｉ）ｘが１である場合、前記横フィルタマスクに含まれた［０，１］値をそれぞれ前記セグメンテーションスコアマップ上の（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とする。（ｉｉｉ）ｘがｍである場合、前記横フィルタマスクに含まれた［−１，０］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ）及び（ｘ，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とする。
このようなプロセスを遂行することは、前記車線の境界を予測するためである。理想的な場合、前記セグメンテーションスコアマップの値は、車線ではなくピクセルで０、前記車線の前記ピクセルで１として現れるであろう。この際、前記横フィルタマスクを利用して前記マグニチュードマップの値を計算すると、前記車線の左側境界では（−１，０，１）・（０，１，１）＝１で計算され得、前記車線の右側の境界では（−１，０，１）・（１，１，０）＝−１で計算され得るであろう。前記マグニチュードマップの値は、前記車線の内部で（−１，０，１）・（１，１，１）＝０で計算され得、前記車線の外部では（−１，０，１）・（０，０，０）＝０で計算され得るであろう。結局、前記マグニチュードマップ上で絶対値の大きい値が導き出される場合、これに対応するピクセルが前記車線の境界のピクセルとして決定されるであろう。また、その符号を確認することで、左側境界であるか、それとも右側境界であるかを確認できるのである。
図３を再び参照すれば、前記マグニチュードマップ３３０上で点線長方形に表示された値である０．９９４は、前記説明したとおり（−１，０，１）・（１．７７e−０４，０．３５５８，０．９９４２）＝０．９９４のように計算されたことが分かる。この際、１に近接した前記マグニチュードマップの値は点線で表現され、−１に近接する前記マグニチュードマップの値は実線で表現された、前記マグニチュードマップ３３０を視覚化した図面を参照して前記車線境界がうまく検出されたことがわかる。
前述の方式によって、前記車線の前記予測された境界を示す前記マグニチュードマップが生成されれば、前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、前記マグニチュードマップの値を参照して前記セグメンテーションスコアマップの各前記行ごとの前記車線要素候補群それぞれを決定するようにすることができる。
この際、前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、前記セグメンテーションスコアマップの前記行それぞれに対応する前記マグニチュードマップの値それぞれの絶対値及び符号それぞれを参照して、各前記行ごとの前記車線要素候補群それぞれの初期左側境界座標及び初期右側境界座標それぞれを検出するようにすることにより、各前記行ごとの前記車線要素候補群それぞれを決定する。
図３を例に挙げて説明すると、前記マグニチュードマップ３３０の真ん中の行の値は、１．７６E−０４，０．３５５８，０．９９４，及び０．６４４１である。これらの値は車線の左側境界に対応する値であるため正数（ｐｏｓｉｔｉｖｅ ｎｕｍｂｅｒ）で表現され、前記マグニチュードマップ３３０上で１に近接する最も大きい値は前記左側境界と近いピクセルに対応する。右側境界のピクセルに対応する値の場合、絶対値はこれと似ているが、代わりにその値は負数（ｎｅｇａｔｉｖｅ ｎｕｍｂｅｒ）であろう。
この際、前記ポストプロセッシングモジュール３００は、前記マグニチュードマップの値の絶対値を順番に参照して行ごとの最大値を決定する。図３の前記マグニチュードマップ３３０で０．９９４は、前記行ごとの最大値の一つである。前記行ごとの最大値は、前記車線要素候補群の前記初期左側境界座標及び前記初期右境界座標に対応し、その符号によって前記初期左境界座標に対応するか、それとも前記初期右側境界座標に対応するかが決定される。前記マグニチュードマップの前記行ごとの最大値が正数である場合、この行ごとの最大値は、前記初期左側境界座標に対応し、前記マグニチュードマップの前記行ごとの最大値が負数である場合、この行ごとの最大値は、前記初期右側境界座標に対応する。図３で、０．９９４に対応する前記セグメンテーションスコアマップ３１０上の位置が前記初期左側境界座標の中の一つになるであろう。このように、それぞれの前記左側境界座標と各前記右側境界座標を検出することにより、各前記行ごとの車線要素候補群それぞれが決定され得るのである。
一方、前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、それぞれの調整された左側境界座標及びそれぞれの調整された右側境界座標を参照して、各前記行ごとの拡張車線要素候補群それぞれを決定するようにし、前記それぞれの調整された左側境界座標が各前記行ごとの前記車線要素候補群それぞれの中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期左側境界座標までの距離の所定の倍数に該当するものと決定し、前記それぞれの調整された右側境界座標が各前記行ごとの前記車線要素候補群それぞれの前記中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期右側境界座標までの距離の前記所定の倍数に該当すると決定する。図４は、このような拡張車線要素候補群の例示である。
図４を参照すれば、実際の車線の領域よりさらに広く前記拡張車線要素候補群が決定されたことが分かる。前記車線要素候補群を決定することで、後述されるプロセスによってより正確に前記車線要素が検出することができる。
前記車線要素候補群が決定されると、前記コンピューティング装置１００が前記ポストプロセッシングモジュール３００をもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにすることでそれぞれの前記車線要素を検出することができる。
前記予測演算の場合、様々な方法が適用され得る。本文では、例示的に３つの方法が提示されるはずだが、もちろんこれに限られるものではない。
まず、前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、各前記行ごとの前記車線要素候補群それぞれに前記予測演算を適用するようにし、（ｉ）前記各前記行ごとに第１閾値より大きいそれぞれの前記車線要素候補群の前記セグメンテーションスコアマップ上の値の中の最も大きい値それぞれの座標が、各前記行ごとの前記車線要素候補群それぞれの基準座標に決定されるようにし、（ｉｉ）それぞれの前記基準座標の左側に、第２閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終左側境界座標に決定され、それぞれの前記基準座標の右側に、第３閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終右側境界座標に決定されるようにする、前記予測演算が遂行される。前記第２閾値と前記第３閾値は同一であり得るが、これに限らない。
基本的に前記セグメンテーションスコアマップ上の前記値それぞれは、それに対応するピクセルが前記車線のピクセルの一つである確率それぞれを示す。従って、大きい確率値に対応する座標を参照して前記車線がより正確に検出され得ることが予想される。
ただし、前記セグメンテーションスコアマップ上の値が有し得る最大値が１であるため、各前記行ごとのそれぞれの前記車線要素候補群の値の中で最も大きさが大きい値に対応する座標が複数個であり得る。この際、それぞれの前記車線要素候補群の真ん中に位置するそれぞれの座標がそれぞれの前記基準座標として検出されるであろう。
それぞれの前記車線要素候補群のそれぞれの前記基準座標を検出するために最も大きい値を見つける方法は様々ある。前記最も大きい値を見つける例示的な方法を次に説明する。
前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、前記セグメンテーションスコアマップの各前記行ごとの前記車線要素候補群それぞれの値の中の前記第１閾値よりも大きい値の座標をそれぞれの基準座標候補群に決定するようにする。その後、前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、それぞれの各前記基準座標候補群の値の中の各値の左側又は右側に位置している値より小さい一部の値を除去するプロセスを繰り返すことにより、それぞれの前記基準座標候補群の値の中の最も大きい値をそれぞれ検出して、前記最も大きい値それぞれに対応するそれぞれの座標を各前記行ごとの前記車線候補群それぞれの前記基準座標として決定するようにする。
次に、前記予測演算の他の例を説明する。前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、予め設定された車線幅に対する情報を参照して、前記セグメンテーションスコアマップの各前記行ごとのそれぞれのサンプル幅を決定するようにする。そして、各前記行ごとの前記車線要素候補群それぞれの、前記セグメンテーションスコアマップ上の値を利用して、それぞれの前記サンプル幅に対応する幅を有するそれぞれのサブグループが生成され、それぞれの前記サブグループ内に含まれていない、前記セグメンテーションスコアマップ上の値の平均と、それぞれの前記サブグループ内に含まれている、前記セグメンテーションスコアマップ上の値の平均との間のそれぞれの差異が算出され、各前記行ごとのそれぞれの代表サブグループが決定される。また、前記代表サブグループそれぞれの左側部分内で、閾値に所定範囲内で近接する値それぞれの座標が最終左側境界座標それぞれとして決定され、前記代表サブグループそれぞれの右側部分内で、前記閾値に所定範囲内で近接する値それぞれの座標が前記最終右側境界座標それぞれとして決定される。
それぞれの前記サブグループ内に含まれていない、前記セグメンテーションスコアマップ上の値の平均と、それぞれの前記サブグループ内に含まれている、前記セグメンテーションスコアマップ上の値の平均との間のそれぞれの差異が最も大きいグループがそれぞれの前記代表サブグループとして決定される。そのため、前記車線は、前記車線に対応する１に近接した値を、前記車線に対応しない０に近接した値から区分して、さらに正確に検出することができる。これと類似した方式で、前記代表サブグループ内に含まれる値の分散が最も小さくなるように前記代表サブグループを決定し、これにより前記車線のピクセルを前記車線ではないピクセルと区分して、前記車線が検出され得る。
次に、前記予測演算のまた他の例を説明する。前記コンピューティング装置１００が、前記ポストプロセッシングモジュール３００をもって、各前記行ごとの前記車線要素候補群それぞれに前記予測演算を適用するようにし、各前記行ごとのそれぞれの前記車線要素候補群の偏差値の合計それぞれが最も大きいそれぞれの最大合計サブアレイ（ｓｕｂａｒｒａｙ）が決定され、それぞれの前記最大合計サブアレイ内のそれぞれの最も左側の座標及びそれぞれの最も右側の座標がそれぞれの前記最終左側境界座標及びそれぞれの前記最終右側境界座標として決定されるようにする、前記予測演算が行われ得る。
すなわち、それぞれの前記車線要素候補群のそれぞれの前記偏差値は、各前記行ごとの前記車線要素候補群それぞれの値から前記車線要素候補群それぞれに含まれた値の平均をそれぞれ除いた値であり、それぞれの前記最大合計サブアレイは、それぞれの前記車線要素候補群のそれぞれの前記偏差値を参照して決定される。それぞれの前記平均は、前記車線に対応する値と前記車線に対応しない値の中間値で算出されるはずなので、それぞれの前記偏差は正数である。そのため、前記車線のピクセルは、それぞれの前記最大合計サブアレイによってグルーピング（ｇｒｏｕｐｉｎｇ）され得る。
前記最大合計サブアレイは、カデインアルゴリズム（Ｋａｄａｎｅ’ｓ ａｌｇｏｒｉｔｈｍ）を利用して決定できるが、これに限るものではない。
前記のような方式により前記予測演算を適用して、各前記行ごとの前記車線要素候補群それぞれの前記最終左側境界座標それぞれ及び前記最終右側境界座標それぞれが検出されることにより、それぞれの前記車線要素が生成され得る。前記車線要素とは何かを説明するため、図５を参照する。
図５は、本発明の一例に係る前記車線要素を示した例示図面である。図５を参照すれば、前記車線要素は、前記入力イメージ内の前記車線のピクセルを含む単位領域であることが分かる。さらに具体的には、それぞれの前記車線要素は入力イメージをX軸方向に切断した場合、切断された前記車線のピクセルを含むそれぞれの前記単位領域であることがわかる。
それぞれの前記車線要素は、その中心座標、右側及び左側境界座標、幅等の情報を含む。それぞれの前記車線要素の中心座標、右側及び左側境界座標、幅等の情報は、前記最終左側境界座標それぞれ及び前記最終右側境界座標それぞれを参照して生成され得るので、前述した本発明の方式によって車線要素が検出され得るものである。
各前記行ごとのそれぞれの前記車線要素が検出される際、これをグルーピング及びトレーシング（ｔｒａｃｉｎｇ）することで、より正確に前記車線を検出することができる。
本発明により車線を検出することにより、走行経路を自律走行車に最適化することができる。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ及び原本レーブル及び追加レーブルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持され得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (20)

  1. 少なくとも一つの横フィルタマスクを利用して、少なくとも一つの入力イメージ内に位置した一つ以上の車線のピクセルを含む一つ以上の単位領域である一つ以上の車線要素を検出する方法において、
    （ａ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が前記入力イメージを利用して少なくとも一つのセグメンテーションスコアマップを生成すると、コンピューティング装置がこれを取得する段階；
    （ｂ）前記コンピューティング装置が、前記ＣＮＮの出力端においてデータプロセッシングを遂行する少なくとも一つのポストプロセッシング（ｐｏｓｔ−ｐｒｏｃｅｓｓｉｎｇ）モジュールをもって、（ｉ）前記セグメンテーションスコアマップ及び（ｉｉ）多数のフィルタリングパラメータを含む前記横フィルタマスクを利用して、少なくとも一つのマグニチュードマップ（Ｍａｇｎｉｔｕｄｅ ｍａｐ）を生成させる段階；
    （ｃ）前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記マグニチュードマップの値を参照して前記セグメンテーションスコアマップの各行ごとの一つ以上の車線要素候補群それぞれを決定させる段階；及び
    （ｄ）前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに一つ以上の予測演算を適用するようにすることにより、それぞれの前記車線要素を検出させる段階；
    を含むことを特徴とする方法。
  2. 前記（ｂ）段階で、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの値を、前記横フィルタマスクを利用して変換することにより前記マグニチュードマップを生成させることを特徴とする請求項１に記載の方法。
  3. ｍ×ｎのサイズを有する前記セグメンテーションスコアマップ上の第ｋ行（ｋは、１以上ｎ以下の整数（Ｉｎｔｅｇｅｒ）である）内に含まれた値の座標を（ｘ，ｋ）（ｘは、１以上ｍ以下の整数である）とした場合、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記マグニチュードマップ上の（ｘ，ｋ）の値を算出して前記セグメンテーションスコアマップと同じ大きさを有する前記マグニチュードマップを生成するようにし、
    （ｉ）ｘが２以上ｍ−１以下の場合、前記横フィルタマスクに含まれた［−１，０，１］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ），（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計それぞれを前記マグニチュードマップ上の（ｘ，ｋ）のそれぞれの値とし、
    （ｉｉ）ｘが１である場合、前記横フィルタマスクに含まれた［０，１］値をそれぞれ前記セグメンテーションスコアマップ上の（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とし、
    （ｉｉｉ）ｘがｍである場合、前記横フィルタマスクに含まれた［−１，０］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ）及び（ｘ，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とすることを特徴とする請求項２に記載の方法。
  4. 前記（ｃ）段階で、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの前記行それぞれに対応する前記マグニチュードマップに含まれている値それぞれの絶対値及び符号を参照して、各前記行ごとの前記車線要素候補群それぞれの初期左側境界座標及び初期右側境界座標を検出させることにより、各前記行ごとの前記車線要素候補群を決定することを特徴とする請求項１に記載の方法。
  5. 前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、それぞれの調整された左側境界座標及びそれぞれの調整された右側境界座標を参照して、各前記行ごとの拡張車線要素候補群それぞれを決定するようにし、前記それぞれの調整された左側境界座標が各前記行ごとの前記車線要素候補群それぞれの中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期左側境界座標までの距離の所定の倍数に該当するものと決定し、前記それぞれの調整された右側境界座標が各前記行ごとの前記車線要素候補群それぞれの前記中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期右側境界座標までの距離の前記所定の倍数に該当すると決定することを特徴とする請求項４に記載の方法。
  6. 前記（ｃ）段階で、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、
    前記（ｄ）段階において、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）各前記行ごとに第１閾値より大きいそれぞれの前記車線要素候補群の前記セグメンテーションスコアマップ上の値の中の最も大きい値それぞれの座標が、各前記行ごとの前記車線要素候補群それぞれの基準座標に決定されるようにし、（ｉｉ）それぞれの前記基準座標の左側に、第２閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終左側境界座標に決定され、それぞれの前記基準座標の右側に、第３閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終右側境界座標に決定されるようにする、前記予測演算が遂行されることを特徴とする請求項１に記載の方法。
  7. 前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、（ｉ）前記セグメンテーションスコアマップの各前記行ごとの前記車線要素候補群それぞれの値の中の前記第１閾値よりも大きい値の座標をそれぞれの基準座標候補群に決定するようにし、（ｉｉ）それぞれの各前記基準座標候補群の値の中の各値の左側又は右側に位置している値より小さい一部の値を除去するプロセスを繰り返すことにより、それぞれの前記基準座標候補群の値の中の最も大きい値をそれぞれ検出して、前記最も大きい値それぞれに対応するそれぞれの座標を各前記行ごとの前記車線候補群それぞれの前記基準座標として決定させることを特徴とする請求項６に記載の方法。
  8. 前記（ｃ）段階で、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、
    前記（ｄ）段階において、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）予め設定された車線幅に対する情報を参照して、前記セグメンテーションスコアマップの各前記行ごとのそれぞれのサンプル幅が決定され、（ｉｉ）各前記行ごとの前記車線要素候補群それぞれの、前記セグメンテーションスコアマップ上の値を利用して、それぞれの前記サンプル幅に対応する幅を有するそれぞれのサブグループが生成され、（ｉｉｉ）それぞれの前記サブグループ内に含まれていない、前記セグメンテーションスコアマップ上の値の平均と、それぞれの前記サブグループ内に含まれている、前記セグメンテーションスコアマップ上の値の平均との間のそれぞれの差異が算出され、各前記行ごとのそれぞれの代表サブグループが決定され、（ｉｖ）前記代表サブグループそれぞれの左側部分内で、閾値に所定範囲内で近接する値それぞれの座標が最終左側境界座標それぞれとして決定され、前記代表サブグループそれぞれの右側部分内で、前記閾値に所定範囲内で近接する値それぞれの座標が最終右側境界座標それぞれとして決定されるようにする、前記予測演算が遂行されることを特徴とする請求項１に記載の方法。
  9. 前記（ｃ）段階で、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、
    前記（ｄ）段階において、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに前記予測演算を適用するようにし、各前記行ごとのそれぞれの前記車線要素候補群の偏差値の合計それぞれが最も大きいそれぞれの最大合計サブアレイ（ｓｕｂａｒｒａｙ）が決定され、それぞれの前記最大合計サブアレイ内のそれぞれの最も左側の座標及びそれぞれの最も右側の座標がそれぞれの最終左側境界座標及びそれぞれの最終右側境界座標として決定されるようにする、前記予測演算が遂行されることを特徴とする請求項１に記載の方法。
  10. 前記（ｃ）段階で、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、
    前記（ｄ）段階において、
    前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップに前記予測演算を適用して各前記行ごとの前記車線要素候補群それぞれの最終左側境界座標それぞれ及び最終右側境界座標それぞれを検出するようにし、各前記行ごとの前記車線要素候補群それぞれの前記最終左側境界座標それぞれ及び前記最終右側境界座標それぞれを参照して、それぞれの前記車線要素を生成することを特徴とする請求項１に記載の方法。
  11. 少なくとも一つの横フィルタマスクを利用して、少なくとも一つの入力イメージ内に位置した一つ以上の車線のピクセルを含む一つ以上の単位領域である一つ以上の車線要素を検出するコンピューティング装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が前記入力イメージを利用して少なくとも一つのセグメンテーションスコアマップを生成すると、前記ＣＮＮの出力端でデータプロセッシングを遂行する少なくとも一つのポストプロセッシングモジュールをもって、（ｉ）前記セグメンテーションスコアマップ及び（ｉｉ）多数のフィルタリングパラメータを含む前記横フィルタマスクを利用して、少なくとも一つのマグニチュードマップ（Ｍａｇｎｉｔｕｄｅ ｍａｐ）を生成させるプロセス、（ＩＩ）前記ポストプロセッシングモジュールをもって、前記マグニチュードマップの値を参照して、前記セグメンテーションスコアマップの各行ごとの一つ以上の車線要素候補群それぞれを決定させるプロセス、及び（ＩＩＩ）前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに一つ以上の予測演算を適用するようにすることにより、それぞれの前記車線要素を検出させるプロセスを遂行するための前記インストラクションを遂行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とするコンピューティング装置。
  12. 前記（Ｉ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの値を、前記横フィルタマスクを利用して変換することにより前記マグニチュードマップを生成させることを特徴とする請求項１１に記載のコンピューティング装置。
  13. ｍ×ｎのサイズを有する前記セグメンテーションスコアマップ上の第ｋ行（ｋは、１以上ｎ以下の整数（Ｉｎｔｅｇｅｒ）である）内に含まれた値の座標を（ｘ，ｋ）（ｘは、１以上ｍ以下の整数である）とした場合、前記コンピューティング装置が、前記ポストプロセッシングモジュールをもって、前記マグニチュードマップ上の（ｘ，ｋ）の値を算出して前記セグメンテーションスコアマップと同じ大きさを有する前記マグニチュードマップを生成するようにし、
    （ｉ）ｘが２以上ｍ−１以下の場合、前記横フィルタマスクに含まれた［−１，０，１］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ），（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計それぞれを前記マグニチュードマップ上の（ｘ，ｋ）のそれぞれの値とし、
    （ｉｉ）ｘが１である場合、前記横フィルタマスクに含まれた［０，１］値をそれぞれ前記セグメンテーションスコアマップ上の（ｘ，ｋ）及び（ｘ＋１，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とし、
    （ｉｉｉ）ｘがｍである場合、前記横フィルタマスクに含まれた［−１，０］値を前記セグメンテーションスコアマップ上の（ｘ−１，ｋ）及び（ｘ，ｋ）の値にそれぞれ乗じて生成されたそれぞれの要素ごとの乗算結果の要素の合計を前記マグニチュードマップ上の（ｘ，ｋ）の値とすることを特徴とする請求項１２に記載のコンピューティング装置。
  14. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップの前記行それぞれに対応する前記マグニチュードマップに含まれている値それぞれの絶対値及び符号を参照して、各前記行ごとの前記車線要素候補群それぞれの初期左側境界座標及び初期右側境界座標を検出させることにより各前記行ごとの前記車線要素候補群を決定することを特徴とする請求項１１に記載のコンピューティング装置。
  15. 前記プロセッサが、前記ポストプロセッシングモジュールをもって、それぞれの調整された左側境界座標及びそれぞれの調整された右側境界座標を参照して、各前記行ごとの拡張車線要素候補群それぞれを決定するようにし、前記それぞれの調整された左側境界座標が各前記行ごとの前記車線要素候補群それぞれの中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期左側境界座標までの距離の所定の倍数に該当するものと決定し、前記それぞれの調整された右側境界座標が各前記行ごとの前記車線要素候補群それぞれの前記中心から離れた距離が、各前記行ごとの前記車線要素候補群それぞれの前記中心からそれぞれの前記初期右側境界座標までの距離の前記所定の倍数に該当すると決定することを特徴とする請求項１４に記載のコンピューティング装置。
  16. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）前記各前記行ごとに第１閾値より大きいそれぞれの前記車線要素候補群の前記セグメンテーションスコアマップ上の値の中の最も大きい値それぞれの座標が、各前記行ごとの前記車線要素候補群それぞれの基準座標に決定されるようにし、（ｉｉ）それぞれの前記基準座標の左側に、第２閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終左側境界座標に決定され、それぞれの前記基準座標の右側に、第３閾値に所定範囲内で近接する値それぞれの座標がそれぞれの最終右側境界座標に決定されるようにする、前記予測演算が遂行されることを特徴とする請求項１１に記載のコンピューティング装置。
  17. 前記プロセッサが、前記ポストプロセッシングモジュールをもって、（ｉ）前記セグメンテーションスコアマップの各前記行ごとの前記車線要素候補群それぞれの値の中の前記第１閾値よりも大きい値の座標をそれぞれの基準座標候補群に決定するようにし、（ｉｉ）各前記基準座標候補群の値の中の各値の左側又は右側に位置している値より小さい一部の値を除去するプロセスを繰り返すことにより、それぞれの前記基準座標候補群の値の中の最も大きい値をそれぞれ検出して、前記最も大きい値それぞれに対応するそれぞれの座標を各前記行ごとの前記車線候補群それぞれの前記基準座標として決定させることを特徴とする請求項１６に記載のコンピューティング装置。
  18. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記車線要素候補群それぞれの初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとのそれぞれの前記車線要素候補群を決定するようにし、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに予測演算を適用するようにし、（ｉ）予め設定された車線幅に対する情報を参照して、前記セグメンテーションスコアマップの各前記行ごとのそれぞれのサンプル幅が決定され、（ｉｉ）各前記行ごとの前記車線要素候補群それぞれの、前記セグメンテーションスコアマップ上の値を利用して、それぞれの前記サンプル幅に対応する幅を有するそれぞれのサブグループが生成され、（ｉｉｉ）それぞれの前記サブグループ内に含まれていない、前記セグメンテーションスコアマップ上の値の平均と、それぞれの前記サブグループ内に含まれる、前記セグメンテーションスコアマップ上の値の平均との間のそれぞれの差異が算出され、各前記行ごとのそれぞれの代表サブグループが決定され、（ｉｖ）前記代表サブグループそれぞれの左側部分内で、閾値に所定範囲内で近接する値それぞれの座標が最終左側境界座標それぞれとして決定され、前記代表サブグループそれぞれの右側部分内で、前記閾値に所定範囲内で近接する値それぞれの座標が最終右側境界座標それぞれとして決定されるようにする、前記予測演算が遂行されることを特徴とする請求項１１に記載のコンピューティング装置。
  19. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、各前記行ごとの前記車線要素候補群それぞれに前記予測演算を適用するようにし、各前記行ごとのそれぞれの前記車線要素候補群の偏差値の合計それぞれが最も大きいそれぞれの最大合計サブアレイ（ｓｕｂａｒｒａｙ）が決定され、それぞれの前記最大合計サブアレイ内のそれぞれの最も左側の座標及びそれぞれの最も右側の座標がそれぞれの最終左側境界座標及びそれぞれの最終右側境界座標として決定されるようにする、前記予測演算が遂行されることを特徴とする請求項１１に記載のコンピューティング装置。
  20. 前記（ＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、ぞれぞれの前記車線要素候補群の初期左側境界座標それぞれ及び初期右側境界座標それぞれを検出することにより、各前記行ごとの前記車線要素候補群それぞれを決定するようにし、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサが、前記ポストプロセッシングモジュールをもって、前記セグメンテーションスコアマップに前記予測演算を適用して各前記行ごとの前記車線要素候補群それぞれの最終左側境界座標それぞれ及び最終右側境界座標それぞれを検出するようにし、各前記行ごとの前記車線要素候補群それぞれの前記最終左側境界座標それぞれ及び前記最終右側境界座標それぞれを参照して、それぞれの前記車線要素を生成することを特徴とする請求項１１に記載のコンピューティング装置。
JP2020004555A 2019-01-31 2020-01-15 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置 Active JP6856852B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/263,123 US10373004B1 (en) 2019-01-31 2019-01-31 Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
US16/263,123 2019-01-31

Publications (2)

Publication Number Publication Date
JP2020126609A JP2020126609A (ja) 2020-08-20
JP6856852B2 true JP6856852B2 (ja) 2021-04-14

Family

ID=67477497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004555A Active JP6856852B2 (ja) 2019-01-31 2020-01-15 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置

Country Status (5)

Country Link
US (1) US10373004B1 (ja)
EP (1) EP3690706A1 (ja)
JP (1) JP6856852B2 (ja)
KR (1) KR102224778B1 (ja)
CN (1) CN111507154B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648527B (zh) * 2019-08-20 2021-05-11 浙江工业大学 一种基于深度学习模型的交通速度预测方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194927B2 (en) * 2008-07-18 2012-06-05 GM Global Technology Operations LLC Road-lane marker detection using light-based sensing technology
KR101225626B1 (ko) * 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
TWI438729B (zh) * 2011-11-16 2014-05-21 Ind Tech Res Inst 車道偏移警示方法及系統
DE102012111010A1 (de) * 2012-11-15 2014-06-12 Eads Deutschland Gmbh Verfahren und Vorrichtung zur bildgestützten Landebahnlokalisierung
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
CN108268866B (zh) * 2016-12-30 2020-07-10 纵目科技（上海）股份有限公司 一种车辆检测方法和系统
US10670416B2 (en) * 2016-12-30 2020-06-02 DeepMap Inc. Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US9947103B1 (en) * 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same

Also Published As

Publication number Publication date
US10373004B1 (en) 2019-08-06
EP3690706A1 (en) 2020-08-05
KR20200095329A (ko) 2020-08-10
JP2020126609A (ja) 2020-08-20
CN111507154A (zh) 2020-08-07
KR102224778B1 (ko) 2021-03-08
CN111507154B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6935946B2 (ja) セグメンテーションスコアマップ及びクラスタリングマップを利用して自律走行車の走行経路を計画するための車線を検出するポストプロセッシング方法及び装置
JP6865363B2 (ja) ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP7092383B2 (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
JP6810415B2 (ja) 自律走行自動車のレベル４を満たすために領域のクラスに応じてモードを切り換えてグリッドセルごとに重み付けコンボリューションフィルタを利用した監視用イメージセグメンテーション方法及び装置、並びにそれを利用したテスト方法及びテスト装置
JP6869559B2 (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102309708B1 (ko) 인스턴스 세그멘테이션을 이용한 객체의 자세에 따라 모드를 전환할 수 있는 cnn 기반의 수도-3d 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP2022003508A (ja) 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6850037B2 (ja) 自律走行状況で、障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及びコンピューティング装置
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
KR20200091318A (ko) 자율주행 자동차의 레벨 4를 충족시키기 위해 요구되는 hd 맵 업데이트에 이용될 적어도 하나의 어댑티브 로스 가중치 맵을 이용한 어텐션 드리븐 이미지 세그먼테이션 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP6857369B2 (ja) Ｃｎｎを学習する方法及び学習装置、それを利用したテスト方法及びテスト装置
EP3690756B1 (en) Learning method and learning device for updating hd map by reconstructing 3d space by using depth estimation information and class information on each object, which have been acquired through v2x information integration technique, and testing method and testing device using the same
JP6810432B2 (ja) 物体の条件に応じてモードを切り換えることができるｃｎｎ基盤で軍事目的、スマートフォン又は仮想走行に使用される疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
CN114815810A (zh) 无人机协同的水上清洁机器人路径规划方法及设备
JP6856852B2 (ja) 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置
JP6856906B2 (ja) 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置
Dharmawan et al. End-to-End Xception model implementation on Carla Self Driving Car in moderate dense environment
JP6864891B2 (ja) 自律走行車両レベル４を満たすために領域のクラスに応じてモードを切り換えるためにグリッド生成器を利用するニューラルネットワーク演算方法及びこれを利用した装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210218

R150 Certificate of patent or registration of utility model

Ref document number: 6856852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250