JP6865342B2 - Cnn基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 - Google Patents

Cnn基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP6865342B2
JP6865342B2 JP2019163899A JP2019163899A JP6865342B2 JP 6865342 B2 JP6865342 B2 JP 6865342B2 JP 2019163899 A JP2019163899 A JP 2019163899A JP 2019163899 A JP2019163899 A JP 2019163899A JP 6865342 B2 JP6865342 B2 JP 6865342B2
Authority
JP
Japan
Prior art keywords
lane
pixel
pixel data
learning
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019163899A
Other languages
English (en)
Other versions
JP2020047272A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
寅洙 金
寅洙 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020047272A publication Critical patent/JP2020047272A/ja
Application granted granted Critical
Publication of JP6865342B2 publication Critical patent/JP6865342B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は、少なくとも一つの車線を検出するためのCNNの学習方法に関し、具体的には;前記車線を検出するための前記CNNの学習方法において、(a)少なくとも一つのトレーニングイメージが取得されると、前記トレーニングイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照にして推定される車線候補に対する情報を示す車線候補情報を生成するか、他の装置をもって生成するように支援する段階;(b)前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する第1データに対する情報とを含む第1ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第1データから選択された少なくとも一つのメインサブセット(Main Subset)は、ダイレクトリグレッション(Direct Regression)を用いて、前記トレーニングイメージの行方向と平行な第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する第2データに対する情報とを含む第2ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第2データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含む段階;(c)前記第1ピクセルデータマップ及び前記第2ピクセルデータマップを推論(Inference)して、前記車線を検出するか、他の装置をもって検出するように支援する段階;を含むことを特徴とする学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置に関する。
ディープラーニング(Deep Learning)は、モノやデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習(Machine Learning)」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。保存されている犬の写真と似たような写真が入力されると、これを犬の写真だとコンピュータが分類するようにしたのである。
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン(SVM)」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
ディープコンボリューションニューラルネットワーク(Deep Convolution Neural Networks;DeepCNN)は、ディープラーニング分野で起きた驚くべき発展の核心である。CNNは、文字の認識問題を解くために90年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープCNNは2012年ImageNetイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
図1は従来技術によってディープCNNを利用し、写真から取得しようとする多様な出力の例を示す。
分類(Classification)は、写真から識別しようとするクラス(Class)の種類、例えば、図1に示されているように、取得された物体が人か、羊か、犬かを識別する検出方法であり、検出(Detection)はすべての物体を探し、探した物体をバウンディングボックス(Bounding Box)に囲まれた形態で表示する方法であり、セグメンテーション(Segmentation)は、写真で特定の物体の領域を他の物体と区分する方法である。最近、ディープラーニング(Deep learning)技術が脚光を浴び、分類、検出、セグメンテーションもディープラーニングを多く利用する傾向にある。
図2は、CNNを利用した従来の車線検出方法を簡略的に示した図面であり、図3は、一般的なCNNセグメンテーションプロセスを簡略的に示した図面である。
まず、図3を参照すれば、従来の車線検出方法では、学習装置が、入力イメージの入力を受けて、複数のコンボリューションレイヤでコンボリューション演算とReLUなどの非線形演算を複数回遂行して特徴マップを取得し、複数のデコンボリューションレイヤでデコンボリューション演算を複数回行い、最後の特徴マップでソフトマックス(SoftMax)演算を行ってセグメンテーションの結果を得る。
また、図2を参照すれば、参照番号210は入力イメージを示し、参照番号220はセグメンテーション結果を示し、参照番号230は、ラインフィッティング(Line Fitting)によって得た車線を示す。従来の車線検出方法によるセグメンテーション結果220は、図2の220に示したように車線(Lane)と背景、2つで構成される。このようなセグメンテーション結果は、確率予測値(Probability Estimation)として出る。このように選択された候補ピクセルの中で車線である確率が高いピクセルだけをサンプリングして、車線候補を探した後、探した車線候補を基に車線モデル関数を利用して、車線230を最終的に決定する。
しかし、このような従来の車線検出方法は、セグメンテーション結果だけを基盤にしているという問題点がある。一般的に、セグメンテーションの結果自体は車線に対して正確な検出をし難いという問題がある。これらの問題を解決するために、セグメンテーションの結果に対して、後処理(Post−Processing)によりラインフィッティングを行う方法を利用している。しかし、セグメンテーション結果が不正確なら、ラインフィッティングによっても正確な車線を検出することが容易ではないという問題がある。
本発明は、前述した全ての問題点を解決することを目的とする。
本発明は、入力イメージに対するより正確なセグメンテーション結果を得られる得るようする学習方法を提供することを他の目的とする。
本発明は、車線候補の対応ピクセルそれぞれから右方向への距離に対するグラディエント(Gradient)と、車線候補の対応ピクセルそれぞれから左方向への距離に対するグラディエントとに対する追加情報をもとにセグメンテーションの結果を得ることにより、より正確な車線検出をし得るようにすることを他の目的とする。
本発明の一態様によれば、少なくとも一つの車線を検出するためのCNNの学習方法において、(a)少なくとも一つのトレーニングイメージが取得されると、学習装置が、前記トレーニングイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照にして推定される車線候補に対する情報を示す車線候補情報を生成するか、他の装置をもって生成するように支援する段階;(b)前記学習装置が、前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する第1データに対する情報とを含む第1ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第1データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する第2データに対する情報とを含む第2ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第2データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含む段階;(c)前記学習装置が、前記第1ピクセルデータマップ及び前記第2ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって検出するように支援する段階;を含むことを特徴とする。
一例として、前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照にして前記車線を検出することを特徴とする。
一例として、前記(a)段階で、前記セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記学習装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当てるか、他の装置をもって割り当てるように支援し、前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当てるか、他の装置をもって割り当てるように支援して、第3ピクセルデータマップを生成するようにし、前記(c)段階では、前記第1ピクセルデータマップ、前記第2ピクセルデータマップ及び前記第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする。
一例として、(i)前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする。
一例として、前記第1値は、背景を意味する0に設定されることを特徴とする。
一例として、前記学習方法は、(d)前記学習装置が、前記第1ピクセルデータマップに対応する少なくとも一つの第1GTを参考として少なくとも一つの第1ロスを算出するプロセス、前記第2ピクセルデータマップに対応する少なくとも一つの第2GTを参考にして少なくとも一つの第2ロスを算出するプロセス、前記第3ピクセルデータマップに対応する少なくとも一つの第3GTを参考にして少なくとも一つの第3ロスを算出するプロセス、及び前記第1ロス、前記第2ロス及び前記第3ロスをバックプロパゲーション(Backpropagation)するプロセスを遂行するか、他の装置をもって遂行するように支援し、前記CNNのパラメータを学習する段階;をさらに含むことを特徴とする。
一例として、前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする。
一例として、距離に対する計算を必要としない、前記第1データの前記メインサブセット以外の前記第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする。
本発明のまたの態様によれば、少なくとも一つの車線を検出するためのCNNのテスト方法において、(a)学習装置が(i)少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、(ii)前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する学習用第1データに対する情報とを含む学習用第1ピクセルデータマップを生成し、前記学習用第1データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する学習用第2データに対する情報とを含む学習用第2ピクセルデータマップを生成し、前記学習用第2データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス、、(iii)前記学習用第1ピクセルデータマップ及び前記学習用第2ピクセルデータマップを推論して、前記車線を検出するプロセス、及び(iv)前記学習用第1ピクセルデータマップに対応する少なくとも一つの第1GTを参考にして少なくとも一つの第1ロスを算出し、前記学習用第2ピクセルデータマップに対応する少なくとも一つの第2GTを参考にして少なくとも一つの第2ロスを算出し、前記第1ロス及び前記第2ロスをバックプロパゲーションして前記CNNの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、テスト装置が少なくとも一つのテストイメージを取得するか、他の装置をもって取得するように支援する段階;(b)前記テスト装置が、前記テストイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示すテスト用車線候補情報を生成するか、他の装置をもって生成するように支援する段階;(c)前記テスト装置が、前記テストイメージ内のそれぞれのピクセルに対する情報とこれに対応するテスト用第1データに対する情報とを含むテスト用第1ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第1データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、前記第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応するテスト用第2データに対する情報とを含むテスト用第2ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第2データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含む段階;及び、(d)前記テスト装置が、前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって取得するように支援する段階;を含むことを特徴とする。
一例として、前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照にして前記車線を検出することを特徴とする。
一例として、前記(b)段階で、前記テスト用セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記テスト装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当てるか、他の装置をもって割り当てるように支援し、前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当てるか、他の装置をもって割り当てるように支援してテスト用第3ピクセルデータマップを生成するようにし、前記(d)段階では、前記テスト用第1ピクセルデータマップ、前記テスト用第2ピクセルデータマップ及び前記テスト用第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする。
一例として、(i)前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記テスト用第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする。
一例として、前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする。
一例として、距離に対する計算を必要としない、前記テスト用第1データの前記メインサブセット以外の前記テスト用第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする。
本発明のまた他の態様によれば、少なくとも一つの車線を検出するためのCNNの学習装置において、少なくとも一つのトレーニングイメージを取得するための通信部;及び(I)前記トレーニングイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照にして推定される車線候補に対する情報を示す車線候補情報を生成するか、他の装置をもって生成するように支援するプロセス、(II)前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する第1データに対する情報とを含む第1ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第1データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する第2データに対する情報とを含む第2ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第2データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス、及び(III)前記第1ピクセルデータマップ及び前記第2ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって検出するように支援するプロセスを遂行するプロセッサ;を含むことを特徴とする。
一例として、前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照にして前記車線を検出することを特徴とする。
一例として、前記(I)プロセスで、前記セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当てるか、他の装置をもって割り当てるように支援して前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当てるか、他の装置をもって割り当てるように支援し、第3ピクセルデータマップを生成するようにし、前記(III)プロセスでは、前記第1ピクセルデータマップ、前記第2ピクセルデータマップ及び前記第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする。
一例として、(i)前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする。
一例として、前記第1値は、背景を意味する0に設定されることを特徴とする。
一例として、前記プロセッサは、(IV)前記第1ピクセルデータマップに対応する少なくとも一つの第1GTを参考にして少なくとも一つの第1ロスを算出するプロセス、前記第2ピクセルデータマップに対応する少なくとも一つの第2GTを参考にして少なくとも一つの第2ロスを算出するプロセス、前記第3ピクセルデータマップに対応する少なくとも一つの第3GTを参考にして少なくとも一つの第3ロスを算出するプロセス、及び前記第1ロス、前記第2ロス及び前記第3ロスをバックプロパゲーションするプロセスを遂行するか、他の装置をもって遂行するように支援し、前記CNNのパラメータを学習するプロセスをさらに遂行することを特徴とする。
一例として、前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする。
一例として、距離に対する計算を必要としない、前記第1データの前記メインサブセット以外の前記第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする。
本発明のまた他の態様によれば、少なくとも一つの車線を検出するためのCNNのテスト装置において、学習装置が(i)少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、(ii)前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する学習用第1データに対する情報とを含む学習用第1ピクセルデータマップを生成し、前記学習用第1データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する学習用第2データに対する情報とを含む学習用第2ピクセルデータマップを生成し、前記学習用第2データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス、(iii)前記学習用第1ピクセルデータマップ及び前記学習用第2ピクセルデータマップを推論して前記車線を検出するプロセス、及び(iv)前記1ピクセルデータマップに対応する少なくとも一つの第1GTを参考にして少なくとも一つの第1ロスを算出し、前記第2ピクセルデータマップに対応する少なくとも一つの第2GTを参考にして少なくとも一つの第2ロスを算出し、前記第1ロス及び前記第2ロスをバックプロパゲーションして前記CNNの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、少なくとも一つのテストイメージを取得するか、他の装置をもって取得するように支援するための通信部;及び(I)前記テストイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示すテスト用車線候補情報を生成するか、他の装置をもって生成するように支援するプロセス;(II)前記テストイメージ内のそれぞれのピクセルに対する情報とこれに対応するテスト用第1データに対する情報とを含むテスト用第1ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第1データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応するテスト用第2データに対する情報とを含むテスト用第2ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第2データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記テストイメージの前記行方向と平行な第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス;及び(III)前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって取得するように支援するプロセス;を遂行するプロセッサ;を含むことを特徴とする。
一例として、前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照にして前記車線を検出することを特徴とする。
一例として、前記(II)プロセスで、前記テスト用セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当てるか、他の装置をもって割り当てるように支援し、前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当てるか、他の装置をもって割り当てるように支援してテスト用第3ピクセルデータマップを生成するようにし、前記(III)プロセスでは、前記テスト用第1ピクセルデータマップ、前記テスト用第2ピクセルデータマップ及び前記テスト用第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする。
一例として、(i)前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記テスト用第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする。
一例として、前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする。
一例として、距離に対する計算を必要としない、前記テスト用第1データの前記メインサブセット以外の前記テスト用第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする。
本発明によれば、車線検出を、2段階セグメンテーションプロセスによって処理し、より正確にセグメンテーション結果を生成し得る効果がある。
本発明によれば、右方向へそれぞれ対応する車線候補のピクセルからの距離に対するグラディエント(Gradient)と、左方向へそれぞれ対応する車線候補のピクセルからの距離に対するグラディエントに対する追加情報をもとにセグメンテーション結果を生成するため、より正確に車線を検出し得る他の効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者(以下「通常の技術者」)は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
従来のCNNを利用して写真から生成された多様な出力の例を示す図面である。 従来のCNNを利用した従来の車線検出方法を簡略的に示した図面である。 従来のCNNを利用した一般的なセグメンテーションの従来のプロセスを簡略的に示した図面である。 本発明に係るCNN基盤の車線検出方法を示したフローチャートである。 本発明に係る3つのピクセルデータマップを利用した車線検出過程を例示的に示した図面である。 本発明に係る3つのピクセルデータマップの例を示した図面である。 本発明に係る3つのピクセルデータマップの例を示した図面である。 本発明に係る3つのピクセルデータマップの例を示した図面である。 本発明に係る車線検出方法を通じて得たセグメンテーション結果の例を示した図面である。 本発明に係る車線検出方法を通じて得たセグメンテーション結果の例を示した図面である。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は本明細書に表示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面において類似する参照符号は、いくつかの側面にわたって同一であるか、類似する機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得り、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図4は、本発明に係るCNN基盤で少なくとも一つの車線を検出するプロセスを簡略的に示したフローチャートであり、図5は、本発明に係る3つのピクセルデータマップを利用した車線検出過程を例示的に示した図面であり、図6aないし図6cは、本発明に係る3つのピクセルデータマップの例を示した図面である。
図4ないし図6cを参照して本発明に係るCNN基盤の車線検出方法を説明すると次の通りである。
まず、学習装置は、S41段階で、トレーニングイメージとして少なくとも一つの入力イメージを取得するか、他の装置をもって取得するように支援し、トレーニングイメージに対して、少なくとも一度コンボリューション演算を遂行して特徴マップを取得し、この特徴マップを利用して少なくとも一つのセグメンテーションスコア(Segmentation Score)を生成し、このセグメンテーションスコアを参照に推定された車線候補に対する情報を示す車線候補情報を生成する。このセグメンテーションスコアは、スコアマップ(Score Map)の形で生成され得、このスコアマップで所定の閾値より大きいスコアを有するピクセルは、車線候補に決定されるであろう。ちなみに、「この特徴マップを用いてセグメンテーションスコアが生成される」という意味は、特徴マップに対して少なくとも一度デコンボリューション演算を行い、セグメンテーションスコアが生成されること意味するが、これに限定されるものではない。
その後、S42段階で、学習装置が、トレーニングイメージ内のそれぞれのピクセルに対する情報及びこれに対応する第1データに対する情報を含む第1ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第1データから選択された少なくとも一つのメインサブセットは、ピクセルそれぞれの位置からトレーニングのイメージの行方向に平行な第1方向(例えば、水平左の方向)に最も近接した第1車線候補までのそれぞれの距離をダイレクトリグレッションを利用して計算して生成されたそれぞれの値を含む。ダイレクトリグレッションで計算されたそれぞれの距離から生成された前記それぞれの値は、ピクセルそれぞれの位置からそれに対応して第1方向に最も近接した第1車線候補までのそれぞれのピクセル間隔の中の一つを示す。
まず、図6aについては後述することにするが、その理由は、本発明の最も重要なプロセスが図6b及び図6cに関するものであるので、先に説明することが望ましいからためであり、また他の理由は、図6aのプロセスが必須ではないからである。もし図6aのプロセスが遂行されれば、図6aの過程が実行された後に図6bや図6cの過程を遂行し得るが、必ずしもこれに限定されるものではない。
図6bを参照すれば、0と表示されたピクセルは、S41段階で車線候補601と判断されたピクセルである。従って、第1ピクセルデータマップ603では、車線候補601に対応するピクセルそれぞれは自身からの距離が0であるため、0と表示される。そして車線候補601から右側に1ピクセル離れているピクセルは、自身の位置を基準に左側に1ピクセル距離に車線候補601のピクセルが存在するため、「1」が第1データ値として割り当てられる。
そして、車線候補601から右側に2ピクセル離れているピクセルは、自身の位置を基準に左側に2ピクセル距離に車線候補601のピクセルが存在するため、「2」が第1データ値として割り当てられ、車線候補601から右側に3ピクセル離れているピクセルは、自身の位置を基準に左側に3ピクセル距離に車線候補601のピクセルが存在するため、「3」が第1データ値に割り当てられる。このように、すべてのピクセルに対して第1データ値を割り当て、第1ピクセルデータマップ603を生成する。
但し、車線候補601のピクセルから所定の閾値より遠く離れているピクセルの場合、最も近接した車線候補601までの距離をダイレクトリグレッションで計算しても意味がないため、該当の距離値を計算するよりは便宜上無限大(∞)で表示される。従って、図6bに示したように、第1ピクセルデータマップ603では、車線候補601の左にあるピクセルは全て無限大(∞)で示された。もちろん、特定の車線候補の左側にあるピクセルであっても、他の車線候補の右側にあり、その距離が所定の閾値未満だとしたら、前記他の車線候補からの距離が第1データとして割り当てられるであろう。
図5を参照すれば、車線候補が複数の車線を含む場合、ダイレクトリグレッションで計算された最も近い車線候補までの距離だけが表示されるため、各ピクセルは第1データ値として1つの値だけを有することになる。これによって、図5の第1ピクセルデータマップ503は、各行ごとの多数の車線候補を有するため、各行ごとの各車線候補から右に遠くなるほど第1データ値が増加し続けるが、他の車線候補に到達すると、再び0から第1データ値が増加するパターンを有するようになる。CNN演算結果により生成された第1ピクセルデータマップ503は、最も近接した左側車線までそれぞれの距離を示す第1データを含み、図5ではその距離値を第1データ値それぞれで表示するよりは、グラディエントで示した。
その後、S43段階で、学習装置がトレーニングイメージ内のピクセルそれぞれに対する情報とこれに対応する第2データに対する情報とを生成するか、他の装置をもって生成するように支援し、第2データから選択された少なくとも一つのメインサブセットはピクセルそれぞれの位置それぞれからピクセルに対応する最も近接した第2車線候補までトレーニングイメージの行方向と平行な(つまり、水平方向)第2方向(例えば、右方向)への距離それぞれをダイレクトリグレッションで計算したそれぞれの値を含む。ダイレクトリグレッションで計算されたそれぞれの距離から生成されたそれぞれの値はピクセルそれぞれの位置それぞれからこれに対応する最も近接した第2車線候補まで第2方向へのピクセル距離それぞれのうちの一つを示す。
図6cを参照すれば、0で表示されたピクセルは、S41段階で車線候補601と判断されたピクセルであり得る。従って、第2ピクセルデータマップ604でも車線候補601に対応するピクセルそれぞれは自身との距離が0であるため、0と表示される。そして車線候補601から左側に1ピクセル離れているピクセルは、自身の位置を基準に右側に1ピクセル離れた位置に車線候補601のピクセルが存在するため、「1」を第2データ値として割り当てる。
そして車線候補601から左側に2ピクセル離れているピクセルは、自身の位置を基準に右側に2ピクセルの距離に車線候補601のピクセルが存在するため、「2」を第2データ値として割り当て、車線候補601から左側に3ピクセル離れているピクセルは、自身の位置を基準に右側に3ピクセル距離に車線候補601のピクセルが存在するため、「3」を第2データ値として割り当てる。このように、すべてのピクセルに対して第2データ値を割り当て、第2ピクセルデータマップ604を生成する。
第2ピクセルデータマップ604でも、車線候補ピクセルから所定の閾値より遠く離れているピクセルの場合、最も近接した第2車線候補601までの距離をダイレクトリグレッションで計算して値を求めても意味がないため、該当距離値を計算するよりはすべて無限大(∞)で示された。もちろん、特定の車線候補の右側にあるピクセルであっても、他の車線候補の左側にあり、前記他の車線候補からの距離が所定の閾値未満だとしたら、前記他の車線候補からの距離が第2データとして割り当てられるであろう。
再度、図5を参照すれば、車線候補が複数の車線を含む場合、最も近い車線候補までの距離をダイレクトリグレッションで計算された値だけが表示されるため、それぞれのピクセルは第2データ値として1つの値だけを有することになる。これによって、図5の第2ピクセルデータマップ504は、それぞれの行ごとの多数の車線候補を有するため、各行ごとのそれぞれの車線候補から左に進むほど第2データ値が増加し続けるが、他の車線候補に到達すると、再び0から第2データ値が増加するパターンを有するようになる。図5のCNN演算結果で生成された第2ピクセルデータマップ504は、最も近接した右側車線までのそれぞれの距離を示し、図5ではその距離値を第2データ値それぞれで表示するよりは、グラディエントで示した。
S44段階では、セグメンテーションスコア、つまりS41段階で算出したスコアマップを参考にして、車線候補が存在しない特定の行が少なくとも一つある場合、学習装置が前記特定の行または前記特定の行より上部の行に存在する少なくとも一つのピクセルに対して第1値を割り当てるか、他の装置をもって割り当てるよう支援し、前記特定の行の下部に存在する少なくとも一つのピクセルに対しては、第2値を割り当てるか、他の装置をもって割り当てるよう支援して、第3ピクセルデータマップを生成するようにする。一方、S42段階ないしS44段階は出現順に進められることもあり、S44段階が先に遂行された後、S42及びS43段階が遂行されることもあり、S44段階を省略してS42段階とS43段階だけ遂行されることもある。また、S42段階とS43段階は同時に遂行されることもあり、ある一つの段階を先に遂行することもある。
図6aを参照すれば、車線候補601と判断されたピクセルには第2値(つまり、1)が割り当てられる。併せて、車線候補601のピクセルを含む行のすべてのピクセルには前記第2値(つまり、1)が割り当てられる。そして車線候補601のピクセルが存在しない特定の行及びその特定の行の上部の行に位置するピクセル対しては、いずれも第1値(つまり、0)が割り当てられて第3ピクセルデータマップ602が生成される。ここで第1値は背景を意味する「0」になる。
一般的に道路走行の際に道路の車線は、運転手の観点から見るとイメージ上の特定の行以下のみに存在し、それ以上に空や山などの背景だけが存在する。従って、車線検出の際に車線候補ピクセルが存在しない行はすべて背景とみなされるであろう。これによって、図6aの第3ピクセルデータマップ602は、車線候補601のピクセルが存在しない特定の行及びその特定の行の上部に存在する行はいずれも背景として処理し、その下部の行に該当するピクセルのみを車線である確率のあるピクセルとして処理して生成される。
図5を参照すれば、セグメンテーションスコアマップ又はこれを変形して生成した他のセグメンテーションスコアマップを参照して、特定の行の上部に存在する車線候補がない行を背景として処理して水平スコアマップ(Horizontal Score Map)、すなわち第3ピクセルデータマップ502が生成され得る。
S45段階では、第1ピクセルデータマップ及び第2ピクセルデータマップを推論して前記車線を検出するか、第1ピクセルデータマップ、第2ピクセルデータマップ及び第3ピクセルデータマップを推論して前記車線を検出する。
例えば、第1ピクセルデータマップ及び第2ピクセルデータマップで所定の閾値未満の値を有するピクセルの第1部分を基に前記車線を検出することもでき、(i)ピクセルの第1部分と(ii)第3ピクセルデータマップ内の特定の行の下部に存在するピクセルの第2部分(つまり、第2値が割り当てられるピクセル)との積集合に対する情報を参照して前記車線を検出することもできる。
一例として、ピクセルの第2部分(つまり、第3ピクセルデータマップ内の第2値を有するピクセル)のうち、第1ピクセルデータマップと第2ピクセルデータマップとにおいて第1データと第2データとが3以下のピクセルだけを選択し、少なくとも一つのセグメンテーション結果505を生成して、前記セグメンテーション結果505をもとに車線を検出し得る。図5のセグメンテーション結果505は、第1ピクセルデータマップ503や第2ピクセルデータマップ504のようにグラディエントで示さなかったものの、セグメンテーション結果505は車線候補601のピクセルから行方向へ(つまり、左に及び/又は右に)所定範囲(例えば、3ピクセル)内のグラディエント値を有するピクセルを含み得る。
図5を参照すれば、本発明による入力イメージ501に対して、一連の演算を適用すると、3つの結果、すなわち水平スコアマップを示す第3ピクセルデータマップ502、最も近い左側の車線までの距離を示す第1ピクセルデータマップ503及び最も近い右車線までの距離を示す第2ピクセルデータマップ504を生成し得る。
もしCNNが学習装置に利用されるならば、第1ピクセルデータマップ503に対応する少なくとも一つの第1GT(Ground Truth)を参考にして少なくとも一つの第1ロスを生成するプロセス、第2ピクセルデータマップ504に対応する少なくとも一つの第2GTを参考にして少なくとも一つの第2ロスを生成するプロセス、第3ピクセルデータマップ502に対応する少なくとも一つの第3GTを参考にして少なくとも一つの第3ロスを生成するプロセス及び第1ロスと、第2ロスと、第3ロスとをバックプロパゲーションしてCNNのパラメータを学習するか、最適化するプロセスをさらに遂行する。
図7a及び図7bは、本発明に係る車線検出方法によって生成されたセグメンテーション結果の例を示す。
図7aで入力イメージ701が取得され、本発明によりCNNに入力され、3つの結果を推論してセグメンテーション結果(つまり、セグメンテーション出力702)が生成され得る。図7bで確認できるように、行方向に車線候補のピクセルから所定の範囲内のピクセルそれぞれがこれに対応するスコアを有するセグメンテーション結果を生成し得り、これによって、S41段階によって得られた不正確なセグメンテーションスコアの値がダイレクトリグレッションによってより正確なセグメンテーション結果に改善され得る。
CNNがテスト装置に利用される場合にも、前述した学習プロセスにおいて利用した車線検出方法のプロセスがそのまま適用される。つまり、CNNのパラメータを学習するか、最適化するために前記車線検出プロセスが利用され、これによって出たパラメータをテスト装置に適用し、少なくとも一つのテストイメージから車線を検出することになる。
参考までに、以下の説明で、混乱を避けるために、「学習用」とは、先に説明した学習プロセス関連用語に対して追加され、「テスト用」はテストプロセスに関連した用語に対して追加される。
すなわち、本発明に係るCNNを利用した車線検出テスト方法は、学習装置が(i)トレーニングイメージにコンボリューション演算を適用して学習用特徴マップを生成するようにし、学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示す学習用車線候補情報を生成し、(ii)トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する学習用第1データに対する情報とを含む学習用第1ピクセルデータマップを生成し、学習用第1データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、トレーニングイメージの行方向と平行な第1方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、ピクセルそれぞれに対する情報とこれに対応する学習用第2データに対する情報とを含む学習用第2ピクセルデータマップを生成し、学習用第2データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、トレーニングイメージの行方向と平行な第2方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、(iii)学習用第1ピクセルデータマップ及び学習用第2ピクセルデータマップを推論して車線を検出し、(iv)第1ピクセルデータマップに対応する少なくとも一つの第1GTを参考にして少なくとも一つの第1ロスを算出し、第2ピクセルデータマップに対応する少なくとも一つの第2GTを参考にして少なくとも一つの第2ロスを算出し、第1ロス及び第2ロスをバックプロパゲーションしてCNNの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、学習装置で学習されたCNNのパラメータを利用するテスト装置がテストイメージを取得する段階を含む。
その後に、(i)テストイメージにコンボリューション演算を適用してテスト用特徴マップを生成し、テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示すテスト用車線候補情報を生成し;(ii)テストイメージ内のそれぞれのピクセルに対する情報とこれに対応するテスト用第1データに対する情報とを含むテスト用第1ピクセルデータマップを生成し、テスト用第1データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、第1方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、ピクセルそれぞれに対する情報とこれに対応するテスト用第2データに対する情報とを含むテスト用第2ピクセルデータマップを生成し、テスト用第2データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、第2方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み(iii)テスト用セグメンテーション結果が生成され、テスト用第1ピクセルデータマップ及びテスト用第2ピクセルデータマップを推論して、車線を検出する。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ(及び/またはメモリ)によって保有/維持でき得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。 前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(flopticaldisk)のような磁気−光媒体(magneto−opticalmedia)、およびROM、RAM、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (28)

  1. 少なくとも一つの車線を検出するためのCNNの学習方法において、
    (a)少なくとも一つのトレーニングイメージが取得されると、学習装置が、前記トレーニングイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照して推定される車線候補に対する情報を示す車線候補情報を生成する段階;
    (b)前記学習装置が、前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応する第1データを含む第1ピクセルデータマップを生成し、前記第1データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記第1データにおいて前記トレーニングイメージの行方向と平行な左側の第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第1車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する第2データを含む第2ピクセルデータマップを生成し、前記第2データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記第2データにおいて前記トレーニングイメージの前記行方向と平行な右側の第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第2車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含む段階;
    (c)前記学習装置が、前記第1ピクセルデータマップ及び前記第2ピクセルデータマップを推論して、前記車線を検出する段階;
    を含むことを特徴とする方法。
  2. 前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照して前記車線を検出することを特徴とする請求項1に記載の方法。
  3. 前記(a)段階で、
    前記セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記学習装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当てて、第3ピクセルデータマップを生成するようにし、
    前記(c)段階では、
    前記第1ピクセルデータマップ、前記第2ピクセルデータマップ及び前記第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項1に記載の方法。
  4. (i)前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項3に記載の方法。
  5. 前記第1値は、背景を意味する0に設定されることを特徴とする請求項3に記載の方法。
  6. 前記学習方法は、
    (d)前記学習装置が、前記第1ピクセルデータマップに対応する少なくとも一つの第1GT(Ground Truth)を参考として少なくとも一つの第1ロスを算出するプロセス、前記第2ピクセルデータマップに対応する少なくとも一つの第2GT(Ground Truth)を参考にして少なくとも一つの第2ロスを算出するプロセス、前記第3ピクセルデータマップに対応する少なくとも一つの第3GT(Ground Truth)を参考にして少なくとも一つの第3ロスを算出するプロセス、及び前記第1ロス、前記第2ロス及び前記第3ロスをバックプロパゲーションするプロセスを遂行し、前記CNNのパラメータを学習する段階;
    をさらに含むことを特徴とする請求項3に記載の方法。
  7. 前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項1に記載の方法。
  8. 距離に対する計算を必要としない、前記第1データの前記メインサブセット以外の前記第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項1に記載の方法。
  9. 少なくとも一つの車線を検出するためのCNNのテスト方法において、
    (a)学習装置が(i)少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照して推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、(ii)前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応する学習用第1データを含む学習用第1ピクセルデータマップを生成し、前記学習用第1データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記学習用第1データにおいて前記トレーニングイメージの行方向と平行な左側の第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第1車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する学習用第2データを含む学習用第2ピクセルデータマップを生成し、前記学習用第2データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記学習用第2データにおいて前記トレーニングイメージの前記行方向と平行な右側の第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第2車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含むプロセス、(iii)前記学習用第1ピクセルデータマップ及び前記学習用第2ピクセルデータマップを推論して前記車線を検出するプロセス、及び(iv)前記学習用第1ピクセルデータマップに対応する少なくとも一つの第1GT(Ground Truth)を参考にして少なくとも一つの第1ロスを算出し、前記学習用第2ピクセルデータマップに対応する少なくとも一つの第2GT(Ground Truth)を参考にして少なくとも一つの第2ロスを算出し、前記第1ロス及び前記第2ロスをバックプロパゲーションして前記CNNの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、テスト装置が少なくとも一つのテストイメージを取得する段階;
    (b)前記テスト装置が、前記テストイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照して推定される車線候補に対する情報を示すテスト用車線候補情報を生成する段階;
    (c)前記テスト装置が、前記テストイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応するテスト用第1データを含むテスト用第1ピクセルデータマップを生成し、前記テスト用第1データから選択された少なくとも一つのメインサブセットは、前記テスト装置がダイレクトリグレッションを用いて、前記テスト用第1データにおいて前記第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応するテスト用第2データを含むテスト用第2ピクセルデータマップを生成し、前記テスト用第2データから選択された少なくとも一つのメインサブセットは、前記テスト装置が前記ダイレクトリグレッションを用いて、前記テスト用第2データにおいて前記第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含む段階;及び、
    (d)前記テスト装置が、前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップを推論して、前記車線を検出する段階;
    を含むことを特徴とする方法。
  10. 前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照して前記車線を検出することを特徴とする請求項9に記載の方法。
  11. 前記(b)段階で、
    前記テスト用セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記テスト装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当ててテスト用第3ピクセルデータマップを生成するようにし、
    前記(d)段階では、
    前記テスト用第1ピクセルデータマップ、前記テスト用第2ピクセルデータマップ及び前記テスト用第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項9に記載の方法。
  12. (i)前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記テスト用第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項11に記載の方法。
  13. 前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項9に記載の方法。
  14. 距離に対する計算を必要としない、前記テスト用第1データの前記メインサブセット以外の前記テスト用第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項9に記載の方法。
  15. 少なくとも一つの車線を検出するためのCNNの学習装置において、
    少なくとも一つのトレーニングイメージを取得するための通信部;及び
    (I)前記トレーニングイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照して推定される車線候補に対する情報を示す車線候補情報を生成するプロセス、(II)前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離対応する第1データを含む第1ピクセルデータマップを生成し、前記第1データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記第1データにおいて前記トレーニングイメージの行方向と平行な左側の第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第1車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する第2データを含む第2ピクセルデータマップを生成し、前記第2データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記第2データにおいて前記トレーニングイメージの前記行方向と平行な右側の第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第2車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含むプロセス、及び(III)前記第1ピクセルデータマップ及び前記第2ピクセルデータマップを推論して、前記車線を検出するプロセスを遂行するプロセッサ;
    を含むことを特徴とする装置。
  16. 前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照して前記車線を検出することを特徴とする請求項15に記載の装置。
  17. 前記(I)プロセスで、
    前記セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当てて第3ピクセルデータマップを生成するようにし、
    前記(III)プロセスでは、
    前記第1ピクセルデータマップ、前記第2ピクセルデータマップ及び前記第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項15に記載の装置。
  18. (i)前記第1ピクセルデータマップ及び前記第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項17に記載の装置。
  19. 前記第1値は、背景を意味する0に設定されることを特徴とする請求項17に記載の装置。
  20. 前記プロセッサは、
    (IV)前記第1ピクセルデータマップに対応する少なくとも一つの第1GT(Ground Truth)を参考にして少なくとも一つの第1ロスを算出するプロセス、前記第2ピクセルデータマップに対応する少なくとも一つの第2GT(Ground Truth)を参考にして少なくとも一つの第2ロスを算出するプロセス、前記第3ピクセルデータマップに対応する少なくとも一つの第3GT(Ground Truth)を参考にして少なくとも一つの第3ロスを算出するプロセス、及び前記第1ロス、前記第2ロス及び前記第3ロスをバックプロパゲーションするプロセスを遂行し、前記CNNのパラメータを学習するプロセス
    をさらに遂行することを特徴とする請求項17に記載の装置。
  21. 前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項15に記載の装置。
  22. 距離に対する計算を必要としない、前記第1データの前記メインサブセット以外の前記第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項15に記載の装置。
  23. 少なくとも一つの車線を検出するためのCNNのテスト装置において、
    学習装置が(i)少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照して推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、(ii)前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応する学習用第1データを含む学習用第1ピクセルデータマップを生成し、前記学習用第1データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記学習用第1データにおいて前記トレーニングイメージの行方向と平行な左側の第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第1車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する学習用第2データ含む学習用第2ピクセルデータマップを生成し、前記学習用第2データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記学習用第2データにおいて前記トレーニングイメージの前記行方向と平行な右側の第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第2車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含むプロセス、(iii)前記学習用第1ピクセルデータマップ及び前記学習用第2ピクセルデータマップを推論して前記車線を検出するプロセス、及び(iv)前記1ピクセルデータマップに対応する少なくとも一つの第1GT(Ground Truth)を参考にして少なくとも一つの第1ロスを算出し、前記第2ピクセルデータマップに対応する少なくとも一つの第2GT(Ground Truth)を参考にして少なくとも一つの第2ロスを算出し、前記第1ロス及び前記第2ロスをバックプロパゲーションして前記CNNの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、少なくとも一つのテストイメージを取得するための通信部;及び
    (I)前記テストイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照して推定される車線候補に対する情報を示すテスト用車線候補情報を生成するプロセス;(II)前記テストイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応するテスト用第1データを含むテスト用第1ピクセルデータマップを生成し、前記テスト用第1データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記テスト用第1データにおいて前記トレーニングイメージの行方向と平行な前記第1方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応するテスト用第2データを含むテスト用第2ピクセルデータマップを生成し、前記テスト用第2データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記テスト用第2データにおいて前記テストイメージの前記行方向と平行な前記第2方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの距離をそれぞれ計算して生成たそれぞれの値を含むプロセス;及び(III)前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップを推論して、前記車線を検出するプロセス;を遂行するプロセッサ;
    を含むことを特徴とする装置。
  24. 前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分に対する情報を参照して前記車線を検出することを特徴とする請求項23に記載の装置。
  25. 前記(II)プロセスで、
    前記テスト用セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第1値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第2値を割り当てるテスト用第3ピクセルデータマップを生成するようにし、
    前記(III)プロセスでは、
    前記テスト用第1ピクセルデータマップ、前記テスト用第2ピクセルデータマップ及び前記テスト用第3ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項23に記載の装置。
  26. (i)前記テスト用第1ピクセルデータマップ及び前記テスト用第2ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第1部分と(ii)前記テスト用第3ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第2部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項25に記載の装置。
  27. 前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第1車線候補までの前記第1方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第2車線候補までの前記第2方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項23に記載の装置。
  28. 距離に対する計算を必要としない、前記テスト用第1データの前記メインサブセット以外の前記テスト用第1データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項23に記載の装置。
JP2019163899A 2018-09-15 2019-09-09 Cnn基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 Active JP6865342B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/132,368 2018-09-15
US16/132,368 US10311338B1 (en) 2018-09-15 2018-09-15 Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same

Publications (2)

Publication Number Publication Date
JP2020047272A JP2020047272A (ja) 2020-03-26
JP6865342B2 true JP6865342B2 (ja) 2021-04-28

Family

ID=66439914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163899A Active JP6865342B2 (ja) 2018-09-15 2019-09-09 Cnn基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US10311338B1 (ja)
EP (1) EP3623991B1 (ja)
JP (1) JP6865342B2 (ja)
KR (1) KR102309705B1 (ja)
CN (1) CN110909588B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112654997B (zh) * 2020-10-22 2022-04-29 华为技术有限公司 一种车道线检测方法和装置
US11250298B1 (en) * 2021-03-26 2022-02-15 Stradavision, Inc. Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101225626B1 (ko) * 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
JP6483446B2 (ja) * 2015-01-15 2019-03-13 トヨタ自動車株式会社 複合線判定装置及び複合線判定方法
JP6426512B2 (ja) * 2015-03-17 2018-11-21 株式会社Soken 走行区画線認識装置
CN105046235B (zh) * 2015-08-03 2018-09-07 百度在线网络技术(北京)有限公司 车道线的识别建模方法和装置、识别方法和装置
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术(北京)有限公司 一种车道线数据的处理方法及装置
WO2017043067A1 (ja) * 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
US10102434B2 (en) * 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
JP6678605B2 (ja) * 2017-01-11 2020-04-08 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
CN107730881A (zh) * 2017-06-13 2018-02-23 银江股份有限公司 基于深度卷积神经网络的交通拥堵视觉检测系统
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US9947228B1 (en) * 2017-10-05 2018-04-17 StradVision, Inc. Method for monitoring blind spot of vehicle and blind spot monitor using the same
CN109858309B (zh) * 2017-11-30 2021-04-20 东软睿驰汽车技术(上海)有限公司 一种识别道路线的方法和装置
US10023204B1 (en) * 2017-12-01 2018-07-17 StradVision, Inc. Driving assisting method and driving assisting device using the same
US10528824B2 (en) * 2017-12-11 2020-01-07 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization
CN109117825B (zh) * 2018-09-04 2020-01-17 百度在线网络技术(北京)有限公司 车道线处理方法和装置

Also Published As

Publication number Publication date
EP3623991A1 (en) 2020-03-18
EP3623991B1 (en) 2022-06-29
KR102309705B1 (ko) 2021-10-08
US10311338B1 (en) 2019-06-04
CN110909588A (zh) 2020-03-24
JP2020047272A (ja) 2020-03-26
KR20200031994A (ko) 2020-03-25
CN110909588B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
JP6847464B2 (ja) 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane through classifying lane candidate pixels and test method, test device using the same}
JP6908939B2 (ja) 障害物の下段ラインを基準にroiを検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting roi on the basis of bottom lines of obstacles and testing method,testing device using the same}
JP6886202B2 (ja) 仮想走行の環境で使用されるドメイン適応に適用され得るganを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
JP6847463B2 (ja) CNN(Convolutional Neural Network)を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{LEARNING METHOD, LEARNING DEVICE FOR DETECTING LANE USING CNN AND TEST METHOD, TEST DEVICE USING THE SAME}
JP6869562B2 (ja) トラッキングネットワークを含むcnnを使用して物体をトラッキングする方法、及びそれを利用した装置{method for tracking object by using convolutional neural network including tracking network and computing device using the same}
JP6895693B2 (ja) レーンマスク(Lane Mask)を使用して後処理なしに入力イメージに含まれた一つ以上の車線を検出する方法及び装置、並びにそれを利用したテスト方法及びテスト装置{METHOD AND DEVICE FOR LANE DETECTION WITHOUT POST−PROCESSING BY USING LANE MASK, AND TESTING METHOD, AND TESTING DEVICE USING THE SAME}
EP3405845B1 (en) Object-focused active three-dimensional reconstruction
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane using lane model and test method, test device using the same}
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置{method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same}
JP6875021B2 (ja) 有用な学習データを取捨選別するためのcnn基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6865342B2 (ja) Cnn基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6846062B2 (ja) 近接障害物の下段ライン及び上段ラインを検出し、物体存在性を検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting objectness by detecting bottom line and top line of nearest obstacles and testing method, testing device using the same}
JP6869559B2 (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting obstacles and testing method, testing device using the same}
JP6856952B2 (ja) 複数のビデオフレームを利用してcnnのパラメータを最適化するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6867054B2 (ja) マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。{learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi−camera system and testing method and testing device using the same}
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置{learning method and learning device for heterogeneous sensor fusion by using merging network which learns non−maximum suppression}
JP6979707B2 (ja) リグレッションロス(Regression loss)を利用した学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置{LEARNING METHOD, LEARNING DEVICE USING REGRESSION LOSS AND TESTING METHOD, TESTING DEVICE USING THE SAME}
JP6853543B2 (ja) 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置
KR20200091791A (ko) 하드웨어 최적화에 쓰이는 1x1 컨벌루션을 이용한 CNN 기반의 객체 검출기를 학습하는 방법 및 학습 장치, 이를 이용한 테스트 장치 및 테스트 장치
Sevastopoulos et al. Depth-guided Free-space Segmentation for a Mobile Robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210225

R150 Certificate of patent or registration of utility model

Ref document number: 6865342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250