JP6847464B2 - 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ - Google Patents

車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Download PDF

Info

Publication number
JP6847464B2
JP6847464B2 JP2019160095A JP2019160095A JP6847464B2 JP 6847464 B2 JP6847464 B2 JP 6847464B2 JP 2019160095 A JP2019160095 A JP 2019160095A JP 2019160095 A JP2019160095 A JP 2019160095A JP 6847464 B2 JP6847464 B2 JP 6847464B2
Authority
JP
Japan
Prior art keywords
pixel
learning
lane
line
strong line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019160095A
Other languages
English (en)
Other versions
JP2020038662A (ja
Inventor
キム、ケヒョン
キム、ヨンジョン
キム、インス
キム、ハキョン
ナム、ウンヒュン
ボ、シュクフン
スン、ミュンチュル
ヨー、ドンフン
リュウ、ウージュ
ジャン、テウォン
ジョン、キュンジョン
ジェ、ホンモ
チョ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020038662A publication Critical patent/JP2020038662A/ja
Application granted granted Critical
Publication of JP6847464B2 publication Critical patent/JP6847464B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

本発明は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置に関し；より詳しくは；前記ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習方法において、（ａ）入力イメージが取得されると、学習装置がエンコーディングレイヤをもって前記入力イメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのエンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得する段階；（ｂ）前記学習装置が、前記車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記車線候補ピクセルの前記第１部分を少なくとも一つの第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する段階；及び（ｃ）前記学習装置が、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを追加ストロングラインに該当するピクセルとして分類し、前記第１ストロングラインに該当する前記ピクセルと前記追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断する段階；を含むことを特徴とする学習方法及び学習装置そしてこれを基にしたテスト方法及びテスト装置に関する。
ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、モノやデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。保存されている犬の写真と似たような写真が入力されると、これを犬の写真だとコンピュータが分類するようにしたのである。
データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
図１は従来技術でディープＣＮＮを利用し、写真から取得しようとする多様な出力の例を示す。
分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）は、写真から識別しようとするクラス（Ｃｌａｓｓ）の種類、例えば、図１に示されているように、取得された物体が人か、羊か、犬かを識別する検出方法であり、検出（Ｄｅｔｅｃｔｉｏｎ）はすべての物体を探し、探した物体をバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）に囲まれた形態で表示する方法であり、セグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）は、写真で特定の物体の領域を他の物体と区分する方法だ。最近、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴び、分類、検出、セグメンテーションもディープラーニングを多く利用する傾向にある。
図２は、ＣＮＮを利用した従来の車線検出方法を簡略的に示した図面で、図３は、一般的なＣＮＮセグメンテーションプロセスを簡略的に示した図面である。
まず、図３を参照すれば、従来の車線検出方法では、学習装置が、入力イメージの入力を受けて、複数のコンボリューションレイヤでコンボリューション演算とＲｅＬＵなどの非線形演算とを複数回遂行して特徴マップを取得し、複数のデコンボリューションレイヤでデコンボリューション演算を複数行い、最後の特徴マップでソフトマックス（ＳｏｆｔＭａｘ）演算を行ってセグメンテーションの結果を得る。
また、図２を参照すると、従来の車線（Ｌａｎｅ）検出方法のセグメンテーション結果は、図２の中間に示したように、２つ（例えば、車線や背景）で構成される。このようなセグメンテーションの結果は、確率予測値として出てくる。このように選ばれた車線上の候補ピクセルの中から線（Ｌｉｎｅ）である確率の高いピクセルだけをサンプリングして車線を探した後、探した車線上のピクセルから得た車線モデル関数を利用して最終的に車線を決定する。
一方、図２に示された入力イメージでＣＮＮを基盤に少なくとも一つの車線を検出する方法によれば、車線である確率の低い所定候補ピクセルは、車線の検出プロセスに利用されない。例えば、点線からなる部分は車線である確率の低い所定の候補ピクセルであり、入力イメージ内で遠く離れている車線や車線の太さが細い場合も車線である確率の低い所定候補ピクセルであろう。前述の通り、車線のひとつである確率が低いと判断される所定の候補ピクセルは車線として認識しないため、途切れた車線が多く発生し、長い線を得づらいという問題点があった。
本発明は、前述した問題点を全て解決することを目的とする。
また、本発明は、遠近法によってイメージ内の遠く離れた車線もうまく検出し得る方法を提供することを他の目的とする。
また、本発明は、実際の車線に該当する一部ピクセルが車線である確率の低いピクセルと判断された場合でも、実際の車線を精密に検出する方法を提供することをまた他の目的とする。
本発明の一態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習方法において、（ａ）入力イメージが取得されると、学習装置がエンコーディングレイヤをもって前記入力イメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのエンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得する段階；（ｂ）前記学習装置が、前記車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記車線候補ピクセルの前記第１部分を少なくとも一つの第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する段階；（ｃ）前記学習装置が、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを追加ストロングラインに該当するピクセルとして分類し、前記第１ストロングラインに該当する前記ピクセルと前記追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断する段階；（ｄ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出する段階；及び（ｅ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化する段階；を含むことを特徴とする。
一例として、前記（ｃ）段階の後に、前記学習装置は、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、前記所定ピクセルを前記追加ストロングラインに該当するピクセルとして分類するプロセスを遂行し、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当する前記ピクセルが前記車線に該当する前記ピクセルに対応すると判断することを特徴とする。
一例として、前記（ｃ）段階において、（ｃ１）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第１距離未満である場合、前記学習装置が前記特定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類する段階；（ｃ２）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第２距離未満である場合、前記学習装置が前記所定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類する段階；及び（ｃ３）前記学習装置が、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記（ｃ２）段階を繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当するピクセルを前記車線に該当する前記ピクセルとして判断する段階；を含むことを特徴とする。
一例として、前記（ｃ）段階おいて、前記学習装置が、前記第１ストロングラインに該当する前記ピクセルに対応する車線の方向に関する情報を参照して、前記ウィークラインに該当する前記ピクセルそれぞれが前記追加ストロングラインに該当する前記ピクセルに分類されているか否かを判断し、前記第１ストロングラインに該当する前記ピクセルが前記入力イメージ内で特定の角度の方向に群がっていると判断されれば、（Ｉ）前記ウィークラインに該当する前記ピクセルの第１部分が前記方向から予め設定してある角度以内にあれば、前記学習装置が前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルから第１ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第１部分が存在するか否かを判断し、（ＩＩ）前記ウィークラインに該当する前記ピクセルの第２部分が前記方向から前記予め設定してある角度以内に存在しなければ、前記学習装置が前記第１ストロングラインに該当する前記ピクセルの少なくとも一部から第２ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第２部分が存在するか否かを判断することを特徴としており、前記第２ピクセル距離は、前記第１ピクセル距離より小さいことを特徴とする。
一例として、前記（ｃ）段階おいて、前記学習装置が、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを利用して、前記第１ストロングライン及び前記追加ストロングラインに該当する前記ピクセルに対応する前記車線を検出することを特徴とする。
一例として、前記予め設定してある第１距離は、２つの最も近いピクセル間の距離であることを特徴とする。
一例として、前記予め設定してある第１距離は、所定ピクセルと前記所定ピクセルから第ｎピクセル距離分だけ離れているピクセルとの間の距離であることを特徴とする。
本発明のまたの態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のためのテスト方法において、（ａ）（Ｉ）学習装置がエンコーディングレイヤをもってトレーニングイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つの学習用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定学習用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記トレーニングイメージ内の少なくとも一つの学習用車線候補ピクセルに対する情報を含む学習用セグメンテーションの結果を取得するプロセス、（ＩＩ）前記学習装置が、前記学習用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記学習用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記学習用車線候補ピクセルの前記第１部分を少なくとも一つの学習用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記学習用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つの学習用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス、（ＩＩＩ）前記学習装置が、（ｉ）前記学習用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記学習用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを少なくとも一つの学習用追加ストロングラインに該当するピクセルとして分類し、前記学習用第１ストロングラインに該当する前記ピクセルと前記学習用追加ストロングラインに該当する前記ピクセルが前記車線に該当するピクセルに対応するものと判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記学習装置の少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、テスト装置がテストイメージを取得する段階；（ｂ）前記テスト装置が、前記エンコーディングレイヤをもって前記テストイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのテスト用エンコード済み特徴マップを取得し、前記デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定テスト用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記テストイメージ内の少なくとも一つのテスト用車線候補ピクセルに対する情報を含むテスト用セグメンテーションの結果を取得する段階；（ｃ）前記テスト装置が、前記テスト用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記テスト用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記テスト用車線候補ピクセルの前記第１部分を少なくとも一つのテスト用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記テスト用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのテスト用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する段階；及び（ｄ）前記テスト装置が、（ｉ）前記テスト用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記テスト用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が予め設定してある第１距離未満である場合、前記特定ピクセルをテスト用追加ストロングラインに該当するピクセルとして分類し、前記テスト用第１ストロングラインに該当する前記ピクセルと前記テスト用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応すると判断する段階；を含むことを特徴とする。
本発明のまた他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習装置において、入力イメージを取得するための通信部；及び（Ｉ）入力イメージが取得されると、エンコーディングレイヤをもって前記入力イメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのエンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得するプロセス；（ＩＩ）前記車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記車線候補ピクセルの前記第１部分を少なくとも一つの第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（ＩＩＩ）（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを追加ストロングラインに該当するピクセルとして分類し、前記第１ストロングラインに該当する前記ピクセルと前記追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応すると判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化するプロセス；を遂行するプロセッサを含むことを特徴とする。
一例として、前記（ＩＩＩ）プロセスの後に、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、前記プロセッサは、前記所定ピクセルを前記追加ストロングラインに該当するピクセルとして分類し、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当する前記ピクセルが前記車線に該当する前記ピクセルに対応すると判断することを特徴とする。
一例として、前記（ＩＩＩ）プロセスにおいて、（ＩＩＩ＿１）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第１距離未満である場合、前記プロセッサが前記特定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類するプロセス；（ＩＩＩ＿２）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第２距離未満である場合、前記プロセッサが前記所定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類するプロセス；及び（ＩＩＩ＿３）前記プロセッサが、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記（ＩＩＩ＿２）プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当するピクセルを前記車線に該当する前記ピクセルとして判断するプロセス；を含むことを特徴とする。
一例として、前記（ＩＩＩ）プロセスにおいて、前記プロセッサが、前記第１ストロングラインに該当する前記ピクセルに対応する車線の方向に関する情報を参照にして、前記ウィークラインに該当する前記ピクセルそれぞれが前記追加ストロングラインに該当する前記ピクセルに分類されているか否かを判断し、前記第１ストロングラインに該当する前記ピクセルが前記入力イメージ内で特定の角度の方向に群がっていると判断されれば、（１）前記ウィークラインに該当する前記ピクセルの第１部分が前記方向から予め設定してある角度以内にあれば、前記プロセッサが前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルから第１ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第１部分が存在するか否かを判断し、（２）前記ウィークラインに該当する前記ピクセルの第２部分が前記方向から前記予め設定してある角度以内に存在しなければ、前記プロセッサが前記第１ストロングラインに該当する前記ピクセルの少なくとも一部から第２ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第２部分が存在するか否かを判断することを特徴としており、前記第２ピクセル距離は、前記第１ピクセル距離より小さいことを特徴とする。
一例として、前記（ＩＩＩ）プロセスにおいて、前記プロセッサが、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを利用して、前記第１ストロングライン及び前記追加ストロングラインに該当する前記ピクセルに対応する前記車線を検出することを特徴とする。
一例として、前記予め設定してある第１距離は、２つの最も近いピクセル間の距離であることを特徴とする。
一例として、前記予め設定してある第１距離は、所定ピクセルと前記所定ピクセルから第ｎピクセル距離分だけ離れているピクセルとの間の距離であることを特徴とする。
本発明のまた他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤イメージに含まれた少なくとも一つの車線検出のためのテスト装置において、（Ｉ）学習装置がエンコーディングレイヤをもってトレーニングイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つの学習用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定学習用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記トレーニングイメージ内の少なくとも一つの学習用車線候補ピクセルに対する情報を含む学習用セグメンテーションの結果を取得するプロセス；（ＩＩ）前記学習装置が、前記学習用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記学習用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記学習用車線候補ピクセルの前記第１部分を少なくとも一つの学習用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記学習用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つの学習用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（ＩＩＩ）前記学習装置が、（ｉ）前記学習用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記学習用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを学習用追加ストロングラインに該当するピクセルとして分類し、前記学習用第１ストロングラインに該当する前記ピクセルと前記学習用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化するプロセス；を遂行した状態で、テストイメージを取得する通信部；（１）エンコーディングレイヤをもってテストイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのテスト用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定テスト用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記テストイメージ内の少なくとも一つのテスト用車線候補ピクセルに対する情報を含むテスト用セグメンテーションの結果を取得するプロセス；（２）前記テスト用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記テスト用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記テスト用車線候補ピクセルの前記第１部分を少なくとも一つのテスト用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記テスト用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのテスト用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（３）（ｉ）前記テスト用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記テスト用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が予め設定してある第１距離未満である場合、前記特定ピクセルをテスト用追加ストロングラインに該当する少なくとも一つのピクセルとして分類し、前記テスト用第１ストロングラインに該当する前記ピクセルと前記テスト用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断するプロセス；を遂行するプロセッサ；を含むことを特徴とする。
本発明によれば、セグメンテーション結果で取得した確率マップで車線となる確率の高い車線候補ピクセルだけでなく、車線である確率の低い車線候補ピクセルを活用して正確に車線を検出し得る効果がある。
本発明によれば、実際には車線に該当するが、車線である確率の低いピクセルと判断される一部車線候補ピクセルが車線の部分として正確に検出されるので、イメージ内の途切れた車線や、細い車線、遠く離れた車線も容易に検出し得るまたの効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例の中の一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業がなされることなくこれらの図面に基づいて他の図面が得られ得る。
従来のＣＮＮを利用して写真から取得しようとする多様な出力の例を示す図面である。 従来のＣＮＮを利用した従来の車線検出方法を簡略的に示した図面である。 従来のＣＮＮを利用した一般的なセグメンテーションの従来のプロセスを簡略的に示した図面である。 本発明に係るＣＮＮ基盤の車線検出方法を示したフローチャートである。 本発明に係るウィークライン（Ｗｅａｋ Ｌｉｎｅ）に対応するピクセルをストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に対応するピクセルとして分類する様子を例示的に示した図面である。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者に本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は本明細書に表示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面において類似する参照符号は、いくつかの側面にわたって同一であるか、類似する機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得り、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図４は、本発明に係るＣＮＮ基盤の車線検出方法を示したフローチャートである。
図４を参照すれば、本発明に係るＣＮＮ基盤の車線の検出方法は、入力イメージにコンボリューション演算を少なくとも一度適用するようにして少なくとも一つの特徴マップを取得し、デコンボリューション演算を少なくとも一度適用するようにしてセグメンテーション結果を取得する段階Ｓ０１、車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び第２閾値と比較して車線候補ピクセルを第１ストロングライン（Ｆｉｒｓｔ Ｓｔｒｏｎｇ Ｌｉｎｅ）に対応するピクセルまたは第１ウィークライン（Ｆｉｒｓｔ Ｗｅａｋ Ｌｉｎｅ）に対応するピクセルとして分類する段階Ｓ０２、（ｉ）ウィークラインに該当するピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）第１ストロングラインに該当するピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、特定ピクセルを少なくとも一つの追加ストロングラインに該当するピクセルに分類する段階Ｓ０３、（ｉ）ウィークラインに該当するピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）追加ストロングラインに該当するピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、所定ピクセルを追加ストロングラインに該当するピクセルに分類する段階Ｓ０４、追加ストロングラインに該当するピクセルに分類され得る所定ピクセルがなくなるまでＳ０４段階を繰り返す段階Ｓ０５、ストロングラインに該当するピクセル及び追加ストロングラインに該当するピクセルを車線に該当するピクセルと判断する段階Ｓ０６、検出された車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロスを算出する段階Ｓ０７、セグメンテーションロスを利用してバックプロパゲーションを遂行することでＣＮＮの少なくとも一つのパラメータを最適化する段階Ｓ０８及びＣＮＮの最適化されたパラメータを利用して車線検出のためのテスト装置が車線検出プロセスを遂行する段階Ｓ０９を含む。しかし、Ｓ０１からＳ０９までのすべての段階を遂行する必要はない。
本発明に係るＣＮＮ基盤の車線の検出方法は、セグメンテーション結果で得られた確率マップに対する後処理（Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ）と関連があり、これは２つの過程で行われる。第１プロセスは、車線候補ピクセルを検出するプロセスである。既存の技術によりセグメンテーション結果を参照にして車線ピクセルをすぐに検出するプロセスとは異なり、このプロセスで、車線である確率が高いピクセルだけでなく、所定ピクセル自体が車に含まれる確率は相対的に低いが、車線である確率の高い一部のピクセルに隣接する前記所定ピクセルも車線ピクセルとして判断される。その後、第２プロセスでこのように判断された車線ピクセルを２Ｄ点とみなし、近接ピクセルに多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを適用して精製された車線を取得する。ここで、車線候補ピクセルは、セグメンテーションの結果として車線ピクセルになり得る各候補ピクセルを意味し、車線ピクセルは、車線である確率の高いピクセルとして選択されたピクセルを意味する。車線である確率が非常に高いピクセルはすべて車線ピクセルに決定されるが、車線である確率が非常に高くなければ、本発明に係るプロセスが遂行された後に、その一部が車線ピクセルに決定され得る。
具体的に、図４を参照すれば、Ｓ０１段階で、学習装置がトレーニングのイメージを通信部によって取得すると、学習装置がエンコーディングレイヤをもって前記トレーニングイメージに対してコンボリューション演算及びＲｅＬＵ等の非線形演算等を少なくとも一度適用するようにし、少なくとも一つのエンコード済み特徴マップを取得する。その後、学習装置がデコーディングレイヤをもってエンコーディングレイヤから出力された特定のエンコード済みの特徴マップに対して追加演算（例えば、デコンボリューション演算やソフトマックス演算）を適用することにより、入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得する。そしてセグメンテーション結果を利用して、トレーニングイメージのそれぞれのピクセルが車線の一部である確率それぞれを示す確率マップが生成される。
そして、Ｓ０２段階で、確率マップ内の車線候補ピクセルに該当する確率スコアそれぞれを、予め設定してある第１閾値及び予め設定してある第２閾値と比較する。この際、第１閾値は第２閾値より大きい値に設定される。もし車線候補ピクセルの確率スコアまたはその加工値が第１閾値以上であれば、車線候補ピクセルを第１ストロングラインに該当するピクセルに分類する。第１ストロングラインに該当するピクセルは従来の技術で「車線候補ピクセル」に対応し、予め設定してある第１閾値は、従来の技術で車線候補ピクセルを背景と区分する基準値になる。
また、車線候補ピクセルの確率スコアが予め設定してある第１閾値と予め設定してある第２閾値の間の値なら、車線候補ピクセルをウィークラインに該当するピクセルに分類する。そして車線候補ピクセルの確率スコアが予め設定してある第２閾値未満であれば、車線候補ピクセルをどの車線にも含まれていないピクセルに分類する。
その後、（Ｉ）（ｉ）ウィークラインに該当するピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）第１ストロングラインに該当するピクセルの中の少なくとも一部ピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、特定ピクセルを少なくとも一つの追加ストロングラインに該当するピクセルに分類し、（ＩＩ）（ｉ）ウィークラインに該当するピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）追加ストロングラインに該当するピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、所定ピクセルを追加ストロングラインに該当するピクセルとして分類する。この際、追加ストロングラインに該当するピクセルに分類され得る所定ピクセルがなくなるまで、先に述べたプロセスを繰り返した後、第１ストロングラインに該当するピクセル及び追加ストロングラインに該当するピクセルを車線に該当するピクセルとして判断する。
図５は、本発明に係るウィークラインに該当するピクセルをストロングラインに該当するピクセルに分類するプロセスを示した図面である。
図５を参照すれば、Ｓ０３段階では（ｉ）ウィークラインに該当するピクセルの中の特定ピクセルと（ｉｉ）第１ストロングラインに該当するピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、特定ピクセルが少なくとも一つの追加ストロングラインに該当するピクセルに分類される。例えば、入力イメージ内に第１ストロングラインに該当するピクセルが１００個ある場合、１００個のピクセルのうち、少なくとも一部に近接した少なくとも一つの領域内にウィークラインに該当するピクセルが存在するか否かが確認される。１００個のピクセルのうち少なくとも一部に近接した領域内にウィークラインに該当するピクセルが存在する場合、ウィークラインに該当するピクセルは、追加ストロングラインに該当するピクセルに分類されるであろう。この際、１００個のピクセルすべてに近接した領域内にウィークラインに該当するピクセルが存在するか否かを確認する必要はない。
この際、前記予め設定してある第１距離は、２つの最も近いピクセルの間の距離のような短い距離またはｎ個のピクセルによって規定される距離のような遠い距離でもあり得る。
加えて、学習装置が第１ストロングラインに該当するピクセルに対応する車線の方向に関する情報を参照して、ウィークラインに対応するピクセルそれぞれが追加ストロングラインに対応するピクセルに分類されるか否かを判断する。例えば、第１ストロングラインに該当するピクセルが入力イメージ内で特定の角度の方向に群がっているなら、（Ｉ）ウィークラインに該当するピクセルの第１部分が前記方向から予め設定してある角度以内にあれば、第１ストロングラインに該当するピクセルの中に少なくとも一部のピクセルから第１ピクセル距離内にウィークラインに該当するピクセルの第１部分が存在するか否かが判断され、（ＩＩ）ウィークラインに該当するピクセルの第２部分が前記方向から予め設定してある角度以内に存在しなければ、第１ストロングラインに該当するピクセルの少なくとも一部から第２ピクセル距離内にウィークラインに該当するピクセルの第２部分が存在するか否かが判断される。この際、第２ピクセルの距離は第１ピクセル距離よりも小さい。
そして、Ｓ０３段階で特定ピクセルを追加ストロングラインに該当するピクセルに分類するプロセスを終えた状態であるため、Ｓ０４段階で追加ストロングラインに該当するピクセルに分類されたピクセルに対してＳ０３段階と類似したプロセスが進行される。つまり、Ｓ０４段階で（ｉ）ウィークラインに該当するピクセルの中の少なくとも一つの所定ピクセルと、（ｉｉ）追加ストロングラインに該当するピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、所定ピクセルが追加ストロングラインに該当するピクセルに分類される。つまり、第１ストロングラインに該当するピクセルにウィークラインに該当するピクセルが隣接して存在すれば、このウィークラインに該当する各ピクセルはＳ０４段階によって追加ストロングラインに該当するピクセルに逐次的に分類されるであろう。
この場合でも、（ｉ）ウィークラインに該当するピクセルの中の所定ピクセルと（ｉｉ）追加ストロングラインに該当するピクセルの中の少なくとも一部のピクセルとの間の距離が追加ストロングラインに該当するすべてのピクセルに対して算出され得る。例えば、追加ストロングラインに該当するピクセルの数が５０個なら、５０個のピクセルそれぞれに対する距離が算出され得る。
そして、Ｓ０５段階で、追加ストロングラインに該当するピクセルに分類され得る所定ピクセルがなくなるまでＳ０４段階を繰り返す。つまり、追加ストロングラインに該当するピクセルに近接した、ウィークラインに該当するピクセルがなくなるまでＳ０４段階を繰り返す。これによって、第１ストロングラインに該当するピクセルに隣接して群がるウィークラインに該当するピクセルは追加ストロングラインに該当するピクセルに分類されるが、第１ストロングラインに該当するピクセルから離れていたり、ウィークラインに該当するピクセルだけが群がる形で集まっているピクセルはそのままウィークラインに該当するピクセルとして残ることになる。
図５には、入力イメージ内で実際の車線５１周辺に第１ストロングラインに該当するピクセル５２とウィークラインに該当するピクセル５３、５４とが検出される例が示されている。第１ストロングラインに該当するピクセル５２は、実際の車線に該当するピクセルとして最初からみなされる。そして、ウィークラインに該当するピクセル５３、５４の中で（ｉ）第１ストロングラインに該当するピクセル５２に隣接しているウィークラインに該当するピクセル５３及び（ｉｉ）第１ストロングラインに該当するピクセル５２に隣接しているウィークラインに該当するピクセル５３に隣接した他のピクセル（すなわち、第１ストロングラインに該当するピクセル５２と直接または間接的に隣接して群がっているピクセル）は、追加ストロングラインに該当するピクセルであると識別される。しかし、図５に示したように、第１ストロングラインに該当するピクセル５２に隣接しているウィークラインに該当するピクセル５３から遠く離れたウィークラインに該当するピクセル５４は追加ストロングラインに該当するピクセルに分類されず、そのままウィークラインに該当するピクセルとして残ることになる。
一方、Ｓ０６段階で第１ストロングラインに該当するピクセル及び追加ストロングラインに該当するピクセルは、車線に該当するピクセル（つまり、実際の車線に該当するピクセル）に対応すると判断される。つまり、Ｓ０３段階ないしＳ０５段階を経た後、第１ストロングラインに該当するピクセルと追加ストロングラインに該当するピクセルとは、車線に該当するピクセルであると判断された後、前記第１ストロングライン及び前記追加ストロングラインに該当するピクセルに対応する実際の車線は、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを用いて正確に検出される。
図５を参照すれば、第１ストロングラインに該当するピクセルとウィークラインに該当するピクセルのうち、追加ストロングラインに該当するピクセルが車線に該当するピクセルに対応していると判断されれば、実際のライン５１と類似した結果が出力され得る。
その後、検出された車線とＧＴ車線とを参照にしてセグメンテーションロスが算出される段階Ｓ０７及びセグメンテーションロスを利用してバックプロパゲーションを遂行して、ＣＮＮの少なくとも一つのパラメータを最適化する段階Ｓ０８を遂行する。
Ｓ０９段階でＣＮＮの最適化されたパラメータを利用したテスト装置で、車線検出プロセスを遂行する。つまり、Ｓ０９段階では以前の段階によって学習された学習装置の最適化されたパラメータが取得された状態で、テスト装置を利用して車線検出プロセスを遂行する。
参考までに、以下の説明で、混乱を避けるために、「学習用」とは、先に説明した学習プロセス関連用語において追加され、「テスト用」はテストプロセスに関連した用語として追加される。
つまり、トレーニングイメージが取得されれば、（Ｉ）学習装置がエンコーディングレイヤをもってトレーニングイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つの学習用エンコード済み特徴マップを取得し、デコーディングレイヤをもってエンコーディングレイヤから出力された特定学習用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記トレーニングイメージ内の少なくとも一つの学習用車線候補ピクセルに対する情報を含む学習用セグメンテーションの結果を取得するプロセス、（ＩＩ）学習装置が、学習用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、学習用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、学習用車線候補ピクセルの前記第１部分を少なくとも一つの学習用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、学習用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが第１閾値未満で第２閾値以上なら、第２部分を少なくとも一つの学習用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス、（ＩＩＩ）前記学習装置が、（ｉ）前記学習用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）学習用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、特定ピクセルを少なくとも一つの学習用追加ストロングラインに該当するピクセルとして分類し、学習用第１ストロングラインに該当するピクセルと学習用追加ストロングラインに該当するピクセルとが前記車線に該当するピクセルに対応するものと判断するプロセス；（ＩＶ）学習装置が、検出された車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）学習装置が、セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、学習装置の少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、テスト装置がテストイメージを取得する。
テスト装置が、エンコーディングレイヤをもってテストイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのテスト用エンコード済み特徴マップを取得し、デコーディングレイヤをもってエンコーディングレイヤから出力された特定テスト用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、テストイメージ内の少なくとも一つのテスト用車線候補ピクセルに対する情報を含むテスト用セグメンテーションの結果を取得する。
テスト装置が、テスト用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、テスト用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが第１閾値以上なら、テスト用車線候補ピクセルの前記第１部分を少なくとも一つのテスト用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、テスト用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが第１閾値未満で第２閾値以上なら、第２部分を少なくとも一つのテスト用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する。
テスト装置が、（ｉ）テスト用ウィークラインに該当するピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）テスト用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が予め設定してある第１距離未満である場合、特定ピクセルをテスト用追加ストロングラインに該当するピクセルとして分類し、テスト用第１ストロングラインに該当する前記ピクセルとテスト用追加ストロングラインに該当するピクセルとが車線に該当するピクセルに対応すると判断する。
この際、テスト装置は、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを利用して、前記第１ストロングライン及び前記追加ストロングラインに該当するピクセルに対応する車線を正確に検出し得る。
一方、Ｓ０１段階ないしＳ０９段階は、学習装置のプロセッサで遂行されてＳ０１段階ないしＳ０６段階はテスト装置のプロセッサで遂行される。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えばトレーニングイメージ、テストイメージといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得り、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得り、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。 前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習方法において、
（ａ）入力イメージが取得されると、学習装置がエンコーディングレイヤをもって前記入力イメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのエンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得する段階；
（ｂ）前記学習装置が、前記車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記車線候補ピクセルの前記第１部分を少なくとも一つの第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する段階；及び
（ｃ）前記学習装置が、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを追加ストロングラインに該当するピクセルとして分類し、前記第１ストロングラインに該当する前記ピクセルと前記追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断する段階；
を含むことを特徴とする学習方法。
［２］
前記（ｃ）段階の後に、
前記学習装置は、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、前記所定ピクセルを前記追加ストロングラインに該当するピクセルとして分類するプロセスを遂行し、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当する前記ピクセルが前記車線に該当する前記ピクセルに対応すると判断することを特徴とする［１］に記載の学習方法。
［３］
前記（ｃ）段階において、
（ｃ１）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第１距離未満である場合、前記学習装置が前記特定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類する段階；
（ｃ２）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第２距離未満である場合、前記学習装置が前記所定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類する段階；及び
（ｃ３）前記学習装置が、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記（ｃ２）段階を繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当するピクセルを前記車線に該当する前記ピクセルとして判断する段階；
を含むことを特徴とする［２］に記載の学習方法。
［４］
前記（ｃ）段階において、
前記学習装置が、前記第１ストロングラインに該当する前記ピクセルに対応する車線の方向に関する情報を参照して、前記ウィークラインに該当する前記ピクセルそれぞれが前記追加ストロングラインに該当する前記ピクセルに分類されているか否かを判断し、
前記第１ストロングラインに該当する前記ピクセルが前記入力イメージ内で特定の角度の方向に群がっていると判断されれば、（Ｉ）前記ウィークラインに該当する前記ピクセルの第１部分が前記方向から予め設定してある角度以内にあれば、前記学習装置が前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルから第１ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第１部分が存在するか否かを判断し、（ＩＩ）前記ウィークラインに該当する前記ピクセルの第２部分が前記方向から前記予め設定してある角度以内に存在しなければ、前記学習装置が前記第１ストロングラインに該当する前記ピクセルの少なくとも一部から第２ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第２部分が存在するか否かを判断することを特徴としており、
前記第２ピクセルの距離は、前記第１ピクセル距離より小さいことを特徴とする［２］に記載の学習方法。
［５］
前記（ｃ）段階において、
前記学習装置が、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを利用して、前記第１ストロングライン及び前記追加ストロングラインに該当する前記ピクセルに対応する前記車線を検出することを特徴とする［１］に記載の学習方法。
［６］
前記予め設定してある第１距離は、２つの最も近いピクセル間の距離であることを特徴とする［１］に記載の学習方法。
［７］
前記予め設定してある第１距離は、所定ピクセルと前記所定ピクセルから第ｎピクセル距離分だけ離れているピクセルとの間の距離であることを特徴とする［１］に記載の学習方法。
［８］
（ｄ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出する段階；及び
（ｅ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化する段階；
をさらに含むことを特徴とする［１］に記載の学習方法。
［９］
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のためのテスト方法において、
（ａ）（Ｉ）学習装置がエンコーディングレイヤをもってトレーニングイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つの学習用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定学習用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記トレーニングイメージ内の少なくとも一つの学習用車線候補ピクセルに対する情報を含む学習用セグメンテーションの結果を取得するプロセス、（ＩＩ）前記学習装置が、前記学習用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記学習用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記学習用車線候補ピクセルの前記第１部分を少なくとも一つの学習用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記学習用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つの学習用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス、（ＩＩＩ）前記学習装置が、（ｉ）前記学習用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記学習用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを少なくとも一つの学習用追加ストロングラインに該当するピクセルとして分類し、前記学習用第１ストロングラインに該当する前記ピクセルと前記学習用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記学習装置の少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、テスト装置がテストイメージを取得する段階；
（ｂ）前記テスト装置が、前記エンコーディングレイヤをもって前記テストイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのテスト用エンコード済み特徴マップを取得し、前記デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定テスト用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記テストイメージ内の少なくとも一つのテスト用車線候補ピクセルに対する情報を含むテスト用セグメンテーションの結果を取得する段階；
（ｃ）前記テスト装置が、前記テスト用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記テスト用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記テスト用車線候補ピクセルの前記第１部分を少なくとも一つのテスト用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記テスト用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのテスト用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する段階；及び
（ｄ）前記テスト装置が、（ｉ）前記テスト用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記テスト用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が予め設定してある第１距離未満である場合、前記特定ピクセルをテスト用追加ストロングラインに該当するピクセルとして分類し、前記テスト用第１ストロングラインに該当する前記ピクセルと前記テスト用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応すると判断する段階；
を含むことを特徴とするテスト方法。
［１０］
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習装置において、
入力イメージを取得するための通信部；及び
（Ｉ）入力イメージが取得されると、エンコーディングレイヤをもって前記入力イメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのエンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得するプロセス；（ＩＩ）前記車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記車線候補ピクセルの前記第１部分を少なくとも一つの第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；及び（ＩＩＩ）（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを追加ストロングラインに該当するピクセルとして分類し、前記第１ストロングラインに該当する前記ピクセルと前記追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応すると判断するプロセス；を遂行するプロセッサを含むことを特徴とする学習装置。
［１１］
前記（ＩＩＩ）プロセスの後に、
（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、前記プロセッサは、前記所定ピクセルを前記追加ストロングラインに該当するピクセルとして分類し、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当する前記ピクセルが前記車線に該当する前記ピクセルに対応すると判断することを特徴とする［１０］に記載の学習装置。
［１２］
前記（ＩＩＩ）プロセスにおいて、
（ＩＩＩ＿１）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第１距離未満である場合、前記プロセッサが前記特定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類するプロセス；
（ＩＩＩ＿２）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第２距離未満である場合、前記プロセッサが前記所定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類するプロセス；及び
（ＩＩＩ＿３）前記プロセッサが、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記（ＩＩＩ＿２）プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当するピクセルを前記車線に該当する前記ピクセルとして判断するプロセス；
を含むことを特徴とする［１０］に記載の学習装置。
［１３］
前記（ＩＩＩ）プロセスにおいて、
前記プロセッサが、前記第１ストロングラインに該当する前記ピクセルに対応する車線の方向に関する情報を参照にして、前記ウィークラインに該当する前記ピクセルそれぞれが前記追加ストロングラインに該当する前記ピクセルに分類されているか否かを判断し、
前記第１ストロングラインに該当する前記ピクセルが前記入力イメージ内で特定の角度の方向に群がっていると判断されれば、（１）前記ウィークラインに該当する前記ピクセルの第１部分が前記方向から予め設定してある角度以内にあれば、前記プロセッサが前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルから第１ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第１部分が存在するか否かを判断し、（２）前記ウィークラインに該当する前記ピクセルの第２部分が前記方向から前記予め設定してある角度以内に存在しなければ、前記プロセッサが前記第１ストロングラインに該当する前記ピクセルの少なくとも一部から第２ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第２部分が存在するか否かを判断することを特徴としており、
前記第２ピクセルの距離は、前記第１ピクセル距離より小さいことを特徴とする［１１］に記載の学習装置。
［１４］
前記（ＩＩＩ）プロセスにおいて、
前記プロセッサが、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを利用して、前記第１ストロングライン及び前記追加ストロングラインに該当する前記ピクセルに対応する前記車線を検出することを特徴とする［１０］に記載の学習装置。
［１５］
前記予め設定してある第１距離は、２つの最も近いピクセル間の距離であることを特徴とする［１０］に記載の学習装置。
［１６］
前記予め設定してある第１距離は、所定ピクセルと前記所定ピクセルから第ｎピクセル距離分だけ離れているピクセルとの間の距離であることを特徴とする［１０］に記載の学習装置。
［１７］
前記プロセッサが、
（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び
（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化するプロセス；
をさらに遂行すること特徴とする［１０］に記載の学習装置。
［１８］
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤イメージに含まれた少なくとも一つの車線検出のためのテスト装置において、
（Ｉ）学習装置がエンコーディングレイヤをもってトレーニングイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つの学習用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定学習用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記トレーニングイメージ内の少なくとも一つの学習用車線候補ピクセルに対する情報を含む学習用セグメンテーションの結果を取得するプロセス；（ＩＩ）前記学習装置が、前記学習用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記学習用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記学習用車線候補ピクセルの前記第１部分を少なくとも一つの学習用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記学習用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つの学習用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（ＩＩＩ）前記学習装置が、（ｉ）前記学習用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記学習用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを学習用追加ストロングラインに該当するピクセルとして分類し、前記学習用第１ストロングラインに該当する前記ピクセルと前記学習用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化するプロセス；を遂行した状態で、テストイメージを取得する通信部；
（１）エンコーディングレイヤをもってテストイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのテスト用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定テスト用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記テストイメージ内の少なくとも一つのテスト用車線候補ピクセルに対する情報を含むテスト用セグメンテーションの結果を取得するプロセス；（２）前記テスト用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記テスト用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記テスト用車線候補ピクセルの前記第１部分を少なくとも一つのテスト用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記テスト用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのテスト用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（３）（ｉ）前記テスト用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記テスト用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が予め設定してある第１距離未満である場合、前記特定ピクセルをテスト用追加ストロングラインに該当する少なくとも一つのピクセルとして分類し、前記テスト用第１ストロングラインに該当する前記ピクセルと前記テスト用追加ストロングラインに該当する前記ピクセルが前記車線に該当するピクセルに対応するものと判断するプロセス；を遂行するプロセッサ；
を含むことを特徴とするテスト装置。

Claims (16)

  1. ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習方法において、
    （ａ）入力イメージが取得されると、学習装置がエンコーディングレイヤをもって前記入力イメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのエンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得する段階；
    （ｂ）前記学習装置が、前記車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記車線候補ピクセルの前記第１部分を少なくとも一つの第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する段階；
    （ｃ）前記学習装置が、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを追加ストロングラインに該当するピクセルとして分類し、前記第１ストロングラインに該当する前記ピクセルと前記追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断する段階；
    （ｄ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出する段階；及び
    （ｅ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化する段階；
    を含むことを特徴とする学習方法。
  2. 前記（ｃ）段階の後に、
    前記学習装置は、（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、前記所定ピクセルを前記追加ストロングラインに該当するピクセルとして分類するプロセスを遂行し、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当する前記ピクセルが前記車線に該当する前記ピクセルに対応すると判断することを特徴とする請求項１に記載の学習方法。
  3. 前記（ｃ）段階において、
    （ｃ１）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第１距離未満である場合、前記学習装置が前記特定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類する段階；
    （ｃ２）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第２距離未満である場合、前記学習装置が前記所定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類する段階；及び
    （ｃ３）前記学習装置が、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記（ｃ２）段階を繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当するピクセルを前記車線に該当する前記ピクセルとして判断する段階；
    を含むことを特徴とする請求項２に記載の学習方法。
  4. 前記（ｃ）段階において、
    前記学習装置が、前記第１ストロングラインに該当する前記ピクセルに対応する車線の方向に関する情報を参照して、前記ウィークラインに該当する前記ピクセルそれぞれが前記追加ストロングラインに該当する前記ピクセルに分類されているか否かを判断し、
    前記第１ストロングラインに該当する前記ピクセルが前記入力イメージ内で特定の角度の方向に群がっていると判断されれば、（Ｉ）前記ウィークラインに該当する前記ピクセルの第１部分が前記方向から予め設定してある角度以内にあれば、前記学習装置が前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルから第１ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第１部分が存在するか否かを判断し、（ＩＩ）前記ウィークラインに該当する前記ピクセルの第２部分が前記方向から前記予め設定してある角度以内に存在しなければ、前記学習装置が前記第１ストロングラインに該当する前記ピクセルの少なくとも一部から第２ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第２部分が存在するか否かを判断することを特徴としており、
    前記第２ピクセル距離は、前記第１ピクセル距離より小さいことを特徴とする請求項２に記載の学習方法。
  5. 前記（ｃ）段階において、
    前記学習装置が、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを利用して、前記第１ストロングライン及び前記追加ストロングラインに該当する前記ピクセルに対応する前記車線を検出することを特徴とする請求項１に記載の学習方法。
  6. 前記予め設定してある第１距離は、２つの最も近いピクセル間の距離であることを特徴とする請求項１に記載の学習方法。
  7. 前記予め設定してある第１距離は、所定ピクセルと前記所定ピクセルから第ｎピクセル距離分だけ離れているピクセルとの間の距離であることを特徴とする請求項１に記載の学習方法。
  8. ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のためのテスト方法において、
    （ａ）（Ｉ）学習装置がエンコーディングレイヤをもってトレーニングイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つの学習用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定学習用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記トレーニングイメージ内の少なくとも一つの学習用車線候補ピクセルに対する情報を含む学習用セグメンテーションの結果を取得するプロセス、（ＩＩ）前記学習装置が、前記学習用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記学習用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記学習用車線候補ピクセルの前記第１部分を少なくとも一つの学習用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記学習用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つの学習用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス、（ＩＩＩ）前記学習装置が、（ｉ）前記学習用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記学習用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを少なくとも一つの学習用追加ストロングラインに該当するピクセルとして分類し、前記学習用第１ストロングラインに該当する前記ピクセルと前記学習用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記学習装置の少なくとも一つのパラメータを最適化するプロセスを遂行した状態で、テスト装置がテストイメージを取得する段階；
    （ｂ）前記テスト装置が、前記エンコーディングレイヤをもって前記テストイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのテスト用エンコード済み特徴マップを取得し、前記デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定テスト用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記テストイメージ内の少なくとも一つのテスト用車線候補ピクセルに対する情報を含むテスト用セグメンテーションの結果を取得する段階；
    （ｃ）前記テスト装置が、前記テスト用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記テスト用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記テスト用車線候補ピクセルの前記第１部分を少なくとも一つのテスト用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記テスト用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのテスト用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類する段階；及び
    （ｄ）前記テスト装置が、（ｉ）前記テスト用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記テスト用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が予め設定してある第１距離未満である場合、前記特定ピクセルをテスト用追加ストロングラインに該当するピクセルとして分類し、前記テスト用第１ストロングラインに該当する前記ピクセルと前記テスト用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応すると判断する段階；
    を含むことを特徴とするテスト方法。
  9. ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の、少なくとも一つの車線検出のための学習装置において、
    入力イメージを取得するための通信部；及び
    （Ｉ）入力イメージが取得されると、エンコーディングレイヤをもって前記入力イメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのエンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記入力イメージ内の少なくとも一つの車線候補ピクセルに対する情報を含むセグメンテーションの結果を取得するプロセス；（ＩＩ）前記車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記車線候補ピクセルの前記第１部分を少なくとも一つの第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（ＩＩＩ）（ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを追加ストロングラインに該当するピクセルとして分類し、前記第１ストロングラインに該当する前記ピクセルと前記追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応すると判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化するプロセス；を遂行するプロセッサを含むことを特徴とする学習装置。
  10. 前記（ＩＩＩ）プロセスの後に、
    （ｉ）前記ウィークラインに該当する前記ピクセルの中の少なくとも一つの所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第２距離未満である場合、前記プロセッサは、前記所定ピクセルを前記追加ストロングラインに該当するピクセルとして分類し、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当する前記ピクセルが前記車線に該当する前記ピクセルに対応すると判断することを特徴とする請求項９に記載の学習装置。
  11. 前記（ＩＩＩ）プロセスにおいて、
    （ＩＩＩ＿１）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記特定ピクセルと（ｉｉ）前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第１距離未満である場合、前記プロセッサが前記特定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類するプロセス；
    （ＩＩＩ＿２）（ｉ）前記ウィークラインに該当する前記ピクセルの中の前記所定ピクセルと（ｉｉ）前記追加ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が前記予め設定してある第２距離未満である場合、前記プロセッサが前記所定ピクセルを前記追加ストロングラインに該当する前記ピクセルとして分類するプロセス；及び
    （ＩＩＩ＿３）前記プロセッサが、前記追加ストロングラインに該当するピクセルとして分類され得る所定ピクセルがなくなるまで前記（ＩＩＩ＿２）プロセスを繰り返した後、前記第１ストロングラインに該当する前記ピクセル及び前記追加ストロングラインに該当するピクセルを前記車線に該当する前記ピクセルとして判断するプロセス；
    を含むことを特徴とする請求項１０に記載の学習装置。
  12. 前記（ＩＩＩ）プロセスにおいて、
    前記プロセッサが、前記第１ストロングラインに該当する前記ピクセルに対応する車線の方向に関する情報を参照にして、前記ウィークラインに該当する前記ピクセルそれぞれが前記追加ストロングラインに該当する前記ピクセルに分類されているか否かを判断し、
    前記第１ストロングラインに該当する前記ピクセルが前記入力イメージ内で特定の角度の方向に群がっていると判断されれば、（１）前記ウィークラインに該当する前記ピクセルの第１部分が前記方向から予め設定してある角度以内にあれば、前記プロセッサが前記第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルから第１ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第１部分が存在するか否かを判断し、（２）前記ウィークラインに該当する前記ピクセルの第２部分が前記方向から前記予め設定してある角度以内に存在しなければ、前記プロセッサが前記第１ストロングラインに該当する前記ピクセルの少なくとも一部から第２ピクセル距離内に前記ウィークラインに該当する前記ピクセルの前記第２部分が存在するか否かを判断することを特徴としており、
    前記第２ピクセル距離は、前記第１ピクセル距離より小さいことを特徴とする請求項１０に記載の学習装置。
  13. 前記（ＩＩＩ）プロセスにおいて、
    前記プロセッサが、多項式フィッティング（Ｐｏｌｙｎｏｍｉａｌ Ｆｉｔｔｉｎｇ）アルゴリズム又はスプラインフィッティング（Ｓｐｌｉｎｅ Ｆｉｔｔｉｎｇ）アルゴリズムを利用して、前記第１ストロングライン及び前記追加ストロングラインに該当する前記ピクセルに対応する前記車線を検出することを特徴とする請求項９に記載の学習装置。
  14. 前記予め設定してある第１距離は、２つの最も近いピクセル間の距離であることを特徴とする請求項９に記載の学習装置。
  15. 前記予め設定してある第１距離は、所定ピクセルと前記所定ピクセルから第ｎピクセル距離分だけ離れているピクセルとの間の距離であることを特徴とする請求項９に記載の学習装置。
  16. ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤イメージに含まれた少なくとも一つの車線検出のためのテスト装置において、
    （Ｉ）学習装置がエンコーディングレイヤをもってトレーニングイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つの学習用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定学習用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記トレーニングイメージ内の少なくとも一つの学習用車線候補ピクセルに対する情報を含む学習用セグメンテーションの結果を取得するプロセス；（ＩＩ）前記学習装置が、前記学習用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記学習用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記学習用車線候補ピクセルの前記第１部分を少なくとも一つの学習用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記学習用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つの学習用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（ＩＩＩ）前記学習装置が、（ｉ）前記学習用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記学習用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離の少なくとも一つの値が予め設定してある第１距離未満である場合、前記特定ピクセルを学習用追加ストロングラインに該当するピクセルとして分類し、前記学習用第１ストロングラインに該当する前記ピクセルと前記学習用追加ストロングラインに該当する前記ピクセルとが前記車線に該当するピクセルに対応するものと判断するプロセス；（ＩＶ）前記学習装置が、検出された前記車線とＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）車線とを参照にしてセグメンテーションロス（Ｓｅｇｍｅｎｔａｔｉｏｎ Ｌｏｓｓ）を算出するプロセス；及び（Ｖ）前記学習装置が、前記セグメンテーションロスを用いてバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を遂行することで、前記ＣＮＮの少なくとも一つのパラメータを最適化するプロセス；を遂行した状態で、テストイメージを取得する通信部；
    （１）エンコーディングレイヤをもってテストイメージに少なくとも一度コンボリューション演算を適用するようにして少なくとも一つのテスト用エンコード済み特徴マップを取得し、デコーディングレイヤをもって前記エンコーディングレイヤから出力された特定テスト用エンコード済み特徴マップに少なくとも一度デコンボリューション演算を適用するようにして、前記テストイメージ内の少なくとも一つのテスト用車線候補ピクセルに対する情報を含むテスト用セグメンテーションの結果を取得するプロセス；（２）前記テスト用車線候補ピクセルそれぞれに該当する確率スコアそれぞれを、予め設定してある第１閾値及び前記第１閾値より小さい予め設定してある第２閾値と比較して、前記テスト用車線候補ピクセルの少なくとも一つの第１部分の少なくとも一つの確率スコアが前記第１閾値以上なら、前記テスト用車線候補ピクセルの前記第１部分を少なくとも一つのテスト用第１ストロングライン（Ｓｔｒｏｎｇ Ｌｉｎｅ）に該当するピクセルとして分類し、前記テスト用車線候補ピクセルの少なくとも一つの第２部分の少なくとも一つの確率スコアが前記第１閾値未満で前記第２閾値以上なら、前記第２部分を少なくとも一つのテスト用ウィークライン（Ｗｅａｋ Ｌｉｎｅ）に該当するピクセルとして分類するプロセス；（３）（ｉ）前記テスト用ウィークラインに該当する前記ピクセルの中の少なくとも一つの特定ピクセルと（ｉｉ）前記テスト用第１ストロングラインに該当する前記ピクセルの中の少なくとも一部のピクセルとの間の距離が予め設定してある第１距離未満である場合、前記特定ピクセルをテスト用追加ストロングラインに該当する少なくとも一つのピクセルとして分類し、前記テスト用第１ストロングラインに該当する前記ピクセルと前記テスト用追加ストロングラインに該当する前記ピクセルが前記車線に該当するピクセルに対応するものと判断するプロセス；を遂行するプロセッサ；
    を含むことを特徴とするテスト装置。
JP2019160095A 2018-09-04 2019-09-03 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Active JP6847464B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/121,084 2018-09-04
US16/121,084 US10223614B1 (en) 2018-09-04 2018-09-04 Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same

Publications (2)

Publication Number Publication Date
JP2020038662A JP2020038662A (ja) 2020-03-12
JP6847464B2 true JP6847464B2 (ja) 2021-03-24

Family

ID=65495722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019160095A Active JP6847464B2 (ja) 2018-09-04 2019-09-03 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝

Country Status (5)

Country Link
US (1) US10223614B1 (ja)
EP (1) EP3620956B1 (ja)
JP (1) JP6847464B2 (ja)
KR (1) KR102280395B1 (ja)
CN (1) CN110874564B (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096933B (zh) * 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统
US10565475B2 (en) * 2018-04-24 2020-02-18 Accenture Global Solutions Limited Generating a machine learning model for objects based on augmenting the objects with physical properties
US10311321B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device using regression loss and testing method, testing device using the same
US10402692B1 (en) * 2019-01-22 2019-09-03 StradVision, Inc. Learning method and learning device for fluctuation-robust object detector based on CNN using target object estimating network adaptable to customers' requirements such as key performance index, and testing device using the same
US10387753B1 (en) * 2019-01-23 2019-08-20 StradVision, Inc. Learning method and learning device for convolutional neural network using 1×1 convolution for image recognition to be used for hardware optimization, and testing method and testing device using the same
US10395140B1 (en) * 2019-01-23 2019-08-27 StradVision, Inc. Learning method and learning device for object detector based on CNN using 1×1 convolution to be used for hardware optimization, and testing method and testing device using the same
US10496899B1 (en) * 2019-01-25 2019-12-03 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN in which residual networks are provided for meta learning, and testing method and testing device using the same
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US10373027B1 (en) * 2019-01-30 2019-08-06 StradVision, Inc. Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
US10423840B1 (en) * 2019-01-31 2019-09-24 StradVision, Inc. Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
US10373004B1 (en) * 2019-01-31 2019-08-06 StradVision, Inc. Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
WO2020181554A1 (zh) * 2019-03-14 2020-09-17 Oppo广东移动通信有限公司 预测值的确定方法、解码器以及计算机存储介质
US20200302176A1 (en) * 2019-03-18 2020-09-24 Nvidia Corporation Image identification using neural networks
CN110147794A (zh) * 2019-05-21 2019-08-20 东北大学 一种基于深度学习的无人车室外场景实时分割方法
CN110414386B (zh) * 2019-07-12 2022-01-21 武汉理工大学 基于改进scnn网络的车道线检测方法
US11055543B2 (en) 2019-07-26 2021-07-06 Volkswagen Ag Road curvature generation in real-world images as a method of data augmentation
KR20210112191A (ko) 2020-03-04 2021-09-14 엘지전자 주식회사 영전압 스위칭 실패 감지 회로
CN111507203B (zh) * 2020-03-27 2023-09-26 北京百度网讯科技有限公司 可变车道检测模型的构建方法、电子设备及存储介质
CN111368804A (zh) * 2020-03-31 2020-07-03 河北科技大学 车道线检测方法、系统及终端设备
CN111874003B (zh) * 2020-06-23 2021-07-20 安徽信息工程学院 一种车辆行驶偏离预警方法和系统
KR102501936B1 (ko) * 2020-12-28 2023-02-21 한국과학기술정보연구원 차선검출장치 및 그 동작 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
JP6426512B2 (ja) * 2015-03-17 2018-11-21 株式会社Ｓｏｋｅｎ 走行区画線認識装置
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN105631880B (zh) * 2015-12-31 2019-03-22 百度在线网络技术（北京）有限公司 车道线分割方法和装置
ITUA20164758A1 (it) * 2016-06-29 2017-12-29 Ser Mac S R L Apparato di rilevamento di prodotti ortofrutticoli.
CN106203398B (zh) * 2016-07-26 2019-08-13 东软集团股份有限公司 一种检测车道边界的方法、装置和设备
CN106971155B (zh) * 2017-03-21 2020-03-24 电子科技大学 一种基于高度信息的无人车车道场景分割方法
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质

Also Published As

Publication number Publication date
KR102280395B1 (ko) 2021-07-23
EP3620956B1 (en) 2023-10-25
CN110874564A (zh) 2020-03-10
JP2020038662A (ja) 2020-03-12
CN110874564B (zh) 2023-08-04
KR20200027427A (ko) 2020-03-12
EP3620956C0 (en) 2023-10-25
US10223614B1 (en) 2019-03-05
EP3620956A1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
JP6847464B2 (ja) 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102373456B1 (ko) 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
JP6875021B2 (ja) 有用な学習データを取捨選別するためのｃｎｎ基盤の学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6847463B2 (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP6820030B2 (ja) 異なるラベルセットを有する複数のラベリングされたデータベースを用いて学習する方法及び装置、そしてこれを利用したテスト方法及び装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｍｕｌｔｉｐｌｅ ｌａｂｅｌｅｄ ｄａｔａｂａｓｅｓ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｌａｂｅｌ ｓｅｔｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN110874841B (zh) 参照边缘图像的客体检测方法及装置
JP6869565B2 (ja) 危険要素検出に利用される学習用イメージデータセットの生成方法及びコンピューティング装置、そしてこれを利用した学習方法及び学習装置｛ｍｅｔｈｏｄ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｉｍａｇｅ ｄａｔａ ｓｅｔ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｈａｚａｒｄ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6849932B2 (ja) 高精密度のイメージを分析するためのディープラーニングネットワークを使用するためにトレーニングイメージをオートラベリングするオートラベルリング装置のハイパーパラメータを最適化する方法、及びこれを利用した最適化装置
JP6865363B2 (ja) ラプラシアンピラミッドネットワークを利用して自律走行自動車レベル４及びレベル５を満足させるために要求される道路障害物検出におけるセグメンテーション性能向上のための学習方法及び学習装置、並びにこれを利用したテスト方法及びテスト装置
JP6869559B2 (ja) 障害物を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｏｂｓｔａｃｌｅｓ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ， ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6867054B2 (ja) マルチカメラシステム内のダブルエンベディング構成を利用して、道路利用者イベントを検出するために用いられるセグメンテーション性能向上のための学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置。｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｍｐｒｏｖｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｒｏａｄ ｕｓｅｒ ｅｖｅｎｔｓ ｕｓｉｎｇ ｄｏｕｂｌｅ ｅｍｂｅｄｄｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｉｎ ｍｕｌｔｉ−ｃａｍｅｒａ ｓｙｓｔｅｍ ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6856952B2 (ja) 複数のビデオフレームを利用してｃｎｎのパラメータを最適化するための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6793411B2 (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
JP6916548B2 (ja) 自律走行自動車のレベル４を満たすために必要なｈｄマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
JP6865342B2 (ja) Ｃｎｎ基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置
JP6979707B2 (ja) リグレッションロス（Ｒｅｇｒｅｓｓｉｏｎ ｌｏｓｓ）を利用した学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＲＥＧＲＥＳＳＩＯＮ ＬＯＳＳ ＡＮＤ ＴＥＳＴＩＮＧ ＭＥＴＨＯＤ， ＴＥＳＴＩＮＧ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210224

R150 Certificate of patent or registration of utility model

Ref document number: 6847464

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250