JP6865342B2

JP6865342B2 - Ｃｎｎ基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置

Info

Publication number: JP6865342B2
Application number: JP2019163899A
Authority: JP
Inventors: 桂賢金; 鎔重金; 寅洙金; 鶴京金; 雲鉉南; 碩▲ふん▼ 夫; 明哲成; 東勳呂; 宇宙柳; 泰雄張; 景中鄭; 泓模諸; 浩辰趙
Original assignee: Stradvision Inc
Current assignee: Stradvision Inc
Priority date: 2018-09-15
Filing date: 2019-09-09
Publication date: 2021-04-28
Anticipated expiration: 2039-09-09
Also published as: EP3623991A1; EP3623991B1; KR102309705B1; US10311338B1; CN110909588A; JP2020047272A; KR20200031994A; CN110909588B

Description

本発明は、少なくとも一つの車線を検出するためのＣＮＮの学習方法に関し、具体的には；前記車線を検出するための前記ＣＮＮの学習方法において、（ａ）少なくとも一つのトレーニングイメージが取得されると、前記トレーニングイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照にして推定される車線候補に対する情報を示す車線候補情報を生成するか、他の装置をもって生成するように支援する段階；（ｂ）前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する第１データに対する情報とを含む第１ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第１データから選択された少なくとも一つのメインサブセット（ＭａｉｎＳｕｂｓｅｔ）は、ダイレクトリグレッション（ＤｉｒｅｃｔＲｅｇｒｅｓｓｉｏｎ）を用いて、前記トレーニングイメージの行方向と平行な第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する第２データに対する情報とを含む第２ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第２データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含む段階；（ｃ）前記第１ピクセルデータマップ及び前記第２ピクセルデータマップを推論（Ｉｎｆｅｒｅｎｃｅ）して、前記車線を検出するか、他の装置をもって検出するように支援する段階；を含むことを特徴とする学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置に関する。

ディープラーニング（ＤｅｅｐＬｅａｒｎｉｎｇ）は、モノやデータを群集化・分類するのに用いられる技術である。例えば、コンピュータは写真だけで犬と猫を区別することができない。しかし、人はとても簡単に区別できる。このため「機械学習（ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ）」という方法が考案された。多くのデータをコンピュータに入力し、類似したものを分類するようにする技術である。保存されている犬の写真と似たような写真が入力されると、これを犬の写真だとコンピュータが分類するようにしたのである。

データをどのように分類するかをめぐり、すでに多くの機械学習アルゴリズムが登場した。「決定木」や「ベイジアンネットワーク」「サポートベクターマシン（ＳＶＭ）」「人工神経網」などが代表的だ。このうち、ディープラーニングは人工神経網の後裔だ。

ディープコンボリューションニューラルネットワーク（ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげだ。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。

図１は従来技術によってディープＣＮＮを利用し、写真から取得しようとする多様な出力の例を示す。

分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）は、写真から識別しようとするクラス（Ｃｌａｓｓ）の種類、例えば、図１に示されているように、取得された物体が人か、羊か、犬かを識別する検出方法であり、検出（Ｄｅｔｅｃｔｉｏｎ）はすべての物体を探し、探した物体をバウンディングボックス（ＢｏｕｎｄｉｎｇＢｏｘ）に囲まれた形態で表示する方法であり、セグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）は、写真で特定の物体の領域を他の物体と区分する方法である。最近、ディープラーニング（Ｄｅｅｐｌｅａｒｎｉｎｇ）技術が脚光を浴び、分類、検出、セグメンテーションもディープラーニングを多く利用する傾向にある。

図２は、ＣＮＮを利用した従来の車線検出方法を簡略的に示した図面であり、図３は、一般的なＣＮＮセグメンテーションプロセスを簡略的に示した図面である。

まず、図３を参照すれば、従来の車線検出方法では、学習装置が、入力イメージの入力を受けて、複数のコンボリューションレイヤでコンボリューション演算とＲｅＬＵなどの非線形演算を複数回遂行して特徴マップを取得し、複数のデコンボリューションレイヤでデコンボリューション演算を複数回行い、最後の特徴マップでソフトマックス（ＳｏｆｔＭａｘ）演算を行ってセグメンテーションの結果を得る。

また、図２を参照すれば、参照番号２１０は入力イメージを示し、参照番号２２０はセグメンテーション結果を示し、参照番号２３０は、ラインフィッティング（ＬｉｎｅＦｉｔｔｉｎｇ）によって得た車線を示す。従来の車線検出方法によるセグメンテーション結果２２０は、図２の２２０に示したように車線（Ｌａｎｅ）と背景、２つで構成される。このようなセグメンテーション結果は、確率予測値（ＰｒｏｂａｂｉｌｉｔｙＥｓｔｉｍａｔｉｏｎ）として出る。このように選択された候補ピクセルの中で車線である確率が高いピクセルだけをサンプリングして、車線候補を探した後、探した車線候補を基に車線モデル関数を利用して、車線２３０を最終的に決定する。

しかし、このような従来の車線検出方法は、セグメンテーション結果だけを基盤にしているという問題点がある。一般的に、セグメンテーションの結果自体は車線に対して正確な検出をし難いという問題がある。これらの問題を解決するために、セグメンテーションの結果に対して、後処理（Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ）によりラインフィッティングを行う方法を利用している。しかし、セグメンテーション結果が不正確なら、ラインフィッティングによっても正確な車線を検出することが容易ではないという問題がある。

本発明は、前述した全ての問題点を解決することを目的とする。

本発明は、入力イメージに対するより正確なセグメンテーション結果を得られる得るようする学習方法を提供することを他の目的とする。

本発明は、車線候補の対応ピクセルそれぞれから右方向への距離に対するグラディエント（Ｇｒａｄｉｅｎｔ）と、車線候補の対応ピクセルそれぞれから左方向への距離に対するグラディエントとに対する追加情報をもとにセグメンテーションの結果を得ることにより、より正確な車線検出をし得るようにすることを他の目的とする。

本発明の一態様によれば、少なくとも一つの車線を検出するためのＣＮＮの学習方法において、（ａ）少なくとも一つのトレーニングイメージが取得されると、学習装置が、前記トレーニングイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照にして推定される車線候補に対する情報を示す車線候補情報を生成するか、他の装置をもって生成するように支援する段階；（ｂ）前記学習装置が、前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する第１データに対する情報とを含む第１ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第１データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する第２データに対する情報とを含む第２ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第２データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含む段階；（ｃ）前記学習装置が、前記第１ピクセルデータマップ及び前記第２ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって検出するように支援する段階；を含むことを特徴とする。

一例として、前記第１ピクセルデータマップ及び前記第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分に対する情報を参照にして前記車線を検出することを特徴とする。

一例として、前記（ａ）段階で、前記セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記学習装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当てるか、他の装置をもって割り当てるように支援し、前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当てるか、他の装置をもって割り当てるように支援して、第３ピクセルデータマップを生成するようにし、前記（ｃ）段階では、前記第１ピクセルデータマップ、前記第２ピクセルデータマップ及び前記第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする。

一例として、（ｉ）前記第１ピクセルデータマップ及び前記第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分と（ｉｉ）前記第３ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第２部分との積集合に対する情報を参照して前記車線を検出することを特徴とする。

一例として、前記第１値は、背景を意味する０に設定されることを特徴とする。

一例として、前記学習方法は、（ｄ）前記学習装置が、前記第１ピクセルデータマップに対応する少なくとも一つの第１ＧＴを参考として少なくとも一つの第１ロスを算出するプロセス、前記第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴを参考にして少なくとも一つの第２ロスを算出するプロセス、前記第３ピクセルデータマップに対応する少なくとも一つの第３ＧＴを参考にして少なくとも一つの第３ロスを算出するプロセス、及び前記第１ロス、前記第２ロス及び前記第３ロスをバックプロパゲーション（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）するプロセスを遂行するか、他の装置をもって遂行するように支援し、前記ＣＮＮのパラメータを学習する段階；をさらに含むことを特徴とする。

一例として、前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第１車線候補までの前記第１方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第２車線候補までの前記第２方向へのピクセル距離それぞれの中の一つを示すことを特徴とする。

一例として、距離に対する計算を必要としない、前記第１データの前記メインサブセット以外の前記第１データの補完的なサブセットには無限大の値が割り当てられることを特徴とする。

本発明のまたの態様によれば、少なくとも一つの車線を検出するためのＣＮＮのテスト方法において、（ａ）学習装置が（ｉ）少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、（ｉｉ）前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する学習用第１データに対する情報とを含む学習用第１ピクセルデータマップを生成し、前記学習用第１データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する学習用第２データに対する情報とを含む学習用第２ピクセルデータマップを生成し、前記学習用第２データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス、、（ｉｉｉ）前記学習用第１ピクセルデータマップ及び前記学習用第２ピクセルデータマップを推論して、前記車線を検出するプロセス、及び（ｉｖ）前記学習用第１ピクセルデータマップに対応する少なくとも一つの第１ＧＴを参考にして少なくとも一つの第１ロスを算出し、前記学習用第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴを参考にして少なくとも一つの第２ロスを算出し、前記第１ロス及び前記第２ロスをバックプロパゲーションして前記ＣＮＮの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、テスト装置が少なくとも一つのテストイメージを取得するか、他の装置をもって取得するように支援する段階；（ｂ）前記テスト装置が、前記テストイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示すテスト用車線候補情報を生成するか、他の装置をもって生成するように支援する段階；（ｃ）前記テスト装置が、前記テストイメージ内のそれぞれのピクセルに対する情報とこれに対応するテスト用第１データに対する情報とを含むテスト用第１ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第１データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、前記第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応するテスト用第２データに対する情報とを含むテスト用第２ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第２データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含む段階；及び、（ｄ）前記テスト装置が、前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって取得するように支援する段階；を含むことを特徴とする。

一例として、前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分に対する情報を参照にして前記車線を検出することを特徴とする。

一例として、前記（ｂ）段階で、前記テスト用セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記テスト装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当てるか、他の装置をもって割り当てるように支援し、前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当てるか、他の装置をもって割り当てるように支援してテスト用第３ピクセルデータマップを生成するようにし、前記（ｄ）段階では、前記テスト用第１ピクセルデータマップ、前記テスト用第２ピクセルデータマップ及び前記テスト用第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする。

一例として、（ｉ）前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分と（ｉｉ）前記テスト用第３ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第２部分との積集合に対する情報を参照して前記車線を検出することを特徴とする。

一例として、前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの前記第１方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの前記第２方向へのピクセル距離それぞれの中の一つを示すことを特徴とする。

一例として、距離に対する計算を必要としない、前記テスト用第１データの前記メインサブセット以外の前記テスト用第１データの補完的なサブセットには無限大の値が割り当てられることを特徴とする。

本発明のまた他の態様によれば、少なくとも一つの車線を検出するためのＣＮＮの学習装置において、少なくとも一つのトレーニングイメージを取得するための通信部；及び（Ｉ）前記トレーニングイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照にして推定される車線候補に対する情報を示す車線候補情報を生成するか、他の装置をもって生成するように支援するプロセス、（ＩＩ）前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する第１データに対する情報とを含む第１ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第１データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する第２データに対する情報とを含む第２ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第２データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス、及び（ＩＩＩ）前記第１ピクセルデータマップ及び前記第２ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって検出するように支援するプロセスを遂行するプロセッサ；を含むことを特徴とする。

一例として、前記（I）プロセスで、前記セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当てるか、他の装置をもって割り当てるように支援して前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当てるか、他の装置をもって割り当てるように支援し、第３ピクセルデータマップを生成するようにし、前記（III）プロセスでは、前記第１ピクセルデータマップ、前記第２ピクセルデータマップ及び前記第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする。

一例として、（i）前記第１ピクセルデータマップ及び前記第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分と（ii）前記第３ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第２部分との積集合に対する情報を参照して前記車線を検出することを特徴とする。

一例として、前記プロセッサは、（IV）前記第１ピクセルデータマップに対応する少なくとも一つの第１ＧＴを参考にして少なくとも一つの第１ロスを算出するプロセス、前記第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴを参考にして少なくとも一つの第２ロスを算出するプロセス、前記第３ピクセルデータマップに対応する少なくとも一つの第３ＧＴを参考にして少なくとも一つの第３ロスを算出するプロセス、及び前記第１ロス、前記第２ロス及び前記第３ロスをバックプロパゲーションするプロセスを遂行するか、他の装置をもって遂行するように支援し、前記ＣＮＮのパラメータを学習するプロセスをさらに遂行することを特徴とする。

本発明のまた他の態様によれば、少なくとも一つの車線を検出するためのＣＮＮのテスト装置において、学習装置が（ｉ）少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、（ｉｉ）前記トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する学習用第１データに対する情報とを含む学習用第１ピクセルデータマップを生成し、前記学習用第１データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応する学習用第２データに対する情報とを含む学習用第２ピクセルデータマップを生成し、前記学習用第２データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記トレーニングイメージの前記行方向と平行な第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス、（ｉｉｉ）前記学習用第１ピクセルデータマップ及び前記学習用第２ピクセルデータマップを推論して前記車線を検出するプロセス、及び（ｉｖ）前記１ピクセルデータマップに対応する少なくとも一つの第１ＧＴを参考にして少なくとも一つの第１ロスを算出し、前記第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴを参考にして少なくとも一つの第２ロスを算出し、前記第１ロス及び前記第２ロスをバックプロパゲーションして前記ＣＮＮの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、少なくとも一つのテストイメージを取得するか、他の装置をもって取得するように支援するための通信部；及び（Ｉ）前記テストイメージにコンボリューション演算を少なくとも一度適用するか、他の装置をもって適用するように支援して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示すテスト用車線候補情報を生成するか、他の装置をもって生成するように支援するプロセス；（ＩＩ）前記テストイメージ内のそれぞれのピクセルに対する情報とこれに対応するテスト用第１データに対する情報とを含むテスト用第１ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第１データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、前記トレーニングイメージの行方向と平行な第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、前記ピクセルそれぞれに対する情報とこれに対応するテスト用第２データに対する情報とを含むテスト用第２ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記テスト用第２データから選択された少なくとも一つのメインサブセットは、前記ダイレクトリグレッションを用いて、前記テストイメージの前記行方向と平行な第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含むプロセス；及び（ＩＩＩ）前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップを推論して、前記車線を検出するか、他の装置をもって取得するように支援するプロセス；を遂行するプロセッサ；を含むことを特徴とする。

一例として、前記（ＩＩ）プロセスで、前記テスト用セグメンテーションスコアを参照にして、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当てるか、他の装置をもって割り当てるように支援し、前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当てるか、他の装置をもって割り当てるように支援してテスト用第３ピクセルデータマップを生成するようにし、前記（ＩＩＩ）プロセスでは、前記テスト用第１ピクセルデータマップ、前記テスト用第２ピクセルデータマップ及び前記テスト用第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする。

本発明によれば、車線検出を、２段階セグメンテーションプロセスによって処理し、より正確にセグメンテーション結果を生成し得る効果がある。

本発明によれば、右方向へそれぞれ対応する車線候補のピクセルからの距離に対するグラディエント（Ｇｒａｄｉｅｎｔ）と、左方向へそれぞれ対応する車線候補のピクセルからの距離に対するグラディエントに対する追加情報をもとにセグメンテーション結果を生成するため、より正確に車線を検出し得る他の効果がある。

本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
従来のＣＮＮを利用して写真から生成された多様な出力の例を示す図面である。従来のＣＮＮを利用した従来の車線検出方法を簡略的に示した図面である。従来のＣＮＮを利用した一般的なセグメンテーションの従来のプロセスを簡略的に示した図面である。本発明に係るＣＮＮ基盤の車線検出方法を示したフローチャートである。本発明に係る３つのピクセルデータマップを利用した車線検出過程を例示的に示した図面である。本発明に係る３つのピクセルデータマップの例を示した図面である。本発明に係る３つのピクセルデータマップの例を示した図面である。本発明に係る３つのピクセルデータマップの例を示した図面である。本発明に係る車線検出方法を通じて得たセグメンテーション結果の例を示した図面である。本発明に係る車線検出方法を通じて得たセグメンテーション結果の例を示した図面である。

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。

また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。

さらに、本発明は本明細書に表示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面において類似する参照符号は、いくつかの側面にわたって同一であるか、類似する機能を指す。

本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得り、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。

以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。

図４は、本発明に係るＣＮＮ基盤で少なくとも一つの車線を検出するプロセスを簡略的に示したフローチャートであり、図５は、本発明に係る３つのピクセルデータマップを利用した車線検出過程を例示的に示した図面であり、図６ａないし図６ｃは、本発明に係る３つのピクセルデータマップの例を示した図面である。

図４ないし図６ｃを参照して本発明に係るＣＮＮ基盤の車線検出方法を説明すると次の通りである。

まず、学習装置は、Ｓ４１段階で、トレーニングイメージとして少なくとも一つの入力イメージを取得するか、他の装置をもって取得するように支援し、トレーニングイメージに対して、少なくとも一度コンボリューション演算を遂行して特徴マップを取得し、この特徴マップを利用して少なくとも一つのセグメンテーションスコア（ＳｅｇｍｅｎｔａｔｉｏｎＳｃｏｒｅ）を生成し、このセグメンテーションスコアを参照に推定された車線候補に対する情報を示す車線候補情報を生成する。このセグメンテーションスコアは、スコアマップ（ＳｃｏｒｅＭａｐ）の形で生成され得、このスコアマップで所定の閾値より大きいスコアを有するピクセルは、車線候補に決定されるであろう。ちなみに、「この特徴マップを用いてセグメンテーションスコアが生成される」という意味は、特徴マップに対して少なくとも一度デコンボリューション演算を行い、セグメンテーションスコアが生成されること意味するが、これに限定されるものではない。

その後、Ｓ４２段階で、学習装置が、トレーニングイメージ内のそれぞれのピクセルに対する情報及びこれに対応する第１データに対する情報を含む第１ピクセルデータマップを生成するか、他の装置をもって生成するように支援し、前記第１データから選択された少なくとも一つのメインサブセットは、ピクセルそれぞれの位置からトレーニングのイメージの行方向に平行な第１方向（例えば、水平左の方向）に最も近接した第１車線候補までのそれぞれの距離をダイレクトリグレッションを利用して計算して生成されたそれぞれの値を含む。ダイレクトリグレッションで計算されたそれぞれの距離から生成された前記それぞれの値は、ピクセルそれぞれの位置からそれに対応して第１方向に最も近接した第１車線候補までのそれぞれのピクセル間隔の中の一つを示す。

まず、図６ａについては後述することにするが、その理由は、本発明の最も重要なプロセスが図６ｂ及び図６ｃに関するものであるので、先に説明することが望ましいからためであり、また他の理由は、図６ａのプロセスが必須ではないからである。もし図６ａのプロセスが遂行されれば、図６ａの過程が実行された後に図６ｂや図６ｃの過程を遂行し得るが、必ずしもこれに限定されるものではない。

図６ｂを参照すれば、０と表示されたピクセルは、Ｓ４１段階で車線候補６０１と判断されたピクセルである。従って、第１ピクセルデータマップ６０３では、車線候補６０１に対応するピクセルそれぞれは自身からの距離が０であるため、０と表示される。そして車線候補６０１から右側に１ピクセル離れているピクセルは、自身の位置を基準に左側に１ピクセル距離に車線候補６０１のピクセルが存在するため、「１」が第１データ値として割り当てられる。

そして、車線候補６０１から右側に２ピクセル離れているピクセルは、自身の位置を基準に左側に２ピクセル距離に車線候補６０１のピクセルが存在するため、「２」が第１データ値として割り当てられ、車線候補６０１から右側に３ピクセル離れているピクセルは、自身の位置を基準に左側に３ピクセル距離に車線候補６０１のピクセルが存在するため、「３」が第１データ値に割り当てられる。このように、すべてのピクセルに対して第１データ値を割り当て、第１ピクセルデータマップ６０３を生成する。

但し、車線候補６０１のピクセルから所定の閾値より遠く離れているピクセルの場合、最も近接した車線候補６０１までの距離をダイレクトリグレッションで計算しても意味がないため、該当の距離値を計算するよりは便宜上無限大（∞）で表示される。従って、図６ｂに示したように、第１ピクセルデータマップ６０３では、車線候補６０１の左にあるピクセルは全て無限大（∞）で示された。もちろん、特定の車線候補の左側にあるピクセルであっても、他の車線候補の右側にあり、その距離が所定の閾値未満だとしたら、前記他の車線候補からの距離が第１データとして割り当てられるであろう。

図５を参照すれば、車線候補が複数の車線を含む場合、ダイレクトリグレッションで計算された最も近い車線候補までの距離だけが表示されるため、各ピクセルは第１データ値として１つの値だけを有することになる。これによって、図５の第１ピクセルデータマップ５０３は、各行ごとの多数の車線候補を有するため、各行ごとの各車線候補から右に遠くなるほど第１データ値が増加し続けるが、他の車線候補に到達すると、再び０から第１データ値が増加するパターンを有するようになる。ＣＮＮ演算結果により生成された第１ピクセルデータマップ５０３は、最も近接した左側車線までそれぞれの距離を示す第１データを含み、図５ではその距離値を第１データ値それぞれで表示するよりは、グラディエントで示した。

その後、Ｓ４３段階で、学習装置がトレーニングイメージ内のピクセルそれぞれに対する情報とこれに対応する第２データに対する情報とを生成するか、他の装置をもって生成するように支援し、第２データから選択された少なくとも一つのメインサブセットはピクセルそれぞれの位置それぞれからピクセルに対応する最も近接した第２車線候補までトレーニングイメージの行方向と平行な（つまり、水平方向）第２方向（例えば、右方向）への距離それぞれをダイレクトリグレッションで計算したそれぞれの値を含む。ダイレクトリグレッションで計算されたそれぞれの距離から生成されたそれぞれの値はピクセルそれぞれの位置それぞれからこれに対応する最も近接した第２車線候補まで第２方向へのピクセル距離それぞれのうちの一つを示す。

図６ｃを参照すれば、０で表示されたピクセルは、Ｓ４１段階で車線候補６０１と判断されたピクセルであり得る。従って、第２ピクセルデータマップ６０４でも車線候補６０１に対応するピクセルそれぞれは自身との距離が０であるため、０と表示される。そして車線候補６０１から左側に１ピクセル離れているピクセルは、自身の位置を基準に右側に１ピクセル離れた位置に車線候補６０１のピクセルが存在するため、「１」を第２データ値として割り当てる。

そして車線候補６０１から左側に２ピクセル離れているピクセルは、自身の位置を基準に右側に２ピクセルの距離に車線候補６０１のピクセルが存在するため、「２」を第２データ値として割り当て、車線候補６０１から左側に３ピクセル離れているピクセルは、自身の位置を基準に右側に３ピクセル距離に車線候補６０１のピクセルが存在するため、「３」を第２データ値として割り当てる。このように、すべてのピクセルに対して第２データ値を割り当て、第２ピクセルデータマップ６０４を生成する。

第２ピクセルデータマップ６０４でも、車線候補ピクセルから所定の閾値より遠く離れているピクセルの場合、最も近接した第２車線候補６０１までの距離をダイレクトリグレッションで計算して値を求めても意味がないため、該当距離値を計算するよりはすべて無限大（∞）で示された。もちろん、特定の車線候補の右側にあるピクセルであっても、他の車線候補の左側にあり、前記他の車線候補からの距離が所定の閾値未満だとしたら、前記他の車線候補からの距離が第２データとして割り当てられるであろう。

再度、図５を参照すれば、車線候補が複数の車線を含む場合、最も近い車線候補までの距離をダイレクトリグレッションで計算された値だけが表示されるため、それぞれのピクセルは第２データ値として１つの値だけを有することになる。これによって、図５の第２ピクセルデータマップ５０４は、それぞれの行ごとの多数の車線候補を有するため、各行ごとのそれぞれの車線候補から左に進むほど第２データ値が増加し続けるが、他の車線候補に到達すると、再び０から第２データ値が増加するパターンを有するようになる。図５のＣＮＮ演算結果で生成された第２ピクセルデータマップ５０４は、最も近接した右側車線までのそれぞれの距離を示し、図５ではその距離値を第２データ値それぞれで表示するよりは、グラディエントで示した。

Ｓ４４段階では、セグメンテーションスコア、つまりＳ４１段階で算出したスコアマップを参考にして、車線候補が存在しない特定の行が少なくとも一つある場合、学習装置が前記特定の行または前記特定の行より上部の行に存在する少なくとも一つのピクセルに対して第１値を割り当てるか、他の装置をもって割り当てるよう支援し、前記特定の行の下部に存在する少なくとも一つのピクセルに対しては、第２値を割り当てるか、他の装置をもって割り当てるよう支援して、第３ピクセルデータマップを生成するようにする。一方、Ｓ４２段階ないしＳ４４段階は出現順に進められることもあり、Ｓ４４段階が先に遂行された後、Ｓ４２及びＳ４３段階が遂行されることもあり、Ｓ４４段階を省略してＳ４２段階とＳ４３段階だけ遂行されることもある。また、Ｓ４２段階とＳ４３段階は同時に遂行されることもあり、ある一つの段階を先に遂行することもある。

図６ａを参照すれば、車線候補６０１と判断されたピクセルには第２値（つまり、１）が割り当てられる。併せて、車線候補６０１のピクセルを含む行のすべてのピクセルには前記第２値（つまり、１）が割り当てられる。そして車線候補６０１のピクセルが存在しない特定の行及びその特定の行の上部の行に位置するピクセル対しては、いずれも第１値（つまり、０）が割り当てられて第３ピクセルデータマップ６０２が生成される。ここで第１値は背景を意味する「０」になる。

一般的に道路走行の際に道路の車線は、運転手の観点から見るとイメージ上の特定の行以下のみに存在し、それ以上に空や山などの背景だけが存在する。従って、車線検出の際に車線候補ピクセルが存在しない行はすべて背景とみなされるであろう。これによって、図６ａの第３ピクセルデータマップ６０２は、車線候補６０１のピクセルが存在しない特定の行及びその特定の行の上部に存在する行はいずれも背景として処理し、その下部の行に該当するピクセルのみを車線である確率のあるピクセルとして処理して生成される。

図５を参照すれば、セグメンテーションスコアマップ又はこれを変形して生成した他のセグメンテーションスコアマップを参照して、特定の行の上部に存在する車線候補がない行を背景として処理して水平スコアマップ（ＨｏｒｉｚｏｎｔａｌＳｃｏｒｅＭａｐ）、すなわち第３ピクセルデータマップ５０２が生成され得る。

Ｓ４５段階では、第１ピクセルデータマップ及び第２ピクセルデータマップを推論して前記車線を検出するか、第１ピクセルデータマップ、第２ピクセルデータマップ及び第３ピクセルデータマップを推論して前記車線を検出する。

例えば、第１ピクセルデータマップ及び第２ピクセルデータマップで所定の閾値未満の値を有するピクセルの第１部分を基に前記車線を検出することもでき、（ｉ）ピクセルの第１部分と（ｉｉ）第３ピクセルデータマップ内の特定の行の下部に存在するピクセルの第２部分（つまり、第２値が割り当てられるピクセル）との積集合に対する情報を参照して前記車線を検出することもできる。

一例として、ピクセルの第２部分（つまり、第３ピクセルデータマップ内の第２値を有するピクセル）のうち、第１ピクセルデータマップと第２ピクセルデータマップとにおいて第１データと第２データとが３以下のピクセルだけを選択し、少なくとも一つのセグメンテーション結果５０５を生成して、前記セグメンテーション結果５０５をもとに車線を検出し得る。図５のセグメンテーション結果５０５は、第１ピクセルデータマップ５０３や第２ピクセルデータマップ５０４のようにグラディエントで示さなかったものの、セグメンテーション結果５０５は車線候補６０１のピクセルから行方向へ（つまり、左に及び／又は右に）所定範囲（例えば、３ピクセル）内のグラディエント値を有するピクセルを含み得る。

図５を参照すれば、本発明による入力イメージ５０１に対して、一連の演算を適用すると、３つの結果、すなわち水平スコアマップを示す第３ピクセルデータマップ５０２、最も近い左側の車線までの距離を示す第１ピクセルデータマップ５０３及び最も近い右車線までの距離を示す第２ピクセルデータマップ５０４を生成し得る。

もしＣＮＮが学習装置に利用されるならば、第１ピクセルデータマップ５０３に対応する少なくとも一つの第１ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第１ロスを生成するプロセス、第２ピクセルデータマップ５０４に対応する少なくとも一つの第２ＧＴを参考にして少なくとも一つの第２ロスを生成するプロセス、第３ピクセルデータマップ５０２に対応する少なくとも一つの第３ＧＴを参考にして少なくとも一つの第３ロスを生成するプロセス及び第１ロスと、第２ロスと、第３ロスとをバックプロパゲーションしてＣＮＮのパラメータを学習するか、最適化するプロセスをさらに遂行する。

図７ａ及び図７ｂは、本発明に係る車線検出方法によって生成されたセグメンテーション結果の例を示す。

図７ａで入力イメージ７０１が取得され、本発明によりＣＮＮに入力され、３つの結果を推論してセグメンテーション結果（つまり、セグメンテーション出力７０２）が生成され得る。図７ｂで確認できるように、行方向に車線候補のピクセルから所定の範囲内のピクセルそれぞれがこれに対応するスコアを有するセグメンテーション結果を生成し得り、これによって、Ｓ４１段階によって得られた不正確なセグメンテーションスコアの値がダイレクトリグレッションによってより正確なセグメンテーション結果に改善され得る。

ＣＮＮがテスト装置に利用される場合にも、前述した学習プロセスにおいて利用した車線検出方法のプロセスがそのまま適用される。つまり、ＣＮＮのパラメータを学習するか、最適化するために前記車線検出プロセスが利用され、これによって出たパラメータをテスト装置に適用し、少なくとも一つのテストイメージから車線を検出することになる。

参考までに、以下の説明で、混乱を避けるために、「学習用」とは、先に説明した学習プロセス関連用語に対して追加され、「テスト用」はテストプロセスに関連した用語に対して追加される。

すなわち、本発明に係るＣＮＮを利用した車線検出テスト方法は、学習装置が（ｉ）トレーニングイメージにコンボリューション演算を適用して学習用特徴マップを生成するようにし、学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示す学習用車線候補情報を生成し、（ｉｉ）トレーニングイメージ内のそれぞれのピクセルに対する情報とこれに対応する学習用第１データに対する情報とを含む学習用第１ピクセルデータマップを生成し、学習用第１データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、トレーニングイメージの行方向と平行な第１方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、ピクセルそれぞれに対する情報とこれに対応する学習用第２データに対する情報とを含む学習用第２ピクセルデータマップを生成し、学習用第２データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、トレーニングイメージの行方向と平行な第２方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、（ｉｉｉ）学習用第１ピクセルデータマップ及び学習用第２ピクセルデータマップを推論して車線を検出し、（ｉｖ）第１ピクセルデータマップに対応する少なくとも一つの第１ＧＴを参考にして少なくとも一つの第１ロスを算出し、第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴを参考にして少なくとも一つの第２ロスを算出し、第１ロス及び第２ロスをバックプロパゲーションしてＣＮＮの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、学習装置で学習されたＣＮＮのパラメータを利用するテスト装置がテストイメージを取得する段階を含む。

その後に、（ｉ）テストイメージにコンボリューション演算を適用してテスト用特徴マップを生成し、テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照にして推定される車線候補に対する情報を示すテスト用車線候補情報を生成し；（ｉｉ）テストイメージ内のそれぞれのピクセルに対する情報とこれに対応するテスト用第１データに対する情報とを含むテスト用第１ピクセルデータマップを生成し、テスト用第１データから選択された少なくとも一つのメインサブセットはダイレクトリグレッションを用いて、第１方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み、ピクセルそれぞれに対する情報とこれに対応するテスト用第２データに対する情報とを含むテスト用第２ピクセルデータマップを生成し、テスト用第２データから選択された少なくとも一つのメインサブセットは、ダイレクトリグレッションを用いて、第２方向に沿ってピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの距離をそれぞれ計算して生成されたそれぞれの値を含み（ｉｉｉ）テスト用セグメンテーション結果が生成され、テスト用第１ピクセルデータマップ及びテスト用第２ピクセルデータマップを推論して、車線を検出する。

本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。

また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。

従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims

少なくとも一つの車線を検出するためのＣＮＮの学習方法において、
（ａ）少なくとも一つのトレーニングイメージが取得されると、学習装置が、前記トレーニングイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照して推定される車線候補に対する情報を示す車線候補情報を生成する段階；
（ｂ）前記学習装置が、前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応する第１データを含む第１ピクセルデータマップを生成し、前記第１データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記第１データにおいて前記トレーニングイメージの行方向と平行な左側の第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第１車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する第２データを含む第２ピクセルデータマップを生成し、前記第２データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記第２データにおいて前記トレーニングイメージの前記行方向と平行な右側の第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第２車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含む段階；
（ｃ）前記学習装置が、前記第１ピクセルデータマップ及び前記第２ピクセルデータマップを推論して、前記車線を検出する段階；
を含むことを特徴とする方法。
前記第１ピクセルデータマップ及び前記第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分に対する情報を参照して前記車線を検出することを特徴とする請求項１に記載の方法。
前記（ａ）段階で、
前記セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記学習装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当てて、第３ピクセルデータマップを生成するようにし、
前記（ｃ）段階では、
前記第１ピクセルデータマップ、前記第２ピクセルデータマップ及び前記第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項１に記載の方法。
（ｉ）前記第１ピクセルデータマップ及び前記第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分と（ｉｉ）前記第３ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第２部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項３に記載の方法。
前記第１値は、背景を意味する０に設定されることを特徴とする請求項３に記載の方法。
前記学習方法は、
（ｄ）前記学習装置が、前記第１ピクセルデータマップに対応する少なくとも一つの第１ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考として少なくとも一つの第１ロスを算出するプロセス、前記第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第２ロスを算出するプロセス、前記第３ピクセルデータマップに対応する少なくとも一つの第３ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第３ロスを算出するプロセス、及び前記第１ロス、前記第２ロス及び前記第３ロスをバックプロパゲーションするプロセスを遂行し、前記ＣＮＮのパラメータを学習する段階；
をさらに含むことを特徴とする請求項３に記載の方法。
前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第１車線候補までの前記第１方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第２車線候補までの前記第２方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項１に記載の方法。
距離に対する計算を必要としない、前記第１データの前記メインサブセット以外の前記第１データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項１に記載の方法。
少なくとも一つの車線を検出するためのＣＮＮのテスト方法において、
（ａ）学習装置が（ｉ）少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照して推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、（ｉｉ）前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応する学習用第１データを含む学習用第１ピクセルデータマップを生成し、前記学習用第１データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記学習用第１データにおいて前記トレーニングイメージの行方向と平行な左側の第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第１車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する学習用第２データを含む学習用第２ピクセルデータマップを生成し、前記学習用第２データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記学習用第２データにおいて前記トレーニングイメージの前記行方向と平行な右側の第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第２車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含むプロセス、（ｉｉｉ）前記学習用第１ピクセルデータマップ及び前記学習用第２ピクセルデータマップを推論して前記車線を検出するプロセス、及び（ｉｖ）前記学習用第１ピクセルデータマップに対応する少なくとも一つの第１ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第１ロスを算出し、前記学習用第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第２ロスを算出し、前記第１ロス及び前記第２ロスをバックプロパゲーションして前記ＣＮＮの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、テスト装置が少なくとも一つのテストイメージを取得する段階；
（ｂ）前記テスト装置が、前記テストイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照して推定される車線候補に対する情報を示すテスト用車線候補情報を生成する段階；
（ｃ）前記テスト装置が、前記テストイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応するテスト用第１データを含むテスト用第１ピクセルデータマップを生成し、前記テスト用第１データから選択された少なくとも一つのメインサブセットは、前記テスト装置がダイレクトリグレッションを用いて、前記テスト用第１データにおいて前記第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応するテスト用第２データを含むテスト用第２ピクセルデータマップを生成し、前記テスト用第２データから選択された少なくとも一つのメインサブセットは、前記テスト装置が前記ダイレクトリグレッションを用いて、前記テスト用第２データにおいて前記第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含む段階；及び、
（ｄ）前記テスト装置が、前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップを推論して、前記車線を検出する段階；
を含むことを特徴とする方法。
前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分に対する情報を参照して前記車線を検出することを特徴とする請求項９に記載の方法。
前記（ｂ）段階で、
前記テスト用セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記テスト装置が、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当ててテスト用第３ピクセルデータマップを生成するようにし、
前記（ｄ）段階では、
前記テスト用第１ピクセルデータマップ、前記テスト用第２ピクセルデータマップ及び前記テスト用第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項９に記載の方法。
（ｉ）前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分と（ｉｉ）前記テスト用第３ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第２部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項１１に記載の方法。
前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの前記第１方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの前記第２方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項９に記載の方法。
距離に対する計算を必要としない、前記テスト用第１データの前記メインサブセット以外の前記テスト用第１データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項９に記載の方法。
少なくとも一つの車線を検出するためのＣＮＮの学習装置において、
少なくとも一つのトレーニングイメージを取得するための通信部；及び
（Ｉ）前記トレーニングイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つの特徴マップを生成するようにし、前記特徴マップを用いて生成されたセグメンテーションスコアを参照して推定される車線候補に対する情報を示す車線候補情報を生成するプロセス、（ＩＩ）前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離対応する第１データを含む第１ピクセルデータマップを生成し、前記第１データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記第１データにおいて前記トレーニングイメージの行方向と平行な左側の第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第１車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する第２データを含む第２ピクセルデータマップを生成し、前記第２データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記第２データにおいて前記トレーニングイメージの前記行方向と平行な右側の第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した第２車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含むプロセス、及び（ＩＩＩ）前記第１ピクセルデータマップ及び前記第２ピクセルデータマップを推論して、前記車線を検出するプロセスを遂行するプロセッサ；
を含むことを特徴とする装置。
前記第１ピクセルデータマップ及び前記第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分に対する情報を参照して前記車線を検出することを特徴とする請求項１５に記載の装置。
前記（Ｉ）プロセスで、
前記セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当てて第３ピクセルデータマップを生成するようにし、
前記（ＩＩＩ）プロセスでは、
前記第１ピクセルデータマップ、前記第２ピクセルデータマップ及び前記第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項１５に記載の装置。
（ｉ）前記第１ピクセルデータマップ及び前記第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分と（ｉｉ）前記第３ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第２部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項１７に記載の装置。
前記第１値は、背景を意味する０に設定されることを特徴とする請求項１７に記載の装置。
前記プロセッサは、
（ＩＶ）前記第１ピクセルデータマップに対応する少なくとも一つの第１ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第１ロスを算出するプロセス、前記第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第２ロスを算出するプロセス、前記第３ピクセルデータマップに対応する少なくとも一つの第３ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第３ロスを算出するプロセス、及び前記第１ロス、前記第２ロス及び前記第３ロスをバックプロパゲーションするプロセスを遂行し、前記ＣＮＮのパラメータを学習するプロセス
をさらに遂行することを特徴とする請求項１７に記載の装置。
前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第１車線候補までの前記第１方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接した第２車線候補までの前記第２方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項１５に記載の装置。
距離に対する計算を必要としない、前記第１データの前記メインサブセット以外の前記第１データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項１５に記載の装置。
少なくとも一つの車線を検出するためのＣＮＮのテスト装置において、
学習装置が（ｉ）少なくとも一つのトレーニングイメージにコンボリューション演算を少なくとも一度適用して少なくとも一つの学習用特徴マップを生成するようにし、前記学習用特徴マップを用いて生成された学習用セグメンテーションスコアを参照して推定される車線候補に対する情報を示す学習用車線候補情報を生成するプロセス、（ｉｉ）前記トレーニングイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応する学習用第１データを含む学習用第１ピクセルデータマップを生成し、前記学習用第１データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記学習用第１データにおいて前記トレーニングイメージの行方向と平行な左側の第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第１車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応する学習用第２データを含む学習用第２ピクセルデータマップを生成し、前記学習用第２データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記学習用第２データにおいて前記トレーニングイメージの前記行方向と平行な右側の第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接した学習用第２車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含むプロセス、（ｉｉｉ）前記学習用第１ピクセルデータマップ及び前記学習用第２ピクセルデータマップを推論して前記車線を検出するプロセス、及び（ｉｖ）前記１ピクセルデータマップに対応する少なくとも一つの第１ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第１ロスを算出し、前記第２ピクセルデータマップに対応する少なくとも一つの第２ＧＴ（ＧｒｏｕｎｄＴｒｕｔｈ）を参考にして少なくとも一つの第２ロスを算出し、前記第１ロス及び前記第２ロスをバックプロパゲーションして前記ＣＮＮの少なくとも一つのパラメータを学習するプロセスを遂行した状態で、少なくとも一つのテストイメージを取得するための通信部；及び
（Ｉ）前記テストイメージにコンボリューション演算を少なくとも一度適用して、少なくとも一つのテスト用特徴マップを生成するようにし、前記テスト用特徴マップを用いて生成されたテスト用セグメンテーションスコアを参照して推定される車線候補に対する情報を示すテスト用車線候補情報を生成するプロセス；（ＩＩ）前記テストイメージ内のそれぞれのピクセルに対する前記車線候補の距離に対応するテスト用第１データを含むテスト用第１ピクセルデータマップを生成し、前記テスト用第１データから選択された少なくとも一つのメインサブセットは、前記学習装置がダイレクトリグレッションを用いて、前記テスト用第１データにおいて前記トレーニングイメージの行方向と平行な前記第１方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含み、前記ピクセルそれぞれに対する前記車線候補の距離に対応するテスト用第２データを含むテスト用第２ピクセルデータマップを生成し、前記テスト用第２データから選択された少なくとも一つのメインサブセットは、前記学習装置が前記ダイレクトリグレッションを用いて、前記テスト用第２データにおいて前記テストイメージの前記行方向と平行な前記第２方向に沿って前記ピクセルそれぞれの位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの距離をそれぞれ計算して生成したそれぞれの値を含むプロセス；及び（ＩＩＩ）前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップを推論して、前記車線を検出するプロセス；を遂行するプロセッサ；
を含むことを特徴とする装置。
前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分に対する情報を参照して前記車線を検出することを特徴とする請求項２３に記載の装置。
前記（ＩＩ）プロセスで、
前記テスト用セグメンテーションスコアを参照して、車線候補のない特定の行が少なくとも一つ存在すると判断される場合、前記プロセッサが、前記特定の行または前記特定の行より上部に存在する少なくとも一つのピクセルには第１値を割り当て、前記特定の行の下部に存在する少なくとも一つのピクセルには第２値を割り当てるテスト用第３ピクセルデータマップを生成するようにし、
前記（ＩＩＩ）プロセスでは、
前記テスト用第１ピクセルデータマップ、前記テスト用第２ピクセルデータマップ及び前記テスト用第３ピクセルデータマップを推論して、前記車線を検出することを特徴とする請求項２３に記載の装置。
（ｉ）前記テスト用第１ピクセルデータマップ及び前記テスト用第２ピクセルデータマップにおいて、所定の閾値未満の値を有する前記ピクセルの第１部分と（ｉｉ）前記テスト用第３ピクセルデータマップにおいて、前記特定の行の下部に存在する前記ピクセルの第２部分との積集合に対する情報を参照して前記車線を検出することを特徴とする請求項２５に記載の装置。
前記ダイレクトリグレッションによって前記それぞれの距離を計算して生成された前記それぞれの値は、前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第１車線候補までの前記第１方向へのピクセル距離それぞれ及び前記ピクセルそれぞれの前記位置それぞれから、これに対応する最も近接したテスト用第２車線候補までの前記第２方向へのピクセル距離それぞれの中の一つを示すことを特徴とする請求項２３に記載の装置。
距離に対する計算を必要としない、前記テスト用第１データの前記メインサブセット以外の前記テスト用第１データの補完的なサブセットには無限大の値が割り当てられることを特徴とする請求項２３に記載の装置。