JP6615933B2 - 知的地形特定のための方法及び装置、車両搭載端末、並びに車両 - Google Patents

知的地形特定のための方法及び装置、車両搭載端末、並びに車両 Download PDF

Info

Publication number
JP6615933B2
JP6615933B2 JP2018082530A JP2018082530A JP6615933B2 JP 6615933 B2 JP6615933 B2 JP 6615933B2 JP 2018082530 A JP2018082530 A JP 2018082530A JP 2018082530 A JP2018082530 A JP 2018082530A JP 6615933 B2 JP6615933 B2 JP 6615933B2
Authority
JP
Japan
Prior art keywords
image
vehicle
road surface
ground
ground area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018082530A
Other languages
English (en)
Other versions
JP2019106159A (ja
Inventor
駿 胡
歓 田
帥 程
威 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shanghai Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shanghai Co Ltd filed Critical Neusoft Reach Automotive Technology Shanghai Co Ltd
Publication of JP2019106159A publication Critical patent/JP2019106159A/ja
Application granted granted Critical
Publication of JP6615933B2 publication Critical patent/JP6615933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Regulating Braking Force (AREA)

Description

本開示は、知的運転の技術分野に関し、特に、知的地形特定のための方法及び装置、車両搭載端末、並びに車両に関する。
実際の運転の経験では、様々な地形条件に対応する運転戦略は、車両が工場から出荷される際車両に対して提供される。一つの態様では、それは安全性についての懸念に対するものである。様々な地形条件の下では、車両は、車輪と地面との間に様々な分数係数を有し、且つ様々な制動距離を有し、それらは自動緊急制動（ＡＥＢ）のインプットとして作用し得、運転の安全を向上させる。別の態様では、それは快適性の関心事に対するものであり、快適であり、安定性があり、燃料効率の良い運転戦略がユーザに対して提供される。即ち、車両の関連パラメータは、ハイウエイ、砂、雪、泥、及び草などの様々な地形に対して調整可能であり、様々な地形は様々な運転戦略に対応し、これら運転戦略はユーザに対して良好な運転経験を提供するだけでなく車両への損傷を減少もする。
現状、運転戦略の選択は、主に手動でのやり方に基づく。地形条件は、ドライバの眼により観察され、運転モードは、観察された地形条件に従って機能ボタンを介して手動でスイッチされ、最新の地形条件と合致する運転モードにスイッチする。
従来の地形特定技術は、ドライバが地形を手動で判断し対応する運転戦略を手動で選択するやり方に基づくものであり、このような技術は運転経験に影響を与えるだけで無く様々な安全性リスクなどの問題も生じる。
従来の技術における上記の技術的問題に対処すべく、本開示に係る知的地形特定のための方法及び装置、車両搭載端末、並びに車両が提示されるが、これらは、路面のタイプを自動的に特定し路面の地形に従って運転戦略を自動的に調整できる。
上記を考慮して、本開示の実施形態により、以下の技術的解決を提示する。
本開示の実施形態に係る知的地形特定の方法が提示され、該方法は、
車両の前方運転領域における所与の運転範囲の画像を獲得するステップと、
画像から路面の特徴を抽出するステップと、及び、
路面の抽出された特徴に基づいて路面のタイプを判断するステップと
を含み、
前記判断するステップにより、車両に、路面のタイプに従って対応する運転戦略を選択させる。
画像から路面の特徴を抽出するステップの前に、
方法は更に、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップを含んでもよく、
画像から路面の特徴を抽出するステップは、
ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップを含んでもよい。
画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップは、
画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップと、
地面領域に位置する３次元オブジェクトを除去するステップと、及び、
完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップと
を含んでもよい。
空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップは、
領域の画像特徴に基づいて空虚部分に関する補償を実行するステップであって、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する、実行するステップを含んでもよい。
車両の前方運転領域における所与の運転範囲の画像を獲得するステップは、
車両の前方に設置されたカメラを介して、車両の前方運転領域における所与の運転範囲の画像を獲得するステップであって、所与の運転範囲はカメラのパラメータを設定することにより設定され得る、獲得するステップを
含んでもよい。
路面の抽出された特徴に基づいて路面のタイプを判断するステップは、
ソフトマックス関数により路面の抽出された特徴に基づいて路面のタイプを判断するステップを
含んでもよい。
ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップは、
少なくとも一つの畳み込み層と少なくとも一つの全結合層により、地面領域から路面の特徴を順次抽出するステップを
含んでもよい。
本開示の実施形態に係る知的地形特定の装置が更に提示され、該装置は、
車両の前方運転領域における所与の運転範囲の画像を獲得するように構成された画像獲得ユニットと、
画像から路面の特徴を抽出するように構成された特徴抽出ユニットと、及び、
路面の抽出された特徴に基づいて路面のタイプを判断し、このことにより、車両に、路面のタイプに従って対応する運転戦略を選択させるように構成されたタイプ判断ユニットと
を含む。
装置は更に、セグメンテーションユニットを含んでもよく、
セグメンテーションユニットは、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されていてもよく、
特徴抽出ユニットは、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されていてもよい。
セグメンテーションユニットは、
画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されたセグメンテーションサブユニットと、
地面領域に位置する３次元オブジェクトを除去するように構成された除去サブユニットと、及び、
完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するように構成された補償サブユニットであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、補償サブユニットと
を含んでもよい。
補償サブユニットは、領域の画像特徴に基づいて空虚部分に関する補償を実行するように構成されていてもよく、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する。
本開示の実施形態に係る、車両に適応され、カメラとプロセッサを含む、車両搭載端末
が更に提示され、
カメラは、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、
プロセッサは、画像から路面の特徴を抽出し、路面の抽出された特徴に基づいて路面のタイプを判断し、車両の車両制御ユニットに路面のタイプを送信し、このことにより、車両制御ユニットに、路面のタイプに従って対応する運転戦略を選択するべく車両を制御させるように、構成されている。
プロセッサは、画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析し、更に、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されていてもよい。
本開示の実施形態に係る車両が更に提示され、該車両は、
車両搭載端末と、及び、車両制御ユニットとを含み、
車両制御ユニットは、路面のタイプに従って対応する運転戦略を選択するべく車両を制御するように構成されている。
従来技術と比較して、本開示は少なくとも以下の利点を有する。
車両の前方運転領域における所与の運転範囲の画像が獲得される。路面の特徴が画像から抽出される。路面の抽出された特徴に基づいて路面のタイプが判断され、このことにより、車両に、路面のタイプに従って対応する運転戦略を選択させる。
本開示に係る方法では、車両の前方運転領域の画像が自動的に獲得され、路面の地形を反映する特徴を抽出することにより、抽出された特徴に基づいて路面のタイプが判断される。結果として、ドライバは眼により地形を観察して機能ボタンを手動で選択して運転戦略を変更する、という必要が無い。この方法により、車両が現下駆動する種々の路面に関して自動特定が知的に実行され、このことは、ドライバが様々な運転戦略の間で迅速且つ自動的にスイッチする助けとなる。一つの様相では、車両の地形に対する適応可能性が大きく改善され、更に運転経験が改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。
本開示の実施形態における、若しくは従来技術における、技術的解決をより明確に示すために、実施形態若しくは従来技術の記載で用いる図面を、以下にて簡単に紹介する。
図１は、本開示の第１の実施形態に係る知的地形特定のための方法のフローチャートである。 図２Ａは、本開示の第２の実施形態に係るステップＳ１０２の具体的な実装のフローチャートである。 図２Ｂは、本開示の第３の実施形態に係る知的地形特定のための方法のフローチャートである。 図３は、本開示に係る路面の特徴を抽出することの模式図である。 図４は、本開示に係るソフトマックス関数に基づいて抽出された特徴を分類することの模式図である。 図５Ａは、本開示に係る実際の利用例におけるシーンの模式図である。 図５Ｂは、本開示に係る実際の利用例におけるシーンの模式図である。 図５Ｃは、本開示に係る実際の利用例におけるシーンの模式図である。 図５Ｄは、本開示に係る実際の利用例におけるシーンの模式図である。 図６は、本開示の第４の実施形態に係る知的地形特定のための装置の構造図である。 図７は、本開示の第５の実施形態に係る車両搭載端末の構造図である。 図８は、本開示の第６の実施形態に係る車両の構造図である。
当業者が本開示の技術的解決をより良く理解するように、本開示の実施形態の図面と共に、本開示の実施形態における技術的解決を以下にて明確に且つ完全に説明する。本明細書に記載の実施形態は、本発明の実施形態の全てではなく一部に過ぎないことは、明白である。当業者により本開示の実施形態に基づいて、創作的取り組みも無く当業者が取得する全ての他の実施形態は、本開示の保護範囲にあるものである。
発明者は、様々な地形のための特定技術は主としてドライバに依存するということを研究により見出している。ドライバは、車両が駆動する最新の地形を観察し、判断をし、最新の地形に適合する運転モードに手動でスイッチする。従来の運転モードのスイッチングはドライバに依存して実際の地形特徴に基づいて判断を行い、対応する運転モードを手動で選択する。
一つの態様では、ドライバが運転モードを適時に正確にスイッチすることは困難である。別の態様では、ドライバはスイッチングのプロセスにて車両を操作する必要があり、このことはドライバを混乱させ、結果として相当程度安全性リスクを生じてしまう。従って、様々な地形のための従来の運転モードスイッチングは、ドライバの運転経験に影響を与えるだけで無くドライバを混乱させ結果として安全性リスクを生じる。
上記を考慮して、本開示の実施形態に係る、知的地形特定の方法を提示する。具体的には、車両の前方運転領域における所与の運転範囲の画像が自動的に獲得され、路面の特徴が該画像から分析により抽出され、更に、路面の抽出された特徴に基づいて路面のタイプが判断され、これらにより、車両は、路面のタイプに従って適合する運転モードに自動的にスイッチする。本開示の実施形態に係る方法によって、車両は、最新の路面のタイプを知的に特定し、路面のタイプに基づいて車両の運転戦略を自動的にスイッチすることができ、これらのことにより、車両の地形への適応機能の有用性が改善され、運転経験が改善され、安全性リスクの可能性が減少される、ということがわかる。
更に、獲得した画像にて、別の車両や障害物などの、別の３次元のオブジェクトが存在する場合、画像は、本開示に係る方法に基づいてセグメント化されて地面領域の画像情報を取得し、地面領域の３次元のオブジェクトが除去され、空虚部分を伴う画像が補償されて完全な地面領域の画像を獲得し得ることとなる。このように、地面領域の特徴を抽出することに対して、安定した信頼性のある画像情報が提供され、これにより路面のタイプの正確な判断が保証される。
第１の実施形態
図１を参照すると、図１は実施形態に係る知的地形特定の方法のフローチャートである。
実施形態に係る知的地形特定の方法は、ステップＳ１０１〜ステップＳ１０３を含む。
Ｓ１０１では、車両の前方運転領域における所与の運転範囲の画像が獲得される。
所与の運転範囲を過度に大きく設定する必要は無い、ということが理解され得る。実際に、車両の前方の運転方向に所定の幅及び所定の距離が、設定される。例えば、車両の前方の、ある領域の範囲内の画像が獲得されるが、領域は左から右への１０メートルの幅と、運転方向での２０メートルの長さを有する。
実施形態では、所与の運転範囲を伴う様々なタイプの車両に対して、様々な画像獲得範囲が設定可能であり、それらは様々な車両の構造に適応する。このように、比較的に理想的な画像が獲得され、後続の画像処理を実行して正確なデータを獲得する。
例えば、車両のタイプは、オフロード車両、乗用車、トラック、バンなどを含む。
オフロード車両は大きい全体構造を有し、乗用車は比較的小さい全体構造を有する。従って、上記の二つの異なるタイプの車両に対応する、前方運転領域における所与の運転範囲を設定する際には、合理的な所与の運転範囲を設定するために、個々の特徴に基づいて適応的な調整が為される必要がある。
画像は、バイナリ画像でも、グレースケール画像でも、カラー画像でもよく、実施形態においてこのことは限定されない。
車両の前方運転領域における所与の運転範囲の画像を獲得することの、具体的な実装は、車両の前方に、カメラ、ダッシュボードカメラなどを設置することにより、達成され得る。
ステップＳ１０２では、路面の特徴が画像から抽出される。
実施形態では、路面の特徴は、車両が現下駆動する地形の特徴を示すものである。様々な地形は、路面の様々な特徴に対応する。
路面の特徴は、路面における、色、形状、若しくは、テクスチャを含み得る。
例えば、ハイウエイ、砂、雪、泥、及び草などの、様々な地形は、路面における、様々な色、形状、及びテクスチャに、対応する。
従って、車両が現下駆動する地形は、路面の特徴を抽出することにより特定され得る。実際の利用例では、路面の上記特徴の一つ若しくはそれ以上のタイプが抽出され得るが、本明細書ではそれらに限定されない。路面の抽出される特徴の数は、最新の地形を正確に特定するように、一つ以上であることが好ましい。
ステップＳ１０３では、車両に対して、路面のタイプに従って対応する運転戦略を選択させるために、路面のタイプが、路面の抽出された特徴に基づいて判断される。
ステップＳ１０２の記載から、地形は、ハイウエイ、砂、雪、泥、及び草などの、多数のタイプを含むことがあり、様々な地形は路面の様々な特徴をしめす、ということがわかる。車両が現下駆動する地形のタイプは、地形の抽出された特徴に基づいて判断され、従って、車両は路面のタイプに従って自動的に対応する運転戦略を選択できる。
実施形態では、様々なタイプの路面の特徴が前もって抽出されてもよく、路面の各々のタイプに対応する特徴サンプルは、トレーニングにより獲得される。車両が現下駆動する路面のタイプを判断する際には、適合結果を得るために、抽出された特徴を特徴サンプルセットの特徴と適合させ、これにより路面のタイプが判断される。
当然ながら、実際の利用例では、他の判断のやり方が用いられてもよく、それらは本明細書では実施形態により限定されない。
運転戦略の分類は、地形の分類に対応する。例えば、最新の地形がハイウエイであると判断される場合にはハイウエイと適合する運転戦略が選択され、最新の地形が雪であると判断される場合には雪と適合する運転戦略が選択される。様々な地形に適応し、車両への損傷を防ぎ、燃料を節約するために、ステアリングシステム、電子安定制御システム、及びシャーシサスペンションシステムなどの、多数のシステムを調整することにより、様々な運転戦略が獲得される。また、運転安全性が保証され、事故を防ぐ。例えば、雪上で駆動する場合には、車両は減速され、スリップや横滑りを防ぐ。
具体的な運転戦略は、地形及び車両のタイプに従って選択され得ることが理解され得るが、その具体的な運転戦略については実施形態では詳細には説明しない。
本開示に係る方法により、車両の前方運転領域の画像が自動的に獲得され、路面の地形を反映する特徴を抽出することにより、抽出した特徴に基づいて、路面のタイプが判断される。ドライバが、眼により地形を観察し、機能ボタンを手動で選択することにより運転戦略を変更する、という必要は無い。このように、車両は、路面のタイプに従って、対応する運転戦略を自動的に選択する。車両が現下駆動する地形は、路面の特徴を抽出して判断することにより、自動的に且つ利敵に特定され得る、ということが理解され得る。一つの態様では、車両の地形への適応可能性は大きく向上し、運転経験が改善される。別の態様では、ドライバが車両上でスイッチング操作を実行するときに生じる安全性リスクがふせがれる。
上記では第１の実施形態に係る、知的地形特定の方法を説明したが、以下では第１の実施形態のステップＳ１０２の具体的な実装を、第２の実施形態と併せて詳細に導入する。
第２の実施形態
図２Ａを参照すると、図２Ａは実施形態に係るステップＳ１０２の具体的な実装のフローチャートである。
具体的な実装は、以下のステップを含む。
第１の実施形態のステップＳ１０２は、ステップＳ２０１及びステップＳ２０２を含む。
ステップＳ２０１では、ディープニューラルネットワークに基づいて画像に関してピクセル分析が実行され、画像をセグメント化して地面領域を獲得する。
実施形態では、選択的画像獲得手法が提示され、具体的には、車両の前方に設置されるカメラを介して車両の前方運転領域における所与の運転範囲の画像を、獲得することを含み、ここで所与の運転範囲はカメラのパラメータを設定することにより、設定される。
カメラのパラメータは、固有パラメータと外的パラメータとを含み得る。固有パラメータは、焦点距離ｆｘ、ｆｙ、（結像面に関する）主点の座標（ｘ０、ｙ０）、座標軸傾斜パラメータｓなどを含む。外的パラメータは、回転行列、変換行列などを含む。様々な車両に対して様々なパラメータが設定され、これによりカメラは、合理的な所与の運転範囲の画像を撮影し得る。
実際の利用例では、カメラのパラメータは、車両が工場から出荷される際に前もって設定され得、ドライバにより実際の運転経験に基づいて設定され得る。実施形態では、カメラのパラメータを設定する手法は限定されず、パラメータの具体的値は実際の運転状況に基づいて設定され得る。
具他的な実施形態では、車両の前方運転領域における所与の運転範囲の画像は、ダッシュボードカメラを介して撮影され得る。実施形態では、車両の前方運転領域の画像は種々の手法で獲得されうるのであり、本明細書ではそれらは限定されないことに、留意されるべきである。
画像は、所与の時間間隔で撮影されるものでもよく、リアルタイムで記録されるビデオから抽出される画像でもよいことが、理解され得る。
実際の利用例では、車両の前方運転領域において、別の車両、及び／又は歩行者などの障害物が必然的に存在する。実施形態に係る選択的処理手法が提示され、これにより後続のステップで収集される画像情報の正確性及び一意性を保証し、路面の安定した信頼性のある特徴を獲得する。選択的処理手法は具体的に以下のステップを含む。
画像における、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行するステップ。
地面領域に位置する３次元オブジェクトを除去するステップ。
完全な地面領域を獲得するために、空虚部分に関して画像補償を実行するステップ。ここで、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域で形成される。
実際の利用例では、地面領域の特徴を抽出するために、画像セグメンテーションが実行されて、画像における地面領域、空領域、及び３次元オブジェクトを獲得し得る。画像セグメンテーションは画像内の様々なオブジェクトを分類するものであり、様々なオブジェクトの分離を達成するためにオブジェクトのボーダはオブジェクトのピクセルに関する分析を介して判断される。
具体的な実装では、撮影された画像がディープニューラルネットワーク内にインプットされ、空領域、地面領域、及び３次元オブジェクトの領域が、画像内の個々のピクセルを分類することにより分離され、これにより、地面領域の特徴を正確に抽出する。
実際の利用例では、カメラにより撮影される画像は、通常、地面、空、及び３次元オブジェクトを含む。路面の特徴を抽出するに当たり、画像の空領域及び画像の地面領域に位置する３次元オブジェクトが、除去され、このことにより、空領域及び３次元オブジェクトが路面の特徴を抽出することの正確性に影響することを防ぐ。従って、画像により提示される特徴は地面領域の特徴であることが保証され、このことは、路面の特徴を抽出するための信頼の基礎を提供する。
３次元オブジェクトが除去されると、完全な画像を獲得するために、空虚部分を伴う地面領域の画像は補償される必要がある。実施形態では、空虚部分を補償する選択的実装が提示され、該実装は、領域の画像特徴に基づいて空虚部分への画像補償を実行するステップを含み、ここで領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する。
例えば、３次元オブジェクトに近接する領域は、空及び地面を含み得る。地面領域の路面の特徴は最後に抽出されるべきものであるから、３次元オブジェクトに近接し且つ地面領域内に在る領域の画像特徴が、空虚部分を補償するのに用いられる必要がある。３次元オブジェクトに近接し且つ別の領域内に在る領域を用いるのではない。
具体的な実装では、ディープニューラルネットワークの発生モデルは、３次元オブジェクトに近接する地面領域の特徴をサンプリングすること、即ち、３次元オブジェクトが位置する地面領域の地面特徴をサンプリングすることに、適用可能であり、空虚部分はサンプリングから取得される地面領域の特徴サンプルセットに基づいて補償され、これにより、干渉の無い地面領域の画像を生成し、よってステップＳ２０２を介して路面の特徴を抽出する。
ステップＳ２０２では、路面の特徴は、ディープニューラルネットワークに基づいて地面領域から抽出される。
干渉の無い地面領域の画像は、ステップＳ２０１を介して獲得された画像を更に処理することにより、獲得される。路面の特徴はディープニューラルネットワークに基づいて地面領域から抽出されるが、抽出について多数の実装が存在し得る。実施形態に係る、選択的実装を提示するが、該実装は具体的には、少なくとも一つの畳み込み層及び少なくとも一つの全結合層により、地面領域から路面の特徴を順次抽出することを、含む。
畳み込み層は、ディープニューラルネットワーク構造にインプットされる地面領域から、路面の特徴を抽出するためのものである。全結合層は、畳み込み層によりアウトプットされる多次元ベクトルを１次元特徴ベクトルに変換し、１次元特徴ベクトルにより計算処理を逐次実行するためのものである。
理論的には、抽出される実効特徴ベクトルの正確性は、ディープニューラルネットワーク構造の畳み込み層及び全結合層の数が増加するにつれて、増大する。しかしながら、層の数の増加は、結果としてＣＰＵのリソースの消費の増加となってしまい、このことは、他のオブジェクトを処理するに当たりＣＰＵのパフォーマンスに影響する。従って、具体的な実装では、畳み込み層の数及び全結合層の数は、実際的要求に基づいて選択されてもよく、少なくとも一つの畳み込み層と少なくとも一つの全結合層でもよい。
計算の正確性とＣＰＵパフォーマンスとを包括的に考慮して、実施形態では、地面領域の路面の特徴を抽出するためのディープニューラルネットワークは、三つの畳み込み層と二つの全結合層とにより形成される畳み込みニューラルネットワークである。しかしながら、三つの畳み込み層及び二つの全結合層は、説明のための例としてのみ採用されるのであり、畳み込み層の数及び全結合層の数を限定するためのものではない。
実施形態に採用されるディープニューラルネットワーク構造の具体的な実装のために、図３が参照され得る。
第一に、地面領域の画像がインプットされ、ディープニューラルネットワーク構造に基づいて完全な地面領域から路面の特徴を抽出する、具体的なプロセスは、以下の通りである。
畳み込み層１：３＊３カーネル、６４マップ、一つのプーリング層を含む；
畳み込み層２：３＊３カーネル、１２８マップ、一つのプーリング層を含む；
畳み込み層３：３＊３カーネル、６４マップ、一つのプーリング層を含む；
全結合層１：２０４８次元；及び
全結合層２：１０２４次元
上記の処理の後、ディープニューラルネットワークは、１０２４次元特徴ベクトルをアウトプットし、よって、路面のタイプは、その後、アウトプットされる１０２４次元特徴ベクトルに基づいて判断され得る。
実施形態では、路面の抽出された特徴に基づいて路面のタイプを判断する好適な手法が提示され、該手法は具体的に、ソフトマックス関数により、路面の抽出された特徴に基づいて路面のタイプを判断することを、含む。
ソフトマックス関数は、Ｋ−次元ベクトルＡをＫ’−次元ベクトルＡ’にマップすることに、留意すべきである。実施形態では、ソフトマックス関数は具体的に、地形分類結果の確率分布を示すためのものであり、具体的な計算については図４に示すプロセスを参照し得る。
ディープニューラルネットワークによりアウトプットされる１０２４次元特徴ベクトルは、ソフトマックス関数にインプットされる。インプットされるベクトルは、パラメータ行列Ｗが掛けられ、続いて、オフセットベクトルＥが、乗算後に取得される結果に加えられ、最後に、加算後に取得される結果が正規化され、図４に示すような個々のタイプの確率を取得する。
パラメータ行列Ｗはａ＊ｂ行列であり、オフセットベクトルＥはａ＊1ベクトルであり、それらは、多数の路面の特徴サンプルのセットに基づいて前もってトレーニングすることにより獲得され、路面のタイプを判断するのに用いられ得る。ａは行の数であり、路面のタイプの数と同じである。ｂは列の数であり、ディープニューラルネットワークによりアウトプットされる特徴ベクトルの次元と同じである。
路面のタイプは、雪、泥、砂、及びハイウエイの４タイプを含むと想定される。４＊１の次元を伴うベクトルは、上記のソフトマックス関数に基づいて計算した後に獲得され、路面の上記４つのタイプの確率分布を表す。最大確率を伴う路面のタイプは、路面の特徴に基づいてソフトマックス関数により判断される路面のタイプである。実施形態では、車両が現下駆動する地形は、雪である０．７２の確率、泥である０．１１の確率、砂である０．０２の確率、及びハイウエイである０．１５の確率を有する。確率値の上記の分布から、最新の路面のタイプは雪であると判断され、これにより車両は雪に対応する運転戦略を選択する。
本開示の上記特徴のより良い理解のために、図５Ａ〜図５Ｄと共に、本開示の上記実施形態に係る方法を以下にて詳細に説明する。
車両の前方運転範囲の画像は、車両の前方に設置されるカメラのパラメータを設定することにより獲得される。例として、扇形状領域の画像を図５Ａに示す。
獲得された画像はディープニューラルネットワークにインプットされ、インプットされた画像はセグメント化され、画像内の、空、地面、及び３次元オブジェクトが特定される。具体的には、画像内のテクスチャ、色、若しくは強度に基づいて、オブジェクトは特定され得る。
３次元オブジェクト、即ち、地面領域の、カメラにより撮像された前方の車両及び歩行者は、除去される。３次元オブジェクトが除去された画像が発生モデルを通過すると空虚部分は補償され得、これにより、図５Ｂに示すように、干渉の無い地面領域の画像が生成され得る。画像が畳み込みニューラルネットワークにインプットされる前に画像が再びセグメント化されてもよく、セグメント化された画像がニューラルネットワークにインプットされる。図５Ｃに示すように、畳み込み層及び全結合層を介して処理することにより、１０２４次元特徴ベクトルが獲得される。
図５Ｄに示すように、１０２４次元特徴ベクトルがソフトマックス関数にインプットされ、路面の個々のタイプの確率分布が獲得される。車両が駆動する路面のタイプが確率分布に従って判断され、車両は、路面のタイプに従って、対応する運転戦略を選択する。
実施形態に係る方法では、撮影した画像が空及び３次元オブジェクトを含むとき、空及び３次元オブジェクトが路面の特徴の抽出に影響するのを防ぐように、画像は、空領域、地面領域、及び３次元オブジェクトを獲得するためのディープニューラルネットワークを介して、セグメント化されてもよい。地面領域の３次元オブジェクトが除去され、３次元オブジェクトを除去することにより形成された、地面領域における空虚部分が補償される。このように、地面領域の完全な安定した画像が獲得され、路面の特徴についての後続の抽出に対して信頼性のある画像情報を提示し、路面のタイプの判断の正確性を改善する。
第３の実施形態
本開示の上記の特徴および利点をより良く理解するために、図２Ｂと共に、本開示を更に、以下にて詳細に説明する。
図２Ｂを参照すると、図２Ｂは、実施形態に係る知的地形特定の方法のフローチャートである。方法は、ステップＳ３０１〜ステップＳ３０６を含む。
ステップＳ３０１では、車両の前方運転領域における所与の運転範囲の画像が、車両の前方に配置されたカメラを介して獲得される。
所与の運転範囲は、カメラのパラメータを設定することにより設定され得る。様々な車両に対して、様々なパラメータが設定され得るので、カメラは明確かつ正確な画像を撮影できる。
ステップＳ３０２では、ディープニューラルネットワークに基づいて、画像に関してピクセル分析が実行され、画像をセグメント化して、地面領域、空領域、及び３次元オブジェクトを獲得する。
ステップＳ３０３では、地面領域に位置する３次元オブジェクトが除去される。
実際の利用例では、画像内の空領域及び３次元オブジェクトが、路面の特徴を抽出することの正確性に影響することを防ぐために、画像の空領域及び画像の地面領域での３次元オブジェクトは、路面の特徴を抽出することための信頼性の根拠を提供するべく、除去される必要がある。
ステップＳ３０４では、地面領域に位置する３次元オブジェクトが除去された後に地面領域に形成される空虚部分に関しては、地面領域に在り３次元オブジェクトに近接する領域の画像特徴に基づいて、実行され、これにより、完全な地面領域を獲得する。
地面領域に位置する３次元オブジェクトに近接する、地面領域の特徴をサンプリングすることに対して、ディープニューラルネットワークの発生モデルが適用されてもよく、空虚部分は、地面領域の収集された特徴サンプルセットに基づいて補償され、これにより、地面領域の完全な画像を獲得する。
ステップＳ３０５では、路面の特徴が、三つの畳み込み層及び二つの全結合層により順次地面領域から抽出される。
実施形態では、ステップＳ３０５の具体的な実装に対して、第２の実施形態の具体的な実装が参照されてもよいが、ここでは詳細には説明しない。
ステップＳ３０６では、ソフトマックス関数により路面の抽出された特徴に基づいて、路面のタイプが判断される。
ソフトマックス関数の計算原理及び実装に対して、第２の実施形態の具体的な実装が参照されてもよいが、ここでは詳細には説明しない。
実施形態に係る方法により、車両の前方運転領域の画像はカメラを介して自動的に獲得され、画像内の３次元オブジェクトは、画像セグメンテーション方法により除去され、３次元オブジェクトを除去することにより地面領域に形成される空虚部分は補償されて地面領域の完全な安定した画像を獲得し、続いて路面の地形を反映する特徴が画像から抽出され、路面のタイプが抽出された特徴に基づいて判断される。実施形態に係る方法により、車両が現下駆動する地形が自動的且つ知的に特定され得ることが、わかる。一つの様相では、車両の地形に対する適応可能性は大きく改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。
第１の実施形態から第３の実施形態に係る、知的地形特定の方法に基づいて、知的地形特定の装置が更に、本開示の実施形態に従って提供される。図面と共に第４の実施形態に従って、以下にて知的地形特定の装置を導入する。
第４の実施形態
図６を参照すると、図６は、実施形態に係る知的地形特定の装置の構造図を示す。
装置は、画像獲得ユニット６１０、特徴抽出ユニット６２０、及びタイプ判断ユニット６３０を含む。
画像獲得ユニット６１０は、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されている。
特徴抽出ユニット６２０は、画像から路面の特徴を抽出するように構成されている。
タイプ判断ユニット６３０は、路面の抽出された特徴に基づいて路面のタイプを判断するように構成されており、これにより、車両に、路面のタイプに従って対応する運転戦略を選択させる。
装置は、画像をセグメント化して地面領域を獲得するためにディープニューラルネットワークに基づいて画像に関してピクセル分析を実行するように構成されている、セグメンテーションユニットを含んでもよく、特徴抽出ユニット６２０は、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように構成されている。
セグメンテーションユニット６４０は、セグメンテーションサブユニット６４１、除去サブユニット６４２、及び補償サブユニット６４３を含んでもよい。
セグメンテーションサブユニット６４１は、画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行するように構成されている。
除去サブユニット６４２は、地面領域に位置する３次元オブジェクトを除去するように構成されている。
補償サブユニット６４３は、完全な地面領域を獲得するために、空虚部分に関する補償を実行するように構成されており、ここで空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域に形成されるものである。具体的には、補償サブユニット６４３は、領域の画像特徴に基づいて空虚部分に関する画像補償を実行するように構成されており、ここで領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する。
実施形態に係る装置は、第１の実施形態から第３の実施形態に係る方法に対応する。従って、実施形態の個々のユニットの機能の具体的な実装のための、方法の実施形態の実装を参照し得るが、本明細書では詳細には説明しない。
実施形態に係る知的地形特定の装置により、車両の前方運転領域における所与の運転範囲の画像は知的に収集され、車両が現下駆動する路面のタイプ自動的に特定され、車両の運転戦略をスイッチする。一つの様相では、車両の地形に対する適応可能性は大きく改善され、運転経験は改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。更に、地面領域内の３次元オブジェクトは、画像に関するセグメンテーション処理により除去され、形成される空虚部分は補償される。これにより、路面の安定した信頼性のある特徴が抽出され得、路面のタイプの判断結果の正確性が保証される。
上記の実施形態に係る、知的地形特定の方法及び装置に基づいて、本開示に係る、車両搭載端末を更に提示する。図面と共に以下にて詳細な説明を提示する。
車両搭載端末は、乗用車、オフロード車両、トラック、及びバンなどの、種々のタイプの車両に利用可能であり、このことにより本開示に係る知的地形特定の機能を実装する。
第５の実施形態
図７を参照すると、図７は、本開示の実施形態に係る車両搭載端末の概略構造図を示す。車両搭載端末７１０は、カメラ７１１と、プロセッサ７１２を含む。
カメラ７１１は、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、ここで所与の運転範囲はカメラのパラメータを設定することにより設定される。
プロセッサ７１２は、画像から路面の特徴を抽出し、路面の抽出された特徴に基づいて路面のタイプを判断し、車両の車両制御ユニットに路面のタイプを送信し、このことにより、車両制御ユニットに、路面のタイプに従って対応する運転戦略を選択するべく車両を制御させるように、構成されている。
プロセッサ７１２は、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行し画像をセグメント化して地面領域を獲得し、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するように、構成されている。
当然ながら、車両搭載端末は、独立のプロダクトとして機能して種々のタイプの車両に適応され得る。
上記の実施形態に係る、知的地形特定の方法及び装置、並びに、車両搭載端末に基づいて、本開示に係る、車両を更に提示する。図面と共に以下にて詳細な説明を提示する。
車両は、乗用車、オフロード車両、トラック、及びバンなどの、種々のタイプのものでよい。更に車両は、燃料車両及び電気車両などの、種々の動力源を伴う車両でよい。
第６の実施形態
図８を参照すると、図８は、本開示の実施形態に係る車両の概略構造図である。車両は、第５の実施形態に係る車両搭載端末７１０と、車両制御ユニット８１０を含む。
車両搭載端末７１０は、車両の前方運転領域における所与の運転範囲の画像を獲得し、画像から路面の特徴を抽出し、路面の抽出された特徴に基づいて路面のタイプを判断し、車両制御ユニットに路面のタイプを送信するように、構成されている。
車両制御ユニット８１０は、路面のタイプに従って対応する運転戦略を選択するべく車両を制御するように、構成されている。
車両搭載端末７１０は、カメラ７１１と、及びプロセッサ７１２を含んでもよい。
カメラ７１１は、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、ここで所与の運転範囲はカメラのパラメータを設定することにより設定される。
プロセッサ７１２は、ディープニューラルネットワークに基づいて画像に関してピクセル分析を実行し画像をセグメント化して地面領域を獲得し、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出する、ように構成されている。
実施形態に係る車両により、車両の前方運転領域における所与の運転範囲の画像が、カメラを介して撮影され、プロセッサにより、ディープニューラルネットワークに基づいて撮影された画像に関してピクセル分析が実行され画像をセグメント化して地面領域を獲得し、ディープニューラルネットワークに基づいて地面領域の路面の特徴が抽出され、路面の特徴に基づいて車両が現下駆動する路面のタイプが判断され、車両制御ユニットに判断の結果がフィードバックされ、このことにより、車両制御ユニットに、判断の結果に従って路面のタイプに対応する運転戦略を選択させる。一つの様相では、車両の地形に対する適応可能性は大きく改善され、運転経験は改善される。別の態様では、ドライバが車両に関してスイッチング操作を実行する際に生じる安全性リスクが防がれる。
上記の記載は、本開示の好ましい実施形態に過ぎず、どの形式でも本発明の限定として解釈されるべきものでは無い。本開示は、上記の好ましい実施形態により開示されるが、好ましい実施形態は本発明を限定するべきものでは無い。本開示の技術的解決策に対する種々の変更及び修正は、本開示の技術的解決策の範囲内の上記方法及び技術的内容に基づいて、当業者により為され得る。一方で、本開示の技術的解決策は、均等の実施形態に修正され得る。従って、本開示の技術的解決策から乖離しない、且つ、本開示の本質に基づいて作成される、任意の単純な変更、均等物、及び修正も、本開示の技術的解決策の保護範囲に含まれる。
６１０・・・画像獲得ユニット、６４０・・・セグメンテーションユニット、６４１・・・セグメンテーションサブユニット、６４２・・・除去サブユニット、６４３・・・補償サブユニット、６２０・・・特徴抽出ユニット、６３０・・・タイプ判断ユニット、７１０・・・車両搭載端末、７１１・・・カメラ、７１２・・・プロセッサ、８１０・・・車両制御ユニット。

Claims (9)

  1. 車両の前方運転領域における所与の運転範囲の画像を獲得するステップと、
    画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップと、
    画像から路面の特徴を抽出するステップであって、当該抽出するステップは、ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップを含む、抽出するステップと、及び、
    路面の抽出された特徴に基づいて路面のタイプを判断するステップと
    を含み、
    前記判断するステップにより、車両に、路面のタイプに従って対応する運転戦略を選択させ、
    画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップは、
    画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するステップと、
    地面領域に位置する３次元オブジェクトを除去するステップと、及び、
    完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップと
    を含む、
    知的地形特定の方法。
  2. 空虚部分に関する画像補償を実行するステップであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行するステップは、
    領域の画像特徴に基づいて空虚部分に関する補償を実行するステップであって、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する、実行するステップを
    含む、請求項１に記載の知的地形特定の方法。
  3. 路面の抽出された特徴に基づいて路面のタイプを判断するステップは、
    ソフトマックス関数により路面の抽出された特徴に基づいて路面のタイプを判断するステップを
    含む、請求項１に記載の知的地形特定の方法。
  4. ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出するステップは、
    少なくとも一つの畳み込み層と少なくとも一つの全結合層により、地面領域から路面の特徴を順次抽出するステップを
    含む、請求項１に記載の知的地形特定の方法。
  5. 車両の前方運転領域における所与の運転範囲の画像を獲得するステップは、
    車両の前方に設置されたカメラを介して、車両の前方運転領域における所与の運転範囲の画像を獲得するステップであって、所与の運転範囲はカメラのパラメータを設定することにより設定される、獲得するステップを
    含む、請求項１又は２に記載の知的地形特定の方法。
  6. 車両の前方運転領域における所与の運転範囲の画像を獲得するように構成された画像獲得ユニットと、
    画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されたセグメンテーションユニットと、
    ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出することにより、画像から路面の特徴を抽出するように構成された特徴抽出ユニットと、及び、
    路面の抽出された特徴に基づいて路面のタイプを判断し、このことにより、車両に、路面のタイプに従って対応する運転戦略を選択させるように構成されたタイプ判断ユニットと
    を含み、
    セグメンテーションユニットは、
    画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析するように構成されたセグメンテーションサブユニットと、
    地面領域に位置する３次元オブジェクトを除去するように構成された除去サブユニットと、及び、
    完全な地面領域を獲得するために、空虚部分に関する画像補償を実行するように構成された補償サブユニットであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、補償サブユニットと
    を含む、
    知的地形特定の装置。
  7. 補償サブユニットは、領域の画像特徴に基づいて空虚部分に関する補償を実行するように構成されており、領域は地面領域内に在り、地面領域に位置する３次元オブジェクトに近接する、
    請求項６に記載の知的地形特定の装置。
  8. 車両に適応され、カメラとプロセッサを含む、車両搭載端末であって、
    カメラは、車両の前方運転領域における所与の運転範囲の画像を獲得するように構成されており、
    プロセッサは、
    画像の、地面領域、空領域、及び３次元オブジェクトを獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析することと、
    地面領域に位置する３次元オブジェクトを除去することと、及び、
    完全な地面領域を獲得するために、空虚部分に関する画像補償を実行することであって、空虚部分は、地面領域に位置する３次元オブジェクトが除去された後に、地面領域内に形成されるものである、実行することとにより、
    画像をセグメント化して地面領域を獲得するために、ディープニューラルネットワークに基づいて画像に関してピクセル分析し、
    ディープニューラルネットワークに基づいて地面領域から路面の特徴を抽出することにより、画像から路面の特徴を抽出し、
    路面の抽出された特徴に基づいて路面のタイプを判断し、車両の車両制御ユニットに路面のタイプを送信し、このことにより、車両制御ユニットに、路面のタイプに従って対応する運転戦略を選択するべく車両を制御させるように、
    構成されている、
    車両搭載端末。
  9. 請求項８に記載の車両搭載端末と、及び、車両制御ユニットとを含み、
    車両制御ユニットは、路面のタイプに従って対応する運転戦略を選択するべく車両を制御するように構成されている、
    車両。
JP2018082530A 2017-12-14 2018-04-23 知的地形特定のための方法及び装置、車両搭載端末、並びに車両 Active JP6615933B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711340588.5 2017-12-14
CN201711340588.5A CN107977641A (zh) 2017-12-14 2017-12-14 一种智能识别地形的方法、装置、车载终端及车辆

Publications (2)

Publication Number Publication Date
JP2019106159A JP2019106159A (ja) 2019-06-27
JP6615933B2 true JP6615933B2 (ja) 2019-12-04

Family

ID=62006523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018082530A Active JP6615933B2 (ja) 2017-12-14 2018-04-23 知的地形特定のための方法及び装置、車両搭載端末、並びに車両

Country Status (4)

Country Link
US (1) US20190187722A1 (ja)
JP (1) JP6615933B2 (ja)
CN (1) CN107977641A (ja)
DE (1) DE102018109965A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018208593A1 (de) * 2018-05-30 2019-12-05 Continental Teves Ag & Co. Ohg Verfahren zur Überprüfung, ob ein Wechsel des Fahrmodus sicher erfolgen kann
CN108830325A (zh) * 2018-06-20 2018-11-16 哈尔滨工业大学 一种基于学习的振动信息地形分类识别方法
CN109398363B (zh) * 2018-10-24 2020-11-06 珠海格力电器股份有限公司 一种路面等级确定方法、装置、存储介质及汽车
CN110001608B (zh) * 2019-03-06 2021-09-10 江苏大学 一种基于路面视觉检测的汽车智能制动系统及其控制方法
CN112109717A (zh) * 2019-06-19 2020-12-22 商汤集团有限公司 一种智能驾驶控制方法及装置、电子设备
CN110347164A (zh) * 2019-08-08 2019-10-18 北京云迹科技有限公司 一种速度调节方法、装置及存储介质
CN110834639A (zh) * 2019-10-24 2020-02-25 中国第一汽车股份有限公司 车辆控制方法、装置、设备和存储介质
DE102019216618A1 (de) 2019-10-29 2021-04-29 Deere & Company Verfahren zur Klassifizierung eines Untergrunds
CN113359692B (zh) * 2020-02-20 2022-11-25 杭州萤石软件有限公司 一种障碍物的避让方法、可移动机器人
KR20210106807A (ko) * 2020-02-21 2021-08-31 현대자동차주식회사 노면 분류 장치 및 이를 이용한 차량의 터레인 모드 제어 시스템
JP7337741B2 (ja) * 2020-03-25 2023-09-04 日立Astemo株式会社 情報処理装置、車載制御装置
CN111532277B (zh) * 2020-06-01 2021-11-30 中国第一汽车股份有限公司 车辆地形识别系统、方法及车辆
EP3926523A1 (en) * 2020-06-19 2021-12-22 Toyota Jidosha Kabushiki Kaisha Surface recognition system
CN112258549B (zh) * 2020-11-12 2022-01-04 珠海大横琴科技发展有限公司 一种基于背景消除的船只目标跟踪方法及装置
CN113085859A (zh) * 2021-04-30 2021-07-09 知行汽车科技（苏州）有限公司 自适应巡航策略调整方法、装置、设备及存储介质
CN113525388A (zh) * 2021-09-15 2021-10-22 北汽福田汽车股份有限公司 车辆控制方法、装置、存储介质及车辆
CN114596713B (zh) * 2022-05-09 2022-08-09 天津大学 一种车辆的实时远程监测控制方法及系统
FR3135945A1 (fr) * 2022-05-25 2023-12-01 Renault S.A.S. Procédé de détection d’un type de route parcourue par un véhicule équipé
CN114932812B (zh) * 2022-06-02 2024-10-18 中国第一汽车股份有限公司 电动汽车防滑控制方法、装置、设备及存储介质
CN115451901A (zh) * 2022-09-07 2022-12-09 中国第一汽车股份有限公司 一种路面不平度的分类识别方法、装置、车辆及存储介质
JP2024062734A (ja) 2022-10-25 2024-05-10 株式会社Subaru 車両の走行制御装置
CN117437608B (zh) * 2023-11-16 2024-07-19 元橡科技（北京）有限公司 一种全地形路面类型识别方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4434224B2 (ja) * 2007-03-27 2010-03-17 株式会社デンソー 走行支援用車載装置
US9207323B2 (en) * 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
DE102013223367A1 (de) * 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
US9412153B2 (en) * 2014-12-11 2016-08-09 Sony Corporation Using depth for recovering missing information in an image
JP6156400B2 (ja) * 2015-02-09 2017-07-05 トヨタ自動車株式会社 走行路面検出装置及び走行路面検出方法
US9811756B2 (en) * 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes
CN106627416B (zh) * 2015-11-03 2019-03-12 北京宝沃汽车有限公司 用于检测道路类型的方法、装置和系统
CN107092920A (zh) * 2016-02-17 2017-08-25 福特全球技术公司 评估其上行驶有车辆的路面的方法和装置
CN106647743A (zh) * 2016-10-26 2017-05-10 纳恩博（北京）科技有限公司 一种电子设备的控制方法及电子设备
CN107061724B (zh) * 2017-04-27 2019-08-09 广州汽车集团股份有限公司 车辆的动力传递控制方法、装置及系统

Also Published As

Publication number Publication date
US20190187722A1 (en) 2019-06-20
CN107977641A (zh) 2018-05-01
DE102018109965A1 (de) 2019-06-19
JP2019106159A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6615933B2 (ja) 知的地形特定のための方法及び装置、車両搭載端末、並びに車両
US10558868B2 (en) Method and apparatus for evaluating a vehicle travel surface
JP7301138B2 (ja) ポットホール検出システム
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
DE112019000122T5 (de) Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
EP2574958B1 (en) Road-terrain detection method and system for driver assistance systems
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
CN110458793B (zh) 基于车辆相机图像处理来生成和利用道路摩擦估计值的方法和系统
JP6376429B2 (ja) 対象地点到達検知装置、対象地点到達検知用プログラム、移動体機器制御システム及び移動体
WO2020237942A1 (zh) 一种行人3d位置的检测方法及装置、车载终端
EP3392830B1 (en) Image processing device, object recognition device, apparatus control system, image processing method and program
JP6705497B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
WO2022151664A1 (zh) 一种基于单目摄像头的3d物体检测方法
DE112021005607T5 (de) Systeme und Verfahren für kamera-LiDAR-fusionierte Objektdetektion
JP7454685B2 (ja) 車両走行路内のデブリの検出
Yebes et al. Learning to automatically catch potholes in worldwide road scene images
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN114821517A (zh) 用于学习神经网络以确定环境中车辆姿态的方法和系统
US11860627B2 (en) Image processing apparatus, vehicle, control method for information processing apparatus, storage medium, information processing server, and information processing method for recognizing a target within a captured image
KR102039801B1 (ko) 스테레오 카메라 기반 도로 구배 예측방법 및 시스템
JP2005346287A (ja) 画像認識方法および装置
Zhao et al. An RGBD data based vehicle detection algorithm for vehicle following systems
TW202326624A (zh) 嵌入式深度學習多尺度物件偵測暨即時遠方區域定位裝置及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R150 Certificate of patent or registration of utility model

Ref document number: 6615933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250