JP6869561B2 - ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 - Google Patents

ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 Download PDF

Info

Publication number
JP6869561B2
JP6869561B2 JP2019182000A JP2019182000A JP6869561B2 JP 6869561 B2 JP6869561 B2 JP 6869561B2 JP 2019182000 A JP2019182000 A JP 2019182000A JP 2019182000 A JP2019182000 A JP 2019182000A JP 6869561 B2 JP6869561 B2 JP 6869561B2
Authority
JP
Japan
Prior art keywords
observation target
target vehicle
information
test
blind spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019182000A
Other languages
English (en)
Other versions
JP2020061139A (ja
Inventor
金桂賢
金鎔重
金寅洙
金鶴京
南雲鉉
夫碩▲くん▼
成明哲
呂東勳
柳宇宙
張泰雄
鄭景中
諸泓模
趙浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020061139A publication Critical patent/JP2020061139A/ja
Application granted granted Critical
Publication of JP6869561B2 publication Critical patent/JP6869561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法に関し；より詳しくは、前記基準自動車の前記ブラインドスポットモニタリングのための前記ＣＮＮの学習方法において、（ａ）前記基準自動車の検出器からの少なくとも一つの出力に対応されるトレーニングデータが入力されると、手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる段階；（ｂ）ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させる段階；及び（ｃ）ロスレイヤをもって前記判断結果とこれに対応される原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する段階；を含む学習方法とこれを利用したテスト方法、学習装置とテスティング装置に関する。
一般的に運転者が自動車運行中に車線変更をする際、側面及び後方を観察して視野を確保できるように自動車の両側にサイドミラーが設置されており、室内前面中央部にルームミラーが設置されている。
サイドミラーは、自動車の両面に設置され側面及び後方の視野を確保するよう利用されているが、側面に近接する自動車や他の物体は確認できないブラインドスポットがある。
従って、走行中の自動車の側面に接近して走っている他の自動車を運転者が確認できず車線変更をする場合、ブラインドスポットで走行している他の自動車との接触事故が発生しかねない問題点があった。
このような問題点を防止するため、運転者がブラインドスポットを観測できるように曲面鏡をサイドミラーの片方に取り付ける場合もある。
しかし、サイドミラーに曲面鏡などを設置した場合でも、自動車の車線を変更するために、運転者は肉眼でブラインドスポットを確認しなければならないため、運転者の運転疲労度を増加させ、運転者の位置によっては曲面鏡が取り付けられたサイドミラーでも確認できないブラインドスポットが存在するという問題点が発生する。
これを防止するために、最近では自動車の後面に取り付けられたセンサーによってブラインドスポットに接近したり、ブラインドスポットに位置する自動車などを感知した情報を運転者に提供したりすることで、運転者がブラインドスポットにある自動車またはブラインドスポットに接近してくる自動車を認知できず車線を変更することにより発生し得る事故を防止するための従来のブラインドスポットモニターシステムが提案されていた。
特に、従来のビジョンセンサを利用したブラインドスポットモニターシステムでは、映像情報を基に映像情報内に位置する自動車を検出し、検出された自動車情報を利用してブラインドスポットに自動車があるか否かを判別している。
このために、従来のビジョンセンタを利用したブラインドスポットモニターシステムでは、映像情報内に位置する自動車を検出する自動車検出器の出力信号を利用してブラインドスポットに自動車が位置するかを判別ためのロジックを必要とする。
しかし、従来のビジョンセンサを利用したブラインドスポットモニターシステムでは、利用しようとする自動車検出器によってブラインドスポットに自動車が位置するかを判別するためのロジックを別途設計しなければならない問題点がある。
また、ビジョンセンサを利用した従来のブラインドスポットモニターシステムでは、利用しようとする自動車検出器の設計後、設計された自動車検出器の出力特性に合わせてブラインドスポットに自動車が位置するかを判別するためのロジックを設計しなければならないので、ブラインドスポットモニターシステムの開発に多くの時間がかかるという問題点がある。
本発明は、前述した問題点を全て解決することをその目的とする。
本発明は、車両を検出する検出器の種類に関係なく適用可能なブラインドスポットモニタリングシステムを提供することを他の目的とする。
本発明は、検出器の種類に関係なく、検出器からの出力信号を利用し、ブラインドスポットに車両が位置しているかを判別できるようにすることをまた他の目的とする。
本発明は、必要に応じて検出器を交換し得るようにするブラインドスポットモニタリングシステムを提供することを他の目的とする。
本発明は、ブラインドスポットモニタリングシステムの開発に要する時間を最小化できるようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法において、（ａ）前記基準自動車の検出器からの少なくとも一つの出力に対応されるトレーニングデータが入力されると、学習装置が、手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる段階；（ｂ）前記学習装置が、ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させる段階；及び（ｃ）前記学習装置が、ロスレイヤをもって前記判断結果とこれに対応される原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する段階；を含むことを特徴とする。
一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含むことを特徴とする。
一例として、前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする。
一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする。
本発明の他の態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング方法において、（ａ）学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報が獲得されると、テスティング装置が、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる段階；及び（ｂ）前記テスティング装置が、ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させる段階；を含む。
一例として、前記検出器は、前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）；前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；を含むＲ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の自動車検出器であることを特徴とする。
一例として、前記テスティング装置は、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対する前記テスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用の特徴ベクトルを用いてコンカチネートした値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とする。
一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象の自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする。
一例として、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする。
一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記テスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とする。
一例として、前記テスティング装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする。
本発明のまた他の態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮの学習装置において、前記基準自動車の検出器から少なくとも一つの出力信号に対応されるトレーニングデータを受信する通信部；及び（Ｉ）手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させるプロセス、（ＩＩ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させるプロセス、及び（ＩＩＩ）ロスレイヤをもって前記判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習するプロセスを遂行するプロセッサ；を含む。
一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする学習装置。
一例として、前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする学習装置。
一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする学習装置。
本発明のまた他の態様によれば、基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング装置において、学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信する通信部；及び（Ｉ）前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させるプロセス及び（ＩＩ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報をまたはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させるプロセスを遂行するプロセッサ；を含む。
一例として、前記検出器は、前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ；前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；を含むＲ−ＣＮＮ基盤の自動車検出器であることを特徴とする。
一例として、前記プロセッサは、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対する前記テスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用の特徴ベクトルを用いてコンカチネートした値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とするテスティング装置。
一例として、前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象の自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とするテスティング装置。
一例として、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とするテスティング装置。
一例として、前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記テスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とするテスティング装置。
一例として、前記テスト装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ判読可能な記録媒体がさらに提供される。
本発明は、車両を検出する検出器の種類に関係なく適用可能なブラインドスポットモニタリングシステムを提供し得る。
本発明は、検出器の種類に関係なく、検出器からの出力信号を利用し、ブラインドスポットに車両が位置しているかを判別し得るようになる。
本発明は、ブラインドスポットモニタリングシステムにおいて、別途ロジックを設計しなくても必要に応じて検出器を取り替えし得るようになるので、ブラインドスポットモニタリングシステムのメンテナンスに伴う費用を最小化することができる。
本発明は、すべての検出器に適用し得るので、各々の検出器に対応して、ブラインドスポットに車両が位置するかを判別するためのロジックを設計する必要がなく、よって、ブラインドスポットモニタリングシステム開発に要する時間を最小化することができる。
本発明の一例に係る基準自動車ブラインドスポットモニタリングのための学習装置を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのための学習方法を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのための学習方法において、観察対象自動車に対する手がかり情報のうち、観察対象自動車の位置情報を例示した図面である。 本発明の一例に係るブラインドスポットモニタリングのための学習方法において、観察対象自動車に対する手がかり情報のうち、観察対象自動車の中心点とブラインドスポットの外側の面との間の距離情報を例示した図面である。 本発明の一例に係るブラインドスポットモニタリングのための学習方法において、ブラインドスポット確認用ＦＣレイヤの構造を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのためのテスティング装置を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのためのテスティング方法を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのためのテスティング装置に利用される検出器を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのための学習装置を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのための学習方法を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのためのテスト装置を概略的に示した図面である。 本発明の一例に係るブラインドスポットモニタリングのためのテスト方法を概略的に示した図面である。
本発明の実施例の説明に利用されるために添付された各図面は、本発明の実施例の中の一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業がなされることなくこれらの図面に基づいて他の図面が得られ得る。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決法及び長所を明らかにするために、本発明が実施され得る特定の実施例を例として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者に本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
さらに、本発明は本明細書に表示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図１は、本発明の一例に係る基準自動車のブラインドスポットモニタリングのための学習装置１００を概略的に示したもので、図１を参照すれば、前記学習装置１００は、通信部１１０とプロセッサ１２０を含み得る。
まず、前記通信部１１０は、前記基準自動車の検出器から少なくとも一つの出力信号に対応されるトレーニングデータを受信し得る。つまり、前記通信部１１０は、後述する前記検出器からの前記出力信号を入力信号（つまり、前記トレーニングデータ）として受信し得る。
この際、前記トレーニングデータは、前記検出器からの入力映像に対応されるイメージ上に位置する観察対象自動車に対する情報として、前記観察対象自動車等のような各物体に対するクラス情報や前記観察対象自動車がイメージ内に位置する領域に対する位置情報を含み得る。また、前記トレーニングデータは、データベース１３０に格納され得、前記データベース１３０には、前記トレーニングデータに対応して各々の前記観察対象自動車に対する前記クラス情報及び前記位置情報に対する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）が格納されていられ得る。
次に、前記プロセッサ１２０は、前記手がかり情報抽出レイヤをもって前記トレーニングデータに含まれた前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用し、所定の演算を遂行させることで、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる第１プロセスと、ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網（ニューラルネットワーク）演算を遂行させることで、前記観察対象自動車が前記基準自動車の前記ブラインドスポットの中の一つに位置するのか否かの判断結果を出力させる第２プロセスと、ロスレイヤをもって前記判断結果とこれに対応される原本正解を参考にして一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する第３プロセスを遂行し得る。
この際、本発明の一例に係る前記学習装置１００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係る学習装置１００として採択され得る。また、図１では、一つの学習装置１００のみを示したが、これに限定されず、前記学習装置１００は複数に分けて役割を遂行し得る。
このように構成された本発明の一例に係る構成された前記学習装置を利用し、前記基準自動車の前記ブラインドスポットをモニタリングするための学習方法を、図２に基づいて説明すると次のとおりである。
まず、前記基準自動車の検出器からの前記出力信号に対応される前記トレーニングデータが入力されれば、前記学習装置１００が、前記手がかり情報抽出レイヤ１２１をもって前記トレーニングデータに含まれた前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記手がかり情報を出力するようにさせる。
この際、前記検出器は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。
そして、前記観察対象自動車に対する前記手がかり情報は、（ｉ）観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）前記ＲＯＩのサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含み得る。
この際、前記観察対象自動車に対する前記クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。
また、図３を参照すれば、前記観察対象自動車の前記位置情報は、前記イメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記イメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を含み得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。
また、図４を参照すれば、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。
次に、前記学習装置１００は、前記ブラインドスポット確認用ＦＣレイヤ１２２をもって、前記観察対象自動車に対する前記手がかり情報を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する前記判断結果を出力するようにさせる。
この際、図５を参照すれば、前記ブラインドスポット確認用ＦＣレイヤ１２２は、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網から構成され得る。図５では、入力情報の数を４個（入力１、入力２、入力３、入力４）で示したが、これは説明の便宜上のもので、前記入力情報の数は、前記手がかり情報抽出レイヤ１２１で生成された前記手がかり情報に対応されるように設定され得る。また、図５で、隠れ層は１つのレイヤで示したが、これに限定されず、多数のレイヤを含み得る。
次に、前記学習装置１００は、前記ロスレイヤ１２３をもって前記ブラインドスポット確認用ＦＣレイヤ１２２から出力される前記判断結果とこれに対応される原本正解を参考に前記ロス値を生成するようにさせ、前記ロス値を利用したバックプロパゲーションによって、前記ブラインドスポット確認用ＦＣレイヤ１２２を学習し得る。
前記手がかり情報抽出レイヤ１２１、前記ブラインドスポット確認用ＦＣレイヤ１２２、及び前記ロスレイヤ１２３は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。
図６は、本発明の一例による基準自動車のブラインドスポットモニタリングのためのテスティング装置２００を概略的に示したもので、前記テスト装置の前記基準自動車は、前述した前記学習装置の基準自動車と同一でもあり得、同一でなくもあり得、図６を参照すれば、前記テスティング装置２００は、通信部２１０とプロセッサ２２０とを含み得る。
まず、前記通信部２１０は、前記基準自動車で撮影されたテストイメージ内に位置する観察対象自動車を検出する検出器２０から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信し得る。
次に、前記プロセッサ２２０は、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる第１プロセスと、前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対してテスト用判断結果を出力させる第２プロセスを遂行し得る。
以下で、単語「学習用」及び「テスト用」は、前述した学習方法とテスト方法を区分するために使われる。
この際、ブラインドスポット確認用ＦＣレイヤは、図１ないし図５を参照して説明した前記学習方法で、前記学習装置によって一つ以上のパラメータが学習されたもので、前記学習方法を簡単に説明すれば次のとおりである。前記学習装置によって、（ｉ）前記基準自動車の前記検出器２０からの少なくとも一つの出力信号に対応される前記トレーニングデータが入力されれば、前記手がかり情報抽出レイヤをもって前記トレーニングデータに含まる前記観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して、前記所定の演算を遂行することにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して、前記所定の神経網演算を遂行させることで、前記観察対象自動車が前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）前記ロスレイヤをもって前記学習用判断結果とそれに対応される原本正解を参考にして、一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの前記パラメータを学習し得る。
そして、本発明の一例による前記テスティング装置２００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係るテスティング装置２００として採択され得る。また、図６では、一つのテスティング装置２００のみを示したが、これに限定されず、前記テスティング装置２００は複数に分けて役割を遂行し得る。
このように構成された本発明の一例に係る前記ブラインドスポットモニタリングのための前記テスティング装置を利用して、前記ブラインドスポットモニタリングのためのテスティング方法を、図７に基づいて説明すると次のとおりである。
まず、前記テスティング方法を遂行する前に、前記学習装置によって、（ｉ）前記手がかり情報抽出レイヤ２２１をもって前記検出器２０からの前記出力信号に対応される前記トレーニングデータに含まれた前記観察対象自動車に対する前記学習用クラス情報及び前記学習用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記学習用手がかり情報を出力するようにして、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤ２２２をもって前記学習用手がかり情報を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が前記基準自動車の前記ブラインドスポットに位置するか否かに対する前記学習用判断結果を出力するようにさせ、（ｉｉｉ）前記ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考にして前記ロス値を生成するようにすることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤ２２２の前記パラメータを学習した状態で、前記検出器２０が前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出し、前記検出された観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を出力する。
この際、前記検出器２０は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）を検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。
一例として、図８を参照すれば、前記検出器２０は、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の自動車検出器で、前記テストイメージからテスト用特徴マップを獲得するコンボリューションレイヤ２１、前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを生成するＲＰＮ２２、前記テスト用特徴マップ内で前記テスト用ＲＯＩに対応される領域をプーリングしてテスト用特徴ベクトルを生成するプーリングレイヤ２３、前記テスト用特徴ベクトルに少なくとも一度ＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加えて、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ２４、前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用クラス情報を出力する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）レイヤ２５、及び前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用位置情報を出力するリグレッション（ｒｅｇｒｅｓｓｉｏｎ）レイヤ２６を含み得る。この際、前記コンボリューションレイヤ２１と、前記自動車検出用ＦＣレイヤ２４を各々一つのレイヤとして説明したが、これに限定されず、各々多数のレイヤに形成され得る。また、前記テスト用特徴マップは、前記コンボリューションレイヤ２１によるチャネルの深さに対応する一つ以上の特徴マップに出力され得る。
すると、前記試験装置２００は、前記手がかり情報抽出レイヤ２２１をもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記テスト用手がかり情報を出力させる。
この際、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）テスト用ＲＯＩのサイズに対比される前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間のテスト用距離情報のうち、少なくとも一部を含み得る。
そして、前記観察対象自動車に対するテスト用クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。
また、図３を参照して説明したように、前記観察対象自動車の前記テスト用位置情報は、前記テストイメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記テストイメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標が含まれ得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。
また、図４を参照して説明したように、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記テスト用距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、テスト用相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。
次に、前記学習装置２００は、前記ブラインドスポット確認用ＦＣレイヤ２２２をもって、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するのか否かに対する前記テスト用判断結果を出力させるようにする。
この際、前記テスト用手がかり情報を加工した値は、前記手がかり情報抽出レイヤ２２１から出力される前記観察対象自動車に対する前記テスト用手がかり情報と、前記検出器２０の前記プーリングレイヤ２３で出力される前記テスト用特徴ベクトルを利用してコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）した値であり得、前記テスト用手がかり情報と前記テスト用特徴ベクトルをコンカチネートする特徴コンカチネーションレイヤが、前記ブラインドスポット確認用ＦＣレイヤ２２２の前に位置し得る。
また、図５を参照に説明したように、前記ブラインドスポット確認用ＦＣレイヤ２２２は、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網から構成され得る。
前記手がかり情報抽出レイヤ２２１、前記ブラインドスポット確認用ＦＣレイヤ２２２は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。
図９は、本発明の他の例に係る基準自動車のブラインドスポットモニタリングのための学習装置３００を概略的に例示した図面であり、図９を参照すれば、前記学習装置３００は、通信部３１０とプロセッサ３２０を含み得る。
まず、前記通信部３１０は、前記基準自動車で撮影された映像イメージに対応されるトレーニングデータを受信し得る。
この際、前記トレーニングデータは、データベース３３０に格納されていられ得、前記データベース３３０には、前記トレーニングデータに対応して各々の観察対象自動車に対するクラス情報及び位置情報に対する原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）が格納されていられ得る。
次に、前記プロセッサ３２０は、前記基準自動車の検出器３０をもって前記観察対象自動車に対する前記クラス情報及び前記位置情報を出力させる第１プロセスと、手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力するようにさせ、ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記手がかり情報またはこれを加工した値を利用して一つ以上の神経網演算を遂行するようにし、前記観察対象自動車が前記ブラインドスポットの中の一つに位置するのか否かに対する判断結果を出力させる第２プロセスと、第１ロスレイヤをもって前記判断結果及びこれに対応される第１原本正解を参考にして一つ以上のブラインドスポットロス値を生成させることで、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習し、第２ロスレイヤをもって前記観察対象自動車に対する前記クラス情報及び前記位置情報とこれに対応される第２原本正解を参考にして一つ以上の自動車検出ロス値を生成させることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器の一つ以上のパラメータを学習する第３プロセスを遂行し得る。
この際、本発明の他の例に係る前記学習装置３００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係る学習装置３００として採択され得る。また、図９では、一つの学習装置３００のみを示したが、これに限定されず、前記学習装置３００は複数に分けて役割を遂行し得る。
このように構成された本発明の他の例によって構成された前記学習装置を利用して前記基準自動車の前記ブラインドスポットをモニタリングするための学習方法を、図１０を参照に説明すると次のとおりである。
まず、前記基準自動車で撮影された前記映像イメージに対応されるトレーニングイメージが入力されれば、前記検出器３０が前記トレーニングイメージに含まれた前記観察対象自動車に対する前記クラス情報及び前記位置情報を出力する。
この際、自動車検出器３０は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩを検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。
そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認の段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。
一例として、図８を参照して説明した検出器と類似して、前記検出器３０は、Ｒ−ＣＮＮ基盤の自動車検出器で、前記トレーニングイメージから特徴マップを生成するコンボリューションレイヤ３１、前記特徴マップから前記観察対象自動車に対するＲＯＩを生成するＲＰＮ３２、前記特徴マップ内で前記ＲＯＩに対応される領域をプーリングして特徴ベクトルを生成するプーリングレイヤ３３、前記特徴ベクトルに少なくとも一度ＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加えて、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ３４、前記ＦＣ出力値を参照して前記観察対象自動車の前記クラス情報を出力する分類レイヤ３５、及び前記ＦＣ出力値を参照して前記観察対象自動車の前記位置情報を出力するリグレッションレイヤ３６を含み得る。この際、前記コンボリューションレイヤ３１と、前記自動車検出用ＦＣレイヤ３４は、少なくとも一つのレイヤに形成され得る。
次に、前記試験装置３００は、前記手がかり情報抽出レイヤ３２１をもって前記観察対象自動車に対する前記クラス情報及び前記位置情報を利用し、前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する前記手がかり情報を出力するようにする。
この際、前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）前記ＲＯＩのサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含み得る。
この際、前記観察対象自動車に対する前記クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。
また、図３を参照して説明したものと類似して、前記観察対象自動車の前記位置情報は、前記イメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記イメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を含み得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。
また、図４を参照して説明したものと類似して、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。
次に、前記学習装置３００は、前記ブラインドスポット確認用ＦＣレイヤ３２２をもって、前記観察対象自動車に対する前記手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するのか否かに対する前記判断結果を出力するようにさせる。
この際、前記手がかり情報を加工した値は、前記手がかり情報抽出レイヤ３２１から出力される前記観察対象自動車に対する前記手がかり情報と、前記検出器３０の前記プーリングレイヤ３３で出力される前記特徴ベクトルをコンカチネートした値であり得、前記手がかり情報と前記特徴ベクトルをコンカチネートする特徴コンカチネーションレイヤ３４０が、前記ブラインドスポット確認用ＦＣレイヤ３２２の前に位置し得る。
また、図５を参照して説明してものと類似して、前記ブラインドスポット確認用ＦＣレイヤ３２２は、前記観察対象自動車に対する前記手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網から構成され得る。
次に、前記学習装置３００は、第１ロスレイヤ３２３をもって（ｉ）前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対する判断結果及び（ｉｉ）これに対応される第１原本正解を参考にして前記ブラインドスポットロス値を獲得するようにさせ、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤ３２２の前記パラメータを学習し、前記第２ロスレイヤ３２４をもって前記観察対象自動車に対する前記クラス情報及び前記位置情報とこれに対応される第２原本正解を参考にして、前記自動車検出ロス値を獲得するようにすることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器３０の前記パラメータを学習し得る。
この際、前記自動車検出ロス値は、前記観察対象自動車に対する一つ以上のクラスロス値と、一つ以上の位置ロス値を含み得、前記学習装置３００は、前記クラスロス値と前記位置ロス値を利用したバックプロパゲーションによって前記検出器３０の前記自動車検出用ＦＣレイヤ３４の一つ以上のパラメータ、または前記コンボリューションレイヤ３１の一つ以上のパラメータを学習させ得る。また、図示はされていないが、前記学習装置３００は、前記検出器３０の前記ＲＰＮ３２によって生成された前記ＲＯＩと、前記トレーニングイメージに対応されるＲＯＩ原本正解を参考にして一つ以上のＲＯＩロス値とを獲得して、これを利用したバックプロパゲーションによって前記ＲＰＮ３２の一つ以上のパラメータを学習し得る。
前記手がかり情報抽出レイヤ３２１、前記ブラインドスポット確認用ＦＣレイヤ３２２は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。また、第１ロスレイヤ３２３及び第２ロスレイヤ３２４は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。
図１１は、本発明の一例に係る基準自動車のブラインドスポットモニタリングのためのテスティング装置４００を概略的に示したもので、前記テスト装置の前記基準自動車は、前述した前記学習装置の基準自動車と同一でもあり得、同一でなくもあり得、図１１を参照すれば、前記テスティング装置４００は、通信部４１０とプロセッサ４２０とを含み得る。
まず、前記通信部４１０は、前記基準自動車で撮影されたテストイメージ内に位置する観察対象自動車を検出する検出器４０から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信し得る。
この際、前記検出器４０は、ビジョンセンサによって獲得されるイメージ内に位置する前記観察対象自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩを検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）と特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。
一例として、図８を参照して説明した検出器と類似して、前記検出器４０は、Ｒ−ＣＮＮ基盤の自動車検出器で、前記テストイメージからテスト用特徴マップを生成する前記コンボリューションレイヤ、前記特徴マップから前記観察対象自動車に対する前記テスト用ＲＯＩを獲得するＲＰＮ、前記テスト用特徴マップ内で前記テスト用ＲＯＩに対応される領域をプーリングしてテスト用特徴ベクトルを獲得する前記プーリングレイヤ、前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加えて、一つ以上のＦＣ出力値を生成する前記自動車検出用ＦＣレイヤ、前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用クラス情報を出力する前記分類レイヤ、及び前記ＦＣ出力値を参照して前記観察対象自動車の前記テスト用位置情報を出力する前記リグレッションレイヤを含み得る。この際、前記コンボリューションレイヤと、前記自動車検出用ＦＣレイヤは、各々一つのレイヤで説明したが、これに限定されず、各々多数のレイヤに形成され得る。また、前記テスト用特徴マップは、前記コンボリューションレイヤ４１によるチャネルの深さに対応する一つ以上の特徴マップとして出力され得る。
次に、プロセッサ４２０は、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行するようにすることで、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる第１プロセスと、前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対してテスト用判断結果を出力させる第２プロセスを遂行し得る。
以下で、単語「学習用」及び「テスト用」は、前述した学習方法とテスト方法を区分するために使われる。
この際、前記検出器４０と前記ブラインドスポット確認用ＦＣレイヤは、図９及び図１０を参照して説明した学習方法で前記学習装置によってパラメータが学習されたもので、前記学習方法を簡単に説明すると次のとおりである。前記検出器４０が、前記基準自動車で撮影された映像イメージに対応されるトレーニングイメージに含まれた前記観察対象自動車に対する学習用クラス情報及び学習用位置情報を出力すれば、前記学習装置が、（ｉ）前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する学習用クラス情報及び前記学習用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）前記第１ロスレイヤをもって前記学習用判断結果とこれに対応される前記第１原本正解を参考にして一つ以上のブラインドスポットロス値を生成させることで、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤのパラメータを学習し、前記第２ロスレイヤをもって前記学習用クラス情報及び前記学習用位置情報とこれに対応される前記第２原本正解を比較して一つ以上の自動車検出ロス値を生成させることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器のパラメータを学習し得る。
そして、本発明の他の例に係る前記テスティング装置４００は、コンピューティング装置として、プロセッサを搭載して演算能力を備えた装置ならいくらでも本発明に係るテスティング装置４００として採択され得る。また、図１１では、一つのテスティング装置４００のみを示したが、これに限定されず、前記テスティング装置４００は複数に分けて役割を遂行し得る。
このように構成された本発明の他の例によって構成された前記テスティング装置を利用して前記基準自動車の前記ブラインドスポットをモニタリングするためのテスティング方法を、図１２を参照に説明すると次のとおりである。
まず、前記検出器４０が、前記基準自動車で撮影された映像イメージに対応される前記トレーニングイメージに含まれた前記観察対象自動車に対する学習用クラス情報及び学習用位置情報を出力すれば、前記学習装置によって、（ｉ）前記手がかり情報抽出レイヤ４２１をもって前記観察対象自動車に対する前記学習用クラス情報及び前記学習用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する前記学習用手がかり情報を出力させ、（ｉｉ）前記ブラインドスポット確認用ＦＣレイヤ４２２をもって前記学習用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する前記学習用判断結果を出力させ、（ｉｉｉ）前記第１ロスレイヤをもって前記学習用判断結果とこれに対応される第１原本正解を参考にしてブラインドスポットロス値を生成させることで、前記ブラインドスポットロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤ４２２の一つ以上のパラメータを学習し、前記第２ロスレイヤをもって前記学習用クラス情報及び前記学習用位置情報とこれに対応される第２原本正解を参考して前記自動車検出ロス値を生成させることで、前記自動車検出ロス値を利用したバックプロパゲーションによって前記検出器４０の前記パラメータを学習した状態で、前記検出器４０が、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出し、前記検出された観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を出力し得る。
この際、前記検出器４０は、ビジョンセンサによって獲得されるイメージ内に位置する自動車を検出するもので、前記イメージ内に前記観察対象自動車が位置すると推定される領域であるＲＯＩを検出する仮説生成段階（ｈｙｐｏｔｈｅｓｉｓ ｇｅｎｅｒａｔｉｏｎ ｓｔａｇｅ）と、前記検出されたＲＯＩが前記観察対象自動車を含むか否かを判別する仮説確認段階（ｈｙｐｏｔｈｅｓｉｓ ｖｅｒｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）から構成され得る。そして、前記仮説生成段階は、オプティカルフローを利用するモーション基盤体系（ｍｏｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）や車両の影、角、水平及び垂直の角、対称、色、車両の光、ステレオカメラ、多数の特徴などを利用する形状基盤体系（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ ｓｃｈｅｍｅ）などとして実装され得、前記仮説確認の段階は、テンプレートマッチングを利用する相関関係基盤体系（ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｃｈｅｍｅ）、特徴及び分類器（ｃｌａｓｓｉｆｉｅｒ）を利用する学習基盤体系（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｈｅｍｅ）等で実装され得る。特に、前記学習基盤体系には、ＣＮＮのようなディープランニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）基盤アルゴリズムや、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）、アダブースト（ＡｄａＢｏｏｓｔ）、ＫＮＮ（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）等のシャローラーニング（ｓｈａｌｌｏｗ ｌｅａｒｎｉｎｇ）基盤アルゴリズムが適用され得る。
一例として、前記検出器４０は、Ｒ−ＣＮＮ基盤の自動車検出器で、前記テストイメージからテスト用特徴マップを獲得する前記コンボリューションレイヤ４１、前記テスト用特徴マップから前記観察対象自動車に対する前記テスト用ＲＯＩを生成するＲＰＮ４２、前記テスト用特徴マップ内で前記テスト用ＲＯＩに対応される領域をプーリングしてテスト用特徴ベクトルを生成する前記プーリングレイヤ４３、前記テスト用特徴ベクトルにＦＣ演算を加えて、一つ以上のＦＣ出力値を生成する前記自動車検出用ＦＣレイヤ４４、前記ＦＣ出力値を参照して前記観察対象自動車に対する前記テスト用クラス情報を出力する前記分類レイヤ４５、及び前記ＦＣ出力値を参照して前記観察対象自動車に対する前記テスト用位置情報を出力する前記リグレッションレイヤ４６を含み得る。この際、前記コンボリューションレイヤ４１と、前記自動車検出用ＦＣレイヤ４４は、各々一つのレイヤで説明したが、これに限定されず、各々多数のレイヤに形成され得る。
すると、前記テスティング装置４００は、前記手がかり情報抽出レイヤ４２１をもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する前記テスト用手がかり情報を出力させる。
この際、前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）テスト用ＲＯＩのサイズに対比される前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のテスト用アスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の前記中心点と前記ブラインドスポットの外側の面との間のテスト用距離情報のうち、少なくとも一部を含み得る。
そして、前記観察対象自動車に対する前記テスト用クラス情報は、前記観察対象自動車を、自動車・バイクなどに分類するためのクラス情報であり得る。
また、図３を参照して説明したものと類似して、前記観察対象自動車の前記テスト用位置情報は、前記テストイメージ内に前記観察対象自動車が位置する領域に対応する位置情報であり得る。一例として、前記観察対象自動車に対応するバウンディングボックスの位置情報として、前記テストイメージ内での前記バウンディングボックスの左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を含み得る。これに加えて、前記バウンディングボックスの中心（ＣＥＮＴＥＲ）の座標を含み得るが、これは前記バウンディングボックスの前記左上段の角（ＴＯＰ＿ＬＥＦＴ）の座標と前記右下段の角（ＢＯＴＴＯＭ＿ＲＩＧＨＴ）の座標を利用した演算によっても獲得され得る。
また、図４を参照して説明したものと類似して、（ｉ）左側ブラインドスポット（ＢＳ−Ｌ）の外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポット（ＢＳ−Ｒ）の外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、より小さい値を、前記観察対象自動車の前記中心点（Ｃ）と前記ブラインドスポットの前記外側の面（Ｓ）の間の前記テスト用距離情報（Ｌ）と判断し、前記観察対象自動車の前記中心点が、前記ブラインドスポットの前記外側の面の外側に位置しているか、あるいは内側に位置しているかを区別するため、相対的位置情報、一例として、（＋）または（−）を追加的に含み得る。
次に、前記テスティング装置４００は、前記ブラインドスポット確認用ＦＣレイヤ４２２をもって、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行させることで、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する前記テスト用判断結果を出力させるようにする。
この際、前記テスト用手がかり情報を加工した値は、前記手がかり情報抽出レイヤ４２１から出力される前記観察対象自動車に対する前記テスト用手がかり情報と、前記検出器４０の前記プーリングレイヤ４３で出力される前記テスト用特徴ベクトルを利用してコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）した値であり得、前記テスト用手がかり情報と前記テスト用特徴ベクトルをコンカチネートする特徴コンカチネーションレイヤ４４０が、前記ブラインドスポット確認用ＦＣレイヤ４２２の前に位置し得る。
また、図５を参照に説明したものと類似して、前記ブラインドスポット確認用ＦＣレイヤ４２２は、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって、前記観察対象自動車が、前記ブラインドスポットの中の一つに位置するか否かに対する一つの結果値を出力する神経網から構成され得る。
前記手がかり情報抽出レイヤ４２１、前記ブラインドスポット確認用ＦＣレイヤ４２２は、一つのコンピューティング装置に含まれるか、各々異なるコンピューティング装置に含まれ得、コンピューティング装置内で前記のような動作を遂行させるアルゴリズムで実装され得る。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。 前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
１００ 学習装置
１２１ 手がかり情報抽出レイヤ
１２２ ブラインドスポット確認用ＦＣレイヤ
１２３ ロスレイヤ

Claims (22)

  1. 基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習方法において、
    （ａ）前記基準自動車の検出器からの少なくとも一つの出力に対応されるトレーニングデータが入力されると、学習装置が、手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させる段階；
    （ｂ）前記学習装置が、ブラインドスポット確認用ＦＣ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させる段階；及び
    （ｃ）前記学習装置が、ロスレイヤをもって前記判断結果とこれに対応される原本正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習する段階；
    を含むことを特徴とする学習方法。
  2. 前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含むことを特徴とする請求項１に記載の学習方法。
  3. 前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項１に記載の学習方法。
  4. 前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする請求項３に記載の学習方法。
  5. 基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング方法において、
    （ａ）学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ；（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットの中の一つに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報が獲得されると、テスティング装置が、前記手がかり情報抽出レイヤをもって前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させる段階；及び
    （ｂ）前記テスティング装置が、ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させる段階；
    を含むことを特徴とするテスティング方法。
  6. 前記検出器は、
    前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；
    前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）；
    前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；
    前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；
    前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び
    前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；
    を含むＲ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）基盤の自動車検出器であることを特徴とする請求項５に記載のテスティング方法。
  7. 前記テスティング装置は、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対するテスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用特徴ベクトルを用いてコンカチネート（ｃｏｎｃａｔｅｎａｔｅ）した値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とする請求項６に記載のテスティング方法。
  8. 前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする請求項５に記載のテスティング方法。
  9. 前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項５に記載のテスティング方法。
  10. 前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間のテスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とする請求項９に記載のテスティング方法。
  11. 前記テスティング装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする請求項５に記載のテスティング方法。
  12. 基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮの学習装置において、
    前記基準自動車の検出器から少なくとも一つの出力信号に対応されるトレーニングデータを受信する通信部；及び
    （Ｉ）手がかり情報抽出レイヤをもって前記トレーニングデータに含まれている観察対象自動車に対するクラス情報及び位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の手がかり情報を出力させるプロセス、（ＩＩ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットの中の一つに位置するか否かに対する判断結果を出力させるプロセス、及び（ＩＩＩ）ロスレイヤをもって前記判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習するプロセスを遂行するプロセッサ；を含むことを特徴とする学習装置。
  13. 前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記手がかり情報を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする請求項１２に記載の学習装置。
  14. 前記観察対象自動車に対する前記手がかり情報は、（ｉ）前記観察対象自動車に対する前記クラス情報、（ｉｉ）前記観察対象自動車に対する前記位置情報、（ｉｉｉ）ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）のサイズに対応する前記観察対象自動車のサイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項１２に記載の学習装置。
  15. 前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間の前記距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記距離情報に追加で相対的位置情報をさらに出力することを特徴とする請求項１４に記載の学習装置。
  16. 基準自動車の一つ以上のブラインドスポットモニタリングのためのＣＮＮのテスティング装置において、
    学習装置によって、（ｉ）手がかり情報抽出レイヤをもって前記基準自動車の検出器から少なくとも一つの出力に対応されるトレーニングデータに含まれている観察対象自動車に対する学習用クラス情報及び学習用位置情報を利用して所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上の学習用手がかり情報を出力させ、（ｉｉ）ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記学習用手がかり情報を利用して一つ以上の神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車のブラインドスポットに位置するか否かに対する学習用判断結果を出力させ、（ｉｉｉ）ロスレイヤをもって前記学習用判断結果とこれに対応される原本正解を参考に一つ以上のロス値を生成させることで、前記ロス値を利用したバックプロパゲーションによって前記ブラインドスポット確認用ＦＣレイヤの一つ以上のパラメータを学習した状態で、前記基準自動車で撮影されたテストイメージ内に位置する前記観察対象自動車を検出する前記検出器から前記観察対象自動車に対するテスト用クラス情報及びテスト用位置情報を受信する通信部；及び
    （Ｉ）前記手がかり情報抽出レイヤをもって前記観察対象自動車に対する前記テスト用クラス情報及び前記テスト用位置情報を利用して前記所定の演算を遂行させることにより、前記観察対象自動車に対する一つ以上のテスト用手がかり情報を出力させるプロセス及び（ＩＩ）前記ブラインドスポット確認用ＦＣレイヤをもって前記観察対象自動車に対する前記テスト用手がかり情報をまたはこれを加工した値を利用して前記神経網演算を遂行するようにすることで、前記観察対象自動車が、前記基準自動車の前記ブラインドスポットの中の一つに位置するか否かに対するテスト用判断結果を出力させるプロセスを遂行するプロセッサ；
    を含むことを特徴とするテスティング装置。
  17. 前記検出器は、
    前記テストイメージからテスト用特徴マップを生成する一つ以上のコンボリューションレイヤ；
    前記テスト用特徴マップから前記観察対象自動車に対するテスト用ＲＯＩを獲得するＲＰＮ；
    前記テスト用特徴マップ内で、前記テスト用ＲＯＩに対応される領域をプーリングし、テスト用特徴ベクトルを生成するプーリングレイヤ；
    前記テスト用特徴ベクトルに一つ以上のＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）演算を加え、一つ以上のＦＣ出力値を生成する少なくとも一つの自動車検出用ＦＣレイヤ；
    前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用クラス情報を出力する分類レイヤ；及び
    前記ＦＣ出力値を参照し、前記観察対象自動車に対する前記テスト用位置情報を出力するリグレッションレイヤ；
    を含むＲ−ＣＮＮ基盤の自動車検出器であることを特徴とする請求項１６に記載のテスティング装置。
  18. 前記プロセッサは、前記ＣＮＮをもって前記手がかり情報抽出レイヤによって生成される前記観察対象自動車に対する前記テスト用手がかり情報と前記検出器の前記プーリングレイヤによって生成された前記テスト用特徴ベクトルを用いてコンカチネートした値を前記ブラインドスポット確認用ＦＣレイヤの入力として受けることを特徴とする請求項１７に記載のテスティング装置。
  19. 前記ブラインドスポット確認用ＦＣレイヤは、前記観察対象自動車に対する前記テスト用手がかり情報またはこれを加工した値を入力とする多重パーセプトロンによって前記観察対象自動車が前記ブラインドスポットの中の一つに位置するか否かに対する結果値を出力する神経網を含むことを特徴とする請求項１６に記載のテスティング装置。
  20. 前記観察対象自動車に対する前記テスト用手がかり情報は、（ｉ）前記観察対象自動車に対する前記テスト用クラス情報、（ｉｉ）前記観察対象自動車に対する前記テスト用位置情報、（ｉｉｉ）ＲＯＩのサイズに対応する前記観察対象自動車のテスト用サイズ情報、（ｉｖ）前記観察対象自動車のアスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）情報、及び（ｖ）前記観察対象自動車の中心点と前記ブラインドスポットの外側の面との間の距離情報のうち、少なくとも一部を含むことを特徴とする請求項１６に記載のテスティング装置。
  21. 前記手がかり情報抽出レイヤは、（ｉ）左側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離及び（ｉｉ）右側ブラインドスポットの外側の境界から前記観察対象自動車の前記中心点の間の距離のうち、小さい値を前記観察対象自動車の前記中心点と前記ブラインドスポットの前記外側の面の間のテスト用距離情報と判断し、前記観察対象自動車の前記中心点が前記ブラインドスポットの前記外側の面の外側に位置するか、あるいは内側に位置するかを区分するために、前記テスト用距離情報に追加でテスト用相対的位置情報をさらに出力することを特徴とする請求項２０に記載のテスティング装置。
  22. 前記テスティング装置の前記基準自動車は、前記学習装置の前記基準自動車と同一でないことを特徴とする請求項１６に記載のテスティング装置。
JP2019182000A 2018-10-08 2019-10-02 ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 Active JP6869561B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/153,972 2018-10-08
US16/153,972 US10984262B2 (en) 2018-10-08 2018-10-08 Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same

Publications (2)

Publication Number Publication Date
JP2020061139A JP2020061139A (ja) 2020-04-16
JP6869561B2 true JP6869561B2 (ja) 2021-05-12

Family

ID=67874278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019182000A Active JP6869561B2 (ja) 2018-10-08 2019-10-02 ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置

Country Status (5)

Country Link
US (1) US10984262B2 (ja)
EP (1) EP3637309A1 (ja)
JP (1) JP6869561B2 (ja)
KR (1) KR102349906B1 (ja)
CN (1) CN111008552B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11462021B2 (en) * 2021-01-13 2022-10-04 GM Global Technology Operations LLC Obstacle detection and notification for motorcycles
CN113239912B (zh) * 2021-07-13 2021-09-17 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6413949B1 (en) * 1995-06-07 2002-07-02 D-Pharm, Ltd. Prodrugs with enhanced penetration into cells
ES2177469B1 (es) 2001-05-16 2003-12-16 Fico Mirrors Sa Dispositivo de deteccion de presencia de objetos en un angulo muerto de un vehiculo automovil.
US6859148B2 (en) 2002-10-30 2005-02-22 Ford Global Technologies, Llc Blind spot warning system for an automotive vehicle
TWI478832B (zh) * 2010-03-31 2015-04-01 Hon Hai Prec Ind Co Ltd 行車視覺盲區偵測系統及方法
JP5620147B2 (ja) * 2010-05-24 2014-11-05 株式会社豊田中央研究所 可動物予測装置及びプログラム
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
US9947226B2 (en) * 2016-04-12 2018-04-17 Denso International America, Inc. Methods and systems for blind spot monitoring with dynamic detection range
US10115025B2 (en) * 2016-06-13 2018-10-30 Ford Global Technologies, Llc Detecting visibility of a vehicle to driver of other vehicles
CN106251701B (zh) * 2016-09-14 2018-11-06 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
JP2018081357A (ja) * 2016-11-14 2018-05-24 トヨタ自動車株式会社 運転支援装置
US20190155291A1 (en) * 2016-12-23 2019-05-23 Faraday&Future Inc. Methods and systems for automated driving system simulation, validation, and implementation
EP3679552A1 (en) * 2017-09-06 2020-07-15 Swiss Reinsurance Company Ltd. Electronic logging and track identification system for mobile telematics devices, and corresponding method thereof
US9934440B1 (en) 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US9947228B1 (en) 2017-10-05 2018-04-17 StradVision, Inc. Method for monitoring blind spot of vehicle and blind spot monitor using the same
US10007865B1 (en) 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN110248861B (zh) * 2018-01-07 2023-05-30 辉达公司 在车辆操纵过程中使用机器学习模型来引导车辆

Also Published As

Publication number Publication date
JP2020061139A (ja) 2020-04-16
CN111008552B (zh) 2023-09-05
KR102349906B1 (ko) 2022-01-12
KR20200040187A (ko) 2020-04-17
CN111008552A (zh) 2020-04-14
US10984262B2 (en) 2021-04-20
US20200108773A1 (en) 2020-04-09
EP3637309A1 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
JP6814334B2 (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
JP6923960B2 (ja) 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
Khammari et al. Vehicle detection combining gradient analysis and AdaBoost classification
JP6872260B2 (ja) 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置
CN107368890A (zh) 一种以视觉为中心的基于深度学习的路况分析方法及系统
KR20190039648A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
JP6856854B2 (ja) 多数の車両によるセンサーフュージョン、ｖ２ｘ通信可能なアプリケーションを利用した協業走行のために周囲に位置するカメラそれぞれに対応するそれぞれの物体検出器によって検出される物体検出情報を統合する方法及び装置
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
JP6979228B2 (ja) Ｖ２ｖ通信によって取得された、他の自律走行車両の空間探知結果を自身の自律走行車両の空間探知結果と統合する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｉｎｔｅｇｒａｔｉｎｇ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ａｃｑｕｉｒｅｄ ｔｈｒｏｕｇｈ ｖ２ｖ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｆｒｏｍ ｏｔｈｅｒ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ ｗｉｔｈ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｇｅｎｅｒａｔｅｄ ｂｙ ｐｒｅｓｅｎｔ ａｕｔｏｎｏｍｏｕｓ ｖｅｈｉｃｌｅ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN103358993A (zh) 用于识别车辆停车位线标记的系统和方法
EP1606769A2 (en) System and method for vehicle detection and tracking
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
JP6869561B2 (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
KR102082254B1 (ko) 차량 인식 시스템
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝
CN106570451A (zh) 在镜像或反射表面内的自主车辆的自识别
CN112883790A (zh) 一种基于单目摄像头的3d物体检测方法
Fries et al. Real-time unsupervised feature model generation for a vehicle following system
Memon et al. Self-driving car using lidar sensing and image processing
Liu Development of a vision-based object detection and recognition system for intelligent vehicle
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
Bharamgoudar Detection of Free Space/Obstacles in Front of the Ego Car Using Stereo Camera in Urban Scenes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191002

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R150 Certificate of patent or registration of utility model

Ref document number: 6869561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250