JP6668435B2 - 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ｛ｍｅｔｈｏｄ ｆｏｒ ｍｏｎｏｔｏｒｉｎｇ ｂｌｉｎｄ ｓｐｏｔ ｏｆ ｖｅｈｉｃｌｅ ａｎｄ ｂｌｉｎｄ ｓｐｏｔ ｍｏｎｉｔｏｒ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ - Google Patents

自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ｛ｍｅｔｈｏｄ ｆｏｒ ｍｏｎｏｔｏｒｉｎｇ ｂｌｉｎｄ ｓｐｏｔ ｏｆ ｖｅｈｉｃｌｅ ａｎｄ ｂｌｉｎｄ ｓｐｏｔ ｍｏｎｉｔｏｒ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Download PDF

Info

Publication number
JP6668435B2
JP6668435B2 JP2018188344A JP2018188344A JP6668435B2 JP 6668435 B2 JP6668435 B2 JP 6668435B2 JP 2018188344 A JP2018188344 A JP 2018188344A JP 2018188344 A JP2018188344 A JP 2018188344A JP 6668435 B2 JP6668435 B2 JP 6668435B2
Authority
JP
Japan
Prior art keywords
blind spot
proposal
vehicle
boxes
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188344A
Other languages
English (en)
Other versions
JP2019067405A (ja
Inventor
キム、ヨンジョン
ナム、ウンユン
ボ、シュクフン
シュン、ミュンチュル
エオ、ドンフン
リュウ、ウージュ
ジャン、タエウォン
ジョン、キュンジョン
ジェ、ホンモ
チョ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2019067405A publication Critical patent/JP2019067405A/ja
Application granted granted Critical
Publication of JP6668435B2 publication Critical patent/JP6668435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/025—Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタに関し、より詳細には、基準自動車のブラインドスポットで基準自動車から所定距離別に位置する参照自動車に対応される基準自動車で撮影された後方映像イメージから参照自動車に対応する参照バウンディングボックスを生成し、生成された参照バウンディングボックスを基準自動車のブラインドスポットに位置するようになる観察対象自動車を検出するための候補領域としてのプロポーザルボックスに設定した後、前記基準自動車の運行中設定されたプロポーザルボックスに観察対象自動車が位置するか否かを判断することで自動車のブラインドスポットに観察対象自動車が位置するかを判断する自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタに関する。
一般的に、運転者が自動車を運行中、車線変更をする時、側面及び後方を観察して視野を確保することができるように自動車の両側にサイドミラーが設置されており、室内前面中央部にルームミラーが設置されている。
サイドミラーは自動車の両側面に設置されて側面及び後方視野を確保するように利用されているが、側面に近接して走行する自動車や物体は確認することができないブラインドスポットがある。
従って、走行中の自動車の側面に寄せて追従してくる他の自動車を運転者が確認することなく車線を変更する場合、ブラインドスポットで走行する他の自動車と接触事故が発生し得る問題点があった。
かかる問題点を防止するために、運転手らはブラインドスポットを観測することができるように表面が曲面で形成された凸面鏡をサイドミラーの片側部分に付着する場合もある。
しかし、サイドミラーに凸面鏡などを設置する場合にも、自動車の車線を変更するために運転者は肉眼でブラインドスポットを確認しなければならないので、運転者の運転疲労度を増加させるようになり、運転者の位置によって凸面鏡が付着されたサイドミラーでも確認されないブラインドスポットが存在する問題点が発生する。
これを防止するために、最近は自動車の後面に装着されたセンサを通じてブラインドスポットに接近したりブラインドスポットに位置する自動車などを感知して運転者に提供することで運転者がブラインドスポットにある自動車などを認知することができず、車線を変更するかブラインドスポットに近接する自動車によって事故の危険が感知される場合、未然に事故を防止するためのブラインドスポットモニタリングシステムが提案されている。
特に、ビジョンセンサを利用したブラインドスポットモニタリングシステムでは映像情報を基盤にいくつかの特性を検出し出すアルゴリズムを多く適用している。
一例として、客体のエッジ線分を検出し、分割された線の群を定義して１次的に自動車を構成され得る候補群を作り、対称性と影部分を利用して最終的に自動車に対する判定を下すアルゴリズム、映像ヒストグラムの対称性を利用して自動車の位置と外郭の大きさを定義するアルゴリズム、自動車のみが有する特性を抽出して群を定義し、定義された類型と類似する程度で自動車を判別するアルゴリズムなどが知られている。
かかる客体の特性や形状を抽出するアルゴリズムは外部環境、対象物体の外形、そしてシステム構成によって検出率は非常に制限され、複数回の映像処理を経て自動車を判断するので、演算されるデータの量が大きい問題点がある。従って、演算処理量が非常に多いため、リアルタイムで自動車を検出することに限界があった。
また、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）で低速度を誘発する主要イシューのうち一つはＲＰＮ（Ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）である。最終特徴マップから検出対象候補を抽出するために、ＲＰＮはスライディングウィンドウが各々すべての位置に動きながらスライディングウィンドウが前記検出対象候補を含むか否かを決定する。この時、ＦＣレイヤは前記検出対象候補が車両か否かを決定するが、各々の検出対象候補のうち多数は互いに重畳されるにもかかわらず、ＲＰＮは探知時間を向上させるのに役立たない重畳検出対象候補に対して計算を遂行して多くの実行時間を消費している。
また、他のビジョンセンサを利用した自動車の検出方法としては、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）技法があるが、映像ピクセルの動きをモーションベクタで表現する方法である。しかし、オプティカルフロー技法を利用した自動車認識アルゴリズムは背景の動きと映像ノイズに大きく影響を受け、演算処理量が非常に多いため、リアルタイムの自動車の検出が容易でない問題点がある。
本発明は上述した問題点をすべて解決することをその目的とする。
本発明はブラインドスポットに位置する自動車を容易に検出できるようにすることを他の目的とする。
本発明は自動車の走行環境に関係なくブラインドスポットに位置する自動車を検出できるようにすることをまた他の目的とする。
本発明はブラインドスポットに位置する自動車を検出するための演算されるデータの量が少ないアルゴリズムを提供することをまた他の目的とする。
本発明は背景の動きと映像ノイズの影響を受けずにブラインドスポットに位置する自動車をリアルタイムで検出できるようにすることをまた他の目的とする。
本発明はコンボリューションニューラルネットワーク（ＣＮＮ）アルゴリズムを利用してブラインドスポットに位置する自動車を正確に検出できるようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
本発明の一実施例によれば、自動車のブラインドスポットをモニタリングする方法において、（ａ）（ｉ）基準自動車のブラインドスポット（ｂｌｉｎｄ ｓｐｏｔ）で前記基準自動車から所定距離別に位置する参照自動車に対応される前記基準自動車で撮影されたサンプリング用後方映像イメージを獲得し、（ｉｉ）各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する参照バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を生成し、（ｉｉｉ）前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影されたテスト用後方映像イメージが獲得されると、ブラインドスポットモニタが、前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得する段階；（ｂ）前記ブラインドスポットモニタが、（ｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ ｌａｙｅｒに各々入力して（ｉｉｉ）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｖ）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得する段階；及び（ｃ）前記ブラインドスポットモニタは、（ｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、（ｉｉ）前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、（ｉｉｉ）前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｖ）前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断する段階；を含む自動車のブラインドスポットモニタリング方法が提供される。
前記一実施例によれば、（ｄ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記ブラインドスポットモニタは、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得する段階；をさらに含むことを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記（ｄ）段階で、前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記ブラインドスポットモニタは、前記テスト用後方映像イメージのｔ＋１フレームで、前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、（ｉｉ）ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームでｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、（ｅ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットモニタは、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援する段階；をさらに含むことを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、（ｉｉ）前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、（ｉｉ）前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、（ｉｉ）前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特別検出バウンディングボックスを前記各々の観察対象自動車を含むと判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、前記学習装置は、（ｉ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｉｉ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｉｉｉ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
また、本発明の一実施例によれば、自動車のブラインドスポットをモニタリングする装置において、基準自動車のブラインドスポット（ｂｌｉｎｄ ｓｐｏｔ）で前記基準自動車から所定距離別に位置する参照自動車に対応される前記基準自動車で撮影されたサンプリング用後方映像イメージを獲得し、各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する参照バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を生成し、前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影されたテスト用後方映像イメージを獲得する通信部；及び（ｉ）前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得するプロセス；（ｉｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ ｌａｙｅｒに各々入力して（ｉｉ−１）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉ−２）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得するプロセス；及び（ｉｉｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断するプロセスを遂行するプロセッサ；を含む自動車のブラインドスポットモニタが提供される。
前記一実施例によれば、（ｉｖ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得するプロセス；をさらに遂行することを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記テスト用後方映像イメージのｔ＋１フレームで前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームで前記ｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、（ｖ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援するプロセス；をさらに遂行することを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、前記（ｉｉｉ）プロセスで、前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、前記（ｉｉｉ）プロセスで、前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、前記（ｉｉｉ）プロセスで、前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、前記特別検出バウンディングボックスを互いに異なる前記観察対象自動車を含むと判断することを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、前記（ｉ）プロセスで、コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、前記（ｉ）プロセスで、前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタが提供される。
また、前記一実施例によれば、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、前記学習装置は、（ａ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｂ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｃ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする自動車のブラインドスポットモニタが提供される。
これ以外にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータで判読可能な記録媒体がさらに提供される。
本発明はコンボリューションニューラルネットワーク（ＣＮＮ）アルゴリズムを利用してブラインドスポットに位置する自動車を正確に検出できるようになる。
また、本発明は自動車の走行環境に関係なくブラインドスポットに位置する自動車を正確に検出できるようになる。
また、本発明はブラインドスポットに検出対象自動車に対する候補領域を設定することで少ないデータ量の演算でブラインドスポットに位置する自動車を検出できるようになる。
また、本発明は背景の動きと映像ノイズの影響を受けずにブラインドスポットに位置する自動車をリアルタイムで少ない演算を通じて検出できるようになる。
本発明の実施例の説明に利用されるために添付された下記図面は本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野で通常の知識を有する者（以下“通常の技術者”）においては発明的作業がなされることなく本図面に基づいて他の図面が得られることがある。
図１は本発明の一実施例によるブラインドスポットモニタリングシステムを概略的に示したブロックダイアグラムであり、
図２は本発明の一実施例によるブラインドスポットモニタリングシステムが含まれた自動車を概略的に示したものであり、
図３は本発明の一実施例によってブラインドスポットモニタリングを遂行するｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋのブロックダイアグラムを概略的に示したものであり、
図４は本発明の一実施例によってサンプル用後方映像イメージを用いてブラインドスポットモニタリングのためのプロポーザルボックスを設定する状態を概略的に示したものであり、
図５は本発明の一実施例によってブラインドスポットモニタリングを遂行する状態を概略的に示したものであり、
図６は本発明の一実施例によってブラインドスポットモニタリングのための動的プロポーザルボックスを追加する状態を概略的に示したものである。
後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長点を明らかにさせるために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び請求項にかけて、‘含む’という単語及びその変形は他の技術的特徴、付加物、構成要素または段階を除くものとして意図されたものではない。通常の技術者に本発明の他の目的、長点及び特性が一部は本説明書から、そして一部は本発明の実施から明らかになる。下記の例示及び図面は実例として提供され、本発明を限定するものとして意図されたものではない。
さらに、本発明は本明細書に表示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は相互に異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号は様々な側面にかけて同一か類似する機能を指称する。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
まず、図１は本発明の一実施例によるブラインドスポットモニタリングシステムを概略的に示したブロックダイアグラムであり、図１を参照すれば、ブラインドスポットモニタリングシステムはブラインドスポットモニタ１００と基準自動車２００が含まれ得る。
まず、ブラインドスポットモニタ１００は自動車のブラインドスポットに位置するか近接する他の自動車を検出するものであり、ビジョンセンサ１０、一例として、カメラなどから獲得される基準自動車で撮影された後方映像イメージを分析して基準自動車のブラインドスポットに観察対象自動車が位置するか否かを判別し得る。
そして、基準自動車２００はブラインドスポットモニタ１００から伝送される情報とステアリングシステムの情報を参照して観察対象自動車が位置するブラインドスポット方向に自動車が車線を変更することを防止するか、アラームシステムを通じて運転者がブラインドスポットに観察対象自動車が位置することを認知するようにし得る。特に、基準自動車２００が自律走行自動車の場合、ブラインドスポットモニタ１００から受信されるブラインドスポットに位置する観察対象自動車の情報と走行環境を参照して自律走行中に車線の変更可否を判断し得るようになる。
また、ブラインドスポットモニタ１００は基準自動車の運行中、カメラなどのビジョンセンサ１０によって撮影された基準自動車における後方映像イメージを獲得する通信部１１０と、獲得された後方映像イメージを分析して基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断するプロセッサ１２０が含まれ得る。この時、ビジョンセンサ１０は、図２から分かるように、基準自動車２００の任意の位置に設置されて基準自動車２００の後方映像を撮影するものであり、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、またはイメージキャプチャ素子などの光学センサが含まれ得る。
そして、プロセッサ１２０は（ｉ）獲得されたテスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得し、（ｉｉ）テスト用特徴マップ上のｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して（ｉｉｉ）ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得する。ここで、ｍは既設定された値であり得る。そして、プロセッサ１２０は（ｉ）ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタを少なくとも一つのＦＣ ｌａｙｅｒに各々入力して（ｉｉ）クラシフィケーションのための演算を通じてｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉｉ）ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用リグレッション情報を獲得する。以後、（ｉ）クラス別のテスト用クラシフィケーションスコアを参照して、ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、（ｉｉ）ｊ個のプロポーザルボックス各々に対応するテスト用リグレッション情報を利用してｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、（ｉｉｉ）検出バウンディングボックス各々がｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｖ）ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに観察対象自動車が位置するか否かを判断することで基準自動車のブラインドスポットに観察対象自動車が位置するか否かを判断する。
このように構成された本発明の一実施例によるブラインドスポットモニタリングシステムで自動車のブラインドスポットに観察対象自動車が位置するか否かをモニタリングする方法を図３ないし図６を参照してより詳細に説明すれば次のとおりである。
まず、運転者などを含む使用者はブラインドスポットに位置するようになる観察対象自動車を検出するための候補領域としてのｍ個のプロポーザルボックスを設定する（Ｓ１）。ここで、候補領域は少なくとも一つの観察対象自動車を検出し得る確率を有する既設定された値以上であり得る。
一例として、使用者は図４のように、基準自動車のブラインドスポット（ｂｌｉｎｄ ｓｐｏｔ）（ＢＳ）で基準自動車から所定距離別に後方に位置する参照自動車に対応される後方映像イメージ、即ち、基準自動車で撮影されたサンプリング用後方映像イメージを獲得する。即ち、基準自動車の左右車線で所定距離別に参照自動車を移動させながら基準自動車に設置されたビジョンセンサを利用して基準自動車のサンプリング用後方映像イメージを撮影する。この時、所定距離は図４で１メートルに設定したが、これに限定されずブラインドスポット（ＢＳ）に位置するようになる観察対象自動車を検出するための任意の単位距離に設定し得て、単位距離別に参照自動車を移動させるが各々移動された参照自動車がブラインドスポット（ＢＳ）で観察対象自動車が位置するようになるすべての候補群を含むように単位距離及び移動回数を調整し得る。
そして、所定距離別に参照自動車を移動させて撮影されたサンプリング用後方映像イメージで各々の参照自動車に対応する参照バウンディングボックス（Ｐ１、Ｐ２、Ｐ３）を生成し、生成された参照バウンディングボックス（Ｐ１、Ｐ２、Ｐ３）を基準自動車のブラインドスポット（ＢＳ）に位置するようになる観察対象自動車を検出するための候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）（Ｐ１、Ｐ２、Ｐ３）に設定する。図３ないし図６では説明の便宜のためにｍ個のプロポーザルボックスを３個のプロポーザルボックスとして示した。
この時、基準自動車でブラインドスポット（ＢＳ）は各々基準自動車の左右車線領域に形成されるので、一側方向で設定したｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を対応される他側方向のブラインドスポットに対称的に設定することで基準自動車両側のブラインドスポットに位置するようになる観察対象自動車の候補領域であるプロポーザルボックスを設定し得るようになる。
次に、図４と同じ方法によってブラインドスポット（ＢＳ）に位置するようになる観察対象自動車に対する候補領域としてのｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を設定した状態で、図５のように基準自動車の走行中、基準自動車で撮影された後方映像イメージが通信部１１０を通じて獲得されると、ブラインドスポットモニタ１００が後方映像イメージからテスト用特徴マップを獲得する（Ｓ２）。
一例として、基準自動車の運行中、基準自動車に設置されたビジョンセンサ１０が基準自動車の後方映像イメージを撮影して伝送すれば、ブラインドスポットモニタ１００の通信部１１０がビジョンセンサ１０から伝送される基準自動車の後方映像イメージを獲得するようになり、ブラインドスポットモニタ１００のプロセッサ１２０は通信部１００を通じて獲得された後方映像イメージをコンボリューションレイヤに入力して後方映像イメージをコンボリューションすることでテスト用特徴マップを獲得する。
この時、ブラインドスポットモニタ１００のプロセッサ１２０は後方映像イメージをコンボリューションする場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させて後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションし得る。即ち、プロセッサ１２０は後方映像イメージをコンボリューションして後方映像イメージの大きさを縮小し、コンボリューションを多重で遂行して既設定された大きさのテスト用特徴マップを獲得し得る。これとは異なり、ブラインドスポットモニタ１００のプロセッサ１２０はパッドを特定値に設定した状態でコンボリューションを遂行して（ｉ）後方映像イメージと同じ大きさの特徴マップを獲得し、（ｉｉ）獲得された特徴マップをプーリングして特徴マップをダウンサイジングし、（ｉｉｉ）コンボリューションとプーリングを反復して後方映像イメージから既設定された大きさのテスト用特徴マップを生成することもある。
また、ブラインドスポットモニタ１００のプロセッサ１２０はコンボリューションレイヤを利用したコンボリューションを遂行するにおいて、ビジョンセンサ１０から獲得された後方映像イメージ全体に対してコンボリューションを遂行するか、ビジョンセンサ１０から獲得された後方映像イメージのうちブラインドスポット（ＢＳ）に設定された領域に対応されるイメージのみをコンボリューションしてテスト用特徴マップを獲得し得る。
次に、ブラインドスポットモニタ１００のプロセッサ１２０はテスト用特徴マップのｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）に対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して（Ｓ３）ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し得る。
一例として、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）テスト用特徴マップのうちｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）に対応する各々の領域に該当する特徴マップをＲＯＩプーリングレイヤに入力し、（ｉｉ）テスト用特徴マップのｍ個のプロポーザルボックス（Ｐ１、Ｐ２、…、Ｐｍ）に対応する領域各々に対してマックスプーリングするかアベレージプーリングし、（ｉｉｉ）ｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するテスト用特徴ベクタを獲得し得る。
次に、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）ｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するテスト用特徴ベクタを少なくとも一つのＦＣ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ）ｌａｙｅｒに各々入力し（Ｓ４）、（ｉｉ）第１ＦＣ ｌａｙｅｒにおけるクラシフィケーションのための演算を通じてｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉｉ）第２ＦＣ ｌａｙｅｒにおけるリグレッションのための演算を通じてｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するクラス別のテスト用リグレッション情報を獲得し得る。この時、クラスは検出されるオブジェクトが何かを判別するためのものであるか、検出されるオブジェクトが自動車なのか否かを判別するためのものであり得る。
次に、ブラインドスポットモニタ１００のプロセッサ１２０は第１ＦＣ ｌａｙｅｒから獲得されたクラス別のテスト用クラシフィケーションスコアを参照してｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）のうち観察対象自動車が位置すると判断されたｊ個のプロポーザルボックスを決定する（Ｓ５）。
次に、ブラインドスポットモニタ１００のプロセッサ１２０は観察対象自動車が位置すると判断されたｊ個のプロポーザルボックス各々に対応するテスト用リグレッション情報を利用してｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得する（Ｓ６）。
一例として、ブラインドスポットモニタ１００のプロセッサ１２０はｊ個のプロポーザルボックスのうち一つに対応するリグレッション情報の一部からクラス別にリグレッション情報（前記クラス別にリグレッション情報は自動車クラスに対応される）を選択し、クラス別にリグレッション情報を用いて前記特定プロポーザルボックスをリグレッションすることで、観察対象自動車を囲むバウンディングボックスを獲得し得る。
次に、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）検出バウンディングボックス各々がｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｉ）ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに観察対象自動車が位置するか否かを判断し、（ｉｉｉ）基準自動車のブラインドスポット（ＢＳ）に観察対象自動車が位置するか否かを判断し得る。
一方、ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定バウンディングボックスが検出されると判断される場合、ブラインドスポットモニタ１００のプロセッサ１２０は特定バウンディングボックスを候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックス（図５のＤＰＢ）に設定して更新されたグループを獲得する。ここで、第１臨界値及び第２臨界値は互いに同じか異なり得る。当該イメージの次フレーム上でｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）以外に追加された動的プロポーザルボックスを使用し、ブラインドスポットモニタ１００は特定観察対象自動車を追跡し得る。
例えば、図６を参照して説明すれば、特定検出バウンディングボックス（即ち、ＤＰＢ）が後方映像イメージのｔフレームから獲得される場合、ブラインドスポットモニタ１００のプロセッサ１２０はｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）と動的プロポーザルボックスを後方映像イメージのｔ＋１フレーム上で更新されたグループに含まれたものに設定し得る。
また、（ｉ）動的プロポーザルボックスとｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を観察対象自動車を検出するための候補領域として設定し、（ｉｉ）ｔ＋１フレームからｔ＋（ｋ−１）フレームまで動的プロポーザルボックスに観察対象自動車が位置するか否かを判断し、（ｉｉｉ）ｔ＋ｋフレームで動的プロポーザルボックスに観察対象自動車が位置しないと判断された状態で、ブラインドスポットモニタ１００のプロセッサ１２０は、ｔ＋ｋ＋１フレームでｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を用いて観察対象自動車が位置するか否かを判断し得る。
ここで、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）検出バウンディングボックス各々及びこれに対応されるｊ個のプロポーザルボックスが互いに重なる領域を含む第１重複領域を計算し、（ｉｉ）第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当される所定のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断し得る。ここで、バウンディングボックスはｊ個のプロポーザルボックスに対する全単射対応（ｂｉｊｅｃｔｉｖｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を有する。例えば、特殊プロポーザルボックスのうち対応される特定バウンディングボックスが獲得されると、ブラインドスポットモニタ１００のプロセッサ１２０は特殊プロポーザルボックスと特定バウンディングボックスとの間の第１重畳の比率を計算するが、ここで重畳の比率は（ｉ）特殊プロポーザルボックスと特定バウンディングボックスが重なる領域を（ｉｉ）特殊プロポーザルボックスと特定バウンディングボックスの合わせた領域で割るものであり、もし第１重畳の比率が第３臨界値以上であれば特殊プロポーザルボックスは観察対象自動車を含むと判断し得る。
また、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）ｊ個のプロポーザルボックス各々に対応される検出バウンディングボックスが互いに重畳される第２重複領域を計算し、（ｉｉ）第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定検出バウンディングボックスを一つの同一の観察対象自動車を含むと判断し、（ｉｉｉ）特殊検出バウンディングボックスのうち対応されるプロポーザルボックスと面積が最も多く重なる重複領域を前記観察対象自動車を含むと判断し得る。ここで、バウンディングボックスはｊ個のプロポーザルボックスに対する全単射対応（ｂｉｊｅｃｔｉｖｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を有する。
また、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）第２重複領域を計算し、（ｉｉ）第２重複領域のうち特別な第２重複領域と対応される特別なバウンディングボックス（即ち、第５臨界値未満であると判断される第２重複領域該当するバウンディングボックス）を互いに異なる観察対象自動車を含むと判断し得る。
一例として、第１プロポーザルボックスに対応する第１検出バウンディングボックスが獲得され、第２プロポーザルボックスに対応する第２検出バウンディングボックスが獲得される場合、プロセッサ１２０は、第１検出バウンディングボックスの面積と第２検出バウンディングボックスの面積が重畳される第２重畳の比率、即ち、（ｉ）第１検出バウンディングボックスと第２検出バウンディングボックスの交差集合の面積を（ｉｉ）第１検出バウンディングボックスと第２検出バウンディングボックスの和集合の面積で割った比率を計算し、計算された第２重畳の比率が第４臨界値以上であれば、プロセッサ１２０は、第１検出バウンディングボックスと第２検出バウンディングボックスを同一の観察対象自動車を示すと判断し、計算された第２重畳の比率が第５臨界値未満であれば、プロセッサ１２０は、第１検出バウンディングボックスと第２検出バウンディングボックスを各々異なる観察対象自動車を含むと判断する。ここで、第４臨界値及び第５臨界値は互いに同じか異なり得る。そして、第１検出バウンディングボックスと第２検出バウンディングボックスが一つの同一の観察対象自動車を含むと判断される場合、プロセッサ１２０は、第１検出バウンディングボックスと第１プロポーザルボックスが重畳される第３比率と、第２検出バウンディングボックスと第２プロポーザルボックスが重畳される第４比率を比較し、第３比率が大きい場合、第１検出バウンディングボックスが観察対象自動車を含むと判断する。
次に、ブラインドスポットモニタ１００のプロセッサ１２０は基準自動車のブラインドスポットに観察対象自動車が位置したと判断される場合、ブラインドスポットに観察対象自動車が位置した情報を基準自動車２００のコントロールユニットに伝送することで基準自動車２００のコントロールユニットをもって観察対象自動車が位置するブラインドスポット方向に自動車が車線を変更することを防止するように支援し得る。
この時、基準自動車２００のコントロールユニットは自動車のステアリングシステムの情報を参照して運転者が車線を変更しようとする場合、変更しようとする車線のブラインドスポットに観察対象自動車が位置する場合、アラームシステムを通じて運転者がブラインドスポットに観察対象自動車があることを認知し得るようにして車線変更による危険状況を未然に防止できるようにし得る。また、基準自動車２００が自律走行自動車の場合、自律走行自動車がブラインドスポットに観察自動車が位置するか否かに対する情報と走行環境を参照して安全に車線を変更し得るようにする。
前記でブラインドスポットに観察対象自動車が位置するかを確認する動作を片側ブラインドスポットについてのみ説明したが、自動車の両側車線に形成されるブラインドスポット各々に対して順次に前記のような方法を遂行してブラインドスポットに観察対象自動車が位置するかを確認し得る。
そして、前記の方法によってブラインドスポットに観察対象自動車が位置するかをモニタリングする方法において、ブラインドスポットモニタは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用してコンボリューション、クラシフィケーション、及びボックスリグレッションを遂行することができるＣＮＮが含まれ得る。
この時、学習装置はブラインドスポットモニタと同一の装置が挙げられるが、これに限定されず、学習装置及びブラインドスポットモニタはその機能を遂行するために別途のいくつかの装置に分けられ得るが、本明細書では便宜上単一装置として具現される学習装置を説明する。本発明による学習装置はコンボリューショナルレイヤ、領域プロポーザルネットワーク、ＦＣレイヤなど少なくとも一部が含まれ得る。また、類似する条件がブラインドスポットモニタに適用され得る。
そして、学習装置またはブラインドスポットモニタが学習する方法を概略的に説明すれば次のとおりである。
まず、トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）に入力してトレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得する。そして、プロポーザルボックスに対応されるトレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行してプロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得する。以後、プロポーザルボックス各々に対応するトレーニング用特徴ベクタをＦＣ ｌａｙｅｒに各々入力してクラシフィケーションのための演算を通じてプロポーザルボックス各々に対応するクラス別のトレーニング用クラシフィケーションスコアを獲得し、ボックスリグレッションのための演算を通じてプロポーザルボックス各々に対応するクラス別のトレーニング用リグレッション情報を獲得する。そして、クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルー（ｇｒｏｕｎｄ ｔｒｕｅ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルーを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、獲得されたクラシフィケーションロス値とリグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）してコンボリューションパラメータ、クラシフィケーションパラメータ、及びボックスリグレッションパラメータを学習する。
また、以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動されるように構成されることがあり、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
１０：ビジョンセンサ、
１００：ブラインドスポットモニタ、
１１０：通信部、
１２０：プロセッサ、
２００：自動車
ＢＳ：ブラインドスポット
Ｐ１、Ｐ２、Ｐ３：プロポーザルボックス、
ＤＰＢ：動的プロポーザルボックス

Claims (22)

  1. 自動車のブラインドスポットをモニタリングする方法において、
    （ａ）（ｉ）基準自動車のブラインドスポット（ｂｌｉｎｄ ｓｐｏｔ）で前記基準自動車から所定距離別に位置する少なくとも一つの参照自動車に対応される前記基準自動車で撮影された複数のサンプリング用後方映像イメージを獲得し、（ｉｉ）各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する複数の参照バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を生成し、（ｉｉｉ）前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる少なくとも一つの観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影されたテスト用後方映像イメージが獲得されると、ブラインドスポットモニタが、前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得する段階；
    （ｂ）前記ブラインドスポットモニタが、（ｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、（ｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ ｌａｙｅｒに各々入力して（ｉｉｉ）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｖ）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得する段階；及び
    （ｃ）前記ブラインドスポットモニタは、（ｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、（ｉｉ）前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、（ｉｉｉ）前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｖ）前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断する段階；
    を含むことを特徴とする方法。
  2. （ｄ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記ブラインドスポットモニタは、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得する段階；
    をさらに含むことを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  3. 前記（ｄ）段階で、前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記ブラインドスポットモニタは、前記テスト用後方映像イメージのｔ＋１フレームで、前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する請求項２に記載の自動車のブラインドスポットモニタリング方法。
  4. 前記ブラインドスポットモニタは、
    （ｉ）前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、（ｉｉ）ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームでｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする請求項３に記載の自動車のブラインドスポットモニタリング方法。
  5. （ｅ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットモニタは、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援する段階；
    をさらに含むことを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  6. 前記（ｃ）段階で、
    前記ブラインドスポットモニタは、
    （ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、（ｉｉ）前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  7. 前記（ｃ）段階で、
    前記ブラインドスポットモニタは、
    （ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、（ｉｉ）前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  8. 前記（ｃ）段階で、
    前記ブラインドスポットモニタは、
    （ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、（ｉｉ）前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特別検出バウンディングボックスを前記各々の観察対象自動車を含むと判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  9. 前記（ａ）段階で、
    前記ブラインドスポットモニタは、
    コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  10. 前記（ａ）段階で、
    前記ブラインドスポットモニタは、
    前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  11. 前記ブラインドスポットモニタは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、
    前記学習装置は、
    （ｉ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｉｉ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｉｉｉ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
  12. 自動車のブラインドスポットをモニタリングする装置において、
    基準自動車のブラインドスポット（ｂｌｉｎｄ ｓｐｏｔ）で前記基準自動車から所定距離別に位置する少なくとも一つの参照自動車に対応される前記基準自動車で撮影された複数のサンプリング用後方映像イメージを獲得し、各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する複数の参照バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を生成し、前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる少なくとも一つの観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影された複数のテスト用後方映像イメージを獲得する通信部；及び
    （ｉ）前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得するプロセス；（ｉｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）を獲得し、前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ ｌａｙｅｒに各々入力して（ｉｉ−１）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉ−２）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得するプロセス；及び（ｉｉｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断するプロセスを遂行するプロセッサ
    を含む自動車のブラインドスポットモニタ。
  13. 前記プロセッサは、
    （ｉｖ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得するプロセス；
    をさらに遂行することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
  14. 前記プロセッサは、
    前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記テスト用後方映像イメージのｔ＋１フレームで前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する請求項１３に記載の自動車のブラインドスポットモニタ。
  15. 前記プロセッサは、
    前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームで前記ｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする請求項１４に記載の自動車のブラインドスポットモニタ。
  16. 前記プロセッサは、
    （ｖ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援するプロセス；
    をさらに遂行することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
  17. 前記プロセッサは、
    前記（ｉｉｉ）プロセスで、
    前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
  18. 前記プロセッサは、
    前記（ｉｉｉ）プロセスで、
    前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
  19. 前記プロセッサは、
    前記（ｉｉｉ）プロセスで、
    前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、前記特別検出バウンディングボックスを互いに異なる前記観察対象自動車を含むと判断することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
  20. 前記プロセッサは、
    前記（ｉ）プロセスで、
    コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
  21. 前記プロセッサは、
    前記（ｉ）プロセスで、
    前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
  22. 前記プロセッサは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、
    前記学習装置は、
    （ａ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｂ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｃ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
JP2018188344A 2017-10-04 2018-10-03 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ｛ｍｅｔｈｏｄ ｆｏｒ ｍｏｎｏｔｏｒｉｎｇ ｂｌｉｎｄ ｓｐｏｔ ｏｆ ｖｅｈｉｃｌｅ ａｎｄ ｂｌｉｎｄ ｓｐｏｔ ｍｏｎｉｔｏｒ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ Active JP6668435B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/724,544 US9934440B1 (en) 2017-10-04 2017-10-04 Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US15/724,544 2017-10-04

Publications (2)

Publication Number Publication Date
JP2019067405A JP2019067405A (ja) 2019-04-25
JP6668435B2 true JP6668435B2 (ja) 2020-03-18

Family

ID=61711642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188344A Active JP6668435B2 (ja) 2017-10-04 2018-10-03 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ｛ｍｅｔｈｏｄ ｆｏｒ ｍｏｎｏｔｏｒｉｎｇ ｂｌｉｎｄ ｓｐｏｔ ｏｆ ｖｅｈｉｃｌｅ ａｎｄ ｂｌｉｎｄ ｓｐｏｔ ｍｏｎｉｔｏｒ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝

Country Status (5)

Country Link
US (1) US9934440B1 (ja)
EP (1) EP3466764B1 (ja)
JP (1) JP6668435B2 (ja)
KR (1) KR102098131B1 (ja)
CN (1) CN109606263B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116968731A (zh) * 2018-03-20 2023-10-31 御眼视觉技术有限公司 用于导航主车辆和制动主车辆的系统
CN108764292B (zh) * 2018-04-27 2022-03-18 北京大学 基于弱监督信息的深度学习图像目标映射及定位方法
US11099579B2 (en) * 2018-05-31 2021-08-24 Nissan North America, Inc. System for determining the number of remote vehicles following a host vehicle
CN109166094B (zh) * 2018-07-11 2022-03-25 华南理工大学 一种基于深度学习的绝缘子故障定位识别方法
EP3842304A3 (en) 2018-08-14 2021-09-15 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
CN112534473A (zh) * 2018-08-22 2021-03-19 日立汽车系统株式会社 图像处理装置以及图像处理方法
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10984262B2 (en) * 2018-10-08 2021-04-20 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
JP6928917B2 (ja) * 2018-11-06 2021-09-01 パナソニックＩｐマネジメント株式会社 移動体管理システム、移動体、管理装置、制御方法、及びプログラム
US11010907B1 (en) 2018-11-27 2021-05-18 Zoox, Inc. Bounding box selection
US10936902B1 (en) * 2018-11-27 2021-03-02 Zoox, Inc. Training bounding box selection
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
US11087175B2 (en) * 2019-01-30 2021-08-10 StradVision, Inc. Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them
US10796206B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
US10698222B1 (en) * 2019-01-31 2020-06-30 StradVision, Inc. Method for monitoring blind spot of cycle using smart helmet for cycle rider and blind spot monitoring device using them
JP7085504B2 (ja) * 2019-02-27 2022-06-16 本田技研工業株式会社 車両制御システム
DE102019115092A1 (de) * 2019-06-05 2020-12-10 Bayerische Motoren Werke Aktiengesellschaft Bestimmen einer Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug
CN111340092B (zh) * 2020-02-21 2023-09-22 浙江大华技术股份有限公司 一种目标关联处理方法及装置
US11537819B1 (en) * 2020-04-30 2022-12-27 Zoox, Inc. Learned state covariances
US10970598B1 (en) * 2020-05-13 2021-04-06 StradVision, Inc. Learning method and learning device for training an object detection network by using attention maps and testing method and testing device using the same
CN112633258B (zh) * 2021-03-05 2021-05-25 天津所托瑞安汽车科技有限公司 一种目标确定方法及装置、电子设备、计算机可读存储介质
US11113574B1 (en) * 2021-03-26 2021-09-07 StradVision, Inc. Methods for performing self-supervised learning of deep-learning based detection network by using deep Q-network and devices using the same

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050146607A1 (en) * 2004-01-06 2005-07-07 Romeo Linn Object Approaching Detection Anti Blind e-Mirrors System
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
TWI478832B (zh) * 2010-03-31 2015-04-01 Hon Hai Prec Ind Co Ltd 行車視覺盲區偵測系統及方法
US9418556B2 (en) * 2010-12-30 2016-08-16 Wise Automotive Corporation Apparatus and method for displaying a blind spot
US9586525B2 (en) * 2011-11-28 2017-03-07 Robert Bosch Gmbh Camera-assisted blind spot detection
US9002060B2 (en) * 2012-06-28 2015-04-07 International Business Machines Corporation Object retrieval in video data using complementary detectors
US9242602B2 (en) * 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
KR101611167B1 (ko) * 2013-07-22 2016-04-11 진종욱 운전시야 지원장치
KR20150018037A (ko) * 2013-08-08 2015-02-23 주식회사 케이티 관제 시스템 및 이를 이용한 관제 방법
KR102045088B1 (ko) * 2013-08-13 2019-11-14 현대모비스 주식회사 영상 표시 방법 및 이를 위한 위한 장치
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
CN105564316A (zh) * 2016-01-06 2016-05-11 北京京东尚科信息技术有限公司 车辆盲区监控系统及控制方法
KR20170086899A (ko) * 2016-01-19 2017-07-27 연세대학교 산학협력단 다중 카메라를 이용한 이륜차 검출 방법 및 그 장치
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US9947226B2 (en) * 2016-04-12 2018-04-17 Denso International America, Inc. Methods and systems for blind spot monitoring with dynamic detection range

Also Published As

Publication number Publication date
KR20190039457A (ko) 2019-04-12
EP3466764B1 (en) 2021-09-22
US9934440B1 (en) 2018-04-03
CN109606263A (zh) 2019-04-12
JP2019067405A (ja) 2019-04-25
KR102098131B1 (ko) 2020-04-07
EP3466764A1 (en) 2019-04-10
CN109606263B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
JP6668435B2 (ja) 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ｛ｍｅｔｈｏｄ ｆｏｒ ｍｏｎｏｔｏｒｉｎｇ ｂｌｉｎｄ ｓｐｏｔ ｏｆ ｖｅｈｉｃｌｅ ａｎｄ ｂｌｉｎｄ ｓｐｏｔ ｍｏｎｉｔｏｒ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US10300851B1 (en) Method for warning vehicle of risk of lane change and alarm device using the same
US9626599B2 (en) Reconfigurable clear path detection system
WO2015189847A1 (en) Top-down refinement in lane marking navigation
US10474930B1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
KR20210148109A (ko) 에고 부분 제외를 포함하는 충돌 검출 훈련 세트를 생성하기 위한 방법
US10867192B1 (en) Real-time robust surround view parking space detection and tracking
JP2022172444A (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
JP7233572B2 (ja) エクスプレイナブルセルフフォーカスされたアテンションを利用して行動予測を遂行する方法及び装置
JP2023513385A (ja) 画像分類器を評価するための方法及び装置
JP6869561B2 (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
JPH0778234A (ja) 走行路検出装置
Maaz et al. Iot programming to develop self driving robotics car using opencv and other emerging technologies
CN115995142A (zh) 基于可穿戴装置的驾驶训练提醒方法及可穿戴装置
EP4052215A1 (en) Method for detecting a moving state of a vehicle
US11417115B2 (en) Obstacle recognition device
US20230351771A1 (en) Method for ascertaining a dynamic foreign object-driving corridor association
Choi et al. In and out vision-based driver-interactive assistance system
CN115485721A (zh) 图像处理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200226

R150 Certificate of patent or registration of utility model

Ref document number: 6668435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250