JP6872260B2 - 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置 - Google Patents

自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置 Download PDF

Info

Publication number
JP6872260B2
JP6872260B2 JP2019183127A JP2019183127A JP6872260B2 JP 6872260 B2 JP6872260 B2 JP 6872260B2 JP 2019183127 A JP2019183127 A JP 2019183127A JP 2019183127 A JP2019183127 A JP 2019183127A JP 6872260 B2 JP6872260 B2 JP 6872260B2
Authority
JP
Japan
Prior art keywords
blind spot
sub
free space
space ratio
alarm device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019183127A
Other languages
English (en)
Other versions
JP2020077393A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
寅洙 金
寅洙 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020077393A publication Critical patent/JP2020077393A/ja
Application granted granted Critical
Publication of JP6872260B2 publication Critical patent/JP6872260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18166—Overtaking, changing lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置に関し；より詳細には、前記自動車の前記車線変更に対する危険を警報する方法において、（ａ）運行中の自動車で撮影された少なくとも一つの後方イメージが獲得されると、学習されたＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて前記後方イメージをセグメンテーションすることにより前記後方イメージに対応されるセグメンテーションイメージを獲得する段階；（ｂ）前記警報装置が、前記セグメンテーションイメージを参照して、少なくとも一つのブラインドスポット（ｂｌｉｎｄ ｓｐｏｔ）において少なくとも一つのフリースペース比率（ｆｒｅｅ ｓｐａｃｅ ｒａｔｉｏ）を確認するものの、前記フリースペース比率は、前記ブラインドスポットにおいて物体が位置しない道路領域の前記ブラインドスポットの全領域に対する比率で決定されることを特徴とする段階；及び（ｃ）前記フリースペース比率が少なくとも一つの所定の閾値以下である場合、前記警報装置が、前記自動車の運転者に車線変更に対する前記危険を警報する段階；を含むことを特徴とする方法及びこれを利用した装置に関する。
一般的に運転者が自動車運行中に車線変更をする際、側面及び後方を観察して視野を確保できるように自動車の両側にサイドミラーが設置されており、室内前面中央部にルームミラーが設置されている。
サイドミラーは、自動車の両面に設置され側面及び後方の視野を確保するよう利用されているが、側面に近接して走行する自動車や他の或る物体は確認できないブラインドスポットがある。
従って、走行中の自動車の側面に接近して走っている他の自動車を運転者が確認できず車線変更をした場合、ブラインドスポットで走行している他の自動車との接触事故が発生しかねない問題点があった。
このような問題点を防止するため、運転者がブラインドスポットを観測できるように曲面鏡をサイドミラーの片方に取り付ける場合もある。
しかし、サイドミラーに曲面鏡などを設置した場合でも、自動車の車線を変更するために、運転者は肉眼でブラインドスポットを確認しなければならないため、運転者の運転疲労度は増加し、運転者が頭の位置を変えても曲面鏡で確認できないブラインドスポットが存在するという問題点が発生する。
これを防止するために、最近では自動車の後面に取り付けられたセンサーによってブラインドスポットに接近したり、ブラインドスポットに位置する自動車などを感知した情報を運転者に提供することで、運転者がブラインドスポットにある自動車を認知できず車線を変更する場合、未然に事故を防止するためのブラインドスポットモニターシステムが提案されている。
特に、ビジョンセンサーを用いたブラインドスポットモニターシステムでは、映像情報を基にいくつかの特性を検出するアルゴリズムを一般的に適用している。
このようなアルゴリズムは外部環境，物体の外形，そしてシステム構成による制限的な検出率を示しており，正確に検出するには幾度の映像処理作業を経なければならないため演算量が非常に大きい。そのため、リアルタイム検出は限られた処理資源により内蔵型システムでは適用が難しくなることがある。
これに加えて、ビジョンセンサーを利用した自動車の検出方法では、ＣＮＮでＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）が遅い速度の原因であることが主要争点の一つだ。特徴マップから少なくとも一つの候補を抽出するために、ＲＰＮは、スライディングウィンドウがすべての位置ごとに少なくとも一つの候補を含んでいるかを判断する。ＦＣレイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）は、少なくとも一つの候補が自動車かどうかを判断するが、候補の多くは互いに重なって演算を遂行するために多くの時間を消費し、これは検出率の向上にほとんど役に立っていない。
また、他のビジョンセンサーを用いた自動車の検出例として、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）技法があるが、映像ピクセルの動きをモーションベクトルとして表現する方法である。しかし、オプティカルフロー技法を用いた自動車認識アルゴリズムは、演算処理量が非常に多いため、自動車のリアルタイム検出が容易でない問題点がある。
本発明は、前述した問題点を全て解決することをその目的とする。
本発明は、ブラインドスポットに位置する自動車を容易に検出し得るようにすることを他の目的とする。
本発明は、自動車の走行環境にかかわらず、ブラインドスポットに位置する自動車を検出し得るようにすることを別の目的とする。
本発明は、ブラインドスポットに位置する自動車を検出するために演算されるデータの量が少ないアルゴリズムを提供することをまた他の目的とする。
本発明は、ＣＮＮによって獲得されたセグメンテーションイメージを利用し、ブラインドスポットに位置する自動車を正確に検出し得るようにすることをまた他の目的とする。
本発明は、ＣＮＮによって獲得されたセグメンテーションイメージを利用し、ブラインドスポットから自動車の無い道路領域を検出する簡単な方法により、ブラインドスポットに位置する自動車を正確に検出し得るようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、自動車の車線変更に対する危険を警報する方法において、（ａ）運行中の自動車で撮影された少なくとも一つの後方イメージが獲得されると、警報装置が、学習されたＣＮＮを用いて前記後方イメージをセグメンテーションすることにより前記後方イメージに対応されるセグメンテーションイメージを獲得する段階；（ｂ）前記警報装置が、前記セグメンテーションイメージを参照して、少なくとも一つのブラインドスポットにおいて少なくとも一つのフリースペース比率を確認するものの、前記フリースペース比率は、前記ブラインドスポットにおいて物体が位置しない道路領域の前記ブラインドスポットの全領域に対する比率で決定されることを特徴とする段階；及び（ｃ）前記フリースペース比率が少なくとも一つの所定の閾値以下である場合、前記警報装置が、前記自動車の運転者に車線変更に対する前記危険を警報する段階；を含むことを特徴とする方法である。
一例として、前記ブラインドスポットは、前記自動車の後方から遠くなる方向へ距離別に設定される第１サブブラインドスポット（ｓｕｂ−ｂｌｉｎｄ ｓｐｏｔ）ないし第ｎサブブラインドスポットを含み、前記フリースペース比率に対する閾値各々である第１閾値ないし第ｎ閾値各々が、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々に対して設定され、前記（ｃ）段階で、前記警報装置は、第ｋ閾値以下の前記フリースペース比率を有する第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に異なる警報をすることを特徴とする方法である。
一例として、（ｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下であり、第ｋ−１サブブラインドスポットの前記フリースペース比率が１００％である場合を第１ケースとし、（ｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下で、第ｋ−１サブブラインドスポットの前記フリースペース比率が前記第ｋ−１閾値以下である場合を第２ケースとし、（ｉｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が１００％で、第ｋ−１サブブラインドスポットの前記フリースペース比率が前記第ｋ−１閾値以下である場合を第３ケースとすれば、前記警報装置は、前記第１ケースに比べて前記第２ケース及び前記第３ケースが、物体が前記自動車により近接していると前記運転者に警報することを特徴とする方法である。
一例として、前記第ｋサブブラインドスポットの前記フリースペース比率が、前記第ｋ閾値を超過し、前記第ｋ閾値より大きな値に設定された第ｋ’閾値以下の状態で、第ｋ＋１サブブラインドスポットの前記フリースペース比率が第ｋ＋１閾値以下である場合、前記警報装置は、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に異なる警報をすることを特徴とする方法である。
一例として、前記警報装置は、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々の前記フリースペース比率の変化率各々を参照して、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット内での前記物体の移動情報を獲得し、前記警報装置は、前記物体の前記獲得された移動情報を参照して、前記第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に警報をすることを特徴とする方法である。
一例として、前記第ｋ＋１サブブラインドスポットでの前記フリースペース比率が第ｋ＋１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記警報装置は、前記物体が前記第ｋ＋１サブブラインドスポットから前記第ｋサブブラインドスポットに移動すると判断し、前記第ｋ−１サブブラインドスポットでの前記フリースペース比率が第ｋ−１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記警報装置は、前記物体が前記第ｋ−１サブブラインドスポットから前記第ｋサブブラインドスポットに移動するものと判断し、前記警報装置は、前記第ｋサブブラインドスポットでの前記物体の前記移動方向をさらに参照し、前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする方法である。
一例として、前記警報装置は、前記第ｋサブブラインドスポットでの前記フリースペース比率の変化率を参照して前記物体の速度または加速度を確認し、前記物体の前記速度または前記加速度を参照して前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする方法である。
一例として、前記物体の前記速度または前記加速度を確認した結果、前記物体が前記自動車に接近すると判断された場合、前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値よりも大きな値に設定された第ｋ”閾値以下であれば、前記警報装置は、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に警報をすることを特徴とする方法である。
一例として、前記後方イメージが第ｔフレームから獲得された後方イメージである場合、前記（ｃ）段階で、前記警報装置は、（ｉ）前記第ｔフレームでの前記後方イメージから確認される前記ブラインドスポットでの前記フリースペース比率である第ｔ比率と（ｉｉ）第ｔ−１フレームでの前記後方イメージないし第ｔ−ｉフレームでの前記後方イメージから確認される前記ブラインドスポットでの前記フリースペース比率である第ｔ−１の比率ないし第ｔ−ｉ比率各々を利用して、前記自動車の走行方向に対応される前記物体の相対的な移動方向を確認し、前記物体の前記相対的な移動方向を参照して前記車線変更に対する前記危険を前記運転者に警報することを特徴とする方法である。
一例として、前記警報装置は、前記第ｔ−ｉ比率から前記第ｔ比率までの増加率を分析し、前記増加率が負（−）の値である場合には、前記物体が前記ブラインドスポットの外部から内部方向に移動したものと判断し、前記増加率が正（＋）の値である場合には、前記物体が前記ブラインドスポットの前記内部から前記外部方向に移動したものと判断し、前記警報装置が、前記物体の前記判断された移動方向をさらに参照し、前記車線変更に対する前記危険を前記運転者に警報することを特徴とする方法である。
一例として、前記警報装置は、前記第ｔ−ｉの比率ないし前記第ｔ比率のうち、どの比率が１００％から１００％未満に変化するかについての情報を参照にし、前記第ｔ−ｉフレームないし前記第ｔフレームの中から選択された特定フレームにおいての前記セグメンテーションイメージを分析し、前記警報装置が、前記物体が前記ブラインドスポットに位置する領域が前記自動車と近接した領域であるかそれとも前記自動車から離れた領域であるかを判断することにより、前記ブラインドスポットへの前記物体の進入位置を確認の上、前記物体の前記ブラインドスポットへの前記進入位置と前記物体の前記移動方向とを参照して、前記自動車に対する前記物体の相対的な移動方向を確認し、前記警報装置が、前記自動車に対する前記物体の前記相対的な移動方向をさらに参照し、前記車線変更に対する前記危険を、前記運転者に警報することを特徴とする方法である。
一例として、前記（ａ）段階で、前記警報装置は、前記後方のイメージに対してコンボリューション演算を少なくとも一度適用してダウンサンプリングされた特徴マップとして少なくとも一つの特徴マップを生成し、前記ダウンサンプリングされた特徴マップに対してデコンボリューション演算を少なくとも一度適用し、前記後方イメージ内の前記道路領域と前記物体をセグメンテーションすることを特徴とする方法である。
本発明の他の態様によれば、自動車の車線変更に対する危険を警報する警報装置において、運行中の自動車で撮影された少なくとも一つの後方映像イメージを獲得する通信部；及び（Ｉ）学習されたＣＮＮを用いて前記後方イメージをセグメンテーションすることにより前記後方イメージに対応されるセグメンテーションイメージを獲得するプロセスと、（ＩＩ）前記セグメンテーションイメージを参照して、少なくとも一つのブラインドスポットにおいて少なくとも一つのフリースペース比率（ｆｒｅｅ ｓｐａｃｅ ｒａｔｉｏ）を確認するものの、前記フリースペース比率は、前記ブラインドスポットにおいて物体が位置しない道路領域の前記ブラインドスポットの全領域に対する比率で決定されることを特徴とするプロセス及び、（ＩＩＩ）前記フリースペース比率が少なくとも一つの所定の閾値以下である場合、前記警報装置が、前記自動車の運転者に車線変更に対する前記危険を警報するプロセスを遂行するプロセッサ；を含むことを特徴とする警報装置である。
一例として、前記ブラインドスポットは、前記自動車の後方から遠くなる方向へ距離別に設定される第１サブブラインドスポットないし第ｎサブブラインドスポットを含み、前記フリースペース比率に対する閾値各々である第１閾値ないし第ｎ閾値各々が、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々に対して設定され、前記（ＩＩＩ）プロセスで、前記プロセッサが、第ｋ閾値以下の前記フリースペース比率を有する第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に異なる警報をすることを特徴とする警報装置である。
一例として、（ｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下であり、第ｋ−１サブブラインドスポットの前記フリースペース比率が１００％である場合を第１ケースとし、（ｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下で、第ｋ−１サブブラインドスポットの前記フリースペース比率が前記第ｋ−１閾値以下である場合を第２ケースとし、（ｉｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が１００％で、第ｋ−１サブブラインドスポットの前記フリースペース比率が前記第ｋ−１閾値以下である場合を第３ケースとすれば、前記プロセッサが、前記第１ケースに比べて前記第２ケース及び前記第３ケースが、物体が前記自動車により近接していると前記運転者に警報することを特徴とする警報装置である。
一例として、前記第ｋサブブラインドスポットの前記フリースペース比率が、前記第ｋ閾値を超過し、前記第ｋ閾値より大きな値に設定された第ｋ’閾値以下の状態で、第ｋ＋１サブブラインドスポットの前記フリースペース比率が第ｋ＋１閾値以下である場合、前記プロセッサが、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に異なる警報をすることを特徴とする警報装置である。
一例として、前記プロセッサが、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々の前記フリースペース比率の変化率各々を参照して、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット内での前記物体の移動情報を獲得し、
前記プロセッサが、前記物体の前記獲得された移動情報を参照して、前記第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に警報をすることを特徴とする警報装置である。
一例として、前記第ｋ＋１サブブラインドスポットでの前記フリースペース比率が第ｋ＋１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記プロセッサが、前記物体が前記第ｋ＋１サブブラインドスポットから前記第ｋサブブラインドスポットに移動すると判断し、前記第ｋ−１サブブラインドスポットでの前記フリースペース比率が第ｋ−１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記プロセッサが、前記物体が前記第ｋ−１サブブラインドスポットから前記第ｋサブブラインドスポットに移動するものと判断し、前記プロセッサが、前記第ｋサブブラインドスポットでの前記物体の前記移動方向をさらに参照し、前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする警報装置である。
一例として、前記プロセッサが、前記第ｋサブブラインドスポットでの前記フリースペース比率の変化率を参照して前記物体の速度または加速度を確認し、前記物体の前記速度または前記加速度を参照して前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする警報装置である。
一例として、前記物体の前記速度または前記加速度を確認した結果、前記物体が前記自動車に接近すると判断された場合、前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値よりも大きな値に設定された第ｋ”閾値以下であれば、前記プロセッサが、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に警報をすることを特徴とする警報装置である。
一例として、前記後方イメージが第ｔフレームから獲得された後方イメージである場合、前記（ＩＩＩ）プロセスで、前記プロセッサが、（ｉ）前記第ｔフレームでの前記後方イメージから確認される前記ブラインドスポットでの前記フリースペース比率である第ｔ比率と（ｉｉ）第ｔ−１フレームでの前記後方イメージないし第ｔ−ｉフレームでの前記後方イメージから確認される前記ブラインドスポットでの前記フリースペース比率である第ｔ−１の比率ないし第ｔ−ｉ比率各々を利用して、前記自動車の走行方向に対応される前記物体の相対的な移動方向を確認し、前記物体の前記相対的な移動方向を参照して前記車線変更に対する前記危険を前記運転者に警報することを特徴とする警報装置である。
一例として、前記プロセッサが、前記第ｔ−ｉ比率から前記第ｔ比率までの増加率を分析し、前記増加率が負（−）の値である場合には、前記物体が前記ブラインドスポットの外部から内部方向に移動したものと判断し、前記増加率が正（＋）の値である場合には、前記物体が前記ブラインドスポットの前記内部から前記外部方向に移動したものと判断し、前記プロセッサが、前記物体の前記判断された移動方向をさらに参照し、前記車線変更に対する前記危険を前記運転者に警報することを特徴とする警報装置である。
一例として、前記プロセッサが、前記第ｔ−ｉ比率なしい前記第ｔ比率のうち、どの比率が１００％から１００％未満に変化するかについての情報を参照にし、前記第ｔ−ｉフレームないし前記第ｔフレームの中から選択された特定フレームにおいての前記セグメンテーションイメージを分析し、前記プロセッサが、前記物体が前記ブラインドスポットに位置する領域が前記自動車と近接した領域であるかそれとも前記自動車から離れた領域であるかを判断することにより、前記ブラインドスポットへの前記物体の進入位置を確認の上、前記物体の前記ブラインドスポットへの前記進入位置と前記物体の前記移動方向とを参照して、前記自動車に対する前記物体の相対的な移動方向を確認し、前記プロセッサが、前記自動車に対する前記物体の前記相対的な移動方向をさらに参照し、前記車線変更に対する前記危険を、前記運転者に警報することを特徴とする警報装置である。
一例として、前記（Ｉ）プロセスで、前記プロセッサは、前記後方のイメージに対してコンボリューション演算を少なくとも一度適用してダウンサンプリングされた特徴マップとして少なくとも一つの特徴マップを生成し、前記ダウンサンプリングされた特徴マップに対してデコンボリューション演算を少なくとも一度適用し、前記後方イメージ内の前記道路領域と前記物体をセグメンテーションすることを特徴とする警報装置である。
本発明は、ニューラルネットワークアルゴリズム（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ａｌｇｏｒｉｔｈｍ）を用いてブラインドスポットに位置する自動車を正確に検出し得る効果がある。
また、本発明は、自動車の走行環境にかかわらず、ブラインドスポットに位置する自動車を正確に検出し得る他の効果がある。
また、本発明は、ＣＮＮによって獲得されたセグメンテーションイメージを利用することにより、少ないデータの演算量でブラインドスポットに位置する自動車を検出し得るまた他の効果がある。
また、本発明は、背景の動きと映像ノイズの影響を受けずにブラインドスポットに位置する自動車を、リアルタイムで少ない演算量で検出し得るまた他の効果がある。
また、本発明は、ブラインドスポットから自動車の無い道路領域を検出する簡単な方法によってブラインドスポットに位置する自動車を正確に検出し得るまた他の効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例の中の一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業がなされることなくこれらの図面に基づいて他の図面が得られ得る。
本発明の一例に係る車線変更警報システムを概略的に示した図面である。 本発明の一例に係る車線変更警報システムが含まれた自動車を概略的に示した図面である。 本発明の一例に係る車線変更警報方法を概略的に示した図面である。 本発明の一例に係る自動車で獲得される後方のイメージを概略的に示した図面である。 本発明の一例に係る自動車の後方イメージをセグメンテーションして生成されたセグメンテーションイメージを概略的に示した図面である。 本発明の一例に係る後方イメージをセグメンテーションするＣＮＮを概略的に示した図面である。 本発明の一例に係るブラインドスポットでの時間変化による物体の移動状態を概略的に示した図面である。 本発明の一例に係るブラインドスポットでの時間変化による物体の移動状態を概略的に示した図面である。 本発明の一例に係る各々のブラインドスポットに対して提供される複数のサブブラインドスポット内の状態を概略的に示した図面である。 図８のブラインドスポットでの物体の移動状態を概略的に示した図面である。 図８のブラインドスポットでの物体の移動状態を概略的に示した図面である。 図８のブラインドスポットでの物体の移動状態を概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決策や長所を明確にするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者に本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるだろう。以下の例示及び図面は、実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は本明細書に表示された実施例のあらゆる可能な組合せを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得り、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得り、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
まず、図１は本発明の一実施例による車線変更警報システムを概略的に示した図面で、図１を参照すれば、車線変更警報システムは、警報装置１００と自動車２００を含み得る。
まず、警報装置１００は、自動車２００のブラインドスポットに位置したり、近接する物体、つまり、他の自動車を検出することで、ビジョンセンサー１０（例えば、カメラ）から獲得される自動車２００の後方イメージを分析して自動車２００のブラインドスポットに物体が位置しているか否かを判別することができる。
そして、警報装置１００から伝送される情報とステアリングシステム（Ｓｔｅｅｒｉｎｇ Ｓｙｓｔｅｍ）の情報を参照して、自動車２００がブラインドスポット側に車線変えることを防止したり、警報装置１００が、物体がブラインドスポットに位置するという事実を自動車２００の運転者に知らせ得る。特に、自動車が自律走行自動車である場合、自動車２００がブラインドスポットに位置する物体の情報と走行環境を参照して、車線を安全に変更できるかどうかを判断し得るようになる。
また、警報装置１００は、（ｉ）自動車の運行中、カメラなどのビジョンセンサー１０によって撮影された自動車での後方イメージを獲得する通信部１１０と、（ｉｉ）獲得された後方イメージを分析して自動車２００のブラインドスポットに物体が位置しているのかを判断し、場合によって運転者に警報するプロセッサ１２０を含み得る。この際、ビジョンセンサー１０は、自動車２００の任意の位置に設置され、自動車２００の後方イメージを少なくとも一つ撮影することで、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、またはイメージキャプチャ装置などの光学センサーを含み得る。
そして、プロセッサ１２０は、（ｉ）学習されたＣＮＮを利用して後方のイメージをセグメンテーションすることで、後方イメージに対応されるセグメンテーションイメージを獲得して、（ｉｉ）セグメンテーションイメージを参照して、すでに設定されているブラインドスポットでの少なくとも一つのフリースペース比率を確認するものの、前記フリースペース比率は、ブラインドスポットで物体が位置しない道路領域のブラインドスポットの全体領域に対する比率で決定され、（ｉｉｉ）フリースペース比率が所定の閾値以下である場合には、自動車の運転者に車線変更に対する危険を警報する。
このように構成された本発明の一実施例による自動車のブラインドスポットに或る物体が位置して車線変更をする場合、事故の危険性があることを示すための車線変更警報方法を、図３を参照して詳細に説明すると次の通りである。
まず、図４のように、自動車に設置されたビジョンセンサーで撮影した少なくとも一つの後方イメージが通信部を通じて獲得されると（Ｓ１０）、警報装置のプロセッサは、後方のイメージから道路領域及び物体領域が分離された図５のようなセグメンテーションイメージを獲得する（Ｓ２０）。
その際、警報装置はＣＮＮ基盤のセグメンテーション方法を用いて後方イメージに対応するセグメンテーションイメージを獲得し得る。
そして、ＣＮＮ基盤のセグメンテーション方法としてＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、デコンボリューションネットワーク（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、膨張されたコンボリューション（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）などが用いられ得るが、本発明はこれに限らず、イメージからセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）を遂行できる方法またはロジックを利用し得る。
一例で、図６のように、コンボリューションネットワークとデコンボリューションネットワークを含むエンコーダ・デコーダ（Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ）の構成が適用される。より詳細に、警報装置は、後方イメージをエンコーダに含まれる複数のコンボリューションレイヤによってダウンサンプリング（Ｄｏｗｎ−ｓａｍｐｌｉｎｇ）した上で、ダウンサンプリングされた後方イメージをデコーダに含まれた複数のデコンボリューションレイヤによってアップサンプリング（Ｕｐ−ｓａｍｐｌｉｎｇ）することで、後方イメージに対応されるセグメンテーションイメージを生成し得る。
また、道路領域を物体（例えば観測された特定自動車）から区分するために、道路と特定の自動車以外の他の物体はすべて背景として処理し得る。
次に、警報装置はセグメンテーションイメージを参照して所定のブラインドスポットでのフリースペース比率を確認できる（Ｓ３０）。この際、図５を参照すれば、フリースペース比率は、ブラインドスポット（ＢＳ）で物体が位置しない道路領域のブラインドスポット（ＢＳ）の全体領域に対する比率で決定され得る。
次に、フリースペース比率が所定の閾値以下である場合、警報装置は、ブラインドスポットに物体が位置しているものと判断して運転者に車線変更に対する危険を警報し得る（Ｓ４０）。
一例として、自動車のブラインドスポットに物体が位置すると判断される場合、警報装置は、物体の位置情報を自動車の制御部に伝送することにより、物体が位置するブラインドスポット方向に自動車が車線を変更することを防止するようにし得る。この際、ステアリングシステムの情報を参照して、運転者が車線を変更しようとする際、車線のブラインドスポットに物体が位置する場合、自動車のコントロールユニットは、警報システムを通じて運転者にブラインドスポットに物体があることを知らせ、車線変更による危険状況を未然に防止できるようにし得る。また、自動車が自律走行自動車である場合、ブラインドスポットに物体が位置するの否かについての情報と走行環境を参照して、自動車が安全に車線を変更できるようにし得る。また、ブラインドスポットは、自動車の両側に各々形成され得るので、警報装置は、両方のブラインドスポット各々に対して、フリースペース比率を確認してブラインドスポットの各々に任意の物体が位置しているか否かを判断し得る。
一方、前記のようにブラインドスポットでのフリースペース比率を参照し、ブラインドスポットに物体が位置しているかどうかを判断する方法についてさらに詳しく説明すると以下とおりである。
まず、後方イメージが第ｔフレームから獲得された後方イメージである場合、警報装置は、（ｉ）第ｔフレームでの後方イメージから確認される前記ブラインドスポットでのフリースペース比率である第ｔ比率と（ｉｉ）第ｔ−１フレームでの後方イメージないし第ｔ−ｉフレームでの後方イメージから確認されるブラインドスポットでのフリースペース比率である第ｔ−１比率ないし第ｔ−ｉ比率各々を利用して、自動車の走行方向に対応される物体の相対的な移動方向を確認し、物体の相対的な移動方向を参照して車線変更に対する危険を運転者に警報し得る。
一例として、図７ａ及び７ｂを参照すれば、警報装置は、第ｔ−ｉ比率から第ｔ比率までの増加率を分析し、図７ａのように、増加率が負（−）の値である場合は、物体がブラインドスポットの外部からブラインドスポットの内部に移動したものと判断し、図７ｂのように、増加率が正（＋）の値である場合は、物体がブラインドスポットの内部からブラインドスポットの外部に移動したものと判断し得り、警報装置は、物体の判断された移動方向をさらに参照し、車線変更に対する危険を運転者に警報し得る。
つまり、物体の移動方向を参照して、物体が自動車に近づく方向へ移動する場合には、警報装置が運転者に警報を出し、物体が自動車から遠ざかる方向に自動車が動く場合には、ブラインドスポット内に物体が位置しても運転者に警報をしないことができる。一例として、自動車の走行方向と反対に移動する他の自動車がブラインドスポットに位置する場合、車線変更に対する危険が低いので警報装置は運転者に警報をしないことができる。
この際、警報装置は、第ｔ−ｉ比率ないし第ｔ比率が１００％から１００％未満に変化する情報を参照に、前記第ｔ−ｉフレームないし前記第ｔフレームの中から選択された特定フレームにおいてのセグメンテーションイメージを分析し、物体がブラインドスポットに位置する領域が自動車と近接した領域であるかそれとも自動車から離れた領域であるかを判断することにより、ブラインドスポットへの物体の進入位置を確認の上、物体のブラインドスポットへの進入位置と物体の移動方向とを確認し、物体の自動車との相対的な移動方向をさらに参照し、車線変更に対する危険を運転者に警報し得る。
一例として、図７ａのように、第ｔ−ｉフレームないし第ｔフレームまで下の方向に物体がブラインドスポットに進入し、フリースペース比率が漸進的に減少し、第ｔフレームでフリースペース比率が所定の閾値以下になると、警報装置は、物体が自動車に近づく方向に移動すると判断して運転者に警報し得る。しかし、図７ｂのように、第ｔ−ｉフレームから第ｔフレームまで上に方向に物体がブラインドスポット領域に進入をしてフリースペース比率が漸進的に増加し、第ｔフレームでフリースペース比率が所定の閾値以下である場合は、警報装置は、物体が自動車と遠ざかる方向に移動しているものと判断し、運転者に警報しないことができる。
前記では、物体の相対的な移動方向を判断する各方法について例示的にいくつかのケースについてのみ説明したが、本発明はこれに限られず、各々のケースに係る物体の相対的な移動方向に対する判断基準を設定し得る。
次に、図８を参照すると、ブラインドスポット（ＢＳ）は、自動車の後方から遠ざかる方向へ距離別に設定された第１サブブラインドスポット（ＢＳ１）ないし第ｎサブブラインドスポット（ＢＳｎ）を含み得り、第１サブブラインドスポット（ＢＳ１）ないし第ｎサブブラインドスポット（ＢＳｎ）各々は、フリースペース比率に対する所定の閾値各々である第１閾値ないし第ｎ閾値各々に設定され得る。この際、警報装置は、第ｋ閾値以下のフリースペース比率を有する第ｋサブブラインドスポット（ＢＳｋ）と自動車の間の距離に対応し、運転者に異なる警報をし得る。
つまり、フリースペース比率が所定の閾値以下となるサブブラインドスポットの一つが、自動車から近い距離に位置している場合、警報装置は、他の自動車がブラインドスポットに位置しており、運転者の自動車に接近していることを運転者に知らせる得る。
一例として、（ｉ）図９ａのように、第ｋサブブラインドスポット（ＢＳｋ）のフリースペース比率が前記第ｋ閾値以下であり、第ｋ−１サブブラインドスポット（ＢＳｋ−１）のフリースペース比率が１００％である場合を第１ケースとし、（ｉｉ）図９ｂのように、第ｋサブブラインドスポット（ＢＳｋ）のフリースペース比率が第ｋ閾値以下で、第ｋ−１サブブラインドスポット（ＢＳｋ−１）のフリースペース比率が第ｋ−１閾値以下である場合を第２ケースとし、（ｉｉｉ）図９ｃのように、第ｋサブブラインドスポット（ＢＳｋ）のフリースペース比率が１００％で、第ｋ−１サブブラインドスポット（ＢＳｋ−１）のフリースペース比率が第ｋ−１閾値以下である場合を第３ケースとすれば、警報装置は、第１ケースに比べて第２ケース及び第３ケースが、物体が自動車により近接していると運転者に警報する。
また、第ｋサブブラインドスポット（ＢＳｋ）のフリースペース比率が、第ｋ閾値を超過し、第ｋ閾値より大きな値に設定された第ｋ’閾値以下の状態で、第ｋ＋１サブブラインドスポット（ＢＳｋ＋１）のフリースペース比率が第ｋ＋１閾値以下である場合、警報装置は、第ｋサブブラインドスポットと自動車の間の距離に対応して運転者に異なる警報をし得る。
つまり、９ｂのように、第ｋ−１サブブラインドスポット（ＢＳｋ−１）のフリースペース比率が警報するための基準である第ｋ−１閾値より大きい場合にも、物体が第ｋサブブラインドスポット（ＢＳｋ）から第ｋ−１ブラインドスポット（ＢＳｋ−１）に移動する（例えば、物体が自動車に接近する）状態であれば、警報装置が、第ｋ閾値より大きく設定された第ｋ’閾値を利用し、物体が第ｋ−１サブブラインドスポット（ＢＳｋ−１）に位置すると判断して運転者に警報し得る。
そして、警報装置は、第１サブブラインドスポットないし第ｎサブブラインドスポット各々のフリースペース比率の変化率各々を参照して、第１サブブラインドスポットないし第ｎサブブラインドスポット内での物体の移動情報を獲得し、物体の獲得された移動情報を参照して、第ｋサブブラインドスポットと自動車との間の距離に対応して運転者に警報をし得る。
一例として、第ｋ＋１サブブラインドスポットでのフリースペース比率が第ｋ＋１閾値以下の状態から大きくなる方向へと変化し、第ｋサブブラインドスポットでのフリースペース比率が小さくなる方向に変化した場合、警報装置は、物体が第ｋ＋１サブブラインドスポットから第ｋサブブラインドスポットに移動すると判断し得る。また、第ｋ−１サブブラインドスポットでのフリースペース比率が第ｋ−１閾値以下の状態から大きくなる方向へと変化し、第ｋサブブラインドスポットでのフリースペース比率が小さくなる方向に変化した場合、警報装置は、物体が第ｋ−１サブブラインドスポットから第ｋサブブラインドスポットに移動するものと判断し得る。そして、警報装置は、第ｋサブブラインドスポットでの物体の移動方向をさらに参照し、第ｋサブブラインドスポットと自動車との間の距離に対応して、運転者に警報をし得る。つまり、警報装置は、ブラインドスポットにおけるフリースペース比率が変化する方向を自動車の走行方向と比較して、物体の移動方向を確認し得り、物体の移動方向が自動車の走行方向と反対方向である場合には、ブラインドスポットに物体が位置していても警報装置が運転者に警報をしないことができる。
さらに、警報装置は、第ｋサブブラインドスポットでのフリースペース比率の変化率を参照して物体の速度または加速度を確認し得り、物体の速度または加速度をさらに参照して、第ｋサブブラインドスポットと自動車との間の距離に対応して運転者に警報をし得る。
一例として、物体の速度または加速度を確認した結果、物体が自動車に速く接近している判断された場合、第ｋサブブラインドスポットのフリースペース比率が第ｋ閾値よりも大きな値に設定された第ｋ”閾値以下である状態で、警報装置は、第ｋサブブラインドスポットと自動車の間の距離に対応して運転者に警報をし得る。つまり、第ｋサブブラインドスポットのフリースペース比率が、第ｋ閾値より大きい状態でも、第ｋサブブラインドスポットに位置する物体が速く自動車に接近していると判断される場合は、警報装置が運転者に第ｋブラインドスポットにある物体が速い速度で運転者の自動車で接近していることを知らせ得る。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。 前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記のハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得り、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
１０： ビジョンセンター
１００： 車線変更警報装置
１１０： 通信部
１２０： プロセッサ
２００： 自動車
ＢＳ： ブラインドスポット

Claims (18)

  1. 自動車の車線変更に対する危険を警報する方法において、
    （ａ）運行中の自動車で撮影された少なくとも一つの後方イメージが獲得されると、警報装置が、学習されたＣＮＮを用いて前記後方イメージをセグメンテーションすることにより前記後方イメージに対応されるセグメンテーションイメージを獲得する段階；
    （ｂ）前記警報装置が、前記セグメンテーションイメージを参照して、少なくとも一つのブラインドスポットにおいて少なくとも一つのフリースペース比率を確認するものの、前記フリースペース比率は、前記ブラインドスポットにおいて物体が位置しない道路領域の前記ブラインドスポットの全領域に対する比率で決定されることを特徴とする段階；及び
    （ｃ）前記フリースペース比率が少なくとも一つの所定の閾値以下である場合、前記警報装置が、前記自動車の運転者に車線変更に対する前記危険を警報する段階；
    を含むことを特徴とする方法。
  2. 前記ブラインドスポットは、前記自動車の後方から遠くなる方向へ距離別に設定される第１サブブラインドスポットないし第ｎサブブラインドスポットを含み、
    前記フリースペース比率に対する閾値各々である第１閾値ないし第ｎ閾値各々が、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々に対して設定され、
    前記（ｃ）段階で、
    前記警報装置は、第ｋ閾値以下の前記フリースペース比率を有する第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に異なる警報をすることを特徴とする請求項１に記載の方法。
  3. （ｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下であり、第ｋ−１サブブラインドスポットの前記フリースペース比率が１００％である場合を第１ケースとし、（ｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下で、第ｋ−１サブブラインドスポットの前記フリースペース比率が第ｋ−１閾値以下である場合を第２ケースとし、（ｉｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が１００％で、第ｋ−１サブブラインドスポットの前記フリースペース比率が前記第ｋ−１閾値以下である場合を第３ケースとすれば、前記警報装置は、前記第１ケースに比べて前記第２ケース及び前記第３ケースが、物体が前記自動車により近接していると前記運転者に警報することを特徴とする請求項２に記載の方法。
  4. 前記第ｋサブブラインドスポットの前記フリースペース比率が、前記第ｋ閾値を超過し、前記第ｋ閾値より大きな値に設定された第ｋ’閾値以下の状態で、第ｋ＋１サブブラインドスポットの前記フリースペース比率が第ｋ＋１閾値以下である場合、前記警報装置は、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に異なる警報をすることを特徴とする請求項２に記載の方法。
  5. 前記警報装置は、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々の前記フリースペース比率の変化率各々を参照して、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット内での前記物体の移動情報を獲得し、
    前記警報装置は、前記物体の前記獲得された移動情報を参照して、前記第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に警報をすることを特徴とする請求項２に記載の方法。
  6. 第ｋ＋１サブブラインドスポットでの前記フリースペース比率が第ｋ＋１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記警報装置は、前記物体が前記第ｋ＋１サブブラインドスポットから前記第ｋサブブラインドスポットに移動すると判断し、
    第ｋ−１サブブラインドスポットでの前記フリースペース比率が第ｋ−１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記警報装置は、前記物体が前記第ｋ−１サブブラインドスポットから前記第ｋサブブラインドスポットに移動するものと判断し、
    前記警報装置は、前記第ｋサブブラインドスポットでの前記物体の前記移動方向をさらに参照し、前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする請求項５に記載の方法。
  7. 前記警報装置は、前記第ｋサブブラインドスポットでの前記フリースペース比率の変化率を参照して前記物体の速度または加速度を確認し、前記物体の前記速度または前記加速度を参照して前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする請求項２に記載の方法。
  8. 前記物体の前記速度または前記加速度を確認した結果、前記物体が前記自動車に接近すると判断された場合、前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値よりも大きな値に設定された第ｋ”閾値以下であれば、前記警報装置は、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に警報をすることを特徴とする請求項７に記載の方法。
  9. 前記（ａ）段階で、
    前記警報装置は、前記後方のイメージに対してコンボリューション演算を少なくとも一度適用してダウンサンプリングされた特徴マップとして少なくとも一つの特徴マップを生成し、前記ダウンサンプリングされた特徴マップに対してデコンボリューション演算を少なくとも一度適用し、前記後方イメージ内の前記道路領域と前記物体をセグメンテーションすることを特徴とする請求項１に記載の方法。
  10. 自動車の車線変更に対する危険を警報する警報装置において、
    運行中の自動車で撮影された少なくとも一つの後方映像イメージを獲得する通信部；及び
    （Ｉ）学習されたＣＮＮを用いて後方イメージをセグメンテーションすることにより前記後方イメージに対応されるセグメンテーションイメージを獲得するプロセスと、（ＩＩ）前記セグメンテーションイメージを参照して、少なくとも一つのブラインドスポットにおいて少なくとも一つのフリースペース比率を確認するものの、前記フリースペース比率は、前記ブラインドスポットにおいて物体が位置しない道路領域の前記ブラインドスポットの全領域に対する比率で決定されることを特徴とするプロセス及び、（ＩＩＩ）前記フリースペース比率が少なくとも一つの所定の閾値以下である場合、前記警報装置が、前記自動車の運転者に車線変更に対する前記危険を警報するプロセスを遂行するプロセッサ；
    を含むことを特徴とする警報装置。
  11. 前記ブラインドスポットは、前記自動車の後方から遠くなる方向へ距離別に設定される第１サブブラインドスポットないし第ｎサブブラインドスポットを含み、
    前記フリースペース比率に対する閾値各々である第１閾値ないし第ｎ閾値各々が、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々に対して設定され、
    前記（ＩＩＩ）プロセスで、
    前記プロセッサが、第ｋ閾値以下の前記フリースペース比率を有する第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に異なる警報をすることを特徴とする請求項１０に記載の警報装置。
  12. （ｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下であり、第ｋ−１サブブラインドスポットの前記フリースペース比率が１００％である場合を第１ケースとし、（ｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値以下で、第ｋ−１サブブラインドスポットの前記フリースペース比率が第ｋ−１閾値以下である場合を第２ケースとし、（ｉｉｉ）前記第ｋサブブラインドスポットの前記フリースペース比率が１００％で、第ｋ−１サブブラインドスポットの前記フリースペース比率が前記第ｋ−１閾値以下である場合を第３ケースとすれば、前記プロセッサが、前記第１ケースに比べて前記第２ケース及び前記第３ケースが、物体が前記自動車により近接していると前記運転者に警報することを特徴とする請求項１１に記載の警報装置。
  13. 前記第ｋサブブラインドスポットの前記フリースペース比率が、前記第ｋ閾値を超過し、前記第ｋ閾値より大きな値に設定された第ｋ’閾値以下の状態で、第ｋ＋１サブブラインドスポットの前記フリースペース比率が第ｋ＋１閾値以下である場合、前記プロセッサが、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に異なる警報をすることを特徴とする請求項１１に記載の警報装置。
  14. 前記プロセッサが、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット各々の前記フリースペース比率の変化率各々を参照して、前記第１サブブラインドスポットないし前記第ｎサブブラインドスポット内での前記物体の移動情報を獲得し、
    前記プロセッサが、前記物体の前記獲得された移動情報を参照して、前記第ｋサブブラインドスポットと前記自動車との間の距離に対応して前記運転者に警報をすることを特徴とする請求項１１に記載の警報装置。
  15. 第ｋ＋１サブブラインドスポットでの前記フリースペース比率が第ｋ＋１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記プロセッサが、前記物体が前記第ｋ＋１サブブラインドスポットから前記第ｋサブブラインドスポットに移動すると判断し、
    第ｋ−１サブブラインドスポットでの前記フリースペース比率が第ｋ−１閾値以下の状態から大きくなる方向へと変化し、前記第ｋサブブラインドスポットでの前記フリースペース比率が小さくなる方向に変化した場合、前記プロセッサが、前記物体が前記第ｋ−１サブブラインドスポットから前記第ｋサブブラインドスポットに移動するものと判断し、
    前記プロセッサが、前記第ｋサブブラインドスポットでの前記物体の前記移動方向をさらに参照し、前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする請求項１４に記載の警報装置。
  16. 前記プロセッサが、前記第ｋサブブラインドスポットでの前記フリースペース比率の変化率を参照して前記物体の速度または加速度を確認し、前記物体の前記速度または前記加速度を参照して前記第ｋサブブラインドスポットと前記自動車との間の前記距離に対応して、前記運転者に警報をすることを特徴とする請求項１１に記載の警報装置。
  17. 前記物体の前記速度または前記加速度を確認した結果、前記物体が前記自動車に接近すると判断された場合、前記第ｋサブブラインドスポットの前記フリースペース比率が前記第ｋ閾値よりも大きな値に設定された第ｋ”閾値以下であれば、前記プロセッサが、前記第ｋサブブラインドスポットと前記自動車の間の前記距離に対応して前記運転者に警報をすることを特徴とする請求項１６に記載の警報装置。
  18. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記後方のイメージに対してコンボリューション演算を少なくとも一度適用してダウンサンプリングされた特徴マップとして少なくとも一つの特徴マップを生成し、前記ダウンサンプリングされた特徴マップに対してデコンボリューション演算を少なくとも一度適用し、前記後方イメージ内の前記道路領域と前記物体をセグメンテーションすることを特徴とする請求項１０に記載の警報装置。
JP2019183127A 2018-10-04 2019-10-03 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置 Active JP6872260B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/151,760 US10300851B1 (en) 2018-10-04 2018-10-04 Method for warning vehicle of risk of lane change and alarm device using the same
US16/151,760 2018-10-04

Publications (2)

Publication Number Publication Date
JP2020077393A JP2020077393A (ja) 2020-05-21
JP6872260B2 true JP6872260B2 (ja) 2021-05-19

Family

ID=66636359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019183127A Active JP6872260B2 (ja) 2018-10-04 2019-10-03 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置

Country Status (5)

Country Link
US (1) US10300851B1 (ja)
EP (1) EP3657382A1 (ja)
JP (1) JP6872260B2 (ja)
KR (1) KR102224818B1 (ja)
CN (1) CN111016929B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
US11010641B2 (en) * 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
CN110930733B (zh) * 2019-11-29 2021-07-30 腾讯科技（深圳）有限公司 车道切换风险处理方法、装置、存储介质和计算机设备
CN110956851B (zh) * 2019-12-02 2020-11-24 清华大学 一种智能网联汽车协同调度换道方法
DE112020006572T5 (de) * 2020-01-20 2022-12-08 Mitsubishi Electric Corporation Bewegungsassistenzvorrichtung, Bewegungsassistenzlernvorrichtung und Bewegungsassistenzverfahren
US11603094B2 (en) 2020-02-20 2023-03-14 Toyota Motor North America, Inc. Poor driving countermeasures
US11527154B2 (en) * 2020-02-20 2022-12-13 Toyota Motor North America, Inc. Wrong way driving prevention
US11535246B2 (en) * 2020-03-30 2022-12-27 Denso Corporation Systems and methods for providing a warning to an occupant of a vehicle
CN111462488B (zh) * 2020-04-01 2021-09-10 北京工业大学 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN111524389B (zh) * 2020-04-16 2023-11-10 腾讯科技（深圳）有限公司 车辆驾驶方法和装置
CN112669335A (zh) * 2021-01-27 2021-04-16 东软睿驰汽车技术（沈阳）有限公司 车辆感知方法、装置、电子设备以及机器可读存储介质
CN115092056A (zh) * 2022-06-30 2022-09-23 泽景(西安)汽车电子有限责任公司 一种路况信息展示方法、装置、电子设备及存储介质
CN117082338B (zh) * 2023-05-26 2024-07-26 北京瀚海京盛技术发展有限公司 一种基于大数据的视频分析监控系统

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
JP3942289B2 (ja) * 1998-11-09 2007-07-11 本田技研工業株式会社 車両監視装置
JP4151137B2 (ja) * 1998-12-16 2008-09-17 株式会社豊田自動織機 車両における障害物検出装置及び車両
WO2001085491A1 (en) * 2000-05-08 2001-11-15 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US7477137B2 (en) * 2005-06-23 2009-01-13 Mazda Motor Corporation Blind-spot detection system for vehicle
JP2007008287A (ja) * 2005-06-29 2007-01-18 Mazda Motor Corp 車両の後側方警報システム
DE102005054972A1 (de) * 2005-10-27 2007-05-03 Daimlerchrysler Ag Verfahren zur Totwinkelüberwachung bei Fahrzeugen
JP2008040736A (ja) * 2006-08-04 2008-02-21 Aisin Aw Co Ltd 車両検出装置、および車両検出方法
JP2008112349A (ja) * 2006-10-31 2008-05-15 Alpine Electronics Inc 移動物体検知装置
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
US7859432B2 (en) * 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
KR100908076B1 (ko) 2008-03-25 2009-07-15 대성전기공업 주식회사 차량용 측, 후방 감지 장치
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US8432309B2 (en) * 2010-11-29 2013-04-30 Freescale Semiconductor, Inc. Automotive radar system and method for using same
CN102632839B (zh) * 2011-02-15 2015-04-01 香港生产力促进局 一种基于后视图像认知的车载盲区预警系统及方法
US9586525B2 (en) * 2011-11-28 2017-03-07 Robert Bosch Gmbh Camera-assisted blind spot detection
US9139135B2 (en) * 2012-09-07 2015-09-22 Musaid A. ASSAF System and method that minimizes hazards of blind spots while driving
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
KR101541483B1 (ko) * 2014-01-03 2015-08-03 현대모비스(주) 차선 변경 감시 장치 및 그 제어 방법
DE102014212478A1 (de) * 2014-06-27 2015-12-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
CN105774809B (zh) * 2014-12-26 2019-01-08 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN104786933A (zh) * 2015-03-04 2015-07-22 江苏大学 一种全景影像驾驶辅助装置及方法
US10214206B2 (en) * 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
CN204978416U (zh) * 2015-09-22 2016-01-20 天津市茂宏科技有限公司 一种智能车辆盲区监测系统和车辆
CN105564316A (zh) * 2016-01-06 2016-05-11 北京京东尚科信息技术有限公司 车辆盲区监控系统及控制方法
JP6722051B2 (ja) 2016-06-10 2020-07-15 株式会社Ｓｏｋｅｎ 物体検出装置、及び物体検出方法
US20170355263A1 (en) * 2016-06-13 2017-12-14 Ford Global Technologies, Llc Blind Spot Detection Systems And Methods
CN106251701B (zh) * 2016-09-14 2018-11-06 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
KR20180065527A (ko) * 2016-12-08 2018-06-18 경창산업주식회사 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN106926779B (zh) * 2017-03-09 2019-10-29 吉利汽车研究院（宁波）有限公司 一种车辆变道辅助系统
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统
CN107564334B (zh) * 2017-08-04 2020-04-21 武汉理工大学 一种停车场车辆盲区危险预警系统及方法
CN108010383A (zh) * 2017-09-29 2018-05-08 北京车和家信息技术有限公司 基于行驶车辆的盲区检测方法、装置、终端及车辆
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
CN107953830B (zh) * 2017-12-04 2021-03-30 广东工业大学 一种大型客车盲区检测警报系统及其检测警报方法

Also Published As

Publication number Publication date
KR102224818B1 (ko) 2021-03-09
KR20200038847A (ko) 2020-04-14
CN111016929A (zh) 2020-04-17
US10300851B1 (en) 2019-05-28
EP3657382A1 (en) 2020-05-27
CN111016929B (zh) 2023-04-07
JP2020077393A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
JP6872260B2 (ja) 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
KR102098131B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US11126195B2 (en) System and method for detecting occluded objects based on image processing
CN106489174B (zh) 通过相机系统跟踪车辆的方法、相机系统以及机动车辆
CN111506057B (zh) 辅助自动驾驶的自动驾驶辅助眼镜
JP6962604B2 (ja) 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置
KR20190026114A (ko) 주행 차량을 제어하는 방법 및 장치
JP6910664B2 (ja) 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置
JP6814334B2 (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
EP2741234B1 (en) Object localization using vertical symmetry
KR20170085750A (ko) 차선을 변경하는 차량에 근거한 자율 주행 제어 방법 및 장치
JP6869561B2 (ja) ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置
JP6858004B2 (ja) 運転制御装置、運転制御方法及び運転制御プログラム
CN115546744A (zh) 使用dbscan进行车道检测
EP4052215A1 (en) Method for detecting a moving state of a vehicle
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
Tigadi et al. Survey on blind spot detection and lane departure warning systems
KR20190006648A (ko) 자동 주차를 위한 주차선 검출 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6872260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250