KR102537598B1 - 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법 - Google Patents

전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법 Download PDF

Info

Publication number
KR102537598B1
KR102537598B1 KR1020160131519A KR20160131519A KR102537598B1 KR 102537598 B1 KR102537598 B1 KR 102537598B1 KR 1020160131519 A KR1020160131519 A KR 1020160131519A KR 20160131519 A KR20160131519 A KR 20160131519A KR 102537598 B1 KR102537598 B1 KR 102537598B1
Authority
KR
South Korea
Prior art keywords
camera
viewing angle
intersection
lane
turn lane
Prior art date
Application number
KR1020160131519A
Other languages
English (en)
Other versions
KR20180040012A (ko
Inventor
유관선
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020160131519A priority Critical patent/KR102537598B1/ko
Priority to US15/719,553 priority patent/US10664709B2/en
Priority to DE102017218141.9A priority patent/DE102017218141B4/de
Priority to CN201710942383.8A priority patent/CN107953882B/zh
Publication of KR20180040012A publication Critical patent/KR20180040012A/ko
Application granted granted Critical
Publication of KR102537598B1 publication Critical patent/KR102537598B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G01C21/3694—Output thereof on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

본 발명은 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단부와; 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절하는 조절부와; 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 카메라정보를 퓨전(Fusion)하여 전방물체를 감지하는 물체감지부 및; 전방물체가 존재함을 알림 또는 전방물체와의 충돌위험을 경고하는 알림제공부를 포함하는 운전지원장치에 관한 것이다.

Description

전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법{FRONT MONITORING APPARATUS, DRIVING ASSISTANT APPARATUS USING FRONT MONITORING APPARATUS AND DRIVING ASSISTANT METHOD USING FRONT MONITORING APPARATUS}
본 발명은 차량용 전방감시장치 및 상기 전방감시장치를 이용한 운전지원기술에 관한 것이다.
운전지원장치는 일반적으로 운전자에 의해 제어되는 차량 안에서 운전중인 운전자에게 지원을 제공한다.
일반적인 운전지원장치는 감지된 외부환경에 따라 적절하게 차량의 속도, 조향장치 및 브레이크 등을 포함하는 장치를 제어함으로써 감지된 외부 물체와의 충돌을 방지할 수 있는 제어를 함으로써, 운전자에게 편의뿐만 아니라 사고로부터의 안전까지 제공한다.
일 예를 들어, 운전지원장치는 전방에서 주행하는 타차량을 감지하여 일정간격으로 따라 주행하도록 자차량을 제어하는 SCC(Smart Cruse Control) 및 전방을 포함하는 주변에 위치하는 물체를 감지하여 상기 물체와의 충돌을 방지하도록 자차량을 제어하는 AEB(Automatic Emergency Brake) 등의 기능을 수행한다.
운전지원장치가 이러한 기능을 수행하기 위해서는 외부환경을 정확하게 감지할 수 있는 카메라, 레이더 등의 주변 감지 장치가 필수적이다
이러한 이유에 의해, 운전지원장치는 주변 감지 장치로서, 일반적인 카메라보다는 입체적으로 사물을 감지할 수 있는 스테레오카메라와 레이더를 포함하는 타센서를 같이 사용하여 외부환경을 정확하게 감지한다.
한편, 일반적인 스테레오카메라는 대략 45도의 제한적인 시야각을 가진다. 이에, 스테레오카메라를 사용하는 경우 45도 이내의 물체만을 감지하는 한계가 있다. 또한, 제한적인 시야각에 의해 빠른 속도로 횡방향 이동하는 타차량을 간혹 감지하지 못하는 문제점이 있다.
이러한 배경에서, 본 발명의 목적은, 일 측면에서, 스테레오카메라를 이용하여 전방을 감시하되, 횡방향으로 이동하는 타차량이 존재할 수 있는 교차로에서 45도 이상의 시야각을 가질 수 있는 전방감시장치 및 이를 이용한 운전지원기술을 제공하는 것이다.
일 측면에서, 본 발명은 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단부 및 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절하는 조절부를 포함하는 전방감시장치를 제공한다.
다른 일 측면에서, 본 발명은 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단부와; 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절하는 조절부와; 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 카메라정보를 퓨전(Fusion)하여 전방물체를 감지하는 물체감지부 및; 전방물체가 존재함을 알림 또는 전방물체와의 충돌위험을 경고하는 알림제공부를 포함하는 운전지원장치를 제공한다.
또 다른 일 측면에서, 본 발명은 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단단계와; 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절하는 조절단계와; 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 카메라정보를 퓨전(Fusion)하여 전방물체를 감지하는 물체감지단계 및; 전방물체가 존재함을 알림 또는 전방물체와의 충돌위험을 경고하는 알림제공단계를 포함하는 운전지원방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 스테레오카메라를 이용하여 전방을 감시하되, 교차로에서 45도 이상의 시야각을 가질 수 있는 전방감시장치 및 이를 이용한 운전지원기술을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 판단부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 4a는 본 발명의 일 실시 예에 따른 조절부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 4b는 본 발명의 일 실시 예에 따른 조절부의 동작을 설명하기 위한 다른 일 예를 도시한 도면이다.
도 4c는 본 발명의 일 실시 예에 따른 조절부의 동작을 설명하기 위한 또 다른 일 예를 도시한 도면이다.
도 4d는 본 발명의 일 실시 예에 따른 조절부의 동작을 설명하기 위해 제1시야각 또는 제2시야각의 방향이 조절되기 전과 후를 설명하기 위한 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 다른 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 또 다른 일 예를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 운전지원방법의 흐름도를 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 운전지원장치(100)는 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단부(110)와; 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절하는 조절부(120)와; 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 카메라정보를 퓨전(Fusion)하여 전방물체를 감지하는 물체감지부(130) 및; 전방물체가 존재함을 알림 또는 전방물체와의 충돌위험을 경고하는 알림제공부(140)를 포함할 수 있다.
내비게이션은 크게 다음의 4가지 기능을 수행할 수 있다.
내비게이션은 고유의 위치를 확인할 수 있다. 자세히 설명하면, 내비게이션은 GPS(Global Positioning System)를 이용하여 자동차의 현재 위치를 확인할 수 있으며, 확인된 위치는 주행경로를 계산하기 위한 기초자료로 사용할 수 있다.
또한, 내비게이션은 위치를 전송할 수 있다. 이에, 자동차 고장에 의한 긴급출동 서비스 또는 사고에 의해 구난이 필요할 경우 내비게이션을 이용하여 자동차의 현재 위치를 알려줄 수 있다. 이 외에도 자동차 도난 시에 내비게이션으로부터 전송된 위치를 이용하여 자동차의 위치를 추적할 수 있다.
또한, 내비게이션은 교통상황을 고려하여 목적지까지의 최적 경로를 계산할 수 있다. 일 예를 들어, 운전자가 조작요소들을 조작하여 또는 음성으로 목적지를 입력하면 내비게이션은 자신의 현재 위치를 확인하고, 확인된 현재 위치와 지도메모리의 데이터에 근거하여 목적지까지의 최적경로를 계산할 수 있다. 여기서, TIM(Traffic Information System), RDS(Radio Data System)을 포함하는 다양한 정보통신시스템 또는 인터넷을 통해 수집한 실시간 교통정보를 목적지까지의 거리를 계산하는데 고려할 수도 있다. 상기 실시간 교통정보는 정체구간, 공사구간, 도로차단 등을 포함할 수 있다.
마지막으로, 내비게이션은 계산한 최적경로를 따라 목적지까지 길을 안내할 수 있다. 일반적으로 음성으로 길을 안내하며 도로지도 화면에는 화살표로 현재의 위치를 표시한다. 또한, 설정된 도로를 벗어났을 경우에 즉시 대체경로를 계산하고 안내한다. 더 나아가, 도로정보뿐만 아니라 제한속도 및 기타 다양한 정보도 제공할 수 있다.
이에, 본 발명의 일 실시 예에 따른 판단부(110)는 내비게이션으로부터 얻은 내비정보(차량의 위치정보 및 지도메모리에 포함된 교차로 위치정보)에 기초하여 주행도로가 교차로인지를 판단할 수 있다.
스테레오카메라는 2개의 촬영용 렌즈를 일정 간격 띄워놓고 같은 물체를 촬영하여 2장의 화상을 얻는 특수카메라로서, 상기 2장의 화상을 스테레오 뷰어를 이용하여 입체적인 상을 볼 수 있다. 상기 스테레오 뷰어는 스테레오카메라나 스테레오 어댑터로 촬영한 포지티브 필름일 수 있으며, 상기 2개의 촬영용 렌즈의 간격에 의한 시차로 입체적인 상을 볼 수 있다. 상기 2개의 촬영용 렌즈 각각은 하나의 카메라로서 동작할 수 있다.
이에, 본 발명의 일 실시 예에 따른 판단부(110)는 스테레오카메라로부터 얻은 카메라정보에서 미리 알고 있는 교차로의 특징을 감지함으로써, 주행도로가 교차로인지를 판단할 수 있다. 상기 교차로의 특징은 횡단하는 차량, 복수의 횡단보도 및 횡방향의 차선 중 적어도 하나가 존재함일 수 있다.
본 발명의 일 실시 예에 따른 조절부(120)는 주행도로가 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV; Field Of View)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절할 수 있다.
일 예를 들어, 판단부(110)에서 주행도로가 직진차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절부(120)는 제1카메라 및 제2카메라 중 우회전차로쪽에 위치하는 카메라의 시야각 방향을 우측으로 조절할 수 있다.
다른 일 예를 들어, 판단부(110)에서 주행도로가 직진차로와 좌회전차로를 포함하는 교차로인 것으로 판단하면 조절부(120)는 제1카메라 및 제2카메라 중 좌회전차로쪽에 위치하는 카메라의 시야각을 좌측으로 조절할 수 있다.
또 다른 일 예를 들어, 판단부(110)에서 주행도로가 직진차로, 좌회전차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절부(120)는 제1카메라 및 제2카메라 중 좌회전차로쪽에 위치하는 카메라 및 우회전차로쪽에 위치하는 카메라 각각의 시야각 방향을 좌측 및 우측으로 조절할 수 있다.
전술한 바와 같이 제1시야각 또는 제2시야각의 방향이 조절된 후, 판단부(110)에서 교차로가 아닌 것을 판단되면 조절부(120)는 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다.
자세히 설명하면, 차량이 교차로를 통과하기 전 상태에서 판단부(110)는 차량의 주행도로가 교차로인 것으로 판단하고, 조절부(120)가 제1시야각 또는 제2시야각의 방향을 조절할 수 있다. 이후, 시간이 지나 차량이 교차로를 통과하면 판단부(110)는 차량의 주행도로가 교차로가 아닌 것으로 판단하고, 조절부(120)가 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다.
이와 유사하게 제1시야각 또는 제2시야각의 방향이 조절된 후, 통과시간이 지나면 조절부(120)는 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다. 상기 통과시간은 평균적인 교차로의 거리와 차량의 속도를 이용하여 산출될 수 있다. 이에, 차량의 속도를 감지하는 속도감지부가 더 포함될 수 있다. 이와 달리, 통과시간은 주행도로의 차선개수와 차량의 속도를 이용하여 산출될 수 있다. 이에, 주행도로의 차선개수를 감지하는 차선감지부와 차량의 속도를 감지하는 속도감지부가 더 포함될 수 있다.
전술한 바와 같이 조절부(120)가 제1시야각 또는 제2시야각의 방향을 조절하기 위해, 스테레오카메라에 포함되는 제1카메라 또는 제2카메라의 기구적인 위치를 변경하거나 제1카메라의 렌즈 또는 제2카메라의 렌즈의 위치를 변경할 수 있다.
본 발명의 일 실시 예에 따른 물체감지부(130)는 조절부(120)의 대상이 되는 스테레오카메라로부터 얻은 카메라정보와 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보를 퓨전(Fusion)하여 전방물체를 감지할 수 있다.
카메라정보는 영상정보인 반면, 레이더정보는 수치(Figure)정보일 수 있다. 이에, 근원이 다른 카메라정보와 레이더정보를 퓨전하면 정확하게 물체를 감지할 수 있는 효과가 있다.
본 발명의 일 실시 예에 따른 알림제공부(140)는 물체감지부(130)로부터 전방물체가 감지되면 상기 전방물체가 존재함을 알리거나, 전방물체와의 충돌위험을 경고할 수 있다.
일 예를 들어, 알림제공부(140)는 램프 등을 이용하여 탑승자에게 시각적으로써 알림을 제공할 수 있다. 이에 전방물체가 존재함을 알리는 경우, 알림제공부(140)는 램프를 제어하여 밝기가 작은 광원을 제공하거나 램프의 온오프를 제어하여 깜빡이는 속도가 느린 광원을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 알림제공부(140)는 램프를 제어하여 밝기가 큰 광원을 제공하거나 램프의 온오프를 제어하여 깜빡이는 속도가 빠른 광원을 제공할 수 있다.
또는, 알림제공부(140)는 음향장치 등을 이용하여 탑승자에게 청각적으로 알림을 제공할 수 있다. 이에, 전방물체가 존재함을 알리는 경우, 알림제공부(140)는 음향장치를 제어하여 소리가 작은 음향을 제공하거나, 음향장치의 온오프를 제어하여 빈번도(Frequency)가 적은 음향을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 알림제공부(140)는 음향장치를 제어하여 소리가 큰 음향을 제공하거나, 음향장치의 온오프를 제어하여 빈번도가 많은 음향을 제공할 수 있다.
또는, 알림제공부(140)는 진동장치 등을 이용하여 탑승자에게 촉각적으로 알림을 제공할 수 있다. 이에, 전방물체가 존재함을 알리는 경우, 알림제공부(140)는 진동장치를 제어하여 작은 진동을 제공하거나, 진동장치의 온오프를 제어하여 빈번도가 적은 진동을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 알림제공부(140)는 진동장치를 제어하여 큰 진동을 제공하거나, 진동장치의 온오프를 제어하여 빈번도가 많은 진동을 제공할 수 있다.
이상에서 설명한 바와 같이 동작하는 본 발명의 일 실시 예에 따른 운전지원장치(100)는 차량이 교차로를 주행하는 경우, 넓은 영역을 감시하게 되어 우회전차로 또는 좌회전차로에서 접근하는 차량을 감지할 수 있다. 이에, 일반적인 스테레오카메라의 시야각은 45도 정도인 반면, 본 발명의 일 실시 예에 따른 운전지원장치에 의한 스테레오카메라의 시야각은 조절되는 정도에 따라 45도 이상일 수 있다.
이로써, 본 발명의 일 실시 예에 따른 운전지원장치(100)는 우회전차로 또는 좌회전차로에서 접근하는 차량이 존재함을 운전자에게 알리거나, 상기 차량과의 충돌위험을 운전자에게 경고함으로써 상기 차량과 발생할 수 있는 충돌사고를 예방할 수 있다.
이상에서 설명한 본 발명의 일 실시 예에 따른 운전지원장치의 동작에 대해 이하 도 2 내지 도 7을 이용하여 자세히 설명한다.
도 2는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 판단부가 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단할 수 있다(S200).
상기 내비정보는 차량의 위치정보 및 교차로 위치정보 등의 데이터를 가지는 지도메모리를 포함할 수 있다. 이에, 판단부는 차량의 위치정보와 교차로 위치정보를 비교하여 주행도로가 교차로인지를 판단할 수 있다.
상기 카메라정보는 주행도로에 대한 영상정보일 수 있다. 이에, 판단부는 상기 영상정보에서 미리 알고 있는 교차로의 특징을 검출하여 주행도로가 교차로인지를 판단할 수 있다. 상기 교차로의 특징으로는 횡단하는 차량, 복수의 횡단보도 및 횡방향의 차선 중 적어도 하나가 존재함일 수 있다.
이에 대해, 본 발명의 일 실시 예에 따른 판단부의 동작을 설명하기 위한 일 예를 도시한 도면인 도 3을 이용하여 자세히 설명한다.
도 3을 참조하면, 자차량(310)에 포함되는 본 발명의 일 실시 예에 따른 판단부는 자차량(310)의 전방을 감시하는 스테레오카메라로부터 얻은 카메라정보에서 횡단하는 타차량(321, 323)이 검출되면 주행도로가 교차로임을 판단할 수 있다. 횡단하는 타차량(321, 323)을 검출하는 방법으로는 미리 알고 있는 타차량의 옆면에 대한 특징에 기초할 수 있다. 상기 타차량의 옆면에 대한 특징은 타차량 옆면의 형상을 가지거나, 또는 2개 또는 3개의 타이어 형상을 가지는 것일 수 있다.
또는, 자차량(310)에 포함되는 본 발명의 일 실시 예에 따른 판단부는 자차량(310)의 전방을 감시하는 스테레오카메라로부터 얻은 카메라정보에서 복수의 횡단보도(331, 333, 335 및 337 중 적어도 둘 이상)가 검출되면 주행도로가 교차로임을 판단할 수 있다. 횡단보도(331, 333, 335 및 337)를 검출하는 방법으로는 미리 알고 있는 횡단보도의 특징에 기초할 수 있다. 상기 횡단보도의 특징은 일정한 흰색 선이 일정한 간격으로 배치되는 것일 수 있다.
또는, 자차량(310)에 포함되는 본 발명의 일 실시 예에 따른 판단부는 자차량(310)의 전방을 감시하는 스테레오카메라로부터 얻은 카메라정보에서 횡방향의 차선(341, 343, 345, 347 및 349 중 적어도 하나)가 검출되면 주행도로가 교차로임을 판단할 수 있다. 횡방향의 차선(341, 343, 345, 347 및 349)을 검출하는 방법으로는 검출된 차선이 횡방향으로 그어져 있는지를 확인하는 것일 수 있다. 상기 횡방향은 종방향인 자차량(310)의 전방에 대응하는 방향일 수 있다.
S200 단계에서 주행도로가 교차로인 것으로 판단되면(YES), 본 발명의 일 실시 예에 따른 조절부가 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 상기 제1시야각 또는 상기 제2시야각의 방향을 조절할 수 있다(S210).
이에 대해, 본 발명의 일 실시 예에 따른 조절부의 동작을 설명하기 위한 일 예, 다른 일 예 및 또 다른 일 예인 도 4a, 도 4b 및 도 4c를 이용하여 자세히 설명한다.
또한, 본 발명의 일 실시 예에 따른 조절부의 동작을 설명하기 위해 제1시야각 또는 제2시야각의 방향이 조절되기 전과 후를 설명하기 위한 일 예를 도시한 도면인 도 4d를 이용하여 자세히 설명한다.
도 4에서 (A)는 자차량(310)이 도로를 주행하는 경우에 대한 예이고, (B)는 자차량(310)에 포함된 본 발명의 일 실시 예에 따른 판단부가 사용하는 카메라정보를 제공하는 스테레오카메라를 도시한다.
도 4a를 참조하면, S200 단계에서 복수의 횡단보도(331a, 333a 및 335a)를 검출하거나, 횡방향의 차선(341a, 343a, 345a, 347a 및 349a)을 검출하여 주행도로가 직진차로와 좌회전차로를 포함하는 교차로인 것으로 판단하면, 조절부는 제1카메라(410) 및 제2카메라(420) 중 좌회전차로쪽에 위치하는 카메라인 제1카메라(410)의 시야각(411a) 방향을 좌측으로 조절할 수 있다. 이와 달리, 제2카메라(420)의 시야각(421a) 방향은 스테레오카메라의 초기 방향으로 유지한다.
도 4b를 참조하면, S200 단계에서 복수의 횡단보도(331b, 335b 및 337b)를 검출하거나, 횡방향의 차선(341b, 343b, 345b, 347b 및 349b)을 검출하여 주행도로가 직진차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절부는 우회전차로쪽에 위치하는 카메라인 제2카메라(420)의 시야각(421b)을 우측으로 조절할 수 있다. 이와 달리, 제1카메라(410)의 시야각(411b) 방향은 스테레오카메라의 초기 방향으로 유지한다.
도 4c를 참조하면, S200 단계에서 복수의 횡단보도(331c, 333c, 335c 및 337c)를 검출하거나, 횡방향의 차선(341c, 343c, 345c, 347c 및 349c)을 검출하여 주행도로가 직진차로, 좌회전차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절부는 좌회전차로쪽에 위치하는 카메라인 제1카메라(410)의 시야각(411c)을 좌측으로 조절하고, 우회전차로쪽에 위치하는 카메라인 제2카메라(420)의 시야각(421c)을 우측으로 조절할 수 있다.
도 4a 내지 도 4c에서 도시된 바와 같이, 본 발명의 일 실시 예에 따른 운전지원장치에 의하면, 주행도로가 교차로인 경우 스테레오카메라는 넓은 시야각을 가질 수 있다.
다시 말해, 도 4d에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 운전지원장치에 의하면, 주행도로가 교차로인 것으로 판단되면; 스테레오카메라는 (C)와 같은 시야각에서 (D-1), (D-2) 또는 (D-3) 중 하나의 시야각을 가질 수 있다.
S200 단계에서 주행도로가 교차로가 아닌 것으로 판단되거나, 또는 S200 단계에서 주행도로가 교차로인 것으로 판단되고 S210 단계에서 제1시야각 또는 제2시야각의 방향이 조절되면, 본 발명의 일 실시 예에 따른 물체감지부가 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 S210 단계에서 시야각이 조절되거나 또는 시야각이 유지된 스테레오카메라로부터 얻은 카메라정보를 퓨전하여 전방물체를 감지할 수 있다(S220).
하나의 정보에 기초하여 물체를 감지함에 있어, 외부조건 또는 내부조건 등이 발생하면 정확도가 떨어지는 문제점이 있는데, 이는 복수의 정보를 기초하여 물체를 감지함으로써 해결될 수 있다. 즉, S220 단계는 상기 문제점을 해결하기 위한 방법일 수 있다.
이후, 본 발명의 일 실시 예에 따른 알림제공부는 S220 단계를 통해 감지된 전방물체가 존재함을 알리거나, 상기 전방물체와의 충돌위험을 경고할 수 있다(S230).
일 예를 들어, 230 단계는 램프 등을 이용하여 탑승자에게 시각적으로써 알림을 제공할 수 있다. 이에 전방물체가 존재함을 알리는 경우, 램프를 제어하여 밝기가 작은 광원을 제공하거나 램프의 온오프를 제어하여 깜빡이는 속도가 느린 광원을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 램프를 제어하여 밝기가 큰 광원을 제공하거나 램프의 온오프를 제어하여 깜빡이는 속도가 빠른 광원을 제공할 수 있다.
또는, 230 단계는 음향장치 등을 이용하여 탑승자에게 청각적으로 알림을 제공할 수 있다. 이에, 전방물체가 존재함을 알리는 경우, 음향장치를 제어하여 소리가 작은 음향을 제공하거나, 음향장치의 온오프를 제어하여 빈번도(Frequency)가 적은 음향을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 음향장치를 제어하여 소리가 큰 음향을 제공하거나, 음향장치의 온오프를 제어하여 빈번도가 많은 음향을 제공할 수 있다.
또는, 230 단계는 진동장치 등을 이용하여 탑승자에게 촉각적으로 알림을 제공할 수 있다. 이에, 전방물체가 존재함을 알리는 경우, 진동장치를 제어하여 작은 진동을 제공하거나, 진동장치의 온오프를 제어하여 빈번도가 적은 진동을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 진동장치를 제어하여 큰 진동을 제공하거나, 진동장치의 온오프를 제어하여 빈번도가 많은 진동을 제공할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 다른 일 예를 도시한 도면이다.
본 발명의 일 실시 예에 따른 조절부는 제1시야각 또는 제2시야각의 방향을 조절한 후, 교차로가 아닌 것으로 판단되면 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다. 이를 위해, 다음 도 5와 같이 동작하도록 설정될 수 있다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 운전지원장치는 제1주기 동작에서 도 2에 도시된 바와 같은 S200 단계 내지 S230 단계를 수행할 수 있다.
전술한 바와 같이 제1주기 동작을 수행한 후, 본 발명의 일 실시 예에 따른 판단부가 S200 단계와 동일하게 주행도로가 교차로인지를 판단할 수 있다(S500).
S500 단계에서 주행도로가 교차로가 아닌 것으로 판단되면(NO), 본 발명의 일 실시 예에 따른 조절부가 이전주기 동작에서 제1시야각 또는 제2시야각의 방향이 조절되었는지 판단할 수 있다(S510).
S510 단계에서 제1시야각 또는 제2시야각의 방향이 조절된 것으로 판단되면(YES), 조절부는 이전주기 동작에서 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다(S520). 즉, 도 4d에 도시된 바와 같이, 이전주기 동작에서 (D-1), (D-2) 또는 (D-3)와 같이 제1시야각 또는 제2시야각의 방향이 조절된 스테레오카메라를 원상태인 (C)와 같이 되돌릴 수 있다.
S520 단계가 수행됨으로써, 스테레오카메라는 교차로가 아닌 주행도로에서 본래의 기능(입체적인 상 획득)을 수행할 수 있다.
만약, S500 단계에서 주행도로가 교차로인 것으로 판단되면(YES), 조절부가 이전주기 동작에서 제1시야각 또는 제2시야각의 방향이 조절되었는지 판단할 수 있다(S530).
S530 단계에서 제1시야각 또는 제2시야각의 방향이 조절된 것으로 판단되면(YES), 조절부는 이전주기 동작에서 조절된 제1시야각 또는 제2시야각의 방향을 유지할 수 있다(S540).
이와 달리, S530 단계에서 제1시야각 또는 제2시야각의 방향이 조절되지 않는 것으로 판단되면(NO), 조절부는 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 상기 제1시야각 또는 상기 제2시야각의 방향을 조절할 수 있다(S550).
상기 S540 단계 및 S550 단계가 수행되면 다음주기로서 S220 단계, S230 단계, S500 단계 내지 S550 단계를 수행할 수 있다.
도 5와 같이 동작하는 본 발명의 일 실시 예에 따른 운전지원장치는 교차로에서는 넓은 영역을 감시하도록 스테레오카메라의 시야각을 조절하고, 교차로를 지나면 스테레오카메라의 시야각을 원상태로 되돌려, 전방물체를 입체적으로 감지하는 기능을 능동적으로 수행할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 또 다른 일 예를 도시한 도면이다.
본 발명의 일 실시 예에 따른 조절부는 제1시야각 또는 제2시야각의 방향을 조절한 후, 통과시간이 지나면 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다. 이를 위해 다음의 도 6과 같이 동작하도록 설정될 수 있다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 운전지원장치는 도 2에 도시된 바와 같이 S200 단계 내지 S230 단계를 수행하고, 조절부는 교차로 통과시간이 지나면 S210 단계에서 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다(S600). 즉, 도 4d에 도시된 바와 같이, 이전주기 동작에서 (D-1), (D-2) 또는 (D-3)와 같이 제1시야각 또는 제2시야각의 방향이 조절된 스테레오카메라를 원상태인 (C)와 같이 되돌릴 수 있다.
상기 통과시간은, 평균적인 교차로의 거리와 차량의 속도를 이용하여 산출될 수 있다. 이에, 차량의 속도를 감지하는 속도감지부가 더 포함될 수 있다. 또는, 통과시간은 주행도로의 차선개수와 차량의 속도를 이용하여 산출될 수 있다. 이에, 주행도로의 차선개수를 감지하는 차선감지부와 차량의 속도를 감지하는 속도감지부가 더 포함될 수 있다.
도 1 내지 도 6을 이용하여 설명한 바와 같이 동작하는 본 발명의 일 실시 예에 따른 운전지원장치는 차량이 교차로를 주행하는 경우, 넓은 영역을 감시하게 되어 우회전차로 또는 좌회전차로에서 접근하는 차량을 감지할 수 있다. 이에, 일반적인 스테레오카메라의 시야각은 45도 정도인 반면, 본 발명의 일 실시 예에 따른 운전지원장치에 의한 스테레오카메라의 시야각은 조절되는 정도에 따라 45도 이상일 수 있다.
이로써, 본 발명의 일 실시 예에 따른 운전지원장치는 우회전차로 또는 좌회전차로에서 접근하는 차량이 존재함을 감지하여 운전자에게 알리거나, 상기 차량과의 충돌위험을 운전자에게 경고함으로써 상기 차량과 발생할 수 있는 충돌사고를 예방할 수 있다.
이상에서 설명한 본 발명의 일 실시 예에 따른 운전지원장치의 판단부 및 조절부를 포함하는 본 발명의 일 실시 예에 따른 전방감시장치에 대해 간략하게 설명한다.
본 발명의 일 실시 예에 따른 전방감시장치는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단부 및 교차로인 것으로 판단되면, 상기 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 상기 제1시야각 또는 상기 제2시야각의 방향을 조절하는 조절부를 포함할 수 있다.
스테레오카메라는 2개의 촬영용 렌즈를 일정 간격 띄워놓고 같은 물체를 촬영하여 2장의 화상을 얻는 특수카메라로서, 상기 2장의 화상을 스테레오 뷰어를 이용하여 입체적인 상을 볼 수 있다. 상기 스테레오 뷰어는 스테레오카메라나 스테레오 어댑터로 촬영한 포지티브 필름일 수 있으며, 상기 2개의 촬영용 렌즈의 간격에 의한 시차로 입체적인 상을 볼 수 있는 것이다. 상기 2개의 촬영용 렌즈 각각은 하나의 카메라로서 동작할 수 있다.
이에, 본 발명의 일 실시 예에 따른 전방감시장치의 판단부는 스테레오카메라로부터 얻은 카메라정보에서 미리 알고 있는 교차로의 특징을 감지함으로써, 주행도로가 교차로인지를 판단할 수 있다. 상기 교차로의 특징으로는 횡단하는 차량, 복수의 횡단보도 및 횡방향의 차선 중 적어도 하나의 존재함일 수 있다.
본 발명의 일 실시 예에 따른 전방감시장치의 조절부는 주행도로가 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV; Field Of View)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절할 수 있다.
일 예를 들어, 판단부에서 주행도로가 직진차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절부는 제1카메라 및 제2카메라 중 우회전차로쪽에 위치하는 카메라의 시야각 방향을 우측으로 조절할 수 있다.
다른 일 예를 들어, 판단부에서 주행도로가 직진차로와 좌회전차로를 포함하는 교차로인 것으로 판단하면 조절부는 제1카메라 및 제2카메라 중 좌회전차로쪽에 위치하는 카메라의 시야각을 좌측으로 조절할 수 있다.
또 다른 일 예를 들어, 판단부에서 주행도로가 직진차로, 좌회전차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절부는 제1카메라 및 제2카메라 중 좌회전차로쪽에 위치하는 카메라 및 우회전차로쪽에 위치하는 카메라 각각의 시야각 방향을 좌측 및 우측으로 조절할 수 있다.
전술한 바와 같이 제1시야각 또는 제2시야각의 방향이 조절된 후, 판단부에서 교차로가 아닌 것을 판단되면 조절부는 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다.
자세히 설명하면, 차량이 교차로를 통과하기 전 상태에서 판단부는 차량의 주행도로가 교차로인 것으로 판단하고, 조절부가 제1시야각 또는 제2시야각의 방향을 조절할 수 있다. 이후, 시간이 지나 차량이 교차로를 통과하면 판단부는 차량의 주행도로가 교차로가 아닌 것으로 판단하고, 조절부가 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다.
이와 유사하게 제1시야각 또는 제2시야각의 방향이 조절된 후, 통과시간이 지나면 조절부는 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다. 상기 통과시간은 평균적인 교차로의 거리와 차량의 속도를 이용하여 산출될 수 있다. 이에, 차량의 속도를 감지하는 속도감지부가 더 포함될 수 있다.
또는, 통과시간은 주행도로의 차선개수와 차량의 속도를 이용하여 산출될 수 있다. 이에, 주행도로의 차선개수를 감지하는 차선감지부와 차량의 속도를 감지하는 속도감지부가 더 포함될 수 있다.
전술한 바와 같이 조절부가 제1시야각 또는 제2시야각의 방향을 조절하기 위해, 스테레오카메라에 포함되는 제1카메라 또는 제2카메라의 기구적인 위치를 변경하거나, 제1카메라의 렌즈 또는 제2카메라의 렌즈의 위치를 변경할 수 있다.
전술한 바와 같이 동작하는 본 발명의 일 실시 예에 따른 전방감시장치는 주행도로가 교차로인 경우 넓은 감시영역을 가지게 되어, 우회전차로 또는 좌회전차로에서 접근하는 타차량을 감지할 수 있는 효과가 있다.
이하에서는 도 1 내지 도 6을 이용하여 설명한 운전지원장치가 수행하는 동작인 운전지원방법에 대해서 간략하게 설명한다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 운전지원방법은 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단단계(S700)와; 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절하는 조절단계(S710)와; 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 카메라정보를 퓨전(Fusion)하여 전방물체를 감지하는 물체감지단계(S720) 및; 전방물체가 존재함을 알림 또는 전방물체와의 충돌위험을 경고하는 알림제공단계(S730)를 포함할 수 있다.
내비게이션은 크게 다음의 4가지 기능을 수행할 수 있다.
내비게이션은 고유의 위치를 확인할 수 있다. 자세히 설명하면, 내비게이션은 GPS(Global Positioning System)를 이용하여 자동차의 현재 위치를 확인할 수 있으며, 확인된 위치는 주행경로를 계산하기 위한 기초자료로 사용할 수 있다.
또한, 내비게이션은 위치를 전송할 수 있다. 이에, 자동차 고장에 의한 긴급출동 서비스 또는 사고에 의해 구난이 필요할 경우 내비게이션을 이용하여 자동차의 현재 위치를 알려줄 수 있다. 이 외에도 자동차 도난 시에 내비게이션으로부터 전송된 위치를 이용하여 자동차의 위치를 추적할 수 있다.
또한, 내비게이션은 교통상황을 고려하여 목적지까지의 최적 경로를 계산할 수 있다. 일 예를 들어, 운전자가 조작요소들을 조작하여 또는 음성으로 목적지를 입력하면 내비게이션은 자신의 현재 위치를 확인하고, 확인된 현재 위치와 지도메모리의 데이터에 근거하여 목적지까지의 최적경로를 계산할 수 있다. 여기서, TIM(Traffic Information System), RDS(Radio Data System)을 포함하는 다양한 정보통신시스템 또는 인터넷을 통해 수집한 실시간 교통정보를 목적지까지의 거리를 계산하는데 고려할 수도 있다. 상기 실시간 교통정보는 정체구간, 공사구간, 도로차단 등을 포함할 수 있다.
마지막으로, 내비게이션은 계산한 최적경로를 따라 목적지까지 길을 안내할 수 있다. 일반적으로 음성으로 길을 안내하며 도로지도 화면에는 화살표로 현재의 위치를 표시한다. 또한, 설정된 도로를 벗어났을 경우에 즉시 대체경로를 계산하고 안내한다. 더 나아가, 도로정보뿐만 아니라 제한속도 및 기타 다양한 정보도 제공할 수 있다.
이에, 본 발명의 일 실시 예에 따른 판단단계(S700)는 내비게이션으로부터 얻은 내비정보(차량의 위치정보 및 지도메모리에 포함된 교차로 위치정보)에 기초하여 주행도로가 교차로인지를 판단할 수 있다.
스테레오카메라는 2개의 촬영용 렌즈를 일정 간격 띄워놓고 같은 물체를 촬영하여 2장의 화상을 얻는 특수카메라로서, 상기 2장의 화상을 스테레오 뷰어를 이용하여 입체적인 상을 볼 수 있다. 상기 스테레오 뷰어는 스테레오카메라나 스테레오 어댑터로 촬영한 포지티브 필름일 수 있으며, 상기 2개의 촬영용 렌즈의 간격에 의한 시차로 입체적인 상을 볼 수 있다. 상기 2개의 촬영용 렌즈 각각은 하나의 카메라로서 동작할 수 있다.
이에, 본 발명의 일 실시 예에 따른 판단단계(S700)는 스테레오카메라로부터 얻은 카메라정보에서 미리 알고 있는 교차로의 특징을 감지함으로써, 주행도로가 교차로인지를 판단할 수 있다. 상기 교차로의 특징은 횡단하는 차량, 복수의 횡단보도 및 횡방향의 차선 중 적어도 하나가 존재함일 수 있다.
본 발명의 일 실시 예에 따른 조절단계(S710)는 주행도로가 교차로인 것으로 판단되면, 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV; Field Of View)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 제1시야각 또는 제2시야각의 방향을 조절할 수 있다.
일 예를 들어, 판단단계(S700)에서 주행도로가 직진차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절단계(S710)는 제1카메라 및 제2카메라 중 우회전차로쪽에 위치하는 카메라의 시야각 방향을 우측으로 조절할 수 있다.
다른 일 예를 들어, 판단단계(S700)에서 주행도로가 직진차로와 좌회전차로를 포함하는 교차로인 것으로 판단하면 조절단계(S710)는 제1카메라 및 제2카메라 중 좌회전차로쪽에 위치하는 카메라의 시야각을 좌측으로 조절할 수 있다.
또 다른 일 예를 들어, 판단단계(S700)에서 주행도로가 직진차로, 좌회전차로와 우회전차로를 포함하는 교차로인 것으로 판단하면 조절단계(S710)는 제1카메라 및 제2카메라 중 좌회전차로쪽에 위치하는 카메라 및 우회전차로쪽에 위치하는 카메라 각각의 시야각 방향을 좌측 및 우측으로 조절할 수 있다.
전술한 바와 같이 제1시야각 또는 제2시야각의 방향이 조절된 후, 판단단계(S700)에서 교차로가 아닌 것을 판단되면 조절단계(S710)는 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다.
자세히 설명하면, 차량이 교차로를 통과하기 전 상태에서 판단단계(S700)는 차량의 주행도로가 교차로인 것으로 판단하고, 조절단계(S700)가 제1시야각 또는 제2시야각의 방향을 조절할 수 있다. 이후, 시간이 지나 차량이 교차로를 통과하면 판단단계(S700)는 차량의 주행도로가 교차로가 아닌 것으로 판단하고, 조절단계(S710)가 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다.
이와 유사하게 제1시야각 또는 제2시야각의 방향이 조절된 후, 통과시간이 지나면 조절단계(S710)는 조절된 제1시야각 또는 제2시야각의 방향을 원상태로 되돌릴 수 있다. 상기 통과시간은 평균적인 교차로의 거리와 차량의 속도를 이용하여 산출될 수 있다. 이에, 차량의 속도를 감지하는 속도감지단계가 더 포함될 수 있다. 이와 달리, 통과시간은 주행도로의 차선개수와 차량의 속도를 이용하여 산출될 수 있다. 이에, 주행도로의 차선개수를 감지하는 차선감지단계와 차량의 속도를 감지하는 속도감지단계가 더 포함될 수 있다.
전술한 바와 같이 조절단계(S710)가 제1시야각 또는 제2시야각의 방향을 조절하기 위해, 스테레오카메라에 포함되는 제1카메라 또는 제2카메라의 기구적인 위치를 변경하거나 제1카메라의 렌즈 또는 제2카메라의 렌즈의 위치를 변경할 수 있다.
본 발명의 일 실시 예에 따른 물체감지단계(S720)는 조절단계(S710)의 대상이 되는 스테레오카메라로부터 얻은 카메라정보와 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보를 퓨전(Fusion)하여 전방물체를 감지할 수 있다.
카메라정보는 영상정보인 반면, 레이더정보는 수치(Figure)정보일 수 있다. 이에, 근원이 다른 카메라정보와 레이더정보를 퓨전하면 정확하게 물체를 감지할 수 있는 효과가 있다.
본 발명의 일 실시 예에 따른 알림제공단계(S730)는 물체감지단계(S720)에서 전방물체가 감지되면 상기 전방물체가 존재함을 알리거나, 전방물체와의 충돌위험을 경고할 수 있다.
일 예를 들어, 알림제공단계(S730)는 램프 등을 이용하여 탑승자에게 시각적으로써 알림을 제공할 수 있다. 이에 전방물체가 존재함을 알리는 경우, 알림제공단계(S730)는 램프를 제어하여 밝기가 작은 광원을 제공하거나 램프의 온오프를 제어하여 깜빡이는 속도가 느린 광원을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 알림제공단계(S730)는 램프를 제어하여 밝기가 큰 광원을 제공하거나 램프의 온오프를 제어하여 깜빡이는 속도가 빠른 광원을 제공할 수 있다.
또는, 알림제공단계(S730)는 음향장치 등을 이용하여 탑승자에게 청각적으로 알림을 제공할 수 있다. 이에, 전방물체가 존재함을 알리는 경우, 알림제공단계(S730)는 음향장치를 제어하여 소리가 작은 음향을 제공하거나, 음향장치의 온오프를 제어하여 빈번도(Frequency)가 적은 음향을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 알림제공단계(S730)는 음향장치를 제어하여 소리가 큰 음향을 제공하거나, 음향장치의 온오프를 제어하여 빈번도가 많은 음향을 제공할 수 있다.
또는, 알림제공단계(S730)는 진동장치 등을 이용하여 탑승자에게 촉각적으로 알림을 제공할 수 있다. 이에, 전방물체가 존재함을 알리는 경우, 알림제공단계(S730)는 진동장치를 제어하여 작은 진동을 제공하거나, 진동장치의 온오프를 제어하여 빈번도가 적은 진동을 제공할 수 있다. 이와 달리, 전방물체와의 충돌위험을 경고하는 경우, 알림제공단계(S730)는 진동장치를 제어하여 큰 진동을 제공하거나, 진동장치의 온오프를 제어하여 빈번도가 많은 진동을 제공할 수 있다.
이상에서 설명한 바와 같이 동작하는 본 발명의 일 실시 예에 따른 운전지원방법은 차량이 교차로를 주행하는 경우, 넓은 영역을 감시하게 되어 우회전차로 또는 좌회전차로에서 접근하는 차량을 감지할 수 있다. 이에, 일반적인 스테레오카메라의 시야각은 45도 정도인 반면, 본 발명의 일 실시 예에 따른 운전지원방법에 의한 스테레오카메라의 시야각은 조절되는 정도에 따라 45도 이상일 수 있다.
이로써, 본 발명의 일 실시 예에 따른 운전지원방법은 우회전차로 또는 좌회전차로에서 접근하는 차량이 존재함을 운전자에게 알리거나, 상기 차량과의 충돌위험을 운전자에게 경고함으로써 상기 차량과 발생할 수 있는 충돌사고를 예방할 수 있다.
이 외에도 본 발명의 운전지원방법은 도 1 내지 도 6에 기초하여 설명한 본 발명의 운전지원장치가 수행하는 각 동작을 모두 수행할 수 있다.
이상에서의 설명 및 첨부된 도면은 본 발명의 기술 사상을 예시적으로 나타낸 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 구성의 결합, 분리, 치환 및 변경 등의 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단부;
    교차로인 것으로 판단되면, 상기 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 상기 제1시야각 또는 상기 제2시야각의 방향을 조절하는 조절부;
    상기 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 상기 카메라정보를 퓨전(Fusion)하여 전방물체를 감지하는 물체감지부; 및
    상기 전방물체가 존재함을 알림 또는 상기 전방물체와의 충돌위험을 경고하는 알림제공부를 포함하고,
    상기 교차로가 직진차로와 좌회전차로를 포함하는 차로로 판단되면,
    상기 조절부는, 상기 제1카메라 및 상기 제2카메라 중 상기 좌회전차로쪽에 위치하는 카메라의 시야각 방향을 좌측으로 조절하고,
    상기 교차로가 직진차로와 우회전차로를 포함하는 차로로 판단되면,
    상기 조절부는, 상기 제1카메라 및 상기 제2카메라 중 상기 우회전차로쪽에 위치하는 카메라의 시야각 방향을 우측으로 조절하고,
    상기 교차로는 직진차로, 좌회전차로와 우회전차로를 포함하는 차로로 판단되면, 상기 조절부는, 상기 제1카메라 및 상기 제2카메라 중 상기 좌회전차로쪽에 위치하는 카메라 및 우회전차로쪽에 위치하는 카메라 각각의 시야각 방향을 좌측 및 우측으로 조절하는 운전지원장치.
  2. 제 1항에 있어서,
    상기 판단부는,
    상기 카메라정보에서 횡단하는 차량을 감지하면 상기 주행도로가 교차로인 것으로 판단하는 운전지원장치.
  3. 제 1항에 있어서,
    상기 판단부는,
    상기 카메라정보에서 복수의 횡단보도를 감지하면 상기 주행도로가 교차로인 것으로 판단하는 운전지원장치.
  4. 제 1항에 있어서,
    상기 판단부는,
    상기 카메라정보에서 횡방향의 차선을 감지하면 상기 주행도로가 교차로인 것으로 판단하는 운전지원장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 1항에 있어서,
    상기 조절부는,
    상기 제1시야각 또는 상기 제2시야각의 방향을 조절한 후, 교차로가 아닌 것으로 판단되면 조절된 상기 제1시야각 또는 상기 제2시야각의 방향을 원상태로 되돌리는 운전지원장치.
  9. 제 1항에 있어서,
    상기 조절부는,
    상기 제1시야각 또는 상기 제2시야각의 방향을 조절한 후, 통과시간이 지나면 조절된 상기 제1시야각 또는 상기 제2시야각의 방향을 원상태로 되돌리는 운전지원장치.
  10. 제 9항에 있어서,
    차량속도를 감지하는 속도감지부;
    상기 카메라정보에 기초하여 주행도로의 차선개수를 감지하는 차선감지부를 더 포함하고,
    상기 통과시간은 상기 차량속도와 상기 차선개수에 기초하여 산출되는 운전지원장치.
  11. 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단부; 및
    교차로인 것으로 판단되면, 상기 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 상기 제1시야각 또는 상기 제2시야각의 방향을 조절하는 조절부를 포함하고,
    상기 교차로가 직진차로와 좌회전차로를 포함하는 차로로 판단되면,
    상기 조절부는, 상기 제1카메라 및 상기 제2카메라 중 상기 좌회전차로쪽에 위치하는 카메라의 시야각 방향을 좌측으로 조절하고,
    상기 교차로가 직진차로와 우회전차로를 포함하는 차로로 판단되면,
    상기 조절부는, 상기 제1카메라 및 상기 제2카메라 중 상기 우회전차로쪽에 위치하는 카메라의 시야각 방향을 우측으로 조절하고,
    상기 교차로는 직진차로, 좌회전차로와 우회전차로를 포함하는 차로로 판단되면, 상기 조절부는, 상기 제1카메라 및 상기 제2카메라 중 상기 좌회전차로쪽에 위치하는 카메라 및 우회전차로쪽에 위치하는 카메라 각각의 시야각 방향을 좌측 및 우측으로 조절하는 전방감시장치.
  12. 제 11항에 있어서,
    상기 조절부는,
    상기 제1시야각 또는 상기 제2시야각의 방향을 조절한 후, 교차로가 아닌 것으로 판단되면 조절된 상기 제1시야각 또는 상기 제2시야각의 방향을 원상태로 되돌리는 전방감시장치.
  13. 제 11항에 있어서,
    상기 조절부는,
    상기 제1시야각 또는 상기 제2시야각의 방향을 조절한 후, 통과시간이 지나면 조절된 상기 제1시야각 또는 상기 제2시야각의 방향을 원상태로 되돌리는 전방감시장치.
  14. 내비게이션으로부터 얻은 내비정보 또는 차량의 전방을 감시하는 스테레오(Stereo)카메라로부터 얻은 카메라정보를 통해 주행도로가 교차로인지를 판단하는 판단단계;
    교차로인 것으로 판단되면, 상기 스테레오카메라에 포함되는 제1카메라 및 제2카메라 각각의 시야각(FOV)인 제1시야각과 제2시야각의 중첩된 면적이 감소하도록 상기 제1시야각 또는 상기 제2시야각의 방향을 조절하는 조절단계;
    상기 차량의 전방을 감시하는 레이더로부터 얻은 레이더정보와 상기 카메라정보를 퓨전(Fusion)하여 전방물체를 감지하는 물체감지단계; 및
    상기 전방물체가 존재함을 알림 또는 상기 전방물체와의 충돌위험을 경고하는 알림제공단계를 포함하고,
    상기 조절단계는,
    상기 교차로가 직진차로와 좌회전차로를 포함하는 차로로 판단되면,
    상기 제1카메라 및 상기 제2카메라 중 상기 좌회전차로쪽에 위치하는 카메라의 시야각 방향을 좌측으로 조절하고,
    상기 교차로가 직진차로와 우회전차로를 포함하는 차로로 판단되면,
    상기 제1카메라 및 상기 제2카메라 중 상기 우회전차로쪽에 위치하는 카메라의 시야각 방향을 우측으로 조절하고,
    상기 교차로가 직진차로, 좌회전차로와 우회전차로를 포함하는 차로로 판단되면, 상기 제1카메라 및 상기 제2카메라 중 상기 좌회전차로쪽에 위치하는 카메라 및 우회전차로쪽에 위치하는 카메라 각각의 시야각 방향을 좌측 및 우측으로 조절하는 운전지원방법.
  15. 제 14항에 있어서,
    상기 조절단계는,
    상기 제1시야각 또는 상기 제2시야각의 방향을 조절한 후, 교차로가 아닌 것으로 판단되면 조절된 상기 제1시야각 또는 상기 제2시야각의 방향을 원상태로 되돌리는 운전지원방법.
  16. 제 14항에 있어서,
    상기 조절단계는,
    상기 제1시야각 또는 상기 제2시야각의 방향을 조절한 후, 통과시간이 지나면 조절된 상기 제1시야각 또는 상기 제2시야각의 방향을 원상태로 되돌리는 운전지원방법.
  17. 제 16항에 있어서,
    차량속도를 감지하는 속도감지단계;
    상기 카메라정보에 기초하여 주행도로의 차선개수를 감지하는 차선감지단계를 더 포함하고,
    상기 통과시간은 상기 차량속도와 상기 차선개수에 기초하여 산출되는 운전지원방법.
KR1020160131519A 2016-10-11 2016-10-11 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법 KR102537598B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160131519A KR102537598B1 (ko) 2016-10-11 2016-10-11 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
US15/719,553 US10664709B2 (en) 2016-10-11 2017-09-29 Driving assistant apparatus using front monitoring apparatus and driving assistant method using front monitoring apparatus
DE102017218141.9A DE102017218141B4 (de) 2016-10-11 2017-10-11 Fahrunterstützungsvorrichtung unter verwendung einer frontüberwachungsvorrichtung und fahrunterstützungsverfahren unter verwendung einer frontüberwachungsvorrichtung
CN201710942383.8A CN107953882B (zh) 2016-10-11 2017-10-11 使用前方监测设备的驾驶辅助设备和驾驶辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160131519A KR102537598B1 (ko) 2016-10-11 2016-10-11 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법

Publications (2)

Publication Number Publication Date
KR20180040012A KR20180040012A (ko) 2018-04-19
KR102537598B1 true KR102537598B1 (ko) 2023-06-01

Family

ID=61764641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160131519A KR102537598B1 (ko) 2016-10-11 2016-10-11 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법

Country Status (4)

Country Link
US (1) US10664709B2 (ko)
KR (1) KR102537598B1 (ko)
CN (1) CN107953882B (ko)
DE (1) DE102017218141B4 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
US10969785B2 (en) * 2017-07-24 2021-04-06 Motional Ad Llc Automated vehicle operation to compensate for sensor field-of-view limitations
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
US10974732B2 (en) 2019-01-04 2021-04-13 Toyota Motor Engineering & Manufacturing North America, Inc. System, method, and computer-readable storage medium for traffic intersection navigation
CN110428662A (zh) * 2019-08-23 2019-11-08 玖安智能科技(杭州)有限公司 基于毫米波的右侧防撞智能预警管理系统及工作方法
JP7283413B2 (ja) * 2020-02-17 2023-05-30 株式会社デンソー 車載用の計測装置ユニットおよび車載用の計測装置ユニットにおける統合データ生成方法
WO2021215559A1 (ko) * 2020-04-23 2021-10-28 엘지전자 주식회사 차량을 모니터링하는 방법 및 장치
US20220058825A1 (en) * 2020-08-18 2022-02-24 Here Global B.V. Attention guidance for correspondence labeling in street view image pairs
KR20220078772A (ko) * 2020-12-03 2022-06-13 현대모비스 주식회사 차량의 교차로 주행 제어 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008001179A (ja) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp 車載運転支援カメラ装置
JP2009053732A (ja) * 2007-08-23 2009-03-12 Nissan Motor Co Ltd 停止目標位置検出装置及び停止目標位置検出方法
JP2010061567A (ja) * 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
JP5565203B2 (ja) * 2010-08-20 2014-08-06 アイシン・エィ・ダブリュ株式会社 交差点情報取得装置、交差点情報取得方法及びコンピュータプログラム
JP5994865B2 (ja) * 2012-11-27 2016-09-21 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432801B2 (ja) 2005-03-02 2010-03-17 株式会社デンソー 運転支援装置
KR100819047B1 (ko) * 2006-11-27 2008-04-02 한국전자통신연구원 교차로 중심선 예측 장치 및 방법
US9302678B2 (en) * 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
CN101369312B (zh) 2007-08-17 2012-09-05 日电（中国）有限公司 检测图像中交叉口的方法和设备
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
KR20120060511A (ko) * 2010-12-02 2012-06-12 현대자동차주식회사 차량의 충돌 경보 장치 및 그 방법
CN103535029B (zh) 2011-06-13 2017-05-24 本田技研工业株式会社 驾驶辅助装置
DE102011084993A1 (de) 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
MX345733B (es) 2013-07-19 2017-02-14 Nissan Motor Dispositivo de asistencia a la conduccion para vehiculo y metodo de asistencia a la conduccion para vehiculo.
MX2016000966A (es) 2013-08-09 2016-05-09 Huawei Tech Co Ltd Metodo y aparato de ajuste de valor de temporizacion.
CN203958002U (zh) 2014-07-25 2014-11-26 王越 汽车盲区监控装置
EP3043202B1 (en) 2015-01-09 2019-07-24 Ricoh Company, Ltd. Moving body system
KR101822890B1 (ko) 2015-01-22 2018-01-29 엘지전자 주식회사 차량의 전방 촬영 카메라 모듈
GB2538572B (en) * 2015-05-18 2018-12-19 Mobileye Vision Technologies Ltd Safety system for a vehicle to detect and warn of a potential collision
US9688273B2 (en) * 2015-10-27 2017-06-27 GM Global Technology Operations LLC Methods of improving performance of automotive intersection turn assist features
CN105459907B (zh) 2015-12-15 2018-02-02 小米科技有限责任公司 车辆安全系统、盲区监测方法及装置
KR101826408B1 (ko) * 2016-03-03 2018-03-22 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
KR101822894B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
US10196058B2 (en) * 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008001179A (ja) * 2006-06-21 2008-01-10 Mitsubishi Electric Corp 車載運転支援カメラ装置
JP2009053732A (ja) * 2007-08-23 2009-03-12 Nissan Motor Co Ltd 停止目標位置検出装置及び停止目標位置検出方法
JP2010061567A (ja) * 2008-09-05 2010-03-18 Toyota Motor Corp 物体検出装置
JP5565203B2 (ja) * 2010-08-20 2014-08-06 アイシン・エィ・ダブリュ株式会社 交差点情報取得装置、交差点情報取得方法及びコンピュータプログラム
JP5994865B2 (ja) * 2012-11-27 2016-09-21 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法

Also Published As

Publication number Publication date
US10664709B2 (en) 2020-05-26
DE102017218141A1 (de) 2018-04-19
CN107953882B (zh) 2020-07-31
DE102017218141B4 (de) 2024-01-25
US20180101737A1 (en) 2018-04-12
KR20180040012A (ko) 2018-04-19
CN107953882A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
KR102537598B1 (ko) 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
US10445596B2 (en) Camera device for vehicle
US9987979B2 (en) Vehicle lighting system
CN108349504B (zh) 自动驾驶车辆操作装置及自动驾驶车辆操作方法
US9493072B2 (en) Safety confirmation support system for vehicle driver and method for supporting safety confirmation of vehicle driver
JP5657809B2 (ja) 脇見検出装置
US20220122462A1 (en) Vehicle control device
JP2019087143A (ja) ドライバ状態検出装置
CN112703540B (zh) 驾驶辅助方法和驾驶辅助装置
JP3888166B2 (ja) 車両用運転支援装置
JP2008293122A (ja) 障害物監視装置
CN113246993B (zh) 驾驶支援系统
US11361687B2 (en) Advertisement display device, vehicle, and advertisement display method
JP2008217693A (ja) 顔向き警告装置、顔向き警告装置の警告方法
US11600181B2 (en) Saddle-riding type vehicle
CN114194186B (zh) 车辆行驶控制装置
US20200353948A1 (en) Surrounding Situation Display Method and Surrounding Situation Display Device
JP6798133B2 (ja) 運転支援方法及び運転支援装置
US11688180B2 (en) Lane departure warning without lane lines
JP2009075767A (ja) 運転支援装置及び運転支援方法
JP7234650B2 (ja) 表示制御装置及び表示制御プログラム
JP2023104628A (ja) 車両制御装置
JP2022030240A (ja) 車両用運転支援装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)