KR101075615B1 - 주행 차량의 운전자 보조 정보 생성 장치 및 방법 - Google Patents

주행 차량의 운전자 보조 정보 생성 장치 및 방법 Download PDF

Info

Publication number
KR101075615B1
KR101075615B1 KR1020060063649A KR20060063649A KR101075615B1 KR 101075615 B1 KR101075615 B1 KR 101075615B1 KR 1020060063649 A KR1020060063649 A KR 1020060063649A KR 20060063649 A KR20060063649 A KR 20060063649A KR 101075615 B1 KR101075615 B1 KR 101075615B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
image
curvature
road
Prior art date
Application number
KR1020060063649A
Other languages
English (en)
Other versions
KR20080004835A (ko
Inventor
김광수
오세영
김진원
박상철
김삼용
류영우
강정관
Original Assignee
포항공과대학교 산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 삼성전자주식회사 filed Critical 포항공과대학교 산학협력단
Priority to KR1020060063649A priority Critical patent/KR101075615B1/ko
Priority to CNA200710128113XA priority patent/CN101101333A/zh
Priority to EP20070111911 priority patent/EP1918897A3/en
Priority to US11/774,253 priority patent/US7710291B2/en
Publication of KR20080004835A publication Critical patent/KR20080004835A/ko
Application granted granted Critical
Publication of KR101075615B1 publication Critical patent/KR101075615B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 주행 차량의 운전자 보조 정보를 생성하는 기능을 구현한다. 이를 위해 본 발명은 주행차량 주변의 사각을 없앨 수 있는 센서 시스템과 차선과 차량을 정확하게 검출할 수 있는 방법을 바탕으로 주행환경을 조감영상으로 재구성하고 충돌위험시 충돌경보를 발생하도록 한다. 또한, 조감영상 재구성 시 차선의 형태, 곡률, 차선의 소실 등의 다양한 도로환경에 적용 가능한 차선인식방법을 바탕으로 전방과 후방의 차선인식결과를 통합하여 차선인식의 안정성을 높이고 실선과 점선을 구분함으로써 위험정도를 세분화하여 운전자에게 제공할 수 있으며 차선이탈 시 단순히 음성경보 뿐만 아니라 도로에 대한 차량의 위치를 재구성한다.
차량, 카메라, 초음파, 소나 센서, 차선인식

Description

주행 차량의 운전자 보조 정보 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING A AUXILIARY INFORMATION OF MOVING VEHICLES FOR DRIVER}
도 1은 본 발명의 실시 예에 따라 초음파 센서와 카메라와 속도 검출장치가 장착된 차량에 대한 예시도,
도 2는 본 발명의 실시 예에 따라 주행 차량의 운전자 보조 정보 생성 장치의 내부 구성도,
도 3은 도 2의 차선 인식부의 내부 구성도,
도 4는 본 발명의 실시 예에 따라 생성된 주행 차량의 운전자 보조 정보를 도시하는 예시도,
도 5는 본 발명의 실시 예에 따라 주행 차량의 전후방 차선인식을 통해 도로 재구성하기 위한 제어 흐름도,
도 6은 본 발명의 실시 예에 따른 차선인식을 위한 제어 흐름도,
도 7은 본 발명의 실시 예에 따른 차선인식을 위한 과정을 설명하기 위한 화면 예시도,
도 8은 본 발명의 실시 예에 따른 차선인식 결과를 재구성한 화면을 도시하는 화면 예시도,
도 9는 본 발명의 실시 예에 따라 측면 차량인식을 위한 과정 나타내는 제어 흐름도,
도 10은 본 발명의 실시 예에 따라 측면 차량인식 과정을 설명하기 위한 화면 예시도,
도 11은 본 발명의 실시 예에 따라 차선인식 및 차량인식에 따라 주행 차량의 운전자 보조 정보 생성과정을 나타내는 제어 흐름도,
도 12는 본 발명의 실시 예에 따라 차선인식 및 차량인식을 통해 생성된 주행 차량의 운전자 보조 정보를 도시하는 화면 예시도,
도 13은 본 발명의 실시 예에 따라 충돌경보를 위한 과정을 나타내는 제어 흐름도.
본 발명은 주행 차량의 운전자 보조 정보 생성 장치 및 방법에 관한 것으로, 특히 차선인식과 차량검출을 통해 운전자가 주행하는 차량의 전방향의 도로 및 주변차량에 대한 환경을 쉽게 인식할 수 있도록 주행 차량의 운전자 보조 정보를 생성하기 위한 장치 및 방법에 관한 것이다.
차량 운행 시 운전자의 부주의나 시계의 불량 등으로 앞에서 주행하는 차량을 추둘하는 경우가 빈번하게 발생하고 있다. 즉, 장거리 운전 시, 우천 시, 야간 운전 시 시계 불량 및 운전자의 집중력 부족 등으로 인한 차선 이탈과 주행 차량과 의 추돌에 의한 교통사고가 끊임없이 발생하고 있다. 이와 같은 교통사고는 운전자의 부주의로 인하며 이러한 상황을 2~3초 전에 미리 알고 적절한 대응을 했다면 사고는 50%이상으로 줄어들거나 경미한 사고로 줄일 수 있다. 상기와 같은 추돌을 방지하기 위하여 차량 검출을 통해 차량간 위치와 속도를 파악하여 차량간 충돌경보, 충돌회피, 순항제어와 같은 정보를 제공할 수 있는 운전자 보조시스템이 제공되고 있다. 이러한 운전자 보조시스템은 운전자가 좀 더 편리하고 안전하게 주행할 수 있도록 주행 정보나 위험 경보를 주거나 적극적인 개입을 통한 안전사고를 방지할 수 있는 시스템으로 후방주차경보 시스템, 차선이탈경보 시스템, 졸음운전경보 시스템 등의 보조정보 생성 시스템에서 적극적인 조향이나 속도제어를 하는 차선이탈방지 시스템, 지능순항제어 시스템 등이 연구되고 있다. 이와 같은 종래의 운전자 보조시스템의 차선이나 주변 차량 정보의 추출방법으로는 카메라로부터 전방의 차선을 검출하는 방법, 카메라로부터 전방의 차량을 검출하는 방법, 레이더를 이용해서 전방의 차량을 검출하는 방법, 사이드 미러쪽에 후방을 볼 수 있도록 설치된 카메라를 이용해서 측후방의 차량을 검출하는 방법, 측방에 설치된 초음파 센서를 이용해서 측방 차량을 검출하는 방법 등을 사용하였다. 추출된 일차적인 차선과 차량에 대한 정보는 자차량과 차선의 상대적인 위치 추정방법, 차선이탈 시점을 예측하는 방법, 주변차량과의 상대적인 거리와 상대적인 속도를 추정하는 방법, 이를 이용해 차량간 충돌을 예측하는 방법을 이용해서 운전자에게 전달할 수 있는 유효한 정보를 생성한다. 이와 같이 추출된 유효정보들을 운전자에 전달하는 인터페이스로는 경보음, 경보등, 핸들이나 운전석의 진동 등의 방법을 사용하였다. 위험상황을 전달하기 위한 상기 수단 외에 주행상황을 계속 디스플레이하는 방식으로는 자차량과 전방차량의 위치와 거리를 직선도로상에 표시하는 방법, 카메라, 레이더, 레이저와 같은 센서처리를 통해 추출한 도로형상정보위에 차량정보를 표시하는 방법, 지도데이터베이스로부터 도로정보를 생성하여 추출된 차량의 위치 및 거리정보를 도로형상에 중첩하여 표시하는 방법 등을 사용하였다.
상기한 바와 같이 종래의 운전자 보조 시스템은 무엇보다 정확한 환경인식과 적절한 정보전달이 필요하지만 대부분은 전방 혹은 측후방에서의 차선이탈이나 차량간 충돌상황 등의 특정 정보만을 주시하도록 특화되었으며 운전자에게 제약된 정보만을 전달함으로써 잠재적인 운전자 방해요소를 가지고 있다. 또한 전방향 환경인식을 위해서는 최소한의 센서를 이용한 차량주변의 사각을 없애기 위해 적절한 센서배치가 필요하며 전방, 후방, 좌우측방의 정보는 단순한 조합이 아닌 서로 교환 및 융합되어야 한다. 주로 전방 상황만을 주시하는 운전자에게 종래의 단순한 인터페이스를 이용해서 전후 좌우 차선의 상태와 이에 대한 차량의 상태, 주변차량 간의 거리, 속도, 충돌여부 등의 종합적인 전방향에 대한 정보를 전달하는 것은 한계가 있다.
또한, 주행중인 도로와 차량상황을 모두 디스플레이 하는 종래의 기술들 역시 도로정보를 추출하지 않거나 도로정보를 추출하더라도 곡률정보를 통해 도로의 형상만을 추출하는 것으로써 좌우 차선에 대한 정보는 알 수 없다. 즉, 종래의 차 선인식기술은 영상으로부터 차선인식에 관한 기술은 차선과 도로의 밝기차를 이용하여 차선부분을 추출하고 이를 모두 역원근처리해서 차선의 기울기를 구하여 차선의 곡률을 구하거나 마스크에 의한 에지검출을 이용해서 차선부분을 추출하여 근거리와 원거리에 대해 각각 기울기를 구해서 곡률을 구했고 이러한 차선인식을 통해 차선의 형태와 차선에 대한 차량의 위치를 예측해서 차선이탈을 음성으로 경보하는 방법을 사용하고 있다. 그러나, 이와 같은 차선인식 방법은 영상의 변화나 차선의 밝기 변화에 적응하지 못하여 차선후보의 추출이 용이하지 못해서 차선인식시스템 전체의 성능을 떨어뜨리게 되고, 영상자체를 역원근처리하여 처리시간이 많이 소요된다. 곡률을 가진 도로라도 영상이 갖는 원근효과에 의해 근거리에서는 일정한 기울기를 갖는 직선이나 작은 곡률을 갖는 곡선으로 보이지만 원거리에서는 큰 곡률을 갖게 된다. 또한 원거리에서는 차선의 상태에 따라 차선후보가 근거리에 비해 부족하기 때문에 근거리정보만으로 전체적인 차선의 곡률을 추정해가거나 미리 설정된 곡률값을 이용해서 원거리에서 차선후보를 검출하고 이를 이용해서 곡률을 계산하는 방법으로는 정확한 곡률을 추정하기 어려운 문제가 있다. 차선의 곡률을 정확히 추정하기 위해서는 근거리에서의 정확한 차선의 위치를 찾아낸 후 원거리에 위치한 차선후보의 곡률을 계산하여 근거리 차선의 위치와 비교함으로써 근거리뿐만 아니라 원거리에 위치한 차선도 정확하게 찾는 방법이 필요하다. 한쪽 차량이 차선을 밝거나 도로가 노후하여 차선이 소실되거나 희미한 경우, 명확한 쪽 차선정보와 차선폭 정보에 의해서 차선을 유추할 수 있는 방법이 필요하며 영상에서의 차선검출보다는 차선과 카메라의 관계를 규정함으로써 차선과 차량과의 위치관계를 정확히 계산하는 과정이 요구된다. 현재 차선의 형태와 차선과 차량의 위치관계에 의해 차선이탈시점을 예측할 수 있지만 중앙선이나 도로변으로 이탈할 경우 안전사고 위험성은 더 커지기 때문에 이를 위해서는 점선과 실선에 대한 구분이 가능해야 하며 역광이나 교차로와 같이 도로의 전후 사정이 다른 경우를 위해서 전후방 차선인식의 통합을 이용한 잡음 제거가 필요하다.
한편, 지도데이터베이스를 이용해서 도로정보를 생성하기 위해서는 위치측정 수단이 가능하고 정확해야 하며 지도 데이터베이스가 구축된 도로에서만 가능하며 현재 위치측정수단의 한계상 차선과 차량의 대략적인 위치관계가 아닌 위치 및 방향 정보를 필요로 하는 운전자 보조시스템에 응용하기는 어려우며 자차량의 전방만을 주시함으로써 상기 시스템이 갖는 한계점을 극복하지 못했다.
따라서, 본 발명은 차선인식과 차량검출을 통해 운전자가 주행하는 차량의 전방향의 도로 및 주변차량에 대한 환경을 쉽게 인식할 수 있도록 주행 차량의 운전자 보조 정보를 생성하기 위한 장치 및 방법을 제공한다.
또한, 본 발명은 직선이나 곡선 차선, 실선이나 점선형태의 차선, 차선을 밝고 주행하는 차량이나 차선의 소실로 인해 한쪽 차선이 보이지 않는 경우에도 정확한 차선을 인식할 수 있도록 하기 위한 장치 및 방법을 제공한다.
상기한 바와 같은 목적들을 달성하기 위한 본 발명의 주행 차량의 운전자 보조 정보 생성 장치는 자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 영상 수신부와, 상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부와, 상기 영상 수신부에서 제공하는 영상에서 차선을 인식하고, 인식된 차선이 실선인지 점선인지의 여부를 판단한 후, 전방 및 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 차선인식부와, 상기 차선인식부의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 인식하고, 측방의 차량은 상기 초음파신호수신부로부터 수신되는 초음파신호로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하며 차량 좌표계에서의 차량의 위치를 출력하는 차량인식부와, 상기 차선인식부에서 재구성된 도로조감영상에 상기 차량인식부에서 인식된 차량을 재구성하여 주행차량의 운전자 보조 정보를 생성하는 환경재구성부를 포함한다.
또한, 본 발명은 자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 수신부와, 상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부를 구비하는 주행 차량에서 운전자 보조 정보를 생성하는 방법에 있어서, 상기 수신부에서 제공하는 영상에서 차선을 인식하는 과정과, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정과, 전방 또는 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 과정과, 상기 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 인식하는 과정과, 측방의 차량은 상기 초음파신호수신부로부터 수신되는 초음파신호로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하며 차량 좌표계에서의 차량의 위치를 출력하는 과정과, 상기 재구성된 도로조감영상에 상기 인식된 차량을 재구성하여 주행차량의 운전자 보조 정보를 생성하는 과정을 포함한다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면의 참조와 함께 상세히 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
본 발명은 차량 주변의 사각을 없앨 수 있는 카메라와 초음파센서를 배치한 센서시스템을 구성하고 이로부터 전후방의 차선인식, 전후방의 차량검출, 좌우측방의 차량검출, 전후방과 측방의 차량정보 연동을 통해 사각을 없애고 전방향 환경을 인식함으로써 생성된 도로와 차량정보를 한 눈에 알아 볼 수 있는 조감영상으로 구성하고 충돌위험시 경보 기능을 제공할 수 있는 방안을 제공한다. 또한, 조감영상에 차선 표시를 위해 차선검출 시 차량의 전방과 후방에 설치된 카메라를 이용해서 차선을 동시에 인식하여 합성하고, 실선과 점선을 구분하여 도로형태를 조감영상으로 재구성한 차선을 표시하여 운전자가 자차량의 차선이탈 여부를 쉽게 인식할 수 있도록 하는 방안을 제공한다.
먼저, 본 발명에 따른 주행 차량은 도 1에 도시된 바와 같이 2대의 카메라, 8개의 초음파센서, 1개의 모니터, 스피커와 처리부 및 속도 검출장치로 구성된 운전자 보조 정보 생성 장치를 구비한다.
상기와 같이 운전자 보조 정보 생성 장치를 구비하는 주행 차량에서 운전자 보조 정보를 생성을 위한 동작을 설명하기 위해 도 2를 참조한다. 도 2는 본 발명의 실시 예에 따라 주행 차량의 운전자 보조 정보 생성 장치의 내부 구성도이다. 도 2를 참조하면, 본 발명에 따른 운전자 보조 정보 생성 장치는 카메라와 초음파센서로부터 영상을 수신하는 전 후방 영상수신부(202)와 초음파신호를 수신하는 초음파신호수신부(204)를 포함하는 센서수신부(200), 전후방의 차선을 인식하는 차선 인식부(210), 전후방의 차량과 측방의 장애물을 인식하는 차량인식부(230), 검출된 차선과 차량으로부터 도로와 차량을 3차원 조감영상으로 재구성하는 환경재구성부(220)와 차량간 충돌여부를 판단하는 충돌경보 생성부(240)를 포함하여 구성된다.
먼저, 센서수신부(200)는 차량 주위의 차선을 인식하고, 자기 차량 주위의 차량 존재 여부를 확인하기 위한 수단으로, 본 발명에 따라 크게 전후방 영상 수신부(202) 및 초음파신호 수신부(204)로 구성된다. 먼저, 전후방 영상 수신부(202)는 카메라를 뜻하며, 그 영상 수신부(102)는 도로의 차선 및 차량에 대한 영상을 촬영하며 그 촬영된 영상을 차선 인식부(210), 차량 인식부(230)로 제공한다. 이러한 전후방 영상수신부(102)는 자기 차량의 전후방에 각각 설치된 45°이내의 주변을 촬영하는 카메라로부터 320 ×240 크기의 영상을 획득하게 된다. 초음파신호 수신 부(204)는 초음파 센서인 소나 센서를 뜻하며, 초음파 범위(10m) 내에서 초음파를 방사하여 그 초음파가 초음파 센서로 되돌아오는데 걸리는 시간을 측정하도록 구성된다. 구체적으로 초음파신호 수신부(204)는 차량 주위에 다른 차량이 존재하는 경우 방사된 초음파가 다른 차량에 반사되어 그 초음파 센서에서 다시 캡쳐하는데 걸리는 시간을 근거로 그 다른 차량이 위치한 거리를 산출할 수 있게 된다. 이러한, 초음파신호수신부(204)는 상기의 도 1에서와 같이 차량에 최대 10m내 근거리의 장애물과의 거리를 측정할 수 있도록 좌우측방에 설치된 8개의 초음파센서를 설치하고, 각 초음파센서를 연속적으로 스캔한다.
차선 인식부(210)는 전후방 영상 수신부(202)로부터 입력되는 영상에서 포장된 도로와 차선이 갖는 검정-흰색-검정의 패턴과의 매칭을 통해서 검출된 차선후보를 역원근변환을 이용해 원근효과를 제거하여 차선후보를 재생성한다. 이후, 근거리에서의 차선의 기울기를 이용해서 차선의 방향을 유추하고 원거리에서는 곡률을 근사화하여 차선을 인식하여 차량 좌표계에서의 차선의 방정식을 출력한다.
이때, 차선 인식부(210)의 구체적인 내부 구성에 대하여 도 3을 참조하여 살펴보도록 한다. 본 발명의 실시 예에 따른 차선 인식부는, 전후방 영상수신부(202)로부터 입력되는 영상에서 차선을 인식하는 전후방 차선인식부(212), 검출된 차선을 실선과 점선여부를 판단하는 실/점선 판단부(214), 전후방의 차선인식결과를 합성하고 조감영상으로 재구성하는 차선인식 합성 및 재구성부(216)를 포함하여 구성된다.
차량인식부(230)는 차선 인식부(210)의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 검출한다. 전후방의 차량인식은 주간과 야간으로 차량인식방법이 나뉘는데 주간에는 차량과 도로사이에 생기는 그림자패턴을 이용해서 차량후보를 검출하고 차량에 대한 좌우 에지성분, 차량의 폭에 대한 사전 지식을 적용해서 차량을 인식한다. 야간에는 차량의 전조등, 미등을 영상에서 추출하여 인식한다. 측방의 차량은 3개의 초음파로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하며 차량 좌표계에서의 차량의 위치를 출력한다.
환경재구성부(220)는 차선의 방정식과 차량의 위치를 종합해서 차선의 점선, 실선을 판단하여 실선일 경우 더 이상 차선이 확장되지 않는 도로의 가장자리로 가정하고 점선일 경우 차선이 1차선 확장되어 차선수를 설정한다. 도로의 곡률은 재구성된 도로의 곡률이 자꾸 변해서 운전자에게 혼란을 주는 것을 막기 위해서 도로의 곡률 변화량에 따라 도로의 형태를 양자화하여 도로모델을 생성한다. 생성된 도로상의 차선위에 차량을 배치하여 운전자가 관점을 쉽게 조절할 수 있는 3차원 도로영상으로 구성한다. 이후 구성된 차량을 배치한 도로영상을 디스플레이부(250)를 통해 화면에 디스플레이 하도록 한다. 상기와 같이 환경 재구성부(106)를 통해 구성된 차량과 도로 영상은 도 4의 (c)와 같이 화면에 표시될 수 있다. 이때, 도 4의 (a)는 전방 카메라에 의해 촬영된 영상이고, (b)는 후방 카메라에 의해 촬영된 영상이다.
충돌경보 생성부(240)는 자차선에서 주행중인 전후방차량의 거리와 상대속도를 이용해서 차량간의 충돌가능 시간을 추정한다. 충돌경보는 충돌시간영역을 경보 영역과 위험영역으로 설정하여 충돌경보를 발생한다.
본 발명에서는 상기의 도 2와 같이 구성되는 주행 차량의 운전자 보조 정보 생성 장치에서 차선 인식부(210)를 통해 인식한 차선과 차량 인식부(230)를 통해 인식한 주위 차량을 환경 재구성부(220)에서 도로 조감영상으로 재구성하는 과정에 대하여 살펴보도록 한다. 이하, 도 5 내지 8을 통해 주행 차량의 운전자 보조 정보 생성 장치에서 차선 인식부(210)를 통해 차선 인식을 수행하는 과정에 대하여 살펴보고, 도 9를 통해 차량 인식부(230)를 통해 인식한 주위 차량 즉 측면 차량 인식 및 주행정보를 획득하는 과정을 살펴보도록 한다. 또한, 인식한 차선과 차량을 재구성하여 주행 차량의 운전자 보조 정보로 생성하는 과정에 대하여 도 11을 참조하여 살펴보도록 한다.
먼저, 도 5를 참조하여 본 발명의 실시 예에 따라 차선인식부(210)에서 주행 차량의 전후방 차선인식을 수행한 후 환경 재구성부(220)를 통해 도로를 재구성하기 위한 과정에 대하여 살펴보도록 한다.
먼저, 500단계에서 차선 인식부(210)는 전후방 영상 수신부(202)로부터 입력받는다. 그러면, 502단계에서 차선 인식부(210)는 입력받은 영상에서 차선을 인식한다. 이때, 상기의 도 5의 502단계를 통해 전후방 영상 수신부(202)로부터 입력된 영상으로부터 차선을 인식하는 동작에 대하여 도 6을 참조하여 구체적으로 살펴보도록 한다. 600단계에서 전후방 영상 수신부(202)로부터 차량의 전방 또는 후방의 영상이 입력되면, 602단계에서 차선 인식부(210)는 영상의 밝기 변화에 따라 차선일 확률이 높은 후보들을 추출한다. 이후, 차선 인식부(210)는 추출한 차선 후보들 의 히스토그램을 생성하고, 606단계에서 자차량으로부터 근거리에 위치한 차선의 위치를 결정한다. 일반적으로 기존에는 차선 영상을 토대로 차선의 기울기를 구하지만, 본 발명에서는 히스토그램을 이용하여 차선의 위치만을 결정하므로 차선의 기울기는 불필요하게 된다. 이후, 차선 인식부(210)는 608단계로 진행하여 원거리에 위치한 차선 후보들의 곡률을 계산한다. 이후, 610단계에서 차선 인식부(210)는 608단계에서 계산된 곡률을 이용하여 원거리 차선을 인식한다. 이때에도 상기와 같이 차선 영상을 토대로 차선의 기울기를 구하는 기존방식으로는 차선의 기울기를 토대로 차선의 곡률을 계산하지만, 본 발명에서는 곡률을 실제로 계산하여 차선 인식에 적용하게 된다.
502단계에서 504단계로 진행하면, 차선 인식부(210)는 검출된 차선을 실선과 점선여부를 판단한다. 이후, 506단계에서 전후방의 차선인식결과를 합성하고 조감영상으로 재구성한다. 이후, 506단계에서 재구성된 조감영상을 508단계에서 화면에 디스플레이 한다.
여기서, 차선의 실선과 점선의 판단 동작에 대하여 살펴보면, 실선의 경우 밝은 부분만이 계속 나타나게 되나 점선의 경우 어두운 부분과 밝은 부분이 주기적으로 나타나는 특성을 이용하여 입력된 영상에서 실선과 점선을 판단한다. 도 7에서와 같이 차선검색결과 찾아낸 차선이 위치하는 영역을 R이라 하고, 영역 R 중에서 실제로 차선이 그려진 부분을 Li라 한 후, 영역 R과 Li사이의 비를 계산하여 지금 찾은 차선의 실선/점선 여부를 구분한다. 만약 차선이 점선 형태로 그려져 있다면 R영역에서의 밝기는 어두운 부분과 밝은 부분이 주기적으로 나타나게 되고, 실 선 형태라면 R영역의 밝기는 밝은 부분만이 계속해서 나타나게 된다. 차선이 위치하는 영역과 밝기에 따라 실선과 점선을 판단을 위한 계산을 하기의 <수학식 1>과 <수학식 2>를 통해 할 수 있다.
Figure 112006048637198-pat00001
Figure 112006048637198-pat00002
상기의 <수학식 1>와 <수학식 2>를 통해 차선의 밝기를 이용하여 차선의 실선 및 점선을 구분하기 때문에 도로의 상태와 주변 밝기에 따라 차선타입을 잘못 구분할 수 있다. 따라서 본 발명에서는 전후방 영상 수신부(202)로부터 입력되는 영상 중 전방 영상에서 얻은 차선으로부터 판단한 차선타입과 후방 영상에서 판단한 차선 타입을 각각 판단한다. 이후, 전방 영상과 후방 영상에서 각각 판단한 차선 타입이 서로 동일하지 않는 경우 하기와 같은 3가지 기준에 의거하여 차선 타입을 결정한다.
(1) 전방 영상에 대한 차선 인식만이 성공한 경우에는 전방영상에서 얻은 차선의 타입과 곡률을 후방 영상에 적용한다.
(2) 후방 영상에 대한 차선 인식만이 성공한 경우에는 후방 영상에서 얻은 차선의 타입과 곡률을 전방 영상에 적용한다.
(3) 전방 영상에 대한 차선 타입과 후방 영상에 대한 차선 타입이 서로 다른 경우에는 기존에 가지고 있는 차선 타입을 그대로 유지한다.
한편, 인식된 차선 정보와 재구성된 도로의 차선 타입이 일치하지 않을 경우, 이와 같은 현상이 5프레임 이상 연속으로 지속되면 도로 재구성시의 차선 타입을 수정하도록 한다.
이후, 차선 타입이 결정된 후 도로를 재구성하는데 그러면 이제 도로를 재구성하는 과정에 대하여 살펴보도록 한다. 본 발명에서는 도로모델을 사용하는데, 미리 일반적인 도로 모델을 생성하고 이와 같이 준비된 도로 모델과 입력된 영상을 통해 얻은 차선 방정식을 비교한다. 이후, 차선을 재구성할 시 영상에서 얻은 차선 방정식과 가장 비슷한 값의 도로 모델을 재구성에 사용한다.
하기의 <수학식3>에서와 같이 영상에서 얻은 차선의 방정식 f(y)에서 방정식의 곡률을 나타내는 a값을 미리 준비된 도로 모델의 집합인 차선곡률
Figure 112006048637198-pat00003
의 원소들과 비교한다. 이후 a값이 속하는 경계 Bn1과 Bn2를 <수학식 3>과 같이 결정하고, 하기의 <수학식 4>와 같이 상기의 Bn1과 Bn2 값의 평균을 계산하여 도로를 재구성하는데 사용될 방정식에 사용할 A의 값을 결정한다.
이를 통해서 매 프레임마다 얻은 차선의 방정식이 조금씩 다르다 할지라도 그 값이 경계 Bn1과 Bn2 범위 내에서만 변할 경우 도로가 재구성 될 때는 일정한 값으로 모델링이 되도록 한다.
Figure 112006048637198-pat00004
Figure 112006048637198-pat00005
Figure 112006048637198-pat00006
영상을 통해 인식할 시 먼 거리의 도로의 차선은 오차로 인해 틀어질 수 있다. 따라서, 인식된 결과를 그대로 반영하는 경우에는 순간적으로 곡률이 크게 변하여 화면에 오른쪽방향 곡선의 도로가 갑자기 왼쪽방향 곡선으로 변경되어 자연스럽지 않게 바뀔 수 있다. 즉, 차선 인식 과정에서의 에러 혹은 도로의 급격한 변화로 인해 현재 프레임에서 인식된 차선의 방정식이 이전 프레임에서 얻은 차선 방정식과 비교하여 일정한계 이상으로 변화한 경우 이를 그대로 도로 모델에 반영하여 도로를 재구성하면 재구성된 도로가 갑자기 크게 변화하게 되어 오히려 운전자에게 혼란을 줄 수 있다. 따라서, 본 발명에서는 이를 막기 위해서 인식된 도로의 방정식의 변화량이 이전 영상에서 결정된 경계값 Bn1과 Bn2 의 범위를 넘으면 하기의 <수학식6>과 같이 변화량의 크기에 상관없이 현재 도로 재구성에 사용한 도로 모델과 가장 가까운 이웃 모델을 도로 재구성에 사용하도록 하여 잘못된 차선 인식으로 인해 발생할 수 있는 도로 재구성의 에러를 최소화 하도록 한다. 예를 들어, 영상에서 얻은 차선 곡률 R의 값이 -0.00125에서 0.00125로 변화하는 경우 급격한 차선 곡률에 다른 도로를 재구성하지 않고, -0.00125에서 -0.00115, -0.00105, …, 0.00115, 0.00125로 한단계씩 증가시킨 차선 곡률을 도로 재구성에 반영하도록 한다.
Figure 112006048637198-pat00007
Figure 112006048637198-pat00008
Figure 112006048637198-pat00009
상기의 <수학식 5>를 통해 도로 재구성에 사용할 파라미터 A가 결정되면 상기 <수학식 7>을 이용해 도로 재구성에 사용할 좌, 우 차선의 식을 결정한다. 이때, 도로 재구성에 사용할 차선이 점선 타입이면 자차량이 주행 중인 차로 옆에 또 다른 차로가 존재한다는 뜻이기 때문에 <수학식 7>의 FL(Y)가 점선이면 FL(Y)의 왼쪽에 <수학식 8>과 같이 FLL(Y)을 실선의 형태로 하나 더 생성하도록 한다. 또한, 마찬가지로 <수학식 7>의 FR(Y)가 점선이면 FR(Y)의 오른쪽에 <수학식 8>과 같이 FRR(Y)을 실선의 형태로 하나 더 생성하여 최대한 자차량이 주행 중인 도로 환경과 유사하게 도로가 재구성 되도록 한다. 이와 같이 함으로써 본 발명에서는 한쪽 차선이 가려진 경우 반대쪽 차선 정보를 이용하여 차려진 차선 유추가 가능하다. 즉, 도로의 급격한 변화가 갖는 운전자 방해요소를 줄이기 위해 이웃 모델로 서서히 변하도록 한다. 이와 같이 전후방 차선인식 결과를 재구성한 예는 도 8과 같이 도시할 수 있다. 도 8의 (a)는 전후방 영상 수신부(202)로부터 입력된 전방영상이고, (b)는 후방영상이다. 차선 인식부(210)는 상기의 도 5 및 6을 통해 설명한 바와 같이 전방영상과 후방영상으로부터 차선을 검출한다. 이를 통합하여 3D 조감영상으로 재구성한 (c)와 같은 화면으로 자차량(404)을 중심으로 디스플레이할 수 있다.
그러면 이제 도 9를 통해 차량 인식부(230)를 통해 인식한 주위 차량 즉 측면 차량 인식 및 주행정보를 획득하는 과정과, 인식한 차선과 차량을 재구성하여 주행 차량의 운전자 보조 정보로 생성하는 과정에 대하여 도 11을 참조하여 살펴보도록 한다. 본 발명에서는 전후방 차량 검출방법으로는 상기의 도 2에서 설명한 바와 같이 차선 인식부(210)의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 영상과 초음파신호를 이용해서 차량을 검출한다. 또한, 전후방의 차량인식은 주간과 야간으로 차량인식방법이 나뉘는데 주간에는 차량과 도로사이에 생기는 그림자패턴을 이용해서 차량후보를 검출하고 차량에 대한 좌우 에지성분, 차량의 폭에 대한 사전 지식을 적용해서 차량을 인신하고, 야간에는 차량의 전조등, 미등을 영상에서 추출하여 인식한다. 또한, 측방의 차량은 3개의 초음파로부터 획득된 거리를 이용해서 물체를 감지하고 거리의 변화를 이용해서 차량의 주행추세를 판단하는 방법을 사용한다.
도 9를 참조하면, 900단계에서 도 1과 같이 차량에 부착된 좌우 각각 세 개의 소나 즉 초음파센서로부터 초음파 신호를 수신한다. 즉, 도2의 초음파 신호 수신부(104)에서 초음파 신호를 수신한다. 이후, 초음파 신호 수신부(104)는 수신한 초음파 신호를 차량 인식부(230)로 출력한다. 그러면, 차량 인식부(230)는 902단계에서 초음파 신호로부터 획득한 거리정보를 이용해서 차량을 검출한다. 이때, 하나 이상의 초음파로부터 차량이 검출될 경우 차량 인식부(230)는 906단계에서 시간경과에 따른 초음파들의 검출여부를 이용하여 옆 차선에 주행중인 차량이 추월여부의 주행 추세를 판단한다. 측방에 설치된 3대의 초음파 센서로부터 출력되는 초음파 신호는 하기의 <수학식 9>와 같이 0과 1로 구성된 비트 스트림으로 표현된다. 또한, 차량이 존재할 경우에 거리값인 3m이하인 경우, 1로 설정되고 그렇지 않은 경우엔 0값을 갖는다. 예를 들어, 도 10의 영상을 참조하면, 자차량으로부터 추월되는 좌측차량의 경우 비트스트림은 [001]에서 [111]로 증가하다가 [111]에서 다시 [100]으로 감소하게 된다. 이러한 연속적인 비트스트림의 증가와 감소를 통해서 측면차량의 주행 추세를 판단한다.
Figure 112006048637198-pat00010
차량 인식부(230)는 906단계와 같이 차량의 주행추세를 판단하고, 전후방 인식기와 연동하여 차량 검출을 수행한다. 더 구체적으로 살펴보면, 측방 차량이 추월당하는 경우 후방차량 인식에서 해당 차선의 차량을 검출하고, 반대의 경우 전방차량 인식에서 차량을 검출하며 측방에서 사라졌지만 전후방에서 보이지 않는 차량의 경우 검출될 때까지 사각에 차량이 존재한다고 가정하고 검출될 때가지 차량후보를 생성한다. 또한 전방이나 후방의 차량 인식기에 의해 검출된 차량이 좌우영역에서 점점 없어지는 경우 측방차량 인식기에서 검출할 때까지 차량이 좌우 근거리 영역에 존재하는 경우이므로 차량후보를 생성한다.
도 11을 참조하면, 환경 재구성부(220)는 10단계 및 12단계에서 상기의 도 5 내지 6과 같은 차선 인식 과정을 통해 차선의 실/점선 판단하고 도로 모델을 추정한다. 이후, 12단계에서 환경 재구성부(220)는 새롭게 설정된 도로 모델에 대해 14단계에서 차량을 배치하기 위해 이전 차선과 차량과의 위치관계를 새로운 도로 모델에 반영해서 전 후방 차량검출 및 상기의 도 9와 같은 측면 차량검출 과정을 통해 검출된 차량을 배치한다. 이후, 환경 재구성부(220)는 16단계에서 OpenGL을 이용해서 전후방 차량의 경우 종방향 거리를, 좌우차량의 경우 횡방향 거리를 표시하며 각 차선마다 차량모델의 색을 다르게 표현하여 운전자의 편의 맞게 관점을 쉽게 변경할 수 있는 3D영상을 재구성한다. 이와 같이 재구성된 도로 및 차량의 배치의 예는 도 12와 같이 도시할 수 있다. 도 12는 (a)와 같은 전방 영상과 (b)와 같은 후방 영상을 통해 자차량이 편도 2차선을 주행하고 있는 상황에서 재구성된 도로와 차량의 배치 예이다.
상기와 같이 차선인식과 차량인식 과정을 수행하여 재구성하여 생성된 주행 차량의 운전자 보조 정보를 화면에 디스플레이 하는 중 자차량과 검출된 차량간의 충돌에 대한 정보도 사용자에게 알릴 수 있다. 그러면, 충동경보에 대한 동작에 대하여 도 13을 참조하여 살펴보도록 한다.
본 발명에서 차량간 거리는 역원근변환의 결과의 오차를 줄이기 위해 연속된 5개 시간의 평균거리를 사용한다. 30단계에서 충돌 경보 생성부(240)는 획득영상간의 시간차와 이전영상과의 거리차를 이용해서 상대속도를 추정한다. 이때, 차량간 상대속도(
Figure 112006048637198-pat00011
)는 하기의 <수학식 10>과 같이 이전 프레임에서의 차량간 거리 (
Figure 112006048637198-pat00012
)과 현재 프레임에서의 차량간 거리 (
Figure 112006048637198-pat00013
)와의 차이, 획득영상간의 시간차 (
Figure 112006048637198-pat00014
)로부터 계산될 수 있다.
Figure 112006048637198-pat00015
이후, 충동 경보 생성부(240)는 32단계에서 현재 거리와 상대속도로부터 자차량과 검출된 차량간의 충돌가능시간(Time to Collision: TTC)을 하기의 <수학식 11>과 같이 추정한다.
Figure 112006048637198-pat00016
이후, 충돌 경보 생성부(240)는 자차선을 주행하고 있는 차량에 대해서 발생하며, 충돌가능시간을 경보영역과 위험영역에 따라 미리 설정된 방법으로 경보한다. 여기서, 경보영역은 설정된 제동거리 이내에 차량이 주행하는 영역인 경우 경보영역으로 설정하고, 이와 같은 경보영역에서는 주의 환기용 음성 메시지 발생하는 것으로 미리 설정할 수 있다. 또한, 위험영역은 TTC가 -2sec ~ 0 sec 이내에 차량이 주행하는 영역으로 설정하고, 연속 경보음이 발생하도록 설정할 수 있다.
상기한 바와 같이 본 발명은 주행차량 주변의 사각을 없앨 수 있는 센서 시스템과 차선과 차량을 정확하게 검출할 수 있는 방법을 바탕으로 주행환경을 조감영상으로 재구성하고 충돌위험시 충돌경보를 발생할 수 있다. 따라서 운전자가 사각영역에 대한 정보를 쉽게 파악할 수 있으므로 사각영역에 대한 불안감을 줄이고, 주변차량의 위치 및 상대속도 등을 파악 및 충돌경보를 통해서 편리하면서도 안전한 주행을 할 수 있다. 또한, 본 발명은 차선의 형태, 곡률, 차선의 소실 등의 다양한 도로환경에 적용가능한 차선인식방법을 바탕으로 전방과 후방의 차선인식결과를 통합하여 차선인식의 안정성을 높이고 실선과 점선을 구분함으로써 위험정도를 세분화하여 운전자에게 제공할 수 있으며 차선이탈시 단순히 음성경보 뿐만 아니라 도로에 대한 차량의 위치를 조감영상으로 재구성함으로써 운전자가 한눈에 차량의 상태를 파악할 수 있어 안전성과 편의성을 향상시킬 수 있다.

Claims (12)

  1. 주행 차량의 운전자 보조 정보 생성 장치에 있어서,
    자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 영상 수신부와,
    상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부와,
    상기 영상 수신부에서 제공하는 영상에서 차선을 인식하고, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단한 후, 전방 및 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 차선인식부와,
    상기 차선인식부의 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 상기 영상과 상기 초음파신호를 이용해서 차량을 인식하는 차량인식부와,
    상기 차선인식부에서 재구성된 도로조감영상에 상기 차량인식부에서 인식된 차량을 배치하여 주행차량의 운전자 보조 정보를 생성하는 환경재구성부를 포함함을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
  2. 제 1항에 있어서, 상기 환경재구성부에서 생성된 운전자 보조 정보를 디스플레이하는 디스플레이부를 더 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
  3. 제 1항에 있어서, 상기 차선인식부는,
    상기 영상 수신부로부터 제공되는 영상이 입력되면, 상기 영상의 밝기 변화에 따라 차선일 확률이 높은 후보들을 추출하고, 상기 추출한 차선 후보들의 히스토그램을 생성하고, 상기 자기 차량으로부터 근거리에 위치한 차선의 위치를 결정한 후, 원거리에 위치한 차선 후보들의 곡률을 계산하고, 상기 계산된 곡률을 이용하여 원거리 차선을 인식함으로써 상기 영상으로부터 차선을 인식하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
  4. 제 3항에 있어서, 상기 계산된 곡률을 이용하여 원거리 차선을 인식 시 현재 영상 프레임에서 계산된 곡률이 이전 프레임에서 계산된 곡률과 비교하여 미리 설정된 임계치 이상으로 변화하는 경우 현재 영상 프레임에서 계산된 곡률을 그대로 적용하지 않고 미리 설정된 차선곡률 집합에서 현재 계산된 곡률에서 한단계씩 증가시킨 곡률을 이용하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
  5. 제 1항에 있어서, 상기 차선인식부는,
    하기의 <수학식 1>에서 영역 R과 Li사이의 비를 계산하여 상기 차선의 실선 또는 점선 여부를 구분하기 위한 밝기를 판단하고, <수학식 2>를 통해 밝기에 따라 실선과 점선을 판단하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
    [수학식 1]
    Figure 112011014566716-pat00017
    [수학식 2]
    Figure 112011014566716-pat00018
    여기서, 상기 차선이 위치하는 영역을 R이라 하고, 영역 R 중에서 실제로 차선이 그려진 부분을 Li이라 함.
  6. 제 1항에 있어서, 상기 차선인식부는,
    도로조감영상으로 재구성에 사용할 차선이 점선이면 상기 자기 차량이 주행 중인 차로 옆에 또 다른 차로가 있음을 인지하여 다른 쪽 차선에 실선의 차선을 생성하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 장치.
  7. 자기 차량에 전후방을 촬영할 수 있도록 전방 및 후방에 각각 적어도 하나 이상 설치되며, 대상영역촬영에 따른 전방 및 후방 영상을 제공하는 수신부와, 상기 자기 차량에 전방, 후방 및 좌우 측면에 각각 적어도 하나 이상 설치되며, 초음파 신호를 방사하여 다른 차량에 반사되어 되돌아오는 시간을 근거로 거리 정보를 산출하는 초음파신호수신부를 구비하는 주행 차량에서 운전자 보조 정보를 생성하는 방법에 있어서,
    상기 수신부에서 제공하는 영상에서 차선을 인식하는 과정과,
    상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정과,
    전방 및 후방의 차선인식결과를 합성하고 도로조감영상으로 재구성하는 과정과,
    상기 차선인식결과를 이용해서 도로영역을 관심영역으로 설정하고 상기 영상과 상기 초음파신호를 이용해서 차량을 인식하는 과정과,
    상기 재구성된 도로조감영상에 상기 인식된 차량을 배치하여 주행차량의 운전자 보조 정보를 생성하는 과정을 포함함을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
  8. 제 7항에 있어서, 상기 생성된 운전자 보조 정보를 디스플레이 하는 과정을 더 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
  9. 제 7항에 있어서, 상기 수신부에서 제공하는 영상에서 차선을 인식하는 과정은,
    상기 영상 수신부로부터 제공되는 영상이 입력되면, 상기 영상의 밝기 변화에 따라 차선일 확률이 높은 후보들을 추출하는 과정과,
    상기 추출한 차선 후보들의 히스토그램을 생성하는 과정과,
    상기 자기 차량으로부터 근거리에 위치한 차선의 위치를 결정한 후, 원거리에 위치한 차선 후보들의 곡률을 계산하는 과정과,
    상기 계산된 곡률을 이용하여 원거리 차선을 인식하는 과정을 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
  10. 제 9항에 있어서, 상기 계산된 곡률을 이용하여 원거리 차선을 인식하는 과정은,
    현재 영상 프레임에서 계산된 곡률이 이전 프레임에서 계산된 곡률과 비교하 여 미리 설정된 임계치 이상으로 변화하는 경우 현재 영상 프레임에서 계산된 곡률을 그대로 적용하지 않고 미리 설정된 차선곡률 집합에서 현재 계산된 곡률에서 한단계씩 증가시킨 곡률을 이용하는 과정임을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
  11. 제 7항에 있어서, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정은,
    하기의 <수학식 1>에서 영역 R과 Li사이의 비를 계산하여 상기 차선의 실선 또는 점선 여부를 구분하기 위한 밝기를 판단하고, <수학식 2>를 통해 밝기에 따라 실선과 점선을 판단하는 과정인 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
    [수학식 1]
    Figure 112011014566716-pat00019
    [수학식 2]
    Figure 112011014566716-pat00020
    여기서, 차선이 위치하는 영역을 R이라 하고, 영역 R 중에서 실제로 차선이 그려진 부분을 Li이라 함.
  12. 제 7항에 있어서, 상기 인식된 차선이 실선인지 점선인지의 여부를 판단하는 과정 후 도로조감영상으로 재구성에 사용할 차선이 점선이면 상기 자기 차량이 주행 중인 차로 옆에 또 다른 차로가 있음을 인지하여 다른 쪽 차선에 실선의 차선을 생성하는 과정을 더 포함하는 것을 특징으로 하는 주행 차량의 운전자 보조 정보 생성 방법.
KR1020060063649A 2006-07-06 2006-07-06 주행 차량의 운전자 보조 정보 생성 장치 및 방법 KR101075615B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060063649A KR101075615B1 (ko) 2006-07-06 2006-07-06 주행 차량의 운전자 보조 정보 생성 장치 및 방법
CNA200710128113XA CN101101333A (zh) 2006-07-06 2007-07-06 用于产生行进车辆的驾驶员辅助信息的设备和方法
EP20070111911 EP1918897A3 (en) 2006-07-06 2007-07-06 Apparatus and method for generating driver assistance information of traveling vehicle
US11/774,253 US7710291B2 (en) 2006-07-06 2007-07-06 Apparatus and method for generating driver assistance information of traveling vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060063649A KR101075615B1 (ko) 2006-07-06 2006-07-06 주행 차량의 운전자 보조 정보 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20080004835A KR20080004835A (ko) 2008-01-10
KR101075615B1 true KR101075615B1 (ko) 2011-10-21

Family

ID=39035701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060063649A KR101075615B1 (ko) 2006-07-06 2006-07-06 주행 차량의 운전자 보조 정보 생성 장치 및 방법

Country Status (4)

Country Link
US (1) US7710291B2 (ko)
EP (1) EP1918897A3 (ko)
KR (1) KR101075615B1 (ko)
CN (1) CN101101333A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108632A (ko) * 2014-03-18 2015-09-30 한국전자통신연구원 곡선 도로에서 주변 장애물 감지 보정 장치 및 그 동작 방법
KR20230126228A (ko) 2022-02-21 2023-08-30 김태현 차량용 전방 주행 정보 표시 장치
US11772655B2 (en) 2019-12-26 2023-10-03 Hl Klemove Corp. Advanced driver assistance system, vehicle having the same, and method of controlling vehicle

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1912196A1 (en) * 2006-10-09 2008-04-16 Harman Becker Automotive Systems GmbH Insertion of static elements in digital maps
US20090037039A1 (en) * 2007-08-01 2009-02-05 General Electric Company Method for locomotive navigation and track identification using video
DE102008007347A1 (de) * 2008-02-04 2009-08-06 Robert Bosch Gmbh Vorrichtung und Verfahren zum Bestimmen der Position eines anderen Verkehrsteilnehmers
US20090224897A1 (en) * 2008-03-04 2009-09-10 Tien-Bou Wan Vehicle vision system
CN102057253B (zh) * 2008-06-11 2014-06-25 三菱电机株式会社 导航装置
CN102160099A (zh) * 2008-07-01 2011-08-17 Kpit康明斯信息系统有限责任公司 用于汽车安全的传感器系统
JP5304128B2 (ja) * 2008-09-16 2013-10-02 村田機械株式会社 環境地図修正装置及び自律移動装置
JP5094658B2 (ja) * 2008-09-19 2012-12-12 日立オートモティブシステムズ株式会社 走行環境認識装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
DE102009028774A1 (de) 2009-08-21 2011-02-24 Robert Bosch Gmbh Verfahren und Steuergerät zum robusten Erkennen eines Fahrspurwechsels eines Fahrzeugs
JP5453048B2 (ja) * 2009-10-22 2014-03-26 富士重工業株式会社 車両の運転支援制御装置
US20120022739A1 (en) * 2010-07-20 2012-01-26 Gm Global Technology Operations, Inc. Robust vehicular lateral control with front and rear cameras
US8447437B2 (en) * 2010-11-22 2013-05-21 Yan-Hong Chiang Assistant driving system with video recognition
EP2463843B1 (en) * 2010-12-07 2015-07-29 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
EP2484566A1 (en) 2011-02-08 2012-08-08 Volvo Car Corporation Brake assist system
DE102011018157A1 (de) * 2011-04-19 2012-10-25 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Erkennung einer Bushaltestelle
JP6193222B2 (ja) 2011-06-17 2017-09-06 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車道上で車両を誘導する際に運転者を支援する機能を実現させるためのプログラム、およびそれを実行するための装置
DE102011084762A1 (de) * 2011-10-19 2013-04-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Position eines Objektes in einem Umfeld eines Fahrzeugs
DE102012200731A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
JP5543501B2 (ja) * 2012-01-27 2014-07-09 株式会社日本自動車部品総合研究所 車両制御装置
CN102663356B (zh) * 2012-03-28 2015-04-08 柳州博实唯汽车科技有限公司 车道线提取及偏离预警方法
WO2014017625A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
KR101927155B1 (ko) * 2012-10-19 2018-12-10 현대자동차 주식회사 도로 갓길의 공간 인지 방법 및 시스템
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
US9540000B2 (en) * 2012-11-27 2017-01-10 Nissan Motor Co., Ltd. Acceleration suppression device for vehicle, and acceleration suppression method for vehicle
CN103065501B (zh) * 2012-12-14 2014-08-06 清华大学 一种汽车换道预警方法及换道预警系统
CN103050011B (zh) * 2012-12-15 2014-10-22 浙江交通职业技术学院 车道信息指示系统
CN104050829A (zh) * 2013-03-14 2014-09-17 联想(北京)有限公司 一种信息处理的方法及装置
US20140277833A1 (en) * 2013-03-15 2014-09-18 Mighty Carma, Inc. Event triggered trip data recorder
US10171775B1 (en) * 2013-05-31 2019-01-01 Vecna Technologies, Inc. Autonomous vehicle vision system
KR101782496B1 (ko) * 2013-08-21 2017-09-27 주식회사 만도 후측방 경보 시스템 및 그의 경보 제어 방법
WO2015034828A1 (en) * 2013-09-05 2015-03-12 Robert Bosch Gmbh Enhanced lane departure warning with information from rear radar sensors
JP2015067193A (ja) * 2013-09-30 2015-04-13 株式会社デンソー 先行車選択装置
US9718473B2 (en) * 2013-10-11 2017-08-01 Nissan Motor Co., Ltd. Travel control device and travel control method
KR101510336B1 (ko) * 2013-11-14 2015-04-07 현대자동차 주식회사 차량용 운전자 지원 시스템의 검사 장치
JP2015096377A (ja) * 2013-11-15 2015-05-21 株式会社デンソー 車線逸脱警報装置
KR101510338B1 (ko) * 2013-11-22 2015-04-07 현대자동차 주식회사 차량용 차선 이탈 경보 시스템의 검사 장치
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
CN104952254B (zh) * 2014-03-31 2018-01-23 比亚迪股份有限公司 车辆识别方法、装置和车辆
JP6126043B2 (ja) * 2014-04-25 2017-05-10 本田技研工業株式会社 路外逸脱抑制支援装置および路外逸脱抑制支援方法
CN103950410A (zh) * 2014-04-29 2014-07-30 深圳前向启创数码技术有限公司 全景式辅助驾驶方法及系统
CN104015657B (zh) * 2014-06-16 2016-09-14 国通道路交通管理工程技术研究中心有限公司 一种预防重点运输车辆违法超车的方法及系统
CN106463064B (zh) * 2014-06-19 2020-06-26 日立汽车系统株式会社 物体识别装置和使用该物体识别装置的车辆行驶控制装置
US10377303B2 (en) * 2014-09-04 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Management of driver and vehicle modes for semi-autonomous driving systems
US9902426B2 (en) 2014-10-17 2018-02-27 Hyundai Mobis Co., Ltd. Apparatus and method for driver assistance
KR101603618B1 (ko) * 2014-11-12 2016-03-28 현대모비스 주식회사 주변 차량 인지 시스템 및 방법
KR102270578B1 (ko) * 2014-11-18 2021-06-29 현대모비스 주식회사 차량의 전방 정보 표시 제어 장치 및 방법
KR101617345B1 (ko) * 2014-12-03 2016-05-02 현대모비스 주식회사 차량의 주행차로 추정 시스템 및 방법
CN105761536B (zh) * 2014-12-17 2019-12-10 宇龙计算机通信科技(深圳)有限公司 辅助驾驶方法及装置
KR101645717B1 (ko) * 2015-01-28 2016-08-12 (주)한양정보통신 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법
DE102015201723A1 (de) * 2015-02-02 2016-08-04 Robert Bosch Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug
US9714033B2 (en) * 2015-02-08 2017-07-25 AI Incorporated Vehicle collision avoidance system
JP6408935B2 (ja) * 2015-03-04 2018-10-17 株式会社Ｓｏｋｅｎ 走行区画線認識装置
JP6451464B2 (ja) * 2015-04-02 2019-01-16 株式会社デンソー 衝突回避装置、及び衝突回避システム
KR20190038675A (ko) 2015-04-23 2019-04-08 닛산 지도우샤 가부시키가이샤 오클루전 제어 장치
CN104859563B (zh) * 2015-05-28 2017-07-04 北京汽车股份有限公司 车道偏离预警方法和系统
KR102278387B1 (ko) * 2015-07-07 2021-07-16 주식회사 만도 거리 산출 장치, 거리 산출 방법, 운전 지원 장치 및 운전 지원 시스템
KR102355321B1 (ko) * 2015-09-10 2022-01-25 주식회사 만도모빌리티솔루션즈 차선 유지 보조 시스템 및 차선 유지 보조 방법
US9771071B2 (en) * 2015-11-19 2017-09-26 Ford Global Technologies, Llc Dynamic lane positioning for improved biker safety
CN105472193B (zh) * 2015-11-25 2018-08-31 东莞市智捷自动化设备有限公司 一种基于智能终端的车载安全信息自动开启方法
CN105336217A (zh) * 2015-12-09 2016-02-17 东华大学 一种基于机器视觉和安卓平台的行车安全预警系统
WO2017128194A1 (zh) * 2016-01-28 2017-08-03 郭子明 一种车辆偏移提醒方法及装置
WO2017128193A1 (zh) * 2016-01-28 2017-08-03 郭子明 一种车辆偏移预警时的信息推送方法及装置
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
JP6583121B2 (ja) * 2016-04-21 2019-10-02 株式会社デンソー 運転支援装置
DE102016210632A1 (de) * 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
GB2552487B (en) * 2016-07-25 2019-03-20 Ford Global Tech Llc Flow corridor detection and display system
JP7061071B2 (ja) * 2016-09-15 2022-04-27 株式会社小糸製作所 センサシステム、センサモジュール、およびランプ装置
JP6615725B2 (ja) * 2016-09-16 2019-12-04 株式会社東芝 走行速度算出装置および走行速度算出方法
US9928426B1 (en) * 2016-09-16 2018-03-27 Hong Kong Applied Science and Technology Research Institute Company Limited Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
KR20180051836A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 주행 차량을 위한 가상의 주행 차선을 생성하는 방법 및 장치
JP6466899B2 (ja) * 2016-12-01 2019-02-06 株式会社Ｓｕｂａｒｕ 車両用表示装置
KR102471072B1 (ko) * 2016-12-21 2022-11-25 삼성전자주식회사 전자 장치 및 그 동작 방법
KR102278347B1 (ko) * 2017-02-24 2021-07-19 현대자동차주식회사 차량의 경보 발생 장치 및 방법
CN106926779B (zh) * 2017-03-09 2019-10-29 吉利汽车研究院（宁波）有限公司 一种车辆变道辅助系统
JP6894744B2 (ja) * 2017-03-31 2021-06-30 株式会社Ｓｕｂａｒｕ 画像表示装置
WO2019001698A1 (en) * 2017-06-28 2019-01-03 Huawei Technologies Co., Ltd. ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD
CN113119963B (zh) * 2017-07-28 2024-03-26 现代摩比斯株式会社 智能超声系统、车辆后方碰撞警告装置及其控制方法
CN115620545A (zh) * 2017-08-24 2023-01-17 北京三星通信技术研究有限公司 用于辅助驾驶的增强现实的方法及装置
JP6666883B2 (ja) * 2017-09-01 2020-03-18 株式会社Ｓｕｂａｒｕ 走行支援装置
JP6744269B2 (ja) 2017-09-06 2020-08-19 本田技研工業株式会社 運転支援装置および運転支援方法
KR101962701B1 (ko) * 2017-09-25 2019-03-27 주식회사 만도 가시 거리에 따라 경보 영역이 변경되는 차량 경보 장치 및 방법
KR102374919B1 (ko) * 2017-10-16 2022-03-16 주식회사 만도모빌리티솔루션즈 자율주행 지원 장치 및 방법
KR102428660B1 (ko) * 2017-11-08 2022-08-03 현대자동차주식회사 차량 및 차량의 제어방법
CN107839611A (zh) * 2017-11-15 2018-03-27 福建捷联电子有限公司 具有驾驶辅助系统警示的电子后视镜
CN108090456B (zh) * 2017-12-27 2020-06-19 北京初速度科技有限公司 识别车道线模型的训练方法、车道线识别方法及装置
CN108482246A (zh) * 2018-02-08 2018-09-04 深圳市赛格导航科技股份有限公司 一种车载驾驶辅助方法、装置、设备及存储介质
CN108509906B (zh) * 2018-03-30 2022-02-08 长安大学 无人机航拍路基线光点捕捉双阈值Radon识别方法
WO2019242838A1 (de) * 2018-06-18 2019-12-26 Ask Industries Gmbh Kraftfahrzeug, umfassend eine vorrichtung zur ausgabe eines audiosignals in eine fahrgastzelle des kraftfahrzeugs
WO2020122143A1 (ja) * 2018-12-12 2020-06-18 国立大学法人 東京大学 計測システム、計測方法、及び計測プログラム
CN111352072B (zh) * 2018-12-24 2023-09-26 观致汽车有限公司 车辆的盲区检测装置及方法
CN111409553B (zh) * 2019-01-08 2024-02-20 上汽通用五菱汽车股份有限公司 一种adas显示装置与方法
KR20200102004A (ko) * 2019-01-28 2020-08-31 주식회사 만도 충돌 방지 장치, 시스템 및 방법
CN109895699A (zh) * 2019-03-11 2019-06-18 汉腾汽车有限公司 一种指示车辆周围目标与危险程度的系统及方法
US10949886B2 (en) * 2019-03-12 2021-03-16 Xevo Inc. System and method for providing content to a user based on a predicted route identified from audio or images
CN110133663B (zh) * 2019-05-08 2023-03-10 西安联丰迅声信息科技有限责任公司 一种分布式声像联合校准定位方法
CN110843673B (zh) * 2019-11-20 2021-05-18 斑马网络技术有限公司 车载防眩晕视图形成方法、生成装置及防眩晕装置
CN111845560B (zh) * 2020-03-31 2022-09-20 同济大学 一种车头冲出物体警示系统
KR20210130302A (ko) * 2020-04-21 2021-11-01 주식회사 만도모빌리티솔루션즈 운전자 보조 시스템
CN112185111A (zh) * 2020-09-21 2021-01-05 成都三维大川新材料科技有限公司 一种基于电力线载波的城市交通智能管控系统及方法
CN112669578B (zh) * 2020-12-18 2022-04-19 上海影创信息科技有限公司 余光区域中基于声源的感兴趣对象告警方法和系统
EP4068153A1 (en) * 2021-03-31 2022-10-05 Honda Research Institute Europe GmbH Advanced driver assistance system for assisting a driver of a vehicle
CN113297685B (zh) * 2021-07-27 2021-11-02 中汽研（天津）汽车工程研究院有限公司 一种车辆运行工况模式识别方法
CN114056337B (zh) * 2021-10-29 2023-12-29 阿里巴巴新加坡控股有限公司 车辆行驶行为预测方法、装置及计算机程序产品
KR102448944B1 (ko) * 2022-07-29 2022-09-30 시티아이랩 주식회사 영상의 원근 왜곡을 보정하여 차량객체의 속도를 측정하는 속도측정방법 및 속도측정장치
CN116977968A (zh) * 2023-08-10 2023-10-31 广州瀚臣电子科技有限公司 一种基于车载摄像头的车行道识别系统、方法及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030025597A1 (en) 2001-07-31 2003-02-06 Kenneth Schofield Automotive lane change aid

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3390289B2 (ja) * 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
EP1383100A3 (en) 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus and method therefor
JP3619628B2 (ja) 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
US6107939A (en) * 1998-11-05 2000-08-22 Trimble Navigation Limited Lane change alarm for use in a highway vehicle
DE19921449C1 (de) * 1999-05-08 2001-01-25 Daimler Chrysler Ag Leithilfe bei einem Fahrspurwechsel eines Kraftfahrzeuges
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4394780B2 (ja) * 1999-10-08 2010-01-06 クラリオン株式会社 移動体情報記録装置
EP1311802A1 (de) * 2000-08-24 2003-05-21 Siemens Aktiengesellschaft Verfahren zum gewinnen einer kartendarstellung und navigationsgerät
US7123168B2 (en) * 2002-04-25 2006-10-17 Donnelly Corporation Driving separation distance indicator
JP4496759B2 (ja) * 2003-10-29 2010-07-07 日産自動車株式会社 車線逸脱防止装置
JP3945494B2 (ja) * 2004-05-11 2007-07-18 トヨタ自動車株式会社 走行レーン認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030025597A1 (en) 2001-07-31 2003-02-06 Kenneth Schofield Automotive lane change aid

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108632A (ko) * 2014-03-18 2015-09-30 한국전자통신연구원 곡선 도로에서 주변 장애물 감지 보정 장치 및 그 동작 방법
KR102158745B1 (ko) 2014-03-18 2020-09-22 한국전자통신연구원 곡선 도로에서 주변 장애물 감지 보정 장치 및 그 동작 방법
US11772655B2 (en) 2019-12-26 2023-10-03 Hl Klemove Corp. Advanced driver assistance system, vehicle having the same, and method of controlling vehicle
KR20230126228A (ko) 2022-02-21 2023-08-30 김태현 차량용 전방 주행 정보 표시 장치

Also Published As

Publication number Publication date
EP1918897A2 (en) 2008-05-07
US20080055114A1 (en) 2008-03-06
KR20080004835A (ko) 2008-01-10
EP1918897A3 (en) 2008-05-14
CN101101333A (zh) 2008-01-09
US7710291B2 (en) 2010-05-04

Similar Documents

Publication Publication Date Title
KR101075615B1 (ko) 주행 차량의 운전자 보조 정보 생성 장치 및 방법
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
US9669829B2 (en) Travel lane marking recognition system
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
EP2461305B1 (en) Road shape recognition device
US7859652B2 (en) Sight-line end estimation device and driving assist device
US9126533B2 (en) Driving support method and driving support device
US9827956B2 (en) Method and device for detecting a braking situation
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US8094192B2 (en) Driving support method and driving support apparatus
US20050125121A1 (en) Vehicle driving assisting apparatus
CN113276769A (zh) 车辆盲区防撞预警系统及方法
US20070126565A1 (en) Process for monitoring blind angle in motor vehicles
US20190135169A1 (en) Vehicle communication system using projected light
JP2006318093A (ja) 車両用移動物体検出装置
JP7163748B2 (ja) 車両用表示制御装置
US20180037162A1 (en) Driver assistance system
US20180197411A1 (en) Display device for vehicle and display method for vehicle
WO2017115371A1 (en) Apparatus and method for avoiding vehicular accidents
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
JP4848644B2 (ja) 障害物認識システム
JP2022100852A (ja) 注意喚起装置及び注意喚起方法
KR102601353B1 (ko) 초음파 센서의 높이 보상장치 및 그 방법
CN215474804U (zh) 车辆盲区防撞预警装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 8