KR101982091B1 - 서라운드 뷰 모니터링 시스템 - Google Patents

서라운드 뷰 모니터링 시스템 Download PDF

Info

Publication number
KR101982091B1
KR101982091B1 KR1020170143112A KR20170143112A KR101982091B1 KR 101982091 B1 KR101982091 B1 KR 101982091B1 KR 1020170143112 A KR1020170143112 A KR 1020170143112A KR 20170143112 A KR20170143112 A KR 20170143112A KR 101982091 B1 KR101982091 B1 KR 101982091B1
Authority
KR
South Korea
Prior art keywords
lane
image
surround view
straight line
vehicle
Prior art date
Application number
KR1020170143112A
Other languages
English (en)
Other versions
KR20190048284A (ko
Inventor
이정준
문준혁
김시욱
Original Assignee
주식회사 켐트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 켐트로닉스 filed Critical 주식회사 켐트로닉스
Priority to KR1020170143112A priority Critical patent/KR101982091B1/ko
Priority to PCT/KR2018/012838 priority patent/WO2019088595A1/ko
Priority to CN201880057393.6A priority patent/CN111133439B/zh
Publication of KR20190048284A publication Critical patent/KR20190048284A/ko
Application granted granted Critical
Publication of KR101982091B1 publication Critical patent/KR101982091B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G06K9/00798—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

본 발명은 서라운드 뷰 모니터링 시스템에 관한 것이다. 보다 구체적으로, 본 발명에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영하는 복수개의 카메라, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 전방 이미지를 이용하여 차선 변경 여부를 판별하는 제1 차선 변경 인식 모듈, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 토대로 생성된 서라운드 뷰 이미지를 이용하여 차선 변경 여부를 판별하는 제2 차선 변경 인식 모듈 및 제1 및 제2 차선 변경 인식 모듈에서 각각 판별된 차선 변경 여부에 관한 정보를 종합하여 최종 결과를 생성하는 결과 종합 모듈을 포함한다.

Description

서라운드 뷰 모니터링 시스템{SURROUND VIEW MONITORING SYSTEM}
본 발명은 서라운드 뷰 모니터링 시스템에 관한 것이다.
오늘날 차량이 널리 보급되면서 졸음 및 운전자 부주의로 인한 사고(특히, 차선 변경시 차량 간 접촉사고)가 증가하고 있다.
또한, 운전자가 다변화하는 차량 주변 상황을 완벽하게 인식하기 어렵다는 점 역시 접촉 사고 증가의 한가지 요인인바, 이러한 사고를 방지하기 위해 카메라를 활용하여 차선 이탈을 경고하는 차선 이탈 경고 시스템(Lane Departure Warning System)이 개발되었다.
또한 주차와 같이 전후좌우를 한번에 확인하기 힘든 상황에서 접촉 사고를 방지하기 위해, 운전자에게 차량 주변의 상황을 위에서 본 영상(즉, 탑뷰(Topview))으로 변환하여 보여주는 서라운드 뷰 모니터링 시스템(Surround View Monitoring System)이 개발 되었다.
다만, 차선 이탈 경고 시스템과 서라운드 뷰 모니터링 시스템은 목적이 서로 다르기 때문에 카메라 렌즈의 사양 역시 차이가 있다. 이로 인해, 차선 이탈 경고 시스템과 서라운드 뷰 모니터링 시스템 둘다를 차량에 설치하고자 하는 경우, 각 시스템에 필요한 카메라를 별개로 설치해야 하는바, 카메라 개수가 증가한다는 문제가 있다. 또한, 증가된 카메라 개수로 인해 비용 역시 증가한다는 문제가 있다. 그뿐만 아니라 각 시스템의 카메라에서 촬영된 영상(즉, 이미지)을 모두 처리하기 위해서는 고성능 프로세서(예를 들어, CPU)가 필요하다는 문제도 있다.
이러한 문제를 해결하기 위해, 서라운드 뷰 모니터링 시스템만을 이용하여 차선 변경 여부를 판별하는 방안이 강구되어 왔다.
그러나 서라운드 뷰 모니터링 시스템의 카메라에는 광각 렌즈가 사용되는바, 촬영된 이미지에 왜곡이 발생할 수 있다. 따라서, 왜곡 보정을 한 후 이미지 처리를 하여 차선의 위치를 추출하는 방식으로 차선 변경 여부를 판별하였다.
다만, 광각 렌즈를 통해 취득한 이미지는 넓은 범위의 사물을 작은 이미지 영역에 함축하여 표현되기 때문에, 이미지에 표현되는 사물의 조밀도가 높아서 왜곡 보정된 이미지에는 해상도가 낮게 표현된다는 문제가 있다.
또한 차선 이탈 경고 시스템용 카메라가 룸미러 근처에 설치되는 것과 달리, 차량의 전단에 설치되는 서라운드 뷰 모니터링 시스템용 카메라(즉, 전방 카메라)는 차량 외부의 번호판 근처에 설치되는바, 촬상 높이가 낮아져 멀리 있는 차선과 가까이 있는 차선 간 크기 차이가 커진다는 문제가 있다.
그리고, 차량의 고속 주행시, 차량의 전단에 설치되는 카메라에 의해 촬영된 이미지에는 차선이 너무 멀리 있는 것처럼 표현되어, 차선을 인식할 수 없는 경우가 자주 발생한다는 문제도 있다.
또한, 차선 인식 불량 문제를 해결하기 위해 차량의 좌우측에 설치되는 카메라(즉, 좌측 카메라 및 우측 카메라)를 추가로 사용하는 경우, 차선 인식률을 개선할 수 있지만, 이미지 처리 횟수 증가로 인해 보다 고성능의 프로세서를 설치해야 하거나 모든 이미지 프레임을 처리하지 못할 수도 있다는 문제가 있다.
본 발명은 이미지 처리 횟수 증가를 최소화하면서 차선 인식률을 개선할 수 있는 서라운드 뷰 모니터링 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영하는 복수개의 카메라, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 전방 이미지를 이용하여 차선 변경 여부를 판별하는 제1 차선 변경 인식 모듈, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 토대로 생성된 서라운드 뷰 이미지를 이용하여 차선 변경 여부를 판별하는 제2 차선 변경 인식 모듈 및 제1 및 제2 차선 변경 인식 모듈에서 각각 판별된 차선 변경 여부에 관한 정보를 종합하여 최종 결과를 생성하는 결과 종합 모듈을 포함한다.
상기 제1 차선 변경 인식 모듈은, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지 중 전방 이미지를 선택하는 전방 이미지 선택부와, 전방 이미지 선택부에서 선택된 전방 이미지를 차선 인식용 이미지로 변환하는 전방 이미지 처리부와, 전방 이미지 처리부에서 변환된 차선 인식용 이미지에서 직선을 검출하고, 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하는 전방 이미지 차선 인식부와, 전방 이미지 차선 인식부로부터 프레임마다 특정된 직선의 위치에 관한 정보를 제공받고, 제공받은 정보를 토대로 차선 변경 여부를 판별하는 전방 이미지 차선 변경 인식부를 포함한다.
상기 전방 이미지 처리부는 전방 이미지 선택부에서 선택된 전방 이미지에 대해 렌즈 왜곡 보정 작업, 크기 조정 작업, 히스토그램 보정 작업 및 엣지(Edge) 추출 작업 중 적어도 하나의 작업을 수행한 후 전방 이미지를 차선 인식용 이미지로 변환한다.
상기 전방 이미지 차선 인식부는, 전방 이미지 처리부에서 변환된 차선 인식용 이미지에 대해 허프 변환 작업을 수행하여 직선을 검출하고, 제1 차선 인식 필터를 통해 검출된 직선이 차선에 해당하는지 여부를 판별하며, 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하고, 제1 칼만 필터를 통해 특정된 직선의 위치에 포함된 노이즈를 제거한 후 특정된 직선의 위치에 관한 정보를 전방 이미지 차선 변경 인식부에 제공한다.
상기 제2 차선 변경 인식 모듈은, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 토대로 서라운드 뷰 이미지를 생성하는 서라운드 뷰 이미지 생성부와, 서라운드 뷰 이미지 생성부에서 생성된 서라운드 뷰 이미지를 차선 인식용 이미지로 변환하는 서라운드 뷰 이미지 처리부와, 서라운드 뷰 이미지 처리부에서 변환된 차선 인식용 이미지에서 직선을 검출하고, 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하는 서라운드 뷰 이미지 차선 인식부와, 서라운드 뷰 이미지 차선 인식부로부터 프레임마다 특정된 직선의 위치에 관한 정보를 제공받고, 제공받은 정보를 토대로 차선 간격, 차선 폭 및 차선 위치 중 적어도 하나의 변화를 추출하여 차선 변경 여부를 판별하는 서라운드 뷰 이미지 차선 변경 인식부를 포함한다.
상기 서라운드 뷰 이미지 생성부는, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 토대로 서라운드 뷰 이미지 정합 정보를 생성하고, 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지에 서라운드 뷰 이미지 정합 정보를 반영하여 서라운드 뷰 이미지를 생성한다.
상기 서라운드 뷰 이미지 처리부는 서라운드 뷰 이미지 선택부에서 선택된 서라운드 뷰 이미지에 대해 크기 조정 작업, 노이즈 제거 작업 및 엣지 추출 작업 중 적어도 하나의 작업을 수행한 후 서라운드 뷰 이미지를 차선 인식용 이미지로 변환한다.
상기 서라운드 뷰 이미지 차선 인식부는, 서라운드 뷰 이미지 처리부에서 변환된 차선 인식용 이미지에 대해 허프 변환 작업을 수행하여 직선을 검출하고, 제2 차선 인식 필터를 통해 검출된 직선이 차선에 해당하는지 여부를 판별하며, 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하고, 제2 칼만 필터를 통해 특정된 직선의 위치에 포함된 노이즈를 제거한 후 특정된 직선의 위치에 관한 정보를 서라운드 뷰 이미지 차선 변경 인식부에 제공한다.
상기 결과 종합 모듈에서 생성된 최종 결과를 토대로 경고 정보를 생성하는 경고 표시 모듈을 더 포함하되, 경고 표시 모듈은 차선이 변경된 경우 운전자에게 경고 정보를 출력한다.
상기 복수개의 카메라는, 차량의 전단에 설치되어 차량의 전방 이미지를 촬영하는 제1 카메라와, 차량의 좌측에 설치되어 차량의 좌측 이미지를 촬영하는 제2 카메라와, 차량의 우측에 설치되어 차량의 우측 이미지를 촬영하는 제3 카메라와, 차량의 후단에 설치되어 차량의 후방 이미지를 촬영하는 제4 카메라를 포함한다.
본 발명에 따르면, 전방 이미지를 이용한 차선 변경 판별 결과와 서라운드 뷰 이미지를 이용한 차선 변경 판별 결과를 종합하여 차선 변경 여부를 최종 판별함으로써, 이미지 처리 횟수 증가를 최소화하면서 차선 인식률을 개선할 수 있다. 또한 이미지 처리 횟수 증가를 최소화하면서 차선 인식률을 개선할 수 있는바, 고비용, 고성능의 프로세서를 장착할 필요가 없다는 장점이 있다. 나아가 차선 이탈 경고 시스템 없이 차선 이탈 여부를 판별함으로써 차량에 설치해야 하는 카메라 개수 및 설치 비용을 저감할 수 있다.
도 1은 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하는 블록도이다.
도 2는 도 1의 제1 차선 변경 인식 모듈을 설명하는 블록도이다.
도 3은 도 1의 제2 차선 변경 인식 모듈을 설명하는 블록도이다.
도 4는 도 3의 서라운드 뷰 이미지 생성부에서 생성된 서라운드 뷰 이미지를 설명하는 개략도이다.
도 5는 도 1의 서라운드 뷰 모니터링 시스템의 차선 이탈 경고 모습을 설명하기 위한 도면이다.
본 발명을 더 쉽게 이해하기 위해 편의상 특정 용어를 본원에 정의한다. 본원에서 달리 정의하지 않는 한, 본 발명에 사용된 과학 용어 및 기술 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미를 가질 것이다. 또한, 문맥상 특별히 지정하지 않는 한, 단수 형태의 용어는 그것의 복수 형태도 포함하는 것이며, 복수 형태의 용어는 그것의 단수 형태도 포함하는 것으로 이해되어야 한다.
이하에서는, 도 1 내지 도 5를 참조하여, 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템을 설명하는 블록도이다. 도 2는 도 1의 제1 차선 변경 인식 모듈을 설명하는 블록도이다. 도 3은 도 1의 제2 차선 변경 인식 모듈을 설명하는 블록도이다. 도 4는 도 3의 서라운드 뷰 이미지 생성부에서 생성된 서라운드 뷰 이미지를 설명하는 개략도이다. 도 5는 도 1의 서라운드 뷰 모니터링 시스템의 차선 이탈 경고 모습을 설명하기 위한 도면이다.
먼저 도 1을 참조하면, 본 발명의 실시예에 따른 서라운드 뷰 모니터링 시스템(1)은 차량에 설치될 수 있고, 복수개의 카메라(100), 제1 차선 변경 인식 모듈(200), 제2 차선 변경 인식 모듈(300), 결과 종합 모듈(400), 경고 표시 모듈(500)을 포함할 수 있다.
복수개의 카메라(100)는 차량의 전후좌우에 각각 설치되어 차량의 주변 이미지를 촬영할 수 있다.
구체적으로, 복수개의 카메라(100)는 차량의 전단에 설치되어 차량의 전방 이미지를 촬영하는 제1 카메라(100a)와, 차량의 좌측에 설치되어 차량의 좌측 이미지를 촬영하는 제2 카메라(100b)와, 차량의 우측에 설치되어 차량의 우측 이미지를 촬영하는 제3 카메라(100c)와, 차량의 후단에 설치되어 차량의 후방 이미지를 촬영하는 제4 카메라(100d)를 포함할 수 있다.
또한 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지(즉, 영상)는 제1 차선 변경 인식 모듈(200)과 제2 차선 변경 인식 모듈(300)로 제공될 수 있다.
참고로, 복수개의 카메라(100)에는 광각 렌즈가 사용될 수 있으나, 이에 한정되는 것은 아니다.
이어서, 도 2를 참조하면, 제1 차선 변경 인식 모듈(200)은 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지 중 전방 이미지를 이용하여 차선 변경 여부를 판별할 수 있다.
구체적으로, 제1 차선 변경 인식 모듈(200)은 전방 이미지 선택부(210), 전방 이미지 처리부(230), 전방 이미지 차선 인식부(250), 전방 이미지 차선 변경 인식부(270)를 포함할 수 있다.
전방 이미지 선택부(210)는 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지 중 전방 이미지를 선택할 수 있다. 또한 전방 이미지 선택부(210)는 선택된 전방 이미지를 전방 이미지 처리부(230)로 제공할 수 있다.
전방 이미지 처리부(230)는 전방 이미지 선택부(210)에서 선택된 전방 이미지를 차선 인식용 이미지로 변환할 수 있다.
구체적으로, 전방 이미지 처리부(230)는 전방 이미지 선택부(210)로부터 전방 이미지를 제공받을 수 있고, 제공받은 전방 이미지에 대해 렌즈 왜곡 보정 작업, 노이즈 제거 작업, 크기 조정 작업, 히스토그램(histogram) 보정 작업 및 엣지(Edge) 추출 작업 중 적어도 하나의 작업을 수행한 후 전방 이미지를 차선 인식용 이미지로 변환할 수 있다.
여기에서, 차량의 전방 이미지를 촬영하는 제1 카메라(100a)에 광각 렌즈가 적용된 경우, 촬영된 이미지에 왜곡이 발생할 수 있는바, 렌즈의 왜곡을 보정하는 작업이 수행될 수 있다.
또한 히스토그램은 예를 들어, 카메라에 의해 촬영된 이미지의 노출(즉, 밝기) 정도를 구분하여 해당 밝기에 얼마나 많은 픽셀이 분포되어 있는지를 보여주는 그래프일 수 있고, 노출은 예를 들어, 카메라의 이미지 센서에 입사되는 빛의 양에 따른 이미지의 밝고 어두운 정도를 의미할 수 있다. 또한 엣지는 예를 들어, 카메라에서 촬영된 이미지를 선분화하였을 때 선분이 교차하는 지점을 찾기 위해 추출될 수 있다.
그리고, 전방 이미지 처리부(230)는 변환된 차선 인식용 이미지를 전방 이미지 차선 인식부(250)로 제공할 수 있다.
전방 이미지 차선 인식부(250)는 전방 이미지 처리부(230)에서 변환된 차선 인식용 이미지에서 직선을 검출하고, 검출된 직선 중 차선으로 판별된 직선의 위치를 특정할 수 있다.
구체적으로, 전방 이미지 차선 인식부(250)는 전방 이미지 처리부(230)에서 변환된 차선 인식용 이미지에 대해 허프 변환(Hough transformation) 작업을 수행하여 직선을 검출하고, 제1 차선 인식 필터(미도시)를 통해 검출된 직선이 차선(즉, 실제 차선)에 해당하는지 여부를 판별할 수 있다. 또한 전방 이미지 차선 인식부(250)는 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하고, 제1 칼만 필터(Kalman filter; 미도시)를 통해 특정된 직선의 위치에 포함된 노이즈를 제거한 후 특정된 직선의 위치에 관한 정보를 전방 이미지 차선 변경 인식부(270)에 제공할 수 있다.
참고로, 전방 이미지 차선 인식부(250)는 직선 검출시 허프 변환 작업이 아닌 다른 선분 추출 작업을 수행할 수 있으나, 본 발명의 실시예에서는 설명의 편의를 위해, 전방 이미지 차선 인식부(250)가 직선 검출시 허프 변환 작업을 수행하는 것을 예로 들어 설명하기로 한다.
또한 전방 이미지 차선 인식부(250)는 검출된 직선이 차선(즉, 실제 차선)에 해당하는지 여부를 판별하기 위해, 먼저, 차선 소실점을 지정하고, 지정된 차선 소실점을 중심으로 검출된 직선을 좌측 직선과 우측 직선으로 구별할 수 있다. 이어서, 전방 이미지 차선 인식부(250)는 좌측 직선 중 차선 소실점을 중심으로 미리 설정된 각도 내에 속하는 직선을 검출하고, 우측 직선 중 차선 소실점을 중심으로 미리 설정된 각도 내에 속하는 직선을 검출할 수 있다. 이러한 과정을 거쳐 검출된 직선들 중 두 개의 직선 사이의 간격이 미리 정의된 차선폭과 오차가 작은 직선을 실제 차선으로 판별할 수 있다.
상기의 실제 차선 판별 방법은 제1 차선 인식 필터를 이용하여 수행될 수 있다.
또한 전방 이미지 차선 인식부(250)는 특정된 직선의 위치에 포함된 노이즈를 제거시 칼만 필터가 아닌 다른 필터를 사용할 수도 있으나, 본 발명의 실시예에서는 설명의 편의를 위해, 전방 이미지 차선 인식부(250)가 특정된 직선의 위치에 포함된 노이즈를 제거시 칼만 필터를 사용하는 것을 예로 들어 설명하기로 한다.
여기에서, 제1 차선 인식 필터와 제1 칼만 필터는 예를 들어, 알고리즘 형태로 전방 이미지 차선 인식부(250)에서 사용될 수 있다.
전방 이미지 차선 변경 인식부(270)는 전방 이미지 차선 인식부(250)로부터 프레임마다 특정된 직선의 위치에 관한 정보를 제공받고, 제공받은 정보를 토대로 차선 변경 여부를 판별할 수 있다.
구체적으로, 전방 이미지 차선 변경 인식부(270)는 프레임마다 전방 이미지 차선 인식부(250)로부터 제공받은 특정된 직선의 위치에 관한 정보를 저장하고, 저장된 정보를 토대로 특정된 직선의 위치(즉, 차선 위치)의 변화 흐름을 파악함으로써 차선 변경 여부를 판별할 수 있다.
물론, 전방 이미지 차선 변경 인식부(270)는 저장된 정보를 토대로 특정된 직선 간격(즉, 차선 간격; 차량을 중심으로 양측에 위치한 각 차선 사이의 간격) 또는 직선 폭(즉, 차선 폭; 차선 자체의 가로 방향 폭) 등의 변화 흐름을 더 파악하여 차선 변경 여부를 판별할 수도 있다.
또한 전방 이미지 차선 변경 인식부(270)는 판별 결과를 결과 종합 모듈(도 1의 400)에 제공할 수 있다.
한편, 도 3 및 도 4를 참조하면, 제2 차선 변경 인식 모듈(300)은 복수개의 카메라에서 각각 촬영된 차량의 주변 이미지를 토대로 생성된 서라운드 뷰 이미지를 이용하여 차선 변경 여부를 판별할 수 있다.
구체적으로, 제2 차선 변경 인식 모듈(300)은 서라운드 뷰 이미지 생성부(310), 서라운드 뷰 이미지 처리부(330), 서라운드 뷰 이미지 차선 인식부(350), 서라운드 뷰 이미지 차선 변경 인식부(370)를 포함할 수 있다.
서라운드 뷰 이미지 생성부(310)는 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지를 토대로 서라운드 뷰 이미지를 생성할 수 있다.
구체적으로, 서라운드 뷰 이미지 생성부(310)는, 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지를 토대로 서라운드 뷰 이미지 정합 정보를 생성하고, 복수개의 카메라(100)에서 각각 촬영된 차량의 주변 이미지에 서라운드 뷰 이미지 정합 정보를 반영하여 서라운드 뷰 이미지를 생성할 수 있다.
즉, 도 4에 도시된 바와 같이, 서라운드 뷰 이미지 생성부(310)는 복수개의 카메라(100)에서 각각 촬영된 차량(C)의 전방 이미지(FI), 후방 이미지(RI), 우측 이미지(RSI), 좌측 이미지(LSI)를 정합하여 서라운드 뷰 이미지(SVI)를 생성할 수 있다.
참고로, 서라운드 뷰 이미지 정합 정보는 예를 들어, 복수개의 카메라(100) 각각으로부터 촬영된 이미지를 공차 파라미터 정보를 토대로 재배치(stitching)하기 위한 정보를 포함할 수 있고, 공차 파라미터 정보는 복수개의 카메라(100) 각각의 설치 위치, 각도 차이 등으로 인해 발생하는 카메라 간 공차를 보정하기 위한 파라미터 정보를 포함할 수 있다.
또한 서라운드 뷰 이미지 생성부(310)는 생성된 서라운드 뷰 이미지를 서라운드 뷰 이미지 처리부(330)로 제공할 수 있다.
서라운드 뷰 이미지 처리부(330)는 서라운드 뷰 이미지 생성부(310)에서 생성된 서라운드 뷰 이미지를 차선 인식용 이미지로 변환할 수 있다.
구체적으로, 서라운드 뷰 이미지 처리부(330)는 서라운드 뷰 이미지 생성부(310)로부터 서라운드 뷰 이미지를 제공받을 수 있고, 제공받은 서라운드 뷰 이미지에 대해 렌즈 왜곡 보정 작업, 히스토그램 보정 작업, 크기 조정 작업, 노이즈 제거 작업 및 엣지 추출 작업 중 적어도 하나의 작업을 수행한 후 서라운드 뷰 이미지를 차선 인식용 이미지로 변환할 수 있다.
또한, 서라운드 뷰 이미지 처리부(330)는 변환된 차선 인식용 이미지를 서라운드 뷰 이미지 차선 인식부(350)로 제공할 수 있다.
서라운드 뷰 이미지 차선 인식부(350)는 서라운드 뷰 이미지 처리부(330)에서 변환된 차선 인식용 이미지에서 직선을 검출하고, 검출된 직선 중 차선으로 판별된 직선의 위치를 특정할 수 있다.
구체적으로, 서라운드 뷰 이미지 차선 인식부(350)는 서라운드 뷰 이미지 처리부(330)에서 변환된 차선 인식용 이미지에 대해 허프 변환 작업을 수행하여 직선을 검출하고, 제2 차선 인식 필터(미도시)를 통해 검출된 직선이 차선(즉, 실제 차선)에 해당하는지 여부를 판별할 수 있다. 또한 서라운드 뷰 이미지 차선 인식부(350)는 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하고, 제2 칼만 필터(미도시)를 통해 특정된 직선의 위치에 포함된 노이즈를 제거한 후 특정된 직선의 위치에 관한 정보를 서라운드 뷰 이미지 차선 변경 인식부(370)에 제공할 수 있다.
참고로, 서라운드 뷰 이미지 차선 인식부(350)는 직선 검출시 허프 변환 작업이 아닌 다른 선분 추출 작업을 수행할 수 있으나, 본 발명의 실시예에서는 설명의 편의를 위해, 서라운드 뷰 이미지 차선 인식부(350)가 직선 검출시 허프 변환 작업을 수행하는 것을 예로 들어 설명하기로 한다.
또한 서라운드 뷰 이미지 차선 인식부(350)는 검출된 직선이 차선(즉, 실제 차선)에 해당하는지 여부를 판별하기 위해, 먼저, 검출된 직선 중 수직 방향(즉, 주행 방향과 평행한 방향)에 가까운 기울기로 연장되는 직선을 선별하고, 선별된 직선들 중 두 개의 직선 사이의 간격이 미리 정의된 차선폭과 오차가 작은 직선을 실제 차선으로 판별할 수 있다.
상기의 실제 차선 판별 방법은 제2 차선 인식 필터를 이용하여 수행될 수 있다.
참고로, 서라운드 뷰 이미지 차선 인식부(350)에서도 전방 이미지 차선 인식부(250)의 실제 차선 판별 방법과 동일한 방법으로 검출된 직선 중 실제 차선을 판별할 수도 있다.
또한 서라운드 뷰 이미지 차선 인식부(350)는 특정된 직선의 위치에 포함된 노이즈를 제거시 칼만 필터가 아닌 다른 필터를 사용할 수도 있으나, 본 발명의 실시예에서는 설명의 편의를 위해, 서라운드 뷰 이미지 차선 인식부(350)가 특정된 직선의 위치에 포함된 노이즈를 제거시 칼만 필터를 사용하는 것을 예로 들어 설명하기로 한다.
여기에서, 제2 차선 인식 필터와 제2 칼만 필터는 예를 들어, 알고리즘 형태로 서라운드 뷰 이미지 차선 인식부(350)에서 사용될 수 있다.
서라운드 뷰 이미지 차선 변경 인식부(370)는 서라운드 뷰 이미지 차선 인식부(350)로부터 프레임마다 특정된 직선의 위치에 관한 정보를 제공받고, 제공받은 정보를 토대로 차선 간격, 차선 폭 및 차선 위치 중 적어도 하나의 변화를 추출하여 차선 변경 여부를 판별할 수 있다.
구체적으로, 서라운드 뷰 이미지 차선 변경 인식부(370)는 프레임마다 서라운드 뷰 이미지 차선 인식부(350)로부터 제공받은 특정된 직선의 위치에 관한 정보를 저장하고, 저장된 정보를 토대로 차선 간격(예를 들어, 차량을 중심으로 양측에 위치한 각 차선 사이의 간격), 차선 폭(예를 들어, 차선 자체의 가로 방향 폭) 및 차선 위치 중 적어도 하나의 변화 흐름을 파악함으로써 차선 변경 여부를 판별할 수 있다.
또한 서라운드 뷰 이미지 차선 변경 인식부(370)는 판별 결과를 결과 종합 모듈(도 1의 400)에 제공할 수 있다.
전술한 바와 같이, 제2 차선 변경 인식 모듈(300)은 서라운드 뷰 이미지를 통해 차선 변경 여부를 판별함으로써, 전방 이미지를 통해 차선 변경 여부를 판별하는 제1 차선 변경 인식 모듈(200)의 차선 인식 정확도를 보완할 수 있다.
이에 따라, 종래와 달리, 차선 인식 불량 문제를 해결하기 위해 차량의 좌우측에 설치되는 카메라(즉, 좌측 카메라 및 우측 카메라)를 추가로 사용할 필요가 없고, 좌우측 차선을 서라운드 뷰 이미지를 통해 동시에 검출할 수 있는바, 이미지 처리 횟수 증가를 최소화할 수 있다.
다시 도 1을 참조하면, 결과 종합 모듈(400)은 제1 및 제2 차선 변경 인식 모듈(200, 300)에서 각각 판별된 차선 변경 여부에 관한 정보(즉, 판별 결과)를 종합하여 최종 결과를 생성할 수 있다.
구체적으로, 결과 종합 모듈(400)은 제1 차선 변경 인식 모듈(200)에서 인식된 차선의 위치와 제2 차선 변경 인식 모듈(300)에서 인식된 차선의 위치 간 오차 정보 등을 종합하여 차선 변경 여부에 대한 진위를 판별할 수 있고, 판별 결과를 토대로 최종 결과를 생성할 수 있다.
또한 결과 종합 모듈(400)은 생성된 최종 결과를 경고 표시 모듈(500)에 제공할 수 있다.
경고 표시 모듈(500)은 결과 종합 모듈(400)에서 생성된 최종 결과를 토대로 경고 정보를 생성할 수 있다.
구체적으로, 경고 표시 모듈(500)은 결과 종합 모듈(400)에서 생성된 최종 결과를 토대로 경고 정보를 생성할 수 있고, 최종 결과가 차선이 변경되었음을 가리키는 경우 운전자에게 경고 정보를 출력할 수 있다.
즉, 경고 표시 모듈(500)은 경고 정보를 차량에 장착된 디스플레이 장치(미도시)로 제공할 수 있고, 디스플레이 장치는 제공받은 경고 정보를 표시할 수 있다.
여기에서, 도 5를 참조하면, 차량에 장착된 디스플레이 장치에 경고 정보(A)가 표시된 모습이 도시되어 있다.
즉, 디스플레이 장치는 차량(C)이 좌측 차선(L)을 이탈함과 동시에 경고 정보(A)를 차량(C)의 좌측에 표시함으로써 운전자가 좌측 차선(L)을 이탈하였음을 즉시 인식하도록 할 수 있다.
또한 도면에 도시되어 있지는 않지만, 경고 표시 모듈(500)은 경고 정보를 차량에 장착된 스피커(미도시)를 통해 음성 형태로 출력할 수도 있다.
전술한 바와 같이, 본 발명에 따른 서라운드 뷰 모니터링 시스템(1)에 따르면, 전방 이미지를 이용한 차선 변경 판별 결과와 서라운드 뷰 이미지를 이용한 차선 변경 판별 결과를 종합하여 차선 변경 여부를 최종 판별함으로써 이미지 처리 횟수 증가를 최소화하면서 차선 인식률을 개선할 수 있다. 또한 이미지 처리 횟수 증가 없이 차선 인식률을 개선할 수 있는바, 고비용, 고성능의 프로세서를 장착할 필요가 없다는 장점이 있다. 나아가 차선 이탈 경고 시스템 없이 차선 이탈 여부를 판별함으로써 차량에 설치해야 하는 카메라 개수 및 설치 비용을 저감할 수 있다.
이상, 본 발명에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100: 복수개의 카메라 200: 제1 차선 변경 인식 모듈
300: 제2 차선 변경 인식 모듈 400: 결과 종합 모듈
500: 경고 표시 모듈

Claims (10)

  1. 차량의 전후좌우에 각각 설치되어 상기 차량의 주변 이미지를 촬영하는 복수개의 카메라;
    상기 차량의 주변 이미지 중 전방 이미지를 변환하여, 프레임마다 차선으로 판별된 상기 전방 이미지에 대한 직선의 위치를 특정하고, 상기 전방 이미지에 대한 직선의 위치를 토대로, 차선 변경 여부를 판별하는 제1 차선 변경 인식 모듈;
    상기 차량의 주변 이미지를 토대로 생성된 서라운드 뷰 이미지를 변환하여, 프레임마다 차선으로 판별된 상기 서라운드 뷰 이미지에 대한 직선의 위치를 특정하고, 상기 서라운드 뷰 이미지에 대한 직선의 위치를 토대로, 차선 변경 여부를 판별하는 제2 차선 변경 인식 모듈; 및
    상기 제1 및 제2 차선 변경 인식 모듈에서 각각 판별된 차선 변경 여부에 관한 정보를 종합하여 최종 결과를 생성하는 결과 종합 모듈을 포함하는
    서라운드 뷰 모니터링(Surround View Monitoring) 시스템.
  2. 제1항에 있어서,
    상기 제1 차선 변경 인식 모듈은,
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지 중 상기 전방 이미지를 선택하는 전방 이미지 선택부와,
    상기 전방 이미지 선택부에서 선택된 상기 전방 이미지를 차선 인식용 이미지로 변환하는 전방 이미지 처리부와,
    상기 전방 이미지 처리부에서 변환된 상기 차선 인식용 이미지에서 직선을 검출하고, 상기 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하는 전방 이미지 차선 인식부와,
    상기 전방 이미지 차선 인식부로부터 프레임마다 상기 특정된 직선의 위치에 관한 정보를 제공받고, 상기 제공받은 정보를 토대로 차선 변경 여부를 판별하는 전방 이미지 차선 변경 인식부를 포함하는
    서라운드 뷰 모니터링 시스템.
  3. 제2항에 있어서,
    상기 전방 이미지 처리부는 상기 전방 이미지 선택부에서 선택된 상기 전방 이미지에 대해 렌즈 왜곡 보정 작업, 히스토그램 보정 작업, 크기 조정 작업, 노이즈 제거 작업 및 엣지(Edge) 추출 작업 중 적어도 하나의 작업을 수행한 후 상기 전방 이미지를 상기 차선 인식용 이미지로 변환하는
    서라운드 뷰 모니터링 시스템.
  4. 제2항에 있어서,
    상기 전방 이미지 차선 인식부는,
    상기 전방 이미지 처리부에서 변환된 상기 차선 인식용 이미지에 대해 허프 변환 작업을 수행하여 직선을 검출하고,
    제1 차선 인식 필터를 통해 상기 검출된 직선이 차선에 해당하는지 여부를 판별하며,
    상기 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하고,
    제1 칼만 필터를 통해 상기 특정된 직선의 위치에 포함된 노이즈를 제거한 후 상기 특정된 직선의 위치에 관한 정보를 상기 전방 이미지 차선 변경 인식부에 제공하는
    서라운드 뷰 모니터링 시스템.
  5. 제1항에 있어서,
    상기 제2 차선 변경 인식 모듈은,
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지를 토대로 상기 서라운드 뷰 이미지를 생성하는 서라운드 뷰 이미지 생성부와,
    상기 서라운드 뷰 이미지 생성부에서 생성된 상기 서라운드 뷰 이미지를 차선 인식용 이미지로 변환하는 서라운드 뷰 이미지 처리부와,
    상기 서라운드 뷰 이미지 처리부에서 변환된 상기 차선 인식용 이미지에서 직선을 검출하고, 상기 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하는 서라운드 뷰 이미지 차선 인식부와,
    상기 서라운드 뷰 이미지 차선 인식부로부터 프레임마다 상기 특정된 직선의 위치에 관한 정보를 제공받고, 상기 제공받은 정보를 토대로 차선 간격, 차선 폭 및 차선 위치 중 적어도 하나의 변화를 추출하여 차선 변경 여부를 판별하는 서라운드 뷰 이미지 차선 변경 인식부를 포함하는
    서라운드 뷰 모니터링 시스템.
  6. 제5항에 있어서,
    서라운드 뷰 이미지 생성부는,
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지를 토대로 서라운드 뷰 이미지 정합 정보를 생성하고,
    상기 복수개의 카메라에서 각각 촬영된 상기 차량의 주변 이미지에 상기 서라운드 뷰 이미지 정합 정보를 반영하여 상기 서라운드 뷰 이미지를 생성하는
    서라운드 뷰 모니터링 시스템.
  7. 제5항에 있어서,
    상기 서라운드 뷰 이미지 처리부는 상기 서라운드 뷰 이미지 선택부에서 선택된 상기 서라운드 뷰 이미지에 대해 렌즈 왜곡 보정 작업, 히스토그램 보정 작업, 크기 조정 작업, 노이즈 제거 작업 및 엣지 추출 작업 중 적어도 하나의 작업을 수행한 후 상기 서라운드 뷰 이미지를 상기 차선 인식용 이미지로 변환하는
    서라운드 뷰 모니터링 시스템.
  8. 제5항에 있어서,
    상기 서라운드 뷰 이미지 차선 인식부는,
    상기 서라운드 뷰 이미지 처리부에서 변환된 상기 차선 인식용 이미지에 대해 허프 변환 작업을 수행하여 직선을 검출하고,
    제2 차선 인식 필터를 통해 상기 검출된 직선이 차선에 해당하는지 여부를 판별하며,
    상기 검출된 직선 중 차선으로 판별된 직선의 위치를 특정하고,
    제2 칼만 필터를 통해 상기 특정된 직선의 위치에 포함된 노이즈를 제거한 후 상기 특정된 직선의 위치에 관한 정보를 상기 서라운드 뷰 이미지 차선 변경 인식부에 제공하는
    서라운드 뷰 모니터링 시스템.
  9. 제1항에 있어서,
    상기 결과 종합 모듈에서 생성된 상기 최종 결과를 토대로 경고 정보를 생성하는 경고 표시 모듈을 더 포함하되,
    상기 경고 표시 모듈은 차선이 변경된 경우 운전자에게 상기 경고 정보를 출력하는
    서라운드 뷰 모니터링 시스템.
  10. 제1항에 있어서,
    상기 복수개의 카메라는,
    상기 차량의 전단에 설치되어 상기 차량의 전방 이미지를 촬영하는 제1 카메라와,
    상기 차량의 좌측에 설치되어 상기 차량의 좌측 이미지를 촬영하는 제2 카메라와,
    상기 차량의 우측에 설치되어 상기 차량의 우측 이미지를 촬영하는 제3 카메라와,
    상기 차량의 후단에 설치되어 상기 차량의 후방 이미지를 촬영하는 제4 카메라를 포함하는
    서라운드 뷰 모니터링 시스템.

KR1020170143112A 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템 KR101982091B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170143112A KR101982091B1 (ko) 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템
PCT/KR2018/012838 WO2019088595A1 (ko) 2017-10-31 2018-10-26 서라운드 뷰 모니터링 시스템
CN201880057393.6A CN111133439B (zh) 2017-10-31 2018-10-26 全景监视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143112A KR101982091B1 (ko) 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템

Publications (2)

Publication Number Publication Date
KR20190048284A KR20190048284A (ko) 2019-05-09
KR101982091B1 true KR101982091B1 (ko) 2019-05-24

Family

ID=66332092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143112A KR101982091B1 (ko) 2017-10-31 2017-10-31 서라운드 뷰 모니터링 시스템

Country Status (3)

Country Link
KR (1) KR101982091B1 (ko)
CN (1) CN111133439B (ko)
WO (1) WO2019088595A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102705360B1 (ko) * 2020-07-08 2024-09-09 현대모비스 주식회사 서라운드뷰 모니터링 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101499956B1 (ko) * 2008-06-24 2015-03-06 현대자동차주식회사 차선이탈 경보시스템
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
KR101472615B1 (ko) * 2010-12-21 2014-12-16 삼성전기주식회사 차선이탈 경보 시스템 및 방법
KR101279712B1 (ko) * 2011-09-09 2013-06-27 연세대학교 산학협력단 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
KR101936862B1 (ko) * 2011-11-17 2019-04-04 현대모비스 주식회사 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법
CN104085396A (zh) * 2014-07-03 2014-10-08 上海纵目科技有限公司 一种全景车道偏离预警方法及系统
KR20160021944A (ko) * 2014-08-18 2016-02-29 대성전기공업 주식회사 센서를 이용한 차선 이탈 경보 장치 및 방법
DE102015205507B3 (de) * 2015-03-26 2016-09-29 Zf Friedrichshafen Ag Rundsichtsystem für ein Fahrzeug
KR20170071120A (ko) * 2015-12-15 2017-06-23 현대자동차주식회사 Lkas 시스템, 이를 포함하는 차량, 및 lkas 제어 방법

Also Published As

Publication number Publication date
WO2019088595A1 (ko) 2019-05-09
KR20190048284A (ko) 2019-05-09
CN111133439B (zh) 2023-03-28
CN111133439A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
EP2919197B1 (en) Object detection device and object detection method
CN109478324B (zh) 图像处理装置、外界识别装置
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP5867807B2 (ja) 車両識別装置
WO2018110605A1 (ja) 画像処理装置、外界認識装置
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
EP3203725B1 (en) Vehicle-mounted image recognition device
WO2014132729A1 (ja) ステレオカメラ装置
JP4528283B2 (ja) 車両周辺監視装置
WO2017134982A1 (ja) 撮像装置
WO2011016257A1 (ja) 車両用距離算出装置
KR20170055738A (ko) 영상 기반 주행 차로 판단 장치 및 방법
KR102338912B1 (ko) 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법
KR101818842B1 (ko) 운전지원장치, 거리감지방법 및 차로의 너비감지방법
JP2016095763A (ja) ナンバープレート検出装置及びナンバープレート検出方法
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
JP2011103058A (ja) 誤認識防止装置
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템
JP6701327B2 (ja) グレア検出方法及び装置
KR101545091B1 (ko) 카메라를 이용한 주차 공간 인식 방법 및 장치
JP2020126304A (ja) 車外物体検出装置
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
KR100844640B1 (ko) 물체 인식 및 거리 계측 방법
JP2019061314A (ja) 物体距離検出装置
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant