KR20200042549A - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR20200042549A
KR20200042549A KR1020180122298A KR20180122298A KR20200042549A KR 20200042549 A KR20200042549 A KR 20200042549A KR 1020180122298 A KR1020180122298 A KR 1020180122298A KR 20180122298 A KR20180122298 A KR 20180122298A KR 20200042549 A KR20200042549 A KR 20200042549A
Authority
KR
South Korea
Prior art keywords
vehicle
line
image
predetermined reference
reference line
Prior art date
Application number
KR1020180122298A
Other languages
English (en)
Inventor
최재섭
박종희
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180122298A priority Critical patent/KR20200042549A/ko
Priority to US16/202,640 priority patent/US10807530B2/en
Priority to CN201811497485.4A priority patent/CN111038383A/zh
Priority to DE102018131424.8A priority patent/DE102018131424B4/de
Publication of KR20200042549A publication Critical patent/KR20200042549A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope

Abstract

본 발명은 차량이 획득한 영상을 이용하여 차량의 상태 또는 노면의 경사를 판단하고, 이를 기초로 영상의 보정을 통한 왜곡이 적은 탑 뷰 영상을 제공하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 디스플레이부; 차량 주변의 영상을 획득하는 영상 획득부; 및 상기 차량 주변의 영상과 미리 결정된 기준선의 차이를 기초로 상기 차량 주변의 영상을 변경하여 상기 디스플레이부에 출력하는 제어부;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD FOR THE SAME}
본 발명은 차량 주변의 영상을 탑 뷰(Top view)형태로 제공하는 차량 및 그 제어방법에 관련된 것이다.
어라운드 뷰(around view)는 차량의 앞뒤와 좌우 사이드 미러 하단에 1개씩 4개의 카메라를 이용해, 내비게이션 화면에 마치 차를 위에서 찍은 듯한 탑 뷰(top view)화면을 만들어 주는 기능이다. 이러한 어라운드 뷰 모니터링 시스템을 이용하여, 운전자는 차량 주변의 상황을 한 눈에 파악하고 안전하게 주차를 하거나, 좁은 길을 지날 수 있다.
한편 이러한 어라운드 뷰는 일반적인 주행 환경에서 구배, 타이어 공기압 변동, 탑승 인원 변동 등에 따라 변할 수 있다.
한편 어라운드 뷰에 형성에 이용되는 영상은 광각 카메라를 사용하여 형성되기 때문에 카메라 위치 기준으로 방사 방향의 직선 성분이 변경될 수 있다.
운전자는 주행 또는 주차 시에 왜곡된 어라운드 뷰 영상을 참조하여 운행하게 되어, 영상 정합성 문제는 신뢰성 및 안전성 저하 등의 문제점이 발생할 수 있다.
따라서 상술한 문제점을 해결하기 위하여 왜곡이 적은 정확한 어라운드 뷰의 제공이 필요한 실정이다.
본 발명은 차량이 획득한 영상을 이용하여 차량의 상태 또는 노면의 경사를 판단하고, 이를 기초로 영상의 보정을 통한 왜곡이 적은 탑 뷰 영상을 제공하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 디스플레이부; 차량 주변의 영상을 획득하는 영상 획득부; 및 상기 차량 주변의 영상과 미리 결정된 기준선의 차이를 기초로 상기 차량 주변의 영상을 변경하여 상기 디스플레이부에 출력하는 제어부;를 포함한다.
상기 미리 결정된 기준선은 복수개로 마련되고,
상기 제어부는, 상기 차량 주변의 영상에서 복수개의 특징선을 도출하고, 상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 영상을 변경할 수 있다.
상기 제어부는, 상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상을 변경할 수 있다.
상기 제어부는, 상기 특징선이 이루는 제1각도와 상기 미리 결정된 기준선이 이루는 제2각도의 차이에 기초하여 상기 차량 주변의 영상을 변경할 수 있다.
상기 제어부는, 상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 작은 경우,
상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 감소시킬 수 있다.
상기 제어부는, 상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 큰 경우, 상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 증가시킬 수 있다.
상기 제어부는, 상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 도로 경사를 판단할 수 있다.
상기 제어부는, 상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량의 기울어짐을 판단할 수 있다.
상기 제어부는, 상기 차량 주변 영상에 포함된 주차선, 주행차선 및 입체 수직물 중 적어도 하나를 기초로 상기 복수개의 특징선을 도출할 수 있다.
일 실시예에 따른 차량 제어방법은, 차량 주변의 영상을 획득하고, 상기 차량 주변의 영상과 미리 결정된 기준선의 차이를 기초로 상기 차량 주변의 영상을 변경하여 디스플레이부에 출력하는 것을 포함할 수 있다.
상기 미리 결정된 기준선은 복수개로 마련되고, 상기 차량 주변의 영상을 변경하는 것은, 상기 차량 주변의 영상에서 복수개의 특징선을 도출하고,
상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 영상을 변경하는 것을 포함할 수 있다.
상기 차량 주변 영상을 변경하는 것은, 상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상을 변경하는 것을 포함할 수 있다.
상기 차량 주변 영상을 변경하는 것은, 상기 특징선이 이루는 제1각도와 상기 미리 결정된 기준선이 이루는 제2각도의 차이에 기초하여 상기 차량 주변의 영상을 변경하는 것을 포함할 수 있다.
상기 차량 주변 영상을 변경하는 것은, 상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 작은 경우,
상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 감소시키는 것을 포함할 수 있다.
상기 차량 주변 영상을 변경하는 것은, 상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 큰 경우,
상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 증가시키는 것을 포함할 수 있다.
일 실시예에 따른 차량 제어방법은, 상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 도로 경사를 판단하는 것을 더 포함할 수 있다.
일 실시예에 따른 차량 제어방법은, 상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량의 기울어짐을 판단하는 것을 더 포함할 수 있다.
일 실시에 따른 차량 제어방법은, 상기 차량 주변 영상에 포함된 주차선, 주행차선 및 입체 수직물 중 적어도 하나를 기초로 상기 복수개의 특징선을 도출하는 것을 포함할 수 있다.
일 실시예에 따른 차량 및 그 제어방법은 차량이 획득한 영상을 이용하여 차량의 상태 또는 노면의 경사를 판단하고, 이를 기초로 영상의 보정을 통한 왜곡이 적은 탑 뷰 영상을 제공할 수 있다.
도1는 일 실시예에 따른 차량의 외부 및 영상 획득부를 나타낸 도면이다.
도2은 일 실시예에 따른 차량의 탑 뷰(Top view)를 나타낸 도면이다.
도3은 일 실시예에 따른 차량의 제어블럭도이다.
도4는 일 실시예에 따른 특징선을 도출하는 동작을 설명하기 위한 도면이다.
도5는 일 실시예에 따른 특징선의 각도와 기준선의 각도가 일치하는 것을 설명하기 위한 도면이다.
도6은 일 실시예에 따른 차량이 내리막 경사의 도로에 위치한 경우를 설명하기 위한 도면이다.
도7은 일 실시예에 따른 차량이 내리막 경사의 도로에 위치한 경우 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도8은 일 실시예에 따른 차량이 오르막 경사의 도로에 위치한 경우를 설명하기 위한 도면이다.
도9은 일 실시예에 따른 차량이 오르막 경사의 도로에 위치한 경우 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도10은 일 실시예예 차량의 좌측이 아래로 기울어진 경우를 설명하기 위한 도면이다.
도11은 도10의 경우에서 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도12은 일 실시예예 따른 차량의 우측이 아래로 기울어진 경우를 설명하기 위한 도면이다.
도13은 도12의 경우에서 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도14는 일 실시예에 따른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1는 일 실시예에 따른 차량의 외부를 나타낸 도면이다.
도1을 참조하면, 일 실시예에 따른 차량(1)의 외관은 차량(1)을 이동시키는 차륜(12,13), 차량(1) 내부를 외부로부터 차폐시키는 도어(15L), 차량(1) 내부의 운전자에게 차량(1) 전방의 시야를 제공하는 전면 유리(16), 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(14L,14R)를 포함한다.
차륜은 차량의 전방에 마련되는 전륜, 차량의 후방에 마련되는 후륜을 포함하며, 차량(1) 내부에 마련되는 구동 장치(미도시)는 차량(1)이 전방 또는 후방으로 이동하도록 전륜 또는 후륜에 회전력을 제공한다. 이와 같은 구동 장치는 화석 연료를 연소시켜 회전력을 생성하는 엔진 또는 축전기로부터 전원을 공급받아 회전력을 생성하는 모터를 채용할 수 있다.
도어는 차량(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자 또는 동승자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킨다. 또한, 차량(1) 외부에는 도어(15L,15R)를 개폐할 수 있는 손잡이가 마련될 수 있고, 손잡이에는 LF(Low Frequency) 신호를 송신할 수 있는 LF 안테나(미도시)가 장착될 수 있다.
전면 유리(16)는 본체의 전방 상측에 마련되어 차량(1) 내부의 운전자가 차량(1) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(14L,14R)는 차량(1)의 좌측에 마련되는 좌측 사이드 미러(14L) 및 우측에 마련되는 우측 사이드 미러(14R)를 포함하며, 차량(1) 내부의 운전자가 차량(1)의 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
이외에도 차량(1)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.
근접 센서는 차량의 측면 또는 후면에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신할 수 있다. 수신된 반사 신호의 파형을 기초로 차량(1) 측면이나 후면의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다. 이와 같은 근접 센서의 일 예로서 초음파 또는 적외선을 발신하고, 장애물에 반사된 초음파 또는 적외선을 이용하여 장애물까지의 거리를 검출하는 방식을 채용할 수 있다.
또한 차량은 카메라(101-1, 101-2, 101-3, 101-4)를 포함하는 영상 획득부(100)를 포함할 수 있다. 영상 획득부(100)를 구성하고 차량의 주변 영상을 획득하는 카메라(101-1, 101-2, 101-3, 101-4)는 차량의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있고, 각 카메라(101-1, 101-2, 101-3, 101-4)가 획득한 영상은 후술하는 방법을 통하여 차량 주변 영상으로 도출될 수 있다.
도2은 일 실시예에 따른 차량의 출력부(300)에 출력되는 탑 뷰(Top view)영상을 나타낸 도면이다.
차량의 탑 뷰 영상은 차량의 전면, 양쪽 사이드 미러, 트렁크 등에 각각 설치된 4개의 영상 획득부로부터 획득한 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 차량의 상부에서 바라본 시점을 갖는 하나의 탑 뷰 영상으로 변환할 수 있다.
차량은 서로 다른 전방 영상, 후방 영상, 좌측 영상 및 우측 영상을 하나의 탑뷰 영상으로 변환하는 영상 정합(image registration) 처리 기법이 사용될 수 있다. 탑뷰 영상의 표시 품질은 영상 정합 처리 기법에 따른 정합성에 의해 결정될 수 있다.
도3은 일 실시예에 따른 차량(1)의 제어블럭도이다.
도3을 참고하면 차량을 영상 획득부(100), 제어부(200) 및 디스플레이부(300)를 포함할 수 있다.
영상 획득부(100)는 차량 주변의 영상을 획득할 수 있다. 영상 획득부(100)는 차량에 마련된 적어도 하나의 카메라를 포함할 수 있다.
카메라는 차량의 전면, 측면 및 후면 영상을 촬영하여 촬영된 영상을 제어부(200)에 송신 할 수 있다. 일 실시예에 따르면 카메라(101)는 차량(1)에 마련된 사이드 미러(14R, 14L)에 마련되어 차량(1) 주변 영상을 획득할 수 있다.
차량(1)에 설치된 카메라(101) 는 CCD(Charge-Coupled Device) 카메라(101) 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라(101)의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다. 구체적으로 CCD(Charge-Coupled Device) 카메라(101)는 전하 결합 소자를 사용하여 영상을 전기 신호로 변환하는 장치이다. 또한, CIS(CMOS Image Sensor)는 CMOS 구조를 가진 저소비, 저전력형의 촬상소자를 의미하며, 디지털 기기의 전자 필름 역할을 수행한다. 일반적으로 CCD는 CIS보다 감도가 좋아 차량(1)에 많이 쓰이지만, 반드시 이에 한정되는 것은 아니다.
디스플레이부(300)는 차량의 센터 페시아에 마련되는 디스플레이 형태로 구현 될 수 있다.
디스플레이부(300)는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
제어부(200)는 차량 주변의 영상과 미리 결정된 기준선(R)의 차이를 기초로 상기 차량의 탑뷰(Top view) 영상을 형성하여 상기 디스플레이부(300)에 출력할 수 있다.
미리 결정된 기준선(R)은 차량 주변의 도로의 환경의 경사도를 도출하기 위한 기준으로 제어부(200)에 미리 저장될 수 있다.
한편 제어부(200)가 기준 삼는 미리 결정된 기준선(R)은 복수개로 마련될 수 있다.
또한 제어부(200)는 차량 주변의 영상에서 복수개의 특징선을 도출하고, 상기 특징선과 상기 미리 결정된 기준선(R)을 비교하여 상기 차량의 탑 뷰(Top view) 영상을 형성할 수 있다.
제어부(200)는 특징선과 상기 결정된 기준선(R)이 형성하는 각도에 기초하여 상기 차량 주변의 영상을 변경할 수 있다.
구체적으로 제어부(200)는 특징선이 이루는 제1각도와 상기 미리 결정된 기준선(R)이 이루는 제2각도의 차이에 기초하여 상기 차량 주변의 영상을 변경할 수 있다.
제어부(200)는 특징선이 이루는 제1각도가 상기 미리 결정된 기준선(R)이 이루는 제2각도보다 작은 경우, 제1각도와 제2각도의 차이에 기초하여 상기 차량 주변의 영상의 시야 각을 감소시킬 수 있다.
차량 주변 영상의 시야 각은 차량의 주변 영상의 시각이 주체가 되는 카메라와 차량이 이루는 각으로 시야 각이 증가하면 차량을 중심으로 더 많은 영역의 영상이 확보되면 시야 각이 감소하면 차량 중심으로 적은 영역의 영상이 확보될 수 있다. 한편, 본 명세서에서 말하는 시야 각은 차량의 주변 영상에서 가상 카메라의 시야 각으로 해석될 수 있다.
제어부(200)는 특징선이 이루는 제1각도가 상기 미리 결정된 기준선(R)이 이루는 제2각도보다 큰 경우, 상기 제1각도와 상기 제2각도의 차이에 기초하여 상기 차량 주변의 영상의 시야 각을 증가시킬 수 있다.
또한 제어부(200)는 상기 영상 처리에 앞서서 특징선과 상기 미리 결정된 기준선(R)을 비교하여 상기 차량 주변의 도로 경사 및 차량의 기울어짐을 판단할 수 있다. 이와 관련된 자세한 내용은 후술한다.
한편 제어부(200)는 차량 주변 영상에 포함된 주차선, 주행차선 및 입체 수직물 중 적어도 하나를 기초로 상기 복수개의 특징선을 도출할 수 있다.
특징선은 해당 차량의 주변 영상에서 도로의 기울기를 판단하거나, 차량의 기울어짐을 판단하기 위하여 미리 저장된 기준선(R)과 비교할 수 있는 선으로 차량의 주변 영상에 포함된 직선을 기초로 도출될 수 있다.
제어부(200)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
도 3에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 3에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도4a 및 도4b는 일 실시예에 따른 특징선을 도출하는 동작을 설명하기 위한 도면이다.
도4a 및 도4b를 참고하면 차량(1)의 주변 영상에는 주차선(L41,L42), 도로선(L43, L44)과 같은 직선 요소가 포함될 수 있다. 예를 들어 주차선(L41,L42) 같은 경우 차량이 위치한 도로에 마련되고 노면 특성이 반영된 구성이므로 제어부는 영상 획득부가 획득한 영상에서 주차선의 직선 성분을 추출하여 특징선으로 도출할 수 있다.
또한 다른 실시예에 따르면 도로선(L43, L44)는 차량의 진행 방향의 직선으로 표시되는 선으로 차량의 가속이나 경사, 공기압 차이 등에 따라 전후방 영역에서 각도 변형이 발생할 수 있는 것이므로 제어부는 도로선의 직선을 특징선으로 도출하여 상술한 미리 저장된 기준선(R)과 비교할 수 있다.
또 다른 실시예에 따르면 특징선은 차량의 주변 영상에 포함된 입체 수직물을 통하여 획득 될 수 있다. 입체 수직물은 차량 주변 영상에 포함된 건물, 토지위의 고착물 등 도로 및 차량의 기울기를 판단할 수 있는 요소이면 그 종류는 한정하지 않는다.
도5는 일 실시예에 따른 특징선의 각도와 기준선(R)의 각도가 일치하는 것을 설명하기 위한 도면이다.
도5를 참고하면, 제어부에 미리 저장된 기준선(R)과 차량 주변의 영상으로부터 도출한 특징선을 비교한 것을 나타내고 있다.
기준선(R)은 차량의 제조 단계에서 제어부에 미리 저장될 수 있다. 기준선(R)은 획득된 차량 주변 영상의 도로의 경사도를 판단하기 위한 기준으로서 기능할 수 있다. 제어부는 상술한 방법으로 도출한 차량 주변 영상의 특징선과 미리 저장된 기준선(R)을 비교하여 차량이 위치한 도로의 경사도를 판단할 수 있다. 한편 기준선(R)과 특징선(F5)은 길이와 각도 성분을 포함할 수 있다. 길이는 기준선(R)과 특징선(F5)의 비교를 위하여 미리 정해질 수 있다. 각도(PR, PF)는 각각의 두 직선이 이루는 각으로 정해질 수 있다. 한편, 기준선(R)이 이루는 각도(PR)와 차량 주변영상에서 획득된 각도(PF5)가 같은 경우 제어부는 차량 주변의 경사가 없는 0도인 것으로 판단할 수 있다. 한편 도5에서는 기준선(R)과 특징선(F5)이 거의 일치하는 모습을 도시하고 있으나, 반드시 특징선과 기준선(R)이 일치하지 않더라도 특징선과 기준선(R)이 이루는 각도만 실질적으로 동일하면 제어부는 차량이 위치한 도로가 평지인 것으로 판단할 수 있다. 즉 기준선(R)의 위치와 특징선(F5)의 위치가 상이하여 제어부가 실질적으로 상술한 선들의 위치관계를 실질적으로 동일한 것으로 판단하지 않더라도 기준선(R)과 특징선(F5)이 이루는 각도를 비교하여 실질적으로 동일하다면 평면의 도로나 차량이 한쪽으로 기울지 않은 것으로 판단할 수 있다.
도6은 일 실시예에 따른 차량이 내리막 경사의 도로에 위치한 경우를 설명하기 위한 도면이고, 도7은 일 실시예에 따른 차량이 내리막 경사의 도로에 위치한 경우 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도6을 참고하면, 도로의 특징선(F6)이 차량의 기준선(R) 바깥쪽에 위치한 것을 나타내고 있다. 차량 주변 영상의 특징선(F6)은 도로가 내리막 길일 때 도6과 같이 마련될 수 있다.
또한, 이 경우, 차량 영상의 특징선(F6)이 이루는 각도(PF6)는 기준선(R)이 이루는 각도보다 더 작을 수 있다. 제어부는 특징선(F6)이 이루는 각도(PF6)와 기준선(R)이 이루는 각도(PR)를 비교할 수 있다. 제어부는 특징선(F6)이 이루는 각도가 기준선(R)이 이루는 각도(PR)보다 작은 경우 차량이 위치하는 도로의 경사가 내리막인 것으로 판단할 수 있다. 또한 제어부는 특징선과 상기 결정된 기준선(R)이 형성하는 각도에 기초하여 상기 차량 주변의 영상을 변경할 수 있다.
도7은 도6의 상황을 차량의 시야각(A7)을 통하여 설명하고 있다. 즉 차량의 측면 도로의 경사가 내리막인 경우 탑뷰 형성을 위하여 제어부는 시야각(AA7)을 줄일 수 있다. 시야각을 변경하는 동작은 특징선과 결정된 기준선(R)이 형성하는 각도에 기초하여 실시될 수 있다.
한편, 도7에서 설명하고 있는 시야 각(AA7)은 차량이 획득한 차량 주변 영상의 가상 카메라의 시야 각으로 해석될 수 있다. 제어부는 시야 각(AA7)을 줄이는 영상을 기초로 탑 뷰를 형성하여 실제 좌표와 영상 좌표간 변환 정확도를 확보하여 영상 인식 등의 정밀도를 높일 수 있다.
도8은 일 실시예에 따른 차량이 오르막 경사의 도로에 위치한 경우를 설명하기 위한 도면이고, 도9은 일 실시예에 따른 차량이 오르막 경사의 도로에 위치한 경우 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도8을 참고하면, 도로의 특징선(F8)이 차량의 기준선(R) 안쪽에 위치한 것을 나타내고 있다. 차량 주변 영상의 특징선은 도로가 오르막 길일 때 도8과 같이 마련될 수 있다.
또한, 이 경우, 차량 영상의 특징선이 이루는 각도(F8)는 기준선(R)이 이루는 각도보다 더 클 수 있다. 제어부는 특징선이 이루는 각도(F8)와 기준선(R)이 이루는 각도를 비교할 수 있다. 제어부는 특징선이 이루는 각도(F8)가 기준선(R)이 이루는 각도(PR)보다 큰 경우 차량이 위치하는 도로의 경사가 오르막인 것으로 판단할 수 있다. 제어부는 특징선과 결정된 기준선(R)이 형성하는 각도(FF8)에 기초하여 상기 차량 주변의 영상을 변경할 수 있다.
도9은 도8의 상황을 차량의 시야각(A9)을 통하여 설명하고 있다. 즉 차량의 측면 도로의 경사가 오르막인 경우 탑뷰 형성을 위하여 제어부는 차량 주변 영상의 시야 각(AA9)을 증가시킬 수 있다. 제어부는 특징선과 상기 결정된 기준선(R)이 형성하는 각도(FF8)에 기초하여 시야 각을 변경할 수 있다.
한편 도8에서 설명하고 있는 시야 각은 차량이 획득한 차량 주변 영상의 가상 카메라의 시야 각(A9)으로 해석될 수 있다. 제어부는 시야 각을 줄이는 영상(AA9)을 기초로 탑 뷰를 형성하여 실제 좌표와 영상 좌표간 변환 정확도를 확보하여 영상 인식 등의 정밀도를 높일 수 있다.
도10은 일 실시예예 차량의 좌측이 아래로 기울어진 경우를 설명하기 위한 도면이고, 도11은 도10의 경우에서 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도10을 참고하면 차량의 뒷면을 기준으로 좌측이 내려가고 우측이 올라간 경우를 나타내고 있다.
이 경우는 도6과 같이 차량 측면에 내리막 경사의 도로가 위치하는 것과 유사한 상황으로 보여질 수 있다. 즉 도10의 경우에도 도6과 같은 기준선(R)과 특징선(F10)의 관계를 갖을 수 있다. 차량이 좌측으로 기울어진 경우 차량 주변 영상의 특징선(F10)이 기준선(R)에 바깥 쪽에 위치할 수 있다. 또한 기준선(R) 바깥쪽에 위치한 특징선(F10)은 기준선(R)이 형성하는 각도(PR)보다 더 작은 각도(PF10)를 형성할 수 있다. 이 경우 역시 제어부가 형성하는 탑뷰 영상의 정밀도를 향상 시키기 위하여 차량 주변 영상을 보정할 수 있다. 또한 차량 주변의 영상을 보정하는데 있어서 특징선과 기준선이 이루는 각도(FF10)를 기초로 보정할 수 있다.
도11을 참고하면, 차량이 좌측으로 기울어진 상황에서는 제어부가 형성하는 탑 뷰 영상에 왜곡이 생길 수 있으므로 차량 주변의 영상의 시야 각(A11)을 감소시켜 탑 뷰 영상을 형성할 수 있다. 차량이 좌측으로 기울어졌을 때의 차량 주변 영상의 보정은 차량 주변 도로의 경사가 내리막 도로일 때의 동작과 대응될 수 있다.
도12은 일 실시예예 따른 차량의 우측이 아래로 기울어진 경우를 설명하기 위한 도면이고, 도13은 도12의 경우에서 차량의 주변 영상을 변경하는 것을 설명하기 위한 도면이다.
도12를 참고하면 차량의 뒷면을 기준으로 차량의 우측이 내려가고 좌측이 올라간 경우를 나타내고 있다.
이 경우 차량의 영상 획득부가 획득하는 영상은 도8과 같이 차량 측면에 오르막 경사의 도로가 위치하는 것과 유사한 상황으로 보여질 수 있다. 즉 도12의 경우에도 도8과 같은 기준선(R)과 특징선(F12)의 관계를 갖을 수 있다. 차량이 우측으로 기울어진 경우 차량 주변 영상의 특징선(F12)이 기준선(R)에 안쪽에 위치할 수 있다. 또한 기준선(R) 안쪽에 위치한 특징선(F12)은 기준선(R)이 형성하는 각도보다 더 큰 각도(PF12)를 형성할 수 있다. 이 경우 역시 제어부가 형성하는 탑 뷰 영상의 정밀도를 향상 시키기 위하여 차량 주변 영상의 보정을 실시할 수 있다. 영상의 보정에 있어서 제어부는 특징선과 제어부가 이루는 각도(FF12)를 기초로 보정을 실시할 수 있다(
도13을 참고하면, 차량이 우측으로 기울어진 상황에서는 제어부가 형성하는 탑 뷰 영상에 왜곡이 생길 수 있으므로 차량 주변의 영상의 시야 각(AA13)을 증가시켜 탑 뷰 영상을 형성할 수 있다. 차량이 우측으로 기울어졌을 때의 차량 주변 영상의 보정은 차량 주변 도로의 경사가 오르막 도로일 때의 동작과 대응될 수 있다.
도14는 일 실시예에 따른 순서도이다.
도14를 참고하면, 차량을 차량 주변의 영상을 획득하고(1001), 차량 주변 영상을 기초로 특징선을 도출할 수 있다(1002). 제어부는 기준선(R) 및 특징선을 비교하고(1003), 왜곡이 적은 탑 뷰 영상 형성을 위해서 차량 주변의 영상을 변경할 수 있다(1004). 제어부는 변경된 차량 주변 영상을 기초로 탑 뷰 영상을 차량의 디스플레이부에 출력할 수 있다(1005).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 차량
100 : 영상 획득부
200 : 제어부
300 : 디스플레이부

Claims (18)

  1. 디스플레이부;
    차량 주변의 영상을 획득하는 영상 획득부; 및
    상기 차량 주변의 영상과 미리 결정된 기준선의 차이를 기초로 상기 차량 주변의 영상을 변경하여 상기 디스플레이부에 출력하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 미리 결정된 기준선은 복수개로 마련되고,
    상기 제어부는,
    상기 차량 주변의 영상에서 복수개의 특징선을 도출하고,
    상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 영상을 변경하는 차량.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상을 변경하는 차량.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 특징선이 이루는 제1각도와 상기 미리 결정된 기준선이 이루는 제2각도의 차이에 기초하여 상기 차량 주변의 영상을 변경하는 차량.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 작은 경우,
    상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 감소시키는 차량.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 큰 경우,
    상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 증가시키는 차량.
  7. 제2항에 있어서,
    상기 제어부는,
    상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 도로 경사를 판단하여 차량.
  8. 제2항에 있어서,
    상기 제어부는,
    상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량의 기울어짐을 판단하는 차량.
  9. 제2항에 있어서,
    상기 제어부는,
    상기 차량 주변 영상에 포함된 주차선, 주행차선 및 입체 수직물 중 적어도 하나를 기초로 상기 복수개의 특징선을 도출하는 차량.
  10. 차량 주변의 영상을 획득하고,
    상기 차량 주변의 영상과 미리 결정된 기준선의 차이를 기초로 상기 차량 주변의 영상을 변경하여 디스플레이부에 출력하는 것을 포함하는 차량 제어방법.
  11. 제10항에 있어서,
    상기 미리 결정된 기준선은 복수개로 마련되고,
    상기 차량 주변의 영상을 변경하는 것은,
    상기 차량 주변의 영상에서 복수개의 특징선을 도출하고,
    상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 영상을 변경하는 것을 포함하는 차량 제어방법.
  12. 제11항에 있어서,
    상기 차량 주변 영상을 변경하는 것은,
    상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상을 변경하는 것을 포함하는 차량 제어방법.
  13. 제12항에 있어서,
    상기 차량 주변 영상을 변경하는 것은,
    상기 특징선이 이루는 제1각도와 상기 미리 결정된 기준선이 이루는 제2각도의 차이에 기초하여 상기 차량 주변의 영상을 변경하는 것을 포함하는 차량 제어방법.
  14. 제13항에 있어서,
    상기 차량 주변 영상을 변경하는 것은,
    상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 작은 경우,
    상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 감소시키는 것을 포함하는 차량 제어방법.
  15. 제13항에 있어서,
    상기 차량 주변 영상을 변경하는 것은,
    상기 특징선이 이루는 제1각도가 상기 미리 결정된 기준선이 이루는 제2각도보다 큰 경우,
    상기 특징선과 상기 미리 결정된 기준선이 형성하는 각도에 기초하여 상기 차량 주변의 영상의 시야 각을 증가시키는 것을 포함하는 차량 제어방법.
  16. 제11항에 있어서,
    상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량 주변의 도로 경사를 판단하는 것을 더 포함하는 차량 제어방법.
  17. 제11항에 있어서,
    상기 특징선과 상기 미리 결정된 기준선을 비교하여 상기 차량의 기울어짐을 판단하는 것을 더 포함하는 차량 제어방법.
  18. 제11항에 있어서,
    상기 차량 주변 영상에 포함된 주차선, 주행차선 및 입체 수직물 중 적어도 하나를 기초로 상기 복수개의 특징선을 도출하는 것을 포함하는 차량 제어방법.
KR1020180122298A 2018-10-15 2018-10-15 차량 및 그 제어방법 KR20200042549A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180122298A KR20200042549A (ko) 2018-10-15 2018-10-15 차량 및 그 제어방법
US16/202,640 US10807530B2 (en) 2018-10-15 2018-11-28 Vehicle and control method thereof
CN201811497485.4A CN111038383A (zh) 2018-10-15 2018-12-07 车辆及其控制方法
DE102018131424.8A DE102018131424B4 (de) 2018-10-15 2018-12-07 Fahrzeug und Steuerverfahren dafür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180122298A KR20200042549A (ko) 2018-10-15 2018-10-15 차량 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20200042549A true KR20200042549A (ko) 2020-04-24

Family

ID=69954286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180122298A KR20200042549A (ko) 2018-10-15 2018-10-15 차량 및 그 제어방법

Country Status (4)

Country Link
US (1) US10807530B2 (ko)
KR (1) KR20200042549A (ko)
CN (1) CN111038383A (ko)
DE (1) DE102018131424B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210089602A (ko) * 2020-06-29 2021-07-16 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 차량의 제어 방법, 장치 및 차량

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP2021118423A (ja) * 2020-01-24 2021-08-10 株式会社Ｊｖｃケンウッド 記録再生制御装置、再生制御装置、表示制御方法およびプログラム
CN114407782B (zh) * 2020-10-28 2023-09-26 上海汽车集团股份有限公司 一种外后视镜调节方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5316805B2 (ja) * 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
KR101001842B1 (ko) * 2010-01-28 2010-12-17 팅크웨어(주) 차량용 내비게이션 및 내비게이션 시스템의 블랙박스 정상 위치 유도 방법
JP5597596B2 (ja) * 2011-06-07 2014-10-01 株式会社小松製作所 作業車両の周辺監視装置
KR101604805B1 (ko) * 2013-10-08 2016-03-25 엘지전자 주식회사 카메라 기반의 차량의 하중 추정 장치 및 차량의 하중 추정 방법
JP5893601B2 (ja) * 2013-10-31 2016-03-23 富士重工業株式会社 車両制御システム
JP6281289B2 (ja) * 2014-01-10 2018-02-21 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
JP6379967B2 (ja) 2014-10-09 2018-08-29 株式会社デンソー 画像生成装置および画像生成方法
US10339390B2 (en) * 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
KR20180061686A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 자율 주행 경로 생성 방법 및 그 장치
JP6852465B2 (ja) * 2017-03-02 2021-03-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6922297B2 (ja) * 2017-03-21 2021-08-18 三菱自動車工業株式会社 運転支援システム
CN107563326A (zh) * 2017-08-31 2018-01-09 京东方科技集团股份有限公司 一种行车辅助方法、行车辅助装置和车辆
KR20190047279A (ko) * 2017-10-27 2019-05-08 삼성에스디에스 주식회사 차량에 구비된 카메라를 이용한 차량 주변 영상 합성 방법 및 그 장치
US10549694B2 (en) * 2018-02-06 2020-02-04 GM Global Technology Operations LLC Vehicle-trailer rearview vision system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210089602A (ko) * 2020-06-29 2021-07-16 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 차량의 제어 방법, 장치 및 차량

Also Published As

Publication number Publication date
US10807530B2 (en) 2020-10-20
DE102018131424A1 (de) 2020-04-16
DE102018131424B4 (de) 2022-12-01
US20200114822A1 (en) 2020-04-16
CN111038383A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
US20210291751A1 (en) Vehicular driver monitoring system with camera having micro lens array
US11572015B2 (en) Multi-camera vehicular vision system with graphic overlay
KR20200042549A (ko) 차량 및 그 제어방법
US10582121B2 (en) System and method for fusing outputs of sensors having different resolutions
US9445011B2 (en) Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
KR101949358B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US7557691B2 (en) Obstacle detector for vehicle
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2018003532A1 (ja) 物体検出表示装置、移動体及び物体検出表示方法
US20200057149A1 (en) Optical sensor and electronic device
US11454723B2 (en) Distance measuring device and distance measuring device control method
KR20190107283A (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20200380713A1 (en) Vehicle and control method thereof
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
KR101868293B1 (ko) 차량용 라이다 장치
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법
CN109076168B (zh) 控制装置、控制方法和计算机可读介质
KR20200139312A (ko) 차량 및 그 제어방법
KR20210053382A (ko) 심층신경망 영상기술이 적용된 v-hud 시스템
US20240103525A1 (en) Vehicle and control method thereof
KR20200026547A (ko) 차량 및 그 제어방법
US20240083415A1 (en) Advanced driver assistance system and vehicle
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
KR20230082387A (ko) 차량 영상 처리 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal