KR20190069640A - 차량의 디스플레이 제어 장치 및 방법 - Google Patents

차량의 디스플레이 제어 장치 및 방법 Download PDF

Info

Publication number
KR20190069640A
KR20190069640A KR1020170163382A KR20170163382A KR20190069640A KR 20190069640 A KR20190069640 A KR 20190069640A KR 1020170163382 A KR1020170163382 A KR 1020170163382A KR 20170163382 A KR20170163382 A KR 20170163382A KR 20190069640 A KR20190069640 A KR 20190069640A
Authority
KR
South Korea
Prior art keywords
image
crop
camera
view
vehicle
Prior art date
Application number
KR1020170163382A
Other languages
English (en)
Other versions
KR102441079B1 (ko
Inventor
김현섭
권석근
예정열
김창주
Original Assignee
현대자동차주식회사
주식회사 에스엘미러텍
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 주식회사 에스엘미러텍, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170163382A priority Critical patent/KR102441079B1/ko
Priority to DE102018108957.0A priority patent/DE102018108957A1/de
Priority to US15/953,754 priority patent/US20190161012A1/en
Priority to CN201810399715.7A priority patent/CN109849939B/zh
Publication of KR20190069640A publication Critical patent/KR20190069640A/ko
Application granted granted Critical
Publication of KR102441079B1 publication Critical patent/KR102441079B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/50—Control arrangements; Data network features
    • B60K2370/52—Control of displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Abstract

본 발명은 차량의 디스플레이 제어 장치 및 방법에 관한 것이다. 본 발명에 따른 차량의 디스플레이 제어 장치는, 차량 도어의 소정 영역에 구비되며, 상기 차량의 측방 영역 및 후측방 영역을 촬영하여 제1 영상을 생성하는 제1 카메라, 상기 차량의 후단의 소정 영역에 구비되며, 상기 차량의 후방 영역 및 후측방 영역을 촬영하여 제2 영상을 생성하는 제2 카메라, 상기 제2 영상에 기초하여 제3 영상을 생성하는 영상 생성부, 및 차량 구동 시 상기 제1 영상을 디스플레이 화면에 표시하고, 상기 차량 도어의 열림 시 상기 제3 영상을 상기 디스플레이 화면에 표시하는 출력 제어부를 포함한다.

Description

차량의 디스플레이 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING DISPLAY OF VEHICLE}
본 발명은 차량의 디스플레이 제어 장치 및 방법에 관한 것이다.
차량의 아웃사이드 뷰 모니터링 시스템은 차량의 좌측 및 우측 도어에 구비된 카메라에 의해 촬영된 영상을 디스플레이 화면에 표시함으로써, 운전자가 디스플레이 화면을 통해 차량의 측방 및 후측방의 시야를 확보할 수 있도록 하여 운전 중 시선이 분산되는 것을 방지할 수 있다.
다만, 아웃사이드 뷰 모니터링 시스템의 경우 차량의 운전석 및 보조석의 도어에 구비된 카메라의 영상을 활용하기 때문에, 운전석 또는 조수석의 도어 열림 시 카메라가 함께 이동함에 따라 촬영 각도가 변경된다. 또한, 뒷좌석 측 도어 열림 시 열린 상태의 뒷좌석 측 도어에 의해 카메라의 시야가 가려지게 된다.
이에, 종래의 아웃사이드 뷰 모니터링 시스템은 차량의 도어 열림 시 도어 열림 상태에서 변경된 촬영 각도의 영상을 디스플레이 화면에 표시하거나, 카메라 영상 대신 파란 화면을 표시하였다. 따라서, 운전자는 차량의 도어 열림 시 디스플레이 화면을 통해 차량의 후측방의 시야를 확보할 수 없었다.
본 발명의 목적은, 차량의 도어에 구비된 카메라의 영상을 디스플레이 화면에 표시하는 동안 차량의 도어 열림 상태 검출 시 후방 카메라, 주변 모니터링 카메라 또는 인사이드 뷰 모니터링 카메라의 후방 및 후측방 영역의 영상을 기반으로 제3 영상을 생성하여 표시함으로써 디스플레이 화면을 통해 후방 및 후측방의 시야를 확보하도록 한, 차량의 디스플레이 제어 장치 및 방법을 제공함에 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 장치는, 차량 도어의 소정 영역에 구비되며, 상기 차량의 측방 영역 및 후측방 영역을 촬영하여 제1 영상을 생성하는 제1 카메라, 상기 차량의 후단의 소정 영역에 구비되며, 상기 차량의 후방 영역 및 후측방 영역을 촬영하여 제2 영상을 생성하는 제2 카메라, 상기 제2 영상에 기초하여 제3 영상을 생성하는 영상 생성부, 및 차량 구동 시 상기 제1 영상을 디스플레이 화면에 표시하고, 상기 차량 도어의 열림 시 상기 제3 영상을 상기 디스플레이 화면에 표시하는 출력 제어부를 포함하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제2 영상의 일부 영역을 크롭(crop) 영역으로 결정하고, 상기 크롭 영역을 기준으로 추출한 크롭 영상을 기반으로 상기 제3 영상을 생성하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제1 카메라의 수평 화각 및 상기 제2 카메라의 수평 화각에 기초하여 상기 크롭 영역의 수평 화각을 결정하고, 상기 제1 카메라의 수직 화각, 상기 제2 카메라의 수직 화각, 상기 크롭 영역의 수평 화각 및 상기 디스플레이의 해상도에 기초하여 상기 크롭 영역의 수직 화각을 결정하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 크롭 영상에 도어 열림 경고 이미지를 부가하여 상기 제3 영상을 생성하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제2 영상을 기준으로 상기 제1 영상을 합성하여 상기 제3 영상을 생성하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제1 영상의 일부 영역을 제1 크롭 영역, 상기 제2 영상의 일부 영역을 제2 크롭 영역으로 결정하여, 상기 제1 크롭 영역을 기준으로 제1 크롭 영상을 추출하고 상기 제2 크롭 영역을 기준으로 제2 크롭 영상을 추출하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제1 카메라의 수평 화각에 기초하여 상기 제1 크롭 영역의 수평 화각을 결정하고, 상기 제1 카메라의 수직 화각, 상기 제2 카메라의 수직 화각, 상기 제1 크롭 영역의 수평 화각 및 상기 디스플레이의 해상도에 기초하여 상기 제1 크롭 영역의 수직 화각을 결정하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제2 카메라의 수평 화각에 기초하여 상기 제2 크롭 영역의 수평 화각을 결정하고, 상기 제1 카메라의 수직 화각, 상기 제2 카메라의 수직 화각, 상기 제2 크롭 영역의 수평 화각 및 상기 디스플레이의 해상도에 기초하여 상기 제2 크롭 영역의 수직 화각을 결정하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제1 크롭 영역의 수직 화각 및 상기 제2 크롭 영역의 수직 화각이 서로 다른 경우, 상기 제1 크롭 영역의 수직 화각 및 상기 제2 크롭 영역의 수직 화각 중 작은 화각을 기반으로 상기 제1 크롭 영역 및 상기 제2 크롭 영역을 결정하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제2 크롭 영상을 기준으로 상기 제1 크롭 영상을 합성하여 합성 영상을 생성하고, 상기 생성된 합성 영상을 기반으로 제3 영상을 생성하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 합성 영상에 도여 열림 경고 이미지를 부가하여 상기 제3 영상을 생성하는 것을 특징으로 한다.
상기 제2 카메라는, 후방 카메라, 주변 모니터링 시스템의 카메라 및 인사이드 뷰 모니터링 시스템의 카메라 중 어느 하나를 포함하는 것을 특징으로 한다.
상기 제2 카메라는, 서로 다른 n개의 카메라를 포함하는 것을 특징으로 한다.
상기 출력 제어부는, 상기 도어 열림 시 상기 서로 다른 n개의 카메라로부터 획득한 영상들에 기초하여 제3 영상 선택 화면을 구성하고, 상기 제3 영상 선택 화면을 디스플레이 화면에 표시하는 것을 특징으로 한다.
상기 제3 영상 선택 화면은, 일 영역에 도어 열림 경고 이미지를 포함하는 것을 특징으로 한다.
상기 영상 생성부는, 상기 제3 영상 선택 화면에 표시된 영상들 중 어느 하나의 영상이 선택되면, 상기 선택된 영상에 기초하여 상기 제3 영상을 생성하는 것을 특징으로 한다.
상기 제2 카메라는, 후방 카메라, 주변 모니터링 시스템의 카메라 및 인사이드 뷰 모니터링 시스템의 카메라 중 적어도 둘 이상을 포함하는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 방법은, 차량의 측방 영역 및 후측방 영역을 촬영하여 생성된 제1 영상을 디스플레이 화면에 표시하는 단계, 상기 차량의 후방 영역 및 후측방 영역을 촬영하여 제2 영상을 생성하는 단계, 상기 차량의 도어 열림 시 상기 제2 영상에 기초하여 제3 영상을 생성하는 단계, 및 상기 제3 영상을 상기 디스플레이 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.
상기 제3 영상을 생성하는 단계는, 상기 제2 영상의 일부 영역을 크롭(crop) 영역으로 결정하는 단계, 상기 크롭 영역을 기준으로 크롭 영상을 추출하는 단계, 및 상기 추출된 크롭 영상을 기반으로 제3 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 제3 영상을 생성하는 단계는, 상기 제1 영상의 일부 영역을 제1 크롭 영역으로 결정하고, 상기 제1 크롭 영역을 기준으로 제1 크롭 영상을 추출하는 단계, 상기 제2 영상의 일부 영역을 제2 크롭 영역으로 결정하고, 상기 제2 크롭 영역을 기준으로 제2 크롭 영상을 추출하는 단계, 상기 제2 크롭 영상을 기준으로 상기 제1 크롭 영상을 합성하여 합성 영상을 생성하는 단계, 및 상기 생성된 합성 영상을 기반으로 제3 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 방법은, 상기 도어 열림 시 상기 차량의 후방 영역 및 후측방 영역을 촬영하는 서로 다른 n개의 카메라로부터 획득한 영상들에 기초하여 제3 영상 선택 화면을 구성하는 단계, 및 상기 제3 영상 선택 화면을 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 한다.
상기 제3 영상을 생성하는 단계는, 상기 상기 제3 영상 선택 화면에 표시된 영상들 중 선택된 어느 하나의 영상에 기초하여 상기 제3 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 차량의 도어에 구비된 카메라의 영상을 디스플레이 화면에 표시하는 동안 차량의 도어 열림 상태 검출 시 후방 카메라, 주변 모니터링 카메라 또는 인사이드 뷰 모니터링 카메라의 후방 및 후측방 영역의 영상을 기반으로 제3 영상을 생성하여 표시함으로써, 도어 열림 상태에서도 디스플레이 화면을 통해 후방 및 후측방의 시야를 확보할 수 있으며, 이로 인해 운전자의 시선이 분산되는 것을 방지할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 장치가 적용된 차량을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 장치의 구성을 도시한 도면이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 장치에 적용되는 카메라를 도시한 도면이다.
도 4a 내지 도 4c는 본 발명의 제1 실시예에 따른 차량의 디스플레이 제어 장치의 동작을 설명하는데 참조되는 도면이다.
도 5a 및 도 5b는 본 발명의 제2 실시예에 따른 차량의 디스플레이 제어 장치의 동작을 설명하는데 참조되는 도면이다.
도 6은 본 발명의 제3 실시예에 따른 차량의 디스플레이 제어 장치의 동작을 설명하는데 참조되는 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 방법에 대한 동작 흐름을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 장치가 적용된 차량을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 장치(100)는 차량(10)의 도어의 소정 영역에 구비되어 차량(10)의 좌측 영역, 우측 영역 및 후측방 영역을 촬영하는 제1 카메라의 영상(이하에서는 '제1 영상'이라 칭하도록 한다.)을 차량(10) 내 디스플레이(121, 123, 125) 화면에 표시하는 동안 차량(10)의 도어 열림 상태가 검출되면, 차량(10)의 후방을 촬영하는 적어도 하나의 제2 카메라(미도시)로부터 획득한 영상(이하에서는 '제2 영상'이라 칭하도록 한다.)을 이용하여 제3 영상을 생성하고, 도어 열림 상태가 검출되는 동안 제3 영상을 차량(10) 내 디스플레이(121, 123, 125) 화면에 표시함으로써 운전자가 사이드 및 후방의 시야를 확보할 수 있도록 한다.
이에, 차량의 디스플레이 제어 장치(100)의 세부 구성은 도 2를 참조하여 더욱 상세히 설명하도록 한다.
차량의 디스플레이 제어 장치(100)는 차량(10)의 내부에 구현될 수 있다. 이때, 차량의 디스플레이 제어 장치(100)는 차량(10)의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량(10)의 제어 유닛들과 연결될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 차량의 디스플레이 제어 장치(100)는 제어부(110), 인터페이스부(120), 카메라부(130), 통신부(140), 저장부(150), 도어 열림 상태 검출부(160), 영상 획득부(170), 영상 생성부(180) 및 출력 제어부(190)를 포함할 수 있다. 여기서, 본 실시예에 따른 차량의 디스플레이 제어 장치(100)의 제어부(110), 도어 열림 상태 검출부(160), 영상 획득부(170), 영상 생성부(180) 및 출력 제어부(190)는 적어도 하나 이상의 프로세서(processor)로서 구현될 수 있다.
제어부(110)는 차량의 디스플레이 제어 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다.
인터페이스부(120)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 차량의 디스플레이 제어 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.
여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.
출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
일 예로, 디스플레이는 차량(10) 내부의 좌측 및 우측 사이드 미러 주변에 구비된 아웃사이드 뷰 모니터링 시스템의 디스플레이(121, 123)를 포함할 수 있다. 또한, 디스플레이는 차량(10) 내부의 룸미러 위치에 구비된 인사이드 뷰 모니터링 시스템의 디스플레이(125)를 포함할 수도 있다. 또한, 디스플레이는 차량(10) 내 내비게이션 시스템의 디스플레이(미도시)를 포함할 수도 있다.
여기서, 디스플레이는 아웃사이드 뷰 모니터링 시스템, 인사이드 뷰 모니터링 시스템 및/또는 주변 모니터링 시스템의 영상을 표시할 수 있다. 또한, 디스플레이는 영상 생성부(180)에 의해 생성된 제3 영상을 표시할 수 있다.
아웃사이드 뷰 모니터링 시스템(Outside View Monitoring System)은 차량의 도어, 예를 들어, 차량의 좌측 도어 및 우측 도어에 배치되어 차량의 좌측 영역, 우측 영역 및 후측방 영역의 영상을 촬영하는 카메라와, 좌측 및 우측 사이드 미러 주변의 차량 내부에 배치되어 카메라를 통해 촬영되는 좌측 영역, 우측 영역 및 후측방 영역의 영상을 표시하는 디스플레이를 구비하고, 차량이 구동되는 동안 운전자가 차량 내 디스플레이를 통해 차량의 좌측 영역, 우측 영역 및 후측방 영역의 시야를 확보할 수 있도록 한 시스템을 말한다.
인사이드 뷰 모니터링 시스템(Inside View Monitoring System) 은 차량의 후단 상부에 배치되어 차량의 후방 및 일부 후측방 영역의 영상을 촬영하는 카메라와, 차량 내 룸미러에 배치되어 카메라를 통해 촬영되는 영상을 표시하는 디스플레이를 구비하고, 특정 동작 조건을 만족하는 경우 운전자가 룸미러를 통해 차량의 후방 및 일부 후측방 영역의 시야를 확보할 수 있도록 한 시스템을 말한다.
주변 모니터링 시스템은 어라운드 뷰 모니터링 시스템(Around View Monitoring System) 또는 서라운드 뷰 모니터링 시스템(Surround View Monitoring System) 등을 포함하는 것으로, 차량의 전단, 후단, 좌측 도어 및 우측 도어에 각각 배치된 카메라와, 각 카메라의 영상의 뷰 변환 영상이 합성된 형태의 영상을 표시하는 디스플레이를 구비하고, 특정 동작 조건을 만족하는 경우 운전자가 디스플레이를 통해 표시되는 영상을 통해 차량 주변의 시야를 확보할 수 있도록 한 시스템을 말한다.
카메라부(130)는 차량(10) 주변의 영상을 촬영하는 장치로서, 예를 들어, 차량(10)의 전단, 후단, 좌측부 및/또는 우측부에 각각 구비될 수 있다. 여기서, 카메라(120)는 광각 카메라일 수 있다.
카메라부(130)는 차량(10)의 좌측 영역, 우측 영역 및 후측방 영역을 촬영하는 제1 카메라를 포함할 수 있다. 일 예로, 제1 카메라는 도 3a에 도시된 아웃사이드 뷰 모니터링 시스템의 카메라(이하에서는 '아웃사이드 뷰 모니터링 카메라'라 칭하도록 한다.)(131)일 수 있다. 도 3a에 도시된 바와 같이, 제1 카메라는 차량(10)의 좌측 및 우측 도어에 구비될 수 있다.
또한, 카메라부(130)는 차량(10)의 후방 및/또는 후측방 영역을 촬영하는 제2 카메라를 포함할 수 있다. 여기서, 제2 카메라는 하나의 카메라일 수 있으며, 서로 다른 n개의 카메라일 수도 있다.
일 예로, 제2 카메라는 도 3a에 도시된 바와 같이, 차량(10)의 후단에 구비된 후방 카메라(133)를 포함할 수 있다. 다른 예로, 제2 카메라는 도 3a에 도시된 바와 같이, 후방 카메라(133), 차량(10)의 전단, 후단, 좌측 도어 및 우측 도어에 구비된 주변 모니터링 시스템의 카메라들(이하에서는 '주변 모니터링 카메라'라 칭하도록 한다.)(135), 및 차량(10)의 후단 상부에 구비된 인사이드 뷰 모니터링 시스템의 카메라(이하에서는 '인사이드 뷰 모니터링 카메라'라 칭하도록 한다.)(137) 중 적어도 하나 이상을 포함할 수 있다. 여기서, 주변 모니터링 카메라(135)는 주변 모니터링 시스템의 후방 카메라 만을 포함할 수도 있다.
또한, 도 3a 및 도 3b의 실시예에서는 아웃사이드 뷰 모니터링 시스템, 주변 모니터링 시스템 및 인사이드 뷰 모니터링 시스템에 대해 기재하였으나, 각 시스템의 명칭은 일 실시예를 나타낸 것으로서 그 기재에 구속되는 것은 아니며 실시 형태에 따라 다양한 명칭으로 기재될 수 있음은 당연한 것이다.
여기서, 후방 카메라(133)는 도 3b에 도시된 바와 같이, 차량(10)의 후방 및 후측방의 근거리 및 중거리 영상을 촬영하며, 수평 화각은 N1이 된다. 일 예로서, N1은 140도 각도일 수 있다.
주변 모니터링 카메라(135)는 도 3b에 도시된 바와 같이, 차량(10)의 후방 및 후측방의 근거리 영상을 촬영하며, 수평 화각은 후방 카메라(133)의 수평 화각 N1 보다 큰 N2가 된다. 일 예로서, N2는 180도 각도일 수 있다.
또한, 인사이드 뷰 모니터링 카메라(137)는 도 3b에 도시된 바와 같이, 후방 및 일부 후측방의 중거리 및 원거리 영상을 촬영하며, 수평 화각은 후방 카메라(133)의 수평 화각 N1 보다 작은 N3이 된다. 일 예로서, N3은 40도 각도일 수 있다.
제1 카메라 및 적어도 하나 이상의 제2 카메라는 촬영한 영상을 제어부(110)로 전달한다. 이때, 제어부(110)는 제1 카메라 및 제2 카메라로부터 전달된 제1 영상 및 제2 영상을 저장부(150)에 저장하고, 영상 획득부(170) 및/또는 영상 생성부(180)로 제공할 수 있다.
통신부(140)는 차량(10)에 구비된 전장품 및/또는 제어유닛들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 차량(10)에 구비된 아웃사이드 뷰 모니터링 시스템, 인사이드 뷰 모니터링 시스템 및/또는 주변 모니터링 시스템과 통신 연결되어, 각 시스템에 의해 제어되는 카메라의 영상을 수신할 수 있다. 또한, 통신모듈은 영상 생성부(180)에 의해 생성된 제3 영상을 각 시스템의 디스플레이로 송신할 수도 있다.
또한, 통신모듈은 차량(10)의 도어 열림 상태를 감지하는 센서와 통신 연결되어, 도어 열림 신호를 수신할 수 있다.
여기서, 통신모듈은 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 모듈을 포함할 수 있다.
또한, 통신모듈은 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을위한모듈을포함할수도있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이포함될수있으며, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.
저장부(150)는 차량의 디스플레이 제어 장치(100)가 동작하는데 필요한 데이터 및/또는 알고리즘 등을 저장할 수 있다.
일 예로, 저장부(150)는 제1 카메라 및/또는 적어도 하나 이상의 제2 카메라로부터 촬영된 제1 영상 및 제2 영상이 저장될 수 있다. 또한, 저장부(150)는 영상 생성부(180)에 의해 생성된 제3 영상이 저장될 수 있다. 또한, 저장부(150)는 적어도 하나 이상의 제2 영상으로부터 크롭 영역을 결정하고, 크롭 영역을 기준으로 추출된 크롭 영상을 기초로 제3 영상을 생성하기 위한 조건 정보, 명령 및/또는 알고리즘이 저장될 수 있다.
여기서, 저장부(150)는 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다.
출력 제어부(190)는 제1 영상이 디스플레이 화면에 표시하도록 한다. 여기서, 제1 영상은 좌측 카메라에 의해 촬영된 영상일 수 있으며, 우측 카메라에 의해 촬영된 영상일 수 있다. 또한, 제1 영상은 좌측 카메라 및 우측 카메라에 의해 촬영된 영상을 모두 포함할 수도 있다.
도어 열림 상태 검출부(160)는 제1 영상이 디스플레이 화면에 표시되는 동안 차량(10)의 도어 열림 상태를 검출한다. 여기서, 도어 열림 상태 검출부(160)는 차량(10)에 구비된 센서로부터 수신된 도어 열림 신호에 기초하여 차량(10)의 도어 열림 상태를 검출할 수 있다.
도어 열림 상태 검출부(160)는 차량(10)의 도어 열림 상태가 검출되면 영상 획득부(170) 및/또는 제어부(110)로 도어 열림 상태 정보를 송신한다.
영상 획득부(170)는 도어 열림 상태 검출부(160) 또는 제어부(110)로부터 도어 열림 상태 정보를 확인한다. 영상 획득부(170)는 도어 열림 시 적어도 하나 이상의 제2 카메라를 온 제어할 수 있다.
이때, 영상 획득부(170)는 어느 하나의 제2 카메라를 온 제어할 수 있다. 일 예로서, 영상 획득부(170)는 도어 열림 시 후방 카메라(133)를 온 제어할 수 있다. 이 경우, 영상 획득부(170)는 제2 카메라로부터 획득한 제2 영상을 영상 생성부(180)로 송신할 수 있다.
한편, 영상 획득부(170)는 도어 열림 시 복수의 제2 카메라를 모두 온 제어할 수 있다. 일 예로서, 영상 획득부(170)는 후방 카메라(133), 주변 모니터링 카메라(135) 및 인사이드 뷰 모니터링 카메라(137)를 온 제어할 수 있다. 이 경우, 영상 획득부(170)는 복수의 제2 카메라로부터 획득한 제2 영상을 출력 제어부(190)로 송신할 수 있다.
한편, 영상 획득부(170)는 도어 열림 시 제1 영상 및 적어도 하나 이상의 제2 영상을 획득하여 영상 생성부(180)로 송신할 수도 있다.
영상 생성부(180)는 영상 획득부(170)에 의해 획득된 제2 영상의 일부 영역을 크롭(crop) 영역으로 결정하고, 결정된 크롭 영역을 기준으로 크롭 영상을 추출할 수 있다. 이때, 영상 생성부(180)는 크롭 영상을 기반으로 제3 영상을 생성할 수 있다.
여기서, 영상 생성부(180)는 제1 카메라의 수평 화각 및 제2 카메라의 수평 화각에 기초하여 크롭 영역의 수평 화각을 결정할 수 있다. 또한, 영상 생성부(180)는 제1 카메라의 수직 화각, 제2 카메라의 수직 화각, 앞서 결정된 크롭 영역의 수평 화각, 및 디스플레이의 해상도에 기초하여 크롭 영역의 수직 화각을 결정할 수 있다. 제2 카메라의 영상에 대한 크롭 영역을 결정하고, 결정된 크롭 영역을 기반으로 제3 영상을 생성하는 실시예는 도 4a 내지 도 4c를 참조하도록 한다.
도 4a 내지 도 4c는 본 발명의 제1 실시예에 따른 차량의 디스플레이 제어 장치의 동작을 설명하는데 참조되는 도면이다. 제1 실시예의 경우, 제1 카메라는 아웃사이드 뷰 모니터링 카메라(131)이고, 제2 카메라는 후방 카메라(133)인 것으로 가정하여 설명한다.
먼저, 도 4a는 제2 카메라의 영상에 대한 크롭 영역의 수평 화각을 결정하는 실시예를 나타낸 것이다.
도 4a를 참조하면, 영상 생성부(180)는 제1 카메라의 수평 화각이 M이고, 제2 카메라의 수평 화각이 N1일 때, M < θH < N1/2의 범위 내에서 크롭 영역의 수평 화각(θH)을 결정한다. 일 예로, M이 30도이고, N1이 140도 인 경우, 영상 생성부(180)는 30도 < θH < 70도 범위 내에서 크롭 영역의 수평 화각(θH)을 결정할 수 있다. 이때, 크롭 영역의 수평 화각(θH)은 M < θH < N1/2의 범위 내에서 임의로 결정될 수 있다.
도 4b는 제2 카메라의 영상에 대한 크롭 영역의 수직 화각을 결정하는 실시예를 나타낸 것이다.
도 4b를 참조하면, 영상 생성부(180)는 제1 카메라의 수직 화각이 P이고, 제2 카메라의 수평 화각이 V1일 때, P < θV < V1의 범위 내에서 크롭 영역의 수직 화각(θV)을 결정한다.
이때, 영상 생성부(180)는 디스플레이의 수평 및 수직 해상도 비율(X:Y)을 기준으로 도 4a의 실시예를 통해 결정된 크롭 영역의 수평 화각(θH)에 대한 수직 화각(θV)을 결정할 수 있다. 여기서, 디스플레이의 해상도가 X:Y 인 경우, 영상 생성부(180)는 X:Y=θH:θV에 기초하여 크롭 영역의 수직 화각(θV)을 결정할 수 있다. 이때, 영상 생성부(180)는 P < θV < V1의 범위 내에서 X:Y=θH:θV를 만족하는 값을 크롭 영역의 수직 화각(θV)으로 결정할 수 있다.
일 예로서, 제1 카메라의 수직 화각이 30도, 제2 카메라의 수직 화각이 70도이고, 디스플레이의 해상도가 X:Y = 16:9이고, 크롭 영역의 수평 화각(θH)이 64도인 경우, 영상 생성부(180)는 16:9=64:θV로부터 수직 화각(θV)을 36도로 결정할 수 있다. 이때, 결정된 수직 화각(θV)은 30도 < θV < 70도의 범위를 만족한다.
이와 같이, 영상 생성부(180)는 도 4a의 실시예를 통해 결정된 수평 화각(θH) 및 수직 화각(θV)에 기초하여 제2 영상에 대한 크롭 영역을 결정할 수 있다.
도 4c는 제2 영상으로부터 크롭 영역을 기준으로 크롭 영상을 추출하여 제3 영상을 생성하는 실시예를 나타낸 것이다.
도 4c를 참조하면, 영상 생성부(180)는 도 4a의 실시예를 통해 결정된 수평 화각(θH) 및 수직 화각(θV)에 기초하여 제2 영상(411)에 대한 크롭 영역(415)을 결정하고, 결정된 크롭 영역(415)를 기준으로 크롭 영상을 추출한다.
이때, 영상 생성부(180)는 크롭 영상에 기초하여 제3 영상(421)을 생성할 수 있다. 여기서, 영상 생성부(180)는 크롭 영상에 도어 열림 경고 이미지(425)를 부가하여 제3 영상(421)을 생성할 수 있다.
한편, 영상 생성부(180)는 영상 획득부(170)에 의해 획득된 제1 영상 및 제2 영상의 일부 영역을 크롭 영역으로 각각 결정하고, 결정된 각 크롭 영역을 기준으로 크롭 영상을 추출할 수 있다. 여기서, 제1 영상의 크롭 영역을 '제1 크롭 영역', 제1 크롭 영역을 기준으로 추출된 영상을 '제1 크롭 영상', 제2 영상의 크롭 영역을 '제2 크롭 영역', 제2 크롭 영역을 기준으로 추출된 영상을 '제2 크롭 영상'이라 정의할 수 있다.
이때, 영상 생성부(180)는 제2 크롭 영상을 기준으로 제1 크롭 영상을 합성하고, 합성 영상을 기반으로 제3 영상을 생성할 수 있다.
여기서, 영상 생성부(180)는 제1 카메라의 수평 화각에 기초하여 제1 크롭 영역의 수평 화각(이하에서는 '제1 수평 화각'이라 칭하도록 한다.)을 결정할 수 있다. 또한, 영상 생성부(180)는 제2 카메라의 수평 화각에 기초하여 제2 크롭 영역의 수평 화각(이하에서는 '제2 수평 화각'이라 칭하도록 한다.)을 결정할 수 있다.
또한, 영상 생성부(180)는 제1 카메라의 수직 화각, 제2 카메라의 수직 화각, 제1 수평 화각, 및 디스플레이의 해상도에 기초하여 제1 크롭 영역의 수직 화각(이하에서는 '제1 수직 화각'이라 칭하도록 한다.)을 결정할 수 있다. 또한, 영상 생성부(180)는 제1 카메라의 수직 화각, 제2 카메라의 수직 화각, 제2 수평 화각, 및 디스플레이의 해상도에 기초하여 제2 크롭 영역의 수직 화각(이하에서는 '제2 수직 화각'이라 칭하도록 한다.)을 결정할 수 있다.
이때, 영상 생성부(180)는 제1 수직 화각 및 제2 수직 화각 중 작은 화각을 기초로 제1 크롭 영역 및 제2 크롭 영역의 수직 화각을 결정할 수도 있다.
제1 크롭 영역 및 제2 크롭 영역을 결정하고, 결정된 크롭 영역을 기반으로 제3 영상을 생성하는 실시예는 도 5a 및 도 5b를 참조하도록 한다.
도 5a 및 도 5b는 본 발명의 제2 실시예에 따른 차량의 디스플레이 제어 장치의 동작을 설명하는데 참조되는 도면이다. 제2 실시예의 경우, 제1 카메라는 아웃사이드 뷰 모니터링 카메라(131)이고, 제2 카메라는 후방 카메라(133)인 것으로 가정하여 설명한다.
먼저, 도 5a는 제1 크롭 영역 및 제2 크롭 영역의 수평 화각을 결정하는 실시예를 나타낸 것이다.
도 5a를 참조하면, 영상 생성부(180)는 제1 카메라의 수평 화각이 M일 때, 0 < θ1 < M의 범위 내에서 제1 수평 화각(θ1)을 결정한다. 일 예로, M이 30도인 경우, 영상 생성부(180)는 0도 < θ1 < 30도 범위 내에서 제1 수평 화각(θ1)을 결정할 수 있다. 이때, 제1 수평 화각(θ1)은 0 < θ1 < M의 범위 내에서 임의로 결정될 수 있다.
또한, 영상 생성부(180)는 제1 카메라의 수직 화각, 제2 카메라의 수직 화각, 제1 수평 화각, 및 디스플레이의 해상도에 기초하여 제1 수직 화각을 결정할 수 있다. 여기서, 영상 생성부(180)는 도 4b의 실시예와 동일한 방식으로 제1 수직 화각을 결정할 수 있다.
따라서, 영상 생성부(180)는 제1 수평 화각 및 제1 수직 화각에 기초하여 제1 크롭 영역을 결정하고, 결정된 제1 크롭 영역을 기준으로 제1 크롭 영상을 추출할 수 있다.
또한, 영상 생성부(180)는 제2 카메라의 수평 화각이 N1일 때, 0 < θ1 < N1/2의 범위 내에서 제2 수평 화각(θ2)을 결정한다. 일 예로, M이 70도인 경우, 영상 생성부(180)는 0도 < θ2 < 70도 범위 내에서 제2 수평 화각(θ2)을 결정할 수 있다. 이때, 제2 수평 화각(θ2)은 0 < θ2 < N1/2 범위 내에서 임의로 결정될 수 있다.
또한, 영상 생성부(180)는 제1 카메라의 수직 화각, 제2 카메라의 수직 화각, 제2 수평 화각, 및 디스플레이의 해상도에 기초하여 제2 수직 화각을 결정할 수 있다. 여기서, 영상 생성부(180)는 도 4b의 실시예와 동일한 방식으로 제2 수직 화각을 결정할 수 있다.
따라서, 영상 생성부(180)는 제2 수평 화각 및 제2 수직 화각에 기초하여 제2 크롭 영역을 결정하고, 결정된 제2 크롭 영역을 기준으로 제2 크롭 영상을 추출할 수 있다.
다만, 영상 생성부(180)는 제1 수직 화각 및 제2 수직 화각이 서로 다른 경우, 둘 중 작은 화각을 제1 크롭 영역 및 제2 크롭 영역에 대한 수직 화각으로 결정할 수도 있다. 일 예로, 제1 수직 화각 < 제2 수직 화각인 경우, 영상 생성부(180)는 제2 수직 화각을 제1 수직 화각으로 정정하고, 제2 수평 화각 및 정정된 제2 수직 화각(=제1 수직 화각)에 기초하여 제2 크롭 영역을 결정할 수도 있다.
도 5b는 제1 크롭 영상 및 제2 크롭 영상을 기반으로 제3 영상을 생성하는 실시예를 나타낸 것이다.
도 5b를 참조하면, 영상 생성부(180)는 앞서 도 5a의 실시예를 통해 결정된 수평 화각 및 수직 화각에 기초하여 제1 영상(521)에 대해 결정된 제1 크롭 영역(525)의 영상을 크롭하여 제1 크롭 영상을 생성하고, 제2 영상(511)에 대해 결정된 제2 크롭 영역(515)의 영상을 크롭하여 제2 크롭 영상을 생성한다.
이때, 영상 생성부(180)는 제2 크롭 영상을 기준으로 제1 크롭 영상을 합성하고, 합성 영상에 기초하여 제3 영상(531)을 생성한다. 여기서, 영상 생성부(180)는 합성 영상에 도어 열림 경고 이미지(535)를 부가하여 제3 영상(531)을 생성할 수 있다.
출력 제어부(190)는 도어 열림 시 디스플레이에 표시되는 제1 영상을 영상 생성부(180)에 의해 생성된 제3 영상으로 전환하여 디스플레이 화면에 표시되도록 제어한다.
한편, 출력 제어부(190)는 영상 획득부(170)에 의해 복수의 제2 영상들이 입력되면, 입력된 제2 영상들에 대한 제3 영상 선택 화면을 구성하여 디스플레이 화면에 표시되도록 할 수 있다. 이때, 출력 제어부(190)는 제3 영상 선택 화면을 통해 어느 하나의 영상이 선택되면, 선택된 제2 영상에 대한 정보를 영상 생성부(180)로 송신할 수 있다. 제3 영상 선택 화면에 대한 실시예는 도 6을 참조하도록 한다.
도 6은 본 발명의 제3 실시예에 따른 차량의 디스플레이 제어 장치의 동작을 설명하는데 참조되는 도면이다. 제3 실시예의 경우, 제1 카메라는 아웃사이드 뷰 모니터링 카메라(131)이고, 제2 카메라는 후방 카메라(133), 주변 모니터링 카메라(135) 및 인사이드 뷰 모니터링 카메라(137)를 포함하는 것으로 가정하여 설명한다.
도 6을 참조하면, 영상 획득부(170)는 제1 영상이 디스플레이 화면을 통해 표시되는 동안 도어 열림 상태가 감지되면, 복수의 제2 카메라들을 모두 온 제어하고, 복수의 제2 카메라로부터 촬영된 제2 영상들을 획득한다.
이때, 출력 제어부(190)는 복수의 제2 영상들을 이용하여 제3 영상 선택 화면(611)을 구성한다.
도 6에 도시된 바와 같이, 제3 영상 선택 화면(611)은 기존에 디스플레이에 표시되던 제1 영상(621)을 포함할 수 있다. 또한, 제3 영상 선택 화면(611)은 선택 영역을 포함하고, 선택 영역에는 제3 영상을 생성하는데 후보가 되는 제2 영상들, 즉, 후방 카메라(133)의 영상(631), 인사이드 뷰 모니터링 카메라(137)의 영상(633) 및 주변 모니터링 카메라(135)의 영상(635)이 표시될 수 있다.
따라서, 사용자는 선택 영역에 표시된 복수의 제2 영상들 중 제3 영상을 생성하기 위한 어느 하나의 영상을 선택할 수 있다.
또한, 제3 영상 선택 화면(611)은 일 영역에 도어 열림 경고 이미지(641)를 포함할 수도 있다.
영상 생성부(180)는 제3 영상 선택 화면을 통해 선택된 제2 영상을 기초로 제3 영상을 생성할 수 있다. 이 경우, 출력 제어부(190)는 영상 생성부(180)에 의해 생성된 제3 영상이 디스플레이 화면에 표시되도록 제어할 수 있다.
상기에서 살펴본 바와 같이, 영상 생성부(180)는 도어가 열린 방향의 후방 및 후측방 영역에 대한 영상을 기준으로 제3 영상을 생성할 수 있다. 이때, 출력 제어부(190)는 차량(10) 내의 디스플레이 중 도어가 열린 방향의 디스플레이를 통해서 제3 영상이 표시되도록 할 수 있다. 이 경우, 출력 제어부(190)는 도어가 열리지 않은 방향의 디스플레이에는 제1 카메라의 영상이 계속해서 표시되도록 할 수 있다.
한편, 영상 생성부(180)는 좌측 및 우측 중 적어도 하나의 도어가 열린 경우, 도어가 열린 방향에 상관없이 좌측 및 우측 방향의 후방 및 후측방 영역에 대한 영상을 기준으로 제3 영상을 생성할 수도 있다. 이 경우, 출력 제어부(190)는 좌측 및 우측의 디스플레이를 통해서 제3 영상이 각각 표시되도록 할 수도 있다.
상기에서와 같이 동작하는 본 실시예에 따른 차량의 디스플레이 제어 장치(100)는 메모리와 각 동작을 처리하는 프로세서를 포함하는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 차량의 디스플레이 제어 방법에 대한 동작 흐름을 도시한 도면이다.
도 7은 본 발명의 제1 실시예에 따른 차량의 디스플레이 제어 방법의 동작 흐름을 나타낸 것이다.
도 7에 도시된 바와 같이, 차량의 디스플레이 제어 장치(100)는 제1 영상을 디스플레이 화면에 표시한다(S110). 이때, 차량(10)의 도어 열림 상태가 검출되면(S120), 차량의 디스플레이 제어 장치(100)는 제2 카메라를 구동한다(S130). 여기서, 제2 카메라는 후방 카메라(133)일 수 있다. 다만, 이에 한정되는 것은 아니며, 실시 형태에 따라 제2 카메라는 주변 모니터링 카메라(135) 또는 인사이드 뷰 모니터링 카메라(137)일 수도 있다.
이후, 차량의 디스플레이 장치는 제2 카메라에 의해 촬영되는 제2 영상에 대한 크롭 영역을 결정한다(S140). 이때, 차량의 디스플레이 장치는 크롭 영역의 수평 화각 및 수직 화각을 결정하고, 결정된 수평 화각 및 수직 화각에 기초하여 크롭 영역을 결정한다. 크롭 영역을 결정하는 동작은 도 4a 내지 도 4c의 실시예를 참조한다.
'S140' 과정에서 제2 영상에 대한 크롭 영역이 결정되면, 차량의 디스플레이 제어 장치(100)는 제2 영상으로부터 크롭 영역의 영상을 크롭한다(S150). 차량의 디스플레이 장치는 'S150' 과정의 크롭 영상을 기반으로 제3 영상을 생성한다(S160). 이때, 차량의 디스플레이 제어 장치(100)는 크롭 영상에 도어 열림 경고 이미지를 부가하여 제3 영상을 생성할 수 있다.
차량의 디스플레이 제어 장치(100)는 'S160' 과정에서 생성한 제3 영상을 디스플레이 화면에 표시한다(S170). 여기서, 디스플레이는 차량(10) 내 도어 열림 방향의 디스플레이일 수 있으며, 양 방향의 디스플레이 일 수도 있다.
도 8은 본 발명의 제2 실시예에 따른 차량의 디스플레이 제어 방법의 동작 흐름을 나타낸 것이다.
도 8에 도시된 바와 같이, 차량의 디스플레이 제어 장치(100)는 제1 카메라의 제1 영상을 디스플레이 화면에 표시한다(S210). 이때, 차량(10)의 도어 열림 상태가 검출되면(S220), 차량의 디스플레이 제어 장치(100)는 제2 카메라를 구동한다(S230). 여기서, 제2 카메라는 후방 카메라(133)일 수 있다. 다만, 이에 한정되는 것은 아니며, 실시 형태에 따라 제2 카메라는 주변 모니터링 카메라(135) 또는 인사이드 뷰 모니터링 카메라(137)일 수도 있다.
이후, 차량의 디스플레이 장치는 제1 카메라 및 제2 카메라에 의해 촬영되는 제1 영상 및 제2 영상에 대한 크롭 영역을 각각 결정한다(S240). 여기서, 차량의 디스플레이 장치는 각 크롭 영역의 수평 화각 및 수직 화각을 결정하고, 결정된 수평 화각 및 수직 화각에 기초하여 각 크롭 영역을 결정한다. 제1 영상 및 제2 영상에 대한 크롭 영역을 결정하는 동작은 도 5a 및 도 5b의 실시예를 참조한다.
'S240' 과정에서 제1 영상 및 제2 영상에 대한 각 크롭 영역이 결정되면, 차량의 디스플레이 제어 장치(100)는 제1 영상 및 제2 영상으로부터 각 크롭 영역의 영상을 크롭한다(S250). 차량의 디스플레이 장치는 'S250' 과정의 각 크롭 영상을 합성하고(S260), 합성 영상을 기반으로 제3 영상을 생성한다(S270). 이때, 차량의 디스플레이 제어 장치(100)는 'S260' 과정의 합성 영상에 도어 열림 경고 이미지를 부가하여 제3 영상을 생성할 수 있다.
차량의 디스플레이 제어 장치(100)는 'S270' 과정에서 생성한 제3 영상을 디스플레이 화면에 표시한다(S280). 여기서, 디스플레이는 차량(10) 내 도어 열림 방향의 디스플레이일 수 있으며, 양 방향의 디스플레이 일 수도 있다.
도 9는 본 발명의 제3 실시예에 따른 차량의 디스플레이 제어 방법의 동작 흐름을 나타낸 것이다.
도 9에 도시된 바와 같이, 차량의 디스플레이 제어 장치(100)는 제1 카메라의 제1 영상을 디스플레이 화면에 표시한다(S310). 이때, 차량(10)의 도어 열림 상태가 검출되면(S320), 차량의 디스플레이 제어 장치(100)는 서로 다른 n개의 제2 카메라를 구동한다(S330). 여기서, 서로 다른 n개의 제2 카메라는 후방 카메라(133), 주변 모니터링 카메라(135) 및/또는 인사이드 뷰 모니터링 카메라(137)를 포함할 수 있다.
이후, 차량의 디스플레이 장치는 서로 다른 n개의 제2 카메라에 의해 촬영되는 제2 영상들을 획득하고(S340), 획득한 n개의 제2 영상들에 기초하여 제3 영상 선택 화면을 구성하여 디스플레이 화면에 표시한다(S350). 일 예로, 제3 영상 선택 화면은 후방 카메라(133)의 영상, 주변 모니터링 카메라(135)의 영상 및/또는 인사이드 뷰 모니터링 카메라(137)의 영상 중 제3 영상을 생성하는데 이용되는 영상을 선택하기 위한 화면이다. 제3 영상 선택 화면에 대한 실시예는 도 6을 참조한다.
따라서, 운전자는 디스플레이 화면에 표시된 제3 영상 선택 화면으로부터 n개의 제2 영상들 중 어느 하나의 영상을 선택할 수 있다. 이때, 차량의 디스플레이 제어 장치(100)는 제3 영상 선택 화면에 표시된 n개의 제2 영상들 중 어느 하나가 선택되면(S360), 'S360' 과정에서 선택된 영상을 기반으로 제3 영상을 생성한다(S370). 이때, 차량의 디스플레이 제어 장치(100)는 제3 영상 선택 화면을 통해 선택된 영상에 도어 열림 경고 이미지를 부가하여 제3 영상을 생성할 수 있다. 또한, 차량의 디스플레이 제어 장치(100)는 제3 영상 선택 화면을 통해 선택된 영상의 일부 영역을 크롭하고, 크롭 영상에 도어 열림 경고 이미지를 부가하여 제3 영상을 생성할 수도 있다.
차량의 디스플레이 제어 장치(100)는 'S370' 과정에서 생성한 제3 영상을 디스플레이 화면에 표시한다(S380). 여기서, 디스플레이는 차량(10) 내 도어 열림 방향의 디스플레이일 수 있으며, 양 방향의 디스플레이 일 수도 있다.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
도 10을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 차량 100: 차량의 디스플레이 제어 장치
110: 제어부 120: 인터페이스부
121, 123, 125: 디스플레이 130: 카메라부
131: 아웃사이드 뷰 모니터링 카메라
133: 후방 카메라 135: 주변 모니터링 카메라
137: 인사이드 뷰 모니터링 카메라
140: 통신부 150: 저장부
160: 도어 열림 상태 검출부 170: 영상 획득부
180: 영상 생성부 190: 출력 제어부

Claims (22)

  1. 차량 도어의 소정 영역에 구비되며, 상기 차량의 측방 영역 및 후측방 영역을 촬영하여 제1 영상을 생성하는 제1 카메라;
    상기 차량의 후단의 소정 영역에 구비되며, 상기 차량의 후방 영역 및 후측방 영역을 촬영하여 제2 영상을 생성하는 제2 카메라;
    상기 제2 영상에 기초하여 제3 영상을 생성하는 영상 생성부; 및
    차량 구동 시 상기 제1 영상을 디스플레이 화면에 표시하고, 상기 차량 도어의 열림 시 상기 제3 영상을 상기 디스플레이 화면에 표시하는 출력 제어부
    를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  2. 청구항 1에 있어서,
    상기 영상 생성부는,
    상기 제2 영상의 일부 영역을 크롭(crop) 영역으로 결정하고, 상기 크롭 영역을 기준으로 추출한 크롭 영상을 기반으로 상기 제3 영상을 생성하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  3. 청구항 2에 있어서,
    상기 영상 생성부는,
    상기 제1 카메라의 수평 화각 및 상기 제2 카메라의 수평 화각에 기초하여 상기 크롭 영역의 수평 화각을 결정하고, 상기 제1 카메라의 수직 화각, 상기 제2 카메라의 수직 화각, 상기 결정된 수평 화각 및 상기 디스플레이의 해상도에 기초하여 상기 크롭 영역의 수직 화각을 결정하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  4. 청구항 2에 있어서,
    상기 영상 생성부는,
    상기 크롭 영상에 도어 열림 경고 이미지를 부가하여 상기 제3 영상을 생성하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  5. 청구항 1에 있어서,
    상기 영상 생성부는,
    상기 제2 영상을 기준으로 상기 제1 영상을 합성하여 상기 제3 영상을 생성하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  6. 청구항 5에 있어서,
    상기 영상 생성부는,
    상기 제1 영상의 일부 영역을 제1 크롭 영역, 상기 제2 영상의 일부 영역을 제2 크롭 영역으로 결정하여, 상기 제1 크롭 영역을 기준으로 제1 크롭 영상을 추출하고 상기 제2 크롭 영역을 기준으로 제2 크롭 영상을 추출하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  7. 청구항 6에 있어서,
    상기 영상 생성부는,
    상기 제1 카메라의 수평 화각에 기초하여 상기 제1 크롭 영역의 수평 화각을 결정하고,
    상기 제1 카메라의 수직 화각, 상기 제2 카메라의 수직 화각, 상기 제1 크롭 영역의 수평 화각 및 상기 디스플레이의 해상도에 기초하여 상기 제1 크롭 영역의 수직 화각을 결정하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  8. 청구항 6에 있어서,
    상기 영상 생성부는,
    상기 제2 카메라의 수평 화각에 기초하여 상기 제2 크롭 영역의 수평 화각을 결정하고,
    상기 제1 카메라의 수직 화각, 상기 제2 카메라의 수직 화각, 상기 제2 크롭 영역의 수평 화각 및 상기 디스플레이의 해상도에 기초하여 상기 제2 크롭 영역의 수직 화각을 결정하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  9. 청구항 7 또는 청구항 8에 있어서,
    상기 영상 생성부는,
    상기 제1 크롭 영역의 수직 화각 및 상기 제2 크롭 영역의 수직 화각이 서로 다른 경우, 상기 제1 크롭 영역의 수직 화각 및 상기 제2 크롭 영역의 수직 화각 중 작은 화각을 기반으로 상기 제1 크롭 영역 및 상기 제2 크롭 영역을 결정하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  10. 청구항 6에 있어서,
    상기 영상 생성부는,
    상기 제2 크롭 영상을 기준으로 상기 제1 크롭 영상을 합성하여 합성 영상을 생성하고, 상기 생성된 합성 영상을 기반으로 상기 제3 영상을 생성하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  11. 청구항 10에 있어서,
    상기 영상 생성부는,
    상기 합성 영상에 도여 열림 경고 이미지를 부가하여 상기 제3 영상을 생성하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  12. 청구항 1에 있어서,
    상기 제2 카메라는,
    후방 카메라, 주변 모니터링 시스템의 카메라 및 인사이드 뷰 모니터링 시스템의 카메라 중 어느 하나를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  13. 청구항 1에 있어서,
    상기 제2 카메라는,
    서로 다른 n개의 카메라를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  14. 청구항 13에 있어서,
    상기 출력 제어부는,
    상기 도어 열림 시 상기 서로 다른 n개의 카메라로부터 획득한 영상들에 기초하여 제3 영상 선택 화면을 구성하고, 상기 제3 영상 선택 화면을 디스플레이 화면에 표시하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  15. 청구항 14에 있어서,
    상기 제3 영상 선택 화면은,
    일 영역에 도어 열림 경고 이미지를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  16. 청구항 14에 있어서,
    상기 영상 생성부는,
    상기 제3 영상 선택 화면에 표시된 영상들 중 어느 하나의 영상이 선택되면, 상기 선택된 영상에 기초하여 상기 제3 영상을 생성하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  17. 청구항 13에 있어서,
    상기 제2 카메라는,
    후방 카메라, 주변 모니터링 시스템의 카메라 및 인사이드 뷰 모니터링 시스템의 카메라 중 적어도 둘 이상을 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 장치.
  18. 차량의 측방 영역 및 후측방 영역을 촬영하여 생성된 제1 영상을 디스플레이 화면에 표시하는 단계;
    상기 차량의 후방 영역 및 후측방 영역을 촬영하여 제2 영상을 생성하는 단계;
    상기 차량의 도어 열림 시 상기 제2 영상에 기초하여 제3 영상을 생성하는 단계; 및
    상기 제3 영상을 상기 디스플레이 화면에 표시하는 단계
    를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 방법.
  19. 청구항 18에 있어서,
    상기 제3 영상을 생성하는 단계는,
    상기 제2 영상의 일부 영역을 크롭(crop) 영역으로 결정하는 단계;
    상기 크롭 영역을 기준으로 크롭 영상을 추출하는 단계; 및
    상기 추출된 크롭 영상을 기반으로 제3 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 방법.
  20. 청구항 18에 있어서,
    상기 제3 영상을 생성하는 단계는,
    상기 제1 영상의 일부 영역을 제1 크롭 영역으로 결정하고, 상기 제1 크롭 영역을 기준으로 제1 크롭 영상을 추출하는 단계;
    상기 제2 영상의 일부 영역을 제2 크롭 영역으로 결정하고, 상기 제2 크롭 영역을 기준으로 제2 크롭 영상을 추출하는 단계;
    상기 제2 크롭 영상을 기준으로 상기 제1 크롭 영상을 합성하여 합성 영상을 생성하는 단계; 및
    상기 생성된 합성 영상을 기반으로 제3 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 방법.
  21. 청구항 18에 있어서,
    상기 도어 열림 시 상기 차량의 후방 영역 및 후측방 영역을 촬영하는 서로 다른 n개의 카메라로부터 획득한 영상들에 기초하여 제3 영상 선택 화면을 구성하는 단계; 및
    상기 제3 영상 선택 화면을 디스플레이 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 방법.
  22. 청구항 21에 있어서,
    상기 제3 영상을 생성하는 단계는,
    상기 상기 제3 영상 선택 화면에 표시된 영상들 중 선택된 어느 하나의 영상에 기초하여 상기 제3 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 차량의 디스플레이 제어 방법.
KR1020170163382A 2017-11-30 2017-11-30 차량의 디스플레이 제어 장치 및 방법 KR102441079B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170163382A KR102441079B1 (ko) 2017-11-30 2017-11-30 차량의 디스플레이 제어 장치 및 방법
DE102018108957.0A DE102018108957A1 (de) 2017-11-30 2018-04-16 Vorrichtung und Verfahren zum Steuern eines Displays in einem Fahrzeug
US15/953,754 US20190161012A1 (en) 2017-11-30 2018-04-16 Apparatus and method for controlling display in vehicle
CN201810399715.7A CN109849939B (zh) 2017-11-30 2018-04-28 用于控制车辆内显示器的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170163382A KR102441079B1 (ko) 2017-11-30 2017-11-30 차량의 디스플레이 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190069640A true KR20190069640A (ko) 2019-06-20
KR102441079B1 KR102441079B1 (ko) 2022-09-06

Family

ID=66547837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170163382A KR102441079B1 (ko) 2017-11-30 2017-11-30 차량의 디스플레이 제어 장치 및 방법

Country Status (4)

Country Link
US (1) US20190161012A1 (ko)
KR (1) KR102441079B1 (ko)
CN (1) CN109849939B (ko)
DE (1) DE102018108957A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095291B2 (ja) * 2018-01-30 2022-07-05 トヨタ自動車株式会社 車両用表示装置
US11060339B2 (en) * 2018-04-19 2021-07-13 Ford Global Technologies, Llc Systems and methods for mitigating liftgate from contacting objects while closing
KR20200144692A (ko) * 2019-06-19 2020-12-30 현대자동차주식회사 수직방향 접이식 카메라 모니터링 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010107775A (ko) * 2000-05-26 2001-12-07 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
US20140056520A1 (en) * 2012-08-23 2014-02-27 Xerox Corporation Region refocusing for data-driven object localization
WO2015159407A1 (ja) * 2014-04-17 2015-10-22 三菱電機株式会社 車載表示装置
KR20160034681A (ko) * 2014-09-22 2016-03-30 에스엘 주식회사 차량의 주변 감시 장치 및 방법
JP2017007474A (ja) * 2015-06-19 2017-01-12 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像生成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
JP3979330B2 (ja) * 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
US9321401B2 (en) * 2003-11-06 2016-04-26 Woodstock Transportation Components, Inc. Stop-arm with camera system
JP4468859B2 (ja) * 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP2007148618A (ja) * 2005-11-25 2007-06-14 Fujitsu Ten Ltd 車両周辺監視システム及び方法
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
KR20130019639A (ko) * 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
WO2013046358A1 (ja) * 2011-09-28 2013-04-04 トヨタ自動車株式会社 車輌側域照明／視認手段を備えた車輌
US9956913B2 (en) * 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product
KR101482171B1 (ko) * 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP6575404B2 (ja) * 2016-03-15 2019-09-18 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR101846666B1 (ko) * 2016-05-02 2018-04-06 현대자동차주식회사 측후방 주시 카메라 시스템 작동 제어장치 및 방법
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
KR102012776B1 (ko) * 2017-08-29 2019-08-21 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010107775A (ko) * 2000-05-26 2001-12-07 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
US20140056520A1 (en) * 2012-08-23 2014-02-27 Xerox Corporation Region refocusing for data-driven object localization
WO2015159407A1 (ja) * 2014-04-17 2015-10-22 三菱電機株式会社 車載表示装置
KR20160034681A (ko) * 2014-09-22 2016-03-30 에스엘 주식회사 차량의 주변 감시 장치 및 방법
JP2017007474A (ja) * 2015-06-19 2017-01-12 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像生成方法

Also Published As

Publication number Publication date
CN109849939A (zh) 2019-06-07
US20190161012A1 (en) 2019-05-30
CN109849939B (zh) 2023-02-28
KR102441079B1 (ko) 2022-09-06
DE102018108957A1 (de) 2019-06-06

Similar Documents

Publication Publication Date Title
US10928512B2 (en) Vehicle based radar upsampling
US20190028651A1 (en) Imaging device, imaging system, and imaging method
KR20190069640A (ko) 차량의 디스플레이 제어 장치 및 방법
KR20180126707A (ko) 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
WO2014087594A1 (ja) 車両監視装置
KR20180134604A (ko) 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
US11240446B2 (en) Imaging device, control apparatus, imaging method, and storage medium
JP5991648B2 (ja) 車両用表示制御装置
JP5640433B2 (ja) 画像情報提供装置および画像情報提供方法
CN115686407B (zh) 显示方法与电子设备
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
US11034305B2 (en) Image processing device, image display system, and image processing method
JP7163418B2 (ja) 運転支援装置
KR20200050110A (ko) 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
CN108569298A (zh) 用于增强俯视图图像的方法和装置
KR101964864B1 (ko) 차량의 어라운드 뷰 영상의 왜곡 보정 방법
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
US20190100144A1 (en) Bird&#39;s-eye view video generation device, bird&#39;s-eye view video generation system, bird&#39;s-eye view video generation method, and non-transitory storage medium
KR102518535B1 (ko) 차량의 영상 처리 장치 및 방법
JP2019188855A (ja) 車両用視認装置
JP2018109875A (ja) 画像処理装置および画像処理方法
JP2020052143A (ja) 画像表示装置、画像表示方法
JP6427888B2 (ja) 画像表示システム、画像表示装置及び画像表示方法
KR102288952B1 (ko) 차량 및 그 제어 방법
US20190299857A1 (en) Surrounding monitoring device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant