KR102261312B1 - 다중 카메라 운전 보조 시스템 - Google Patents

다중 카메라 운전 보조 시스템 Download PDF

Info

Publication number
KR102261312B1
KR102261312B1 KR1020150056085A KR20150056085A KR102261312B1 KR 102261312 B1 KR102261312 B1 KR 102261312B1 KR 1020150056085 A KR1020150056085 A KR 1020150056085A KR 20150056085 A KR20150056085 A KR 20150056085A KR 102261312 B1 KR102261312 B1 KR 102261312B1
Authority
KR
South Korea
Prior art keywords
projection surface
vehicle
virtual view
assistance system
driving assistance
Prior art date
Application number
KR1020150056085A
Other languages
English (en)
Other versions
KR20160125201A (ko
Inventor
압하우 요켄
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020150056085A priority Critical patent/KR102261312B1/ko
Priority to US15/134,293 priority patent/US10464481B2/en
Publication of KR20160125201A publication Critical patent/KR20160125201A/ko
Priority to US16/584,932 priority patent/US10821896B2/en
Application granted granted Critical
Publication of KR102261312B1 publication Critical patent/KR102261312B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Image Processing (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)

Abstract

본 발명은 다중의 카메라를 이용하여 운전자를 보조하는 시스템에 관한 것으로서, 보다 구체적으로는, 차량의 운행이나 주차 등의 상황에서 차량 주변의 가상 뷰를 제공함으로써 승객들과 같은 높은 위치의 대상들이 왜곡 없이(distortion free) 디스플레이되고 주변을 지나가는 차량들의 직선 라인들이 아크(arc)가 아니라 정확하게 직선라인으로 디스플레이될 수 있는 다중 카메라 운전자 보조 시스템에 관한 것이다.

Description

다중 카메라 운전 보조 시스템{Multi Camera Driver Assistance System}
본 발명은 다중의 카메라를 이용하여 운전자를 보조하는 시스템에 관한 것으로서, 보다 구체적으로는, 차량의 운행이나 주차 등의 상황에서 차량 주변의 가상 뷰를 제공함으로써 승객들과 같은 높은 위치의 대상들이 왜곡 없이(distortion free) 디스플레이되고 주변을 지나가는 차량들의 직선 라인들이 아크(arc)가 아니라 정확하게 직선라인으로 디스플레이될 수 있는 다중 카메라 운전자 보조 시스템에 관한 것이다.
다중 카메라 운전 보조 시스템은, 복수개의 카메라들이 차량의 상이한 위치들에 부착되고, 이러한 카메라들이 촬영하는 이미지들을 결합하여 차량을 중심으로 하는 가상의 뷰(virtual view)를 제공하는 시스템이다. 이러한 다중 카메라 운전 보조 시스템은 서라운드 뷰(surround view) 시스템이라고도 불린다. 이러한 다중 카메라 운전 보조 시스템은 운전자가 주차를 하는 경우 등에 있어서 사용자의 조작에 있어서의 편의성을 제공할 수 있다.
특히, 버스와 같은 거대한 차량의 경우에는 복잡한 상황을 맞을 수 있다. 예를 들어, 버스에 탑승하고 하차하는 승객들, 버스의 주변을 지나가는 차량들로 인해서 복잡한 상황들이 발생할 수 있다.
종래의 다중 카메라 운전 보조 시스템은 가상의 뷰를 생성하기 위해 수평 프로젝션 표면(flat projection surface)을 이용하였다. 수평 프로젝션 표면은 예컨대 특허번호 DE60003750 T2에서 제시된 바 있다. 이러한 수평 프로젝션 표면을 이용하는 가상 뷰의 경우에는 주차 라인이나 주변을 지나가는 차량 등의 직선화된 라인이 실제와 유사하게 직선으로 표현되기는 하지만, 차량 외부 환경에 있는 구조물, 나무 등과 같은 물체의 높낮이를 표현하지 못하는 단점이 있었다.
또한, 종래의 다중 카메라 운전 보조 시스템은 가상의 뷰를 생성하기 위해 보울(bowl) 프로젝션 표면을 이용하기도 하였다. 보울 프로젝션 표면은 예컨대 특허번호 EP2511137 A1에서 제시된 바 있다. 이러한 보울 프로젝션 표면을 이용하는 가상 뷰의 경우에는, 차량 외부 환경에 있는 물체의 높낮이가 실제와 유사하게 표현되기는 하지만, 직선화된 라인이 커브(curved)로 표현되는 등의 왜곡이 발생하는 문제점이 있었다.
유럽특허출원 EP2511137 A1
본 발명은 전술한 문제점들을 해결하기 위해 제시되는 것으로서, 차량 외부 환경에 있는 물체의 높낮이를 실제와 유사하게 표현하면서, 동시에 주차 라인이나 주변을 지나가는 차량 등의 직선화된 라인도 실제와 유사하게 직선으로 표현할 수 있는 다중 카메라 운전 보조 시스템을 제공하고자 한다.
전술한 과제를 해결하기 위해 본 발명은 다중 카메라 운전 보조 시스템으로서, 차량의 상이한 위치들에 배치되어 차량 주변의 이미지들을 촬영하는 복수개의 카메라들; 상기 이미지들에 기초하여 미리 결정된 프로젝션 표면에 대한 가상 뷰를 생성하는 이미지 처리 유닛; 상기 가상 뷰를 디스플레이하는 디스플레이 장치;를 포함하고, 상기 미리 결정된 프로젝션 표면은 상기 차량의 측면에 대한 경사 프로젝션 표면을 포함하는 것을 특징으로 하는 다중 카메라 운전 보조 시스템을 제공한다.
상기 이미지 처리 유닛은 상기 차량의 전자 제어 장치(ECU)인 것을 특징으로 한다.
상기 미리 결정된 프로젝션 표면은 상기 차량을 중심으로 미리 결정된 거리의 수평 프로젝션 표면을 더 포함하고, 상기 경사 프로젝션 표면은 상기 수평 프로젝션 표면과 연결되는 것을 특징으로 한다.
상기 미리 결정된 프로젝션 표면은, 상기 경사 프로젝션 표면을 제한하기 위해, 상기 차량의 전면 및 후면에 대한 거의 수직 프로젝션 표면을 더 포함하는 것을 특징으로 한다.
상기 이미지 처리 유닛은 사용자로부터 입력되는 가상 뷰 확대 명령에 응답하여, 상기 수평 프로젝션 표면의 상기 미리 결정된 거리를 증가시키면서 상기 경사 프로젝션 표면의 지면으로부터의 각도를 증가시키도록 구성되는 것을 특징으로 한다.
상기 이미지 처리 유닛은 사용자로부터 입력되는 가상 뷰 축소 명령에 응답하여, 상기 수평 프로젝션 표면의 상시 미리 결정된 거리를 감소시키면서 상기 경사 프로젝션 표면의 지면으로부터의 각도를 감소시키도록 구성되는 것을 특징으로 한다.
또한, 전술한 과제를 해결하기 위해 본 발명은 다중 카메라 운전 보조 시스템에 의한 가상 뷰 디스플레이 방법으로서, 차량의 상이한 위치들에 배치된 복수개의 카메라들로부터 차량 주변의 이미지들을 수신하는 단계; 상기 이미지들에 기초하여 미리 결정된 프로젝션 표면에 대한 가상 뷰를 생성하는 단계; 상기 가상 뷰를 디스플레이 장치로 전송하는 단계;를 포함하고, 상기 미리 결정된 프로젝션 표면은 상기 차량의 측면에 대한 경사 프로젝션 표면을 포함하는 것을 특징으로 하는
다중 카메라 운전 보조 시스템에 의한 가상 뷰 디스플레이 방법을 제공한다.
상기 미리 결정된 프로젝션 표면은 상기 차량을 중심으로 미리 결정된 거리의 수평 프로젝션 표면을 더 포함하고, 상기 경사 프로젝션 표면은 상기 수평 프로젝션 표면과 연결되는 것을 특징으로 한다.
상기 미리 결정된 프로젝션 표면은 상기 경사 프로젝션 표면을 제한하기 위해 상기 차량의 전면 및 후면에 대한 거의 수직 프로젝션 표면을 더 포함하는 것을 특징으로 한다.
상기 가상 뷰를 생성하는 단계는, 사용자로부터 입력되는 가상 뷰 확대 명령에 응답하여, 상기 수평 프로젝션 표면의 상기 미리 결정된 거리를 증가시키면서 상기 경사 프로젝션 표면의 지면으로부터의 각도를 증가시키는 단계를 포함하는 것을 특징으로 한다.
상기 가상 뷰를 생성하는 단계는, 사용자로부터 입력되는 가상 뷰 축소 명령에 응답하여, 상기 수평 프로젝션 표면의 상기 미리 결정된 거리를 감소시키면서 상기 경사 프로젝션 표면의 지면으로부터의 각도를 감소시키도록 구성되는 것을 특징으로 한다.
본 발명에 따르면 차량 외부 환경에 있는 물체의 높낮이가 실제와 유사하게 높낮이를 갖는 물체로서 표현되는 가상 뷰를 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면 주차 라인이나 주변을 지나가는 차량 등의 직선화된 라인도 실제와 유사하게 직선으로 표현되는 가상 뷰를 제공할 수 있는 효과가 있다.
도 1a는 종래의 기술에 따라 다중 카메라 운전 보조 시스템이 수평 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다.
도 1b는 수평 프로젝션 표면에 의해 생성된 가상 뷰가 디스플레이 장치에 의해 디스플레이되는 화면을 나타내는 도면이다.
도 2a는 종래의 기술에 따라 다중 카메라 운전 보조 시스템이 보울 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다.
도 2b는 보울 프로젝션 표면에 의해 생성된 가상 뷰가 디스플레이 장치에 의해 디스플레이되는 화면을 나타내는 도면이다.
도 3a는 본 발명의 일 실시예에 따라 다중 카메라 운전 보조 시스템이 생성하는 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다.
도 3b는 본 발명에 따른 프로젝션 표면에 의해 생성된 가상 뷰가 디스플레이 장치에 의해 디스플레이되는 화면을 나타내는 도면이다.
도 3c는 본 발명의 다른 실시예에 따라 다중 카메라 운전 보조 시스템이 생성하는 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다.
도 4는 본 발명에 따른 다중 카메라 운전 보조 시스템을 도시하는 블록도이다.
도 5는 본 발명의 다른 측면에 따라 다중 카메라 운전 보조 시스템에 의해 가상 뷰를 디스플레이하는 방법을 나타내는 도면이다.
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 비록 특정 실시 예로 설명하더라도 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 의도는 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1a는 종래의 기술에 따라 다중 카메라 운전 보조 시스템이 수평 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다. 도 1b는 수평 프로젝션 표면에 의해 생성된 가상 뷰가 디스플레이 장치에 의해 디스플레이되는 화면을 나타내는 도면이다.
도 1a 및 도 1b를 참조하면, 차량(10), 높은 물체로 표현될 수 있는 승객(20)(passenger) 및 직선화된 라인으로서 표현될 수 있는 주차 라인(30)이 도시된다.
차량(10)은 모터를 장착하고 모터의 동력으로 바퀴를 굴려서 지면 위에서 이동하는 물체로서, 예컨대, 승용차, 버스, 트럭 등일 수 있다.
차량(10)에는 상이한 위치에서 복수개의 카메라(110)들이 배치된다. 예를 들어, 차량의 전면, 좌면, 우면, 후면의 각각에 카매라(110)들이 배치될 수 있다. 이러한 카메라(110)는 예컨대 180도의 범위에서 촬영을 수행할 수 있는 광각(wide angle) 카메라일 수 있다. 한 대의 차량(10)에 복수개의 카메라(110)들이 배치됨으로써 차량을 중심으로 하는 가상의 뷰(또는 서라운드 뷰)를 사용자에게 제공할 수 있다.
가상의 뷰는 이미지 처리 유닛(미도시)에 의해 생성될 수 있다. 이미지 처리 유닛은 카메라(110)로부터 촬영된 복수개의 이미지들을 수신하고, 복수개의 이미지들을 프로세싱하여 차량(10)을 중심으로 주변을 도시하는 가상의 뷰를 생성한다. 즉, 이미지 처리 유닛은 복수개의 이미지들을 단순히 결합하는 대신에, 복수개의 이미지들에 대해 회전, 반전, 크기 조절, 컬러 보정 등의 프로세싱을 수행한다. 이미지 처리 유닛은 프로세싱된 이미지들을 결합하여 가상의 뷰를 생성한다. 즉, 가상의 뷰란, 실제 존재하지 않는 가상의 관측자(virtual observer)가 바라보는 표면을 기준으로 하는 이미지들의 결합이다. 이미지 처리 유닛은 예를 들어, 차량(10)에 설치되어 있는 전자 제어 장치(ECU)일 수 있다. 가상의 뷰는 차량(10)의 내부에 설치되는 디스플레이 장치(130)에서 디스플레이될 수 있다.
도 1a 및 도 1b에서는 가상의 뷰를 생성하기 위해 수평 프로젝션 표면(41)(flat projection surface)이 이용되는 경우를 도시하고 있다. 차량(10)을 중심으로 차량(10)이 위치하고 있는 2차원의 지면이 가상 뷰를 위한 표면이 되기 때문에, 차량(10)의 주변의 승객(20)은 하나의 점으로서 디스플레이된다. 즉, 높은 물체인 승객(20)은 2차원의 표면 상에서는 하나의 점으로 표시되며, 따라서 승객(20)의 높이는 디스플레이상에서 표현되지 않는다. 한편, 차량(10)의 주변의 주차 라인(30)은 2차원의 표면 상에서도 직선으로 표현된다.
도 2a는 종래의 기술에 따라 다중 카메라 운전 보조 시스템이 보울 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다. 도 2b는 보울 프로젝션 표면에 의해 생성된 가상 뷰가 디스플레이 장치에 의해 디스플레이되는 화면을 나타내는 도면이다.
도 2a 및 도 2b를 참조하면, 차량(10), 높은 물체로 표현될 수 있는 승객(20) 및 직선화된 라인으로서 표현될 수 있는 주차 라인(30)이 도시된다.
가상의 뷰는 이미지 처리 유닛(미도시)에 의해 생성될 수 있다. 이미지 처리 유닛은 카메라(110)로부터 촬영된 복수개의 이미지들을 수신하고, 복수개의 이미지들을 프로세싱하여 차량(10)을 중심으로 주변을 도시하는 가상의 뷰를 생성한다. 즉, 이미지 처리 유닛은 복수개의 이미지들을 단순히 결합하는 대신에, 복수개의 이미지들에 대해 회전, 반전, 크기 조절, 컬러 보정 등의 프로세싱을 수행한다. 이미지 처리 유닛은 프로세싱된 이미지들을 결합하여 가상의 뷰를 생성한다. 즉, 가상의 뷰란, 실제 존재하지 않는 가상의 관측자(virtual observer)가 바라보는 표면을 기준으로 하는 이미지들의 결합이다. 이미지 처리 유닛은 예를 들어, 차량(10)에 설치되어 있는 전자 제어 장치(ECU)일 수 있다. 가상의 뷰는 차량(10)의 내부에 설치되는 디스플레이 장치(130)에서 디스플레이될 수 있다.
도 2a 및 도 2b에서는 가상의 뷰를 생성하기 위해 보울 프로젝션 표면(41)(bowl projection surface)이 이용되는 경우를 도시하고 있다. 차량(10)을 중심으로 보울 형상의 3차원 입체가 가상 뷰를 위한 표면이 되기 때문에, 차량(10)의 주변의 승객(20)은 높이가 표현되는 방식으로 디스플레이된다. 하지만, 차량(10)의 주변의 주차 라인(30)은 실제로는 직선이지만 가상 뷰에서는 곡선화된(curved) 선으로서 표현된다. 즉, 보울 프로젝션 표면(41)에서는 주차 라인(30)은 왜곡되어 표현된다.
도 3a는 본 발명의 일 실시예에 따라 다중 카메라 운전 보조 시스템이 생성하는 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다. 도 3b는 본 발명에 따른 프로젝션 표면에 의해 생성된 가상 뷰가 디스플레이 장치에 의해 디스플레이되는 화면을 나타내는 도면이다. 도 3c는 본 발명의 다른 실시예에 따라 다중 카메라 운전 보조 시스템이 생성하는 프로젝션 표면에 대해 가상 뷰를 생성하는 것을 도식화한 도면이다.
가상의 뷰는 이미지 처리 유닛(미도시)에 의해 생성될 수 있다. 이미지 처리 유닛은 카메라(110)로부터 촬영된 복수개의 이미지들을 수신하고, 복수개의 이미지들을 프로세싱하여 차량(10)을 중심으로 주변을 도시하는 가상의 뷰를 생성한다. 즉, 이미지 처리 유닛은 복수개의 이미지들을 단순히 결합하는 대신에, 복수개의 이미지들에 대해 회전, 반전, 크기 조절, 컬러 보정 등의 프로세싱을 수행한다. 이미지 처리 유닛은 프로세싱된 이미지들을 결합하여 가상의 뷰를 생성한다. 즉, 가상의 뷰란, 실제 존재하지 않는 가상의 관측자(virtual observer)가 바라보는 표면을 기준으로 하는 이미지들의 결합이다. 이미지 처리 유닛은 예를 들어, 차량(10)에 설치되어 있는 전자 제어 장치(ECU)일 수 있다. 가상의 뷰는 차량(10)의 내부에 설치되는 디스플레이 장치(130)에서 디스플레이될 수 있다.
본 발명에 따른 프로젝션 표면은 경사 프로젝션 표면(44)(slanted projection surface)을 포함한다. 경사 프로젝션 표면(44)은 차량(10)의 측면에 위치하며 지면으로부터의 소정의 각도만큼 기울어지도록 구성된다. 경사 프로젝션 표면(44)은 2차원의 표면이지만 지면으로부터 기울어져 상승된 표면이므로, 차량(10)의 주변의 승객(20)은 하나의 점으로서 디스플레이되지 않고 높이를 가진 물체로서 표현될 수 있다. 또한, 경사 프로젝션 표면(44)은 곡선화된 표면이 아니라 2차원의 표면이므로 실제로 직선인 차량 주변의 주차 라인(30)은 곡선화되어 표현되지 않고 실제와 동일하게 직선으로서 표현될 수 있다.
본 발명의 다른 실시예에 따르면, 차량(10)을 중심으로 미리 결정된 거리의 수평 프로젝션 표면(43)을 포함하고, 수평 프로젝션 표면(43)과 연결되는 경사 프로젝션 표면(44)을 포함할 수 있다. 차량(10)과 근접한 소정의 거리에 대해서는 수평 프로젝션 평면(43)에 대하여 가상의 뷰를 생성하기 때문에, 차량(10)과 매우 가까운 거리의 주차 라인(30)에 대해서는 그 높이의 왜곡이 없이 지면에 있는 것으로 표현될 수 있을 것이다.
추가적으로, 본 발명에 따른 프로젝션 표면은 차량(10)의 전면 및 후면에 위치하면서 지면에 대해 거의 수직인 수직 프로젝션 표면(45)을 더 포함할 수 있다. 도 3c에는, 차량(10)의 전면 및 후면에는 지면에 대해 거의 수직인 수직 프로젝션 표면(45)이 도시되어 있다. 이러한 수직 프로젝션 표면(45)은 경사 프로젝션 표면(44)이 무한대로 확장되는 것을 제한할 수 있다.
한편, 본 발명에 따른 프로젝션 표면은 사용자의 명령에 의해 그 형태가 변경될 수 있다. 예컨대, 사용자는 차량(10)의 주변 환경을 보다 구체적으로 인식하기 위해 가상 뷰를 확대하고자 할 수 있다. 이에 따라 사용자가 가상 뷰 확대 명령을 전송하는 경우에, 이미지 처리 유닛은 수평 프로젝션 표면(43)의 미리 결정된 거리를 증가시키고, 동시에 경사 프로젝션 표면(44)의 지면으로부터의 각도를 증가시킬 수 있다. 따라서, 디스플레이 장치(30)에는 차량(10) 주변의 주차 라인(30)은 확대되어 표시될 수 있고, 승객(20)은 그 높이가 더 상세하게 표시될 수 있다.
만약, 사용자가 가상 뷰 축소 명령을 전송하는 경우에, 이미지 처리 유닛은 수평 프로젝션 표면(43)의 미리 결정된 거리를 감소시키고, 동시에 경사 프로젝션 표면(44)의 지면으로부터의 각도를 감소시킬 수 있다. 따라서, 디스플레이 장치(30)에는 차량(10) 주변의 주차 라인(30)은 축소되어 표시될 수 있고, 승객(20)은 그 높이가 덜 상세하게 표시될 수 있다.
도 4는 본 발명에 따른 다중 카메라 운전 보조 시스템을 도시하는 블록도이다.
본 발명에 따른 다중 카메라 운전 보조 시스템은 복수개의 카메라들(110), 이미지 처리 유닛(120) 및 디스플레이 장치(130)을 포함한다.
복수개의 카메라(110)들은 차량의 상이한 위치에 배치될 수 있다. 예를 들어, 차량의 전면, 좌면, 우면 및 후면의 각각에 카메라(110)들이 배치될 수 있다. 이러한 카메라(110)는 예컨대 180도의 범위에서 촬영을 수행할 수 있는 광각(wide angle) 카메라일 수 있다. 한 대의 차량(10)에 복수개의 카메라(110)들이 배치됨으로써 차량을 중심으로 하는 가상의 뷰(또는 서라운드 뷰)를 사용자에게 제공할 수 있다.
이미지 처리 유닛(120)은 가상의 뷰를 생성할 수 있다. 이미지 처리 유닛(120)은 카메라(110)로부터 촬영된 복수개의 이미지들을 수신하고, 복수개의 이미지들을 프로세싱하여 차량을 중심으로 주변을 도시하는 가상 뷰를 생성한다. 즉, 이미지 처리 유닛(120)은 복수개의 이미지들을 단순히 결합하는 대신에, 복수개의 이미지들에 대해 회전, 반전, 크기 조절, 컬러 보정 등의 프로세싱을 수행한다. 이미지 처리 유닛(120)은 이와 같이 프로세싱된 이미지들을 결합한다. 이미지 처리 유닛은 예를 들어, 차량에 설치되어 있는 전자 제어 장치(ECU)일 수 있다.
디스플레이 장치(130)는 이미지 처리 유닛(120)으로부터 가상 뷰를 수신하고 이를 사용자에게 표시할 수 있다. 예를 들어, 디스플레이 장치(130)는 차량의 내부에 위치하는 모니터 장치일 수 있다. 예를 들어, 디스플레이 장치(130)는 LCD, LED, OLED 등을 이용해 구현될 수 있다.
도 5는 본 발명의 다른 측면에 따라 다중 카메라 운전 보조 시스템에 의해 가상 뷰를 디스플레이하는 방법을 나타내는 도면이다. 이러한 방법은 이미지 처리 유닛에 의해 수행될 수 있다.
차량의 상이한 위치들에 배치된 복수개의 카메라들로부터 차량 주변의 이미지들이 수신될 수 있다(S51).
이러한 이미지들에 기초하여 미리 결정된 프로젝션 표면에 대한 가상 뷰를 생성할 수 있다(S52). 본 발명에 따르면 미리 결정된 프로젝션 표면은 차량을 중심으로 미리 결정된 거리의 수평 프로젝션 표면을 포함할 수 있고, 수평 프로젝션 표면과 연결되고 차량의 측면에서 지면으로부터 소정의 각도로 기울어진 경사 프로젝션 표면을 포함할 수 있다. 또한, 미리 결정된 프로젝션 표면은 경사 프로젝션 표면이 무한대로 설정되는 것을 제한하기 위해 차량의 전면 및 후면에 위치하면서 거의 수직 형상인 수직 프로젝션 표면을 포함할 수도 있다.
가상 뷰는 사용자의 명령에 의해 변경될 수 있다. 예를 들어, 사용자로부터 가상 뷰를 확대하는 명령을 수신하는 경우, 수평 프로젝션 표면의 미리 결정된 거리는 증가되고 경사 프로젝션 표면의 지면으로부터의 각도는 증가될 수 있다. 또는, 사용자로부터 가상 뷰를 축소하는 명령을 수신하는 경우, 수평 프로젝션 표면의 미리 결정된 거리는 감소되고 경사 프로젝션 표면의 지면으로부터의 각도는 감소될 수 있다.
생성된 가상 뷰는 디스플레이 장치로 전송될 수 있고(S53), 디스플레이 장치는 가상 뷰를 디스플레이 하여 사용자의 운전을 보조할 수 있다.
하나 이상의 예시적인 실시예에서, 설명한 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현된다면, 이 기능들은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령 또는 코드로서 저장 또는 전송될 수 있다. 컴퓨터 판독 가능 매체는 한 장소에서 다른 장소로 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 통신 매체 및 컴퓨터 저장 매체를 모두 포함한다. 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 한정이 아닌 예시로, 이러한 컴퓨터 판독 가능 매체는 RAM, ROM, EEPROM, CD-ROM이나 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스, 또는 명령이나 데이터 구조의 형태로 원하는 프로그램 코드를 전달 또는 저장하는데 사용될 수 있으며 컴퓨터에 의해 액세스 가능한 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독 가능 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 꼬임 쌍선, 디지털 가입자 회선(DSL), 또는 적외선, 라디오 및 초고주파와 같은 무선 기술을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송된다면, 동축 케이블, 광섬유 케이블, 꼬임 쌍선, DSL, 또는 적외선, 라디오 및 초고주파와 같은 무선 기술들이 매체의 정의에 포함된다. 여기서 사용된 것과 같은 디스크(disk 및 disc)는 콤팩트 디스크(CD), 레이저 디스크, 광 디스크, 디지털 다목적 디스크(DVD), 플로피디스크 및 블루레이 디스크를 포함하며, 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 반면, 디스크(disc)들은 데이터를 레이저에 의해 광학적으로 재생한다. 상기의 조합들 또한 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.
실시예들이 프로그램 코드나 코드 세그먼트들로 구현될 때, 코드 세그먼트는 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 명령문들의 임의의 조합을 나타낼 수 있는 것으로 인식해야 한다. 코드 세그먼트는 정보, 데이터, 인수(argument), 파라미터 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수 있다. 정보, 인수, 파라미터, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적당한 수단을 이용하여 전달, 발송 또는 전송될 수 있다. 추가로, 어떤 측면들에서 방법 또는 알고리즘의 단계들 및/또는 동작들은 컴퓨터 프로그램 물건으로 통합될 수 있는 기계 판독 가능 매체 및/또는 컴퓨터 판독 가능 매체 상에 코드들 및/또는 명령들 중 하나 또는 이들의 임의의 조합이나 세트로서 상주할 수 있다.
소프트웨어에서 구현에서, 여기서 설명한 기술들은 여기서 설명한 기능들을 수행하는 모듈들(예를 들어, 프로시저, 함수 등)로 구현될 수 있다. 소프트웨어 코드들은 메모리 유닛들에 저장될 수 있으며 프로세서들에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내에 구현될 수도 있고 프로세서 외부에 구현될 수 있으며, 이 경우 메모리 유닛은 공지된 바와 같이 다양한 수단에 의해 프로세서에 통신 가능하게 연결될 수 있다.
하드웨어 구현에서, 처리 유닛들은 하나 이상의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래밍 가능 로직 디바이스(PLD), 현장 프로그래밍 가능 게이트 어레이(FPGA), 프로세서, 제어기, 마이크로컨트롤러, 마이크로프로세서, 여기서 설명한 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에 구현될 수 있다.
상술한 것은 하나 이상의 실시예의 실례를 포함한다. 물론, 상술한 실시예들을 설명할 목적으로 컴포넌트들 또는 방법들의 가능한 모든 조합을 기술할 수 있는 것이 아니라, 당업자들은 다양한 실시예의 많은 추가 조합 및 치환이 가능함을 인식할 수 있다. 따라서 설명한 실시예들은 첨부된 청구범위의 진의 및 범위 내에 있는 모든 대안, 변형 및 개조를 포함하는 것이다. 더욱이, 상세한 설명 또는 청구범위에서 "포함한다"라는 용어가 사용되는 범위에 대해, 이러한 용어는 "구성되는"이라는 용어가 청구범위에서 과도적인 단어로 사용될 때 해석되는 것과 같이 "구성되는"과 비슷한 식으로 포함되는 것이다.
여기서 사용된 바와 같이, "추론하다" 또는 "추론"이라는 용어는 일반적으로 이벤트 및/또는 데이터에 의해 포착되는 한 세트의 관측으로부터 시스템, 환경 및/또는 사용자의 상태에 관해 판단하거나 추론하는 프로세스를 말한다. 추론은 특정 상황이나 동작을 식별하는데 이용될 수 있고, 또는 예를 들어 상태들에 대한 확률 분포를 생성할 수 있다. 추론은 확률적일 수 있는데, 즉 데이터 및 이벤트들의 고찰에 기초한 해당 상태들에 대한 확률 분포의 계산일 수 있다. 추론은 또한 한 세트의 이벤트들 및/또는 데이터로부터 상위 레벨 이벤트들을 구성하는데 이용되는 기술들을 말할 수도 있다. 이러한 추론은 한 세트의 관측된 이벤트들 및/또는 저장된 이벤트 데이터로부터의 새로운 이벤트들 또는 동작들, 이벤트들이 시간상 밀접하게 상관되는지 여부, 그리고 이벤트들과 데이터가 하나 또는 여러 이벤트 및 데이터 소스들로부터 나오는지를 추정하게 한다.
더욱이, 본 출원에서 사용된 바와 같이, "컴포넌트", "모듈", "시스템" 등의 용어는 이에 한정되는 것은 아니지만, 하드웨어, 펌웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어와 같은 컴퓨터 관련 엔티티를 포함하는 것이다. 예를 들어, 컴포넌트는 이에 한정되는 것은 아니지만, 프로세서상에서 실행하는 프로세스, 프로세서, 객체, 실행 가능한 실행 스레드, 프로그램 및/또는 컴퓨터일 수도 있다. 예시로, 연산 디바이스 상에서 구동하는 애플리케이션과 연산 디바이스 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드 내에 상주할 수 있으며, 컴포넌트가 하나의 컴퓨터에 집중될 수도 있고 그리고/또는 2개 이상의 컴퓨터 사이에 분산될 수도 있다. 또한, 이들 컴포넌트는 각종 데이터 구조를 저장한 각종 컴퓨터 판독 가능 매체로부터 실행될 수 있다. 컴포넌트들은 하나 이상의 데이터 패킷(예를 들어, 로컬 시스템, 분산 시스템의 다른 컴포넌트와 그리고/또는 신호에 의해 다른 시스템들과 인터넷과 같은 네트워크를 거쳐 상호 작용하는 어떤 컴포넌트로부터의 데이터)을 갖는 신호에 따르는 등 로컬 및/또는 원격 프로세스에 의해 통신할 수 있다.
10: 차량 20: 승객
30: 주차 라인 41: 수평 프로젝션 표면
42: 보울 프로젝션 표면 43: 수평 프로젝션 표면
44: 경사 프로젝션 표면 100: 다중 카메라 운전 보조 시스템
110: 복수개의 카메라들 120: 이미지 처리 유닛
130: 디스플레이 장치

Claims (7)

  1. 다중 카메라 운전 보조 시스템으로서,
    차량의 상이한 위치들에 배치되어 차량 주변의 이미지들을 촬영하는 복수개의 카메라들;
    상기 이미지들에 기초하여 미리 결정된 프로젝션 표면에 대한 가상 뷰를 생성하는 이미지 처리 유닛;
    상기 가상 뷰를 디스플레이하는 디스플레이 장치;를 포함하고,
    상기 미리 결정된 프로젝션 표면은 상기 차량의 측면에 대한 경사 프로젝션 표면을 포함하며,
    상기 이미지 처리 유닛은 사용자로부터 입력되는 가상 뷰 제어 명령에 응답하여, 상기 경사 프로젝션 표면의 지면으로부터의 각도가 동적으로 증감하는 것을 특징으로 하는,
    다중 카메라 운전 보조 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 처리 유닛은 상기 차량의 전자 제어 장치(ECU)인 것을 특징으로 하는,
    다중 카메라 운전 보조 시스템.
  3. 제 1 항에 있어서,
    상기 미리 결정된 프로젝션 표면은 상기 차량을 중심으로 미리 결정된 거리의 수평 프로젝션 표면을 더 포함하고,
    상기 경사 프로젝션 표면은 상기 수평 프로젝션 표면과 연결되는 것을 특징으로 하는,
    다중 카메라 운전 보조 시스템.
  4. 제 3 항에 있어서,
    상기 미리 결정된 프로젝션 표면은, 상기 경사 프로젝션 표면을 제한하기 위해, 상기 차량의 전면 및 후면에 대한 거의 수직 프로젝션 표면을 더 포함하는 것을 특징으로 하는,
    다중 카메라 운전 보조 시스템.
  5. 제 3 항에 있어서,
    상기 이미지 처리 유닛은 사용자로부터 입력되는 가상 뷰 확대 명령에 응답하여, 상기 수평 프로젝션 표면의 상기 미리 결정된 거리를 증가시키면서 상기 경사 프로젝션 표면의 상기 지면으로부터의 각도를 증가시키도록 구성되는 것을 특징으로 하는,
    다중 카메라 운전 보조 시스템.
  6. 제 3 항에 있어서,
    상기 이미지 처리 유닛은 사용자로부터 입력되는 가상 뷰 축소 명령에 응답하여, 상기 수평 프로젝션 표면의 상기 미리 결정된 거리를 감소시키면서 상기 경사 프로젝션 표면의 상기 지면으로부터의 각도를 감소시키도록 구성되는 것을 특징으로 하는,
    다중 카메라 운전 보조 시스템.
  7. 다중 카메라 운전 보조 시스템에 의한 가상 뷰 디스플레이 방법으로서,
    차량의 상이한 위치들에 배치된 복수개의 카메라들로부터 차량 주변의 이미지들을 수신하는 단계;
    상기 이미지들에 기초하여 미리 결정된 프로젝션 표면에 대한 가상 뷰를 생성하는 단계;
    상기 가상 뷰를 디스플레이 장치로 전송하는 단계;를 포함하고,
    상기 미리 결정된 프로젝션 표면은 상기 차량의 측면에 대한 경사 프로젝션 표면을 포함하며,
    상기 이미지 처리 유닛은 사용자로부터 입력되는 가상 뷰 제어 명령에 응답하여, 상기 경사 프로젝션 표면의 지면으로부터의 각도가 동적으로 증감하는 것을 특징으로 하는,
    다중 카메라 운전 보조 시스템에 의한 가상 뷰 디스플레이 방법.
KR1020150056085A 2015-04-21 2015-04-21 다중 카메라 운전 보조 시스템 KR102261312B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150056085A KR102261312B1 (ko) 2015-04-21 2015-04-21 다중 카메라 운전 보조 시스템
US15/134,293 US10464481B2 (en) 2015-04-21 2016-04-20 Multi-camera driver assistance system
US16/584,932 US10821896B2 (en) 2015-04-21 2019-09-26 Multi-camera driver assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150056085A KR102261312B1 (ko) 2015-04-21 2015-04-21 다중 카메라 운전 보조 시스템

Publications (2)

Publication Number Publication Date
KR20160125201A KR20160125201A (ko) 2016-10-31
KR102261312B1 true KR102261312B1 (ko) 2021-06-08

Family

ID=57148483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150056085A KR102261312B1 (ko) 2015-04-21 2015-04-21 다중 카메라 운전 보조 시스템

Country Status (2)

Country Link
US (2) US10464481B2 (ko)
KR (1) KR102261312B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102261312B1 (ko) 2015-04-21 2021-06-08 주식회사 만도 다중 카메라 운전 보조 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262580A1 (en) * 2011-04-14 2012-10-18 Klaus Huebner Vehicle Surround View System
US20120320190A1 (en) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh System for Calibrating a Vision System
US20130033602A1 (en) 2011-08-05 2013-02-07 Harman Becker Automotive Systems Gmbh Surround View System
US20170203692A1 (en) * 2014-05-08 2017-07-20 Continental Automotive Gmbh Method and device for the distortion-free display of an area surrounding a vehicle

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60003750T2 (de) 1999-04-28 2004-06-03 Matsushita Electric Industrial Co., Ltd., Kadoma Einparkhilfe-Assistenz-Vorrichtung
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
WO2010144900A1 (en) * 2009-06-12 2010-12-16 Magna Electronics Inc. Scalable integrated electronic control unit for vehicle
US9041806B2 (en) * 2009-09-01 2015-05-26 Magna Electronics Inc. Imaging and display system for vehicle
KR101295618B1 (ko) * 2011-12-09 2013-08-12 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
US20130338882A1 (en) * 2012-05-24 2013-12-19 Magna Mirrors Of America, Inc. Accessory system for vehicle
KR101504335B1 (ko) * 2013-07-29 2015-03-23 인하대학교 산학협력단 어라운드뷰 제공 장치, 방법 및 차량
DE102013220005A1 (de) * 2013-10-02 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem
US9892493B2 (en) * 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
KR102261312B1 (ko) 2015-04-21 2021-06-08 주식회사 만도 다중 카메라 운전 보조 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262580A1 (en) * 2011-04-14 2012-10-18 Klaus Huebner Vehicle Surround View System
US20120320190A1 (en) * 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh System for Calibrating a Vision System
US20130033602A1 (en) 2011-08-05 2013-02-07 Harman Becker Automotive Systems Gmbh Surround View System
US20170203692A1 (en) * 2014-05-08 2017-07-20 Continental Automotive Gmbh Method and device for the distortion-free display of an area surrounding a vehicle

Also Published As

Publication number Publication date
US10464481B2 (en) 2019-11-05
US20200023773A1 (en) 2020-01-23
US10821896B2 (en) 2020-11-03
US20160311373A1 (en) 2016-10-27
KR20160125201A (ko) 2016-10-31

Similar Documents

Publication Publication Date Title
JP7481790B2 (ja) 強化された高ダイナミック・レンジ画像化及びトーン・マッピング
US20140267727A1 (en) Systems and methods for determining the field of view of a processed image based on vehicle information
US9620009B2 (en) Vehicle surroundings monitoring device
US10607092B2 (en) System and method for detecting the position of a tailgate and adjusting operation of a user interface device based on the tailgate position
JP2016048839A (ja) 電子制御ユニットおよび車両用映像システム
US10173590B2 (en) Overlaying on an in-vehicle display road objects associated with potential hazards
WO2016147584A1 (ja) 車両監視装置、車両監視方法、及び、車両監視プログラム
US20200019782A1 (en) Accommodating object occlusion in point-of-view displays
US11146740B2 (en) Image display apparatus
KR102261312B1 (ko) 다중 카메라 운전 보조 시스템
US10354148B2 (en) Object detection apparatus, vehicle provided with object detection apparatus, and non-transitory recording medium
JP2011211432A (ja) 車載用撮像装置
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP2012222664A (ja) 車載カメラシステム
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
US20200058107A1 (en) Apparatus for processing image blurring and method thereof
CN110979319A (zh) 驾驶辅助方法、装置和系统
US11943581B2 (en) Transparent audio mode for vehicles
JP2016082329A (ja) 映像処理装置、及び車載映像処理システム
WO2019074065A1 (ja) 画像処理装置
US20220379909A1 (en) Controlling And Warning System Based On Traffic Conditions Feedback And Method Thereof
JP7127271B2 (ja) 車両及び車載装置
CN117237922A (zh) 车辆前挡图像的处理方法、设备、存储介质及电子设备
CN117533236A (zh) 一种基于车控的全景环视系统的控制方法及装置
CN118119069A (zh) 车辆投影灯的控制方法和电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant