KR102447414B1 - 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템 - Google Patents

차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템 Download PDF

Info

Publication number
KR102447414B1
KR102447414B1 KR1020217007148A KR20217007148A KR102447414B1 KR 102447414 B1 KR102447414 B1 KR 102447414B1 KR 1020217007148 A KR1020217007148 A KR 1020217007148A KR 20217007148 A KR20217007148 A KR 20217007148A KR 102447414 B1 KR102447414 B1 KR 102447414B1
Authority
KR
South Korea
Prior art keywords
vehicle
representation
image
environment
mirrored
Prior art date
Application number
KR1020217007148A
Other languages
English (en)
Other versions
KR20210042143A (ko
Inventor
후안큉 구오
Original Assignee
코너트 일렉트로닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코너트 일렉트로닉스 리미티드 filed Critical 코너트 일렉트로닉스 리미티드
Publication of KR20210042143A publication Critical patent/KR20210042143A/ko
Application granted granted Critical
Publication of KR102447414B1 publication Critical patent/KR102447414B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B60K2370/152—
    • B60K2370/176—
    • B60K2370/21—
    • B60K2370/785—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

본 발명은 차량(1)의 환경(7)의 이미지 표현(15)을 제공하는 방법에 관한 것으로, 차량(1)의 환경(7)이 적어도 부분적으로 캡처되고, 정의된 관점(11)에서 정의된 뷰포트(10) 내에 캡처된 환경(7)의 적어도 하나의 제1 부분(10a)의 이미지 표현(15)이 제공되며, 이미지 표현(15)은 차량(1)을 나타내는 차량 표현(14)을 포함하고, 디스플레이 장치(12) 상에 이미지 표현(15)이 표시된다. 또한, 이미지 표현(15)을 제공할 때, 캡처된 환경(7)의 적어도 하나의 제2 부분(16a)은 차량 표현(14)의 정의된 영역(17, 19, 20) 상에 환경(7)의 적어도 하나의 제2 부분(16a)의 미러링된 이미지(18)의 형태로 표현된다.

Description

차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템
본 발명은 디스플레이 장치에서 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법에 관한 것으로, 차량 환경은 적어도 하나의 차량 센서에 의해 적어도 부분적으로 캡처되고 캡처된 환경의 적어도 일부의 이미지 표현은 정의된 관점에서 정의된 뷰포트 내에 제공되며, 이미지 표현은 차량을 나타내는 차량 표현을 포함한다. 또한, 이미지 표현은 디스플레이 장치에 표시된다. 본 발명은 또한 차량 환경의 적어도 일부의 이미지 표현을 제공하기 위한 컴퓨터 프로그램 제품 및 차량용 운전자 보조 시스템에 관한 것이다.
예를 들어, 차량을 주차할 때 운전자를 돕기 위해 차량의 디스플레이 장치에 표시될 수 있는 예컨대, 차량의 360°서라운드 뷰를 제공하도록 관리하는 종래 기술로부터 알려진 시스템이 있다. 이러한 목적을 위해 예를 들어 차량 표현을 포함하는 차량의 360°주변의 상면뷰, 예를 들어, 차량 자체의 2D 비트맵 이미지가 평면 뷰로 표시될 수 있다. 또한 3D 차량 모델을 제공할 수 있는 시스템이 알려져 있는데, 이는 표시된 장면에 대한 관점의 동적 변경을 허용한다. 일반적으로, 이러한 시각화를 제공하기 위해 환경을 캡처하기 위해, 여러 대의 카메라를 포함하는 차량의 카메라 시스템이 사용된다. 이러한 다중 카메라 자동차 비전 시스템에서, 복수의 카메라 이미지를 사용하여 상이한 유형의 뷰를 생성할 수 있다. 여러 카메라와 전자 계산 유닛을 포함하는 이러한 시각화 프레임워크에서, 원시 카메라 이미지는 먼저 타깃 뷰포트에 매핑되고 병합되어, 차량 주변의 특정 3D 지점에서 뷰를 나타내는 모자이크 이미지를 생성한다. 가장 간단한 경우, 가상 카메라는 상단 중앙 위치에서 바라보면서 자동차 위에 배치되고 투영된 표면은 평평한 2D 평면이다. 이 뷰는 위에서 언급한 바와 같이 일반적으로 상면뷰로 지칭된다. 보다 일반적인 경우는 예를 들어, 투영된 2D 표면이 그릇 모양을 가진 보울 뷰를 포함하며 가상 카메라 또는 가상 시점이 3D 공간의 어느 임의 위치에 배치된다.
차량 표현을 포함하여 환경 장면에 대한 관점을 변경할 수 있지만, 관련 정보를 포함할 수 있는 환경의 소정의 선택된 관점 부분에서 정의된 뷰포트를 벗어나므로 표시되지 않고 사용자가 볼 수 없는 일이 여전히 발생할 수 있다. 이로 인해 매우 심각한 상황이 발생할 수 있다. 사용자가 관련 정보를 누락하지 않았음을 보장하기 위해, 사용자는 차량 전체에서 표현의 관점을 변경할 수 있다. 그러나, 이것은 사용자에게 상당히 시간이 많이 걸리고 불편할 것이다. 결과적으로, 대부분의 사용자는 편의상 중요한 정보가 누락되지 않음을 보장하도록 항상 관점을 변경하지는 않는다. 이것은 다시 매우 중요한 상황으로 이어질 수 있다.
따라서, 본 발명의 목적은 디스플레이 장치에서 차량 환경의 적어도 일부에 대한 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템을 제공하는 것이며, 이에 의해 중요한 환경 정보를 누락하는 위험을 줄일 수 있다.
이 목적은 대응하는 독립 청구항에 따른 특징을 포함하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템에 의해 해결된다. 본 발명의 유리한 실시예는 종속항, 설명 및 도면에 제시된다.
본 발명의 맥락에서 디스플레이 장치에서 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법에 따르면, 차량의 환경은 적어도 하나의 차량 센서에 의해 적어도 부분적으로 캡처되고, 캡처된 환경의 적어도 하나의 제1 부분의 이미지 표현은 정의된 관점에서 정의된 뷰포트 내에 제공되며, 이미지 표현은 차량을 나타내는 차량 표현을 포함한다. 또한, 이미지 표현은 디스플레이 장치에 표시된다. 또한, 이미지 표현을 제공할 때, 캡처된 환경의 적어도 하나의 제2 부분은 차량 표현의 정의된 영역 상의 환경의 적어도 하나의 제2 부분의 미러링된 이미지 형태로 표현된다.
따라서, 유리하게는, 환경의 일부, 즉 환경의 적어도 하나의 제2 부분은 차량의 정의된 영역 상의, 예를 들어, 차량 표현의 창 상의 반사로서 표현될 수 있다. 이것은 몇 가지 큰 장점이 있다. 우선, 현재 선택된 관점에서 실제로 볼 수 없었던 환경의 일부가 차량 표현의 적어도 일부 상의 반사, 즉, 미러링된 이미지의 형태로 디스플레이 장치에서 사용자에게 여전히 보일 수 있다는 것이 가능하다. 결과적으로, 차량의 환경에 대한 추가 정보는 정의된 관점과 정의된 뷰포트에 대해 동시에 표시될 수 있다.
이를 통해 운전자가 차량 환경의 중요한 정보를 놓칠 위험을 크게 줄일 수 있다. 예를 들어, 차량 표현을 포함하는 환경 장면이 후방에서 차량 표현을 바라보는 관점에서 디스플레이 장치에 표시되는 경우 및 운전자가 현재 차량을 차량 뒤 주차 공간으로 후진 주차하기 위한 주차 연습을 수행하는 경우, 차량의 경우, 일반적으로 주차 공간 자체는 후방에서 차량 표현을 바라보는 설명된 관점에서 볼 수 없으며, 그러한 관점에서는 본질적으로 차량 앞의 환경 정보만 표시된다. 그러나, 본 발명에 의해, 특히 차량 앞 환경의 일부뿐만 아니라 이제 차량 표현의 후방 창을 반영하여 차량 뒤 주차 공간과 주변 영역을 볼 수 있다. 이로써, 본 발명에 의해, 운전자 또는 사용자는 차량 환경에 대해 훨씬 더 관련 있는 정보를 제공받을 수 있으며, 이는 상이한 운전 또는 주차 상황에서 훨씬 더 나은 지원을 제공하여 안전성을 크게 향상시킨다. 본 발명의 또 다른 큰 장점은 환경의 이 제2 부분이 차량 표현의 정의된 영역에 미러링된 이미지 또는 반사 형태로 표시된다는 것이다. 한편으로는, 차량 표현의 일부에 이 미러링된 이미지를 제공함으로써, 아마 캡처된 환경의 적어도 하나의 제1 부분에 의해 제공된 중요한 정보가 미러링된 이미지에 의해 가려질 수 없다. 다른 한편으로는, 반사 또는 미러링된 이미지의 형태로 환경의 제2 부분에 대한 정보를 제공함으로써, 사용자에게 광 반사에 대한 자연스러운 인상을 제공하여 이 추가 정보가 매우 자연스럽고 사실적인 방식으로 제공되므로 사용자가 매우 쉽고 직관적으로 알아볼 수 있다. 이는 다시 사용자의 산만함이나 짜증을 덜어줌으로써 안전성을 향상시키고 중요한 정보를 놓칠 위험을 한 번 더 줄일 수 있다. 더욱이, 이러한 종류의 사실적인 표현은 미러링된 이미지의 형태로 표현되는 이 추가로 표시된 콘텐츠가 실제로 쉘이 환경의 제2 부분의 반사 또는 미러링된 이미지를 구성한다는 것을 인식하는 데 있어 운전자를 지원하여 차량에 관하여 미러링된 이미지로 표현되는 환경의 제2 부분을 정확하게 국부화하는 데 매우 도움이 될 수 있다.
바람직하게는, 적어도 하나의 차량 센서는 카메라로서 구성된다. 또한, 차량은 특히 총 시계가 360°인 여러 대의 카메라를 포함하는 것이 바람직하다. 그런 다음 전술한 바와 같이 이 카메라들로 캡처한 환경 이미지를 함께 병합하고 선택된 관점에서 정의된 뷰포트에 매핑할 수 있다. 그러나, 일반적으로, 적어도 하나의 차량 센서는 레이저 스캐너, 초음파 센서 및/또는 레이더와 같은 어느 임의의 차량 센서로서 구성될 수 있다. 이러한 모든 센서에 의해 차량의 환경 또는 적어도 일부의 표현이 캡처된 센서 데이터의 적합한 처리에 의해 제공되어 캡처된 환경 정보의 이미지 표현을 제공할 수 있다.
또한, 미러링된 이미지는 사전정의된 방식, 예를 들어, 보다 상세히 후술되는, 물리적 반사 법칙에 따라 또는 물리적 반사 법칙에서 정의된 편차로써 미러링된, 특히, 계산적으로 미러링된 환경의 적어도 하나의 제2 부분의 이미지를 구성한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 환경의 제2 부분은 환경의 제1 부분과 적어도 부분적으로 상이하다. 즉, 미러링된 이미지에 의해 차량 환경의 일부가 보이며, 이와 달리 정의된 뷰포트 상의 정의된 관점에서는 보이지 않을 것이다. 따라서 유리하게는, 차량의 운전자 또는 사용자는 자신의 환경에 대한 추가 정보를 제공받을 수 있고 중요한 정보를 놓칠 위험을 줄일 수 있다.
또한, 차량 표현의 정의된 영역이 차량의 창, 특히 앞유리 및/또는 뒷유리 및/또는 루프 윈도우 및/또는 측유리와 관련된 차량 표현의 일부를 구성한다. 이에 따라 미러링된 이미지를 추가로 표시하여 차량 표현의 자연스러운 모습을 유지할 수 있으며, 사용자의 주의 산만 또는 짜증의 위험을 줄일 수 있다. 그럼에도 불구하고, 일반적으로 미러링된 이미지는 차량 표현의 어느 임의의 부분에, 예컨대, 차량의 문이나 트렁크 덮개를 나타내는 부분에 제공될 수 있다.
본 발명의 다른 유리한 실시예에 따르면, 소정의 미러링된 이미지는 정의된 관점 및/또는 미러링된 이미지가 표시되는 차량 표현의 정의된 영역과 연관된 미러 평면의 정의된 기하구조에 따라 및/또는 정의된 관점에 대한 미러 평면의 위치 및/또는 방향에 따라 결정된다. 이에 의해 이러한 의존성이 실제 반사의 법칙에 대응하므로, 미러링된 이미지의 매우 자연스러운 모습을 얻을 수 있다. 즉, 미러링된 이미지를 통해 환경의 어느 제2 부분이 표현되는지는 정의된 관점의 위치와 차량 표현의 표면의 경사, 예컨대, 차량 표현의 창의 기하구조 및 표면 경사와 가상 시점에 대한 이 가상 반사 표면들의 위치에 의존하며, 이로부터 전체 장면이 최종적으로 디스플레이 장치에 표시된다.
더욱이, 차량 표현은 정의된 관점에서 차량을 나타내는 자동차의 2D 이미지, 특히 비트맵 이미지의 형태로 제공될 수 있다. 차량의 2D 이미지 형태의 이러한 차량 표현은 예를 들어 상면뷰에 특히 유리하다. 그러나 장면에 대한 다른 뷰도 여러 상이한 정의된 관점의 형태로 제공될 수 있다. 이 경우, 관점마다 각각의 2D 이미지가 정의될 수 있다. 차량의 2D 이미지를 차량 표현으로 사용하는 것은 특히 차량 표현의 일부에 미러링된 이미지의 표현과 함께 특히 계산적으로 저렴하다는 장점이 있다. 따라서 관점마다 차량 표현의 정의된 영역과 연관된 해당 미러 평면을 정의할 수 있으며 미러링된 이미지는 주어진 관점에서 쉽게 계산될 수 있다.
따라서, 관점이 몇몇 사전정의된 개별 관점으로 조정 가능할 때, 본 발명의 또 다른 유리한 실시예이며, 사전정의된 관점마다 차량의 대응하는 2D 이미지가 저장되고, 관점이 변하는 경우 2D 이미지 및 미러링된 이미지는 그에 따라 변경된다. 따라서 유리하게는 또한 제한된 처리 능력으로 장면에 대한 복수의 상이한 뷰가 제공될 수 있으며, 이는 미러링된 이미지의 콘텐츠도 선택된 관점에 의존하므로, 미러링된 이미지, 특히 각각의 미러링된 이미지에 의해 제공되는 추가 정보로써 유리하게 강화된다.
본 발명의 다른 유리한 실시예에 따르면, 차량 표현은 차량 모델, 특히 3D 차량 모델의 형태로 제공되며, 미러 평면의 기하구조는 미러링된 이미지가 표시되는 차량 모델의 정의된 영역의 기하구조에 의해 결정된다. 즉, 차량 모델의 일부 상의 환경의 사실적인 반사를 계산하기 위해, 간단히 3D 차량 모델의 이 부분의 기하구조가 이들 계산에 사용될 수 있다. 3D 차량 모델을 차량 표현으로서, 특히 미러링된 이미지와 함께 사용함으로써 장면의 훨씬 더 현실적인 시각화, 특히 동적으로 변경 가능한 시각화가 제공될 수 있다.
따라서, 정의된 관점이 동적으로 조정 가능할 때, 본 발명의 또 다른 유리한 실시예이며, 차량 모델의 표현 및 미러링된 이미지는 동적으로 조정된 관점에 따라 동적으로 조정된다. 이로써 환경 정보는 3D 공간에서 어느 임의의 시점에서 제공될 수 있으며 유리하게는 서로 다른 관점 사이에 연속적인 전환이 제공될 수 있다.
또한, 한편으로는, 물리적 광 반사 법칙에 기초하여 미러링된 이미지를 간단히 계산할 수 있다. 따라서 미러링된 이미지가 물리적 광 반사 법칙에 기초하여 결정될 때, 본 발명의 또 다른 유리한 실시예이다. 이로 인해 최종적으로 표시된 표현이 매우 자연스럽고 사실적으로 나타난다. 다른 한편으로는, 미러링된 이미지의 계산이 물리적 광 반사 법칙을 엄격하게 따르지 않는 경우에도 매우 유리할 수 있다.
따라서 미러링된 이미지가 물리적 광 반사 법칙으로부터 정의된 편차에 기초하여 결정될 때 본 발명의 또 다른 유리한 실시예이다. 예를 들어 차량 표현에 반사로 표시되는 콘텐츠는 차량의 먼 구석에 있는 중요한 장면과 같이 숨겨져 있는 주변 장면을 표시하기 위해 사전설계될 수 있다. 예를 들어, 미러링된 이미지는 환경의 제2 부분에서 나온 광이 가상 렌즈와 같은 소정의 가상 광학을 먼저 관통한 다음 미러 평면에 의해 가상 시점으로 반사되는 것처럼 계산될 수 있다. 그런 다음 이러한 가상 광학의 설계는 정의된 편차를 정의한다. 이로써, 사용자는 훨씬 더 중요한 정보를 제공받을 수 있다.
특히 미러링된 이미지가 물리적 광 반사 법칙에서 정의된 편차에 기초하여 결정되어 정의된 관점에서 미러링된 이미지로 표현되는 환경의 제2 부분에 대한 시계가 미러링된 이미지가 정의된 편차 없이 물리적 광 반사 법칙에 기초하여 결정된 경우보다 더 클 때 매우 유리하다. 바람직하게는, 시계는 특히 수평 방향, 즉 차량의 수직축에 직교하여 확대되며, 이는 대부분의 운전 또는 주차 상황에서 매우 유리하다. 이렇게 넓은 시계를 생성하기 위해, 단일 카메라와 같은 단일 센서의 입력 데이터가 사용될 수 있을 뿐만 아니라 미러링된 이미지의 계산이 상이한 센서, 특히 상이한 예컨대, 이웃하는 카메라에 의해 제공된 환경 데이터에 기초할 수도 있으며, 그런 다음 각각의 제공된 환경 데이터가 함께 적절히 융합되고 병합될 수 있다. 미러링된 이미지는 예를 들어, 수평 방향의 어안 특성을 가진 가상 렌즈를 관통하는 환경의 제2 부분에서 나오는 광을 모델링함으로써 계산되어, 특히 넓은 시계가 수평 방향으로 제공되고 정의된 미러 평면에 가상 시점까지 가상으로 반사된다.
본 발명의 다른 유리한 실시예에 따르면, 차량 표현의 정의된 영역은 정의 된 관점의 변화에 따라 변경된다. 전술한 바와 같이, 차량 표현의 정의된 영역이 예를 들어 차량 표현의 창을 구성한다면 매우 유리하다. 차량 표현은 일반 자동차와 마찬가지로 앞유리, 뒷유리, 측유리 및 루프 윈도우와 같은 여러 창을 포함하므로, 차량 표현의 이러한 모든 창 표현을 정의된 영역으로 사용할 수 있으며, 그 위에 마지막으로 미러링된 이미지 또는 동시에 여러 개의 미러링된 이미지가 표시된다. 그러나, 관점에 따라, 이러한 창 표현 중 일부는 미러 평면으로 사용되는 다른 창 표현보다 더 나은 위치에 있을 수 있다. 예를 들어, 이미지 표현이 뒤에서 차량 표현을 바라보는 관점에서 표시되면, 미러링된 이미지를 표시하기 위해 뒷유리를 미러 평면으로 사용하는 것이 예를 들어, 앞유리를 사용하는 것보다 더 적합한데, 그러한 관점에서는 차량 표현의 앞유리가 보이지 않을 수도 있기 때문이다. 따라서, 본 발명의 이 유리한 실시예에 따르면, 미러링된 이미지가 표시될 차량 표현의 영역도 유리하게는 관점에 따라 선택될 수 있다. 바람직하게는, 관점이 뒤에서 차량 표현을 보고 있으면, 차량 표현의 뒷유리는 차량 표현의 정의된 영역으로서 사용되고, 관점이 앞에서 차량 표현의 어딘가를 보고 있으면, 정의된 영역은 차량 표현의 앞유리 표현을 포함하며, 정의된 원근이 측면에서 차량 표현의 어딘가를 보고 있는 경우, 바람직하게는 차량 표현의 측유리 중 하나가 차량 표현의 정의된 영역을 구성하고, 상면뷰의 경우, 정의된 영역은 적어도 차량 표현의 뒷유리와 앞유리에 의해 구성되며, 선택적으로는 차량 표현의 측유리에 의해 구성된다. 유리하게는, 이미지 표현의 관점을 변경함으로써, 이제 사용자는 차량 표현을 둘러싸는 것으로 표현된 환경에 대한 뷰뿐만 아니라 차량 표현의 적어도 일부에 대한 반사로서 표현된 환경의 제2 부분에 대한 뷰도 변경할 수 없다.
본 발명의 다른 유리한 실시예에 따르면, 미러링된 이미지의 반사 정도는 조정 가능하며, 미러링된 이미지 및 차량 표현의 정의된 영역은 조정된 반사 정도에 따라 교차 페이드된다. 이에 따라, 예를 들어 주행 상황에 따라 반사 정도를 자동으로 조정할 수 있다. 예를 들어, 정상적인 주행 상황에서 반사 정도가 20%로 설정될 수 있고, 즉, 차량 표현의 정의된 영역에서 미러링된 이미지의 20%가 보이고 차량 표현 자체의 정의된 영역, 예컨대, 창 표현의 80%가 보인다. 0%의 반사 정도는 미러링된 이미지가 표시되지 않고 차량 표현의 정의된 영역만 보임을 의미하며, 100%의 반사 정도는 이상적인 반사 미러인 것처럼 미러링된 이미지만 볼 수 있지만, 차량 표현의 정의된 영역에 표시된 차량 부분은 없음을 의미한다. 일반 주행 상황보다 환경 정보가 훨씬 더 중요한 주차 공간에 주차할 때, 반사 정도가 증가될 수 있는바, 사용자는 이제 미러링된 이미지를 통해 제공되는 환경 정보를 쉽게 수집할 수 있다. 그러나 반사 정도는 사용자가 직접 조정할 수도 있다. 예를 들어, 반사 정도는 0 ~ 100% 사이에서 조정될 수 있다. 이것은 사용자가 자신의 선호도에 따라 반사 정도를 설정할 수 있기 때문에 매우 유리하다. 동시에, 사용자는 이 유리 반사 기능을 켜거나 끌 수 있는 옵션을 또한 구비할 수 있다. 사용자가 미러링된 이미지의 표시를 끄는 경우, 차량 표현, 특히 정의된 영역, 예를 들어 차량 표현의 창은 예컨대, 매우 약한 장면 반사 없이 투명하게 표시되거나 또는 매우 약한 장면 반사만 표시된다.
본 발명은 또한 컴퓨터 판독가능 매체에 저장된 프로그램 코드를 포함하는 컴퓨터 프로그램 제품에 관한 것이며, 프로그램 코드는 전자 제어 장치의 프로세서에 의해 실행될 때, 프로세서로 하여금 정의된 관점에서 정의된 뷰포트 내의 차량의 캡처된 환경의 적어도 하나의 제1 부분의 이미지 표현 - 이미지 표현은 차량을 나타내는 차량 표현을 포함함 - 을 제공하게 하고, 디스플레이 장치에 이미지 표현을 표시하게 한다. 또한, 컴퓨터 프로그램 제품은 또한 이미지 표현을 제공할 때 프로세서로 하여금 캡처된 환경의 적어도 하나의 제2 부분을 환경의 적어도 하나의 제2 부분의 미러링된 이미지의 형태로 차량 표현의 정의된 영역에 나타내게 한다.
또한, 본 발명은 디스플레이 장치에서 차량 환경의 적어도 일부의 이미지 표현을 제공하기 위한 차량용 운전자 보조 시스템에 관한 것으로, 운전자 보조 시스템은 차량의 환경을 적어도 부분적으로 캡처하도록 구성된 적어도 하나의 차량 센서, 정의된 관점에서 정의된 뷰포트 내에 캡처된 환경의 적어도 하나의 제1 부분의 이미지 표현을 제공하도록 구성된 처리 유닛 - 이미지 표현은 차량을 나타내는 차량 표현을 포함함 - 및 이미지 표현을 표시하도록 구성된 디스플레이 장치를 포함한다. 또한, 처리 유닛은 이미지 표현을 제공할 때 차량 표현의 정의된 영역에서 환경의 적어도 하나의 제2 부분의 미러링된 이미지의 형태로 캡처된 환경의 적어도 하나의 제2 부분을 나타내도록 구성된다.
또한, 본 발명에 따른 운전자 보조 시스템을 포함하는 차량도 본 발명에 속하는 것으로 간주되어야 한다.
본 발명에 따른 방법 및 그 실시예와 관련하여 설명된 이점은 본 발명에 따른 컴퓨터 프로그램 제품, 운전자 보조 시스템 및 차량에 유사하게 적용된다.
바람직하게는, 적어도 하나의 센서는 적어도 하나의 카메라로서 구성된다. 바람직하게는 운전자 보조 시스템은 여러 대의 카메라, 예를 들어 차량 전면에 장착된 전방 카메라, 차량 후면에 장착된 후방 카메라, 차량의 좌측 미러에 장착된 좌측 미러 카메라 및 차량의 우측 미러에 장착된 우측 미러 카메라와 같은 4개의 카메라를 포함한다. 각각의 시간 단계에서, 이 카메라들은 차량의 환경의 이미지를 캡처할 수 있으며, 그 다음에 정의된 관점을 정의하는 정의된 가상 시점에서 주어진 뷰포트에 투영될 수 있으며, 이에 따라 차량 표현이 삽입되고 디스플레이 장치, 특히 차량의 디스플레이 장치에 표시된 각각의 출력 이미지를 제공한다.
본 발명의 다른 특징은 청구범위, 도면 및 도면의 설명으로부터 명백히 알 수 있다. 상세한 설명에서 전술한 특징 및 특징 조합뿐만 아니라 도면의 설명에서 후술하고/하거나 도면에 도시된 특징 및 특징 조합은 본 발명의 범위를 벗어나지 않는 범위에서 각각 지정된 조합뿐만 아니라 다른 조합으로 사용될 수 있다. 따라서, 구현은 또한 도면에 명시적으로 도시되거나 설명된 것은 아니나 설명된 구현으로부터 분리된 특징 조합으로부터 발생하고 이에 의해 생성될 수 있는 본 발명에 포함되고 개시되는 것으로 간주되어야 한다. 구현 및 특징 조합은 또한 개시된 것으로 간주되며, 따라서 최초 구성된 독립 청구항의 모든 특징을 갖지는 않는다. 더욱이, 구현 및 특징 조합은 특히, 전술한 구현에 의해 개시된 것으로 간주되어야 하며, 이는 청구항과 관련하여 제시된 특징 조합들을 넘어서 확장되거나 이를 벗어난다.
도 1은 본 발명의 일 실시예에 따른 운전자 보조 시스템이 있는 차량의 개략도이다.
도 2는 본 발명의 일 실시예에 따라 차량 모델이 삽입된 보울로서 구성된 투영 표면의 개략도이다.
도 3은 본 발명의 일 실시예에 따라 차량의 디스플레이 장치에 표시된 이미지 표현의 개략도이다.
도 4는 본 발명의 다른 실시예에 따라 차량의 디스플레이 장치에 표시된 이미지 표현의 개략도이다.
도 1은 본 발명의 일 실시예에 따른 운전자 보조 시스템(2)을 포함하는 차량(1)의 개략도를 도시한다. 운전자 보조 시스템(2)은 적어도 하나의 환경 센서, 이 경우 4개의 카메라(3, 4, 5, 6), 즉 전방 카메라(3), 후방 카메라(4), 좌측 미러 카메라(5) 및 우측 미러 카메라(6)를 포함한다. 카메라(3, 4, 5, 6) 각각은 광각 카메라로서 구성될 수 있다. 따라서 카메라(3, 4, 5, 6) 각각에 의해 매우 넓은 시계가 캡처될 수 있다. 이 예에서 전방 카메라(3)는 도시된 경계선(3a)에 의해 수평면에서 제한되는 대응하는 시계(FOV1)를 포함한다. 유사하게, 후방 카메라(4)는 대응하는 경계선(4a)에 의해 수평면에서 제한되는 대응하는 시계(FOV2)를 포함한다. 좌측 미러 카메라(5)는 도시된 경계선(5a)에 의해 수평면에서 제한되는 대응하는 시계(FOV3)를 포함하고, 우측 거울 카메라(6)는 도시된 경계선(6a)에 의해 수평면에서 제한되는 대응하는 시계(FOV4)를 포함한다. 따라서, 카메라(3, 4, 5, 6) 각각은 차량(1)의 환경(7)의 대응하는 부분(7a, 7b, 7c, 7d)을 캡처하도록 구성된다. 또한, 각각의 시계(FOV1, FOV2, FOV3, FOV4)는 쌍으로 오버랩된다.
운전자 보조 시스템(2)은 이미지 처리 모듈(8)로서 구성된 처리 유닛을 또한 포함한다. 이미지 처리 모듈(8)은 카메라(3, 4, 5, 6) 각각에 의해 캡처된 이미지를 보울(9)(도 2 참조) 또는 평평한 2D 평면과 같은 타깃된 표면에 매핑하고, 이어서 이미지를 병합하고 관점을 정의하는 가상 시점(11)에서 임의로 선택된 가상 카메라로부터의 뷰포트(10)(도 2 참조)에 렌더링한다. 그 후 그 뷰포트(10) 내의 환경의 이미지 표현 및 추가적으로 차량(1)의 표현이 차량(1)의 디스플레이 장치(12) 상에 표시된다.
도 2는 차량 표현(14)의 예로서, 이 예에서 차량(1)의 3D 모델과 함께 보울(13)로서 구성되는 투영 표면의 개략도를 도시한다. 전술한 바와 같이, 차량 카메라(3, 4, 5, 6)에 의해 캡처된 이미지는 함께 병합되고 보울(13)의 표면에 투영된다. 또한, 여기서 가상 시점(11)에 의해 표현되는 선택된 관점의 위치에 의존하는 소정 뷰포트(10)가 정의된다. 이 예에서, 관점(11)은 차량 모델 또는 일반적으로 차량 표현(14)에 의해 표현된 차량(1)의 뒤에서 바라본 뷰가 제공되도록 선택된다. 차량(1)의 디스플레이 장치(12)에 최종적으로 표시되는 결과 이미지 표현(15)이 도 3에 도시된다.
이제 유리하게도, 뷰포트(10)와 연관된 차량(1)의 환경(7)의 제1 부분(10a)뿐만 아니라 차량 모델(14) 뒤의 표시된 영역에 의해 도 2에 도시되며, 따라서 제2 뷰포트(16)와 연관되는 것으로 보일 수 있는 차량(1)의 환경(7)의 제2 부분(16a)도 표현된다. 이 제2 부분(16a)은 차량 표현(14)의 소정 영역에, 특히 이 예에서는 뒷유리(17)(도 3 참조)에 환경(7)의 이 제2 부분(16a)의 미러링된 이미지(18)의 형태로 표시된다. 이에 의해, 부가적인 환경 정보가 매우 자연스럽고 현실적인 방식으로 차량(1)의 사용자에게 표시될 수 있다.
일반적으로, 임의의 창 표현(17)은 미러링된 이미지(18), 예를 들어 도 4에 도시된 앞유리(19) 또는 측유리(20)의 표현도 표시하는 데 사용될 수 있다. 특히 도 4는 상면뷰 이미지 형태의 이미지 표현(15)의 다른 예의 개략도를 도시하며, 가상 시점(11)은 차량(1) 바로 위에 위치하며, 이는 다시 대응하는 차량 표현(14)에 의해 표현된다. 이 경우, 차량 표현(14)은 바람직하게는 2D 비트맵 이미지에 의해 제공된다. 여기서 이 예에서 대응하는 뷰포트(10)는 접지면이고, 유리하게는 이 경우에도 정의된 뷰포트 내에 있지 않은 환경의 다른 부분이 차량 표현(14)의 창(17, 19, 20)에 각각의 미러링된 이미지(18)로 표시된다.
이에 의해, 미러링된 이미지(18)가 창(17, 19, 20)을 구성하는 차량 표현(14)의 일부에 표시될 때 특히 유리한데, 이는 사용자에게 광 반사의 매우 자연스러운 인상을 제공하기 때문이다. 예를 들어 유리창을 사용하여 그러한 미러링된 이미지(18)의 형태로 환경의 추가 부분을 보여줌으로써, 환경(7) 내의 중요한 장면이 도 4에 제시된 예에 따라 상면뷰 범위를 넘어서 또는 도 3의 예에서와 같이 선택된 임의의 다른 선택된 뷰포트(10)를 넘어서 반사될 수 있으며, 이는 운전자의 환경(7)에 대한 관찰을 향상시키는 데 굉장히 도움이 된다.
그러한 미러링된 이미지(18)를 제공하기 위해, 계산은 물리적 광 반사 법칙을 엄격히 따를 수 있다. 이를 위해, 차량 표현(14)이 3D 차량 모델(14)의 형태로 제공되는 경우, 미러링된 이미지(18)가 표시되는 차량 표현(14)의 정의된 영역의 기하구조에 의해 결정될 수 있는 미러 평면이 정의될 수 있다. 그러나 또한 차량(1)이 2D 비트맵 이미지로 표현되는 경우, 정의된 영역, 예컨대, 창 영역은 환경(7)으로부터의 빛이 모델 계산에 따라, 특히 가상 시점(11)의 위치에 따라 반사되는 해당 미러 평면과 연관될 수 있다.
더욱이, 미러링된 이미지(18)를 계산할 때, 물리적 광 반사 법칙으로부터 정의된 편차도 허용될 수 있다. 이는 유리에 표시된 장면이 차량(1)의 먼 구석에 있는 중요한 장면과 같이 숨겨져 있는 주변 장면을 표시하도록 사전설계될 수 있음을 의미한다. 따라서 유리하게는, 광 반사 법칙으로부터 이러한 인위적인 편차에 의해, 이 미러링된 이미지(18)에 의해 제공된 시계가 확대될 수 있다. 이 경우, 이미지 왜곡 및 뷰포트 설계를 적용하여 시계를 확장할 수 있다. 이미지 왜곡 및 뷰포트 설계는 실제 카메라(3, 4, 5, 6)의 원시 이미지를 변환하여 더 흥미로운 이미지 콘텐츠를 적절하게 표시하는 기술이다.
즉, 환경의 일부를 미러링된 이미지로서 보여주는 이 반사 기능은 주차 슬롯에 역주차하는 차량과 같은 몇몇 차량 작동 조작에 특히 유용할 수 있다. 더욱이, 차량 표현(14)의 정의된 영역에 반사가 얼마나 밝게 또는 얼마나 강하게 나타나는지를 정의하는 반사 레벨이 특히 사용자에 의해 조정될 수 있다. 이를 위해, 사용자는 자신의 선호도에 따라 반사 레벨을 조정하는 임의의 종류의 입력 수단을 구비할 수 있다. 또한 디폴트 반사 레벨이 제공되어 가능한 한 자연스럽게, 예컨대, 20% 반사되도록 할 수 있다. 또한, 사용자에게 이 유리 반사 기능을 켜거나 끄는 옵션이 제공될 수도 있다. 따라서 이 기능이 꺼져 있으면, 유리가 매우 약한 장면 반사없이 투명하게 표시되거나 매우 약한 장면 반사만 표시된다.
결론적으로, 본 발명 또는 그 실시예에 의해 아마 추가적인 중요 콘텐츠가 환경의 임의의 다른 관련 표현 부분을 숨기지 않고 매우 자연스럽고 사실적인 방식으로 사용자에게 표시될 수 있으며, 이는 다수의 운전 및 주차 상황에서 매우 유익하고 중요한 정보를 놓칠 위험을 감소시킨다.

Claims (14)

  1. 디스플레이 장치(12) 상에 차량(1)의 환경(7)의 적어도 일부의 이미지 표현(15)을 제공하는 방법으로서,
    적어도 하나의 차량 센서(3, 4, 5, 6)에 의해 상기 차량(1)의 상기 환경(7)을 적어도 부분적으로 캡처하는 단계와,
    정의된 관점(perspective)(11)에서 정의된 뷰포트(10) 내에 상기 캡처된 환경(7)의 적어도 하나의 제1 부분(10a)의 이미지 표현(15)을 제공하는 단계 - 상기 이미지 표현(15)은 상기 차량(1)을 나타내는 차량 표현(14)을 포함함 - 와,
    상기 디스플레이 장치(12) 상에 상기 이미지 표현(15)을 표시하는 단계를 포함하되,
    상기 이미지 표현(15)을 제공할 때, 상기 캡처된 환경(7)의 적어도 하나의 제2 부분(16a)은 상기 차량 표현(14)의 정의된 영역(17, 19, 20) 상에 상기 환경(7)의 상기 적어도 하나의 제2 부분(16a)의 미러링된 이미지(18)의 형태로 표현되고,
    상기 차량 표현(14)의 상기 정의된 영역(17, 19, 20)은 상기 차량(1)의 창(17, 19, 20)과 관련된 상기 차량 표현(14)의 일부를 구성하고,
    상기 차량 표현(14)은 차량 모델의 형태로 제공되며,
    상기 미러링된 이미지(18)가 표시되는 상기 차량 모델의 상기 정의된 영역(17, 19, 20)의 기하구조에 의해 미러 평면의 기하구조가 결정되는,
    방법.
  2. 제1항에 있어서,
    상기 환경(7)의 상기 제2 부분(16a)은 상기 환경(7)의 상기 제1 부분(10a)과 적어도 부분적으로 상이한
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 미러링된 이미지(18)는 상기 정의된 관점(11) 및/또는 상기 미러링된 이미지(18)가 표시되는 상기 차량 표현(14)의 상기 정의된 영역(17, 19, 20)과 연관되는 상기 미러 평면의 상기 정의된 기하구조에 따라 및/또는 상기 정의된 관점(11)에 대한 상기 미러 평면의 위치 및/또는 방향에 따라 결정되는
    방법.
  4. 제1항 또는 제2항에 있어서,
    상기 차량 표현(14)은 상기 정의된 관점(11)에서 상기 차량(1)을 나타내는 상기 차량(1)의 2D 이미지의 형태로 제공되는
    방법.
  5. 제1항 또는 제2항에 있어서,
    상기 관점(11)은 여러 사전정의된 개별 관점(11)으로 조정 가능하며, 상기 사전정의된 관점(11)마다 상기 차량(1)의 해당 2D 이미지가 저장되고, 상기 관점(11)이 변하는 경우 상기 2D 이미지 및 상기 미러링된 이미지(18)가 그에 따라 변경되는
    방법.
  6. 삭제
  7. 제1항 또는 제2항에 있어서,
    상기 정의된 관점(11)은 동적으로 조정 가능하고, 상기 차량 모델의 표현 및 상기 미러링된 이미지(18)는 상기 동적으로 조정된 관점(11)에 따라 동적으로 조정되는
    방법.
  8. 제1항 또는 제2항에 있어서,
    상기 차량 표현(14)의 상기 정의된 영역(17, 19, 20)은 상기 정의된 관점(11)의 변경에 따라 변경되는
    방법.
  9. 제1항 또는 제2항에 있어서,
    상기 미러링된 이미지(18)는 물리적 광 반사 법칙에 기초하여 결정되는
    방법.
  10. 제9항에 있어서,
    상기 미러링된 이미지(18)는 상기 물리적 광 반사 법칙으로부터 정의된 편차에 기초하여 결정되는
    방법.
  11. 제9항에 있어서,
    상기 미러링된 이미지(18)는 상기 물리적 광 반사 법칙으로부터 정의된 편차에 기초하여 결정되어 상기 정의된 관점(11)에서 상기 미러링된 이미지(18)로 표현되는 상기 환경(7)의 상기 제2 부분(16a)에 대한 시계가 미러링된 이미지(18)가 정의된 편차 없이 상기 물리적 광 반사 법칙에 기초하여 결정된 경우보다 큰
    방법.
  12. 제1항 또는 제2항에 있어서,
    상기 미러링된 이미지(18)의 반사 정도는 조정 가능하며, 상기 미러링된 이미지(18) 및 차량 표현(14)의 정의된 영역(17, 19, 20)은 상기 조정된 반사 정도에 따라 교차 페이드되는
    방법.
  13. 컴퓨터 판독가능 저장 매체에 저장된, 프로그램 코드를 포함하는 컴퓨터 프로그램으로서,
    전자 제어 장치(8)의 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    정의된 관점(11)에서 정의된 뷰포트(10) 내에 차량(1)의 캡처된 환경(7)의 적어도 하나의 제1 부분(10a)의 이미지 표현(15)을 제공하는 단계 - 상기 이미지 표현(15)은 상기 차량(1)을 나타내는 차량 표현(14)을 포함함 - 와,
    디스플레이 장치(12) 상에 상기 이미지 표현(15)을 표시하는 단계를 수행하게 하고,
    상기 이미지 표현(15)을 제공할 때 상기 캡처된 환경(7)의 적어도 하나의 제2 부분(16a)은 상기 차량 표현(14)의 정의된 영역(17, 19, 20) 상에 상기 환경(7)의 상기 적어도 하나의 제2 부분(16a)의 미러링된 이미지(18)의 형태로 표현되고,
    상기 차량 표현(14)의 상기 정의된 영역(17, 19, 20)은 상기 차량(1)의 창(17, 19, 20)과 관련된 상기 차량 표현(14)의 일부를 구성하고,
    상기 차량 표현(14)은 차량 모델의 형태로 제공되며,
    상기 미러링된 이미지(18)가 표시되는 상기 차량 모델의 상기 정의된 영역(17, 19, 20)의 기하구조에 의해 미러 평면의 기하구조가 결정되는,
    컴퓨터 프로그램.
  14. 디스플레이 장치(12) 상에 차량(1)의 환경(7)의 적어도 일부의 이미지 표현(15)을 제공하기 위한 차량(1)용 운전자 보조 시스템(2)으로서,
    상기 운전자 보조 시스템(2)은
    상기 차량(1)의 상기 환경(7)을 적어도 부분적으로 캡처하도록 구성된 적어도 하나의 차량 센서(3, 4, 5, 6)와,
    정의된 관점(11)에서 정의된 뷰포트(10) 내에 상기 캡처된 환경(7)의 적어도 하나의 제1 부분(10a)의 이미지 표현(15)을 제공하도록 구성된 처리 유닛(8) - 상기 이미지 표현(15)은 상기 차량(1)을 나타내는 차량 표현(14)을 포함함 - 와,
    상기 이미지 표현(15)을 표시하도록 구성된 디스플레이 장치(12)를 포함하되,
    상기 처리 유닛(8)은 상기 이미지 표현(15)을 제공할 때, 상기 캡처된 환경(7)의 적어도 하나의 제2 부분(16a)을 상기 차량 표현(14)의 정의된 영역(17, 19, 20) 상에 상기 환경(7)의 상기 적어도 하나의 제2 부분(16a)의 미러링된 이미지(18)의 형태로 표현하고, 상기 차량 표현(14)의 상기 정의된 영역(17, 19, 20)은 상기 차량(1)의 창(17, 19, 20)과 관련된 상기 차량 표현(14)의 일부를 구성하고,
    상기 차량 표현(14)은 차량 모델의 형태로 제공되며,
    상기 미러링된 이미지(18)가 표시되는 상기 차량 모델의 상기 정의된 영역(17, 19, 20)의 기하구조에 의해 미러 평면의 기하구조가 결정되는
    운전자 보조 시스템(2).
KR1020217007148A 2018-08-10 2019-07-24 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템 KR102447414B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018119481.1 2018-08-10
DE102018119481.1A DE102018119481A1 (de) 2018-08-10 2018-08-10 Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
PCT/EP2019/069857 WO2020030427A1 (en) 2018-08-10 2019-07-24 Method for providing an image representation of at least part of an environment of a vehicle, computer program product and driver assistance system

Publications (2)

Publication Number Publication Date
KR20210042143A KR20210042143A (ko) 2021-04-16
KR102447414B1 true KR102447414B1 (ko) 2022-09-27

Family

ID=67441120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217007148A KR102447414B1 (ko) 2018-08-10 2019-07-24 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템

Country Status (7)

Country Link
US (1) US11491914B2 (ko)
EP (1) EP3833574B1 (ko)
JP (1) JP7191201B2 (ko)
KR (1) KR102447414B1 (ko)
CN (1) CN112703127A (ko)
DE (1) DE102018119481A1 (ko)
WO (1) WO2020030427A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372944B2 (ja) * 2000-07-19 2003-02-04 松下電器産業株式会社 監視システム
JP4852062B2 (ja) * 2008-03-28 2012-01-11 株式会社東芝 単眼用画像表示装置及び単眼用画像表示方法
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5134504B2 (ja) * 2008-11-06 2013-01-30 クラリオン株式会社 車両周辺監視システム
JP5488958B2 (ja) * 2009-04-23 2014-05-14 株式会社リコー フロントモニタカメラ装置及び車両左右両側確認装置
DE102011084524A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
KR101327032B1 (ko) * 2012-06-12 2013-11-20 현대자동차주식회사 카메라 영상의 반사광 제거 장치 및 방법
JP5669791B2 (ja) * 2012-08-07 2015-02-18 本田技研工業株式会社 移動体の周辺画像表示装置
EP3148290B1 (en) * 2012-10-26 2023-08-30 Apple Inc. Multimedia adaptation based on video orientation
CN104015658A (zh) * 2013-03-01 2014-09-03 怡利电子工业股份有限公司 车用后视环景抬头显示装置
US9509939B2 (en) * 2014-06-04 2016-11-29 Universal City Studios Llc Display for immersive window effect
KR102257303B1 (ko) * 2014-07-30 2021-05-31 얀마 파워 테크놀로지 가부시키가이샤 원격 조작 장치
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10366473B2 (en) * 2017-05-23 2019-07-30 Toyota Jidosha Kabushiki Kaisha Providing traffic mirror content to a driver
CN107517372B (zh) * 2017-08-17 2022-07-26 腾讯科技（深圳）有限公司 一种vr内容拍摄方法、相关设备及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008024138A (ja) * 2006-07-20 2008-02-07 Denso Corp 画像表示装置およびプログラム
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法

Also Published As

Publication number Publication date
US11491914B2 (en) 2022-11-08
DE102018119481A1 (de) 2020-02-13
JP2021534646A (ja) 2021-12-09
EP3833574A1 (en) 2021-06-16
KR20210042143A (ko) 2021-04-16
EP3833574B1 (en) 2023-11-15
US20210309150A1 (en) 2021-10-07
CN112703127A (zh) 2021-04-23
JP7191201B2 (ja) 2022-12-16
WO2020030427A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
CN107472135B (zh) 图像生成装置、图像生成方法以及记录介质
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
KR101842811B1 (ko) 차량의 주변을 표시하는 운전자 보조 시스템
US9834143B2 (en) Enhanced perspective view generation in a front curb viewing system
KR101359660B1 (ko) 헤드업 디스플레이를 위한 증강현실 시스템
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
CN110060297B (zh) 信息处理装置、系统、信息处理方法和存储介质
US20070003162A1 (en) Image generation device, image generation method, and image generation program
WO2014130049A1 (en) Systems and methods for augmented rear-view displays
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
KR20200071293A (ko) 3차원 컬러 맵 기반의 측위 방법 및 장치
JP7295123B2 (ja) 調整された投影面を有するサラウンドビュー・システム
JP2003189293A (ja) 車両周囲状況表示装置および映像提示システム
US11140364B2 (en) Sensor fusion based perceptually enhanced surround view
KR102223852B1 (ko) 영상 디스플레이 시스템 및 방법
CN112703527A (zh) 平视显示器（hud）内容控制系统和方法
US20230191994A1 (en) Image processing apparatus, image processing method, and image processing system
KR102447414B1 (ko) 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템
JP2019133116A (ja) 表示システム、移動体、及び、設計方法
JPWO2019170202A5 (ko)
US11780368B2 (en) Electronic mirror system, image display method, and moving vehicle
JP2020158014A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant