KR20190047027A - 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법 - Google Patents

차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법 Download PDF

Info

Publication number
KR20190047027A
KR20190047027A KR1020197010507A KR20197010507A KR20190047027A KR 20190047027 A KR20190047027 A KR 20190047027A KR 1020197010507 A KR1020197010507 A KR 1020197010507A KR 20197010507 A KR20197010507 A KR 20197010507A KR 20190047027 A KR20190047027 A KR 20190047027A
Authority
KR
South Korea
Prior art keywords
vehicle
image
view
virtual
virtual camera
Prior art date
Application number
KR1020197010507A
Other languages
English (en)
Inventor
라파엘 카노
밀리카 부이치치
알렉산드라 미트로비치
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20190047027A publication Critical patent/KR20190047027A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Abstract

본 발명은 차량(1)의 차량 주변의 리어뷰 미러 조망을 제공하기 위한 방법에 관한 것이다. 상기 방법은 차량(1) 상에 배치된 하나 이상의 광각 카메라(3, 4, 5, 6)를 이용하여 제1 영상(10) 내에서 차량 주변의 적어도 일부분을 검출하는 단계; 상기 제1 영상(10)을 기반으로 제2 영상(20)을 계산하는 단계로서, 상기 제2 영상(20)이, 차량 주변 내에서 제1 위치에 배치되어 차량 주변 내에서 차량(1) 후방에 놓인 영역을 맵핑하는 제1 가상 카메라의 맵핑된 시야에 상응하는, 단계와; 리어뷰 미러 조망의 표시를 위한 제2 영상(20)을 제공하는 단계;를 포함한다.

Description

차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
본 발명은 차량의 차량 주변 리어뷰 미러 조망(rear-view-mirror view)을 제공하기 위한 방법에 관한 것이다.
오늘날, 최신 차량의 설계에서 중요한 요소는 차량 제조 비용을 낮추는 것이다. 또한, 환경 보호의 요건에 따르기 위해, 차량 운행 시 차량의 에너지 효율을 높이는 점도 점점 더 중요해지고 있다. 그 결과, 차량을 특히 공기역학적으로 형성하기 위해, 예컨대 차량 사이드 미러가 생략되고 있다. 그 정도로 사이드 미러는 차량의 공기역학적 저항을 예컨대 2 내지 7%만큼 증가시킨다.
사이드 미러를 생략할 수 있도록 하기 위해, 차량 상에 관련 영역을 검출하기 위해 상응하게 배향된 카메라들이 배치된다. 이런 카메라들의 영상이 차량 운전자에게 디스플레이에 의해 직접 표시된다.
차량의 차량 주변 리어뷰 미러 조망을 제공하기 위한 본 발명에 따른 방법은 차량 상에 배치되어 있는 하나 이상의 광각 카메라를 이용하여 제1 영상 내에서 차량 주변의 적어도 일부분을 검출하는 단계; 상기 제1 영상을 기반으로 제2 영상을 계산(computing)하는 단계로서, 상기 제2 영상이, 차량 주변 내에서 제1 위치에 배치되어 차량 주변 내에서 차량의 후방에 놓인 영역을 맵핑하는 제1 가상 카메라의 맵핑된 시야에 상응하는, 단계; 및 리어뷰 미러 조망의 표시를 위한 제2 영상을 제공하는 단계;를 포함한다.
이 경우, 광각 카메라는 특히 서라운드 뷰 시스템의 카메라이다. 광각 카메라는, 광각 렌즈, 다시 말해 특히 80도보다 큰 개방각을 갖는 렌즈가 장착된 카메라이다. 특히 광각 카메라는, 170도를 초과하는 개방각을 갖는 어안 렌즈(fisheye lens)가 장착된 카메라이다. 가상 카메라는 실제 카메라가 아니라, 그 영상이 계산 방식으로 산출되는 카메라이다. 제1 영상의 검출이 복수의 광각 카메라에 의해 수행될 경우, 복수의 광각 카메라의 개별 영상들이 단일의 제1 영상으로 정합된다. 이러한 과정을 스티칭(stitching)이라고도 한다.
리어뷰 미러 조망은 차량 주변에서 차량 후방에 놓인 부분의 조망이다. 그에 따라, 리어뷰 미러 조망은 차량 후방에 위치하는 객체들을 촬상하는 조망이다. 차량의 후방에 위치하는 영역은 운전자의 위치에서 볼 때 차량 후미의 방향에 위치하는 영역이다. 상응하는 방식으로, 차량의 전방에 위치하는 영역은 차량 운전자의 시야에서 차량의 정면 방향에 위치하는 영역이다.
제2 영상은 제1 영상의 영상 정보들의 일부를 포함한다. 이는, 달리 말하면, 제2 영상이 제1 영상의 모든 영상 정보를 포함하는 것이 아니라, 제1 영상의 상기 영상 정보들의 선택된 부분만을 포함하되, 제1 가상 카메라의 상응하는 시야를 계산하기 위해 추가로 제1 영상의 영상 정보들의 환산이 수행됨을 의미한다. 그에 따라 예컨대, 주로 최신 차량들에는 여하히 설치되어 있는 서라운드 뷰 시스템의 카메라들이 리어뷰 미러 조망의 생성을 위해서도 이용될 수 있게 된다. 또한, 리어뷰 미러 조망을 생성하기 위해 광각 카메라를 이용하는 것이 바람직한 이유는, 상기 광각 카메라들이 차체 내에 더 적합하게 통합될 수 있으면서도, 차량 후방에 위치하는 영역을 우수하게 검출할 수 있기 때문이다.
또한, 제2 영상이 제1 영상을 기반으로 계산됨으로써, 즉, 제1 영상이 바로 차량 운전자를 위한 리어뷰 미러 조망으로서 표시되지 않음으로써, 차량 상에 배치된 카메라, 여기서는 광각 카메라의 배향을 변경하지 않고도 리어뷰 미러 조망이 수정될 수 있는 방식으로 더 높은 유연성이 달성된다. 본 발명에 따른 방법은, 결과적으로 리어뷰 미러의 조망에서 눈에 띄지 않는 영역들, 즉, 소위 사각지대가 제거되기 때문에, 특히 바람직하다. 그럼으로써 주행 안전성이 증대된다. 최신 리어뷰 미러들은 대개 약 17°의 각도를 갖는다. 그에 반해, 상기 시야는 소개된 기술을 통해 현저히 확대될 수 있다.
종속 청구항들에는 본 발명의 바람직한 개선예들이 기술되어 있다.
즉, 제1 가상 카메라의 제1 위치 및/또는 시야가 가변적이며, 특히 차량의 상태 매개변수를 기반으로 선택되는 것이 바람직하다. 차량의 상태 매개변수는 특히 차량의 속도, 선택된 주행 방향 및/또는 조향각이다. 이런 방식으로, 리어뷰 미러 조망이 주행 상황에 최적으로 매칭될 수 있다. 즉, 리어뷰 미러 조망은 예컨대, 운전자에게 중요한 차량 주변의 각각의 영역이 매우 충분하게 촬상되도록, 자동으로 매칭된다. 즉, 예컨대 제1 가상 카메라의 시야는 차량 속도가 증가함에 따라 확대되거나 축소될 수도 있다. 또한, 선택된 주행 방향이 후진 주행을 지시할 경우, 제1 가상 카메라의 시야가 차량 바닥의 방향으로 변위될 수도 있다. 또한, 차량 조향각이 너무 큰 것으로 검출되면, 제1 가상 카메라의 맵핑된 시야가 차량으로부터 멀어지는 방향으로 변위될 수도 있다.
또한, 제1 가상 카메라의 제1 위치 및/또는 시야가 사용자의 입력치를 기반으로 선택되는 것이 바람직하다. 이런 방식으로, 예컨대 차량의 운전자가 자신이 선호하는 리어뷰 미러 조망을 선택할 수 있다. 이런 방식으로, 리어뷰 미러 조망이 종래의 리어뷰 미러와 유사하게 매칭될 수 있다.
또한, 제1 가상 카메라의 시야는, 상기 제1 가상 카메라가 차량 주변의 적어도 하나의 기설정 영역을 맵핑하는 방식으로 선택되는 것이 바람직하다. 이 경우, 차량 주변의 기설정 영역은 바람직하게 사이드 미러의 미리 정해진 시야에 상응하는 구역이다. 달리 말하면, 제1 가상 카메라의 시야의 수정은, 차량에 대해 특정 위치에 연장되는 차량 주변의 적어도 하나의 특정 영역이 맵핑되는 방식으로 제한된다. 사이드 미러의 미리 정해진 시야는 특히 규정들에 의해 기설정된 시야이다. 규정의 예시로서 차량 장비와 관련한 UN 협약(예컨대 E/ECE/324/REV.1/ADD.45/의 규정 제46호)이 있다. 이런 방식으로, 제공된 리어뷰 미러 조망이 각각의 시점에 교통안전 요건들에 부합하는 점이 보장된다. 이는 종래의 미러 시스템들로는 불가능했는데, 그 이유는 종래의 리어뷰 미러 조망은 미러 자체의 위치뿐만 아니라 운전자의 머리 위치에 따라서도 좌우되었기 때문이다.
또한, 제2 영상의 제공이 차량의 헤드업 디스플레이 및/또는 차량 내부에 있는 모니터에 의해 수행되는 것이 바람직하다. 특히, 차량 내부에 있는 모니터는 차량의 A 필라(A-pillar)의 영역에 장착된다. 이런 방식으로, 차량의 잠재적 운전자가 그 사용에 이미 익숙해져 있는 종래 리어뷰 미러가 시뮬레이션될 수 있다. 차량의 헤드업 디스플레이를 통한 리어뷰 미러 영상의 표시도 마찬가지로 바람직한데, 그 이유는 그럼으로써 운전자가 자신의 시선을 차도에서 다른 쪽으로 돌리지 않아도 되기 때문이다. 그럼에도 불구하고, 리어뷰 미러에 설정되는 요건들은 변함없이 충족될 수 있다. 선택적으로, 제2 영상은 차량의 헤드업 디스플레이를 통해서뿐만 아니라 차량 내부에 있는 모니터를 통해서도 맵핑된다. 이 경우, 선택적으로, 각각 제1 가상 카메라의 상이한 시야들 및/또는 제1 위치들을 기반으로 하는 2개의 상이한 제2 영상이 계산된다. 그에 따라, 운전자에게 제2 영상을 각각 표시하기 위해 최적의 리어뷰 미러 조망이 제공될 수 있다.
또한, 제1 가상 카메라의 제1 위치는 차량 주변 내에서 차량의 정면의 전방에 위치하며, 차량의 투명 모형(transparent model)이 제2 영상 내로 삽입된다. 이런 방식으로, 차량 자체와 관련하여 차량의 차량 주변이 세팅된다. 그에 따라, 차량 주변에 있는 객체들로의 차량의 접근이 차량 운전자에 의해 용이하게 추정될 수 있다.
바람직하게, 본 발명에 따른 방법은 차량의 외부 조망(external view)을 계산하는 단계를 포함하며, 이때 차량 주변이 제1 영상의 영상 데이터를 통해 표시되고, 차량은 이 차량의 3D 모형을 통해 표시되며, 3D 모형의 사이드 미러의 미러 면으로서 제2 영상이 표시된다. 이로써 PIP(Picture in Picture) 기술이 구현된다. 차량의 외부 조망은 운전자를 위해 제공될 수 있으며, 이 외부 조망은 리어뷰 미러 조망으로 한정되는 것이 아니라, 예컨대 차량 전방에 위치하는 영역도 표시될 수 있다. 이는 특히 차량의 운전 조작(maneuvering) 시 유용하다. 제2 영상이 마찬가지로 차량의 외부 조망 내에서 차량의 3D 모형의 한 지점에 표시됨으로써, 운전자가 차량 후방에 있는 영역도 계속 주시하는 점이 계속 보장된다. 이와 동시에, 차량 외부 조망의 매우 사실적인 맵핑이 가능해진다.
또한, 제1 영상을 기반으로 하는 제2 영상의 계산은, 상기 제2 영상이 제1 영상으로부터의 실린더 보정(cylindrical correction)에 의해 계산됨으로써 수행되는 것이 바람직하다. 이는 예컨대 좌표 변환(coordinate transformation)에 의해 달성될 수 있다. 이런 방식으로, 제2 영상은 매우 신속하게 최소의 계산 비용으로 생성될 수 있다. 이것이 바람직한 이유는, 상기 방식으로 제1 영상의 검출과 제2 영상의 계산 및 제공 사이에 매우 짧은 시간 지연이 존재하기 때문이다. 그에 따라, 시간적으로 최근의 리어뷰 미러 조망이 운전자에게 제공되는 점이 보장된다.
또한, 제1 영상을 기반으로 하는 제2 영상의 계산이 추가로 하기 단계들: 차량 주변을 재현한 가상공간 내의 가상 투영면으로 제1 영상을 전송하는 단계로서, 가상 투영면이 가상공간 내 차량의 위치에 상응하는 위치를 적어도 부분적으로 에워싸고, 제1 영상은, 상기 제1 영상 내에 맵핑된 객체들이 차량 주변 내에서의 자신들의 위치에 상응하게 가상 투영면 상에 맵핑되는 방식으로, 가상 투영면으로 전송되는, 단계와; 가상공간 내에 제1 가상 카메라를 배치하여 제1 가상 카메라를 통해 제2 영상을 검출하는 단계로서, 제1 가상 카메라의 시야는, 상기 제1 가상 카메라가 차량 주변 내에서 차량의 후방에 놓인 가상 투영면의 영역을 맵핑하는 방식으로 선택되는 단계;를 포함한다. 이 경우, 가상공간은 차량 주변을 재현하는 수학적 구조이다. 그에 따라, 가상공간 내의 각각의 점(point)에 차량 주변 내의 점이 할당될 수 있다. 가상 투영면은, 이 가상 투영면이 가상공간 내에서의 차량 위치에 상응하는 위치를 적어도 부분적으로 에워싸는 방식으로 가상공간 내에 배치되거나 전개된다. 가상공간은 실제 차량 주변을 재현하기 때문에, 가상공간 내에는 차량 주변 내의 차량에 상응하는 영역도 마찬가지로 존재한다. 이런 영역은 투영면에 의해 적어도 부분적으로 에워싸인다. 즉, 투영면은 예컨대 열쇠 형상을 가질 수 있으며, 이 경우 차량에 상응하는 가상공간의 영역은 열쇠의 안쪽에 배치된다. 제1 영상은 투영면으로 전송된다. 이 경우, 특히 바람직하게는, 제1 영상이 차량 주변의 최대한 큰 영역을 표시하도록 하기 위해, 제1 영상을 함께 검출하기 위한 복수의 광각 카메라가 차량 상에 배치되며, 제1 영상을 표시하기 위해 가상 투영면의 최대한 넓은 영역이 이용된다. 또한, 바람직하게는, 제1 영상 내에 맵핑된 객체들을 차량 주변 내에서의 이들의 위치에 상응하게 가상 투영면 상에 맵핑하기 위해, 추가 센서들, 예컨대 거리 센서들을 통해 차량 주변을 스캐닝한다. 제1 가상 카메라는 가상공간 내에 배치된다. 이 경우, 제1 가상 카메라는 바람직하게, 자신의 위치가 마찬가지로 가상 투영면에 의해 적어도 부분적으로 에워싸이는 방식으로 가상공간 내에 배치된다. 제1 가상 카메라의 시야는, 상기 제1 가상 카메라가 차량 주변 내에서 차량의 후방에 놓인 가상 투영면의 영역을 맵핑하는 방식으로 선택된다. 이를 위해, 제1 가상 카메라의 광학 축은, 제1 가상 카메라가 차량의 종축을 따라 후방으로 지향되고, 상기 종축으로부터 90도 이상 벗어나지 않도록 정렬된다. 그럼으로써 제1 가상 카메라의 제1 위치의 선택 시 높은 유연성이 달성된다. 이로써, 리어뷰 미러 조망이 운전자의 요구에 매우 우수하게 매칭될 수 있다.
본 발명에 따른 방법을 실행하도록 구성된 장치는 본 발명에 따른 방법의 모든 장점을 갖는다. 특히 상기 장치는 서라운드 뷰 시스템이다. 상기 서라운드 뷰 시스템은 이미 필요한 계산 용량을 가지며, 마찬가지로 필요한 카메라들을 포함하고 있기 때문에, 추가적인 하드웨어가 생략될 수 있다.
하기에서는 첨부한 도면을 참조하여 본 발명의 실시예들을 상세히 기술한다.
도 1은 본 발명의 제1 실시예에 따라 차량의 차량 주변 리어뷰 미러 조망을 제공하기 위한 장치를 장착한 차량을 도시한 도면이다.
도 2는 광각 카메라에 의해 검출된 제1 영상의 예시를 도시한 도면이다.
도 3은 본 발명의 제1 실시예에 따라 제1 영상을 기반으로 계산된 제2 영상의 예시를 도시한 도면이다.
도 4는 본 발명의 제1 실시예에 따른 차량 주변의 기설정 영역을 도시한 예시도이다.
도 5는 본 발명의 제2 실시예에 따라 제1 영상을 기반으로 계산된 제2 영상의 예시를 도시한 도면이다.
도 6은 본 발명의 제3 실시예에 따라 계산된 차량의 외부 조망을 도시한 도면이다.
도 1에는, 차량(1)의 차량 주변의 리어뷰 미러 조망을 제공하기 위한 장치(2)를 장착한 차량(1)이 도시되어 있다. 여기서, 장치(2)는 컴퓨터 유닛이다. 장치(2) 상에는 비디오 입력단들 및 비디오 출력단들이 제공된다.
본 발명의 제1 실시예에서, 장치(2)의 비디오 입력단들에는 제1 카메라(3), 제2 카메라(4), 제3 카메라(5) 및 제4 카메라(6)가 연결된다. 제1 카메라(3)는 차량(1)의 좌측에 배치되어 차량(1) 좌측의 차량 주변 영역을 검출한다. 제2 카메라(4)는 차량(1)의 정면에 배치되어 차량(1) 전방의 차량 주변 영역을 검출한다. 제3 카메라(5)는 차량(1)의 우측에 배치되어 차량(1) 우측의 차량 주변 영역을 검출한다. 제4 카메라(6)는 차량(1)의 후미에 배치되어 차량(1) 후방의 차량 주변 영역을 검출한다. 이 경우, 제1 카메라(3)와 제3 카메라(5)는, 차량(1) 상에 각각 리어뷰 미러 대신 배치되어 있는 홀더에 각각 고정된다. 선택적으로, 상기 홀더들은 실제로 종래의 리어뷰 미러를 포함할 수 있다. 제1 내지 제4 카메라(3 내지 6)는 각각 어안 렌즈 형태의 광각 렌즈를 구비하며, 이 광각 렌즈는 180도의 개방각을 갖는다. 제1 내지 제4 카메라(3 내지 6)에 의해 검출되는 차량 주변 영역들은 서로 중첩된다. 따라서, 예컨대 차량(1)의 좌측 후방에 위치하는 영역은 제1 카메라(3)뿐만 아니라 제4 카메라(6)에 의해서도 검출된다.
장치(2)의 비디오 출력단들에는 헤드업 디스플레이(7) 및 모니터(8)가 연결된다. 이 경우, 모니터(8)는 차량(1)의 우측 A 필라의 영역에 배치된다. 이 경우, 모니터(8)는, 이 모니터를 차량(1)의 운전자가 들여다볼 수 있도록 배치된다.
장치(2)를 통해, 차량(1)의 차량 주변의 리어뷰 미러 조망을 제공하기 위한 방법이 실행된다.
제1 방법 단계에서, 차량(1)에 배치된 하나 이상의 광각 카메라에 의해, 제1 영상(10) 내에서 차량 주변의 적어도 일부분의 검출이 수행된다. 본 발명의 상기 제1 실시예에서, 하나 이상의 광각 카메라는 제1 카메라(3)이다. 제1 카메라(3)를 통해 제1 영상(10)이 검출된다. 제1 카메라(3)는 광각 렌즈를 구비하고 있기 때문에, 제1 영상(10)은 차량 주변의 왜곡 디스플레이이다. 제1 카메라(3)의 큰 개구 범위로 인해, 제1 영상(10)에서 차량(1)의 부분들도 보일 수 있다. 또한, 도 2에서 좌측에 놓인 제1 영상(10)의 영역 내에는, 차량(1)의 후방에 높인 차량 주변 영역을 맵핑하는 부분 영역(14)이 보일 수 있다. 또한, 도 2에서 우측에 도시된 제1 영상(10)의 영역 내에는, 차량(1)의 전방에 놓인 차량 주변 내에 위치하는 영역이 보일 수 있다. 도 2에 도시된 제1 영상(10) 내에서 차량(1)의 후방에는 복수의 객체가 존재한다. 즉, 차량(1) 후방의 차량 주변 내에는 철탑(11)(pylon), 상자(12) 및 나무(13)가 존재한다. 부분 영역(14)은 제1 영상(10)의 부분 영역이다.
제1 카메라(3)는 상기 제1 실시예에서 차량(1)의 좌측에 배치되어 차량(1) 좌측의 차량 주변 영역을 검출하기 때문에, 예컨대 좌측 리어뷰 미러 조망이 계산되어 제공된다. 이는, 제1 영상이 대안적으로 또는 추가로 제3 카메라(5)에 의해 검출된다면, 우측 리어뷰 미러 조망이 상응하는 방식으로 계산될 수 있음을 시사한다.
상기 제1 실시예에서, 제1 영상(10)은 오직 단일 광각 카메라, 요컨대 제1 카메라(3)에 의해서만 검출된다. 대안적 실시예들에서, 제1 영상(10)은 복수의 광각 카메라에 의해 검출된다. 즉, 제1 영상이 예컨대 제1 내지 제4 카메라(3 내지 6)에 의해 검출된다. 이를 위해, 차량 주변의 적어도 일부분을 검출하는 단계는, 제1 내지 제4 카메라(3 내지 6)의 개별 영상들의 접합이 수행되는 추가 단계를 포함한다. 본 발명에 따라, 제1 영상(10)은, 광각 카메라들 중 적어도 하나가 차량 주변 내에서 차량(1)의 후방에 위치하는 영역을 검출하는 점에 한해, 임의로 배치된 광각 카메라들의 임의 개수의 영상들이 합쳐져서 형성될 수 있다.
제1 영상(10)이 본원 방법의 제1 단계에서 검출된 후에, 제2 단계에서 제1 영상(10)을 기반으로 제2 영상(20)의 계산이 수행되며, 제2 영상(20)은, 차량 주변 내에서 제1 위치에 배치되어 차량 주변 내에서 차량(1)의 후방에 위치하는 부분 영역(14)을 맵핑하는 제1 가상 카메라의 맵핑된 시야에 상응한다. 제2 영상(20)은 예시로서 도 3에 도시되어 있다. 이 경우, 제2 영상(20)은 도 2에 도시된 제1 영상(10)의 예를 기반으로 계산되었다. 그에 따라, 부분 영역(14) 내에서 맵핑된 객체들이 마찬가지로 제2 영상(20) 내에 표시되었다. 즉, 제2 영상(20)도 마찬가지로 철탑(11), 상자(12) 및 나무(13)를 보여준다. 그러나 제2 영상(20) 내에 표시된 객체들은, 제1 영상(10)에서의 경우처럼 왜곡되어 있지는 않다.
상기 제1 실시예에서, 제1 가상 카메라의 제1 위치는 제1 카메라(3)의 위치에 상응한다. 그러나 제1 가상 카메라에 의해 맵핑되는 시야는 제1 카메라(3)의 시야보다 더 좁다. 제1 가상 카메라는 광각 카메라의 특성을 갖지 않는다. 그에 따라, 제2 영상(20)은 제1 영상(10)의 왜곡을 갖지 않는다.
제2 영상(20)의 계산은 상이한 방식들로 수행될 수 있다. 즉, 제2 영상(20)의 계산은, 예컨대 제2 영상(20)이 제1 영상(10)의 실린더 보정에 의해 계산됨으로써 수행된다. 이를 위해 필요한 계산 매개변수들은 제1 내지 제4 카메라(3 내지 6)의 렌즈들의 특성들로부터 생성되며, 공장 측에서 장치(2)에 기설정될 수 있다. 특히 바람직하게는, 제2 영상(20)의 계산이 좌표 변환을 기반으로 수행된다. 이 경우, 제2 영상(20)의 각각의 픽셀에 제1 영상(10)의 대응하는 픽셀이 할당된다. 제2 영상(20)의 영상 정보들은 제1 영상(10)에서 픽셀 대 픽셀로 추출된다. 픽셀들의 할당은 실린더 보정에 의해 사전에 계산될 수 있다.
제2 영상(20)을 계산하기 위한 대안적 접근법의 경우, 제1 영상(10)이 먼저 차량 주변을 재현한 가상공간 내 가상 투영면으로 전송된다. 이 경우, 가상공간은 수학적 구성이다. 가상공간은 차량 주변을 재현한다. 이는, 가상공간 내의 각각의 점에 차량 주변 내의 점이 연계됨을 의미한다. 이 경우, 가상 투영면은 가상공간 내의 차량(1)의 위치에 상응하는 위치를 적어도 부분적으로 에워싼다. 가상공간 내의 각각의 점에 차량 주변 내의 점이 연계되어 있기 때문에, 차량(1)은 가상공간 내의 체적 요소를 통해 재현된다. 상기 체적 요소는 상기 실시예에서 투영면으로 에워싸인다. 가상 투영면은 상기 제1 실시예에서 예시적으로 열쇠 형상을 갖는다. 이 경우, 열쇠의 바닥부는 차량 주변 내에서 차량(1)이 놓여 있는 차도 표면에 상응한다. 열쇠의 벽부는 차량(1)에 상응하는 가상공간의 체적 영역을 에워싼다. 열쇠의 내벽부로, 즉, 가상 투영면으로 제1 영상(10)이 전송된다. 제1 영상(10)이 오직 제1 카메라(3)를 통해서만 검출된다면, 오직 투영면의 부분 영역만이 영상 정보들로 조직화(texturization)된다. 제1 영상(10)이 복수의 광각 카메라에 의해, 예컨대 제1 내지 제4 카메라(3 내지 6)에 의해 검출된다면, 투영면은 거의 완전하게 조직화된다.
제1 영상은, 제1 영상(10) 내에 맵핑된 객체들이 차량 주변 내의 자신들의 위치에 상응하게 가상 투영면 상에 맵핑되는 방식으로, 가상 투영면으로 전송된다. 그에 따라, 차량 주변 내에서 차량(1) 전방에 위치하는 객체들이 차량(1) 전방의 가상 투영면 상에도 배치되게 된다. 차량 주변 내에서 차량(1)의 후방에 배치된 객체들은 가상 투영면 상에서 차량 후방에 위치하는 영역에도 배치된다. 가상 카메라는 가상공간 내에 배치된다. 그에 따라, 제1 가상 카메라가 위치해 있는 가상의 3차원 공간이 계산되었다. 이 경우, 제1 가상 카메라는, 적어도 일부 섹션에서 가상공간 내로 전송된 차량(1)의 후방에 위치하는 가상 투영면의 영역을 검출하도록 배향된다. 그에 따라, 제1 가상 카메라의 영상은 가상 투영면 상에 로딩된 제1 영상(10)을 보여준다.
이 경우, 제1 가상 카메라는, 차량 주변 내에서 차량(1)의 후방에 위치하는 가상 투영면의 영역을 맵핑하도록 배향된다. 이는, 제1 가상 카메라가 이 가상 카메라의 위치에서 출발하여 차량(1)의 종축을 따라 차량 후미의 방향으로 지향되고, 상기 종축으로부터 90°이상 편향되지 않도록 제1 가상 카메라의 광학 축이 선택됨으로써 이루어진다. 이런 방식으로, 제1 가상 카메라의 시야는, 제1 가상 카메라가 차량 주변 내에서 차량(1)의 후방에 위치하는 가상 투영면의 영역을 맵핑하도록 선택된다. 제1 가상 카메라의 영상은 제2 영상(20)에 상응한다.
제2 영상(20)이 계산되는 방법과 무관하게, 제1 가상 카메라의 위치 및/또는 시야는 가변적으로 선택될 수 있다. 가상 카메라의 시야는 예컨대 체결된 기어단에 따라 자동으로 변경될 수 있다. 기어단이 후진 주행으로 변속되면, 저속 주차 조작(parking maneuver)이 표시되고, 가상 카메라의 시야는 하향 이동된다. 즉, 예컨대 차량 주변 내에서 차량(1)의 후방에 놓인, 도 2에 맵핑된 부분 영역(14)은 가변적으로 선택될 수 있다. 즉, 상기 부분 영역은 예컨대 상대적으로 더 크게, 또는 더 작게 선택될 수 있거나, 수평 또는 수직으로 변위될 수 있다. 이런 방식으로 제1 가상 카메라의 시야가 수정된다. 이는 특히 차량(1)의 상태 매개변수를 기반으로 수행된다. 즉, 예컨대 차량(1)의 속도, 차량(1)의 주행 방향 및/또는 차량(1)의 조향각이 검출된다. 이 값들은 예컨대 차량(1)의 전자 제어 시스템에 의해 질의될 수 있다. 즉, 차량(1)의 속도가 정해진 임계값을 초과할 경우, 예컨대 제1 가상 카메라의 시야 및 그에 따른 부분 영역(14)은 축소된다. 이런 방식으로, 차량을 주차할 때보다 고속도로를 주행할 때 운전자에게 더 관련성이 있는 멀리 떨어진 객체들의 확대가 달성된다. 또한, 좌향으로의 차량(1) 조향각이 매우 큰 경우, 제1 가상 카메라의 시야는 우향 또는 좌향으로 변위될 수도 있다. 이런 우향 또는 좌향 변위는, 설령 차량(1)이 커브로 인해 차량 수직축을 중심으로 회전한다고 하더라도, 차량(1) 후방에서 주행하는 또 다른 차량이 커브 주행 시 계속해서 리어뷰 미러 조망 내에, 즉, 제2 영상(20) 내에 보일 수 있게 유지되도록 선택될 수 있다. 선택적으로, 후진 기어단이 넣어지면, 즉, 선택된 주행 방향이 후방이면, 제1 가상 카메라의 시야는 차도 표면의 방향으로 변위될 수도 있으며, 그럼으로써 예컨대 운전자가 차량(1)을 주차 공간 내로 몰 때, 연석이 차량(1) 운전자에게 매우 잘 보일 수 있게 된다.
그 대안으로 또는 추가로, 제1 가상 카메라의 제1 위치 및/또는 시야가 사용자의 입력치를 기반으로 선택될 수 있다. 즉, 예컨대 차량(1)의 계기판 상에, 차량(1)의 운전자가 제2 영상(20)을 통해 표시된 차량 주변 영역을 임의로 매칭시킬 수 있게 하는 스위칭 장치가 배치된다.
상태 매개변수를 기반으로 가상 카메라의 위치 및/또는 시야를 선택할 때뿐만 아니라, 사용자의 입력치를 기반으로 선택할 때에도, 제1 가상 카메라의 위치 역시 선택적으로 선택될 수 있다. 즉, 예컨대 제1 가상 카메라가 가상공간 내에서 하향으로 움직일 수도 있다. 이는, 특히 차량(1)의 주차 과정에서 연석을 명확하게 맵핑하는 데 유용할 수 있다. 고속도로 주행 시, 제1 가상 카메라는, 훨씬 더 멀리 떨어져 있는 차량들을 더 분명하게 검출하도록 하기 위해, 가상공간 내에서 상향으로 움직일 수 있다. 차량의 종축을 따르거나 차량의 횡축을 따르는 제1 가상 카메라의 변위를 통해서도 차량 주변을 바람직하게 표시할 수 있다.
이 경우, 선택적으로, 제1 가상 카메라의 시야가 항시 제1 가상 카메라가 차량 주변의 적어도 하나의 기설정 영역(30)을 맵핑하도록 선택되는지 모니터링된다. 차량 주변의 상기 기설정 영역(30)은 예컨대 공장 측에서 기설정된다. 이런 방식으로, 차량(1)을 위해 언제나 법적으로 규정된 리어뷰 미러 조망이 가용해지는 점이 보장된다. 이를 위해, 도 4에는, 본 발명의 제1 실시예에 따른 차량 주변의 기설정 영역(30)의 예시도가 도시되어 있다. 기설정 영역(30)은 차량(1) 후미의 후방에 펼쳐진다. 이 경우, 기설정 영역(30)은 차량의 각 측면에서 제1 폭(31)(예: 1미터)에서 시작하여 제2 폭(32)으로 확대된다. 이 경우, 제2 폭은 차량(1) 운전자의 시야 위치(33)의 후방으로 제1 거리(34)(예: 20미터) 이후에 도달된다. 차량 후미는 상기 시야 위치(33)의 후방으로 제2 거리(35)(예: 4미터)에 위치한다.
도 4는 리어뷰 미러의 시야에 대한 법적 규정의 예시도이다. 기설정 영역(30)의 선택은, 예컨대 테스트 객체들이 법적 요건에 상응하게 차량(1)의 후방에 포지셔닝되고, 제2 영상(20)이 부분 영역(14)의 선택을 통해 상기 테스트 객체들이 보일 수 있도록 계산됨으로써 수행될 수 있다. 제2 영상(20)은, 소위 사각지대도 제2 영상(20)을 통해 표시되는 방식으로, 종래 리어뷰 미러의 실제 리어뷰 미러 조망과 다를 수 있다. 제2 영상(20)이 계산된 후에, 상기 제2 영상은 후속 방법 단계에서 리어뷰 미러 조망의 표시를 위해 제공된다. 이를 위해, 상기 제1 실시예에서 제2 영상(20)은 장치(2)의 비디오 출력단을 통해 제공되어 모니터(8)를 통해 표시된다.
나아가, 차량의 상태 매개변수가 충족되면, 제2 영상(20)이 헤드업 디스플레이(7)를 통해 차량(1)의 운전자에게 표시된다. 즉, 상기 제1 실시예에서, 제2 영상(20)은, 차량(1)의 방향지시등의 작동을 통해 방향 전환이 지시되고, 그리고/또는 차량(1)의 조향각이 검출되는 경우에는 항상 차량(1)의 헤드업 디스플레이를 통해 표시된다.
전술한 방법에 의해, 좌측 미러의 리어뷰 미러 조망뿐만 아니라 우측 미러의 상응하는 리어뷰 미러 조망을 위해서도 영상이 생성될 수 있음을 알 수 있다.
또는, 전술한 기술들에 의해, 마찬가지로 완전히 새로운 리어뷰 미러 조망들을 생성할 수도 있다. 즉, 본 발명의 제2 실시예에서, 제1 가상 카메라의 제1 위치는, 제1 가상 카메라가 차량 주변 내에서 차량(1) 정면의 전방에 위치하도록 선택된다. 제1 가상 카메라는 차량(1) 전방의 가상공간 내에 포지셔닝된다. 제1 내지 제3 카메라(3 내지 5)의 영상들이 서로 접합된다면, 가상공간의 산술적 구현 없이도 좌표 변환을 이용하여 상응하는 영상이 생성될 수 있다.
제1 가상 카메라의 상기 영상 내에는 차량(1)의 투명 모형(15)이 삽입된다. 그에 따라, 차량(1)의 투명 모형(15)은 제2 영상(20) 내로 삽입된다. 이는 도 5에 예시로서 도시되어 있다. 이 경우, 차량(1)의 전방에 위치하는 부분 영역들은 제2 카메라(4)의 영상 촬영을 통해 표시될 수 있다. 그 밖에, 제2 영상(20)은 제1 카메라(3), 제3 카메라(5) 및 제4 카메라(6)의 촬영 사진들이 합쳐져서 생성된다. 이 경우 제1 영역(21)은 제1 카메라(3)의 영상을 가리키고, 제2 영역(22)은 제4 카메라(6)의 영상을 가리키며, 제3 영역(23)은 제3 카메라(5)의 영상을 가리킨다. 제2 영상(20) 내에서 중앙에 차량(1)의 투명 모형(15)이 배치된다. 그에 따라, 중앙 리어뷰 미러 조망이 생성된다. 종래 리어뷰 미러 조망들과 달리, 상기 중앙 리어뷰 미러 조망은 차량(1)의 좌측과 우측이 특별히 서로 상이하지 않다. 그에 따라, 헤드업 디스플레이(7)를 이용하여 상기 중앙 리어뷰 미러 조망을 표시하는 것이 특히 바람직하다. 그 대안으로, 차량(1)의 내부에 있는 추가 중앙 모니터가 상기 리어뷰 미러 조망의 표시를 위해 이용될 수 있다.
그 대안으로, 본 발명의 제3 실시예에서, 제2 영상(20)의 제공 이전에, 차량(1)의 외부 조망(40)의 계산이 수행되며, 이때 차량 주변은 제1 영상(10)의 영상 데이터를 통해 표시되고, 차량(1)은 차량의 3D 모형(41)을 통해 표시된다. 이 경우, 제2 영상(20)은 3D 모형(41)의 사이드 미러(42)의 미러 면으로서 표시된다. 이를 위해, 예컨대 제2 가상 카메라 및 차량(1)의 3D 모형(41)이 가상공간 내에 배치된다. 제2 가상 카메라의 시야 및 위치는 자유롭게 선택될 수 있으며, 제1 가상 카메라의 제한에 따르지 않는다. 제2 가상 카메라의 위치 및 시야가, 3D 모형(41)의 사이드 미러(42)의 미러 면이 제2 가상 카메라의 시야에 속하도록 선택된다면, 제2 영상(20)은 하나의 텍스처(texture)로서 3D 모형(41)의 사이드 미러(42)의 미러 면 상에 배치된다. 이 경우, 차량(1)의 3D 모형(41)은 실제 차량(1)의 형태와 다를 수 있으며, 그에 따라 차량(1)이 실제로 리어뷰 미러를 구비하지 않은 경우에도 3D 모형은 리어뷰 미러를 포함할 수 있다. 제3 영상은 제2 가상 카메라에 의해 검출되어 차량(1)의 외부 조망(40)을 형성한다. 그에 따라, 상기 제3 영상은 부분 영역 내에서 제2 영상(20)도 가리킨다. 리어뷰 미러 조망의 표시를 위한 제2 영상(20)의 제공은, 제3 영상 및 그와 더불어 제2 영상도 차량 내부의 모니터(8) 상에 또는 차량(1)의 헤드업 디스플레이(7) 상에 표시됨으로써 수행된다.
상술한 개시 내용 외에, 도 1 내지 도 6의 개시 내용도 명시된다.

Claims (10)

  1. 차량(1)의 차량 주변의 리어뷰 미러 조망을 제공하기 위한 방법으로서,
    - 차량(1) 상에 배치된 하나 이상의 광각 카메라(3, 4, 5, 6)를 이용하여 제1 영상(10) 내에서 차량 주변의 적어도 일부분을 검출하는 단계;
    - 상기 제1 영상(10)을 기반으로 제2 영상(20)을 계산하는 단계로서, 상기 제2 영상(20)이, 차량 주변 내에서 제1 위치에 배치되어 차량 주변 내에서 차량(1)의 후방에 놓인 영역을 맵핑하는 제1 가상 카메라의 맵핑된 시야에 상응하는, 단계; 및
    - 리어뷰 미러 조망의 표시를 위한 제2 영상(20)을 제공하는 단계;를 포함하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  2. 제1항에 있어서, 상기 제1 가상 카메라의 제1 위치 및/또는 시야는 가변적이며, 특히 차량(1)의 상태 매개변수를 기반으로 선택되는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  3. 제1항 또는 제2항에 있어서, 상기 제1 가상 카메라의 제1 위치 및/또는 시야는 사용자의 입력치를 기반으로 선택되는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 가상 카메라의 시야는, 상기 제1 가상 카메라가 차량 주변의 적어도 하나의 기설정 영역(30)을 맵핑하는 방식으로 선택되는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 제2 영상(20)의 제공은 차량(1)의 헤드업 디스플레이(7) 및/또는 차량(1)의 내부에 있는 모니터(8)에 의해 수행되는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 제1 가상 카메라의 제1 위치는 차량 주변 내에서 차량(1)의 전방에 위치하며, 차량(1)의 투명 모형(15)이 제2 영상(20) 내로 삽입되는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 추가로,
    차량 주변이 제1 영상(10)의 영상 데이터를 통해 표시되고, 차량(1)은 상기 차량(1)의 3D 모형(41)을 통해 표시되며, 3D 모형(41)의 사이드 미러(42)의 미러 면으로서 제2 영상(20)이 표시되는, 차량(1)의 외부 조망(40)을 계산하는 단계를 포함하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 제1 영상(10)을 기반으로 하는 제2 영상(20)의 계산은, 상기 제2 영상(20)이 제1 영상의 실린더 보정에 의해 계산됨으로써 수행되는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 제1 영상(10)을 기반으로 하는 제2 영상(20)의 계산은:
    - 차량 주변을 재현한 가상공간 내의 가상 투영면으로 제1 영상(10)을 전송하는 단계로서,
    가상 투영면이 가상공간 내 차량(1)의 위치에 상응하는 위치를 적어도 부분적으로 에워싸고,
    제1 영상(10)은, 상기 제1 영상(10) 내에 맵핑된 객체들이 차량 주변 내에서의 자신들의 위치에 상응하게 가상 투영면 상에 맵핑되는 방식으로, 가상 투영면으로 전송되는, 단계와;
    - 가상공간 내에 제1 가상 카메라를 배치하여 상기 제1 가상 카메라를 통해 제2 영상(20)을 검출하는 단계로서, 제1 가상 카메라의 시야는, 상기 제1 가상 카메라가 차량 주변 내에서 차량(1)의 후방에 놓인 가상 투영면의 영역을 맵핑하는 방식으로 선택되는, 단계;를 포함하는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 방법.
  10. 차량(1)의 차량 주변의 리어뷰 미러 조망을 제공하기 위한 장치(2)에 있어서,
    상기 장치(2)는 제1항 내지 제9항에 따른 방법을 실행하도록 구성되는 것을 특징으로 하는, 차량 주변의 리어뷰 미러 조망의 제공 장치.
KR1020197010507A 2016-09-14 2017-07-14 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법 KR20190047027A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016217488.6A DE102016217488A1 (de) 2016-09-14 2016-09-14 Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeugs
DE102016217488.6 2016-09-14
PCT/EP2017/067808 WO2018050315A1 (de) 2016-09-14 2017-07-14 Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs

Publications (1)

Publication Number Publication Date
KR20190047027A true KR20190047027A (ko) 2019-05-07

Family

ID=59350930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197010507A KR20190047027A (ko) 2016-09-14 2017-07-14 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법

Country Status (7)

Country Link
US (1) US10647256B2 (ko)
EP (1) EP3512739B1 (ko)
JP (1) JP2019529242A (ko)
KR (1) KR20190047027A (ko)
CN (1) CN109789831A (ko)
DE (1) DE102016217488A1 (ko)
WO (1) WO2018050315A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11225193B2 (en) * 2017-10-26 2022-01-18 Harman International Industries, Incorporated Surround view system and method thereof
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
KR102212229B1 (ko) * 2018-11-07 2021-02-05 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법.
WO2020102336A1 (en) * 2018-11-13 2020-05-22 Rivian Ip Holdings, Llc Systems and methods for controlling a vehicle camera
JP6785480B2 (ja) * 2019-01-28 2020-11-18 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法
FR3093968B1 (fr) * 2019-03-21 2021-07-23 Renault Sas Système de rétrovision pour véhicule comprenant une pluralité d’appareils de prise de vue et un calculateur
CN110194109B (zh) * 2019-06-28 2021-07-13 广州小鹏汽车科技有限公司 一种显示车辆外部影像的方法、影像系统及车辆
DE102020209910A1 (de) 2020-08-05 2022-02-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Generierung eines gerenderten dreidimensionalen Modells eines Fahrzeugs
US11884216B2 (en) * 2020-10-16 2024-01-30 Magna Mirrors Of America, Inc. Vehicular full mirror display system with auxiliary forward and rearward views
JP7244562B2 (ja) * 2021-03-23 2023-03-22 本田技研工業株式会社 移動体の制御装置及び制御方法並びに車両

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP4579145B2 (ja) * 2005-11-30 2010-11-10 アルパイン株式会社 車両周辺画像表示装置
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
JP2010137697A (ja) 2008-12-11 2010-06-24 Honda Motor Co Ltd 車両の運転支援装置
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP2012065228A (ja) 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像表示方法
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP6030317B2 (ja) * 2012-03-13 2016-11-24 富士通テン株式会社 画像処理装置、画像表示システム、表示装置、画像処理方法及びプログラム
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6310652B2 (ja) * 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法
KR101491324B1 (ko) 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
DE102013224954A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
DE102014201801B4 (de) 2014-01-31 2021-11-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur perspektivischen Darstellung eines Fahrzeugumfeldes mit einem Fahrzeug-Modell auf einer Fahrzeuganzeige und Anzeigesystem

Also Published As

Publication number Publication date
EP3512739B1 (de) 2020-05-13
DE102016217488A1 (de) 2018-03-15
JP2019529242A (ja) 2019-10-17
US20190202356A1 (en) 2019-07-04
WO2018050315A1 (de) 2018-03-22
CN109789831A (zh) 2019-05-21
US10647256B2 (en) 2020-05-12
EP3512739A1 (de) 2019-07-24

Similar Documents

Publication Publication Date Title
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
JP6081570B2 (ja) 運転支援装置、および画像処理プログラム
EP3186109B1 (en) Panoramic windshield viewer system
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
US20140114534A1 (en) Dynamic rearview mirror display features
WO2016002163A1 (ja) 画像表示装置、画像表示方法
KR101354068B1 (ko) 차량주변화상생성장치
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
JP5412979B2 (ja) 周辺表示装置
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US10930070B2 (en) Periphery monitoring device
KR102045088B1 (ko) 영상 표시 방법 및 이를 위한 위한 장치
US8477191B2 (en) On-vehicle image pickup apparatus
JP2006311272A (ja) 車両用映像表示装置
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
WO2018159019A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2011193485A (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2022095303A (ja) 周辺画像表示装置、表示制御方法
TW201605247A (zh) 影像處理系統及方法
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
JP2021013072A (ja) 画像処理装置および画像処理方法
JP2009230225A (ja) 車両用周囲監視装置
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP2011028634A (ja) 車両用画像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application