KR102490465B1 - Method and apparatus for rear view using augmented reality camera - Google Patents

Method and apparatus for rear view using augmented reality camera Download PDF

Info

Publication number
KR102490465B1
KR102490465B1 KR1020207035268A KR20207035268A KR102490465B1 KR 102490465 B1 KR102490465 B1 KR 102490465B1 KR 1020207035268 A KR1020207035268 A KR 1020207035268A KR 20207035268 A KR20207035268 A KR 20207035268A KR 102490465 B1 KR102490465 B1 KR 102490465B1
Authority
KR
South Korea
Prior art keywords
camera
rearview
scene
driver
cameras
Prior art date
Application number
KR1020207035268A
Other languages
Korean (ko)
Other versions
KR20210008503A (en
Inventor
앙투안 라싸뉴
마리 피에르 보시에르
로랑 텍시어
Original Assignee
르노 에스.아.에스.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 르노 에스.아.에스. filed Critical 르노 에스.아.에스.
Publication of KR20210008503A publication Critical patent/KR20210008503A/en
Application granted granted Critical
Publication of KR102490465B1 publication Critical patent/KR102490465B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/211—
    • B60K35/28—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/15—Output devices or features thereof
    • B60K2370/152—Displays
    • B60K2370/1531—Three-dimensional displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/16—Type of information
    • B60K2370/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/16—Type of information
    • B60K2370/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Abstract

본 발명은, 카메라의 시야에서, 후방 시야 미러의 정규 후방 시야에 대응하는 영역을 선택하는 것에 기초한, 차량용 카메라를 이용한 후방 시야 방법에 관한 것이며, 카메라의 다양한 시야를 함께 그룹화하여 구성된 장면을 스크린 상에서 운전자에게 재생성하기 위해 필요한 수정과 함께, 차량에 적응된 3차원 디지털 모델이 카메라로부터 구성된 후방 시야 장면 내로 삽입되며, 카메라로부터 구성된 장면에 대한 3차원 모델을 중첩함으로써 증강 현실 장면이 구성된다.The present invention relates to a rearview method using a vehicle camera, which is based on selecting, in the field of view of the camera, an area corresponding to the normal rearview of a rearview mirror, and a scene composed of grouping together the various fields of view of the camera is displayed on a screen. An adapted three-dimensional digital model of the vehicle, along with any necessary modifications to recreate it to the driver, is inserted into the rearview scene constructed from the camera, and the augmented reality scene is constructed by superimposing the three-dimensional model on the scene constructed from the camera.

Description

증강 현실 카메라를 사용한 후방 시야 방법 및 장치Method and apparatus for rear view using augmented reality camera

본 발명은 자동차에서 카메라를 이용한 후방 시야에 관한 것이다.The present invention relates to a rear view using a camera in a vehicle.

보다 구체적으로는 차량용 카메라를 사용하여 카메라 시야를 함께 그룹화하여 구성한 장면인, 화면을 통해 운전자에게 렌더링하는 후방 시야 방법에 관한 것이다.More specifically, it relates to a rearview method of rendering to the driver through a screen, which is a scene composed by grouping camera views together using a vehicle camera.

차량 내부에 리턴 스크린이 있는 디지털 후방 시야 카메라를 사용하면 기존 후방 시야보다 시야를 차량 외부 프로필에 맞게 조정할 수 있는 가능성이 더 커진다. 이러한 카메라는 특히 운전자가 차량의 후방과 측면에 넓은 시야를 확보하는 것을 보장한다. 그러나 일부 사람들에게 있어서 그것은 장애물의 가로 또는 세로 근접성, 상대 속도 등과 같은 화면 상에서의 상대적인 거리를 평가하는 것이 어렵다.The use of a digital rearview camera with a return screen inside the vehicle offers greater possibilities to adapt the field of view to the vehicle's exterior profile than conventional rearview cameras. These cameras in particular ensure that the driver has a wide view to the rear and sides of the vehicle. However, for some people it is difficult to evaluate relative distances on the screen, such as horizontal or vertical proximity of obstacles, relative speed, etc.

미러를 갖는 후방 시야 시스템은 운전자에게 차량의 윤곽과 내부 상황에 대한 프레임화된 외부 시야를 제공한다. 외부 후방 시야 미러에서는 차량의 날개 부분 또는 그것의 도어의 일부(예를 들어, 손잡이(handle))가 자주 보인다. 실내 후방 시야 미러에는 후방 유리와 머리 받침대가 보인다. 또한, 각각의 눈으로 이미지를 직접 볼 수 있기 때문에 미러 기술은 3차원의 풍경을 렌더링한다.A rearview system with mirrors provides the driver with a framed exterior view of the vehicle's contours and the situation inside. In the exterior rearview mirror, parts of the wing of the vehicle or parts of its doors (eg handles) are often visible. Interior rearview mirrors show the rear glass and head restraints. Also, since each eye can see the image directly, the mirror technology renders a three-dimensional landscape.

후방 시야 카메라는 사각을 제거하고 승객 또는 부피가 큰 물체에 의한 시야 제한을 제거한다. 그러나, 이 표현방식은 차량을 배치하고 거리를 추정하기 위한 시각적인 마커가 없어서, 운전자를 혼란스럽게 할 수 있다.A rearview camera eliminates blind spots and obstruction of vision by passengers or bulky objects. However, this representation may confuse the driver, as there are no visual markers for locating vehicles and estimating distances.

공개문서 FR 2 780 230을 통해, 차량의 엔진 제어 컴퓨터에 의해 제공되는 후방 시야 이미지 및 보완 정보를 하나의 그리고 동일한 화면에 전달하는 카메라를 사용한 후방 시야 장치가 알려져 있다. 이 장치는 후방 시야 이미지의 전체 또는 일부를 자동으로 선택하여 동적 프레이밍으로 화면 상에 추가 정보를 표시한다. 일부 운전 정보는 이미지에 삽입되지 않고 화면 상에 표시되어 이미지가 특정 표시 기호와 혼동될 위험을 제한하도록 한다. 그러나, 운전자에게는 자신의 환경에 대한 보조적인 마커가 없다. 여러 연구에서, 카메라를 사용하는 후방 시야 사용자가 겪는 어려움의 원인으로서, 렌더링된 이미지가 차량의 물체가 차지하는 공간(footprint) 또는 환경 내 그것의 위치와 관련된 마커가 제거 되었기 때문임을 강조하여 왔다.From published document FR 2 780 230, a rearview device using a camera is known which transmits a rearview image and supplementary information provided by the vehicle's engine control computer on one and the same screen. The device automatically selects all or part of the rearview image to display additional information on the screen with dynamic framing. Some driving information is displayed on the screen rather than embedded in the image to limit the risk of the image being confused with certain landmarks. However, drivers do not have auxiliary markers for their environment. Several studies have highlighted that a reason for the difficulty experienced by rearview users using cameras is that the rendered image has been stripped of markers related to the vehicle's footprint or its position in the environment.

본 발명은 카메라를 사용하는 공지된 후방 시야 시스템의 단점을 개선하는 것을 목표로 한다.The present invention aims to ameliorate the disadvantages of known rear vision systems that use cameras.

이를 위해, 본 발명은 차량의 후방 부분을 나타내는 상상적 요소(phantom elements)를 후방 시야 이미지 상에 생성하여 사용자가 미러를 사용한 기존의 후방 시야 시스템의 마커를 찾는데 도움을 주도록 하는 것을 제안한다.To this end, the present invention proposes to create on the rearview image phantom elements representing the rear part of the vehicle to assist the user in finding markers of existing rearview systems using mirrors.

이 결과는 증강 현실 내 물리적인 마커를 사용하여:This result using physical markers in augmented reality:

- 차량과 매칭된 3차원 디지털 모델이 카메라로부터 구성된 장면 내로 삽입되며,- A three-dimensional digital model matched with the vehicle is inserted from the camera into the constructed scene,

- 상기 카메라로부터 구성된 장면에 대한 3차원 모델을 중첩함으로써 증강 현실 장면을 구성함으로써 얻어진다.- Obtained by constructing an augmented reality scene by superimposing a three-dimensional model on the scene constructed from the camera.

상기 장치는 쌍으로 배치된, 후방 시야 카메라 세트(1), 각각의 카메라 세트에 특정한, 정적 또는 동적, 소프트웨어 마스크, 및 적어도 하나의 렌더링 스크린(2)을 포함한다. The device comprises a set of rearview cameras (1), arranged in pairs, static or dynamic, software masks, specific to each camera set, and at least one rendering screen (2).

본 발명은 첨부된 도면을 참조하여 비제한적인 실시예의 다음 설명을 읽으면 더 잘 이해될 것이다.
- 도 1은 차량에 내장된 카메라를 이용한 후방 시야 장치를 나타낸 도면이다.
- 도 2는 본 발명의 방법을 도시한다.
- 도 3은 얻어진 결과를 도시한다.The invention will be better understood upon reading the following description of non-limiting embodiments with reference to the accompanying drawings.
- Figure 1 is a view showing a rear view device using a camera built into a vehicle.
- Figure 2 shows the method of the present invention.
- Figure 3 shows the results obtained.

도 1에서, 측면 및 후면, 이중 카메라(1), 및 바람직하게는 자동입체방식(autostereoscopic) 이미지 렌더링 스크린 세트(2)를 사용하는 이미지 획득 시스템을 갖는 자동차가 개략적으로 표현된다. 관련 처리 수단은 후방 시야 시점 컴퓨터(A), 텍스처 및 배열의 3D 모델(3차원)의 메모리(B), 증강 현실 이미지 컴퓨터(C)(사용자에 의한 픽셀, 조명, 매개변수화), 및 화면에 그래픽을 배포하기 위한 그래픽 배포 장치(D)를 포함한다.In FIG. 1 , a motor vehicle is schematically represented with an image acquisition system using side and rear, dual cameras 1 , and preferably an autostereoscopic image rendering screen set 2 . Relevant processing means include a rear-view point-of-view computer (A), a memory (B) of 3D models (three-dimensional) of textures and arrangements, an augmented reality image computer (C) (pixels, lighting, parameterization by the user), and on-screen and a graphics distribution device (D) for distributing graphics.

이들 구성 요소를 사용하면 카메라를 사용하는 후방 시야 장치를 다음과 같이 구성할 수 있다:Using these components, a rearview device using a camera can be configured as follows:

- 쌍으로 배치된 후방 시야 카메라 세트(1), 예를 들어 2개의 후방 카메라 및 2개의 측면 카메라- a set (1) of rearview cameras arranged in pairs, e.g. 2 rear view cameras and 2 side cameras

- 각각의 카메라 세트에 특정한, 정적 또는 동적 소프트웨어 마스크- Static or dynamic software masks specific to each set of cameras

- 기존의 것(LCD, LED, TN)일 수 있지만 바람직하게는 자동입체방식(autostereoscopic)일 수 있는, 렌더링 스크린 세트(2)- a set of rendering screens (2), which may be conventional (LCD, LED, TN), but may preferably be autostereoscopic;

- 사용자 매개변수화 인터페이스, 그리고 가능하다면- a user-parameterized interface, and possibly

- 운전자의 눈 위치를 획득하는 시스템.- A system that acquires the driver's eye position.

상기 마스크의 목적은 운전자에게 카메라의 시야에 대한 인덱스를 제공하기 위해 후방 시야 미러에 일반적으로 표시되는 몇 가지 마커(후방 창, 후방 머리 받침대, 날개, 손잡이 등)를 후방 시야에 추가하는 것이다. 이 시스템은 또한 공간 인식을 극대화하기 위해 3차원 보기도 제공한다. 본 발명의 맥락에서, 소프트웨어 마스크는 바람직하게는 카메라 이미지의 스트림에 정보를 중첩하기 위해 적용되는 그래픽 오버레이(graphic overlay)이다. 카메라로부터의 실제 이미지 스트림 상에 마커와 같은 가상 요소를 적용하면 촬영중인 장면의 사실성을 강화하여 인식이 향상된다.The purpose of the mask is to add to the rearview a few markers (rear windows, rear head restraints, wings, handles, etc.) normally displayed on the rearview mirror to give the driver an index into the camera's field of view. The system also provides a three-dimensional view to maximize spatial perception. In the context of the present invention, a software mask is preferably a graphic overlay applied to superimpose information on a stream of camera images. Applying virtual elements such as markers on the real image stream from the camera enhances perception by enhancing the realism of the scene being shot.

제안된 후방 시야 방법은, 카메라의 시야 내에서의, 후방 시야 미러의 일반적인 후방 시야에 대응하는 구역의 선택에 의존한다. 카메라 뷰는 카메라의 다른 뷰를 함께 그룹화하여 구성된 장면을 스크린 상에서 운전자에게 렌더링하는 데 필요한 수정을 받는다.The proposed rearview method relies on the selection of an area within the camera's field of view that corresponds to the general rearview of the rearview mirror. The camera view receives the necessary modifications to render the scene to the driver on the screen, which is composed by grouping the different views of the camera together.

본 발명은 차량의 몇 개의 마커를 외부 장면의 이미지에 중첩하는 것을 제안한다. 마스크는 사용자에게 카메라를 사용하고 미러를 사용하는 후방 시야의 총체적인 이점을 각각의 단점없이 제공한다. 마스크 덕분에, 후방 시야 장치는 사각이 없고 차량의 물체 또는 탑승자에 의한 시야를 가리지 않은 채 차량의 물리적인 마커로 이를 풍부하게 하면서도 외부 환경의 완전한 장면을 렌더링하여 공간 지각을 용이하게 한다.The present invention proposes superimposing several markers of the vehicle onto an image of an exterior scene. The mask gives the user the total benefits of rear vision using a camera and using a mirror, without the disadvantages of each. Thanks to the mask, the rearview device facilitates spatial perception by rendering a complete scene of the external environment without blind spots and without obscuring the view by objects in the vehicle or occupants, enriching it with physical markers on the vehicle.

요약하자면, 본 발명은 차량에 매칭된 3차원 디지털 모델을 카메라로부터 구성된 장면에 삽입하고, 카메라로부터 구성된 장면에 3차원 모델을 중첩하여 증강 현실 장면을 구성하는 것을 제공한다. 상기 장치는:In summary, the present invention provides for constructing an augmented reality scene by inserting a three-dimensional digital model matched to a vehicle into a scene constructed from a camera, and superimposing the three-dimensional model on the scene constructed from a camera. The device is:

- 쌍으로 배치된, 후방 시야 카메라 세트(1),- a set (1) of rearview cameras, arranged in pairs;

- 각각의 카메라 세트에 특정한, 정적 또는 동적, 소프트웨어 마스크- Static or dynamic, software masks specific to each set of cameras

- 적어도 하나의 렌더링 스크린을 포함한다. - contains at least one rendering screen;

"자동입체방식 3D" 기술을 통해 운전자는 3D 안경과 같은 특정 장비 없이도 3차원으로 삽입된 요소를 직접 볼 수 있다. 3차원 렌더링으로 보장되는 피사계 심도는 공간 인식을 강화하는데 도움이 된다."Autostereoscopic 3D" technology allows the driver to directly view the inserted elements in three dimensions without the need for special equipment such as 3D glasses. The depth of field guaranteed by the three-dimensional rendering helps enhance spatial perception.

카메라는 유리하게는 차량의 일반적인 위치에 배치될 수 있다. 카메라는 쌍으로 배치되고, 대략적으로 65 mm 간격으로 배치되는데, 이는 해당 거리가 두 눈 사이의 평균 간격에 해당하고 입체 이미지(stereoscopic image)를 사용자에게 렌더링할 수 있기 때문이다.The camera can advantageously be placed in a general location of the vehicle. The cameras are arranged in pairs, spaced approximately 65 mm apart, since that distance corresponds to the average distance between the two eyes and can render a stereoscopic image to the user.

본 발명의 구현에 기여하는 다른 자원은 다음과 같다:Other resources contributing to the implementation of the present invention are:

- 차량의 텍스쳐 디지털 모델(textured digital models)을 포함하는 내부 메모리로서, 후방 시야에 중첩될 수 있는, 내부 메모리;- an internal memory containing textured digital models of the vehicle, which can be superimposed on the rear view;

- 디지털 모델 위치 컴퓨터로서, 이미지와 매칭되도록 운전자의 눈을 위치시키기 위한 시스템과 협업할 수 있는, 디지털 모델 위치 컴퓨터;- a digital model position computer, capable of cooperating with a system for positioning the driver's eyes to match the image;

- 그림자, 주변 밝기, 입사광 등 장면의 현실감을 높이기 위해 실시간 연산을 사용하거나 사용하지 않고 충분한 해상도로 디지털 모델을 3D로 표시할 수 있는 그래픽 유닛(graphics unit).- A graphics unit capable of displaying a digital model in 3D at sufficient resolution, with or without real-time computations to increase the realism of a scene, such as shadows, ambient light, and incident light.

마스크는 지속적으로 리프레싱(refreshing)을 통해 실시간으로 생성된다. 그것은 여러 단계로 이미지에 적용된다.The mask is generated in real time through continuous refreshing. It is applied to the image in several stages.

제1 단계는 프레이밍(framing)이다. 그것은, 현장에서, 후방 시야 미러의 일반적인 후방 시야에 해당하는 영역을 선택하는 것으로 구성되며, 가능하다면 개관(overview)을 형성하는데 필요한 경우 그것에 특정 변형을 적용함으로써 선택하는 것으로 구성된다.The first step is framing. It consists, in situ, in selecting an area corresponding to the general rearview of the rearview mirror, and possibly by applying certain deformations to it if necessary to form an overview.

제2 단계는 모델의 획득이다. 차량과 매칭되는 디지털 모델을 배치하고 이를 카메라로 구성된 장면에 삽입하는 것으로 구성된다. 일반적으로, 필요한 모델은 머리 받침대, 문 등이다.The second step is the acquisition of the model. It consists of placing a digital model that matches the vehicle and inserting it into a scene composed of cameras. Typically, the models needed are headrests, doors, etc.

증강 현실 장면 구성의 제3 단계는 카메라의 그것에 겹쳐진 3D 모델의 렌더링을 수행하는 것으로 구성된다. 이를 위해, 컴퓨터는 사용자에 의해 선택된 매개변수화 및 헤드 위치(중간 위치 또는 차량에 눈 위치 확인 시스템 옵션이 구비된 경우 정확한 위치)를 고려한다.The third stage of augmented reality scene construction consists in performing a rendering of the 3D model superimposed on that of the camera. To do this, the computer takes into account the parameterization selected by the user and the head position (intermediate position or exact position if the vehicle is equipped with an eye positioning system option).

리턴 스크린은 특별한 안경이나 기타 액세서리 없이 콘텐츠를 3차원으로 표시하기 위해, 바람직하게는 자동입체방식이다.The return screen is preferably autostereoscopic to display content in three dimensions without the need for special glasses or other accessories.

인터페이스는 운전자의 대시 보드에서 사용할 수 있다. 이를 통해 디지털 인서트의 투명도 또는 기계식 인서트의 수량을 설정하여 후방 시야를 매개변수화할 수 있다. 설정 인터페이스는 유리하게는 기존의 네비게이션 안내 콘솔의 소프트웨어에 통합될 수 있다. 콘솔에 터치 스크린이 있는 경우, 그것은 설정을 용이하게 한다.The interface is available on the driver's dashboard. This allows the rearview to be parameterized by setting the transparency of digital inserts or the quantity of mechanical inserts. The settings interface can advantageously be integrated into the software of an existing navigation guidance console. If the console has a touch screen, it facilitates setup.

"동적 투명성" 실시예로 불리는, 본 발명의 특정 실시예에서, 인서트의 투명성은 외부 환경, 예를 들어 잠재적으로 마스킹된 구역에서의 차량의 존재, 현재 주차된 차량의 존재 등에 따라 달라진다. 마지막으로, 입체시 깊이(depth of stereoscopy)도 설정할 수 있는 것이 바람직하다.In certain embodiments of the present invention, referred to as “dynamic transparency” embodiments, the transparency of the insert varies depending on the external environment, eg the presence of vehicles in potentially masked areas, the presence of currently parked vehicles, and the like. Finally, it is desirable to be able to set the depth of stereoscopy as well.

이미지에 마스크를 중첩하면 해당 영역에서의 이미지의 투명도가 감소한다. 밝기의 억제는 부분적이거나 전체적일 수 있다. 도 3은 예를 들어 후방 카메라와 2개의 측면 카메라에 의한 시야로부터 구성된 이미지를 보여준다. 제1 모습(I1)에서, 소프트웨어 마스크가 이미지에 나타나지 않는다(전체 표면에 대한 100% 투명도). 제2 모습(I2)에서, 마스크는 해당 영역에서 이미지의 투명도를 60% 감소시킨다. 제3 모습(I3)에서, 이 감소는 80% 이다.Superimposing a mask on an image reduces the transparency of the image in that area. The suppression of brightness can be partial or total. Figure 3 shows an image constructed from the field of view by, for example, a rear camera and two side cameras. In the first view (I1), the software mask does not appear in the image (100% transparency over the entire surface). In the second aspect I2, the mask reduces the transparency of the image by 60% in that area. In the third aspect (I3), this reduction is 80%.

본 발명은 사각을 제거하고 안전성을 향상시킨다. 기존 카메라 시스템과 비교하여, 본 발명은 운전자의 학습 및 제어 단계를 용이하게 한다. 눈의 위치확인은 선택 사항인데, 이는 단지 중앙값을 사용하는 것이 가능하기 때문이다. 마지막으로, 본 발명의 적용은 자동차에 제한되지 않는다. 카메라를 사용하는 다른 운송 수단에도 큰 관심이 있다.The present invention eliminates blind spots and improves safety. Compared with existing camera systems, the present invention facilitates the driver's learning and control steps. Eye positioning is optional, as it is possible to use only the median. Finally, the application of the present invention is not limited to automobiles. There is also great interest in other modes of transportation that use cameras.

Claims (7)

차량용 카메라를 사용한 후방 시야 방법으로서,
후방 시야 미러의 일반적인 관찰 영역에서 카메라 시야를 함께 그룹화하여 구성된 장면을 화면 상에서 운전자에게 렌더링하고,
차량과 매칭된 3차원 디지털 모델이 카메라로부터 구성된 후방 시야 장면 내로 삽입되며,
사용자에 의해 선택된 파라미터화 및 운전자의 눈 위치를 획득하기 위한 시스템에 의한 사용자의 머리의 위치를 고려하여 상기 카메라로부터 구성된 장면에 대한 3차원 모델을 중첩함으로써 증강 현실 장면이 구성되고,
이미지에 중첩된 마스크가 해당 영역에서의 상기 이미지의 투명도를 감소시키는, 방법.As a rear view method using a vehicle camera,
rendering to the driver on the screen a scene composed by grouping together camera views in the common viewing area of the rearview mirror;
A three-dimensional digital model matched to the vehicle is inserted from the camera into the constructed rearview scene,
an augmented reality scene is constructed by superimposing a three-dimensional model on the scene constructed from the camera taking into account the parameterization selected by the user and the position of the user's head by the system for obtaining the driver's eye position;
A method, wherein a mask superimposed on an image reduces the transparency of the image in that region. 청구항 1에 있어서,
- 카메라에 의한 3 차원 이미지 스트림 획득, 운전자의 시점의 선택 및 프레이밍(framing);
- 증강 현실 장면의 구성; 및
- 렌더링 화면에 3차원으로 표시를 포함하는, 방법.The method of claim 1,
- Acquisition of three-dimensional image stream by camera, selection and framing of the driver's viewpoint;
- construction of augmented reality scenes; and
- A method comprising displaying in three dimensions on a rendering screen. 삭제delete 청구항 1 또는 청구항 2에 따른 방법을 구현하기 위한 카메라를 사용한 후방 시야 장치로서,
- 쌍으로 배치된, 후방 시야 카메라 세트(1),
- 각각의 카메라 세트에 특정한, 정적 또는 동적, 소프트웨어 마스크
- 적어도 하나의 렌더링 스크린, 및
- 사용자를 위한 파라미터화 인터페이스를 포함하는, 장치. A rear vision device using a camera for implementing the method according to claim 1 or claim 2,
- a set (1) of rearview cameras, arranged in pairs;
- Static or dynamic, software masks specific to each set of cameras
- at least one rendering screen, and
- A device, comprising a parameterization interface for the user. 청구항 4에 있어서,
상기 렌더링 스크린은 자동입체방식(autostereoscopic)인, 장치.The method of claim 4,
wherein the rendering screen is autostereoscopic. 청구항 4에 있어서,
상기 장치는 운전자의 눈 위치를 획득하기 위한 시스템을 포함하는, 장치.The method of claim 4,
The apparatus of claim 1 , wherein the apparatus comprises a system for obtaining a driver's eye position. 청구항 4에 있어서,
상기 장치는 한 쌍의 후방 카메라 및 한 쌍의 측면 카메라를 포함하는, 장치.The method of claim 4,
wherein the device includes a pair of rear view cameras and a pair of side cameras.
KR1020207035268A 2018-05-15 2019-04-02 Method and apparatus for rear view using augmented reality camera KR102490465B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1854057 2018-05-15
FR1854057A FR3081250B1 (en) 2018-05-15 2018-05-15 PROCESS AND DEVICE FOR FEEDBACK BY AUGMENTED REALITY CAMERAS
PCT/EP2019/058316 WO2019219288A1 (en) 2018-05-15 2019-04-02 Rear view method and device using augmented reality cameras

Publications (2)

Publication Number Publication Date
KR20210008503A KR20210008503A (en) 2021-01-22
KR102490465B1 true KR102490465B1 (en) 2023-01-20

Family

ID=63722482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035268A KR102490465B1 (en) 2018-05-15 2019-04-02 Method and apparatus for rear view using augmented reality camera

Country Status (5)

Country Link
EP (1) EP3794563A1 (en)
KR (1) KR102490465B1 (en)
CN (1) CN112204626A (en)
FR (1) FR3081250B1 (en)
WO (1) WO2019219288A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419949B (en) * 2022-01-13 2022-12-06 武汉未来幻影科技有限公司 Automobile rearview mirror image reconstruction method and rearview mirror
WO2024043588A1 (en) * 2022-08-26 2024-02-29 엘지전자 주식회사 Device for providing augmented reality information on basis of digital mirror and method for controlling device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015168271A (en) 2014-03-04 2015-09-28 サカエ理研工業株式会社 Room mirror, vehicle dead angle support device using the room mirror and adjustment method of display image of the room mirror or vehicle dead angle support device
US20160350974A1 (en) * 2014-01-10 2016-12-01 Aisin Seiki Kabushiki Kaisha Image display control device and image display system
WO2017200950A1 (en) * 2016-05-19 2017-11-23 Reald Spark, Llc Wide angle imaging directional backlights
JP2018052215A (en) 2016-09-27 2018-04-05 株式会社東海理化電機製作所 Visual recognition device for vehicle and visual recognition image display method for vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
FR2780230B1 (en) 1998-06-18 2000-08-25 Renault MAIN REVIEW DEVICE FOR A MOTOR VEHICLE
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
KR101544524B1 (en) * 2010-12-16 2015-08-17 한국전자통신연구원 Display system for augmented reality in vehicle, and method for the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350974A1 (en) * 2014-01-10 2016-12-01 Aisin Seiki Kabushiki Kaisha Image display control device and image display system
JP2015168271A (en) 2014-03-04 2015-09-28 サカエ理研工業株式会社 Room mirror, vehicle dead angle support device using the room mirror and adjustment method of display image of the room mirror or vehicle dead angle support device
WO2017200950A1 (en) * 2016-05-19 2017-11-23 Reald Spark, Llc Wide angle imaging directional backlights
JP2018052215A (en) 2016-09-27 2018-04-05 株式会社東海理化電機製作所 Visual recognition device for vehicle and visual recognition image display method for vehicle

Also Published As

Publication number Publication date
CN112204626A (en) 2021-01-08
WO2019219288A1 (en) 2019-11-21
FR3081250A1 (en) 2019-11-22
EP3794563A1 (en) 2021-03-24
KR20210008503A (en) 2021-01-22
FR3081250B1 (en) 2021-08-13

Similar Documents

Publication Publication Date Title
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
JP4323377B2 (en) Image display device
CN104883554B (en) The method and system of live video is shown by virtually having an X-rayed instrument cluster
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
WO2016102304A1 (en) Method for presenting an image overlay element in an image with 3d information, driver assistance system and motor vehicle
US20150325052A1 (en) Image superposition of virtual objects in a camera image
KR102490465B1 (en) Method and apparatus for rear view using augmented reality camera
WO2018100377A1 (en) Multi-dimensional display
US20220185183A1 (en) Periphery-image display device and display control method
WO2020139469A1 (en) Real-time, three-dimensional vehicle display
US20180334101A1 (en) Simulated mirror or remote view display via transparent display system and method
US11813988B2 (en) Image processing apparatus, image processing method, and image processing system
CN112703527A (en) Head-up display (HUD) content control system and method
CN109764888A (en) Display system and display methods
TW201605247A (en) Image processing system and method
US11106045B2 (en) Display system, movable object, and design method
JP2005269010A (en) Image creating device, program and method
CN108983963B (en) Vehicle virtual reality system model establishing method and system
KR101611167B1 (en) Driving one's view support device
US5880734A (en) Peripheral vision simulator for immersive 3D virtual environments
US20220072957A1 (en) Method for Depicting a Virtual Element
US20180316868A1 (en) Rear view display object referents system and method
CN115061565A (en) Method and device for adjusting display equipment
Tasaki et al. Depth Perception Control during Car Vibration by Hidden Images on Monocular Head-Up Display

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant