KR102034189B1 - 차량 주변 환경을 시각화하는 방법과 장치 - Google Patents

차량 주변 환경을 시각화하는 방법과 장치 Download PDF

Info

Publication number
KR102034189B1
KR102034189B1 KR1020147019760A KR20147019760A KR102034189B1 KR 102034189 B1 KR102034189 B1 KR 102034189B1 KR 1020147019760 A KR1020147019760 A KR 1020147019760A KR 20147019760 A KR20147019760 A KR 20147019760A KR 102034189 B1 KR102034189 B1 KR 102034189B1
Authority
KR
South Korea
Prior art keywords
vehicle
environment
virtual view
video image
sensor
Prior art date
Application number
KR1020147019760A
Other languages
English (en)
Other versions
KR20140114373A (ko
Inventor
외르크 헥켈
클라우스 마르베르거
홀거 밀렌츠
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20140114373A publication Critical patent/KR20140114373A/ko
Application granted granted Critical
Publication of KR102034189B1 publication Critical patent/KR102034189B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B60K35/28—
    • B60K35/85—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B60K2360/176—
    • B60K2360/592—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

본 발명은 차량(1)의 주변 환경을 시각화하는 방법에 관한 것으로서, 상기 방법은, 하나 이상의 센서를 이용하여 차량(1)과 차량 주변 환경에 있는 장애물들(6, 60, 61, 62, 63, 64, 65, 66) 간의 현재 거리를 검출하고 저장하는 단계와, 차량의 현재 위치를 검출하여 저장하는 단계와, 저장된 데이터로부터 적어도 2차원 환경 모델을 계산하는 단계와, 선택된 가상의 관찰자 위치(3)에서 바라본 환경 모델의 가상 뷰(30)를 계산하는 단계와, 하나 이상의 비디오 카메라(2)를 이용하여 주변 환경의 적어도 일부의 비디오 영상을 기록하여 이 비디오 영상(20)을 가상 뷰(30)에 통합하는 단계와, 상기 비디오 영상이 통합된 가상 뷰를 차량(1) 운전자에게 출력하는 단계를 포함한다.

Description

차량 주변 환경을 시각화하는 방법과 장치{METHOD AND DEVICE FOR VISUALIZING THE SURROUNDINGS OF A VEHICLE}
본 발명은 차량 주변 환경의 증강 디스플레이에 관한 것이다. 이러한 증강 현실(Augmented Reality) 기술에서 언급되는 개념에서는 관찰자에 의해 감지된 현실에 위치 관련 부가 정보가 혼합된다. 차량에서 이러한 기술을 구현하기 위해, 대개 카메라가 차량 주변 환경의 실시간 비디오 영상을 생성하고, 이 영상은 운전자에게 대응 출력 장치를 통해 표시된다. 이 경우, 상기 영상에는 운전자를 지원하기 위한 부가 정보들이 표시된다. 이러한 부가 정보는 예컨대 현재 조향각에서 예상되는 주행 경로의 시각화 또는 장애물의 강조 표시일 수 있다. 특히 좁은 통로에서 또는 주차 과정에서 이러한 시스템이 매우 유용할 수 있다.
그러나 카메라의 제한된 개방각(통상 50°미만) 때문에 차량 주변 환경의 제한된 영역만 시각화될 수 있다는 문제가 있다. 특히 차량의 근거리 영역은 이러한 시스템으로 파악될 수 없는 경우가 많다. 물론 이러한 경우에도 운전자에게 정보를 전달할 수 있도록 하기 위해서는, 근거리 영역에서 차량의 정확한 환경 모델을 이용하는 것이 바람직하다.
선행 기술에 공지된 DE 10 2008 036 009 A1호는 차량 주변 환경을 측정하는 방법을 설명하고 있다. 상세히 규정되지 않은 복수의 센서들을 이용하여 차량의 근거리 영역이 검출되고, 그렇게 획득한 데이터에 근거해 환경 맵이 생성되며, 이러한 환경 맵 내에서 차량이 가상으로 움직이다. 시각화로서 예컨대 조감도에 기반한 생성 공간의 표시가 제안된다. 또한, 상기 맵 내에는 예컨대 선행 충돌들 또는 주행 경로의 표시와 같은 중요한 정보들이 시각화될 수 있다. 그러나 차량 주변 환경의 원거리 영역의 시각화는 실시되지 않는다.
DE 10 2009 005 566 A1호는 근거리 센서, 예컨대 초음파 센서의 신호와 비디오 카메라의 신호를 결합하는 방법을 설명하고 있다. 이를 위해, 비디오 카메라를 이용하여 근거리 센서로 측정될 수 있는 차량 주변 환경 내 객체들이 검출된다. 그럼으로써 차량의 3차원 환경 맵 내에 임의의 객체가 등록될 수 있다. 이어서 상기 맵은 다른 애플리케이션들을 위해, 예컨대 주차 시 운전자를 보조하기 위해 사용될 수 있다. 그러나 이 공보에서는 시각화를 자세히 다루고 있지 않다.
DE 10 2009 005 505 A1호는 가상의 카메라 위치에서 차량의 주변 환경 영상을 생성하는 방법을 설명하고 있는데, 상기 방법에서는 카메라 퍼스펙티브(camera perspective)의 영상이 가상의 카메라 위치로 환산된다. 이를 위해, 복수의 카메라로 차량의 근거리 영역이 검출된 후 3D 모델과 결합되어, 카메라의 퍼스펙티브 왜곡이 평활화될 수 있다. 3D 모델 역시 마찬가지로 상기 카메라를 이용하여 획득되며, 이때 모션 기반 스테레오 (stereo-from-motion) 원리에 기초한다. 이로써, 예컨대 조감도 위치에서 바라본 운전자 차량의 전체 근거리 영역의 비디오 영상이 운전자에게 표시될 수 있다.
그러나 전술한 선행 기술은, 차량의 근거리 영역만 시각화되고 원거리 영역은 고려되지 않는다는 단점이 있다. 또한, 처음 두 가지 경우에서처럼 운전자에게 주변 환경의 비디오 영상이 표시되지 않는다. 그러나 비디오 영상은 많은 정보를 담고 있고, 운전자에게 합성 모델보다 더 직관적으로 이해될 수 있다는 점에서 유용하다. 세 번째 모델은 복수의 카메라를 이용하는 방법을 공개하고 있으나, 이는 차량의 제조 복잡도와 비용을 높인다. 인용된 선행 기술들 중 어느 것도, 인위적으로 렌더링된 환경 모델들과 광 환경 센서의 영상 데이터 간에 시점적으로 연속되는 전환을 바람직하게 사용할 수 있는 가능성을 논하고 있지 않다.
차량 주변 환경을 시각화하기 위한 본 발명에 따른 방법은 독립항인 제1항의 특징들의 조합을 통해 선행 기술의 단점들에 대처한다. 차량 운전자에게 풍부한 환경 정보를 직관적으로 그리고 명확하게 표현하기 위해, 합성 환경 모델과 실시간 비디오 영상으로 이루어진 2분할 디스플레이가 생성된다. 환경 모델을 생성하기 위해, 우선 차량과 주변 환경 내 장애물들 간의 헌재 거리가 검출된다. 동시에 차량의 현재 위치가 결정되어, 상기 거리 정보와 함께 중간 저장된다. 복수의 저장된 위치 및 거리 데이터로부터 이제 차량 주변 환경 모델이 계산될 수 있으며, 이는 사용되는 거리 센서의 유형에 따라 2차원 모델 또는 3차원 모델이 될 수 있다. 이러한 환경 모델의 장점은, 상기 환경 모델이 다양한 가상 위치들에서 관찰될 수 있다는 점이다. 즉, (예컨대 운전자에 의해) 특정 가상 관찰자 위치가 정해지면, 상기 관찰자 위치에서 바라본 환경 모델의 가상 뷰가 계산된다. 이와 같은 방식으로 예컨대 주변 환경의 평면도(top view)가 생성될 수 있다. 이 환경 모델에 추가로, 환경의 일부가 적어도 1개의, 바람직하게는 정확히 1개의 비디오 카메라를 이용하여 검출된다. 이와 같이 생성된 비디오 영상이 가상 뷰의 적정 위치에 통합됨에 따라, 운전자에게는 다음과 같은 차량 주변 환경의 포괄적 영상이 표시될 수 있다. 즉, 비디오 카메라의 검출 영역 내에서 운전자는 주변 환경의 실시간 비디오 영상을 보는 반면, 비디오 카메라의 검출 영역 밖에서는 합성된 환경 모델을 본다. 그럼으로써 주변 환경의 비디오 영상에 부가하여, 비디오 카메라의 검출 영역 내에는 직접적으로 존재하지 않는 장애물들에 관한 정보도 운전자에게 제공된다.
종합해볼 때, 본 발명에 따른 방법을 이용하면 비디오 카메라에 의해 검출되는 것보다 더 많은 환경 부분이 표시될 수 있다. 그러므로 개방각이 작은 비디오 센서도 사용할 수 있다. 또한, 작성된 3차원 환경 모델을 퍼스펙티브 왜곡의 평활화를 위해 이용하는 점이 바람직하다.
특히, 가상 뷰는 2분할 디스플레이를 포함하며, 그에 따라 엔진 룸과 객실 사이의 전환부 높이에 다양한 뷰들로의 분할을 가능하게 하는 인공 수평기(artificial horizon)가 놓인다. 즉, 예컨대 인공 수평기는 전방 감시 카메라의 영상과 합성 조감도 간에 구획을 나눌 수 있다.
종속항들은 본 발명의 바람직한 실시예들을 보여준다.
바람직하게는 차량과 장애물들 간 거리가 광 센서들에 의해 검출된다. 이때, 이들 센서는 수동 센서(모노 및 스테레오 비디오) 또는 능동 센서 시스템[레이저 스캐너, 레이저 이미저, PMD(photonic mixing device, 비행 시간법(Time-of-Flight)에 따른 광 센서), 플러시 라이더(flush-lidar)]일 수 있다.
또한, 차량 주변 환경 내 장애물들까지의 거리 데이터는 비디오 카메라의 신호들로부터 획득되는 것이 바람직하다. 이는 비디오 카메라가 2가지 과제를 충족해야 함을 의미한다. 비디오 카메라는 한편으로 [예컨대 SFM(structure from motion) 방법에 따라 또는 비디오 카메라가 스테레오 카메라인 경우] 거리 센서로서 이용되고, 다른 한편으로는 표시될 비디오 신호에 대한 공급자로서 이용된다. 그러므로 환경 모델을 결정하기 위해, 이 비디오 카메라 외에 또 다른 센서 장치가 불필요하다.
바람직하게는 차량의 위치가 절대 위치로서 또는 이미 저장된 위치에 대한 상대 위치로서 측정된다. 상대 위치를 결정하기 위해, 주행 기록계(odometry)가 제공되며, 이는 위치 결정 과정을 매우 간소화한다. 절대 위치가 측정되어야 하는 경우, 위치 결정 방법의 충분한 정확도에 유의해야 한다. 예컨대, 이 경우 DGPS가 이용될 수 있다.
또 다른 한 바람직한 실시예에서는 환경 모델의 가상의 관찰자 위치가 차량 운전자에 의해 정해진다. 따라서 차량 운전자는 차량 주변 환경 내에서 관찰 방식 및 시점(perspective)을 변경시켜 장애물들의 시각화를 개별적으로 형성할 수 있다. 대안으로서, 가상의 관찰자 위치가 컴퓨터 유닛에 의해 자동으로 결정되어 디스플레이 장치에 표시될 수 있다. 결과적으로, 선택된 가상의 관찰자 위치에 기반하여 환경 모델의 가상 뷰가 계산되고, 그에 상응하게 비디오 영상이 조정됨으로써 가상 뷰 내에 경계선 없이 삽입될 수 있다.
그 외에도, 현재 주행 파라미터들이 가상 뷰에 통합되는 것이 바람직하다. 현재 주행 파라미터는 예컨대 주차장 가는 경로 또는 충돌에 임박한 객체일 수 있으며, 상기 객체 또는 경로가 현재 비디오 카메라에 의해 검출되는지의 여부는 중요하지 않다. 합성 환경 모델의 시각화는 비디오 카메라의 검출 영역 밖 객체들에 대한 경고도 가능케 한다. 환경 모델의 시각화 및 비디오 영상은 공통 좌표계를 이용하기 때문에, 그러한 부가 정보들 역시 두 영역 모두에 경계선 없이 놓일 수 있다. 이와 같은 방식으로 예컨대 주차 중에 인지된 기둥도, 이 기둥이 카메라의 가시 범위를 벗어난 경우라도, "모니터링"될 수 있다.
추가로, 본 발명은 제7항의 특징들을 가진, 차량 주변 환경을 시각화하는 장치에 관한 것이다. 이 장치는 차량과 장애물들 간 거리를 검출하는 하나 이상의 센서와, 차량의 현재 위치를 검출하는 하나 이상의 센서를 포함한다. 또한, 위치 데이터와 거리 데이터가 저장되는 저장 장치가 제공된다. 그 외에도, 주변 환경 중 적어도 일부를 검출하여 이 데이터를 컴퓨터 장치에 전송하는 비디오 카메라가 사용된다. 컴퓨터 장치는 저장된 차량 위치 데이터 및 장애물들의 거리 데이터, 그리고 비디오 카메라의 신호들에 기반하여, 출력 장치를 통해 운전자에게 표시될 주변 환경의 시각화를 생성한다. 이를 위해 컴퓨터 장치는 저장된 위치 및 거리 데이터에 근거해 환경 모델을 계산한다. 가상의 관찰자 위치가 선택되면, 컴퓨터 장치는 계속해서 선택된 가상의 관찰자 위치에서 바라본 환경 모델의 가상 뷰를 검출한다. 끝으로, 컴퓨터 장치는 비디오 카메라의 신호들을 가상 뷰에 통합한다. 그러므로 본 발명에 따른 장치로 본 발명에 따른 방법이 이상적으로 수행될 수 있다.
바람직하게는 차량과 장애물들 간 거리를 검출하는 하나 이상의 센서로서 수동 광 센서(모노 및 스테레오 비디오) 또는 능동 광 센서 시스템[레이저 스캐너, 레이저 이미저, PMD, 플래시 라이더(flash lidar)]이 사용된다.
바람직하게는 상기 센서가 차량과 장애물들 간 거리를 검출하기 위해 비디오 카메라를 포함하며, 상기 비디오 카메라는 따라서 2가지 과제를 충족해야 한다. 그 중 하나는 차량 주변 환경 내에 있는 장애물까지의 거리 정보를 (예컨대 SFM 기법 또는 스테레오 비디오 기법에 따라) 제공하는 것이고, 다른 하나는 표시하려는 비디오 신호를 제공하는 것이다. 그로 인해 별도의 거리 센서 장치가 불필요하며, 이는 본 발명에 따른 장치의 구조를 훨씬 간소화한다.
그 외에도, 본 발명에 따른 장치를 포함하거나 본 발명에 따른 방법을 수행하도록 설치된 차량을 공개한다.
또한, 카메라에 의해 기록된 비디오 영상은 디스플레이 화면을 위해 처리되는 것이 바람직하다. 이러한 방식으로 디스플레이 화면이 가상의 주변 환경을 보여주는 시야각에 맞추어 조정될 수 있음으로써, 시점 방해가 발생하지 않는다.
하기에서, 첨부 도면을 참고하여 본 발명의 실시예들을 상술한다.
도 1은 선행 기술에 따른 차량 주변 환경의 시각화를 나타낸 도이다.
도 2는 본 발명의 제1 실시예에 따른 차량 주변 환경의 시각화에 관한 제1 실시예를 나타낸 도이다.
도 3은 본 발명의 제1 실시예에 따른 차량 주변 환경의 시각화에 관한 제2 실시예를 나타내는 도이다.
도 4는 제1 시점에서 좁은 도로를 통과할 때 본 발명의 제2 실시예에 따른 차량 주변 환경의 시각화를 나타낸 도이다.
도 5는 제2 시점에서 좁은 도로를 통과할 때 본 발명의 제2 실시예에 따른 차량 주변 환경의 시각화를 나타낸 도이다.
도 1에는 제한된 시야각에서 카메라(2)에 의해 검출된 주변 환경의 일반적인 투시 비디오 영상(20)이 도시되어 있다.
도 2와 도 3은 본 발명의 제1 실시예를 설명하고 있다. 상기 도면들에서 카메라(2)가 장착된 차량(1)을 볼 수 있다. 본 발명에 따르면 상기 카메라는 2가지 기능을 충족한다: 한편으로는 주변 환경에 대한 비디오 영상(20)만 표시될 수 있고, 다른 한 편으로는 모션 기반 스테레오 기법을 이용하여 차량 주변 환경 내 장애물들(6)까지의 거리가 검출될 수 있다. 그러므로 상기 카메라가 거리 센서로도 이용됨으로써 차량의 3차원 환경 모델이 계산될 수 있다. 또한, 이 환경 모델은 주변 환경을 관찰하는 가상의 관찰자 위치(3)(도 2 및 도 3 참조)를 정할 수 있게 해준다. 따라서 예컨대 평면 뷰 시점(위에서 수직 방향으로 내려다본 뷰)으로부터 운전자 시점으로의 연속 전이를 표시하는 디스플레이 화면(30)이 생성될 수 있다(도 2 참조). 또 다른 한 방법은, 조감 시점에서 근거리 영역과 원거리 영역을 중앙 투시법으로 표현하는 것이다(도 3 참조). 이때, 디스플레이 화면의 제1 부분(40)은 환경 모델에 근거한 재구성에 기반한다. 이는 카메라(2)로 볼 수 없는 환경 영역(4)에 상응한다. 디스플레이 화면의 제2 부분(50)은 비디오 카메라의 신호들에 기반한다. 이는 카메라로 볼 수 있는 환경 영역(5)에 상응한다. 언급한 두 투시도에서 비디오 영상(20)이 주변 환경에 상응하게 변환됨에 따라, 상기 비디오 영상은 환경 모델에 근거해 계산된 뷰에 연속으로 퍼스펙티브 왜곡 없이 부가될 수 있다.
도 4와 도 5에는 좁은 도로를 주행하는 차량(1)이 도시되어 있다. 이 도로는 좌측 3대의 차량(60, 62 및 64) 및 우측 3대의 차량(61, 63 및 65), 그리고 몇몇 추가 컨테이너(66)로 형성된다. 차량(1)이 통과하는 동안 제2 실시예에 따른 본 발명의 방법으로 주변 환경이 시각화된다. 예컨대 3개의 영상, 즉 카메라(2)에 의해 상이한 시점에 기록된 제1 영상(21), 제2 영상(22) 및 제3 영상(23)을 통해 전체 과정을 설명한다. 운전자에게 보이는 디스플레이 화면(30)은 여기에서도 2개로 분할되어 있다. 상측 영역(31)에는 운전자가 보는 것과 같은 투시도가 도시된다. 여기에 카메라(2)의 비디오 영상이 통합되며, 이 비디오 영상이 이를 위해 변환될 필요는 없다. 하측 영역(32)은 평면 뷰 시점에서 바라본 주변 환경을 보여주고 있다. 그러므로 상측 영역(31)은 차량(1)의 원거리 영역의 시각화에 상응하는 반면, 하측 영역(32)은 차량의 근거리 영역의 시각화에 상응한다.
도 4에서는 카메라(2)가 제2 영상(22)을 기록하는 위치에 차량이 있다. 이 지점에서는 도로의 후방 좌측 차량(60)과 후방 우측 차량(61)이 더 이상 보이지 않는다. 그러나 본 발명에 따라 카메라(2)가 모션 기반 스테레오 원리를 이용한 환경 모델의 결정을 위해서도 사용되거나, 스테레오 비디오 카메라의 이용하에 작동됨에 따라, 자기 차량(1)에 대한 양측 차량(60과 61)의 상대적 위치를 알 수 있다. 그러므로 환경 모델에 근거하여 자기 차량과 관련한 양측 차량(60과 61)의 상대적 위치를 검출하고 디스플레이 화면(30)의 하측 영역(32)(평면 뷰 시점)에 표시하는 것이 아무 문제없이 가능하다. 차량 후방에 놓인 컨테이너들(66)에도 이와 유사하게 적용된다. 이들 컨테이너는 차량(1)이 이미 이들을 지나친 후일지라도 계속 표시된다. 본 발명에 따르면, 상기 컨테이너들이 이미 오래 전부터 비디오 카메라(2)에 의해 더 이상 검출되지 않았더라도 차량에 대한 이들 컨테이너(66)의 상대 위치를 알고 있기 때문에, 이들 컨테이너에 대해 운전자에게 경고할 수 있다.
카메라(2)의 비디오 영상은 디스플레이 화면(30)의 상측 영역(31)(운전자 시점)에 통합된다. 상기 비디오 영상은 나머지 디스플레이에 경계선 없이 삽입되며, 환경 모델에 근거한 부가의 환경 정보만큼 확장될 수 있다. 따라서, 예컨대 차량(1)은 도로의 중앙 좌측 차량(62)이 카메라(2)에 의해 더 이상 완전하게 검출될 수 없을 만큼 이미 상기 차량 옆을 지나쳐 가고 있다. 그러나 환경 모델에 근거하여 자기 차량(1)에 대한 중앙 좌측 차량(62)의 상대 위치뿐만 아니라 그 크기도 알 수 있다. 따라서 환경 모델에 근거해 재구성된 중앙 좌측 차량(62)의 윤곽이 비디오 화면을 완성함으로써, 디스플레이 화면(30)의 상측 영역(31)에 표시된 비디오 영상이 확장될 수 있다.
도 5에는 도로 주행 시 카메라(2)가 제3 영상(23)을 기록하는 제2 시간 단계가 도시되어 있다. 위에서 언급한 컨테이너들(66)과 같은, 더 이상 관련이 없는 객체들은 이제 더 이상 표시되지 않는다. 그 외에도, 중앙 우측 차량(63)을 통해, 객체들이 디스플레이 화면(30)의 상측 영역(31)으로부터 하측 영역(32)으로 어떻게 교체될 수 있는지를 명확히 알 수 있다. 이와 같은 교체는 원거리 영역[운전자 시점 또는 상측 영역(31)]으로부터 근거리 영역[평면 뷰 시점 또는 하측 영역(32)]으로의 전환에 상응하며, 차량(1)이 관련 객체를 지나쳐 가는 시점에 이루어진다. 끝으로 디스플레이에서의 연속 전환을 통해, 차량 운전자가 자기 차량의 주변 환경을 직관적으로 이해할 수 있게 하는 시각화가 구현된다.

Claims (10)

  1. 차량(1)의 주변 환경을 시각화하는 방법이며, 이 방법은 하기의 단계들, 즉
    - 차량(1)과 이 차량 주변 환경에 있는 장애물들(6, 60, 61, 62, 63, 64, 65, 66) 간의 현재 거리를 하나 이상의 센서를 통해 검출하고 저장하는 단계와,
    - 차량의 현재 위치를 검출하고 저장하는 단계와,
    - 저장된 데이터로부터 적어도 2차원 환경 모델을 계산하는 단계와,
    - 선택된 가상의 관찰자 위치(3)에서 상기 환경 모델의 가상 뷰(30)를 계산하는 단계를 포함하는, 차량 주변 환경을 시각화하는 방법에 있어서,
    - 하나 이상의 비디오 카메라(2)에 의해 주변 환경의 적어도 일부에 대한 비디오 영상을 기록하여, 이 비디오 영상(20)을 가상 뷰(30)에 통합하는 단계와,
    - 상기 비디오 영상이 통합된 가상 뷰를 차량(1)의 운전자에게 출력하는 단계를 특징으로 하며,
    - 이때, 상기 가상 뷰는 차량의 객실과 엔진 룸 사이의 전환부 높이에 놓이는 인공 수평기(artificial horizon)가 다양한 뷰들로의 분할을 가능하게 하는 2분할 디스플레이를 포함하고,
    - 상기 비디오 영상(20)은 2분할 디스플레이의 상측 영역에 표시되고, 2분할 디스플레이의 하측 영역에는 비디오 카메라(2)로 볼 수 없는 주변 환경에 대한 환경 모델의 가상 뷰(30)가 표시되고,
    - 표시된 상기 비디오 영상은 상기 적어도 2차원 환경 모델로부터의 부가의 환경 정보에 의해 확장되는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 방법.
  2. 제1항에 있어서, 차량(1)과 장애물들(6, 60, 61, 62, 63, 64, 65, 66)간 거리가 수동 광 센서들, 능동 센서 시스템들, 또는 수동 광 센서들과 능동 센서 시스템들에 의해 검출되는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 방법.
  3. 제1항 또는 제2항에 있어서, 차량(1)과 장애물들(6, 60, 61, 62, 63, 64, 65, 66) 간 거리는 비디오 카메라(2)의 데이터에 근거한 계산을 통해 결정되는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 방법.
  4. 제1항 또는 제2항에 있어서, 차량의 현재 위치는 절대 위치이거나, 이미 저장된 위치에 대한 상대 위치인 것을 특징으로 하는, 차량 주변 환경을 시각화하는 방법.
  5. 제1항 또는 제2항에 있어서, 가상의 관찰자 위치(3)는 차량(1)의 운전자와 컴퓨터 유닛 중 어느 하나 또는 이 둘 모두에 의해 자동으로 정해지는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 방법.
  6. 제1항 또는 제2항에 있어서, 현재 주행 파라미터가 가상 뷰에 통합되는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 방법.
  7. 차량 주변 환경을 시각화하는 장치이며, 이 장치는
    - 차량과 이 차량(1)의 주변 환경에 있는 장애물들(6, 60, 61, 62, 63, 64, 65, 66) 간의 거리를 검출하는 하나 이상의 센서와,
    - 차량의 현재 위치를 검출하는 하나 이상의 센서와,
    - 센서 신호들을 저장하는 저장 장치와,
    - 주변 환경의 적어도 일부를 기록할 수 있는 비디오 카메라(2)
    를 포함하는, 차량 주변 환경을 시각화하는 장치에 있어서,
    - 컴퓨터 장치로서,
    - 저장 장치의 센서 신호들에 근거해 적어도 2차원 환경 모델을 계산하고,
    - 선택된 가상의 관찰자 위치(3)에서 바라본 환경 모델의 가상 뷰(30)를 계산하며,
    - 비디오 카메라(2)로 기록된 주변 환경의 비디오 영상(20)을 가상 뷰(30)에 통합하도록 세팅된 컴퓨터 장치와,
    - 비디오 영상이 통합된 가상 뷰를 시각화하기 위한 출력 장치를 특징으로 하며,
    - 이때, 상기 가상 뷰는 차량의 객실과 엔진 룸 사이의 전환부 높이에 놓이는 인공 수평기가 다양한 뷰들로의 분할을 가능하게 하는 2분할 디스플레이를 포함하고,
    - 상기 비디오 영상(20)은 2분할 디스플레이의 상측 영역에 표시되고, 2분할 디스플레이의 하측 영역에는 비디오 카메라(2)로 볼 수 없는 주변 환경에 대한 환경 모델의 가상 뷰(30)가 표시되고,
    - 표시된 상기 비디오 영상은 상기 적어도 2차원 환경 모델로부터의 부가의 환경 정보에 의해 확장되는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 장치.
  8. 제7항에 있어서, 차량(1)과 장애물들(6, 60, 61, 62, 63, 64, 65, 66) 간 거리를 검출하기 위한 하나 이상의 센서가 수동 광 센서 또는 능동 센서 시스템을 포함하는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 장치.
  9. 제7항 내지 제8항 중 어느 한 항에 있어서, 차량(1)과 장애물들(6, 60, 61, 62, 63, 64, 65, 66) 간의 거리를 검출하기 위한 하나 이상의 센서가 비디오 카메라(2)를 포함하는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 장치.
  10. 제1항 또는 제2항에 따른 방법을 수행하도록 세팅된, 차량 주변 환경을 시각화하는 장치를 포함하는 차량이며, 상기 장치는
    - 차량과 이 차량(1)의 주변 환경에 있는 장애물들(6, 60, 61, 62, 63, 64, 65, 66) 간의 거리를 검출하는 하나 이상의 센서와,
    - 차량의 현재 위치를 검출하는 하나 이상의 센서와,
    - 센서 신호들을 저장하는 저장 장치와,
    - 주변 환경의 적어도 일부를 기록할 수 있는 비디오 카메라(2)와,
    - 컴퓨터 장치로서,
    - 저장 장치의 센서 신호들에 근거해 적어도 2차원 환경 모델을 계산하고,
    - 선택된 가상의 관찰자 위치(3)에서 바라본 환경 모델의 가상 뷰(30)를 계산하며,
    - 비디오 카메라(2)로 기록된 주변 환경의 비디오 영상(20)을 가상 뷰(30)에 통합하도록 세팅된 컴퓨터 장치와,
    - 비디오 영상이 통합된 가상 뷰를 시각화하기 위한 출력 장치를 포함하며,
    - 이때, 상기 가상 뷰는 차량의 객실과 엔진 룸 사이의 전환부 높이에 놓이는 인공 수평기가 다양한 뷰들로의 분할을 가능하게 하는 2분할 디스플레이를 포함하고,
    - 상기 비디오 영상(20)은 2분할 디스플레이의 상측 영역에 표시되고, 2분할 디스플레이의 하측 영역에는 비디오 카메라(2)로 볼 수 없는 주변 환경에 대한 환경 모델의 가상 뷰(30)가 표시되고,
    - 표시된 상기 비디오 영상은 상기 적어도 2차원 환경 모델로부터의 부가의 환경 정보에 의해 확장되는 것을 특징으로 하는, 차량 주변 환경을 시각화하는 장치를 포함하는 차량.
KR1020147019760A 2012-01-19 2012-11-28 차량 주변 환경을 시각화하는 방법과 장치 KR102034189B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012200731.8 2012-01-19
DE102012200731A DE102012200731A1 (de) 2012-01-19 2012-01-19 Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
PCT/EP2012/073835 WO2013107548A1 (de) 2012-01-19 2012-11-28 Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs

Publications (2)

Publication Number Publication Date
KR20140114373A KR20140114373A (ko) 2014-09-26
KR102034189B1 true KR102034189B1 (ko) 2019-10-18

Family

ID=47429749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147019760A KR102034189B1 (ko) 2012-01-19 2012-11-28 차량 주변 환경을 시각화하는 방법과 장치

Country Status (7)

Country Link
US (1) US9862316B2 (ko)
EP (1) EP2805183B1 (ko)
KR (1) KR102034189B1 (ko)
CN (1) CN104204847B (ko)
DE (1) DE102012200731A1 (ko)
IN (1) IN2014DN05777A (ko)
WO (1) WO2013107548A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
DE102016202594A1 (de) * 2016-02-19 2017-08-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Interpretieren einer Fahrzeugumgebung eines Fahrzeugs sowie Fahrzeug
CN106080390A (zh) * 2016-06-07 2016-11-09 深圳市灵动飞扬科技有限公司 车辆行进全景系统及其方法
CN106781262A (zh) * 2017-01-16 2017-05-31 上海应用技术大学 一种适合马路低头族的安全出行装置及其避障方法
US11035491B2 (en) 2017-07-03 2021-06-15 Continental Automotive Systems, Inc. Fuel pump solenoid having hydraulic damping
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
DE102017218074A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
US20180095475A1 (en) * 2017-11-22 2018-04-05 GM Global Technology Operations LLC Systems and methods for visual position estimation in autonomous vehicles
CN108187340B (zh) * 2017-12-22 2021-08-13 深圳华侨城卡乐技术有限公司 一种基于儿童滑车设备的虚拟现实游戏平台及其控制方法
US11073597B2 (en) * 2018-05-11 2021-07-27 Continental Automotive Systems, Inc. Three-dimensional point cloud generated by high-resolution flash LIDAR
CN110641477B (zh) * 2019-09-19 2020-12-22 广州小鹏汽车科技有限公司 车辆内部环境的虚拟显示方法、装置和车辆
JPWO2021186853A1 (ko) * 2020-03-19 2021-09-23
CN111767844B (zh) * 2020-06-29 2023-12-29 阿波罗智能技术(北京)有限公司 用于三维建模的方法和装置
CN112140997A (zh) * 2020-09-29 2020-12-29 的卢技术有限公司 一种支持操控的可视化驾驶系统控制方法、系统、汽车及存储介质
DE102021119266A1 (de) 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Kamerasystem für ein Fahrzeug
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness
DE102022121225A1 (de) 2022-08-23 2024-02-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung mittels eines Unterstützungssystems, Computerprogrammprodukt, computerlesbares Speichermedium sowie Unterstützungssystem

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2003511288A (ja) * 1999-10-02 2003-03-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 駐車する車両の周辺状況を監視するための装置
JP2003189293A (ja) * 2001-09-07 2003-07-04 Matsushita Electric Ind Co Ltd 車両周囲状況表示装置および映像提示システム
JP2004297808A (ja) * 2003-03-25 2004-10-21 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
DE10037129B4 (de) 1999-09-13 2016-06-09 Volkswagen Ag Einpark- und/oder Rangierhilfeeinrichtung
JP3680658B2 (ja) * 1999-09-30 2005-08-10 松下電器産業株式会社 画像認識方法及び画像認識装置
ATE311725T1 (de) * 2001-09-07 2005-12-15 Matsushita Electric Ind Co Ltd Vorrichtung zum anzeigen der umgebung eines fahrzeuges und system zur bildbereitstellung
US20070030212A1 (en) * 2004-07-26 2007-02-08 Matsushita Electric Industrial Co., Ltd. Device for displaying image outside vehicle
KR101075615B1 (ko) * 2006-07-06 2011-10-21 포항공과대학교 산학협력단 주행 차량의 운전자 보조 정보 생성 장치 및 방법
DE102008060684B4 (de) 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
DE102008036009B4 (de) 2008-03-28 2018-03-22 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
EP2476587B1 (en) * 2009-09-11 2018-04-25 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitor apparatus
US20110115913A1 (en) * 2009-11-17 2011-05-19 Werner Lang Automated vehicle surrounding area monitor and display system
KR20110088995A (ko) * 2010-01-29 2011-08-04 주식회사 울프슨랩 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
US9205780B2 (en) * 2010-02-04 2015-12-08 Magna Mirrors Of America, Inc. Electro-optic rearview mirror assembly for vehicle
WO2011158609A1 (ja) * 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2003511288A (ja) * 1999-10-02 2003-03-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 駐車する車両の周辺状況を監視するための装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP2003189293A (ja) * 2001-09-07 2003-07-04 Matsushita Electric Ind Co Ltd 車両周囲状況表示装置および映像提示システム
JP3606853B2 (ja) * 2001-09-07 2005-01-05 松下電器産業株式会社 車両周囲状況表示装置
JP2004297808A (ja) * 2003-03-25 2004-10-21 Aisin Seiki Co Ltd 移動体周辺監視装置
JP2006171849A (ja) * 2004-12-13 2006-06-29 Nissan Motor Co Ltd 画像処理装置
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2011004201A (ja) * 2009-06-19 2011-01-06 Konica Minolta Opto Inc 周辺表示装置

Also Published As

Publication number Publication date
US9862316B2 (en) 2018-01-09
KR20140114373A (ko) 2014-09-26
CN104204847A (zh) 2014-12-10
EP2805183B1 (de) 2019-03-06
CN104204847B (zh) 2017-12-08
IN2014DN05777A (ko) 2015-04-10
US20150077562A1 (en) 2015-03-19
DE102012200731A1 (de) 2013-07-25
WO2013107548A1 (de) 2013-07-25
EP2805183A1 (de) 2014-11-26

Similar Documents

Publication Publication Date Title
KR102034189B1 (ko) 차량 주변 환경을 시각화하는 방법과 장치
US9544549B2 (en) Method for generating an image of the surroundings of a vehicle and imaging device
US9849832B2 (en) Information presentation system
US10789845B2 (en) Parking assistance method and parking assistance device
US11535155B2 (en) Superimposed-image display device and computer program
US10152120B2 (en) Information provision device and information provision method
JP2020064047A (ja) コンテンツを視覚化する装置及び方法
CN202686359U (zh) 狭窄道路检测装置
JP5681569B2 (ja) 情報処理システム、サーバ装置、および、車載装置
US11288785B2 (en) Virtual overlay system and method for occluded objects
US11257369B2 (en) Off road route selection and presentation in a drive assistance system equipped vehicle
JPWO2018066711A1 (ja) 走行支援装置及びコンピュータプログラム
US11525694B2 (en) Superimposed-image display device and computer program
US20170061689A1 (en) System for improving operator visibility of machine surroundings
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
JPWO2019049709A1 (ja) 画像処理装置、画像処理方法、および画像表示システム
US20140368655A1 (en) Method for operating a driver assist system for maneuvering and/or parking a motor vehicle
JP2009206702A (ja) 画像処理装置、画像処理方法
JP6186905B2 (ja) 車載表示装置およびプログラム
JP6611918B2 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
JP2019526105A5 (ko)
CN103764485A (zh) 用于驾驶辅助系统的用于估算运输工具的未来路线并且与部件相关联的装置，所述未来路线包括根据相对于障碍物位置的不同外观
JP2022049711A (ja) 車両制御装置及び方法
CN116946121A (zh) 车辆和拖车车轮路径碰撞检测和警报

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant