KR20160060736A - 차량의 주변을 표시하는 운전자 보조 시스템 - Google Patents

차량의 주변을 표시하는 운전자 보조 시스템 Download PDF

Info

Publication number
KR20160060736A
KR20160060736A KR1020167010708A KR20167010708A KR20160060736A KR 20160060736 A KR20160060736 A KR 20160060736A KR 1020167010708 A KR1020167010708 A KR 1020167010708A KR 20167010708 A KR20167010708 A KR 20167010708A KR 20160060736 A KR20160060736 A KR 20160060736A
Authority
KR
South Korea
Prior art keywords
vehicle
image
assistance system
driver assistance
viewpoint
Prior art date
Application number
KR1020167010708A
Other languages
English (en)
Other versions
KR101842811B1 (ko
Inventor
헨리 첸
안 부
Original Assignee
폭스바겐 악티엔 게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 폭스바겐 악티엔 게젤샤프트 filed Critical 폭스바겐 악티엔 게젤샤프트
Publication of KR20160060736A publication Critical patent/KR20160060736A/ko
Application granted granted Critical
Publication of KR101842811B1 publication Critical patent/KR101842811B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B60W2420/62—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

차량 디스플레이(150) 상에 차량의 해당 주변의 이미지를 표시하도록 구성된 운전자 보조 시스템이 제공되며, 이 시스템은, 적어도 하나의 이미지 캡쳐 카메라(110); 차량의 위에서 아래쪽으로 보는 시점을 갖는 시점 전환 이미지를 생성하는 시점 전환기(117); 차량의 주변의 적어도 하나의 물체의 거리 및 그 부분적 형상을 검출하도록 구성되는 적어도 하나의 센서(115); 적어도 하나의 물체의 검출된 거리 및 부분적 형상에 기초하여 시점 전환 이미지를 차량에서 적어도 하나의 물체를 보는 것으로 수정하도록 구성되는 이미지 프로세서(130)를 포함하며, 시점 전환 이미지의 수정은 시점 점환 이미지에서 적어도 하나의 물체의 3차원 모양을 향상시키는 것을 포함한다.

Description

차량의 주변을 표시하는 운전자 보조 시스템{DRIVER ASSISTANCE SYSTEM FOR DISPLAYING SURROUNDINGS OF A VEHICLE}
본 개시는 차량의 주변을 표시하는 운전자 보조 시스템에 관한 것이다. 보다 구체적으로, 본 개시는 차량 위에서의 시점으로부터 차량의 주변을 표시하는 것에 관한 것이다.
주차 상황 중에 차량의 주변의 조감도를 표시하는 이용 가능한 차량 디스플레이 시스템이 존재한다. 운전자에게 제시되는 이미지는 외부 카메라로부터의 재구성된 이미지이다. 카메라는 예를 들면 차량의 전방에, 사이드 미러에, 그리고 차량의 후방에 배치된다. 재구성 이미지 처리 알고리즘은 통상 모든 물체가 지면 상에 편평하게 놓인 것으로 가정한다. 이러한 방식은 지면 높이보다 위의 이미지에 왜곡을 야기한다. 조감도 또는 톱뷰(top view) 카메라 시스템이 장비된 차량에 인접하게 주차된 차량들은 표시되는 이미지에서 매우 왜곡된 모습을 보인다. 이러한 왜곡은 운전자가 표시되는 이미지에서 물체를 명확하게 식별하기가 매우 어렵게 할 수 있다. 운전자가 가능한 물체를 식별할 수 있다 하더라도, 그 운전자는 물체의 치수, 그 물체의 정확한 거리 또는 형상을 식별할 수 없을 수 있다. 따라서, 차량에서 톱뷰 카메라 시스템의 이용의 가치와 승인이 부정적으로 영향을 받게 된다.
본 개시에 따르면, 차량 디스플레이 상에 차량의 해당 주변의 이미지를 표시하도록 구성된 운전자 보조 시스템이 제공된다. 적어도 하나의 카메라가 차량의 주변의 이미지를 캡쳐할 수 있다. 그 운전자 보조 시스템은 이미지의 시점을 전환을 수행하여 차량의 위에서 아래쪽으로 보는 시점을 갖는 시점 전환 이미지를 생성하도록 구성될 수 있는 시점 전환기를 더 포함할 수 있다. 적어도 하나의 센서가 차량의 주변의 적어도 하나의 물체의 거리 및 그 부분적 형상을 측정하도록 구성될 수 있다. 이미지 프로세서가 적어도 하나의 물체의 검출된 거리 및 부분적 형상에 기초하여 시점 전환 이미지를 차량에서 그 적어도 하나의 물체를 보는 것으로 수정하도록 구성될 수 있다.
이러한 시점 전환 이미지의 수정은 시점 점환 이미지에서 그 적어도 하나의 물체의 3차원 모양을 향상시키는 것을 포함할 수 있다. 그 결과, 운전자는 이제는 차량의 주변에 대한 보다 양호한 오버뷰(overview)를 얻을 수 있다. 시점 전환 이미지의 3차원 모양을 향상시킴으로써, 물체의 거리 및 형상 정보가 그 이미지 내에 시각적으로 포함될 수 있다. 따라서, 표시되는 이미지를 보는 사람은 차량의 주변의 물체의 위치에 대한 인상을 보다 신속하게 새기기 쉬워질 수 있다. 따라서, 향상된 이미지는 제안된 운전자 보조 시스템을 이용하는 중에 안전성을 향상시킬 수 있다.
발명의 상세한 설명에 대해서는 특히 첨부 도면을 참조한다.
도 1은 차량 디스플레이 상에 차량의 해당 주변의 이미지를 표시하도록 구성된 차량 보조 시스템의 블록도를 도시한다.
도 2는 차량 카메라의 가시 영역을 나타내는 상기한 운전자 보조 시스템이 장비된 차량의 개략도를 도시한다.
도 3은 종래 기술에서 공지된 바와 같은 차량 디스플레이에 표시되는 차량의 예시적 조감도의 실례를 도시한다.
도 4는 LIDAR 장비 차량에서 LIDAR에 의해 측정된 해당 포인트 클라우드(point cloud)를 나타내는 도면을 도시한다.
도 5는 그 브랜드를 비롯한 식별된 차량들을 표시하는 상기한 운전자 보조 시스템에서의 조감도의 실례를 도시한다.
도 6a 내지 도 6c는 저미세도(도 6a), 중미세도(도 6b) 및 고미세도(도 6c)의 메쉬로 차량을 나타내는 메쉬의 사시도를 도시한다.
도 7은 차량 디스플레이 상에 차량의 해당 주변의 이미지를 표시하기 위해 운전자를 보조하는 본 발명의 방법의 흐름도를 도시한다.
본 개시에 따르면, 차량 디스플레이 상에 차량의 해당 주변의 이미지를 표시하도록 구성된 운전자 보조 시스템이 제공된다. 적어도 하나의 카메라가 차량의 주변의 이미지를 캡쳐할 수 있다. 그 운전자 보조 시스템은 이미지의 시점을 전환을 수행하여 차량의 위에서 아래쪽으로 보는 시점을 갖는 시점 전환 이미지를 생성하도록 구성될 수 있는 시점 전환기를 더 포함할 수 있다. 적어도 하나의 센서가 차량의 주변의 적어도 하나의 물체의 거리 및 그 부분적 형상을 측정하도록 구성될 수 있다. 이미지 프로세서가 적어도 하나의 물체의 검출된 거리 및 부분적 형상에 기초하여 시점 전환 이미지를 차량에서 그 적어도 하나의 물체를 보는 것으로 수정하도록 구성될 수 있다.
이러한 시점 전환 이미지의 수정은 시점 점환 이미지에서 그 적어도 하나의 물체의 3차원 모양을 향상시키는 것을 포함할 수 있다. 그 결과, 운전자는 이제는 차량의 주변에 대한 보다 양호한 오버뷰를 얻을 수 있다. 시점 전환 이미지의 3차원 모양을 향상시킴으로써, 물체의 거리 및 형상 정보가 그 이미지 내에 시각적으로 포함될 수 있다. 따라서, 표시되는 이미지를 보는 사람은 차량의 주변의 물체의 위치에 대한 인상을 보다 신속하게 새기기 쉬워질 수 있다. 따라서, 향상된 이미지는 제안된 운전자 보조 시스템을 이용하는 중에 안전성을 향상시킬 수 있다.
하나의 실시예에서, 그 시스템은 검출된 거리가 미리 정해진 임계값보다 작은 경우에 검출된 물체를 강조하도록 구성될 수 있다. 예를 들면, 그러한 추가적인 강조는, 특정 물체가 차량에 근접해 있어 그가 의도한 운전 경로에 따라 그 물체에 대하 추가적인 주의를 기울일 필요가 있음을 운전자에게 알리게 된다. 이미지에서 가능한 강조된 물체의 몇 가지 예로는 물체의 일부분을 칼라 마킹, 완전히 검출된 물체를 칼라 마킹, 물체의 윤곽을 표시 또는 아웃라이닝, 또는 물체의 옆에 텍스트 또는 심벌을 표시하는 것을 포함한다.
주차 상황에서, 운전자는 통상 연석, 배수로, 및 기둥(pole)에 대해 특별한 주의를 기울려야 한다. 따라서, 하나의 실시예에서, 운전자 보조 시스템은 연석, 배수로 및 기둥을 검출 및 강조하도록 구성된다. 예를 들면, 차량 부근에서 연석이 검출되는 경우, 그 연석의 높이가 미리 정해진 임계 높이 값보다 작다면, 그 연석의 위치 또는 그 근처에 칼라 바아를 표시한다. 그 칼라 바아는 반투명으로 표시될 수도 있다. 그 높이가 그 임계값보다 크다면, 그 바아는 다른 칼라, 예를 들면 적색으로 표시되며, 추가로 그 연석까지의 거리가 미리 정해진 거리 값보다 작다면 점멸 모드나 임의의 주의 유인 모드로 표시될 수 있다. 다른 실시예에서, 차량은 연석에 평행하게 주차된다. 운전자 보조 시스템이 연석을 비롯한 물체의 거리나 위치와 높이를 측정하였기 때문에, 디스플레이는 차량 도어를 여는 경우에 그 차량 도어의 개방 범위 내에 있는 연석이나, 기둥, 쓰레기통, 차량 등의 임의의 기타 물체와 차량 도어가 충돌할 수 있음을 나타낼 수 있다.
다른 실시예에서, 그 시스템은 움직이는 물체를 강조하도록 구성될 수 있다. 이는 차량의 운전자는 소정 물체가 이동하고 있거나 그의 차량에 접근하고 있음을 인지할 수 없기 때문에 그 운전자에게 있어 특히 가치가 있다. 예를 들면, 후진 주차 상황에서 보행자가 차량 가까이로 걸어오고 있는 경우, 디스플레이는 표시되는 이미지에서의 움직이는 보행자를 그 보행자 둘레의 칼라 원 또는 그 윤곽에 의해 강조할 수 있다. 다른 실시예에서, 움직이는 물체는 미리 정해진 거리 임계값 내에 있는 경우에만 강조된다.
운전자 보조 시스템은 수신된 센서 데이터에 기초하여 차량 주변의 적어도 하나의 섹션의 3차원 풍경을 생성하고 생성된 3차원 풍경 상에 시점 전환 이미지를 매핑함으로써 시점 전환 이미지의 3차원 모양을 향상시킨다. 다시 말해, 그 시스템은 우선 차량 주변의 물체의 측정된 거리를 반영하는 가상 맵 또는 표면을 생성한다. 이어서, 그 보다 작은 영역들을 포함하는 가상 맵의 표면에 메쉬를 생성한다. 그 영역들의 사이즈는 통상 표면의 곡률에 좌우된다. 영역들의 사이즈는 동일하거나 상이할 수 있다. 표면 영역의 만곡된 구역에서의 영역들이 보다 작을수록, 개별 영역들에 그 표면의 전체적 재구성 모양 및 평활도가 더 좋아진다. 통상, 메쉬 영역의 사이즈는 그 메쉬에 의해 덮일 해당 표면 영역의 곡률에 의존하여 동적으로 조절될 수 있다. 이어서, 모든 이미지 부분이 해당 공간 배향을 고려하여 메시 영역 내에 매핑될 수 있다. 이와 같은 메쉬 영역 내에 이미지 부분들의 매핑은 또한 매핑될 해당 이미지 부분의 시점을 조절하는 것을 포함할 수도 있다.
다른 실시예에서, 적어도 하나의 센서는 레이저 스캐너, 레이더 센서 또는 초음파 센서를 포함한다. 추가로, 차량에 대한 물체의 거리를 결정할 수 있는 임의의 센서가 제안된 운전자 보조 시스템에 적합할 수 있다. 그러한 센서 전부가 차량에 함께 이용될 수도 있다. 예를 들면, LIDAR(광센서와 레이더 센서의 조합)이 초음파 센서와 함께 차량에 이용될 수 있으며, 이 예에서 초음파 센서는 근접한 물체를 검출하는 데에 이용될 수 있는 한편, LIDAR은 보다 떨어진 물체를 검출하는 데에 이용될 수 있다.
하나의 실시예에서, 시스템은 그 차량의 해당 주변의 하나의 캡쳐 이미지에서 차량을 식별하고 차량의 브랜드 또는 종류를 식별하도록 구성될 수 있다. 예를 들면, 운전자가 2대의 차량, 예를 들면 폭스바겐 투아렉(Volkswagen Touareg)과 폭스바겐 파사트(Volkswagen Passat) 사이의 주차 공간에 접근하고 있는 경우, 정면 카메라는 해당 차량 상의 폭스바겐 로고와, 트렁크 상의 차량의 종류에 대한 글자, 즉 "Touareg"와 "Passat"을 인지한다. 그러면, 그 시스템은 검출된 물체에 대해 폭스바겐 로고와 해당 문자 "Passat" 또는 "Touareg"를 표시할 수 있다.
다른 실시예에서, 운전자 보조 시스템은 차량의 내장 또는 외장 이미지 데이터베이스에 액세스한다. 주차 공간에 접근하는 중에 특정 차량을 식별할 수 있다면, 차량의 그래픽적 묘사일 수도 있는 해당 이미지가 표시될 수 있다. 데이터베이스는 차량의 3차원 이미지를 갖고 있어, 해당 이미지 또는 그 3차원 모델이 시점 수정 이미지 내에 정확한 치수로 배치될 수 있게 한다. 예를 들면, 운전자 보조 시스템은 또한 차량의 칼라를 검출할 수도 있고, 표시된 차량 이미지 또는 모델은 검출된 칼라에 상응하는 칼라를 가질 수 있다.
인접한 차량들의 이미지는 운전자의 차량 내의 메모리에 저장될 수 있다. 차량에 돌아간 경우, 운전자 보조 시스템은 그 차량 옆의 주차 상황이 변하였는지의 여부에 대한 타당성 체크를 수행할 수 있다. 예를 들면, 차량의 칼라 및 특징적 모양새가 동일하게 남아 있다면, 저장된 이미지 또는 그 저장된 이미지의 일부가 다시 표시될 수 있다. 예를 들어, 그 차량의 한쪽의 이미지에서의 칼라가 저장된 차량 이미지 칼라와 일치하지 않는다면, 그 시스템은 새로운 차량이 그 쪽에 주차한 것으로 추측하여, 차량의 그 해당 쪽으로부터 새로운 이미지를 캡쳐한다. 인접한 차량들을 나타내는 이미지에서 차량의 색상 및 주요 특징이 동일하게 남아 있다면, 어떠한 다른 차량도 해당 쪽에 주차되지 않은 것으로 가정하여, 예를 들면, 브랜드, 종류 또는 그래픽 모델 등의 저장된 정보가 표시될 것이다.
본 개시에 따르면, 도 1은 차량(101)의 해당 주변의 이미지를 차량 디스플레이(150) 상에 표시하도록 구성된 운전자 보조 시스템(100)의 블록도를 도시한다. 적어도 하나의 카메라(110-114)가 차량(101) 주변의 이미지를 캡쳐하여 이미지 조합기(116)에 제공할 수 있다. 다른 실시예에서, 예를 들면 후방, 전방 및 사이드 미러에 위치할 수 있는 5대의 카메라(110-114)가 이용될 수 있다. 차량(101)에서의 카메라의 위치로 인해, 캡쳐된 이미지들은 서로 겹치는 부분을 가질 수 있고, 이는 이미지 조합기(116)에 의해 제거될 수 있다. 이미지들의 겹치는 영역들이 검출 및 제거됨에 따라, 이미지 조합기(116)가 차량(101) 주변의 이미지를 겹치는 부분 없이 생성하게 할 수 있다.
이미지들은 지면에 대해 카메라(110-114)들의 상이한 시점으로부터 캡쳐될 수 있다. 예를 들면, 사이드 미러에 위치하는 카메라(110, 111)(도 2 참조)는 후방 카메라(114) 또는 전방 카메라(112, 113)와는 지면에 대한 상이한 시점을 갖는다. 이미지 프로세서(130)가 상이한 이미지 처리 작업을 처리할 수 있는 상이한 이미지 처리 유닛 또는 적어도 하나의 처리 유닛을 포함한다. 시점 전환기(117)가 예를 들면 카메라(110-114)들의 개별 캡쳐 이미지, 조합 이미지의 일부 또는 완성된 조합 이미지를 변환하도록 구성될 수 있다.
차량(101)에는 또한 그 차량(101) 주변의 물체의 거리의 측정값을 제공하는 적어도 하나의 센서(115)가 장비될 수 있다. 센서(115)가 물체에 대해 하나보다 많은 거리 포인트를 측정할 수 있다면, 물체의 형상 또는 그 대략적 형상을 검출하거나 어림잡을 수 있다. 하나의 실시예에서, LIDAR(Light Detection and Ranging) 센서가 차량(101) 주변의 고해상도 정보를 수집한다. 상이한 측정값들이 차량(101)의 주변의 가상 풍경 또는 그 표면 프로파일을 생성하도록 풍경 생성기(118)에 의해 이용될 수 있다. 가상 풍경 또는 표면 프로파일은 검출된 거리 측정 포인트에 기초하여 표면을 표시한다. 이어서, 가상 풍경은 풍경 생성기(118)에 의해 차량(101)에서 보이는 바와 같은 표면을 모사하는 메쉬(601-603)에 의해 덮일 수 있다.
개별 메쉬 영역은 이미지 매퍼(image mapper)(119)에 의해 결정되거나 인식될 수 있는 공간 배향을 갖는다. 이미지 매퍼(119)는 조합 이미지의 이미지 영역을 해당 메쉬 영역에 매핑한다. 이미지 영역의 공간 배향을 해당 메쉬 영역의 공간 배향에 맞추도록 추가적인 시점 변환 작업이 필요할 수도 있다.
그 결과물은 또한 운전자의 시점으로 변환되거나, 차량 또는 임의의 물체를 아래쪽으로 바로 보는 임의의 조감도 시점으로 변환될 수 있다. 하나의 실시예에서, 시점은 운전 또는 물체의 상황에 따라 동적으로 선택될 수 있다. 이어서, 조합 및 매핑된 이미지는 차량 디스플레이(150)에 표시되도록 처리될 수 있다.
상이한 시퀀스를 포함하는 이미지를 전술한 방식이나 유사한 방식으로 처리함으로써, 차량 운전자에게는 주변의 3차원 풍경이 향상되었을 수 있는 오버뷰 이미지가 제공될 수 있다. 이는 물체의 관련 거리의 순간적 포착을 비롯하여 차량 운전자에 의한 상황의 시각적 취득이 보다 용이하고 보다 빠르게 이루어질 수 있기 때문에 운전 시의 안전성을 향상시킨다.
하나의 실시예에서, 차량(101)이 그 좌측에 1대의 차량이 인접하게 주차되어 있는 빈 주차 공간에 접근한다. 운전자 보조 시스템(100)은 자신의 차량(101)을 중앙에서 벗어난 조감도로 표시함으로써 차량 디스플레이(150) 상에 좌측의 차량에 대한 뷰를 강조하게 된다. 이는 관심 대상의 물체를 표시할 큰 영역을 제공하게 되는데, 즉 차량을 좌측에 표시한다. 이렇게 함으로써, 운전자 보조 시스템(101)은 검출된 물체가 있는 공간일 수 있는 차량 주변의 관심 공간을 강조한다. 차량이 주차 위치에 멈춘 경우, 차량(101)이 이미지의 중앙에 표시되도록 표시되는 이미지의 시점이 다시 변경될 수 있다. 운전자는 이제는 엔진을 끄기 전에 그의 차량(101) 주변의 물체 상황에 대한 오버뷰를 얻을 수 있다.
도 2는 차량 카메라(110-114)의 개략적 가시 영역(210-214)을 나타내는, 본 발명의 운전자 보조 시스템(100)이 장비된 차량(101)의 개략도를 도시한다. 단지 예시를 위해, 가시 영역(210-210)들 중 어느 것도 겹치지 않은 것으로 되어 있다. 하나의 실시예에서, 차량 카메라(110-114)의 적어도 2개의 가시 영역(210-214)은 겹친다. 이미지 조합기(116)가 차량 카메라(110-114)의 적어도 2개의 캡쳐된 이미지를 조합한다.
도 3은 종래 기술에 공지된 바와 같이 차량(101)의 톱뷰를 제공하는 차량(101)의 차량 디스플레이(150)의 도면을 도시한다. 표시되는 이미지는 차량(101)의 주변 영역을 포함한다. 그 이미지에서, 차량(101)의 인접한 좌우측에서 주차된 차량(301, 302)들이 표시되고 있다. 차량(301, 302)의 해당 차량 타이어(303-306)는 이미지에서 매우 왜곡된 모습을 보인다. 왜곡된 물체의 모양에 따라, 차량 운전자가 표시되는 이미지에서의 해당 물체를 식별하는 것이 매우 곤란할 수도 있다. 차량(101)이 주차 공간 내로 또는 그로부터 이동하고 있는 경우, 그러한 왜곡은 추가적으로 동적으로 변경될 수 있다. 이는 물체의 존재 및 실제 치수에 대해 차량 운전자를 추가적으로 혼란시킬 수 있다.
도 4는 LIDAR(115)가 장비된 차량(101)을 그 LIDAR 센서(115)에 의해 측정되는 해당 포인트 클라우드를 예시하기 위해 차량(101) 위에서 소정 각도로 본 도면을 도시하고 있다. LIDAR(115)는 차량(101)의 주변을 스캐닝하고, 이에 의해 차량(101) 주변의 물체(401)의 거리를 측정한다. LIDAR(115)의 센서 비임은 그 물리적 성질로 인해 그 물체(401) 뒤에서의 물체 상황을 검출할 수는 없다. 도 4에 도시한 바와 같은 포인트 클라우드의 시각화에서, LIDAR 센서(115)에서 물체(402)를 볼 때에 물체(401) 뒤에 음영(shadow)(402)이 존재할 수 있다.
도 5는 식별된 차량(501, 502)의 차량 브랜드(505, 506)를 비롯하여 식별된 차량(501, 502)을 표시하고 있는 운전자 보조 시스템(100)의 조감도의 실례를 도시하고 있다. 하나의 실시예에서, 차량(101)이 주차 공간에 접근하고 있는 경우, 차량 카메라(110-114)들은 인접한 주차 공간에 주차된 차량의 차량 브랜드 및 종류를 포착하게 되는데, 예를 들면 그 종류는 Touareg, Golf, A4, A8 등일 수 있고, 브랜드 명은 예를 들면 폭스바겐 또는 아우디일 수 있다. 이미지 프로세서(130)는 캡쳐된 이미지에서 차량(501, 502)의 명칭 또는 로고를 식별하고 식별된 차량(501, 502)의 위치를 메모리(도시 생략)에 저장하도록 구성될 수 있다. 차량(101)이 주차 공간으로 진행하는 경우, 이미지 프로세서(130)는 인접하는 식별된 차량(501, 502)들의 차량 브랜드는 물론 종류를 디스플레이(150)에 표시하도록 구성될 수 있다. 운전자 보조 시스템(100)이 해당 정보가 저장될 수 있는 데이터뱅크를 포함한다면, 차량 브랜드 또는 종류가 그 정확한 글자 또는 정확한 로고로 표시될 수도 있다. 대안적으로, 운전자 보조 시스템(100)은 데이터베이스에 대한 액세스를 제공하도록 원격 서버(도시 생략)에 연결되도록 구성될 수도 있다. 이러한 연결은 무선 데이터 여결을 통해 제공될 수 있으며, 그 무선 데이터 연결로부터 운전자 보조 시스템(100)은 차량 또는 물체의 정보를 요청하고 수신할 수 있다. 운전자 보조 시스템(100)은 차량 또는 제조업자 로고(505, 506)에 대한 특정 요청을 전송할 수 있거나, 다른 실시예에서는 차량의 이미지, 차량을 부분적으로 보여주는 이미지, 차량 로고(505, 506) 또는 차량 종류를 포함하는 캡쳐된 이미지 중 적어도 하나의 서브이미지(subimage)를 전송할 수도 있다. 그러면, 원격 서버는 그 서브이미지에서 임의의 차량 로고(505, 506) 또는 차량 종류를 식별하여, 요청한 운전자 보조 시스템(100)에 그 정보를 다시 전송할 수 있다. 거리 및 위치 정보와 관련하여, 운전자 보조 시스템(100)은 표시되는 이미지에 식별된 차량(501, 502)에 대한 차량 종류 및 차량 브랜드 로고(505, 506)를 표시할 수 있다.
다른 실시예에서, 식별된 차량(501, 502)의 3차원 그래픽 모델 또는 이미지가 운전자 보조 시스템(100)에 의해 수신될 수 있다. 그러면, 그 모델 또는 이미지는 디스플레이(150)에서의 정확한 위치에 표시될 수 있다. 추가로, 연석(510), 기둥 또는 배수로가 디스플레이(150) 상에 강조될 수 있다. 이들 물체(401)는 이미지 프로세서(130)에 의해 검출될 수 있는 특성 치수와 형상(높이, 길이, 미리 정해진 형상 등)을 갖는다.
도 5의 표시되는 이미지에서, 사람(515)이 주차된 차량(101) 옆에 걸어가고 있을 수 있다. 그 사람(515)은 이미지에서 움직이는 물체(511)로서 강조될 수 있다. 이러한 강조는 예를 들면, 물체(511)에 원을 그리거나, 그 물체(511) 상에 점멸하는 그래픽 심벌을 배치함으로써 행해질 수 있다.
도 6a 내지 도 6c는 저미세도(도 6a), 중미세도(도 6b) 및 고미세도(도 6c)의 메쉬(601-603)로 차량을 나타내는 메쉬의 사시도를 도시한다. 물체의 3차원 모양을 향상시키기 위해, 풍경 생성기(118)가 검출된 물체(401), 예를 들면 차량(501, 502), 가로등 기둥, 연석(510), 쓰레기통 등에 대한 메쉬를 생성한다. 먼저, 물체(401)의 거리와 형상이 적어도 하나의 센서(115)에 의해 측정될 수 있다. 이어서, 풍경 생성기(118)는 임의의 측정된 물체(401)를 비롯한 차량(101) 주변의 풍경을 생성할 수 있다. 풍경 생성기(118) 또는 이미지 매퍼(119)는 그 풍경 상에 메쉬(601-603)를 생성하며, 각 메쉬 세그먼트(605)는 공간 배향을 갖고 있다. 메쉬(601-603)에 대해 풍경의 형상이 메쉬 세그먼트(605)에 의해 모사될 수 있다. 물체의 복잡도, 측정 해상도 및 연산 능력에 따라, 메쉬(601-603)의 미세도는 달라질 수 있다.
하나의 실시예에서, 차량(101)은 주차 위치에 멈출 수 있다. 물체(401)의 거리는 적어도 하나의 센서(115)에 의해 측정될 수 있다. 이미지 프로세서(130)는 그 측정치 및 이미지 데이터를 처리하여 도 6a에 도시한 바와 같은 제1 메쉬(601)를 생성할 수 있다. 전술한 바와 같이, 제1의 상응하는 향상된 3차원 이미지가 생성될 수 있다. 차량 디스플레이(150)에는, 제1 미세도의 메쉬(601)를 비롯하여 향상된 3차원 모양을 갖는 제1의 시점 전환 이미지가 표시될 수 있다. 메시(601-603)가 풍경을 얼마나 좋게 모사하는지를 나타내는 값을 포함할 수 있는 미리 정해진 설정 파라미터에 따라, 특히 보다 복잡한 형상을 갖는 풍경 영역에 제2 메쉬(602)가 생성될 수 있다. 제2의 반복 작업에서는 메시(601)의 미세도가 향상되어, 도 6b에 도시한 바와 같이 보다 많은 메쉬 세그먼트(605)를 포함하는 제2 메쉬(602)로 될 수 있다. 도 6c는 메쉬(601-603)의 미세도가 훨씬 더 높은 제3 메쉬(603)를 도시하고 있다. 메쉬 세그먼트(605)에 의한 검출된 물체(401)의 모사는 도 6c에서 최상이다.
저미세도 메쉬로 제1 이미지를 표시함으로써, 차량 운전자는 그 주변에 대한 제1의 시각적 인상을 가질 수 있다. 이러한 인상은 보다 많은 반복이 이루어짐으로써 향상될 수 있다.
도 7은 차량 디스플레이 상에 차량의 해당 주변의 이미지를 표시하도록 운전자를 보조하는 본 발명의 방법의 흐름도를 도시하고 있다.
그 방법이 시작된 후에, 단계 701에서, 차량 주변의 적어도 하나의 물체의 거리가 측정될 수 있다. 초음파 센서, 레이더 센서, LIDAR 센서 등의 다양한 차량 센서가 그 측정에 기여할 수 있다. 단계 702에서, 센서들의 상이한 측정 포인트들에 의해 모사될 수 있는 표면을 생성함으로써 주변의 3차원 풍경이 생성될 수 있다. 단계 703에서, 3차원 풍경을 모사하는 3차원 메쉬가 생성될 수 있다. 일례로서, 도 6a 내지 도 6의 메쉬(601-603)는 삼각형 또는 사변형 등의 다양한 셀 형태를 가질 수 있고, 그 메쉬는 구조화, 미구조화(unstructured) 또는 하이브리드 형태일 수 있다.
단계 704에서, 주변의 적어도 하나의 이미지가 캡쳐될 수 있다. 1대보다 많은 카메라가 이미지를 캡쳐하는 경우, 겹치는 이미지 영역은 제거될 수 있고, 이미지 조합기가 그 이미지들을 조합한다. 단계 706에서 시점 전환기가 조합 전에 개별 이미지의 시점을 변환하거나, 개별 이미지들이 조합된 후에 조합된 이미지를 원하는 시점으로 변환할 수 있다. 단계 705에서, 조합된 이미지는 메쉬 상에 매핑될 수 있다. 조합된 이미지의 해당 영역들이 메쉬 또는 셀 영역 상에 매핑될 수 있다. 상기한 방법은 또한 단계 707에서 디스플레이 상에 시점 전환 이미지를 표시할 수 있다.
전술한 단계 701-707에서 수행된 모든 작업은 상이한 순서로 또는 병렬로 처리될 수 있다. 예를 들면, 단계 701에서 물체의 측정은 단계 704에서의 이미지 캡쳐와 함께 처리될 수 있다. 또한, 예를 들면, 이미지의 조합, 시점 전환, 메쉬(601-603)에 대한 매핑은 특정 하드웨어 환경에서 또는 상기한 방법을 컴퓨터 실행 가능 프로그램에서 실행하는 데에 있어서 경제적이라면 실행될 수 있다.
하나의 실시예에서, 연석(510), 배수로, 또는 기둥은 추가적인 단계(도시 생략)에서 디스플레이(150) 상의 시점 전환 이미지에서 강조될 수 있다. 표시되는 이미지에서 보행자(515)와 같은 움직이는 물체(511)가 강조된다면 차량 운전자에게 특별한 도움이 될 것이다. 이러한 강조는 차량 운전자의 주의를 끌도록 중요한 안전 정보를 제공한다.
하나의 실시예에서, 운전자 보조 시스템(100)은, 예를 들면 터치스크린, 마우스, 트랙볼, 터치패드, 또는 회전 가능한 스위블 마운트 노브(swivel-mounted knob) 등과 같은 적어도 하나의 사용자 입력 장치를 포함할 수 있으며, 시점 전환기는 사용자 입력 장치로부터의 사용자 입력에 따라 팬(pan), 틸트(tilt) 또는 줌(zoom)을 비롯하여 시점 및 시야각(viewing direction)을 변경하도록 구성될 수 있다. 이 실시예에서, 운전자 또는 임의의 사용자는 어떠한 시점 또는 시야각이 차량(101)을 안전하게 가이드하는 데에 있어 편안하게 느끼는 지를 결정할 수 있다. 예를 들면, 운전자 기둥 또는 연석(510) 등의 검출된 물체를 줌하기를 원할 수 있다. 한 가지 운전 상황에서, 운전자는 주차 공간에 그의 차량(101)을 보다 양호하게 주차하기 위해 연석(510)에 대해 시점을 틸팅시키길 원할 수 있다. 다른 예에서, 운전자는 코너를 돌아 주차 공간을 빠져나올 때에 그 코너에 대해 상이한 시점 및 시야각을 선택하길 원할 수 있다. 또 다른 예에서, 운전자는 차량(101)에 트레일러를 용이하게 연결할 수 있도록 시점 및 시야각을 차량(101)의 뒤에서 아래쪽으로 보게 수정할 수 있다. 사용자에 의해 시점 및 시야각을 변경하는 것에 대한 추가적인 옵션은 운전자가 표시되는 이미지를 운전에 대한 개개의 요구에 맞출 수 있기 때문에 운전자 보조 시스템(100)의 승인 및 안전성을 더욱 개선시킨다.
이상, 특정 예시적인 실시예에 대해 상세하게 설명하였지만, 본 출원에 포함된 청구 범위에서 기술되고 정해지는 바와 같은 본 개시의 사상 및 범위 내에서 다양한 변형 및 수정이 존재한다.

Claims (12)

  1. 차량 디스플레이 상에 차량의 해당 주변의 이미지를 표시하도록 구성된 운전자 보조 시스템으로서:
    차량의 주변의 이미지를 캡쳐하도록 구성된 적어도 하나의 이미지 캡쳐 카메라;
    상기 이미지에 대해 시점 전환을 수행하여 상기 차량의 위에서 아래쪽으로 보는 시점을 갖는 시점 전환 이미지를 생성하도록 구성되는 시점 전환기;
    상기 차량의 주변의 적어도 하나의 물체의 거리 및 그 부분적 형상을 검출하도록 구성되는 적어도 하나의 센서;
    상기 적어도 하나의 물체의 검출된 거리 및 부분적 형상에 기초하여 상기 시점 전환 이미지를 상기 차량에서 상기 적어도 하나의 물체를 보는 것으로 수정하도록 구성되는 이미지 프로세서
    를 포함하며, 상기 시점 전환 이미지의 수정은 상기 시점 점환 이미지에서 상기 적어도 하나의 물체의 3차원 모양을 향상시키는 것을 포함하는 것인 운전자 보조 시스템.
  2. 제1항에 있어서, 상기 운전자 보조 시스템은 검출된 거리가 미리 정해진 임계값보다 작은 경우에 상기 물체를 강조하도록 구성되는 것인 운전자 보조 시스템.
  3. 제1항에 있어서, 상기 운전자 보조 시스템은 연석, 배수로 또는 기둥(pole)을 강조하도록 구성되는 것인 운전자 보조 시스템.
  4. 제1항에 있어서, 상기 운전자 보조 시스템은 움직이는 물체를 강조하도록 구성되는 것인 운전자 보조 시스템.
  5. 제4항에 있어서, 상기 운전자 보조 시스템은 미리 정해진 임계 거리값 내의 움직이는 물체를 강조하도록 구성되는 것인 운전자 보조 시스템.
  6. 제1항에 있어서, 상기 운전자 보조 시스템은,
    - 수신된 센서 데이터에 기초하여 차량 주변의 적어도 하나의 섹션의 3차원 풍경을 생성하고;
    - 생성된 3차원 풍경 상에 상기 시점 전환 이미지를 매핑함으로써,
    상기 시점 전환 이미지의 3차원 모양을 향상시키도록 구성되는 것인 운전자 보조 시스템.
  7. 제1항에 있어서, 상기 적어도 하나의 센서는 레이저 스캐너, 레이더 센서, 및 초음파 센서 중 하나을 포함하는 것인 운전자 보조 시스템.
  8. 제1항에 있어서, 상기 운전자 보조 시스템은 캡쳐된 이미지에서 차량을 식별하고 해당 차량의 브랜드 또는 종류를 식별하도록 구성되는 것인 운전자 보조 시스템.
  9. 제8항에 있어서, 상기 운전자 보조 시스템은 차량의 내장 또는 외장 이미지 데이터베이스에 액세스하고 식별된 차량의 이미지를 상기 시점 수정 이미지에 표시하도록 구성되는 것인 운전자 보조 시스템.
  10. 제1항에 있어서, 상기 시점 전환기는 운전 상황 또는 검출된 물체 데이터에 기초하여 시점을 변경하도록 구성되는 것인 운전자 보조 시스템.
  11. 제1항에 있어서, 상기 운전자 보조 시스템은 적어도 하나의 사용자 입력 장치를 포함하며, 상기 시점 전환기는 상기 사용자 입력 장치로부터의 사용자 입력에 기초하여 시점, 팬(pan), 틸트(tilt) 또는 줌(zoom)을 변경하도록 구성되는 것인 운전자 보조 시스템.
  12. 차량 디스플레이 상에 차량의 해당 주변의 이미지를 표시하도록 운전자를 보조하는 방법으로서:
    차량의 주변의 적어도 하나의 이미지를 캡쳐하는 것;
    상기 적어도 하나의 이미지를 상기 차량의 위에서 아래로 보는 뷰(view)를 갖는 다른 시점으로 전환하는 것;
    상기 차량의 주변에서의 적어도 하나의 물체의 거리를 적어도 하나의 센서에 의해 검출하여 물체의 거리를 결정하는 것;
    시점 전환 이미지에서 상기 적어도 하나의 물체의 3차원 모양을 향상시키도록 상기 시점 전환 이미지를 수정하는 것
    을 포함하는 운전자 보조 방법.
KR1020167010708A 2013-09-23 2014-06-11 차량의 주변을 표시하는 운전자 보조 시스템 KR101842811B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/033,586 2013-09-23
US14/033,586 US9013286B2 (en) 2013-09-23 2013-09-23 Driver assistance system for displaying surroundings of a vehicle
PCT/EP2014/062111 WO2015039776A1 (en) 2013-09-23 2014-06-11 Driver assistance system for displaying surroundings of a vehicle

Publications (2)

Publication Number Publication Date
KR20160060736A true KR20160060736A (ko) 2016-05-30
KR101842811B1 KR101842811B1 (ko) 2018-03-27

Family

ID=50976609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167010708A KR101842811B1 (ko) 2013-09-23 2014-06-11 차량의 주변을 표시하는 운전자 보조 시스템

Country Status (5)

Country Link
US (1) US9013286B2 (ko)
EP (1) EP3049285B1 (ko)
KR (1) KR101842811B1 (ko)
CN (1) CN105745122B (ko)
WO (1) WO2015039776A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135745A1 (ko) * 2017-01-23 2018-07-26 삼성전자 주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
KR102612066B1 (ko) * 2022-08-03 2023-12-08 주식회사 리트빅 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9506774B2 (en) 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9374562B2 (en) 2011-04-19 2016-06-21 Ford Global Technologies, Llc System and method for calculating a horizontal camera to target distance
US9500497B2 (en) 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US9592851B2 (en) 2013-02-04 2017-03-14 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US9511799B2 (en) 2013-02-04 2016-12-06 Ford Global Technologies, Llc Object avoidance for a trailer backup assist system
KR101573576B1 (ko) * 2013-10-08 2015-12-01 현대자동차주식회사 Avm 시스템의 이미지 처리 방법
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
TW201529381A (zh) * 2014-01-17 2015-08-01 Primax Electronics Ltd 行車影像輔助系統
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
US9359009B2 (en) * 2014-03-22 2016-06-07 Ford Global Technologies, Llc Object detection during vehicle parking
JP6384188B2 (ja) * 2014-08-12 2018-09-05 ソニー株式会社 車両用表示装置と表示制御方法および後方モニタリングシステム
US9522677B2 (en) 2014-12-05 2016-12-20 Ford Global Technologies, Llc Mitigation of input device failure and mode management
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
WO2016185637A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 点群画像生成装置および表示システム
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
CN107531182B (zh) * 2015-08-27 2023-10-27 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
US10214241B2 (en) * 2015-09-13 2019-02-26 Daniel Robert Shepard Trailer backing up system accessories
US20170073004A1 (en) * 2015-09-13 2017-03-16 Daniel Robert Shepard Trailer backing up system accessories
US10140870B1 (en) * 2015-09-30 2018-11-27 Waymo Llc Occupant facing vehicle display
US9718404B2 (en) * 2015-10-01 2017-08-01 Ford Global Technologies, LLCS Parking obstruction locator and height estimator
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10137984B1 (en) 2016-02-23 2018-11-27 State Farm Mutual Automobile Insurance Company Systems and methods for operating drones in response to an incident
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
CN105857182A (zh) * 2016-05-19 2016-08-17 奇瑞汽车股份有限公司 一种电动汽车
DE102016114693A1 (de) * 2016-08-09 2018-02-15 Connaught Electronics Ltd. Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN106314441A (zh) * 2016-09-29 2017-01-11 陆睿得 一种基于全景地图的导航系统设备
DE102016124747A1 (de) 2016-12-19 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Erkennen eines erhabenen Objekts anhand perspektivischer Bilder
DE102016124978A1 (de) * 2016-12-20 2018-06-21 Connaught Electronics Ltd. Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
DE102016124989A1 (de) * 2016-12-20 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug
CN108230077A (zh) 2016-12-21 2018-06-29 北京嘀嘀无限科技发展有限公司 移动网络设备的预约车辆显示方法和装置
DE102017207960A1 (de) * 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
JP2019012915A (ja) * 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法
US9950685B1 (en) * 2017-07-27 2018-04-24 Feniex Industries, Inc. 360 degree intrusion detection and warning system
DE102017216058A1 (de) * 2017-09-12 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Dynamisch kolorierte Anzeige eines Fahrzeugs
US10648832B2 (en) 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection
JP6877571B2 (ja) * 2017-11-10 2021-05-26 本田技研工業株式会社 表示システム、表示方法、およびプログラム
US11173785B2 (en) 2017-12-01 2021-11-16 Caterpillar Inc. Operator assistance vision system
CN108318895B (zh) * 2017-12-19 2020-02-07 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
DE102018210812A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
JP7052632B2 (ja) * 2018-08-10 2022-04-12 トヨタ自動車株式会社 車両用周辺表示装置
CN110857055B (zh) * 2018-08-24 2023-05-09 江铃汽车股份有限公司 一种适用于大屏的环视系统及其使用方法
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
US10984546B2 (en) * 2019-02-28 2021-04-20 Apple Inc. Enabling automatic measurements
DE102019219017A1 (de) * 2019-12-05 2021-06-10 Robert Bosch Gmbh Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
US11887323B2 (en) * 2020-06-08 2024-01-30 Ford Global Technologies, Llc Self-supervised estimation of observed vehicle pose
US11670144B2 (en) 2020-09-14 2023-06-06 Apple Inc. User interfaces for indicating distance
US20220410803A1 (en) * 2021-06-23 2022-12-29 Caterpillar Paving Products Inc. Asphalt compactor birds eye camera integration
DE102021118658A1 (de) 2021-07-20 2023-01-26 Avl Software And Functions Gmbh Verfahren zur Erkennung von Parkflächen für ein Fahrzeug
JP2024031861A (ja) * 2022-08-23 2024-03-07 ダイキン工業株式会社 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
JP2024031827A (ja) * 2022-08-23 2024-03-07 ダイキン工業株式会社 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
DE102022123561A1 (de) 2022-09-15 2024-03-21 Valeo Schalter Und Sensoren Gmbh Frontkamerasystem für ein Fahrzeug

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP4104631B2 (ja) * 2006-03-27 2008-06-18 三洋電機株式会社 運転支援装置
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
ATE515011T1 (de) * 2007-08-29 2011-07-15 Continental Teves Ag & Co Ohg Vorrichtung und verfahren zur erkennung von fahrzeugen und deren annäherungswinkel
JP5072576B2 (ja) * 2007-12-20 2012-11-14 アルパイン株式会社 画像表示方法および画像表示装置
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
DE102008036009B4 (de) 2008-03-28 2018-03-22 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
US8289189B2 (en) * 2009-05-11 2012-10-16 Robert Bosch Gmbh Camera system for use in vehicle parking
DE102010010912A1 (de) * 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
US8736458B2 (en) * 2010-04-29 2014-05-27 Signature Research, Inc. Weigh-in-motion scale
EP2481637B1 (en) * 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
US9225964B2 (en) 2011-02-24 2015-12-29 Purdue Research Foundation Figure-ground organization of 3-D scenes

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018135745A1 (ko) * 2017-01-23 2018-07-26 삼성전자 주식회사 차량 주변의 객체를 나타내는 영상을 생성하는 방법 및 장치
US10964048B2 (en) 2017-01-23 2021-03-30 Samsung Electronics Co., Ltd Method and device for generating image for indicating object on periphery of vehicle
KR102612066B1 (ko) * 2022-08-03 2023-12-08 주식회사 리트빅 비정형 3d 투영면을 통한 3d svm 영상 왜곡보정 방법

Also Published As

Publication number Publication date
US20150084755A1 (en) 2015-03-26
WO2015039776A1 (en) 2015-03-26
EP3049285B1 (en) 2018-05-30
US9013286B2 (en) 2015-04-21
EP3049285A1 (en) 2016-08-03
CN105745122B (zh) 2017-10-20
KR101842811B1 (ko) 2018-03-27
CN105745122A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
KR101842811B1 (ko) 차량의 주변을 표시하는 운전자 보조 시스템
CN104210424B (zh) 增强的前方路缘观察系统
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
US8773534B2 (en) Image processing apparatus, medium recording image processing program, and image processing method
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
US9834143B2 (en) Enhanced perspective view generation in a front curb viewing system
US8630805B2 (en) Methods and systems for creating maps with radar-optical imaging fusion
US8446268B2 (en) System for displaying views of vehicle and its surroundings
US20210306590A1 (en) Display control apparatus
JP5408198B2 (ja) 映像表示装置及び映像表示方法
US20070003162A1 (en) Image generation device, image generation method, and image generation program
WO2012053105A1 (ja) 作業機械の周辺監視装置
KR101413231B1 (ko) 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량
CN103770706A (zh) 动态后视镜显示特征
CN104185009A (zh) 前方路缘观察系统中的增强的俯瞰视图生成
CN103051867A (zh) 图像生成器
KR20170118077A (ko) 차량 주변을 왜곡 없이 보여주는 방법 및 장치
CN114765972A (zh) 用于示出车辆的周围环境模型的显示方法、计算机程序、控制器和车辆
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
US11580689B2 (en) Information display control device, method, and non-transitory computer-readable recording medium
JP2013152546A (ja) 運転支援装置、運転支援方法及びそのプログラム
KR102447414B1 (ko) 차량 환경의 적어도 일부의 이미지 표현을 제공하는 방법, 컴퓨터 프로그램 제품 및 운전자 보조 시스템
KR20130063593A (ko) 촬상장치를 이용하여 객체의 위치와 거리를 측정하고 이를 표현하는 장치
US20220161723A1 (en) Parking assistance system
CN117411984A (zh) 图像的生成方法、装置、自动驾驶装置和车辆

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant