KR20170118077A - 차량 주변을 왜곡 없이 보여주는 방법 및 장치 - Google Patents

차량 주변을 왜곡 없이 보여주는 방법 및 장치 Download PDF

Info

Publication number
KR20170118077A
KR20170118077A KR1020177022638A KR20177022638A KR20170118077A KR 20170118077 A KR20170118077 A KR 20170118077A KR 1020177022638 A KR1020177022638 A KR 1020177022638A KR 20177022638 A KR20177022638 A KR 20177022638A KR 20170118077 A KR20170118077 A KR 20170118077A
Authority
KR
South Korea
Prior art keywords
vehicle
camera
data
sensor
surround view
Prior art date
Application number
KR1020177022638A
Other languages
English (en)
Inventor
마르쿠스 프리베
펠릭스 뢰어
Original Assignee
콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콘티 테믹 마이크로일렉트로닉 게엠베하 filed Critical 콘티 테믹 마이크로일렉트로닉 게엠베하
Publication of KR20170118077A publication Critical patent/KR20170118077A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

디스플레이 유닛에 나타나는 주변 이미지를 생성하기 위해, 데이터 처리 유닛을 통해 처리되는 카메라 이미지를 제공하는 적어도 하나의 차량 카메라를 갖는 차량에 대한 카메라 서라운드 뷰 시스템으로서, 상기 데이터 처리 유닛은 상기 차량 카메라에 의해 포착되는 텍스처를 차량 주변과 유사한 적응형 재투사 면에 재투사하고, 상기 재투사 면은 차량 센서에 의해 제공되는 센서 데이터를 기반으로 계산되며, 상기 데이터 처리 유닛은 가상 카메라의 위치와 방향에 따라 상기 재투사 면을 조정하는 카메라 서라운드 뷰 시스템.

Description

차량 주변을 왜곡 없이 보여주는 방법 및 장치{METHOD AND DEVICE FOR THE DISTORTION-FREE DISPLAY OF AN AREA SURROUNDING A VEHICLE}
본 발명은 카메라 서라운드 뷰 시스템을 구비한 차량, 특히 도로 주행 차량의 차량 주변을 왜곡 없이 보여주기 위한 방법 및 장치에 관한 것이다.
차량들은 차량을 조작할 때에 운전자를 지원하는 운전자 어시스턴트 시스템을 점점 더 갖추는 추세이다. 이러한 운전자 어시스턴트 시스템은 차량 주변을 차량의 운전자에게 보여줄 수 있는 카메라 서라운드 뷰 시스템을 부분적으로 포함한다. 이러한 카메라 서라운드 뷰 시스템은 하나 또는 그 이상의 차량 카메라를 포함하고, 이 차량 카메라는 카메라 서라운드 뷰 시스템의 데이터 처리 유닛을 통해 차량 주변 이미지를 조합한 카메라 이미지를 제공한다. 이때 차량 주변 이미지는 디스플레이 유닛에 나타난다. 종래의 카메라 기반 운전자 어시스턴트 시스템은 카메라 시스템의 텍스처 정보를 정적 투사면, 예를 들면 정적 2차원 기본 면 또는 정적 3차원 쉘 면에 투사한다.
그러나 그런 시스템은 차량 주변의 대상을 심하게 왜곡하여 보여준다는 중대한 단점이 있다. 텍스처 재투사 면이 정적이고 따라서 카메라 시스템의 실제 주변과 일치하지 않거나 유사하지 않기 때문이다. 그로 인해 잡음을 형성하는 심하게 왜곡된 대상이 나타날 수 있다.
따라서 본 발명의 목적은 차량 주변의 장애물을 가능한 잘 알아볼 수 있고 왜곡 없이 묘사하기 위해 왜곡된 잡음의 묘사를 억제하는, 차량 주변을 왜곡 없이 보여주기 위한 장치와 방법을 제공하는 데 있다.
이러한 과제는 본 발명에 따라 청구항 제1항에 제시한 특성을 지닌 카메라 서라운드 뷰 시스템을 통해 달성된다.
그에 따라 본 발명은 일 측에 따라 차량의 카메라 서라운드 뷰 시스템, 즉 디스플레이 유닛에 나타나는 서라운드 뷰 이미지 또는 주변 이미지를 생성하기 위해, 데이터 처리 유닛을 통해 처리되는 카메라 이미지를 제공하는 적어도 하나의 차량 카메라를 갖는 카메라 서라운드 뷰 시스템으로서, 데이터 처리 유닛은 차량 카메라에 의해 포착되는 텍스처를 차량 주변과 유사한 적응형 재투사 면(reprojection area)에 재투사하고, 이 재투사 면은 차량 센서에 의해 제공되는 센서 데이터를 기반으로 계산되며, 데이터 처리 유닛은 가상 카메라의 위치와 방향에 따라 재투사 면을 조정하는 카메라 서라운드 뷰 시스템을 제공한다.
본 발명에 따른 카메라 서라운드 뷰 시스템의 가능한 일 실시예에서 차량 센서에 의해 제공되는 센서 데이터는 차량 주변을 정확하게 묘사한다.
본 발명에 따른 카메라 서라운드 뷰 시스템의 추가의 가능한 일 실시예에서 센서 데이터는 주차 간격 데이터, 레이더 데이터, 라이더 데이터, 카메라 데이터, 레이저 스캔 데이터 및/또는 운동 데이터를 포함한다.
본 발명에 따른 카메라 서라운드 뷰 시스템의 추가의 가능한 일 실시예에서 적응형 재투사 면은 동적으로 변화 가능한 격자를 포함한다.
본 발명에 따른 카메라 서라운드 뷰 시스템의 추가의 가능한 일 실시예에서 재투사 면의 격자는 제공되는 센서 데이터에 따라 동적으로 변화 가능하다.
본 발명에 따른 카메라 서라운드 뷰 시스템의 추가의 가능한 일 실시예에서 재투사 면의 격자는 3차원의 격자이다.
본 발명에 따른 카메라 서라운드 뷰 시스템의 추가의 가능한 일 실시예에서 디스플레이 유닛은 터치 스크린이고, 가상 카메라의 위치 및/또는 방향은 터치 스크린을 통해 사용자에 의해 설정 가능하다.
또한 본 발명은 특허 청구항 제7항에 제시된 특징을 지닌 운전자 어시스턴트 시스템을 제공한다.
그에 따라 타 측에 의거하여 본 발명은 카메라 서라운드 뷰 시스템이 내장된 운전자 어시스턴트 시스템, 즉 디스플레이 유닛에 나타나는 서라운드 뷰 이미지 생성을 위해 데이터 처리 유닛을 통해 처리되는 카메라 이미지를 제공하는 적어도 하나의 차량 카메라를 갖는 운전자 어시스턴트 시스템으로서, 차량의 차량 카메라에 의해 포착되는 텍스처를 데이터 처리 유닛이 차량 환경과 유사한 적응형 재투사 면에 재투사하고, 적응형 재투사 면은 차량 센서를 통해 제공되는 센서 데이터에 의해 계산되는 운전자 어시스턴트 시스템을 제공한다.
또한 본 발명은 특허 청구항 제8항에 제시된 특성을 지닌 차량의 차량 주변을 왜곡 없이 보여주기 위한 방법을 제공한다.
그에 따라 본 발명은 다음의 단계로 차량 주변을 왜곡 없이 보여주기 위한 방법을 제공한다. 즉
차량의 차량 카메라를 통해 차량 주변의 카메라 이미지를 생성하는 단계,
차량 주변의 주변 이미지 생성을 위해 생성되는 카메라 이미지를 처리하는 단계,
차량 카메라에 의해 포착되는 텍스처를 차량 센서에 의해 제공되는 센서 데이터를 기반으로 계산되는 차량 주변과 유사한 적응형 재투사 면에 재투사 하는 단계 그리고
차량의 조감도 카메라 이미지를 제공하는 가상 카메라의 위치 및/또는 방향에 따라 재투사 면을 조정하는 단계.
본 발명에 따른 방법의, 추가의 가능한 실시예들은 종속 청구항에 제시된다.
또한 차량 주변을 왜곡 없이 보여주기 위한 본 발명에 따른 장치 및 본 발명에 따른 방법의 가능한 실시예들은 첨부된 도면들을 참조하여 더욱 상세하게 설명된다.
도 1은 본 발명에 따른 카메라 서라운드 뷰 시스템의 실시예를 도시하는 계통도이다.
도 2는 차량 주변을 왜곡없이 보여주기 위한 본 발명에 따른 방법의 실시예를 도시하는 흐름도이다.
도 3은 본 발명에 따른 방법 및 본 발명에 따른 카메라 서라운드 뷰 시스템의 기능을 설명하기 위한 개략도이다.
도 1에서 알 수 있는 바와 같이, 카메라 서라운드 뷰 시스템(1)은 도시된 예에서 다수의 컴포넌트를 갖는다. 카메라 서라운드 뷰 시스템(1)은 도시된 실시예에서 적어도 하나의 차량 카메라(2)를 가지며, 이 카메라는 서라운드 뷰 이미지 또는 차량 주변 이미지에 대해 카메라 서라운드 뷰 시스템(1)의 데이터 처리 유닛(3)을 통해 처리되는 카메라 이미지를 제공한다. 데이터 처리 유닛(3)에 의해 생성되는 서라운드 뷰 이미지 또는 차량 주변 이미지는 디스플레이 유닛(4)에 나타난다. 데이터 처리 유닛(3)은 차량의 차량 센서(5)에 의해 제공되는 센서 데이터를 기반으로 하여 적응형 재투사 면을 계산한다. 카메라 서라운드 뷰 시스템(1)의 차량 카메라(2)에 의해 포착된 텍스처는 차량 주변과 유사한, 계산상의 이 적응형 재투사 면에 재투사되고, 이를 통해 왜곡 또는 왜곡된 잡음이 최소화되거나 또는 제거된다.
도 1에 도시되는 센서(5)는 예컨대 주차 간격 조절 또는 주차 거리 제어 센서이다. 또한 차량의 센서들은 레이더 센서 또는 라이더 센서일 수 있다. 추가의 가능한 일 실시예에서 추가의 차량 카메라(2), 특히 스테레오 카메라 또는 모노 카메라의 센서 데이터는 적응형 재투사 면의 계산을 위해 제공된다. 추가의 가능한 일 실시예에서 센서 데이터는 차량의 레이저 스캔 시스템을 통해 제공된다. 추가의 가능한 일 실시예에서 운동 데이터 또는 구조 데이터도 재투사 면의 계산을 위해 데이터 처리 유닛(3)을 통해 이용된다. 차량 센서(5)에 의해 제공되는 센서 데이터는 높은 정확도로 차량 주변 또는 차량 주변의 대상을 재생한다. 이에 해당하는 대상은 예컨대 차량의 직접적인 주변, 예를 들면 최대 반경 5m 안에 있는 다른 차량이다. 또한 차량 바로 가까이에서 최대 5m 거리를 두고 지나가는 보행자가 이에 해당하는 대상일 수 있다. 기타 장애물, 예를 들면 주차 공간을 구분하기 위한 봉도 이러한 대상일 수 있다.
데이터 처리 유닛(3)이 센서 데이터를 기반으로 계산한 재투사 면은 바람직하게는 동적으로 변하는 격자 또는 모눈 모양을 갖는다. 재투사 면의 이러한 격자는 가능한 일 실시예에서 제공되는 센서 데이터에 따라 동적으로 변한다. 재투사 면의 격자는 바람직하게는 3차원 격자이다. 데이터 처리 유닛(3)을 통해 계산된 재투사 면은 정적이지 않고 동적이며, 적응 능력이 있어서 차량 센서(5)에 의해 제공되는 현재 센서 데이터에 맞추어 조정될 수 있다. 이 차량 센서(5)는 가능한 일 실시예에서 정면 모노 카메라 또는 스테레오 카메라를 포함할 수 있다. 또한 센서 유닛(5)은 데이터를 제공하는 라이더 시스템을 포함하거나 또는 주변의 레이더 데이터를 데이터 처리 유닛(3)으로 전송하는 레이더 시스템을 포함할 수 있다. 데이터 처리 유닛(3)은 하나 또는 다수의 마이크로프로세서를 포함할 수 있고, 이 마이크로프로세서는 센서 데이터를 처리하고 거기서부터 재투사 면을 실시간으로 계산한다. 차량 카메라(2)에 의해 포착되는 텍스처는 차량 주변과 유사한, 계산된 이 재투사 면에 투사되거나 재투사된다. 차량 카메라(2)의 디스플레이는 다양할 수 있다. 가능한 일 실시예에서 차량은 차량의 각 네 면에 네 대의 차량 카메라(2)를 구비한다. 차량은 바람직하게는 도로 교통 수단, 특히 트럭 또는 승용차이다. 본 발명에 따른 카메라 서라운드 뷰 시스템(1)을 이용하여 카메라 시스템의 카메라(2)에 의해 포착된 주변 텍스처가 적응형 재투사 면을 통해 재투사되어, 위에서 언급한 잡음이 줄어들거나 제거된다. 따라서 본 발명에 따른 카메라 서라운드 뷰 시스템(1)을 통해 묘사되는 차량 주변의 질이 확연히 개선된다. 차량 주변의 대상, 예를 들어 가까이에 주차된 차량 또는 가까이에 있는 사람이 정적 재투사 면을 사용하는 시스템에 비해 덜 왜곡되게 나타난다.
데이터 처리 유닛(3)은 도 3에 도시되는 바와 같은 가상 카메라(6)를 제어한다. 도 3에서 식별할 수 있는 바와 같이, 데이터 처리 유닛(3)에 의해 제어되는 가상 카메라(6)는 조감도로 차량(F) 위에서 차량 이미지를 제공한다. 기본 설정일 때 가상 카메라(6)는 수직 방향으로 90°각도를 이루고 차량(F)의 차체 위로 높이(H)를 두고 가상으로 배치된다. 가상 카메라(6)의 카메라 이미지는 차량(F)에 제공되는 서라운드 뷰 카메라의 카메라 이미지로부터 데이터 처리 유닛(3)을 통해 계산된다. 가상 카메라(6)는 차량(F)에 대해 상대적인 카메라 정렬 및 차량(F)에 대한 상대적 위치를 갖는다. 카메라 서라운드 뷰 시스템(1)의 데이터 처리 유닛(3)은 가상 카메라(6)의 위치 및 방향에 따라 재투사 면을 조정한다. 가상 카메라(6)의 위치와 방향은 바람직하게 설정 가능하다. 도 3에 도시된 바와 같이, 예컨대 가상 카메라(6)는 자신의 수직 방향 위치에서 출발하여 차량 차체 위에서 90°의 각도로 경사를 이룰 수 있고, 이때 가상 카메라는 예컨대 45°의 경사각 α를 갖는다. 차량(F)과 관련하여 차량 카메라(6)의 간격 또는 높이는 도 3에 도시된 실시예에서 일정하게 유지된다. 상대적 위치 외에 추가로 차량 카메라(6)의 방향을 조정하는 것도 가능하다. 가능한 일 실시예에서 데이터 처리 유닛(3)은 가상 카메라(6)의 매개변수 메모리로부터 차량(F)에 대해 상대적인 가상 카메라(6)의 현재 위치와 방향을 판독한다. 판독된 가상 카메라(6)의 매개변수에 따라 적응형 재투사 면이 데이터 처리 유닛(3)에 의해 설정되거나 조정되고, 그에 따라 디스플레이 유닛(4)에 가능한 많은 텍스처 또는 카메라 정보가 왜곡되지 않게 묘사되고 동시에 차량(F) 바로 주변의 장애물이 쉽게 식별될 수 있다. 가능한 일 실시예에서 디스플레이 유닛(4)은 터치 스크린이다. 차량(F)의 운전자 또는 사용자는 가능한 일 실시예에서 터치스크린을 터치하여 가상 카메라(6)의 위치 및/또는 방향을 조정하거나 보정하여 차량 바로 주변의 장애물, 예컨대 제한된 주차면을 표시하는 봉을 가능한 명확하게 식별할 수 있다. 추가의 가능한 일 실시예에서 관찰되는 차량(F) 위에서 가상 카메라(6)의 간격 또는 높이는 사용자 측에서 설정하여, 차량 주변에 있는 장애물을 가능한 명확하고 상세하게 식별하는 것도 가능하다. 장애물은 차량(F)이 주변을 주행할 때에 노면 상에서 방해하는 임의의 대상, 예컨대 쌓아둔 눈 또는 주차면을 구분하기 위한 봉일 수 있다.
도 2는 차량 주변을 왜곡되지 않게 나타내기 위한 본 발명에 따른 방법의 일 실시예를 흐름도로 도시한다.
제1 단계(S1)에서 차량 주변의 카메라 이미지는 차량(F)의 차량 카메라(2)에 의해 생성된다. 예컨대 카메라 이미지는 차량의 각 면에 부착되는 다수의 차량 카메라(2)를 통해 생성된다.
생성된 카메라 이미지는 이어지는 단계(S2)에서 차량 주변의 주변 이미지를 생성하기 위해 처리된다. 가능한 일 실시예에서 생성된 카메라 이미지 처리는 도 1에 도시되는 바와 같이 데이터 처리 유닛(3)에 의해 이루어진다. 카메라 이미지는 바람직하게는 적합한 주변 이미지를 생성하기 위해 실시간으로 처리된다.
그런 다음 이어지는 단계(S3)에서 제공되는 센서 데이터를 기반으로 재투사 면이 계산되고 이어서 차량 카메라에 의해 포착되는 텍스처가 이 계산된 적응형 재투사 면에 재투사된다. 적응형 재투사 면은 동적으로 변화 가능한 격자를 지니며, 이 격자는 제공되는 센서 데이터에 따라 동적으로 변한다. 이 격자는 바람직하게는 3차원 격자이다.
단계(S4)에서는 차량(F)의 조감도 카메라 이미지를 위에서부터 제공하는 가상 카메라(6)의 위치 및/또는 방향에 따라 데이터 처리 유닛(3)에 의해 재투사 면이 조정된다.
도 2에 도시되는 방법은 가능한 일 실시예에서 컴퓨터 프로그램, 즉 마이크로 프로세서에 의해 실시될 수 있는 컴퓨터 명령을 포함하는 컴퓨터 프로그램에 의해 구현될 수 있다. 이 프로그램은 가능한 일 실시예에서 데이터 매체 또는 프로그램 메모리에 저장될 수 있다.

Claims (15)

  1. 디스플레이 유닛(4)에 나타나는 주변 이미지를 생성하기 위해, 데이터 처리 유닛(3)을 통해 처리되는 카메라 이미지를 제공하는 적어도 하나의 차량 카메라(2)를 갖는 차량(F)에 대한 카메라 서라운드 뷰 시스템(1)으로서, 상기 데이터 처리 유닛(3)은 상기 차량 카메라(2)에 의해 포착되는 텍스처를 차량 주변과 유사한 적응형 재투사 면에 재투사하고, 상기 재투사 면은 차량 센서(5)에 의해 제공되는 센서 데이터를 기반으로 계산되며, 상기 데이터 처리 유닛(3)은 가상 카메라(6)의 위치와 방향에 따라 상기 재투사 면을 조정하는 카메라 서라운드 뷰 시스템(1).
  2. 제1항에 있어서, 상기 차량 센서(5)에 의해 제공되는 센서 데이터는 상기 차량(F)의 차량 주변을 재생하는 카메라 서라운드 뷰 시스템.
  3. 제2항에 있어서, 상기 센서 데이터는 주차 간격 데이터, 레이더 데이터, 라이더 데이터, 카메라 데이터, 레이저 스캔 데이터 및 운동 데이터를 포함하는 카메라 서라운드 뷰 시스템.
  4. 제1항 내지 제 3항 중 어느 한 항에 있어서, 상기 계산된 적응형 재투사 면은 동적으로 변화 가능한 격자를 갖는 카메라 서라운드 뷰 시스템.
  5. 제4항에 있어서, 상기 재투사 면의 상기 격자는 제공되는 상기 센서 데이터에 따라 동적으로 변화 가능한 3차원 격자인 카메라 서라운드 뷰 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 디스플레이 유닛(4)은 터치스크린이고 상기 카메라(6)의 위치와 방향은 사용자에 의해 조정 가능한 카메라 서라운드 뷰 시스템.
  7. 상기 제1항 내지 제6항 중 어느 한 항에 있어서 카메라 서라운드 뷰 시스템(1)을 장착한 차량의 운전자 어시스턴트 시스템.
  8. 이하의 단계로 차량(F)의 차량 주변을 왜곡 없이 나타내기 위한 방법:
    (a)상기 차량의 차량 카메라(2)를 통해 상기 차량 주변의 카메라 이미지를 생성하는 단계 (S1);
    (b)상기 차량 주변의 주변 이미지 생성을 위해 상기 생성되는 카메라 이미지를 처리하는 단계 (S2); 및
    (c)상기 차량 카메라(2)에 의해 포착되는 텍스처를 상기 차량 센서(5)에 의해 제공되는 센서 데이터를 기반으로 계산되는, 차량 주변과 유사한 적응형 재투사 면에 재투사하는 단계 (S3),
    (d)차량(F)의 조감도 카메라 이미지를 제공하는 가상 카메라(6)의 위치 및/또는 방향에 따라 상기 재투사 면을 조정하는 단계 (S4).
  9. 제8항에 있어서, 상기 차량 센서(5)에 의해 제공되는 센서 데이터는 상기 차량(F)의 차량 주변을 묘사하는 방법.
  10. 제9항에 있어서, 상기 센서 데이터는 주차 간격 데이터, 레이더 데이터, 라이더 데이터, 카메라 데이터, 레이저 스캔 데이터 및 운동 데이터를 포함하는 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 적응형 재투사 면은 동적으로 변화 가능한 격자를 갖는 방법.
  12. 제11항에 있어서, 상기 재투사 면의 상기 격자는 상기 제공되는 센서 데이터에 따라 동적으로 변하는 3차원 격자인 방법.
  13. 제12항에 있어서, 상기 가상 카메라(6)의 위치 및 방향은 사용자에 의해 사용자 인터페이스를 통해 조정되는 방법.
  14. 제8항 내지 제13항 중 어느 한 항에 따른 방법을 실행하는 명령을 포함하는 컴퓨터 프로그램.
  15. 제7항에 있어서 운전자 어시스턴트 시스템을 갖는 차량, 특히 도로 교통 수단.
KR1020177022638A 2015-02-17 2016-02-04 차량 주변을 왜곡 없이 보여주는 방법 및 장치 KR20170118077A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015202863.1 2015-02-17
DE102015202863.1A DE102015202863A1 (de) 2015-02-17 2015-02-17 Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
PCT/DE2016/200074 WO2016131452A1 (de) 2015-02-17 2016-02-04 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges

Publications (1)

Publication Number Publication Date
KR20170118077A true KR20170118077A (ko) 2017-10-24

Family

ID=55661011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022638A KR20170118077A (ko) 2015-02-17 2016-02-04 차량 주변을 왜곡 없이 보여주는 방법 및 장치

Country Status (7)

Country Link
US (1) US20170341582A1 (ko)
EP (1) EP3259907A1 (ko)
JP (1) JP2018509799A (ko)
KR (1) KR20170118077A (ko)
CN (1) CN107249934B (ko)
DE (2) DE102015202863A1 (ko)
WO (1) WO2016131452A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102017216822A1 (de) 2017-09-22 2019-03-28 Continental Automotive Gmbh Vorrichtung und Verfahren zum Anpassen einer Bildverarbeitung basierend auf einer Form einer Anzeigeneinrichtung für ein Kraftfahrzeug
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113607203B (zh) * 2021-07-30 2024-05-28 宁波路特斯机器人有限公司 一种车辆传感器的控制方法及系统、一种车辆

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05638A (ja) * 1991-06-24 1993-01-08 Sony Corp 車載用監視装置
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
JPWO2011158344A1 (ja) * 2010-06-16 2013-08-15 コニカミノルタ株式会社 画像処理方法、プログラム、画像処理装置及び撮像装置
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP5861871B2 (ja) * 2011-12-28 2016-02-16 スズキ株式会社 俯瞰画像提示装置
US20130293683A1 (en) * 2012-05-03 2013-11-07 Harman International (Shanghai) Management Co., Ltd. System and method of interactively controlling a virtual camera
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
DE102012018326B4 (de) * 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion
JP6014433B2 (ja) * 2012-09-19 2016-10-25 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6148887B2 (ja) * 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6310652B2 (ja) * 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法

Also Published As

Publication number Publication date
DE112016000188A5 (de) 2017-08-31
CN107249934A (zh) 2017-10-13
JP2018509799A (ja) 2018-04-05
CN107249934B (zh) 2021-01-12
US20170341582A1 (en) 2017-11-30
DE102015202863A1 (de) 2016-08-18
EP3259907A1 (de) 2017-12-27
WO2016131452A1 (de) 2016-08-25

Similar Documents

Publication Publication Date Title
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
KR20170118077A (ko) 차량 주변을 왜곡 없이 보여주는 방법 및 장치
JP6091759B2 (ja) 車両のサラウンドビューシステム
JP5748920B2 (ja) 車両周辺の表示方法
CN107438538B (zh) 用于显示车辆的车辆周围环境的方法
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
EP3160138A1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP5874920B2 (ja) 車両周囲確認用モニター装置
KR102057021B1 (ko) 패널 변환
JP2021516390A (ja) 調整された投影面を有するサラウンドビュー・システム
KR102124298B1 (ko) 후방 교차 교통-퀵 룩스
JP2018509799A5 (ko)
JP5299101B2 (ja) 周辺表示装置
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
US10475154B2 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
CN113838060A (zh) 用于自主车辆的感知系统
CN108290499B (zh) 带有自适应周围环境图像数据处理功能的驾驶员辅助系统
EP3163533A1 (en) Adaptive view projection for a vehicle camera system
JP2018077713A (ja) 区画線検出システム
JP7436331B2 (ja) 画像処理装置
JP6187322B2 (ja) 画像表示装置、画像表示システム
US20230037900A1 (en) Device and Method for Determining Objects Around a Vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application