KR20230166128A - 오프셋 카메라 뷰를 포함하는 차량 디스플레이 - Google Patents

오프셋 카메라 뷰를 포함하는 차량 디스플레이 Download PDF

Info

Publication number
KR20230166128A
KR20230166128A KR1020237038241A KR20237038241A KR20230166128A KR 20230166128 A KR20230166128 A KR 20230166128A KR 1020237038241 A KR1020237038241 A KR 1020237038241A KR 20237038241 A KR20237038241 A KR 20237038241A KR 20230166128 A KR20230166128 A KR 20230166128A
Authority
KR
South Korea
Prior art keywords
vehicle
replacement system
virtual camera
mirror replacement
cameras
Prior art date
Application number
KR1020237038241A
Other languages
English (en)
Inventor
브래드 코로디
트로이 오티스 쿠프리더
리앙 마
바뉴프라카시 머시
Original Assignee
스토너릿지 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스토너릿지 인코포레이티드 filed Critical 스토너릿지 인코포레이티드
Publication of KR20230166128A publication Critical patent/KR20230166128A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

자동차용 미러 대체 시스템은 차량 주변에 배치된 복수의 카메라를 포함한다. 차량 제어기는 각각의 카메라에 연결되며, 복수의 카메라로부터의 이미지 피드를 적어도 부분적으로 기초로 하여 적어도 하나의 외삽 이미지를 생성하도록 구성된 외삽 알고리즘을 포함한다. 외삽된 이미지는 차량으로부터 오프셋된 가상 카메라 위치의 관점에 따른 것이다. 디스플레이는 차량 운전자에게 외삽된 이미지를 표시하도록 구성된다.

Description

오프셋 카메라 뷰를 포함하는 차량 디스플레이
관련 출원에 대한 상호 참조
본 출원은 2021년 4월 7일에 출원된 미국 가출원 번호 63/171815에 대한 우선권을 주장한다.
기술 분야
본 개시는 일반적으로 미러 대체 또는 미러 보조 시스템을 위한 차량 디스플레이에 관한 것으로서, 보다 구체적으로는, 차량 디스플레이 내에 제3자 오프셋 뷰를 포함하기 위한 시스템에 관한 것이다.
상업용 운송 차량의 차량 시스템과 같은 차량 시스템에는 차량 운전자를 위한 보조 시야를 생성하기 위해 기존 차량 미러와 함께 사용되는 카메라 피드가 포함되는 경우가 많다. 경우에 따라, 차량 카메라는 미러 대체 시스템에서 하나 이상의 미러를 대체하기 위해 작동할 수 있다. 다른 경우에는, 카메라가 기존 미러 배치(예: 후미등에 후방을 향하는 카메라가 후방 시야를 제공함)를 통해 제공되지 않을 수 있는 시야를 제공한다. 기존 시스템은 실제 물리적 카메라의 고정된 위치에 의해 생성된 유리한 지점으로 제한된다. 따라서, 디스플레이는 차량 운전자에게 전달할 수 있는 정보가 제한적이다.
일 실시예에서, 자동차용 미러 대체 시스템은 차량 주변에 배치된 복수의 카메라, 복수의 카메라의 각각의 카메라에 연결된 차량 제어기 ― 차량 제어기는 적어도 부분적으로 복수의 카메라로부터의 이미지 피드에 기초하여 적어도 하나의 외삽 이미지를 생성하도록 구성된 외삽 알고리즘을 포함하고, 외삽 이미지는 차량으로부터 오프셋된 가상 카메라 위치의 관점에 따른 것임 ― , 및 차량 운전자에게 외삽 이미지를 표시하도록 구성된 디스플레이를 포함한다.
상술한 자동차용 미러 대체 시스템의 또 다른 예는, 차량 주변에 배치되는 복수의 센서를 더 포함하며, 각각의 센서는 차량 제어기에 통신 가능하게 결합된다.
상술한 자동차용 미러 대체 시스템의 다른 예에서, 복수의 카메라는 클래스 II 뷰, 클래스 IV 뷰, 클래스 V 뷰, 클래스 VI 뷰 및 클래스 VIII 뷰 중 적어도 하나를 생성하도록 구성된 카메라를 포함한다.
위에서 설명한 자동차용 미러 대체 시스템의 다른 예에서, 가상 카메라 위치는 차량 제어기에 저장된 다수의 고정 가상 카메라 위치 중 하나이다.
상술한 자동차용 미러 대체 시스템의 다른 예에서, 표시된 가상 카메라 위치는 차량 제어기에 의해 감지된 물체의 위치에 기초하여 복수의 고정 가상 카메라 위치 중에서 선택된다.
상술한 자동차용 미러 대체 시스템의 다른 예에서, 표시된 가상 카메라 위치는 가상 카메라 위치와 차량 제어기에 의해 감지된 물체 사이의 장애물을 포함하며, 여기서 장애물은 적어도 부분적으로 투명하게 렌더링된다.
위에서 설명한 자동차용 미러 대체 시스템의 다른 예에서, 가상 카메라 위치는 차량 운전자에 의해 수동으로 조정될 수 있다.
위에서 설명한 자동차용 미러 대체 시스템의 다른 예에서, 가상 카메라 위치는 단일 축 상에서 조정될 수 있다.
위에서 설명한 자동차용 미러 대체 시스템의 다른 예에서, 가상 카메라 위치는 두 개의 축 상에서 조정될 수 있다.
위에서 설명한 자동차용 미러 대체 시스템의 다른 예에서, 가상 카메라 위치는 3 개의 축 상에서 조정될 수 있다.
상술한 자동차용 미러 대체 시스템의 다른 예에서, 차량 제어기는 차량 외부의 적어도 하나의 데이터 소스에 연결되며, 여기서 적어도 하나의 소스의 데이터는 외삽 알고리즘에 의해 사용된다.
위에서 설명한 자동차용 미러 대체 시스템의 다른 예에서, 적어도 하나의 데이터 소스는 로컬 센서에 대한 무선 연결을 포함한다.
상술한 자동차용 미러 대체 시스템의 다른 예에서, 적어도 하나의 데이터 소스는 장거리 무선 연결을 통해 차량 제어기에 연결된 차량군 관리 시스템을 포함한다.
상술한 자동차용 미러 대체 시스템의 다른 예에서, 외삽된 이미지는 비디오 이미지이다.
상술한 자동차용 미러 대체 시스템의 다른 예에서, 적어도 하나의 외삽 이미지는 적어도 두 개의 외삽 이미지를 포함한다.
도 1은 상업용 운송 차량의 개략적인 개략도를 보여준다.
도 2는 도 1의 상업용 운송 차량의 예시적인 디스플레이를 보여준다.
도 3은 예상 운영 환경에 포함된 도 1의 상업용 운송 차량을 개략적으로 보여준다.
이전 단락들의 실시예, 예 및 대안, 청구범위, 또는 다음의 설명 및 도면은 다양한 측면 또는 각각의 개별 특징을 포함하여 독립적으로 또는 임의의 조합으로 취해질 수 있다. 하나의 실시예와 관련하여 설명된 특징은 그러한 특징이 양립할 수 없는 경우를 제외하고 모든 실시예에 적용 가능하다.
상용 트럭(10)의 개략도가 도 1에 도시되어 있다. 트럭(10)은 트레일러(14)를 견인하는 차량 운전실(12)을 포함한다. 운전석 및 조수석 측면 카메라 하우징(16)은 차량 운전실(12)에 장착된다. 원하는 경우, 카메라 하우징(16)은 카메라 하우징(16)과 통합된 종래의 미러를 포함할 수도 있다. 제1 및 제2 디스플레이(18)는 차량 캡(12) 내의 운전석 및 조수석 측면 각각에 배치되어 차량(10)의 각각의 측면에 클래스 II 및 클래스 IV 뷰를 표시한다. 추가 클래스 디스플레이를 포함하여, 도시된 것보다 더 적은 또는 더 많은 디스플레이가 사용될 수 있으며, 디스플레이는 도시된 것과 다르게 위치할 수 있다. 다른 실시예들에서, 본 명세서에 설명된 오프셋 가상 카메라는 추가 카메라(11)(클래스 V 뷰 제공) 및 카메라(13)(클래스 VI 뷰 제공)를 사용하여 오프셋 가상 카메라를 형성하기 위해 이미지를 결합함으로써 활용될 수 있다. 또 다른 실시예들에서는, 클래스 VIII 뷰를 생성하는 추가 카메라가 프로세스에 포함될 수 있다. 예시된 카메라 위치는 예시적인 것일 뿐이며, 실제 구현에서는 주어진 시스템에서 필요할 수 있는 특정 뷰 유형의 여러 추가 카메라를 포함할 수 있다.
한 예시적인 카메라 미러 시스템(20)은 도 2에 매우 개략적으로 도시되어 있다. 일 실시예에서, 후방을 향하는 제1 및 제2 카메라(22, 24)는 카메라 하우징(16) 내에 배치된다. 제1 및 제2 카메라(22, 24)는 예를 들어, 클래스 IV 및 클래스 II 뷰에 대응하는 제1 및 제2 시야각(22 FOV1, FOV2)을 제공한다. 제1 및 제2 시야각(FOV1, FOV2)은 서로 중첩되어 중첩 영역(25)을 제공한다. 그러나, 카메라는 도면과 다르게 배치될 수 있으며, 제공되는 시야각은 다른 클래스 또는 다른 뷰와 완전히 관련될 수 있음을 이해해야 한다. 물리적 카메라(22, 24)에 더하여, 복수의 가상 카메라(50, 50', 50'')가 차량 제어기(26)에 의해 생성된다. 가상 카메라(50, 50', 50'')는 차량(12)으로부터 오프셋된 관점에서 제공되는 외삽된 이미지를 사용하며, 그 관점은 물리적 카메라가 위치하지 않는 공간적 위치에 있다. 일부 예들에서, 가상 카메라(50)의 오프셋 위치는 카메라를 위치시킬 수 없는 위치(예를 들어, 움직이는 차량의 전방 및 대각선으로 오프셋된 위치)이다. 일부 예들에서, 가상 카메라(50, 50', 50'')의 위치는 차량(12)에 대하여 미리 설정된 위치이며, 차량 작동자는 두 축을 따라 가상 카메라(50, 50', 50'')를 적당히 조정할 수 있다. 다른 실시예에서, 가상 카메라(50, 50', 50'')의 위치는 차량 운영자에 의해 자유롭게 제어될 수 있으며, 2축 또는 3축에서의 카메라의 위치는 조정될 수 있다.
ECU 또는 제어기(26)는 적어도 제1 및 제2 카메라(22, 24)와 통신한다. 다른 예들에서는, 주어진 시스템의 특정 구성에 따라 추가 또는 대체 카메라가 ECU(26)에 연결될 수 있다. 예를 들어, 추가 카메라는 트레일러(12) 상에, 운전실(10)의 대체 위치 및/또는 운전실(12)의 대체 방향에 배치될 수 있다. 레이더 센서(38), 라이다 센서(40), 적외선 센서(42) 및/또는 초음파 센서(44)와 같은 다양한 센서(28)가 제어기(26)와 통신할 수 있다. 또한, 도 3에 도시된 시스템과 같은 시스템에서, 무선 데이터 연결을 통해 차량에 연결된 원격 시스템으로부터 차량 외부로부터의 추가 이미지 소스 및/또는 센서가 제공될 수 있다. 이러한 시스템에서 원격 이미지 소스는 이미지 피드뿐만 아니라 차량에 대한 이미지 소스의 지리적 공간 위치 및 방향을 제공한다. 지리적 공간 위치는 세계의 객관적인 위치(예컨대, 위성 위치 확인 시스템을 통해 결정된 위치) 또는 차량(10)에 대한 상대적인 위치일 수 있으며, 정보는 임의의 시스템을 통해 차량에 제공될 수 있다.
일부 예들에서, 센서(28) 및/또는 제1 및 제2 카메라(22, 24)는 제1 및 제2 카메라(22, 24)에 의해 포착된 이미지 내의 물체 및/또는 차량이 운행 중인 환경 내의 물체를 검출하는 데 사용된다. 공간에서 물체의 위치를 결정하기 위해 신경망 및 3D 기하학 모델에 의존하는 것과 같은, 예를 들어, 에고 모션으로부터의 감지와 같은 임의의 적절한 물체 감지 방식이 사용될 수 있다. 신경망을 이용한 물체 감지의 경우, 제1 및 제2 카메라(22, 24)는 물체를 감지하는 데 사용되는 센서 중 적어도 하나를 제공한다. 다른 예들에서, 신경망 분석과 같은 이미지 기반 검출뿐만 아니라 레이더, 라이다, 센서 등과 같은 3D 공간 검출 시스템을 사용하여 3D 공간에서 이미지를 검출하는 것을 포함하여, 임의의 물체 검출 시스템이 이미지 평면 내의 물체를 검출하는 데 사용될 수 있다.
제어기(26)는 가상 카메라 뷰를 생성하고 디스플레이(18)에 표시될 비디오 신호를 출력한다. 비디오 신호는 가상 카메라(50, 50', 50'') 중 하나의 관점에서 차량(12)의 외삽된 오프셋 뷰이다. 예시된 실시예에서, 가상 카메라(50)는 차량으로부터 오프셋되어 차량(12)의 전방에 배치된 카메라의 관점에서 차량(12)의 좌측 측면 뷰를 제공한다. 가상 카메라(50')는 가상 카메라(50)와 유사하게 차량(12)의 오른쪽 측면의 측면 뷰를 제공하고, 가상 카메라(50')는 차량으로부터 오프셋된 트레일러(14)의 측면 뷰를 제공한다. 다른 예들에서, 가상 카메라(50)는 차량의 후방에서 오프셋된 것과 같은 다른 유용한 위치에 배치될 수 있다. 물체 감지 시스템과 결합될 때, 제어기(26)는 감지된 물체를 포함하는 시야를 제공하는 특정 가상 카메라(50)의 유리한 지점 또는 장애물이 투명해진 경우 감지된 물체를 포함하는 시야를 결정할 수 있다. 특정 가상 카메라(50)의 유리한 지점이 식별되면, 제어기(26)는 가상 카메라(50)가 차량 운전자에게 자동으로 표시되도록 하여, 차량 디스플레이를 더욱 향상시킬 수 있다.
일부 예들에서, 가상 카메라(50)는 장애물 뷰 이미지를 제공하는 데 사용될 수 있다. 가려진 뷰 이미지는 제2 특징 또는 물체에 의해 가려진 특징 또는 물체를 포함하는 가상 유리한 지점(50, 50', 50'')의 이미지이다. 이러한 예에서, 제2 피처 또는 물체는 투명하게 만들어져 가려진 피처 또는 물체가 제2 피처 또는 물체 뒤에서도 보이도록 한다.
가상 카메라(50, 50', 50'')는 외삽 알고리즘(30)에 기초하여 제1 카메라(22, 24) 및 제2 카메라(및/또는 임의의 다른 적절한 카메라)의 이미지 조합을 사용하여 생성되는 이미지에 대한 유리한 지점 또는 카메라 위치를 제공한다. 이 이미지는 센서 판독값과 다수의 이미지의 조합을 활용하여 차량(12)으로부터 오프셋된 단일 가상 카메라 위치를 생성하기 때문에 일반적으로 "외삽된 이미지"라고 불린다. 실시예에서, 디스플레이(18)의 화면(32)은 외삽 알고리즘으로부터의 외삽된 이미지를 포함하는 가상 뷰(36)를 제공한다.
일부 예들에서, 외삽 알고리즘(30)은 가상 카메라(50)의 시야를 외삽하기 위해 이미지 스티칭(물리적 카메라로부터 두 개의 겹치는 시야를 결합하는 것), 이미지 틸팅, 이미지 스큐잉 등의 조합을 사용하여 이미지를 생성한다. 예를 들어, 차량(12)의 전방 및 좌측에 유리한 지점이 필요한 경우, 외삽 알고리즘(30)은 이미지 스티칭, 틸팅, 스큐잉 및 시차 효과의 조합을 사용하여 오프셋 가상 카메라 위치를 생성한다. 한 예에서, 가상 시야 밖에 있는 이미지 영역은 제거되거나 공백으로 대체되어 가상 효과를 더욱 향상시킨다. 또 다른 예에서, 가상 시야는 시야가 가려진 물체 또는 부분적으로 시야가 가려진 물체의 묘사를 포함할 수 있으며, 장애물은 투명하거나 부분적으로 투명하게 렌더링될 수 있다.
도 1 및 도 2를 계속 참조하여, 도 3은 도 1 및 도 2의 외삽 알고리즘(30)이 가상 카메라(50) 시야(51)를 생성하는 데 사용할 수 있는 추가 센서 및 이미지 소스를 포함하는 예시적인 운영 환경(200)을 도시한다. 예시적인 운영 환경은 선적 야드(210)를 갖는 창고 구조물(202)을 포함하는 상업용 선적 야드(201)이다. 상업용 선적 야드(201)는 또한 연결되지 않은 트랙터(220)를 해당 트레일러(222)에 연결하기 위한 히칭 위치를 포함한다. 선적 야드(201) 전체에 배치된 다수의 센서(231, 232, 234)는 창고 및 로딩 도크(210)에 배치된 근접 센서(230, 232)뿐만 아니라 고정식 로딩 도크 카메라(234) 및 드론에 배치된 이동식 카메라(236)를 포함한다.
차량(12) 뒤에는, 종래의 미러 뷰 및 종래의 카메라 미러 시스템 뷰에서 가려지는 위치에 위치하는 물체(260)가 있다. 로딩 도크(210)의 존재와 운전석에 있는 미러의 위치로 인해, 물체(260)는 차량(12)의 후진 기동 중에 차량 운전자에게 보이지 않는다. 이를 개선하기 위해, 가상 카메라(50)는 차량(12) 및 로딩 도크(210)의 모서리를 포함하는 시야각(51)을 제공한다. 가상 카메라(50)의 이미지를 외삽할 때, 차량(12)과 로딩 도크(210)의 부분은 투명하게 처리되어, 가상 카메라(50)의 위치에서 물체(260)를 볼 수 있게 된다.
유사하게, 대체 가상 카메라 위치(50')는 물체(260)를 부분적으로 방해하는 차량(12)을 포함하는 시야(51')를 갖는다. 차량(12)의 부분은 동일한 효과를 얻기 위해 유사하게 투명하게 렌더링될 수 있다.
차량(12)은 블루투스 연결, 와이파이 연결 또는 기타 유사한 단거리 무선 연결과 같은 임시 연결을 통해 또는 모든 센서 데이터를 수신하고 각각의 차량의 ECU(26)에 이미지 피드를 포함하여 요청된 데이터를 제공하도록 구성된 차량군 관리 시스템을 통해 운영 환경 내의 다양한 센서 각각에 연결된다. 분산된 센서 및 카메라를 차량(12)에 연결함으로써, 시스템은 가상 카메라에 대한 추가적인 유용한 유리한 지점을 식별할 수 있을 뿐만 아니라 추가적인 가상 유리한 지점을 생성하기 위한 적절한 외삽 데이터를 제공할 수 있다. 일부 예들에서, 가상 카메라(50, 50', 50'')는 차량(12) 자체에 배치된 카메라 및 센서로부터만 생성되는 반면, 다른 예들에서, 가상 유리한 지점은 운영 환경으로부터 수신된 추가 데이터를 활용할 수 있는 것으로 고려된다.
도 1 내지 도 3을 모두 참조하면, 일부 예들에서, ECU(26)는 미리 정의된 세트의 가상 카메라(50)와 미리 정의된 가상 카메라(50)를 제공하기 위해 이미지를 외삽하기 위한 미리 정의된 방법을 포함한다. 미리 정의된 가상 카메라(50)는 차량(12)에 대해 고정된 위치로 외삽된다. 미리 정의된 가상 카메라(50)를 포함함으로써, 시스템은 외삽된 이미지를 쉽고 빠르게 정의하는 공지된 외삽 알고리즘을 포함할 수 있다. 다른 예들에서, ECU(26)는 차량 운영자가 가상 카메라 위치의 보다 세분화된 수동 제어를 제공하기 위해 하나 또는 두 개의 축을 따라 위치를 조정할 수 있는 입력을 포함할 수 있다. 또 다른 대안적 예들에서, 운영자는 사용 가능한 데이터 및 이미지 피드의 범위 내에서 세 축 모두에서 가상 카메라(50)의 위치를 이동시킬 수 있는 기능을 제공받을 수 있다. 일단 운영자에 의해 위치가 지정되면, ECU(26)는 운영자가 위치를 조정할 때까지 가상 카메라 위치를 유지한다.
일부 추가 예들에서, ECU(26)는 지정된 운전자를 위해 특정 가상 카메라 위치(50)를 기록 또는 설정하고, 지정된 운전자가 차량 운전자일 때 가상 카메라 위치(50)에 대응하는 뷰를 자동으로 표시할 수 있다.
다른 예들에서, ECU(26)는 차량(12)의 특정 작동 조건에 대응하는 하나 이상의 가상 카메라(50) 유리한 지점을 포함할 수 있다. 예를 들어, ECU(26)는 후진 중 차량 작동, 차량 우회전, 차량 좌회전 또는 다른 작동 조건과 관련된 복수의 유리한 지점을 포함할 수 있다. 차량이 작동 조건에 진입하면, 제어기(26)는 해당 사전 설정된 가상 카메라(50)의 유리한 지점이 표시되도록 한다.
상술한 개념 중 어느 것이라도 단독으로 또는 상술한 다른 개념의 일부 또는 모두와 조합하여 사용될 수 있다는 것이 더욱 이해될 것이다. 본 발명의 실시예가 개시되었지만, 당업자는 특정 수정이 본 발명의 범위 내에 포함된다는 것을 인식할 것이다. 따라서, 본 발명의 진정한 범위와 내용을 결정하기 위해 다음의 청구범위를 검토해야 한다.

Claims (15)

  1. 자동차용 미러 대체 시스템으로서:
    차량 주변에 배치된 복수의 카메라;
    복수의 카메라의 각각의 카메라에 연결된 차량 제어기 ― 상기 차량 제어기는 적어도 부분적으로 복수의 카메라로부터의 이미지 피드에 기초하여 적어도 하나의 외삽된 이미지를 생성하도록 구성된 외삽 알고리즘을 포함하며, 상기 외삽된 이미지는 차량으로부터 오프셋된 가상 카메라 위치의 관점으로부터의 이미지임 ― ; 및
    차량 운전자에게 외삽된 이미지를 표시하도록 구성된 디스플레이를 포함하는, 미러 대체 시스템.
  2. 제1항에 있어서,
    차량 주변에 배치된 복수의 센서를 더 포함하며, 각각의 센서는 차량 제어기와 통신 가능하게 결합되는, 미러 대체 시스템.
  3. 제1항에 있어서,
    복수의 카메라는 클래스 II 뷰, 클래스 IV 뷰, 클래스 V 뷰, 클래스 VI 뷰, 및 클래스 VIII 뷰 중 적어도 하나를 생성하도록 구성된 카메라를 포함하는, 미러 대체 시스템.
  4. 제1항에 있어서,
    가상 카메라 위치는 차량 제어기에 저장된 복수의 고정 가상 카메라 위치 중 하나인, 미러 대체 시스템.
  5. 제4항에 있어서,
    표시되는 가상 카메라 위치는 차량 제어기에 의해 감지된 물체의 위치에 기초하여 복수의 고정된 가상 카메라 위치 중에서 선택되는, 미러 대체 시스템.
  6. 제5항에 있어서,
    표시된 가상 카메라 위치는 가상 카메라 위치와 차량 제어기에 의해 감지된 물체 사이의 장애물을 포함하며, 상기 장애물은 적어도 부분적으로 투명하게 렌더링되는, 미러 대체 시스템.
  7. 제1항에 있어서,
    가상 카메라 위치는 차량 운전자에 의해 수동으로 조정될 수 있는, 미러 대체 시스템.
  8. 제6항에 있어서,
    가상 카메라 위치는 단일 축에서 조정 가능한, 미러 대체 시스템.
  9. 제6항에 있어서,
    가상 카메라 위치는 두 개의 축 상에서 조정 가능한, 미러 대체 시스템.
  10. 제6항에 있어서,
    가상 카메라 위치는 3 개의 축 상에서 조정 가능한, 미러 대체 시스템.
  11. 제1항에 있어서,
    차량 제어기는 차량 외부의 적어도 하나의 데이터 소스에 연결되고, 적어도 하나의 소스로부터의 데이터가 상기 외삽 알고리즘에 의해 사용되는, 미러 대체 시스템.
  12. 제10항에 있어서,
    적어도 하나의 데이터 소스는 로컬 센서에 대한 무선 연결을 포함하는, 미러 대체 시스템.
  13. 제10항에 있어서,
    적어도 하나의 데이터 소스는 장거리 무선 연결을 통해 차량 제어기에 연결된 차량군 관리 시스템을 포함하는, 미러 대체 시스템.
  14. 제1항에 있어서,
    외삽된 이미지는 비디오 이미지인, 미러 대체 시스템.
  15. 제1항에 있어서,
    적어도 하나의 외삽된 이미지는 적어도 두 개의 외삽된 이미지를 포함하는, 미러 대체 시스템.
KR1020237038241A 2021-04-07 2022-04-06 오프셋 카메라 뷰를 포함하는 차량 디스플레이 KR20230166128A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163171815P 2021-04-07 2021-04-07
US63/171,815 2021-04-07
PCT/US2022/023593 WO2022216775A1 (en) 2021-04-07 2022-04-06 Vehicle display including an offset camera view

Publications (1)

Publication Number Publication Date
KR20230166128A true KR20230166128A (ko) 2023-12-06

Family

ID=81648801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237038241A KR20230166128A (ko) 2021-04-07 2022-04-06 오프셋 카메라 뷰를 포함하는 차량 디스플레이

Country Status (5)

Country Link
EP (1) EP4320013A1 (ko)
JP (1) JP2024513233A (ko)
KR (1) KR20230166128A (ko)
CN (1) CN117098693A (ko)
WO (1) WO2022216775A1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
DE102016220894A1 (de) * 2016-10-25 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum Erzeugen einer Fahrzeugumgebungsansicht bei einem Fahrzeug
JP6730613B2 (ja) * 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
EP3392801A1 (en) * 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance

Also Published As

Publication number Publication date
JP2024513233A (ja) 2024-03-22
WO2022216775A1 (en) 2022-10-13
EP4320013A1 (en) 2024-02-14
CN117098693A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
US20210341929A1 (en) Vehicle and trailer maneuver assist system
US10434945B2 (en) Method and device for displaying an image of the surroundings of a vehicle combination
US20210325897A1 (en) Sensor array for an autonomously operated utility vehicle and method for surround-view image acquisition
JP7136997B2 (ja) ターゲット位置の選択による自動後退
US8988493B2 (en) Rear-view multi-functional camera system with driving corridor monitoring features
US10179588B2 (en) Autonomous vehicle control system
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
US20170280091A1 (en) Display system and method
US20160167583A1 (en) Method and Device for Reproducing a Lateral and/or Rear Surrounding Area of a Vehicle
US11247610B2 (en) Trailer edge tracking
US11318884B2 (en) Video monitoring system for a motor vehicle
US11203287B2 (en) Camera-based automatic turn signal deactivation
US20190135169A1 (en) Vehicle communication system using projected light
JP2020537216A (ja) 画像処理方法及び装置
US11932173B2 (en) Mirror pod environmental sensor arrangement for autonomous vehicle enabling compensation for uneven road camber
US20200317127A1 (en) Method and apparatus for articulating mirrors for trailering in a motor vehicle
CN214492889U (zh) 一种汽车的环境感知系统及其汽车
US20220371514A1 (en) Transparent Trailer Articulation View
KR20230166128A (ko) 오프셋 카메라 뷰를 포함하는 차량 디스플레이
US20220072999A1 (en) Method and apparatus for side mirror auto adjust for trailering in a motor vehicle
US20220314884A1 (en) Trailer underneath and side visualization
JP2023536469A (ja) 射影幾何学による車両トレーラ角度推定
JP2023031307A (ja) 重なり合わないカメラ視野から取得された画像を調和させる方法