KR20210088581A

KR20210088581A - 센서 입력을 기초로 반응 시스템을 조정하기 위한 방법 및 장치와 이를 포함하는 차량

Info

Publication number: KR20210088581A
Application number: KR1020217014171A
Authority: KR
Inventors: 피터 힌슨; 아담 와하브; 그란트 더블유. 크리스토펙; 이안 더블유. 헌터
Original assignee: 인디고 테크놀로지스, 인크.
Priority date: 2018-10-12
Filing date: 2019-10-11
Publication date: 2021-07-14
Also published as: CN113165483A; JP2022520685A; EP3863873A4; WO2020077194A1; CA3115786A1; EP3863873A1

Abstract

종래 차량은, 일반적으로 차량의 설계 단계 중에 정의되는, 고정성 특징을 갖는 단일 강성 몸체와 같이 거동한다. 종래 차량의 강성은 상이한 작동 조건에 맞게 조절하는 능력을 제한하므로, 유용성 및 성능을 제한한다. 이러한 제한을 극복하기 위해, 센서 및 반응성 시스템을 포함한 반응성 차량이 사용될 수 있다. 센서는 조작자의 위치 및/또는 배향, 차량 작동 조건, 및/또는 차량 주위의 환경 조건을 모니터링할 수 있다. 반응성 시스템은, 센서에 의해 획득된 데이터에 기초하여 차량의 일부 양태를 조절할 수 있다. 예를 들어, 반응성 시스템은, 조작자의 움직임에 기초하여 변하는 시야를 갖는, 비디오 기반 미러를 포함할 수 있다. 다른 예시에서, 반응성 시스템은, 조작자의 움직임에 기초하여 차량의 물리적 구성을 변경하는 관절형 연결부를 포함할 수 있다.

Description

감각 입력부에 기초한 반응성 시스템을 조절하는 방법 및 장치, 그리고 이를 포함하는 차량

관련 특허 출원에 대한 상호 참조

본 출원은 "ARTICULATED VEHICLES WITH PAYLOAD-POSITIONING SYSTEMS"이라는 명칭으로 2019년 4월 30일에 출원된 국제 출원 PCT/US2019/029793의 연속 파트(Continuation-in-part, CIP)이고, "ARTICULATED VEHICLE"이라는 명칭으로 2018년 4월 30일에 출원된 미국 출원 제62/664,656호의 우선권을 주장한다. 본 출원은 또한, "APPARATUS FOR A REACTIVE CAMERA MONITORING SYSTEM AND METHODS FOR THE SAME"이라는 명칭으로 2018년 10월 12일에 출원된 미국 출원 제62/745,038호의 우선권을 주장한다. 이들 출원 각각은 그 전체가 본원에 참조로서 통합된다.

인간 작동 차량(예, 자동차)은 일반적으로 차량의 캐빈에 위치한 운전자에 의해 제어된다. 차량을 안전하게 작동하기 위해, 운전자는 바람직하게는 차량 근처에서 대상(예, 사람, 도로 장벽, 다른 차량)을 인식해야 한다. 그러나, 주변 환경에 대한 운전자의 시야(FOV)는, 부분적으로는 인간 눈의 제한된 주변 시야로 인해 운전자의 눈 앞에 있는 부위로 주로 제한된다. 따라서 운전자는 차량의 주행 방향에서 운전자의 FOV를 멀리 이동시키면서까지 차량의 주변을 점검하기 위해(예, 차선 변경시 사각지대 점검) 자신의 눈 및/또는 머리를 움직여 FOV를 변화시켜야 한다. 운전자의 FOV는 캐빈의 구조(예, 도어 패널, 창의 크기, A, B 또는 C 필라) 또는 캐빈 내의 대상(예, 다른 승객, 대형 화물)과 같은 차량 캐빈 내의 장애물에 의해 더욱 제한될 수 있다.

종래의 차량은 통상적으로 운전자의 FOV를 확장하기 위한 미러를 포함한다. 그러나, 운전자의 FOV의 증가는 제한적이다. 예를 들어, 전통적인 자동차 미러는 통상적으로, 거리 왜곡을 감소시키고 차량 주위의 특정 영역에 운전자의 주의를 집중시키기 위한, 중간 FOV를 제공한다. 정상적인 관찰 거리에서, 자동차에 사용되는 미러의 수평 FOV는 일반적으로 운전자 측, 중앙(내부) 및 승객 측 미러에 대해 각각 10~15º, 23~28º 및 20~25º의 범위이다. 또한, 종래 차량은 작동 중에 주로 단일 강성 몸체이다. 따라서, 캐빈의 FOV는 차량의 설계 단계 중에 주로 결정되며, 따라서 비싸고/비싸거나 시간 소모적인 변형 없이는 제조 후에 쉽게 재구성할 수 없다.

본원에 설명된 구현예는, 조작자("운전자"로도 지칭됨)의 위치 및/또는 방향의 변화에 부분적으로 반응하는 반응성 시스템을 포함하는, 차량에 관한 것이다. (반응성 시스템을 갖는 차량을 반응성 차량이라 칭할 수 있다.) 예를 들어, 반응성 시스템은 조작자가 머리를 움직일 때 조작자의 FOV를 조절할 수 있다. 이는, 여러가지 방식으로, 예컨대 환경에 대한 조작자의 위치를 변경하기 위해 차량의 관절형 연결부를 물리적으로 작동시키거나, 차량 외부의 부위에 대해 조작자에게 디스플레이되는 비디오 이미지를 조절함으로써, 달성될 수 있다. 이러한 방식으로, 반응성 시스템은 조작자의 FOV를 확장할 수 있으므로, 조작자로 하여금 차량의 주행 방향을 따라 인식을 유지시키면서 차량의 주변 환경에 대한 상황 인식을 더 많이 제공할 수 있다. 반응성 시스템은 또한, 종래의 차량에서는 가능하지 않은, 차량 자체 또는 차량 상의 카메라의 위치를 조절함으로써 조작자로 하여금 대상 주변 및/또는 대상을 통해 볼 수 있게 한다.

일 양태에서, 운전자의 위치 및/또는 배향은 차량에 결합된 하나 이상의 센서에 의해 측정될 수 있다. 센서는, 조작자와 연관된 다양한 유형의 데이터를 캡처하도록 구성될 수 있다. 예를 들어, 센서는, 조작자의 적색, 녹색, 청색(RGB) 이미지를 획득하기 위한 카메라, 및 조작자의 심도 맵을 획득하기 위한 심도 맵 센서를 포함할 수 있다. RGB 이미지 및 심도 맵을 사용하여, 조작자와 연관된 다양한 안면 및/또는 포즈 특징부의 좌표, 예컨대 운전자 머리의 안구 기준점을 결정하는 데 사용될 수 있다. 조작자의 다양한 특징부의 좌표는 시간의 함수로서 측정될 수 있고, 반응성 시스템을 작동시키기 위한 입력으로서 사용될 수 있다.

조작자의 특징부를 결정하기 위해 다양한 데이터 유형을 사용하면, 가양성(즉, 허위 특징부를 감지)의 발생을 감소시키고 다양한 조명 조건 하에서 특징부를 감지할 수 있다. 이들 특징의 감지는, 합성 신경망과 같은 여러 방법을 사용하여 달성될 수 있다. 모션 필터링 시스템(예, Kalman 필터)을 또한 사용하여, 예를 들어 조작자의 RGB 이미지에서 원하지 않는 지터(jitter)를 감소시킴으로써, 조작자의 측정된 특징부가 시간의 함수로서 부드럽게 변화하도록 보장할 수도 있다. 심도 맵은 또한 여러 가지 방식으로 RGB 이미지와 함께 사용될 수 있다. 예를 들어, 심도는 RGB 이미지를 마스킹할 수 있어서, RGB 이미지의 더 작은 부분이 특징부 감지에 사용됨으로써 컴퓨터 연산 비용을 감소시킨다.

하나 이상의 센서는 또한 다양한 환경 조건, 예컨대 도로 표면 유형, 차량 속도 및 가속도, 차량 근처 장애물, 및/또는 강설(우)의 존재를 측정할 수 있다. 측정된 환경 조건은 반응성 시스템에 대한 입력으로서 사용될 수도 있다. 예를 들어, 환경 조건은 차량의 속도(예, 고속도로 운전 대(vs.) 도시 운전)에 기반하여 반응성 시스템의 반응 크기(예, 승차 높이에 대한 조절)를 수정할 수 있다. 일부 경우에, 환경 조건은 또한 특정 조건(예, 차량 속도, 회전 속도, 바퀴 견인)이 충족되는 경우에 조작자와 차량의 안전을 유지하기 위해, 반응성 시스템의 활성화를 금지할 수 있는 게이트로서 사용될 수 있다.

반응성 시스템은, 카메라 및 디스플레이를 사용하여 조립된 비디오 기반 미러를 포함할 수 있다. 카메라는 차량에 결합될 수 있고, 차량 외부의 부위(예, 차량의 후방)의 비디오 이미지를 획득하도록 배향될 수 있다. 디스플레이는 상기 부위의 비디오 이미지를 조작자에게 보여주는 데 사용될 수 있다. 운전자가 이동함에 따라, 디스플레이 상에 나타낸 비디오 이미지는 카메라에 의해 캡처된 부위의 FOV를 조절하기 위해 변환될 수 있다. 예를 들어, 조작자는 그의 머리 및 이에 대응해서 이동된 비디오 이미지를 회전시켜(예를 들어, 카메라를 패닝하거나 디스플레이 상에 보이는 비디오 이미지의 부분을 이동시켜) 종래의 미러와 유사한 반응을 모방할 수 있다. 반응성 시스템은 다수의 카메라를 포함하여 카메라의 집계 FOV가 차량 주변을 실질적으로 덮도록 할 수 있어서, 이에 따라 일부 경우에 차량을 운전할 시 조작자의 사각 지대를 감소시키거나 제거한다. 다수의 카메라에 의해 획득된 비디오 이미지는, 하나 이상의 디스플레이 상에 디스플레이될 수 있다.

반응성 시스템은 차량의 구성을 물리적으로 변화시키기 위해 관절형 연결부를 포함할 수 있다. 관절형 연결부는 하나 이상의 메커니즘, 예컨대 차량의 경사/승차 높이를 조절하기 위한 차량의 활성 서스펜션 및/또는 차량의 몸체로 하여금 형상을 변경시키는(예, 차량의 후미부에 대해 차량의 전방부를 회전시키는) 힌지를 포함할 수 있다. 일 구현예에서, 관절형 연결부는, 차량의 제1 부분이 경로를 따라 제2 부분에 대해 이동 가능한 경로를 정의한 가이드 구조물, 상기 경로를 따라 차량의 제1 부분을 이동시키기 위한 구동 액추에이터, 및 상기 경로를 따라 차량의 제1 부분을 특정 위치에 유지하기 위한 브레이크를 포함할 수 있다.

관절형 연결부는, 환경에 대한 조작자의 위치를 수정하는데 사용될 수 있다. 예를 들어, 반응성 시스템은, 조작자가 머리를 기울여 대상(예, 다른 차량) 주위를 둘러볼 경우에, 관절형 연결부를 사용하여 차량을 기울일 수 있다. 다른 예시에서, 반응성 시스템은 조작자가 머리를 위로 들어 올려서 대상(예, 장벽)을 보는 경우에, 차량의 승차 높이를 증가시킬 수 있다. 이러한 경우에, 반응성 시스템은 차량 안정성을 손상시키지 않는 방식으로 관절형 연결부를 작동시키도록 구성될 수 있다. 예를 들어, 반응성 시스템은 작동 크기를 감소시킬 수 있거나, 일부 경우에 차량이 고속으로 주행할 시 관절형 연결부가 작동하는 것을 방지할 수 있다. 반응성 시스템은 또한, 명시적인 조작자 명령(예, 스티어링 휠, 가속 페달, 브레이크와 같은 입력 장치로부터 수신된 명령)과 함께 관절형 연결부를 작동시킬 수 있다.

(반응성) 차량을 작동하는 다른 방법은, 제1 센서를 사용하여 차량 조작자로부터 제1 입력을 수신하는 단계, 및 제2 센서를 사용하여 차량 외부의 환경으로부터 제2 입력을 수신하는 단계를 포함한다. 프로세서는, 제1 입력과 제2 입력 사이의 상관 관계를 식별하고, 상기 상관 관계에 기초하여 거동-기반 명령을 생성한다. 이러한 거동-기반 명령은, 차량의 액추에이터에 적용되는 경우에 차량을 소정의 거동으로 이동시킨다. 프로세서는 거동-기반 명령, 프로세서에 작동 가능하게 결합된 입력 장치를 통해 조작자로부터의 명시적 명령, 및 제2 입력에 기초하여 조합된 명령을 생성한다. 이는 조합된 명령을 조절 및/또는 필터링하여 차량의 안정성을 유지한 다음, 조절 및/또는 필터링된 조합 명령을 사용하여 차량의 액추에이터를 작동시킨다.

반응성 시스템의 상기 예시는 조작자 및/또는 카메라의 FOV를 수정하는 맥락에서 설명되지만, 반응성 시스템 및 그 안의 다양한 구성 요소가 다른 응용에 사용될 수도 있다. 예를 들어, 반응성 시스템은 차량에 대한 보안 시스템으로서 사용될 수 있다. 반응성 시스템은, (예를 들어, 진입을 방지하기 위해 차량을 작동시킴으로써) 다른 개인에 대한 접근을 방해하면서 승인된 개인에 대해 차량에 대한 접근을 인식하고 허용할 수 있다. 다른 예시에서, 반응성 시스템은, 조작자가 (예를 들어, 복수의 차량을 포함한 주차장에서) 차량을 쉽게 위치 파악할 수 있도록, 차량이 관절형 연결부를 통해 소리를 내고(예, 경적), 및/또는 헤드라이트를 켜고/깜박이게 하도록 할 수 있다. 다른 예시에서, 차량은, 반응성 시스템이 차량 외부에 위치한 조작자를 따르도록 차량에 명령하도록 구성되는, 자율 작동 모드를 가질 수 있다. 이는, 예를 들어 조작자가 임의 환경에서 이동함에 따라 조작자의 비디오 이미지를 기록하기 위해 사용될 수 있다. 다른 예시에서, 반응성 시스템은 조작자의 안구 영역 상의 눈부심을 감소시키기 위해 조작자의 위치를 (예를 들어, 관절형 연결부를 통해) 조절할 수 있다.

아래에서 더욱 상세히 논의되는 전술한 개념들 및 추가 개념들의 모든 조합이(이러한 개념은 상호 불일치하지 않는다면) 본원에 기재된 본 발명의 주제의 일부로서 간주된다. 특히, 본 개시의 끝에서 나타나는 청구된 주제의 모든 조합은, 본원에 개시된 본 발명의 주제의 일부로서 간주된다. 또한 본원에 참조로서 통합된 임의의 개시에서 나타날 수도 있는 용어로서, 본원에서 명시적으로 사용된 용어에는, 본원에 개시된 특정 개념과 가장 일치하는 의미가 부여되어야 함을 또한 이해해야 한다.

당업자는, 도면들이 주로 예시적인 목적을 위한 것이며 본원에 기술된 본 발명의 주제의 범위를 제한하려는 것이 아님을 이해할 것이다. 도면은 반드시 일정한 비율은 아니며; 일부 경우에, 본원에 개시된 본 발명의 주제의 다양한 측면들은 도면에서 과장되거나 확대되어 상이한 특징의 이해를 용이하게 할 수 있다. 도면에서, 유사한 참조 부호는 일반적으로 유사한 특징(예: 기능적으로 유사한 요소 및/또는 구조적으로 유사한 요소)을 지칭한다.
도 1은, 다가오는 차량으로부터의 전조등 빔에 반응하여 운전자의 시야를 이동시키도록 관절로 연결된 관절형 차량을 나타낸다.
도 2는 운전자의 머리 중심에 원점을 갖는 좌표계를 나타낸다.
도 3은 반응성 차량 시스템용 교정 특징부를 갖는 좌석을 나타낸다.
도 4는 차량 내의 반응성 미러 예시를 나타낸다.
도 5a는 종래의 차량 내에 그리고 그 위에 배치된 도 4의 반응성 미러의 다양한 구성 요소 및 각 카메라의 시야(FOV)를 나타낸다.
도 5b는 관절형 차량 내에 그리고 그 위에 배치된 도 4의 반응성 미러의 다양한 구성 요소 및 각 카메라의 시야(FOV)를 나타낸다.
도 6은, 조작자의 위치 및/또는 배향에 기초하여 도 4의 반응성 미러의 카메라에 의해 획득된 비디오 이미지를 획득하고 변환하는 방법을 나타낸다.
도 7a는 관절형 연결부를 갖는 예시적인 차량의 측단면도를 나타낸다.
도 7b는 도 7a 차량의 측면도를 나타낸다.
도 7c는 도 7b 차량의 상면도를 나타낸다.
도 7d는, 후미 섹션의 외부 쉘이 제거된 하부 프로파일 구성으로 도 7b 차량의 측면도를 나타낸다.
도 7e는, 후미 섹션의 외부 쉘이 제거된 상부 프로파일 구성으로 도 7b 차량의 측면도를 나타낸다.
도 8a는 차량 내의 관절형 연결부 예시의 사시도를 나타낸다.
도 8b는 도 8a의 관절형 연결부의 측면도를 나타낸다.
도 8c는 도 8a의 관절형 연결부의 상부, 측면 사시도를 나타낸다.
도 8d는 도 8a의 관절형 연결부의 하부, 측면 사시도를 나타낸다.
도 8e는 도 8a의 가이드 구조물에서 캐리지와 트랙 시스템의 상부, 측면 사시도를 나타낸다.
도 8f는 도 8e의 트랙 시스템의 상부, 측면 사시도를 나타낸다.
도 8g는 도 8f의 트랙 시스템의 레일 내 베어링의 단면도를 나타낸다.
도 9는, 차량의 반응성 시스템을 작동시키기 위한 방법의 흐름도를 나타낸다.
도 10a는, 차량 제어 조작자와 연관된 다양한 입력 파라미터, 및 차량이 회전하는 경우의 입력 파라미터의 예시적인 범위를 나타낸다.
도 10b는, 차량을 둘러싼 환경과 연관된 다양한 입력 파라미터, 및 차량이 회전하는 경우의 입력 파라미터의 예시적인 범위를 나타낸다.
도 11a는, 관절 축을 따라 관절형 차량의 변위를 운전자 위치의 함수로서 도시하며, 여기서 변위에 대한 제한이 안정성을 유지하도록 조절된다.
도 11b는, 변위의 변화율이 안정성을 유지하도록 조절되는 운전자 위치의 함수로서, 관절 축을 따라 관절형 차량의 변위를 나타낸다.
도 12a는, 센서에 의해 획득된 심도 맵 및 비디오 이미지를 사용하여 제2 차량의 위치를 모니터링하기 위한 센서를 구비한 관절형 차량을 나타낸다.
도 12b는, 기울어진 도 12a의 관절형 차량을 나타내고, 이는 상기 관절형 차량의 센서에 대해 측정된 제2 차량의 위치를 변경한다.
도 13은, 조작자 및/또는 센서의 FOV를 증가시키도록 승차 높이가 조절되는 관절형 차량을 나타낸다.
도 14a는, 제2 차량의 존재로 인해 제한된 FOV를 갖는 관절형 차량을 나타낸다.
도 14b는, 제2 차량 주위를 보기 위해 기울어진 도 14a의 관절형 차량을 나타낸다.
도 15a는 관절형 차량의 상면도 및 관절형 차량의 FOV를 나타낸다.
도 15b는 도 15a의 차량의 정면도 및 관절형 차량의 FOV를 나타낸다.
도 15c는, 일련의 계단을 통과하는, 도 15a의 관절형 차량의 측면도를 나타낸다.
도 16은, 사람이 차량에 접근하는 것을 식별하고, 적절하다면, 사람이 관절형 차량에 접근하는 것을 방지하기 위해 반응하는, 관절형 차량을 나타낸다.
도 17은, 관절형 차량 외부에 위치한 조작자의 비디오 이미지를 획득하는 관절형 차량을 나타낸다.

다음은 반응성 차량 시스템, 반응성 미러 시스템, 관절형 차량, 및 전술한 것을 사용하는 방법에 관한 다양한 개념, 및 이의 구현에 대한 보다 상세한 설명이다. 위에서 도입되고 아래에서 더 상세히 논의되는 개념은, 다수의 방식으로 구현될 수 있다. 특정 구현예 및 적용의 예시는, 당업자에게 명백한 구현예 및 대안을 당업자가 실시할 수 있도록 주로 예시적인 목적으로 제공된다.

아래에서 설명되는 도면 및 예시적인 구현예는 본 구현예의 범위를 단일 구현예에 한정하기 위한 것은 아니다. 설명되거나 도시된 요소의 일부 또는 전부를 교환함으로써 다른 구현예가 가능하다. 또한, 개시된 예시적인 구현예의 특정 요소가 공지된 구성 요소를 사용하여 부분적으로 또는 완전히 구현될 수 있는 경우, 일부 경우에 본 구현예를 이해하는 데 필요한 이러한 공지된 구성 요소의 부분만이 설명되고, 이러한 공지된 구성 요소의 다른 부분에 대한 상세한 설명은 본 구현예를 모호하게 하지 않도록 생략된다.

아래의 논의는 차량, 반응성 시스템, 반응성 미러, 및 관절형 메커니즘의 다양한 예시를 설명한다. 주어진 예시와 관련하여 논의된 하나 이상의 특징부가 본 개시에 따른 다른 구현예에 사용될 수 있어서, 본원에 개시된 다양한 특징부는 (단, 각각의 특징부가 상호적으로 일치하지 않는 경우에) 본 개시에 따른 주어진 시스템에서 쉽게 조합될 수 있다.

센서 및 반응성 시스템을 갖춘 차량

도 1은, 몸체(4100)를 갖는 (관절형) 차량(4000)을 나타낸다. 외부 카메라(4202) 및 내부 카메라(4204)를 포함한 하나 이상의 센서는, 차량(4000)과 연관된 다양한 입력을 측정하기 위해 몸체(4100)에 장착될 수 있으며, 이는 조작자(예, 운전자(4010))의 포즈 및/또는 배향, 차량(4000)의 작동 파라미터(예, 속도, 가속도, 바퀴 견인), 및 환경 조건(예, 주변 조명)을 포함하지만 이에 제한되지 않는다. (도 1에 관절형 연결부(4300)로 나타낸) 반응성 시스템은, 센서(4202 및 4204)에 의해 측정된 입력에 부분적으로 기초하여, 차량(4000)의 일부 양태를 수정(예, 조작자(4010)의 FOV 변경, 가변 지형의 횡단 등)하기 위해, 차량(4000)에 결합될 수 있다. 도 1에서, 예를 들어 반응성 시스템(4300)은, 외부 카메라(4204)에 의해 감지된 대로 다가오는 차량의 전조등 빔(들) 상에서의 경로 밖으로 사용자의 머리를 이동시키도록 차량을 관절형으로 만든다. 차량(4000)은 또한, 센서(4202 및 4204) 및 반응성 시스템(4300)을 관리하기 위한 프로세서(미도시)뿐만 아니라 차량(4000) 내의 다양한 구성 요소와 그 각각의 서브시스템 사이의 데이터 및/또는 명령의 전송을 포함할 수 있다.

반응성 시스템(4300)은, 차량(4000)과 연관된 다양한 유형의 데이터를 획득하기 위해 하나 이상의 센서를 포함하거나 이에 결합될 수 있다. 예를 들어, 내부 카메라(4204)는 차량(4000) 및/또는 조작자(4010)의 캐빈의 심도 및 적색-녹색-청색(RGB) 데이터 둘 다를 획득할 수 있다. 심도 프레임의 각각의 픽셀은, 픽셀 대향하는 대상과 심도 맵 센서의 캡처 소스 사이의 거리를 나타낼 수 있다. 심도 프레임은, 입체 구성(또는 유사한 심도 캡처)으로 구조화된 적외선(IR) 투사 및 두 개의 카메라를 사용하여 획득될 수 있다. 심도 프레임은, 조작자(4010)와 차량 캐빈의 심도 맵 표현을 생성하는 데 사용된다. RGB 프레임은 표준 가시광 카메라를 사용하여 획득할 수 있다. 센서(4200)에 의해 획득된 다른 유형의 데이터는 조작자의 심박수, 걸음걸이, 및 조작자(4010)의 안면 인식을 포함할 수 있지만, 이에 제한되지 않는다.

외부 카메라(4202), 및/또는 관성 측정 단위나 자이로스코프를 포함한 다른 센서는, 차량(4000)의 배향, 차량(4000)의 속도, 서스펜션 주행, 가속도, 상기 도로 표면의 토폴로지, 강우(설), 주/야간 감지, 도로 표면 유형(예, 부드러운 포장 도로, 거친 포장 도로, 돌, 흙), 차량(4000) 근처에서 다른 대상/방해물(예, 다른 차량, 사람, 장벽)을 포함하나 이에 제한되지 않는, 다양한 차량 파라미터 및/또는 환경 조건을 획득하도록 구성될 수 있다. 이들 센서의 작동 주파수는 적어도 60 Hz, 바람직하게는 120 Hz일 수 있다.

센서에 관한 내인성 파라미터(예, 해상도, 치수) 및 외인성 파라미터(예, 차량(4000)의 좌표 공간 내의 내부 카메라(4204)의 위치 및/또는 배향)를 포함하지만 이에 제한되지 않는, 각각의 센서와 연관된 다양한 작동 파라미터가 저장될 수 있다. 각각의 센서의 작동 파라미터는, 그 센서와 연관된 로컬 좌표계와 차량 좌표계 사이에서 변환하는 데 사용될 수 있다. 참고로, 본원에서 사용된 좌표계는, 국제표준기구(ISO) 16505-2015에 기초한 오른손잡이 좌표계일 수 있다. 이러한 좌표계에서, 양의 x-축은 차량(4000)의 전방 이동 방향에 대향하는 방향을 따라 가리키고, z-축은 지면에 직교하고 상방을 가리키며, y-축은 전방 이동 방향을 볼 때 우측을 가리킨다.

프로세서(본원에서 "마이크로컨트롤러"로도 지칭됨)는 센서(들)에 의해 획득된 입력 데이터를 처리하는 것(예, 노이즈를 필터링하고, 다양한 센서로부터 데이터를 조합함), 반응성 시스템(4300)을 수정하기 위한 변환을 계산하고/계산하거나 명령을 생성하는 것, 및 차량(4000)의 다양한 서브시스템을 (예를 들어, 외부 카메라(4204)를 반응성 시스템(4300)에) 통신 가능하게 결합시키는 것을 포함하나, 이에 제한되지 않는 다양한 기능을 수행하는 데 사용될 수 있다. 예를 들어, 프로세서는, 조작자(4010)의 위치 및/또는 배향을 결정하고 비디오 이미지에 적용되는 이미지 변환을 생성하는 데 사용될 수 있다. 프로세서는, 일반적으로 통신 가능하게 함께 결합되는, 하나 이상의 프로세서를 구성할 수 있다. 일부 경우에, 프로세서는 필드 프로그래머블 게이트 어레이(FPGA)일 수 있다.

전술한 바와 같이, 내부 카메라(4202)는 차량 좌표 공간에서 조작자(4010)(예, 조작자의 머리 또는 신체)의 위치 및/또는 배향을 감지할 수 있다. 다음 예시에서, 내부 카메라(4202)는 조작자(4010)의 심도 및 RGB 데이터 둘 다를 획득한다. 특징부 감지 전에, 프로세서는 먼저, 내부 카메라(4202)에 의해 획득된 RGB 이미지 및 심도 프레임을 정렬하여, 이에 대응하는 컬러 또는 심도 데이터가, RGB의 프레임 또는 심도 데이터의 픽셀 좌표를 사용하여 액세스될 수 있다. 심도 맵의 프로세싱은 일반적으로 RGB 프레임의 프로세싱과 비교하여 더 적은 연산 리소스를 사용한다. 일부 경우에, 심도 맵은, 프로세싱을 위해 RGB 프레임의 영역을 제한 및/또는 마스킹하는 데 사용될 수 있다. 예를 들어, 심도 맵은, 특징부 감지를 위해 약 0.1 m 내지 약 1.5 m의 심도 범위에 대응하는 RGB 프레임의 일부를 추출하는 데 사용될 수 있다. 이러한 방식으로 RGB 프레임을 감소시키면, RGB 프레임을 처리하는 데 사용되는 연산 전력을 실질적으로 감소시킬 뿐만 아니라 위양성의 발생을 감소시킬 수 있다.

특징부 감지는 여러 가지 방식으로 달성될 수 있다. 예를 들어, 미리 훈련된 머신 러닝 모델(예, 합성 신경망)은 심도, RGB, 및/또는 조합(RGBD) 데이터를 이용하여 조작자(4010)의 특징부를 감지할 수 있다. 모델의 출력은, 신체, 머리, 및/또는 안면 특징부에 대응하는 픽셀 영역을 포함할 수 있다. 모델은 또한, 조작자의 포즈에 대한 추정치를 제공할 수 있다. 일부 경우에, 일단 프로세서(4400)가 조작자의 머리를 식별하면, 그 다음 프로세서(4400)는 조작자(4010)의 안구 기준점(예, 도 2에 나타낸 바와 같이 조작자의 눈 사이 중간 지점)을 추정할 수 있다. 그 다음, 안구 기준점을 비투영하고 차량 기준 프레임 내의 좌표로 옮길 수 있다. 설명된 바와 같이, 특징부 감지는 소프트웨어 구조일 수 있고, 따라서 특징부 감지에 사용된 모델은 컴퓨터 비전의 앞선 장점을 통합하고/통합하거나 성능을 개선하기 위해 제조 이후에 업데이트될 수 있다.

센서(예, 내부 카메라(4202)) 및 반응성 시스템(4300)은 또한 조작자(4010)에 대해 교정될 수 있다. 일반적으로, 차량(4000)의 캐빈 내의 조작자 높이 및 위치(예, 다른 운전 위치)는 시간에 따라 달라질 수 있다. 차량(4000)이 조작자(4010)에 대해 구체적으로 교정되지 않는 경우에, 조작자의 위치 및 배향의 변화는 반응성 시스템(4300)으로 하여금 차량(4000)을 적절히 조절하여 조작자(4010)를 보조할 수 없게 한다. 조작자(4010)는, 물리적 버튼을 누르는 것, 차량(4000)의 제어 콘솔(예, 인포테인먼트 시스템)에서 교정 옵션을 선택하는 것, 및/또는 음성 명령을 사용하는 것을 포함하나 이에 제한되지 않는, 차량(4000)의 다양한 입력을 사용하여, 교정 모드를 활성화할 수 있다.

일반적으로, 교정은, (1) 조작자의 물리적 위치 및 움직임 및 (2) 조작자의 개인적 선호도와 관련된 그룹으로 나누어질 수 있다. 조작자의 물리적 위치 및 움직임과 관련된 교정은, 차량(4000) 내의 차량 좌표 및 조작자의 이동 범위에서 차량(4000)을 작동시키는 동안에 조작자의 기본 착석 위치 및 조작자의 정상 안구점을 설정하는 것을 포함할 수 있으며, 이는 결과적으로 반응성 시스템(4300)의 반응 범위에 영향을 미쳐 조작자의 머리의 위치 변화에 영향을 미친다. 센서(4200)는 조작자의 물리적 위치와 움직임을 획득하는 데 사용될 수 있고, 최종 안구 기준점은 반응성 시스템(4300)을 작동시킬 경우에, 이후 사용을 위해 저장될 수 있다.

교정하는 동안에, 조작자(4010)는 특정 방식으로 자신의 신체를 이동시키도록 지시받을 수 있다. 예를 들어, 차량의 스피커 및 디스플레이로부터의 오디오 또는 시각적 프롬프트는 정상적으로 앉거나, 오른쪽으로 움직이거나, 왼쪽으로 움직이도록 조작자(4010)에게 유도할 수 있다. 프로세서는 각 위치에서 안구 기준점을 기록하여 기본 위치와 움직임 범위를 설정한다. 프롬프트는 차량의 인포테인먼트 시스템 및 차량의 스피커를 통한 오디오 명령어에 나타낸 시각적 단서 및/또는 명령어를 포함하나 이에 제한되지 않는 여러 가지 방식으로, 조작자(4010)에게 전달될 수 있다. 프로세서는, 안구 기준점이 반응성 시스템(4300) 내의 다양한 구성 요소에 대한 입력으로서 사용될 수 있도록, 차량(4000)의 좌표계의 관점에서 안구 기준점을 기록할 수 있다.

내부 카메라(4202)는 또한, 차량(4000) 내의 좌석으로 교정될 수 있으며, 이는 차량(4000) 내에서 내부 카메라(4202)(및 운전자(4010))를 위치시키기 위해, 보다 표준화된 기준을 제공할 수 있다. 도 3은, 센서(4200)에 의해 감지될 교정 패턴(4120)을 포함한 좌석(4110)을 나타낸다. 교정 패턴(4120)의 형상 및 설계는 사전에 공지될 수 있다. 이들은 가시적인 잉크 또는 비가시적인 잉크(예, 근적외선 파장에서만 보이는 잉크)로 인쇄될 수 있다. 대안적으로 또는 추가적으로, 좌석(4110)은, 교정용 기준 마커로서 사용될 수 있는 독특한 형상 또는 특징부(예, 비대칭 특징부)를 가질 수 있다. 교정 패턴(4120)(및 좌석(4110))을 촬상함으로써, 좌석에 대해 센서(4200)의 상대 거리 및/또는 배향을 찾을 수 있다. 일부 경우에, 교정 패턴(4120)은 가시 파장(예, 인간 눈에 직접 관찰할 수 있음) 또는 적외선 파장(예, 인간 눈에는 보이지 않고 적외선 이미징 센서만을 사용하여 감지 가능)으로 형성될 수 있다.

조작자의 개인적 선호도와 관련된 교정은, 사용 중인 반응성 시스템(4300)의 유형에 따라 달라질 수 있다. 예를 들어, 반응성 시스템(4300)은, 조작자(4010)로 하여금 이전의 측면 보기 미러를 조절하는 것과 유사한 방식으로 나타낸 비디오 이미지를 수동으로 조절시킬 수 있는, 비디오 기반 미러를 이용할 수 있다. 다른 예시에서, 반응성 시스템(4300)은 관절형 연결부를 포함할 수 있다. 조작자(4010)는 관절형 연결부의 작동 크기 및/또는 속도를 맞출 수 있다(예, 더 온화한 작동은 더 큰 편안함을 제공할 수 있고, 더 신속하고 적극적인 작동은 더 큰 성능을 제공할 수 있음).

비디오 기반 미러가 있는 반응성 시스템

도 4는, 비디오 기반 미러(4320)를 포함하는 반응성 시스템(4300) 예시를 나타낸다. 나타낸 바와 같이, 미러(4320)는, 차량(4000) 외부의 환경(4500) 부위의 소스 비디오 이미지(4332)("소스 비디오 스트림"으로도 지칭됨)를 획득하기 위해 프로세서(4400)(마이크로컨트롤러 유닛(MCU)(4400)으로도 지칭됨)에 결합된 카메라(4330)를 포함할 수 있다. 미러(4320)는 또한, 변환된 비디오 이미지(4342)(예, 소스 비디오 이미지(4332)의 일부)를 조작자(4010)에게 보여주기 위해 MCU(4400)에 결합된 디스플레이(4340)를 포함할 수 있다. 프로세서(4400)는, 조작자(4010)의 움직임을 감지하는 센서(4200)에 반응하여 조작자(4010)에게 나타낸 변환 비디오 이미지(4342)(예, FOV 및/또는 시야각)를 조절하기 위해, 변환을 소스 비디오 이미지(4332)에 적용할 수 있다. 이러한 방식으로, 비디오 기반 미러(4320)는 차량(4000)에서 종래의 미러(예, 사이드 뷰, 백 미러)를 보완하거나 교체할 수 있다. 예를 들어, 비디오 기반 미러(4320)는, 종래의 미러를 사용할 때 통상적으로 직면하는 공기역학적 항력을 감소시키기 위해 사용될 수 있다. 일부 경우에, 미러(4320)는, ISO 16505-2015 에 의해 정의된 카메라 모니터링 시스템(CMS)으로서 분류될 수 있다.

미러(4320)는, 차량(4000)의 안전한 작동을 가능하게 하기 위해, 차량 주변부의 충분한 부분을 커버하는 소스 비디오 이미지(4332)를 획득할 수 있다. 또한, 미러(4320)는, 디스플레이(4340)에 나타낸 변환 비디오 이미지(4342)의 스케일 및/또는 기하학적 왜곡을 감소시키거나 완화시킬 수 있다. 미러(4320)는 또한, 현지 규정을 준수하도록 구성될 수 있다. 종래의 운전자 측 및 중앙 미러는 일반적으로 이들 원하는 특성을 나타낼 수 없다. 예를 들어, 사이드 뷰 및 중앙 미러는 미국에서 단위 배율을 제공해야 하며, 이는 디스플레이된 대상의 각도 높이 및 폭이 동일한 거리에서 직접 보았을 때의 동일한 대상의 각도 높이 및 폭과 일치해야 함을 의미한다(연방 자동차 안전 표준 번호 111).

카메라(4330)는 각각 차량(4000) 외부의 환경(4500)의 각각의 부위를 각각 커버하는 카메라(4330) 어레이의 일부로서 또는 개별적으로 사용될 수 있다. 카메라(4330)는 렌즈(미도시) 및 센서(미도시)를 포함하여, 카메라(4330)의 FOV(4334)를 조합하여 정의하는 소스 비디오 이미지(4332)를 획득할 수 있다.

도 5a 및 도 5b는 관절형 차량(4000) 및 종래의 차량(4002)을 나타내고, 각각은 차량(4000) 외부의 좌측, 우측 및 후방 부위를 커버하기 위해 카메라(4330a, 4330b, 및 4330c)(집합적으로, 카메라(4330))를 각각 포함한다. 각각의 차량(4000, 4002)은 또한, 카메라(4330a, 4330b, 및 4330c)에 의해 획득된 변환 비디오 이미지(4342)를 보여주는 해당 디스플레이(4340a 및 4340b)를 포함한다. (종래 차량은 백미러 대신에 추가 디스플레이(4340c)를 포함할 수도 있다.) 나타낸 바와 같이, 카메라(4330)는 부분적으로 중첩되는 FOV(4334)를 갖도록 배향되어서 상이한 카메라(4330) 사이에 사각 지점이 형성되지 않도록 한다.

차량(4000)에 카메라(4330)를 배치하는 것은 여러 요인에 따라 달라질 수 있다. 예를 들어, 카메라(4330)는 환경(4500)의 원하는 FO (4334)를 캡처하기 위해 몸체(4100)에 배치될 수 있다(도 5a 및 5b에 나타낸 바와 같음). 카메라(4330)는 차량(4000)의 공기역학적 항력을 감소시키도록 위치할 수도 있다. 예를 들어, 각각의 카메라(4330)는, 몸체(4100)의 도어 및/또는 측면 패널 또는 차량(4000)의 트렁크의 후방 대향 부분의 오목한 개구 내에 장착될 수 있다. 카메라(4330)의 배치는 또한, 부분적으로 차량(4000)이 사용되는 위치(예, ISO 16505)에 기초하여 현지 규정 및/또는 지침에 따라 달라질 수 있다.

카메라(4330)의 FOV(4334)는, 프로세서(4400)에 의해 소스 비디오 이미지(4332)에 적용된 하나 이상의 원하는 이미지 변환을 지원하기에 충분히 클 수 있다. 예를 들어, 디스플레이(4340)에 나타낸 변환 비디오 이미지(4342)는, 카메라(4330)에 의해 획득된 소스 비디오 이미지(4332)의 일부에 대응할 수 있고, 따라서 FOV(4334)보다 작은 FOV(4344)를 가질 수 있다. 카메라(4330)의 센서는 충분히 높은 해상도로 소스 비디오 이미지(4332)를 획득하여, 변환된 비디오 이미지(4342)가, 지원된 이미지 변환의 범위에 걸쳐 디스플레이(4340)의 최저 해상도를 적어도 만족하도록 한다.

FOV(4334)의 크기는, 카메라(4330)에 사용된 광학 장치에 부분적으로 기반할 수 있다. 예를 들어, 카메라(4330)는 FOV(4334)를 증가시키기 위해 광각 렌즈를 사용할 수 있으므로, 환경(4500)의 더 큰 부위를 커버한다. 카메라(4330)의 FOV(4334)는 또한, 카메라(4330)를 차량(4000)의 몸체(4100)에 결합시키는 전동식 마운트를 통해 조절될 수 있다. 전동식 마운트는 카메라(4330)를 회전 및/또는 패닝시켜 카메라(4330)의 FOV(4334)를 변화시킬 수 있다. 이는, 예를 들어 카메라(4330)가 더 긴 초점 길이를 갖는 렌즈를 포함하는 경우에, 사용될 수 있다. 전동식 마운트는, 조작자(4010)에게 나타낸 비디오 이미지(4342)에 대한 원하는 반응성을 가능하게 하는 주파수로, 카메라(4330)를 작동시키도록 구성될 수 있다. 예를 들어, 전동식 마운트는 약 60 Hz에서 카메라(4330)를 작동시킬 수 있다. 전동식 마운트가 더 낮은 주파수(예, 15 Hz)에서 카메라(4330)를 작동시키는 경우에, 프로세서(4400)는 디스플레이(4340)에 나타낸 비디오 이미지(4342)를 (예를 들어, 보간을 통해) 업-샘플링하기 위해 추가 프레임을 생성할 수 있다.

각각의 카메라(4330)는, 조명 조건 및 원하는 노출 설정에 따라 가변 프레임 속도로 소스 비디오 이미지(4332)를 획득할 수 있다. 예를 들어, 카메라(4330)는, 초당 적어도 약 30 프레임(FPS) 및 바람직하게는 60 FPS의 프레임 속도로 소스 비디오 이미지(4332)를 명목상으로 획득할 수 있다. 그러나, 저조도 상황에서, 카메라(4330)는 적어도 약 15 FPS의 더 낮은 프레임 속도로 소스 비디오 이미지(4332)를 획득할 수 있다.

각각의 카메라(4330)는 또한, 가시광, 근적외선(NIR), 중적외선(MIR), 및 원적외선(FIR) 범위를 포함하지만 이에 제한되지 않는 다양한 파장 범위에서 소스 비디오 이미지(4332)를 획득하도록 구성될 수 있다. 일부 응용에서, 차량(4000) 상에 배치된 카메라(4330)의 어레이는, 미러(4320)를 작동하는 경우에 다수의 촬영 장비를 가능하게 하기 위해 하나 이상의 파장 범위를 커버하는 데 사용될 수 있다(예, 카메라(4330) 하나는 가시광 비디오 이미지를 획득하고 다른 카메라(4330) 하나는 NIR 비디오 이미지를 획득함). 예를 들어, 프로세서(4400)는, 센서(4200)가 낮은 가시성 조건(예, 야간 주행, 안개)에서 차량(4000)이 작동하고 있음을 감지하는 경우에, 디스플레이(4340) 상에 IR 비디오 이미지만을 나타낼 수 있다.

반응성 시스템(4300)은, 광학 장치 및/또는 센서의 특성과 관련된 내인성 파라미터(예, 초점 길이, 종횡비, 센서 크기), 외인성 파라미터(예, 차량(4000)의 좌표 공간 내의 카메라(4330)의 위치 및/또는 배향), 및 왜곡 계수(예, 반경 방향 렌즈 왜곡, 접선 방향 왜곡 렌즈)를 포함하나 이에 제한되지 않는, 각각의 카메라(4330)와 연관된 다양한 작동 파라미터를 저장할 수 있다. 카메라(4330)의 작동 파라미터는, 소스 비디오 이미지(4332)에 적용된 변환을 수정하는 데 사용될 수 있다.

디스플레이(4340)는, FOV(4344)에 대응하는 변환 비디오 이미지(4342)를 나타내도록 구성된 장치일 수 있다. 도 5a 및 도 5b에 나타낸 바와 같이, 차량(4000)은 하나 이상의 디스플레이(4340)를 포함할 수 있다. 디스플레이(4340)는, 일반적으로 하나 이상의 카메라(4330)에 의해 획득된 비디오 이미지(4332)를 나타낼 수 있다. 예를 들어, 디스플레이(4340)는 분할 스크린 배열(예, 나란히 디스플레이된 두 개의 변환 비디오 이미지(4342))로 다수의 카메라(4330)의 변환 비디오 이미지(4342)를 나타내도록 구성될 수 있다. 또 다른 예시에서, 프로세서(4400)는, 디스플레이(4340) 상에 나타낸 변환 비디오 이미지(4342)가 하나의 카메라(4330)로부터 다른 카메라(4330)로 원활하게 전이되도록(예, 소스 비디오 이미지(4332)가 매끄럽게 스티칭되도록), 다수의 카메라(4330)에 의해 획득된 소스 비디오 이미지(4332)를 변환할 수 있다. 차량은 또한, 차량(4000) 상의 카메라(4330)에 각각 대응하는 다수의 디스플레이(4340)를 디스플레이할 수 있다.

디스플레이(4340)의 배치는, 여러 요인에 따라 달라질 수 있다. 예를 들어, 디스플레이(4340)의 위치 및/또는 배향은, 부분적으로 조작자(4010)의 공칭 위치 또는 차량(4000)의 운전자 시트에 기초할 수 있다. 예를 들어, 하나의 디스플레이(4340)는 스티어링 휠의 좌측에 위치할 수 있고 다른 디스플레이(4340)는 스티어링 휠의 우측에 위치할 수 있다. 한 쌍의 디스플레이(4340)는, 차량(4000)의 좌측 및 우측에 위치한 각각의 카메라(4330)로부터의 변환 비디오 이미지(4342)를 나타내는 데 사용될 수 있다. 디스플레이(4340)는, 조작자(4010)로 하여금 이동 방향을 따라 차량의 주변을 놓칠 필요 없이 변환 비디오 이미지(4342)를 볼 수 있게 하는 방식으로, 배치될 수 있다. 더구나, 디스플레이(4340)의 위치는 또한, 카메라(4330)와 유사하게 차량(4000)이 사용되는 위치에 기초하여, 현지 규정 및/또는 지침에 따라 달라질 수 있다.

일부 경우에, 디스플레이(4340)는 또한, 비디오 기반 미러(4320)를 제어하기 위해 명시적 명령을 입력하는 능력을 조작자(4010)에게 제공하기 위해, 터치 민감형일 수 있다. 예를 들어, 조작자(4010)는, 디스플레이(4340)에 나타낸 변환 비디오 이미지(4342)의 부분을 패닝 및/또는 스케일 조절하기 위해 자신의 손으로 디스플레이(4340)를 터치하고 스위핑 동작을 적용할 수 있다. 비디오 기반 미러(4320)를 교정하는 경우에, 이하에서 더욱 상세히 논의될 디스플레이(4340)의 오프셋은 터치 인터페이스를 통해 조절될 수 있다. 또한, 조작자(4010)는 터치 인터페이스를 사용하여, 밝기 및 명암비를 포함하나 이에 제한되지 않는 디스플레이(4340)의 다양한 설정을 조절할 수 있다.

반응성 시스템(4300)은, 디스플레이(4340)의 내인성 특성(예, 디스플레이 해상도, 리프레시 속도, 터치 감도, 디스플레이 치수), 외인성 특성(예, 차량(4000)의 좌표 공간 내의 디스플레이(4340)의 위치 및/또는 배향), 및 왜곡 계수(예, 디스플레이(4340)의 곡률)을 포함하나 이에 제한되지 않는, 각각의 디스플레이(4340)와 연관된 다양한 작동 파라미터를 저장할 수 있다. 디스플레이(4340)의 작동 파라미터는, 비디오 이미지(4332)로 변환을 수행하기 위해 프로세서(4400)가 사용할 수 있다.

전술한 바와 같이, 프로세서(4400)는 반응성 시스템(4300)을 제어하는 데 사용될 수 있다. 비디오 기반 미러(4320)의 경우에, 프로세서(4400)는, 특정 유형의 카메라(4330) 및/또는 사용된 디스플레이(4340)에 부분적으로 기초해서(예, 카메라(4330)의 비트 전송률, 디스플레이(4340)의 해상도 및/또는 리프레시 속도), 고속 통신 버스를 사용하여 디스플레이(4340) 및 카메라(4330)와 통신할 수 있다. 일부 경우에, 통신 버스는 또한 부분적으로, 사용되는 프로세서(4400)의 유형에 기초할 수 있다(예, 중앙 처리 유닛 및/또는 그래픽 처리 유닛의 클럭 속도). 프로세서(4400)는 또한, 컨트롤러 영역 네트워크(CAN) 버스와 같은 공통 통신 버스를 사용하여, 비디오 기반 미러(4320)의 다양한 구성 요소 및/또는 차량(4000)의 다른 서브시스템과 통신할 수 있다.

반응성 시스템(4300) 내의 비디오 기반 미러(4320)는, 조작자(4010)의 움직임에 기초하여 수정되고 디스플레이(4340) 상에서 변환된 비디오 이미지(4342)로서 나타낸, 소스 비디오 이미지(4332)를 획득할 수 있다. 이러한 수정은, 소스 비디오 이미지(4332)의 적절한 부분을 추출하고 조작자(4010)에게 디스플레이될 비디오 이미지(4332)의 부분을 만드는 변환을, 소스 비디오 이미지(4332)에 적용하는 것을 포함할 수 있다. 다른 예시에서, 변환을 사용하여, 변환된 비디오 이미지(4342)의 FOV(4344)를 수정하여 미러(4320)가 종래의 미러와 유사한 방식으로 반응하도록 할 수 있다. 예를 들어, 조작자(4010)가 디스플레이(4340)에 더 가깝게 이동함에 따라, FOV(4344)는 확장할 수 있다. 또한, 변환된 비디오 이미지(4342)의 FOV(4344)는, 조작자(4010)가 좌우로 이동함에 따라 패닝할 수 있다.

도 6은, 부분적으로 조작자(4010) 머리의 위치 및/또는 배향에 대한 변화에 기초하여, 카메라(4330)에 의해 획득된 소스 비디오 이미지(4332)를 변환하는 방법(600)을 나타낸다. 방법(600)은, 센서(4200)를 사용하여 조작자 머리의 위치 및/또는 배향을 감지하는 단계(602)로 시작할 수 있다. 전술한 바와 같이, 센서(4200)는, 조작자 머리의 데이터(예, RGB 이미지 및/또는 심도 맵)를 획득할 수 있다. 그 다음, 프로세서(4400)는 센서(4200)에 의해 획득된 데이터에 기초하여 조작자(4010)의 안구 기준점을 결정할 수 있다(단계(604)). 프로세서(4400)가 안구 기준점을 결정할 수 있는 경우에(단계(606)), 변환은, 소스 비디오 이미지(4332)를 수정하기 위해 연산되고 적용된다(단계(610)).

변환은, 차량(4000)의 비디오 기반 미러(4320) 및 센서(4200)의 모델을 사용하여 계산될 수 있다. 모델은, 안구 기준점, 카메라(4330)의 작동 파라미터(예, 내인성 및 외인성 파라미터, 왜곡 계수), 디스플레이(4340)의 작동 파라미터(예, 내인성 및 외인성 파라미터, 왜곡 계수), 및 제조업체 및 사용자 교정 파라미터를 포함하나 이에 제한정되지 않는, 다양한 입력을 수신할 수 있다. 패닝, 회전 및 스케일 조절을 포함하나 이에 제한되지 않는 다양한 유형의 변환이, 소스 비디오 이미지(4332)에 적용될 수 있다. 변환은, 일련의 매트릭스 변환과 신호 처리 동작을 소스 비디오 이미지(4332)에 적용하는 단계를 포함할 수 있다.

일 구현예에서, 소스 비디오 이미지(4332)에 적용된 변환은, 안구 기준점 및 사용자 교정 파라미터에만 기초할 수 있다. 특히, 안구 기준점과 조작자(4010)의 기본 착석 위치 사이의 거리(교정된 대로)는, 간단한 어핀 변환을 사용하여 소스 비디오 이미지(4332)의 일부분을 패닝 및/또는 줌하는 데 사용될 수 있다. 예를 들어, 변환의 크기는 조작자(4010)의 교정된 움직임 범위까지 스케일 조절될 수 있다. 추가적으로, 패닝 및/또는 줌 속도는, 변환된 비디오 이미지(4342)가 조작자 머리에 의한 움직임에 균일하게 반응하도록 일정할 수 있다. 일부 경우에, 미러(4320)의 균일한 반응은, 디스플레이(4340)와 조작자(4010)의 안구 기준점 사이의 거리에 의존하지 않을 수 있다.

이러한 변형은, 디스플레이(들)(4340)가 조작자(4010)의 앞에 위치한 차량(4000) 및/또는 미러(4320)가 조작자 머리의 위치 변화에만 반응하도록(및 조작자(4010)의 시야각 또는 디스플레이(4340)와 조작자(4010) 사이의 거리와 같은 다른 파라미터에 변하지 않도록) 구성되는 경우에 바람직할 수 있다. 이러한 방식으로, 이러한 변환은, 차량(4000)에서의 다양한 카메라(4330)와 디스플레이(4340 배치)에 대해 보다 표준화된 반응을 제공하면서, 구현하기가 더 간단하고 계산 비용이 적게 들게(따라서, 더 빨리 수행하게) 할 수 있다. 또한, 이러한 변환은, 조작자의 머리 움직임에 기초하여 소스 비디오 이미지(4332)에 적용될 수 있다.

다른 예시에서, 소스 비디오 이미지(4332)에 적용된 변환은, 디스플레이(4340)에 대한 조작자(4010)의 시야각, 및 조작자(4010)의 안구 기준점과 디스플레이(4340) 사이의 거리에 부분적으로 기초할 수 있다. 디스플레이(4340)에 대한 조작자(4010)의 위치, 시야각, 및 거리에 기초한 조절을 포함한 변환은, 전통적인 미러의 거동을 더 잘 모방할 수 있고, 결과적으로 조작자(4010)에게 더 자연스럽게 느껴질 수 있다. 프로세서(4400)는, 조작자(4010)의 안구 기준점으로부터 디스플레이(4340)의 중심까지 벡터,

를 결정할 수 있다. 그 다음, 벡터를 사용해, 변환 비디오 이미지(4342)에 대한 타겟 FOV 및 팬 위치를 결정할 수 있다. 예를 들어, 레이 캐스팅 접근법은, 레이가 조작자(4010)의 안구 기준점으로부터 디스플레이(4340)의 각각의 모서리까지 캐스팅되는 FOV를 정의하는 데, 사용될 수 있다.

다음 단계는 타겟 FOV에 대응하는 소스 비디오 이미지(4332)의 일부를 추출하는 것이다. 이는, 변환된 비디오 이미지(4342)에 사용되는 소스 비디오 이미지(4332)의 일부의 위치와 크기를 결정하는 것을 포함할 수 있다. 소스 비디오 이미지(4332)의 부분의 크기는, 카메라(4330)의 내인성 파라미터 중 하나인 카메라(4330)의 각도 해상도(예, 픽셀 당 각도)에 부분적으로 의존할 수 있다. 카메라(4330)의 각도 해상도는, 추출될 비디오 이미지(4332)의 부분 치수를 결정하는 데 사용될 수 있다. 예를 들어, 타겟 FOV의 수평 축은 45도의 각도 범위를 커버할 수 있다. 카메라(4330)의 각도 해상도가 픽셀 당 0.1도인 경우에, 비디오 이미지(4332)의 부분은 타겟 FOV를 충족하기 위해 수평 축을 따라 450개 픽셀을 가져야 한다.

카메라(4330)에 의해 캡처된 소스 비디오 이미지(4332)로부터 추출된 변환 비디오 이미지(4342)의 위치는, 디스플레이(4340)에 대한 조작자(4010)의 시야각에 따라 달라질 수 있다. 시야각은, 디스플레이(4340)의 중심과 교차하고 이에 수직인, 벡터

와 벡터

사이의 각도로서 정의될 수 있다. 따라서, 디스플레이(4340)의 중심에 정렬되는 조작자(4010)의 안구 기준점에,

와

의 공선성이 대응할 것이다. 조작자의 머리가 움직임에 따라, 최종 시야각은, 변환된 비디오 이미지(4342)의 위치로 하여금 소스 비디오 이미지(4332) 내의 위치로 이동시킬 수 있다. 위치 이은, 시야각의 각각의 구성 요소(즉, 수평 시야각 및 수직 시야각)에 카메라(4330)의 각도 해상도를 곱함으로써 결정될 수 있다. 이러한 방식으로, 잘린 부분의 중심점(예, X 및 Y 픽셀 위치)은 소스 비디오 이미지(4332)에 대해 발견될 수 있다.

프로세서(4400)가 조작자(4010)의 안구 기준점을 결정할 수 없는 경우에, 기본 또는 이전 변환이 소스 비디오 이미지(4332)에 적용될 수 있다(도 6의 단계(608)). 예를 들어, 안구 기준점의 이전 측정에 대응하는 이전 변환은, 안구 기준점이 감지되지 않는 경우에, 변환 비디오 이미지(4342)가 변경되지 않도록 유지될 수 있다. 또 다른 예시에서, 변환은 조작자의 움직임 예측에 기초하여 계산될 수 있다. 안구 기준점이 시간의 함수로서 측정되는 경우에, 이전 측정은 조작자(4010)의 안구 기준점의 위치를 예측하기 위해 외삽될 수 있다. 이전 측정의 외삽은, 선형 외삽(예, 조작자의 움직임은 충분히 작은 시간 증분에 따라 선형인 것으로 근사함) 및 특정 동작을 수행할 때(예, 차선 변경할 시 조작자의 머리가 디스플레이(4340)를 향해 실질적으로 반복 가능한 방식으로 움직임) 조작자의 행동을 모델링하는 것을 포함하나 이에 제한되지 않는, 하나 이상의 방식으로 달성될 수 있다. 이러한 방식으로, 안구 기준점의 감지에 대한 갑작스러운 중단은, 변환된 비디오 이미지(4342)를 점프시키고/점프시키거나 고르지 않게 보이게 하지 않는다.

일단 변환이 결정되면(예, 신규 계산 변환, 기본/이전 변환), 그 다음 변환이 소스 비디오 이미지(4332)에 적용되어 변환된 비디오 이미지(4342)를 생성하며, 이는 디스플레이(4340)에 나타나 있다(도 6의 단계(612)). 소스 비디오 이미지(4332)를 변환하는 이러한 방법(600)은, 적어도 약 60 Hz의 작동 주파수에서 수행될 수 있다. 또한, 카메라(4330) 및/또는 디스플레이(4340)의 왜곡 계수는, 소스 비디오 이미지(4332)의 반경 방향 및/또는 접선 방향 왜곡을 보정하는 데 사용될 수 있다. 이전의 교정에 기초하여 보정된 픽셀 위치를 계산한 다음에, 소스 비디오 이미지(4332)(즉, 소스 비디오 스트림)의 픽셀 위치를, 변환 비디오 이미지(4342)(즉, 변환된 비디오 스트림) 내의 보정된 픽셀 위치에 다시 매핑하는 것과 같은 다양한 기술이 왜곡을 보정하는 데 사용될 수 있다.

전술한 바와 같이, 센서(4200) 및/또는 반응성 시스템(4300)은 조작자(4010)에 대해 교정될 수 있다. 비디오 기반 미러(4320)의 경우에, 교정은 조작자의 머리와 정렬하도록 디스플레이(4340)에 나타낸 변환 비디오 이미지(4342)를 조절하는 단계를 포함할 수 있으며, 이는 조작자의 높이 및/또는 조작자의 머리와 디스플레이(4340)의 간격에 따라 달라질 수 있다. 또한, 전술한 바와 같이, 조작자의 움직임 범위 및/또는 기본 위치(예, 차량(4000)에서의 조작자의 운전 위치)는, 소스 비디오 이미지(4332)에 적용된 변환을 조절하기 위해 사용될 수 있다. 예를 들어, 변환 비디오 이미지(4342)가 더 큰 소스 비디오 이미지(4332)에 걸쳐 패닝할 수 있도록, 조작자의 움직임 범위를 사용하여 변환을 스케일 조절할 수 있다(예, 변환 비디오 이미지(4342)의 FOV(4344)는 소스 비디오 이미지(4332)의 FOV(4344)를 커버할 수 있음).

다른 예시에서, 조작자의 기본 위치는 "베이스라인" 위치로서 사용될 수 있다. 베이스라인 위치는, 각각의 디스플레이(4340)(즉, 하나 이상의 디스플레이(4340)를 갖는 차량(4000)에서)의 바람직한 FOV를 갖는 조작자(4010)에 대응할 수 있다. 예를 들어, 각각의 디스플레이(4340) 상에 나타낸 변환 비디오 이미지(4342)는, 각각의 대응하는 카메라(4330)에 의해 획득된 소스 비디오 이미지(4332)에 관해 실질적으로 중앙에 위치할 수 있다. 또 다른 예시에서, 바람직한 FOV는 차량(4000)에 대한 현지 규정 또는 제조업체 사양에 따라 달라질 수 있다. 일부 경우에, 조작자(4010)의 기본 위치는, 조작자(4010)가 차량(4000)을 사용할 시 조작자(4010)의 평균 위치(예, 조작자(4010)가 착석할 때의 평균 위치) 및/또는 움직임 범위에 기초하여, 미러(4320)가 상이한 조작자(4010)에게 조정되는, 동적 교정 접근법을 사용하여 결정될 수 있다.

미러(4320)의 교정은, 움직임 범위와 기본 위치를 측정하기 위해 조작자(4010)가 특정 동작(예, 그의 사지를 움직임)을 수행하도록 지시되는, 반자동 방식으로 수행될 수 있다. 전술한 바와 같이, 조작자(4010)는, 차량(4000)의 인포테인먼트 시스템 또는 차량 스피커와 같은 다양한 시스템을 사용하여, 교정을 위한 지침을 수신할 수 있다. 비디오 기반 미러(4320)의 경우에, 디스플레이(4340)는 또한, 시각적 지시 및/또는 단서를 조작자(4010)에게 제공하는 데 사용될 수 있다. 지시 및/또는 단서는 차량(4000), 도로, 및/또는 조작자(4010)에게 스케일 및 배향의 감각을 제공하는 다른 기준 대상 중 하나 이상의 오버레이 그래픽을 포함할 수 있다. 일단 이들 측정이 수행되면, 프로세서(4400)는 차량 주변부의 적절한 FOV를 제공하기 위해, 각 디스플레이(4340) 상에 나타낸 변환 비디오 이미지(4342)를 조절하려고 시도할 수 있다.

조작자(4010)는 또한 미러(4320)를 직접 조절하기 위한 제어 장치도 제공될 수 있다. 이러한 방식으로, 조작자(4010)는, 운전자가 차량의 사이드 뷰 또는 백 미러를 조절할 수 있는 방법과 유사한, 개인적 선호도에 따라 미러(4320)를 교정할 수 있다. 터치 제어(예, 인포테인먼트 시스템, 디스플레이(4340)), 물리적 버튼, 및 조이스틱을 포함하나 이에 제한되지 않는 다양한 제어 입력이, 조작자(4010)에게 제공될 수 있다. 제어 입력은, 조작자(4010)로 하여금 변환 비디오 이미지(4342)를 상, 하, 좌 및 우로 수동 패닝시키고/패닝시키거나 배율 계수 오프셋을 조절하여 변환 비디오 이미지(4342)의 배율을 증가/감소시킬 수 있다.

이들 조절은 소스 비디오 이미지(4332)에 적용된 변환을 수정(예, 소스 비디오 이미지(4332)로부터 추출된 변환 비디오 이미지(4342)의 크기 및 위치를 조절)하고/수정하거나 카메라(4330)를 물리적으로 회전 및/또는 패닝함으로써 수행될 수 있다. 또한, 변환 비디오 이미지(4342)가 조작자(4010)에 의해 패닝되고/패닝되거나 스케일 조절될 수 있는 정도는, 소스 FOV(4334) 및 소스 비디오 이미지(4332)의 해상도에 의해 부분적으로 제한될 수 있다. 일부 경우에, 지역 규정은 또한, 변환 비디오 이미지(4342)에 적용된 패닝 및/또는 스케일 조절에 제한을 부과할 수 있다. 게다가, 이들 수동 조절은 특정 방식으로 조작자(4010)가 위치하지 않고서 이루어질 수 있다(예, 조작자(4010)는 기본 위치에 있을 필요가 없음).

미러(4320)가 교정된 후에, 차량(4000)의 각 미러(4320)에 대한 조작자의 기본 위치, 움직임 범위, 및 개별 오프셋이 저장될 수 있다. 종합적으로, 이들 파라미터는, 차량(4000)을 제어하는 경우에 기본 위치의 조작자(4010)에게 나타낸 환경의 FOV를 나타내는, 각 디스플레이(4340)의 "중심점"을 정의할 수 있다. 중심점은 단지 기본 착석 위치 및 각 디스플레이(4340)에 대한 오프셋을 사용하여 결정될 수 있다. 일부 경우에, 중심점은, 조작자(4010)의 안구 기준점이 감지되지 않을 경우에 변환 비디오 이미지(4342)의 기본 FOV(4344)에 대응할 수 있다.

조작자(4010)의 움직임 범위는, 변환 비디오 이미지(4342)가 패닝 및/또는 스케일 조절되는 속도를 조절하는 데 사용될 수 있다. 또한, 움직임 범위는 차량(4000)의 캐빈에 의해 제한되고/제한되거나 달리 모호해질 수 있다. 따라서, 변환 비디오 이미지(4342)의 배율 스케일 인자를 조절하는 것은, 부분적으로 차량(4000)의 캐빈에서 조작자(4010)의 감지 가능한 움직임 범위에 따라 달라질 수 있다. 조작자(4010)가 충분한 확실성을 갖고 소정 시간 내에 위치할 수 없는 경우에, 미러(4320)는 각 디스플레이(4340)의 교정된 중심점에 대응하는 변환 비디오 이미지(4342)를 보여주는 기본값으로 설정될 수 있다.

관절형 연결부가 있는 반응성 시스템

반응성 시스템(4300)은 또한, 조작자(4010)의 거동에 부분적으로 기초하여 차량(4000)의 물리적 구성을 변경하는 관절형 연결부를 포함할 수 있다. 예를 들어, 관절형 연결부는 차량(4000)의 휠과 섀시 간격을 조절하는, 차량(4000)의 능동형 서스펜션 시스템의 일부일 수 있다. 차량(4000)은 각 휠에 대해 독립적으로 제어되는 다수의 관절형 연결부를 포함하여 차량(4000)을 기울이고/기울이거나 승차 높이를 변경시킬 수 있다. 다른 예시에서, 관절형 연결부는 몸체(4100)의 형태 및/또는 형상을 변경시킬 수 있다. 이는, 트럭의 플랫베드를 작동시키는 관절형 연결부를 포함할 수 있다.

또한, 관절형 연결부는 몸체(4100)의 다양한 섹션을 구부리고/구부거나 달리 뒤틀 수 있다(도 7a 내지 도 7e의 예시적 차량(4000) 참조). 예를 들어, 하나 이상의 관절형 연결부 및/또는 다른 액추에이터는 차량 자체보다는 페이로드 지지 메커니즘을 작동시킬 수 있다. 예를 들어, 이들 액추에이터는 시트의 위치 및 등받이 각도를 조절하여, 차량을 반드시 관절화 하지 않으면서 특히 개별 조작자에 대한 편안함 및/또는 가시성을 최대화할 수 있다. 좌석 조절은, 조작자가 차량에 진입한 직후 바로 또는 조작자가 이를 예상하는 시점에 수행될 수 있다. 시트 부분 및 등받이 각도에 대한 후속 조절은, 조작자가 시간이 지남에 따라 자리를 잡으면서 차량이 움직이는 동안에 수행될 수 있다. 이러한 시나리오에서, 차량을 관절화하는 것은 비효율적이거나 안전하지 않을 수 있다.

차량 몸체(4100)의 관절화 및 그의 서스펜션의 작동은, 차량(4000)의 성능 및/또는 작동에 각각 소정의 바람직한 특징을 제공하는 여러 구성을 가능하게 할 수 있다. 차량(4000)은, 센서(4200)에 의해 측정될 시, 조작자(4010)의 위치 및/또는 방향에 대한 변경에 기초하여 이들 구성 사이에서 능동적으로 전환되도록 구성될 수 있다. 일부 경우에, 조작자(4010)에 의한 명시적 입력(예, 차선 변경 신호를 활성화하고, 윈도우를 내림) 및 조작자 거동의 조합은, 차량(4000)에서 관절형 연결부(들)의 반응을 제어할 수 있다.

예를 들어, 차량(4000)은, 차량(4000)의 높이가 도로에 더 가깝게 낮아지는 하부 프로파일 구성을 지지할 수 있다(도 7d 참조). 하부 구성은, 차량의 항력 계수를 감소시키고/감소시키거나 차량(4000)의 전방 면적을 감소시킴으로써, 개선된 공기역학적 성능을 제공할 수 있다. 하부 프로파일 구성은 또한, 휠베이스를 증가시키고/증가시키거나 차량(4000)의 무게 중심을 낮출 수 있으며, 이는 더 큰 안정성과 코너링 속도를 제공함으로써 주행 성능을 개선한다. 프로세서(4400)는, 프로세서(4400)가 조작자(4010)는 차량(4000)을 운전하는 데 초점을 맞추고/맞추거나(예를 들어, 안구 기준점이 조작자(4010)는 차량(4000)의 바로 앞에 있는 주변 환경에 초점을 맞추고 있음을 표시함) 고속으로 (예를 들어, 고속도로에서) 운전하는 것을 결정하는 경우에, 차량(4000)을 하부 프로파일 구성으로 전환 및/또는 유지할 수 있다.

다른 예시에서, 차량(4000)은, 차량(4000)의 높이가 도로 위로 상승하는 경우에 상부 프로파일 구성을 지지할 수 있다(도 7e 참조). 상부 프로파일 구성은, 차량(4000)의 진입 및/또는 나가는 것을 보조하기 위해 사용될 수 있다. 관절형 시트 메커니즘과 조합되는 경우에, 시트(또는 보다 일반적으로 화물 운반 플랫폼)는 차량(4000)에 저장된 페이로드에 접근하기 위해, 조작자(4010)(예, 작업자, 로봇 자동차)에 대해 적절한 높이로 제공될 수 있다. 상승된 위치는 또한, 주변 환경을 모니터링하기 위해 차량(4000)에 배치된 임의의 센서 및/또는 조작자(4010)의 FOV를 증가시킬 수 있어서, 상황 인식을 증가시킨다. 조작자(4010)의 FOV가 환경에서의 장애물(예, 다른 차량, 장벽, 사람)에 의해 차단되고/차단되거나 프로세서(4400)가 조작자(4010)가 장애물 주위를 능동적으로 보려한다고 결정하는(예, 안구 기준점은 조작자의 머리가 장애물 위를 향해서 위로 배향되는 것을 표시하는) 경우에, 프로세서(4400)는, 차량(4000)을 상부 프로파일 구성으로 전이 및/또는 유지할 수 있다.

차량(4000)은 또한, 전술한 하부 프로파일 구성과 상부 프로파일 구성 사이의 중간 상태로서 정의될 수 있는 중간 프로파일 구성을 지지할 수 있다. 따라서, 중간 프로파일 구성은 하부 프로파일 및 상부 프로파일 특성의 조합을 제공할 수 있다. 예를 들어, 중간 프로파일 구성은, 개선된 동적 성능을 위해 낮은 무게 중심을 유지하면서 조작자(4010)에게 더 양호한 가시성을 제공할 수 있다. 이러한 구성은, 도시 환경에서 차량(4000)을 작동하는 경우 및/또는 다른 차량 또는 장치와 상호 작용하는 경우에, 직면하는 다수의 시나리오를 수용하기 위해 사용될 수 있다.

중간 프로파일 구성의 다양한 사용 사례는 사서함, 자동 입출금기(ATM), 드라이브-쓰루 윈도우, 및 도로의 측면에 서 있는 다른 인간(예, 이웃 또는 사이클리스트)과의 상호 작용을 용이하게 하도록 승차 높이를 조절하는 것을 포함하나, 이에 제한되지 않는다. 차량(4000)이 (아마도 자율적으로) 화물을 운송하는 데 사용된다면, 중간 상태는 배송 및/또는 로딩 도크, 로봇 및 인간과의 보다 나은 인체 공학적 및 기계적 상호 작용을 가능하게 한다. 이러한 사용 사례는, 조작자(4010)(또는 화물)의 예측 가능한 이동을 포함할 수 있다. 예를 들어, 조작자(4010)는 윈도우를 내리고 그들의 손을 뻗어 환경 내의 대상 또는 사람과 상호 작용할 수 있다. 센서(4200)가 윈도우가 내려간 것을 감지하고 조작자(4010)가 그들의 손을 바깥으로 뻗었다고 프로세서(4400)가 결정하면, 프로세서(4400)는 차량(4000)의 높이를 운전자 측 윈도우 근처에서 감지된 대상의 높이와 일치하도록 조절할 수 있다.

도 7a 내지 도 7e는, 관절형 연결부(106)(관절 메커니즘이라고도 함), 성형 섹션(123), 및 페이로드(2000)(예, 운전자, 승객, 화물)을 지지하기 위한 페이로드 위치 설정 연결부(2100)(페이로드 위치 설정 메커니즘이라고도 함)를 포함한 차량(4000)을 나타낸다. 이 예시에서, 차량(4000)은 뒷바퀴 조향 장치가 있는 삼륜 전기 차량이다. 관절형 연결부(106)는, 차량(4000)으로 하여금 차량(4000)의 길이를 따라 중간 위치에 대해 관절화시키거나 굽혀서, 차량(4000)을 재구성한다.

차량(4000)의 관절화 범위는 두 가지 특징적인 구성에 의해 정의될 수있다: (1) 휠베이스가 연장되고 운전자가 도 7a, 도 7b, 도 7d에 나타낸 바와 같이 지면 근처에 있는 하부 프로파일 구성, 및 (2) 도 7e에 나타낸 바와 같이 조작자가 지면 위의 상승 위치에 배치되는 상부 프로파일 구성. 차량(4000)은 하부 프로파일 구성과 상부 프로파일 구성 사이의 임의의 구성으로 관절화될 수 있다. 일부 경우에, 관절형 연결부(106)는 차량(4000)을 이산적인 수의 구성으로 제한할 수 있다. 이는, 관절형 연결부(106)에 대해 더 단순하고/단순하거나 낮은 전력 설계가 바람직한 경우에 바람직할 수 있다.

차량(4000)은, 관절형 연결부(106)에 의해 함께 결합되는 전방 차량 섹션(102) 및 후미 섹션(104)으로 세분될 수 있다. 전방 섹션(102)은 몸체(108)를 포함할 수 있으며, 이는 일체형, 모노코크 프레임/쉘, 공간 프레임, 및 바디-온-프레임 구성(예, 섀시 상에 장착된 몸체)을 포함하나 이에 제한되지 않는 다양한 유형의 차량 지지 구조물일 수 있다. 도 7a 내지 도 7e에 나타낸 바와 같이, 몸체(108)는 모노코크 프레임으로 나타나 있다. 몸체(108)는 탈착식 측면 패널(또는 휠 페어링)(116), 고정된 측면 윈도우(125), 차량(4000)에 결합된 투명 캐노피(110), 및 평행한 구성으로 배열되고 하부 몸체(108) 상에 장착된 두 개의 전방 휠(112)을 포함할 수 있다. 후미 섹션(104)은 후방 외부 쉘(121), 후방 유리(124), 및 조향 가능한 휠(126)을 포함할 수 있다. 다양한 구성으로 차량(4000) 아래에 매끄럽고 연속적인 외부 표면을 유지하기 위해, 성형 섹션(123)이 전방 섹션(102)과 후미 섹션(104) 사이에 결합될 수 있다. 도 7d 및 도 7e 에 나타낸 바와 같이, 후방 외부 쉘(121) 및 후방 유리(124)는 제거되어 적어도 관절형 연결부(106)와 관련된 하부 구성 요소가 보일 수 있도록 한다.

캐노피(110)는, 힌지식 배열을 통해 몸체(108)에 결합되어 캐노피(110)를 개방 및 폐쇄시킬 수 있다. 페이로드(2000)가 운전자인 경우에, 캐노피(110)는 도 7e의 상부 프로파일 구성에서 차량(4000)의 상단을 향해 힌지 결합될 수 있어서, 운전자는 두 개의 전방 휠(112) 사이에서 차량(4000) 내로/이로부터 승/하차함으로써 차량(4000)에 진입/차량으로부터 나올 수 있다.

전방 휠(112)은 전기 허브 모터에 의해 전력이 공급될 수 있다. 후방 휠(126)은 또한, 전기 허브 모터에 의해 전력이 공급될 수 있다. 일부 예시적인 전기 모터는, 2014년 6월 14일에 발행되고 발명의 명칭이 "Rotary Drive with Two Degrees of Movement"인 미국 특허 제8,742,633호, 및 발명의 명칭이 "Guided Multi-Bar Linkage Electric Drive System" 인 미국 특허 공개 제2018/0072125호에서 찾을 수 있고, 이들 모두는 그 전체가 참조로서 본원에 포함된다.

전방 차량 섹션(102)의 후방 표면은 후방 외부 쉘(121) 내에 안착될 수 있고, 전방 차량 섹션(102)의 후방 표면과 후미 섹션(104)의 후방 외부 쉘(121) 사이의 갭이, 관절형 연결부(106)를 통해 전방 섹션(102)에 대해 후미 섹션(104)이 이동함에 따라 작게 유지되도록, 전방 차량 섹션의 후방 표면은 성형될 수 있다. 나타낸 바와 같이, 관절형 연결부(106)는, 회전 축(111)을 중심으로 전방 섹션(102)에 대해 후미 섹션(104)을 회전시킴으로써 차량(4000)을 재구성할 수 있다. 도 7b, 도 7c, 도 7e에서, 회전 축(111)은 차량(4000)을 양분하는 평면에 수직이다. 평면은 (1) 차량(4000)의 길이 방향 축(예, 몸체(108)의 최전방 부분과 후방 외부 쉘(121)의 최후방 부분과 교차하는 축), 및 (2) 차량(4000)이 안착하는 수평 표면에 수직인 수직 축을 포함하도록 정의될 수 있다.

관절형 연결부(106)는, 관절형 연결부(106)의 관절형 이동 프로파일을 결정하는, 가이드 구조물(107)(가이드 메커니즘이라고도 칭함)을 포함할 수 있다. 도 7a 내지 도 7e에 나타낸 차량(4000) 예시에서, 가이드 구조물(107)은 전방 섹션(102)에 결합된 트랙 시스템 및 후미 섹션(104)에 결합된 캐리지(538)를 포함할 수 있다. 대안적으로, 트랙 시스템(536)은 후미 섹션(104)에 결합될 수 있고, 캐리지(538)는 전방 섹션(102)에 결합될 수 있다. 캐리지(538)는 트랙 시스템(536)에 의해 정의된 경로를 따라 이동할 수 있어서, 차량(4000) 구성을 변경시킨다. 관절형 연결부(106)는 또한, 트랙 시스템(536)을 따라 캐리지(538)를 원하는 구성으로 이동시키는 구동 액추에이터(540)(구동 메커니즘이라고도 칭함)를 포함할 수 있다. 구동 액추에이터(540)는 전기적으로 제어할 수 있다. 관절형 연결부(106)는 또한, 트랙 시스템(536)을 따라 특정 위치에서 캐리지(538)를 유지하기 위한 브레이크(1168)를 포함할 수 있어서, 차량(4000)을 원하는 구성으로 유지시킬 수 있다.

몸체(108)는 또한, 페이로드 위치 설정 연결부(2100)를 내부에 포함할 수 있다. 페이로드 위치 설정 연결부(2100)는, 차량(4000) 구성의 함수로서 페이로드(2000)를 바람직한 배향으로 배향할 수 있다. 관절형 연결부(106)가 차량(4000)의 구성을 변경함에 따라, 페이로드 위치 설정 연결부(2100)는 차량 4000(특히 전방 섹션(102))에 대한 페이로드(2000)의 배향을 동시에 재구성할 수 있다. 예를 들어, 페이로드 위치 설정 연결부(2100)는 지면에 대해 바람직한 운전자 배향을 유지하는 데 사용될 수 있어서, 차량(4000)이 하부 프로파일 구성에서 상부 프로파일 구성으로 전환함에 따라 운전자가 머리를 재배치할 필요가 없도록 한다. 다른 예시에서, 페이로드 위치 설정 연결부(2100)는, 패키지의 바람직한 배향을 유지하여 차량(4000)이 관절화 함에 따라 패키지 내에 포함된 대상에 대한 손상 가능성을 감소시키는 데 사용될 수 있다.

도 7a 내지 도 7e에 나타낸 차량(4000)은, 관절형 연결부(106), 성형 섹션(123), 및 페이로드 위치 설정 연결부(2100)의 하나의 예시적인 구현이다. 관절형 연결부(106), 성형 섹션(123), 및 페이로드 위치 설정 연결부(2100)에 대한 다양한 설계가 차량(4000)을 참조하여 각각 설명되어 있다. 그러나, 관절형 연결부(106), 성형 섹션(123), 및 페이로드 위치 설정 연결부(2100)는 별도로 또는 조합하여 다른 차량 구축에서 구현될 수 있다.

도 7a 내지 도 7e의 관절형 차량(4000)은 단일 관절형 DOF(즉, 회전 축(111))를 갖는 것으로 나타나 있고, 여기서 후미 섹션(104)은 차량(4000)의 구성을 변경하기 위해 전방 섹션(102)에 대해 회전한다. 이러한 토폴로지는, 특히 주변 환경(예, 컴팩트/중첩 주차, 작은 공간 기동성, 저속 가시성, 고속 공기역학적 형태)과의 중간 및 종점 상호 작용을 고려할 경우에, 도시 환경 및 고속도로 모두에서 주행하는 단일 통근자 또는 승객을 위해 바람직할 수 있다. 상기 토폴로지 및 사용 사례에 대한 지원을 제공하는 다양한 메커니즘은, 보다 넓은 범위의 차량, 차량군 구성, 및/또는 다른 토폴로지에 보다 일반적으로 적용될 수 있다.

예를 들어, 차량(4000)은, 각각 관절형일 수 있는 하나 이상의 DOF를 지지할 수 있다. 관절화가 축 중심으로 발생하여 회전 이동이 생기고 따라서 도 7a 내지 도 7e의 회전 축(111)과 같이 회전 DOF를 제공할 수 있다. 관절화가 또한 축을 따라 발생하여 병진 이동 및 이에 따른 병진 DOF를 초래할 수 있다. 본원에 설명된 다양한 메커니즘(예, 관절형 연결부(106), 페이로드 위치 설정 연결부(2100))은 하나 이상의 DOF를 따라 움직임을 제한하는 데 사용될 수도 있다. 예를 들어, 관절형 연결부(106)는, 차량(4000)의 구성 요소가 상기 경로를 따라 이동하는 경로를 정의할 수 있다(예를 들어, 캐리지(538)는 트랙 시스템(536)에 의해 정의된 경로를 따라 이동하도록 제한된다). 관절형 연결부(106)는 또한, 경로를 따라 움직임 범위를 정의할 수 있다. 이는, 부분적으로, 좁은 공차를 사용하여 조립되고/조립되거나 외력을 통해 접촉하도록 가압되는 고 강도 및 고 강성 구성 요소의 조합을 사용하여, 다른 DOF를 따라 기계적 제약을 제공하면서 원하는 DOF를 따라 낮은 힘의 입력에 의해 유도된 매끄러운 움직임을 제공하는, 관절형 연결부(106)에 의해 달성될 수 있다.

본원에 설명된 메커니즘은, 관절형 연결부(106) 상에 물리적으로 위치하거나 위치하지 않을 수 있는 축 또는 지점(예, 원격 이동 중심)에 대한 움직임을 정의할 수 있다. 예를 들어, 도 7a 내지 도 7e에 나타낸 관절형 연결부(106)는 회전 축(111) 중심으로 회전 이동을 초래하고, 이 축은 캐리지(538) 및 트랙 시스템(536)과 별도로 위치한 몸체(108)의 내부 구획부와 교차한다. 다른 예시에서, 페이로드 위치 설정 연결부(2100)는 플랫폼(예, 운전자 시트)의 병진 이동을 정의하는 하나 이상의 레일(2112)을 가질 수 있다.

또한, 각각의 DOF를 따른 움직임은 독립적으로 제어 가능할 수도 있다. 예를 들어, 차량(4000) 내의 각각의 원하는 DOF는 별도의 대응하는 관절형 연결부(106)를 가질 수 있다. 각각의 관절형 연결부(106)의 구동 시스템은, 다른 DOF와는 독립적으로 각각의 DOF를 따라 움직임을 유도할 수 있다. 도 7a 내지 도 7e를 참조하면, 회전 축(111)을 중심으로 회전하는 관절형 연결부(106)는, 차량(4000)에서 지지되는 다른 DOF에 의존하지 않을 수 있다.

그러나, 일부 경우에, 차량(4000)의 하나의 DOF를 따르는 관절화는, 차량(4000)의 또 다른 DOF에 의존할 수 있다. 예를 들어, 차량(4000)의 하나 이상의 구성 요소는, 관절화된 다른 구성 요소에 반응하여 다른 구성 요소에 대해 이동할 수 있다. 이러한 의존성은 여러 개의 DOF를 기계적으로 함께 결합함으로써 달성될 수 있다(예를 들어, 하나의 관절형 연결부(106)는 다른 관절형 연결부(106)에 기계적으로 연결되어 단일 구동 액추에이터(540)가 양쪽 관절형 연결부(106)를 순차적으로 또는 동시에 작동시킬 수 있도록 한다). 다른 접근법은 별도의 구동 액추에이터(540)를 함께 연결함으로써, 별도의 DOF를 전자적으로 결합하는 것이다. 예를 들어, 페이로드 위치 설정 연결부(2100)는, 차량(4000)이 재구성될 시 운전자가 바람직한 배향을 유지하도록, 차량(4000)을 재구성하는 관절형 연결부(106)에 반응해서 운전자 시트를 온보드 모터를 사용하여 작동할 수 있다.

관절형 연결부(106)는 일반적으로, 모션 프로파일 및 따라서 관절형 연결부(106)의 관절화 DOF를 정의하는 가이드 구조물(107)을 포함할 수 있다. 가이드 구조물(107)은 서로에 대해 이동하는 두 개의 기준점을 포함할 수 있다. 제1 기준점은 차량(4000)의 하나의 구성 요소에 결합될 수 있는 한편, 제2 기준점은 차량(4000)의 다른 구성 요소에 결합될 수 있다. 예를 들어, 전방 섹션(102)은 가이드 구조물(107)의 제1 기준점에 결합될 수 있고, 후미 섹션(104)은 가이드 구조물(107)의 제2 기준점에 결합될 수 있어 전방 섹션(102)이 꼬리 섹션(104)에 대해 관절형이 되도록 한다.

일 양태에서, 가이드 구조물(107)은, 관절형 연결부(106) 자체와 물리적으로 동일 위치에 있지 않은 지점 및/또는 축에 대한 관절화를 제공할 수 있다. 예를 들어, 관절형 연결부(106)는 원격 이동 중심(RCM) 메커니즘일 수 있다. RCM 메커니즘은, 움직이는 메커니즘과 동일한 위치에서 물리적 반향 연결부가 없는 것으로 정의된다. 예를 들어, 이러한 RCM 메커니즘은, 차량(4000)의 불편한 부분, 예컨대 페이로드(2000)가 위치하는 몸체(108)의 내부 캐빈 또는 차량 서브시스템, 예컨대 조향 어셈블리, 배터리 팩, 또는 전자기기가 상주하는 곳에 위치한 반발 연결부를 제공하기 위해 사용될 수 있다.

다음은 RCM 메커니즘으로서 관절형 연결부(106)의 여러 가지 예시를 설명한다. 그러나, 관절형 연결부(106)는, DOF가 정의되는 축 또는 지점이 관절형 연결부(106)의 구성 요소와 물리적으로 위치할 수 있는 RCM 메커니즘이 아닐 수 있다.

일례로, 가이드 구조물(107)은 캐리지-트랙 유형 메커니즘일 수 있다. 도 7a 내지 도 7e에 나타낸 관절형 연결부(106)는 이러한 유형의 메커니즘의 한 예시이다. 가이드 구조물(107)은 캐리지 및 트랙 시스템(536)을 포함할 수 있고, 이는 도 8a 내지 도 8g에 상세하게 나타나 있다. 도 8a에 나타낸 바와 같이, 트랙 시스템(536)은 전방 섹션(102)에 부착될 수 있다. 캐리지(538)는 후미 섹션(104)의 일부일 수 있다. 도 8e 및 도 8f에 나타낸 바와 같이, 캐리지(538)는 트랙 시스템(536)에 의해 정의된 수직 배향된 만곡 경로를 따라 탑승할 수 있다. 구동 액추에이터(540)는 캐리지(538)에 장착되어, 전기적 제어 하에 트랙 시스템(536)을 따라 캐리지(538)를 기계적으로 이동시킬 수 있다.

트랙 시스템(536)은, 서로 평행하게 이어지고 전방 차량 섹션(102)의 후방 표면에 모두 결합된 두 개의 만곡형 레일(642)을 포함할 수 있다. 만곡형 레일(642)은 설계와 유사할 수 있다. 몸체(108)는, 볼록하게 만곡된 후방 표면을 갖는 강성 탄소 섬유 몰딩 쉘로 제조될 수 있고, 후방 표면은 지지 표면을 형성하고, 이 표면 상에 레일(642)이 부착된다(즉, 후방으로부터 전방 차량 섹션(102)을 보는 관점에서 볼록함). 레일(642)이 부착되고 이들이 순응하는 후방 표면의 부위는, 축이 회전 축(111)에 대응하는 원통형 표면의 세그먼트를 나타낸다. 즉, 레일(642)은, 캐리지(538)가 이동하는 부위를 통과하는 일정한 곡률 반경을 가질 수 있다. 레일(642)이 연장되는 아크는, 약 90° 내지 약 120°일 수 있다.

각각의 레일(642)은 또한, 레일(642)의 길이의 일부에 걸쳐 있는 리세스 부위(643)를 포함할 수 있다. 리세스 부위(643)는 하나 이상의 구멍(Z)을 포함할 수 있고, 이를 통해 볼트(미도시)는 레일(642)을 탄소 섬유 쉘(108)에 부착할 수 있다. 각각의 레일(642)은 실질적으로 이등변 사다리꼴 모양의 단면을 가질 수 있고, 여기서 사다리꼴의 좁은 변은 그것이 부착되는 전방 몸체 쉘 (108)에 근접한 레일(642)의 바닥 변에 있고, 사다리꼴의 넓은 변은 레일(642)의 상단 변에 있다. 레일(642)은, 알루미늄, 산화를 감소시키기 위해 (예를 들어, 티타늄 나이트라이드를 갖는) 하드-코팅 알루미늄, 탄소 섬유, 유리섬유, 경질 플라스틱, 및 경화된 강을 포함하나 이에 제한되지 않는 임의의 적절한 재료로 제조될 수 있다.

도 8a 및 도 8e에 나타낸 캐리지(538)는 차량(4000)의 후미 섹션(104)을 지지한다. 후미 섹션(104)은 후방 쉘(121), 조향 메커니즘(200), 및 휠 어셈블리(201)를 추가로 포함할 수 있다. 캐리지(538)는 하나 이상의 베어링을 사용하여 트랙 시스템(536)에 결합될 수 있다. 도 8g 에 나타낸 바와 같이, 두 개의 베어링(644)이 각각의 레일(642)에 사용된다. 각각의 베어링(644)은 세 부분의 어셈블리를 포함할 수 있다: 상부 플레이트(645) 및 상부 플레이트(645)에 체결된 두 개의 테이퍼형 측벽(646). 조립된 베어링(644)은, 레일(642)과 실질적으로 유사한 단면(예, 이등변 사다리꼴)을 갖는 개구를 정의할 수 있고, 이는 사용 중에 움직임을 용이하게 하기 위해 레일(642)보다 약간 더 크게 치수화될 수 있다. 따라서, 나타낸 바와 같이, 베어링(644)은 레일(642)에 결합되어 "만곡형 비둘기꼬리" 배열을 형성할 수 있고, 여기서 베어링(644)의 내부 측벽은 레일(642)의 테이퍼형 외부 측벽과 접촉할 수 있다. 베어링(644)은, 회전 축(111)을 중심으로 회전 이동에 의해 정의된, 원하는 DOF 이외의 임의의 다른 DOF를 따라 레일(642)로부터 분리되지 않을 수 있다. 도 8g는 예시의 목적 상 베어링(644)과 레일(642) 사이의 오차를 과장되게 나타낸 표시이다. 실제로, 허용 오차는 나타낸 것보다 실질적으로 작을 수 있다. 플레이트(645) 및 측벽(646)은, 만곡형 레일(642)에 순응하도록 만곡될 수 있다.

일례로, 베어링(644)은, 장착될 시 베어링(644)의 내부 상단 및 측부 표면이 레일(642)의 상단 및 측부 벽 표면에 대해 각각 미끄러지는 플레인 베어링일 수 있다. 베어링(644)은 또한 상부 플레이트에 나사 구멍을 포함하여, 캐리지(538)의 나머지를 트랙 시스템(536)에 (예를 들어, 볼트를 통해) 결합시킬 수 있다.

베어링(644)의 길이(예, 레일(642)에 평행한 방향을 따라 정의되는 길이)는 베어링(644)의 폭보다 클 수 있다. 폭에 대한 길이의 비율은, 베어링 표면에 대한 하중의 분포를 조절하고 베어링(644)과 레일(642) 사이의 결합 가능성을 감소시키도록 조절될 수 있다. 예를 들어, 비율은 약 3 내지 약 1의 범위에 있을 수 있다. 베어링(644)은 또한, 낮은 마찰력, 높은 힘, 낮은 마모 작업 표면(예, 특히 레일(642)과 접촉하는 표면)을 가질 수 있다. 예를 들어, 베어링(644)의 작업 표면은 테플론 코팅, 흑연 코팅, 윤활제, 및 연마된 베어링(644) 및/또는 레일(642)을 포함할 수 있지만, 이에 제한되지 않는다. 또한, 결합 감소, 강성 증가, 및 움직임 범위의 증가를 위해, 약 1 내지 약 1.6 범위의 길이 대 폭의 비율을 갖는 풋프린트를 갖도록 다수의 베어링(644)을 배열할 수 있다. 통상적으로, 더 긴 베이스를 갖는 베어링(644)은, 감소된 이동 범위를 가질 수 있는 반면에, 더 좁은 베이스를 갖는 베어링(644)은 더 낮은 강성을 가질 수 있고, 따라서, 베어링(644)의 길이는 이동 및 강성 범위의 균형을 유지하도록 선택될 수 있으며, 이는 차량(4000)의 크기 및/또는 배치와 같이, 베어링(644)에 부과된 다른 제약 조건에 추가 의존할 수 있다.

캐리지(538)는 두 개의 프레임 부재(539)를 추가로 포함할 수 있으며, 여기서 각각의 프레임 부재(539)는 대응하는 레일(642)에 정렬된다. 레일(642)에 근접한 캐리지(538)의 측면 상에, 두 개의 크로스 바(854 및 856)가 두 개의 프레임 부재(539)를 함께 견고하게 연결하는 데 사용될 수 있다. 베어링(644)은 네 개의 부착 지점(848a 내지 d)에서 프레임 부재(539)에 부착될 수 있다. 캐리지(538)의 측면에서, 레일(642)로부터 가장 멀리, 두 개의 지지 바아(851)를 사용하여 휠 어셈블리(201) 및 조향 메커니즘(200)을 지지할 수 있다. 두 개의 지지 바(851)는 다른 크로스 바(850)에 의해 함께 연결될 수 있다.

전술한 캐리지(538) 및 트랙 시스템(536)은, 트랙 유형의 관절형 연결부(106)의 단지 하나의 예일 뿐이다. 다른 예시적인 관절형 연결부(106)는 단일 레일 또는 두 개 이상의 레일을 포함할 수 있다. 전술한 바와 같이, RCM은 차량(4000)의 캐빈 내에 위치될 수 있으며, 여기서 페이로드(2000)는 상기 공간 내로 침입하는 임의의 구성 요소 및/또는 구조물 없이 위치한다. 그러나, 다른 예시적인 관절형 연결부(106)에서, RCM은, 차량(4000)에 대해 다른 곳에 위치할 수 있고, 관절형 연결부(106) 상에, 차량 서브시스템(예, 후미 섹션(104), 전방 섹션(102)) 내에, 그리고 차량(4000) 외부에 위치하는 것을 포함하지만, 이에 제한되지 않는다.

전술한 바와 같이, 반응성 시스템(4300) 내의 관절형 연결부는, 차량(4000)의 일부 양태 및/또는 특성, 예컨대 조작자의 FOV를 수정하기 위해 차량(4000)의 물리적 구성을 변경할 수 있다. 그러나, 일부 경우에, 관절형 연결부는 차량(4000)이 기계적으로 불안정해질 정도로 차량(4000)의 물리적 구성을 수정할 수 있으며, 이는 차량(4000)의 부분적 또는 완전한 제어 상실을 초래할 수 있다. 차량(4000)을 작동할 시, 이러한 안정성 손실을 방지하기 위해, 반응성 시스템(4300)은 관절형 연결부에 제약을 부과하는(예를 들어, 작동 범위를 제한하고, 작동 속도를 제한하는) 안정성 제어 유닛을 포함할 수 있다.

예를 들어, 조작자(4010)는, 후방 뷰 디스플레이의 시야각을 조절하기 위해 차선을 변경하는 경우에, 차량(4000)의 일측에 기울 수 있어서, 조작자(4010)가 차량 중 어느 하나가 후방에서 접근하고 있는지 여부를 확인할 수 있게 한다. 조작자의 움직임에 반응하여, 차량(4000)의 관절형 연결부는 조작자(4010)에게 이용 가능한 FOV를 증가시키기 위해, 차량(4000)을 능동적으로 굴릴 수 있다. 그러나, FOV를 향상시키기 위해 프로세서(4400)가 명령하는 롤(roll)의 양은 제한될 수 있거나, 일부 경우에 차량 안정성 손실 방지 및/또는 차량(4000)의 롤링 손실을 방지하기 위해 안정성 제어 유닛에 의해 대체될 수 있다.

관절형 연결부 상에 안정성 제어 유닛이 부과하는 제약은, 차량(4000)의 작동 조건에 기초하여 달라질 수 있다. 예를 들어, 안정성 제어 유닛은, 고속(예, 회전 바퀴의 자이로스코프 안정화 효과가 더 큰 차량 안정성을 제공함)에 비해, 차량(4000)이 저속으로 주행하는 경우(예, 교통 차선을 변경하는 경우)에 허용 가능한 롤의 양에 더 많은 제한을 부과할 수 있다. 이러한 방식으로, 안정성 제어 유닛은, 차량 안정성이 영향을 받는 경우에 조작자의 편안함을 향상시키기 위해 의도된 관절형 연결부에 대한 액추에이터 명령을 선제적으로 필터링할 수 있다.

도 9는, 반응성 시스템(4300)에서 관절형 연결부의 작동을 관리하는 예시적인 제어 시스템(5000)을 도시한다. 나타낸 바와 같이, 제어 시스템(5000)은 거동 제어 서브시스템(5200)을 포함하며, 이는 조작자의 조치에 부분적으로 기반한 거동 기반 명령을 생성한다. 제어 시스템(5000)은 또한, 조작자(4010), 환경(4500), 및 거동 제어 서브시스템(5200)으로부터 입력을 수신하고 이어서 관절형 연결부를 포함한 차량(4000) 내의 다양한 액추에이터를 작동시키는 데 사용되는 입력에 기초하여 명령을 생성하는, 차량 제어 서브시스템(5100)을 포함할 수 있다.

차량 제어 서브시스템(5100)은 이전의 차량 제어 시스템과 유사하게 작동할 수 있다. 예를 들어, 서브시스템(5100)은 조작자(4010)에 의한 명령(예, 조향 입력, 가속 입력, 제동 입력) 및 환경(4500)에 의한 명령(예, 강우(설), 온도)을 수신하고, 실행 전에 차량 안정성을 평가하고/평가하거나 명령을 수정한다. 따라서, 차량 제어 서브시스템(5100)은, 조작자의 거동에 기초하여 차량(4000)의 관절화와 같은 추가 기능을 제공하는, 거동 제어 서브시스템(5200)에 의해 보강되는 것으로 간주될 수 있다.

제어 시스템(5000)은, 조작자-생성 입력(5010) 및 환경 생성 입력(5020)을 수신할 수 있다. 조작자-생성 입력(5010)은 명시적 명령, 즉 차량(4000)의 입력 장치, 예컨대 스티어링 휠, 가속 페달, 브레이크 페달, 및/또는 방향 지시등 노브와 물리적으로 인터페이싱된, 조작자(4010)로부터 유래된 명령을 포함할 수 있다. 조작자-생성 입력(5010)은 또한 암시적 명령, 예를 들어 조작자(4010)의 움직임, 예컨대 조작자(4010)가 후방 뷰 디스플레이를 확인하기 위해 머리를 기울이고/기울이거나 눈부심으로 인해 조작자(4010)가 눈을 가늘게 뜨는 것에 기초하여 생성된 명령을 포함할 수 있다. 환경 생성 입력(5020)은 차량(4000)의 작동에 영향을 미치는 다양한 환경 조건, 예컨대 도로 방해(예, 구멍, 도로 표면의 유형), 날씨 관련 효과(예, 비, 눈, 안개), 차량(4000) 내부에 있지 않는 경우의 조작자 (4010) 및/또는 도로 방해(예, 다른 차량, 보행자)를 포함할 수 있다.

도 9에 나타낸 바와 같이, 조작자-생성 입력(5010) 및 환경 생성 입력(5020)은 각각 차량 제어 서브시스템(5100) 및 거동 제어 서브시스템(5200) 모두에 대한 입력으로서 사용될 수 있다. 거동 제어 서브시스템(5200)은, 조작자-생성 입력(5010)(명시적 및 암시적 명령 모두) 및 환경 생성 입력(5020)을 측정하기 위한 다양한 센서, 인간 인터페이스 장치, 및 카메라 어레이를 포함한, 작동 모니터링 시스템(5210) 및 외부 모니터링 시스템(5220)을 포함할 수 있다. 거동 제어 서브시스템(5200)은 또한, 조작자-생성 입력(5010) 및 환경 생성 입력(5020)을 처리하고 병합하는, 상황 인식 엔진(5230)을 포함할 수 있다. 상황 인식 엔진(5230)은 또한, 입력(5010 및 5020)을 필터링하여 차량(4000)의 원치 않는 관절화의 가능성을 감소시킬 수 있다(예를 들어, 관절형 연결부는 조작자가 음악을 듣는 동안에 승객을 보거나 머리를 움직이는 경우에 활성화되어서는 안된다).

상황 인식 엔진(5230)은 조합된 입력을 거동 엔진(5240)에 송신할 수 있으며, 이는, 특정 차량 거동과 연관된 교정 입력과 조합된 입력 사이에서 미리 정의된 상관 관계를 식별하려고 시도한다. 예를 들어, 다양한 입력(예, 조향 휠 각도, 조작자 머리의 경사, 조작자(4010)의 주시 방향, 및/또는 방향 지시등의 존재)은 차량(4000)이 회전하는 경우에 특징적인 값을 나타낼 수 있다.

도 10a 및 도 10b는 다양하게 예시적인 조작자 생성 입력(5010) 및 환경 생성 입력(5020)의 각각의 표를 나타내고, 차량(4000)이 좌측으로 회전하는 것과 연관된 입력 값 및 다양한 입력의 공칭 범위를 비교한다. 만약, 거동 엔진(5240)이, 조합된 입력이 차량(4000)이 왼쪽으로 회전하는 것과 연관된 특징적인 입력 값과 실질적으로 유사한 값을 갖는 것으로 결정하면, 거동 엔진은 차량(4000)이 왼쪽으로 회전하는 것으로 결론을 내리고 적절한 거동-기반 명령을 생성할 수 있다. 그렇지 않으면, 거동 엔진(5240)은 거동 기반 명령을 생성하지 않을 수 있다.

거동 엔진(5240)은, 특정 차량 거동과 연관된 교정 입력과 조합 입력 사이에서 이러한 비교를 여러 가지 방식으로 수행할 수 있다. 예를 들어, 조합 입력은, 각각의 입력이 파라미터 값에 대응하는 이차원 매트릭스로서 표현될 수 있다. 거동 엔진(5240)은, 조합 입력과 이전에 교정된 입력 세트 사이의 교차-상관을 수행할 수 있다. 최종 교차 상관이 충분한 수의 피크(상기 피크는 조합 입력 중 하나 이상을 교정 입력 값과 매칭함을 나타냄)를 나타내는 경우에, 거동 엔진(5240)은, 차량(4000)이 교정 입력과 연관된 특정 거동을 나타낸다고 결론을 내릴 수 있다.

거동 엔진(5240)이 거동-기반 명령을 생성하는 경우에, 명령은 그 다음 차량 제어 서브시스템(5100) 내의 차량 제어 유닛(5110)으로 전송된다. 차량 제어 유닛(5110)은 다른 입력, 예컨대 조작자(4010)에 의한 명시적 명령 및 환경 생성 입력(5020)과 거동 기반 명령을 조합하여 명령 조합 세트를 생성할 수 있다. 차량 제어 유닛(5110)은 또한, 전술한 안정성 제어 유닛을 포함할 수 있다. 따라서, 차량 제어 유닛(5110)은, 명령 조합 세트가 차량 안정성의 손실 없이 수행될 수 있는지 여부를 평가할 수 있다.

차량 제어 유닛(5110)이, 명령 조합 세트가 차량(4000)을 불안정하게 할 수 있는 것으로 결정하면, 차량 제어 유닛(5110)은 차량 안정성이 유지되는 것을 보장하기 위해 명령을 조절 및/또는 필터링할 수 있다. 이는, 다른 입력에 대해 거동-기반 명령의 크기를 (예를 들어, 가중 인자를 인가함으로써) 감소시키는 것을 포함할 수 있다. 또한, 소정의 규칙 세트에 기초하여 특정 입력에 우선권을 줄 수 있다. 예를 들어, 조작자(4010)가 브레이크 페달에 압력을 인가하는 경우에, 차량 제어 유닛(5110)은, 차량(4000)이 적절히 제동할 수 있도록 보장하기 위해 거동-기반 명령을 무시할 수 있다. 보다 일반적으로, 조작자(4010)가 제공한 명시적 명령은, 차량(4000) 및 조작자(4010)의 안전을 보장하기 위해 거동-기반 명령보다 우선 순위가 주어질 수 있다. 차량 제어 유닛(5110)이 명령 조합 세트를 일단 검증하면, 그 다음 명령이 차량의 적절한 액추에이터(5120)에 적용되어 원하는 거동을 수행한다.

도 11a 및 도 11b는, 차량 기준 프레임에 대한 조작자(4010)의 경사 각도, φ_탑승객의 함수로서, (예를 들어, 중력 벡터에 의해 설정된) 관성 기준 프레임에 대한 명령 차량 롤 각도, φ_차량의 예시적인 교정 맵을 나타낸다. 도 11a에 나타낸 바와 같이, 차량(4000)이 조작자(4010)의 경사 각도에 대한 작은 변화에 반응하여 눈에 띄게 롤링하지 않도록 보장 하기 위해, φ_차량은 더 작은 φ_탑승객 값으로 더 작게 유지될 수 있으며, 따라서 차량(4000)의 의도하지 않은 작동을 방지한다. φ_탑승객가 증가함에 따라, 포화 전에 φ_차량가 빠르게 증가한다. 포화 지점은, 안정성이 유지되는 것을 보장하기 위해 차량 제어 유닛(5110)에 의해 부과되는 한계치를 나타낼 수 있다.

차량 제어 유닛(5110)에 의해 부과되는 제산치는, 차량(4000)의 작동 조건에 기초하여 달라질 수 있다. 예를 들어, 도 11a는 φ_차량에 대한 상한치가 증가하거나 감소될 수 있음을 보여준다. 상한치에 대한 변화는, 부분적으로 차량(4000)의 속도 및/또는 다른 안정화 효과(예, 회전 바퀴의 자이로스코프 안정화 효과)의 존재에 기초할 수 있다. 도 11b는 φ_차량 속도 변화가 안정성을 유지하도록 조절될 수도 있음을 보여준다. φ_탑승객의 함수로서 φ_차량 속도 변화가 차량(4000)의 승차 높이에 따라 변할 수 있다. 차량(4000)이 하부 프로파일 구성에 있는 경우, 차량(4000)은 더 작은 관성 모멘트를 가질 수 있고, 따라서 안정성을 잃지 않고 더 빠른 속도로 롤링할 수 있다.

나타낸 바와 같이, 차량(4000)은 조작자(4010)가 머리를 기울일 시 포화 한계까지 계속 굴러갈 수 있다. 또한, 차량(4000)은, 조작자(4010)가 차량(4000) 내의 원래 위치로 복귀하는 경우에 조작자(4010)에 대한 반응을 중단할 수 있다. 센서(4200)는, 원래 위치의 연속적인 업데이트를 제공하기 위해 차량(4000)에서 조작자의 기본 위치를 연속적으로 교정할 수 있다. 일부 경우에, 긴 시간 상수를 갖는 저역 통과 필터링을 사용하여, 조작자(4010)의 원래 위치로서 처리되는 기준 위치를 결정할 수 있다.

하나의 예시적인 사용 사례에서, 조작자(4010)는 차량(4000) 근처에 위치한 장애물 주위를 관찰하기 위해 머리를 기울일 수 있다. 여기서, 조작자-생성 입력(5010)은, (차량의 기준 프레임에 대해 취한) 조작자 머리의 경사각을 포함할 수 있고, 환경 생성 입력(5020)은 장애물의 감지일 수 있다. 예를 들어, 환경 생성 입력(5020)은 1D 또는 2D 범위 데이터(예, 라이다, 초음파, 레이터 데이터)를 도 12a 및 도 12b에 나타낸 전방 대면 RGB 카메라와 조합시킴으로써 구축된 가시성 맵일 수 있다. 가시성 맵은, 범위 데이터가 장애물과 차량(4000) 간격이 소정의 임계값 미만인(도 12a 및 도 12b의 장애물 마스크의 블랙 박스를 참조) 경우에, 장애물(예, 다른 차량)의 존재를 표시할 수 있다. 예를 들어, 장애물이 차량(4000)으로부터 10미터 거리에 있는 경우, 조작자(4010)는 장애물 주위를 둘러보기 위해 기울일 가능성은 낮다. 그러나, 장애물이 차량(4000)으로부터 2미터 미만인 경우, 조작자(4010)는 장애물 주위를 둘러보기기 위해 기울일 것으로 간주될 수 있다.

반응성 시스템의 응용

전술한 바와 같이, 센서(4200) 및 반응성 시스템(4300)은 차량(4000)의 성능 및/또는 유용성을 개선하기 위해 추가적인 모드를 가능하게 할 수 있다. 예를 들어, 비디오-기반 미러(4320) 및 관절형 연결부의 상기 실시예는, 주로 조작자(4010)의 FOV를 수정하는 것에 관한 것이다. 예시적인 사용 사례로서, 도 13은 차량(4000) 근처에서 주차된 차량에 의해 가려진 횡단보도를 나타낸다. 차량(4000)이 관절형 연결부를 포함하는 경우에, 차량(4000)의 승차 높이가 증가되어 조작자(4010) 및/또는 차량(4000)의 센서가 횡단 보도에서 리컴버튼(recumbent) 자전거 상의 사이클리스트와 소형 닥스훈트를 감지시킬 수 있다.

다른 예시에서, 차량(4000)은, 차량 기하 구조를 수정하고 차량 동적 성능을 개선하기 위해, 조작자(4010)가 기울어짐에 반응하여 차량(4000)을 (예를 들어, +/- 45도) 기울일 수 있는 긴 행정 서스펜션 요소를 가질 수 있다. 예를 들어, 좁은 차량은 공기역학적 항력을 감소시키고 도시적 풋프린트 감소/기동성 증가 측면에서 바람직하다. 그러나, 좁은 차량은, 특히 좁은 트랙 폭으로 인해 코너링할 때, 빈약한 동적 안정성을 겪을 수 있다. 조작자(4010)가 높은 속도로 코너링하는 경우에, 차량(4000)이 오토바이처럼 회전하도록 기울이는 것이 유리할 수 있다.

도 14a 및 도 14b는 차량(4000)이 다른 차량 뒤에 위치하는 다른 예시적인 사용 사례를 나타낸다. 조작자(4010)는, 다른 차량 주위를 둘러보면서 그들의 FOV와 상황 인식을 증가시키도록 머리(또는 신체)를 기울일 수 있다. 차량(4000)은, 다른 차량 주위를 보기 위해 조작자(4010)가 캐빈 내에서 기울이는 것을 감지할 수 있고, 차량(4000)을 기울여서 조작자(4010)의 FOV를 더 증가시킴으로써 이에 반응할 수 있다. 일부 경우에, 차량(4000)은, 차량(4000)이 기울어짐에 따라 FOV를 더 증가시키기 위해 승차 높이를 증가시킬 수도 있다.

도 15a 내지 15c는, 차량(4000)이 자동화된 보안 드론을 사용하는 경우를 나타낸다. 이 경우에, 반응성 시스템(4300)은 전적으로 환경 생성 입력으로부터 반응할 수 있다. 차량(4000)은 주변 환경의 360도 FOV를 갖는 카메라를 포함할 수 있다. 반응성 시스템(4300)은 도 14a 및 도 14b의 예시적인 차량(4000)에 실질적으로 유사한 방식에 반응하도록 구성될 수 있되, 이 경우에 반응성 시스템(4300)이 조작자(4010)의 움직임보다는 환경 카메라에 의해 획득된 비디오 이미지에 반응하는 경우는 제외한다. 예를 들어, 차량(4000)은 환경 내 장애물을 감지하도록 구성될 수 있고, 반응성 시스템(4300)은, 그에 반응하여, 관절형 연결부를 작동시켜 카메라가 장애물 주위를 둘러보도록 시키고/시키거나 장애물과 충돌하는 것을 피하게 할 수 있다.

카메라는 또한 고르지 않은 표면을 감지하도록 구성될 수 있다. 이들 표면을 횡단하기 위해, 차량(4000)은 보행 이동을 사용하도록 구성될 수 있다. 일부 경우에, 차량(4000)은, 차량(4000)의 정적 승차 높이를 연장시키기 위해 각 휠의 추가적인 독립적인 작동을 포함할 수 있다. 이러한 보행 이동은 또한, 차량(4000)이, 관절화 DOF 및/또는 긴 행정 서스펜션 DOF로부터의 이동을 조합함으로써, 한 세트의 계단을 횡단할 수 있게 하는 데 사용될 수 있다(도 15c 참조). 이러한 능력은 비제어 환경과 협상하면서 자율 주행 차량의 안전한 운영을 가능하게 할 수 있다. 차량(4000)이 조작자(4010)용 캐빈을 갖는 경우, 차량(4000)이 불균일한 표면을 따라 이동할 때 조작자(4010)에 대한 불편함을 감소시키기 위해 캐빈은 원하는 배향(예, 실질적으로 수평)으로 유지될 수 있다.

관절형 연결부는 또한 차량(4000)의 작동에 여러 가지 동적 이점을 제공할 수 있다. 예를 들어, 관절형 연결부를 사용하여 차량(4000)을 선회하게 함으로써 차량 안정성을 개선할 수 있으며, 이는 안정성 마진을 증가시키고, 견인력을 유지하고, 일부 경우에 롤오버를 피하거나 제거하는 방식으로 질량 중심을 이동시킨다. 관절형 연결부는 또한, 관절형 연결부의 동적 기하 구조 최적화를 통해 차량(4000)의 롤을 능동적으로 제어할 수 있게 함으로써, 더 큰 견인을 가능하게 할 수 있다. 차량(4000)의 코너링 성능은 또한 차량(4000)을 기울임으로써 개선될 수 있다. 추가적으로, 역 진자 원리는, 차량(4000)을 상부 프로파일 구성으로 관절화하고 질량 중심(COM)의 높이를 증가시킴으로써, 밀도가 높은 도시 환경에서 특히 저 차량 속도에서 사용될 수 있다. 차량(4000)은 또한, 조작자(4010)에게 이러한 불편함을 일반적으로 유도하는 동적 움직임을 예측 및/또는 완화함으로써 멀미를 방지할 수 있다.

반응성 시스템(4300)은 또한, 조작자(4010)에게 자신의 차량(4000)을 개인화할 수 있는 능력을 제공할 수 있다. 예를 들어, 차량(4000)은, 차량(4000)이 조작자의 존재를 인식하는 방식으로 차량(4000)이 움직이고/움직이거나 이동하기 시작하도록, 관절형 연결부를 작동시킴으로써 조작자(4010)의 존재를 환영하고/환영하거나 확인하도록 구성될 수 있다. 이는, 차량(4000)의 소유자 및/또는 고객(우버와 같은 용도 또는 공유 플랫폼의 경우)을 맞이하는 데 사용될 수 있다.

또 다른 예시에서, 차량(4000)은 또한 개인별 특성을 갖도록 구성될 수 있다. 예를 들어, 차량(4000)은 환경(4500)에 반응하도록 구성될 수 있고, 도로 상의 다른 개인 또는 차량에 다양한 목표 및/또는 의도를 전달하기 위한 플랫폼을 제공할 수 있다. 예를 들어, 차량(4000)은 상부 프로파일 구성으로 관절화할 수 있고, 차량(4000)이 (예를 들어, 사거리 정지 표지판과의 교차점에서) 다른 차량에 대한 통행권을 양보함을 나타내기 위해 일측으로 기울어질 수 있다. 다른 예시에서, 차량(4000)은 고속도로를 따라 주행할 수 있다. 차량(4000)은, 차량(4000)이 다른 차량에게 이들이 고속도로 상으로 병합되게 하는 것을 나타내기 위해 좌우로 부드럽게 움직이도록 구성될 수 있다. 또 다른 예시에서, 차량(4000)은 동물(예, 개, 호랑이와 유사)처럼 거동하도록 구성될 수 있다. 일부 경우에, 차량(4000)에 의해 수행되는 움직임의 유형은 재구성 가능할 수 있다. 예를 들어, 조작자의 선호도에 맞도록 차량(4000)의 개인적 특성을 다운로드, 맞춤화, 교환, 진화, 조정 및/또는 달리 수정하는 것이 가능할 수 있다.

또 다른 예시에서, 차량(4000)의 관절형 연결부는, 예를 들어 주차장에서 차량(4000)을 조작자(4010)에게 알려지게 하는 데 사용될 수도 있다. 사람은 혼잡한 주차장에서 그들이 주차한 차량 위치를 자주 잊어버린다. 스포츠 유틸리티 차량(SUV)과 트럭이 많은 곳에서, 매우 작고 가벼운 이동성 플랫폼을 찾기가 어려울 수 있다. 차량(4000)의 관절화 및 장거리 주행 자유도(DOF)는, 차량(4000)을 관절화 함으로써 차량(4000)의 높이를 조절하고/조절하거나 흔들림/꼬임 움직임을 유도함으로써, 차량(4000)을 상당히 눈에 띄게 할 수 있다. 일부 경우에, 차량(4000)은 또한 소리(예, 경적 소리, 관절형 연결부를 통해 소리를 내는 것)를 방출할 수 있고/있거나 차량(4000)의 등을 점멸시킬 수 있다.

차량(4000)은 또한, 가상 현실, 증강 현실, 게임, 영화, 음악, 다양한 지역을 통한 투어, 수면/건강 모니터링, 명상 및 운동을 포함하나 이에 제한되지 않는, 반응성 시스템(4300)을 활용할 수 있는, 교통 이외의 다른 기능을 제공할 수 있다. 차량이 더욱 자율적으로 됨에 따라, 조작자(4010)는 차량(4000)의 장소별 주행하는 동안에 이들 서비스의 일부를 사용할 자유를 가질 수 있다. 일반적으로, 반응성 시스템(4300)은, 차량(4000)이 차량(4000)에 의해 제공된 추가 서비스 중 하나에 더 잘 맞도록 형상을 변경시킬 수 있다. 예를 들어, 차량(4000)은, 포토-옵(예, 인스타그램 인플루언서의 경우)용 경치의 바람직한 시야를 조작자(4010)에게 제공하기 위해, 교량을 주행하는 동안에 높이를 조절하도록 구성될 수 있다.

차량(4000)은 또한 눈부심을 감소시키기 위해 관절화될 수도 있다. 예를 들어, 센서(4200)는, 센서(4200)에 의해 획득된 RGB 이미지에 기초하여 조작자의 안구 부위 상의 눈부심(예, 태양 또는 다가오는 차량의 전조등에 기인)을 감지할 수 있다. 이에 반응하여, 차량(4000)은 눈부심을 감소시키기 위해, 승차 높이 및/또는 경사 각도를 조절하여 조작자의 안구 부위의 위치를 변경할 수 있다.

도 16은, 보안 시스템으로서 부분 사용되는 관절형 연결부를 포함한 다른 예시적인 차량(4000)을 나타낸다. 일반적으로, 차량(4000)은 누군가 차량(4000)을 훔치려 할 때에 차량 스스로에게 알리도록 구성될 수 있다. 예를 들어, 차량(4000)은 소리를 방출하거나, 등을 점멸하거나, 관절화 될 수 있다. 차량(4000)을 훔치려는 시도가 이루어지는 경우, 차량(4000)은 또한, 차량(4000) 내로의 진입을 방지하고/방지하거나 차량(4000)의 몸체로 절도범을 쳐서(예를 들어, 좌굴 동작으로 차량(4000)을 비틀어지게 함으로써) 절도범을 방해하도록 관절형 연결부를 사용할 수 있다.

차량(4000)은, 잠재적인 도둑을 선제적으로 피하도록 상황 인식을 향상시키기 위해 외부를 향하는 카메라를 포함할 수도 있다. 카메라는 (예를 들어, 차량(4000) 뒤로부터) 차량(4000)에 접근하는 개인에 대한 안면 인식을 수행하는 데 사용될 수 있다. 개인의 연산된 아이겐페이스는 승인된 조작자의 데이터베이스와 상호 참조될 수 있다. 일치하지 않는 경우에, 해당 개인이 범인인지 여부를 결정하기 위해 법 집행 데이터베이스와 상호 참조될 수 있다.

도 17은, 차량(4000)이 툴로서 사용되는 다른 예시적인 응용을 나타낸다. 차량(4000)은 비교적 작은 풋프린트, 관절화 범위, 및 공간 인식을 가질 수 있어서, 운송 이상의 작업용 유망한 툴이다. 예를 들어, 차량(4000)은 내장 또는 장착 카메라를 포함하여 도 17에 나타낸 바와 같이 로케이션 중의 뉴스 앵커를 동시에 촬영하고, 빛을 쪼이고 부드럽게 따라갈 수 있다. 활성 서스펜션을 사용하여 샷을 일정하게 유지하면서, 관절화는 카메라를 바람직한 높이로 유지할 수 있다. 또 다른 응용 분야에서, 차량(4000)은 주변을 360º로 볼 수 있는 내장 카메라로 (예를 들어, 공간 매핑을 위한) 부위를 원격 모니터링 및/또는 검사하는 데 사용될 수 있다.

센서(4200)에 의해 측정된 조작자(4010)의 위치 및/또는 배향 및 카메라 데이터는, 차량(4000)의 다른 서브시스템에도 사용될 수 있다. 예를 들어, 전형적인 멀티-스피커 구성용 원하는 청취 위치("스윗 스폿")는, 스피커 간격, 주파수 응답 및 기타 공간 특성에 의존하는 작은 고정된 영역이다. 스테레오 몰입은 원하는 청취 위치의 영역 내에서 가장 크고, 청취자가 이 영역 밖으로 그리고 이 영역에서 멀어질 때 빠르게 감소한다. 차량(4000)은, 조작자(4010)의 위치 데이터 및 차량(4000) 캐빈의 음향 모델을 이용하여 원하는 청취 위치를 조작자의 머리에 맵핑하는, 오디오 서브시스템을 포함할 수 있다. 조작자(4010)가 캐빈 내에서 이동함에 따라, 각 스피커 신호의 시간 지연, 위상 및 진폭을 독립적으로 제어하여 조작자의 머리에 원하는 청취 위치를 유지하도록 원하는 청취 위치를 이동시킬 수 있다.

다른 예시에서, 센서(4200)에 의해 획득된 심도 맵 및 RGB 카메라 데이터는 조작자(4010)를 식별하는 데 사용될 수 있다. 예를 들어, 차량(4000)은, 미리 훈련된 안면(또는 신체) 세트에 기초하여 조작자(4010)를 식별할 수 있는, 식별 서브시스템을 포함할 수 있다. 예를 들어, 차량(4000)은, 식별 서브시스템을 초기에 교정하는 경우에 조작자(4010)의 이미지를 획득할 수 있다. 식별 서브시스템은, 좌석 설정, 음악 및 목적지를 포함하나 이에 제한되지 않는 사용자 프로파일에 따라, 다양한 차량 설정을 조절하는 데 사용될 수 있다. 식별 서브시스템은 또한, 미승인자가 차량(4000)에 접근 및/또는 조작할 수 없게 함으로써 도난 방지를 위해 사용될 수 있다.

다른 예시에서, 센서(4200)에 의해 획득된 심도 맵 및 RGB 카메라 데이터는 조작자(4010)의 집중도를 식별하는 데 사용될 수 있다. 예를 들어, 조작자(4010)의 피로는, 조작자의 눈 및/또는 머리의 움직임 및/또는 위치에 기초하여 모니터링될 수 있다. 조작자(4010)가 피로한 것으로 결정하면, 차량(4000)은 조작자(4010)에게 차량을 멈추고 쉬도록 메시지를 제공할 수 있다.

결론

본원에 기술된 모든 파라미터, 치수, 재료 및 구성은 예시적인 것으로 의도되며 실제 파라미터, 치수, 재료 및/또는 구성은 본 발명의 교시가 사용되는 특정 적용분야 또는 적용분야들에 따라 달라질 것이다. 전술한 구현예들은 주로 예로서 제시되고, 첨부된 청구범위 및 이에 동등한 범위 내에서, 본 발명의 구현예들이 구체적으로 기술되고 청구된 것과 다르게 실시될 수 있다는 것을 이해되어야 한다. 본 개시의 발명의 구현예는 본원에 기술된 각각의 개별적인 특징, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다.

또한, 이러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법이 서로 일치하지 않는 경우, 둘 이상의 이러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법의 임의의 조합이 본 개시의 발명의 범위 내에 포함된다. 다른 치환, 변형, 변경 및 생략은 본 개시의 범위를 벗어나지 않고 예시적인 구현예의 각각의 요소의 설계, 작동 조건 및 배열에서 이루어질 수 있다. 수치 범위를 사용한다고 해서, 동일한 결과를 생성하기 위해 동일한 방법으로 동일한 기능을 수행하는 범위를 벗어나는 균등물을 배제하는 것은 아니다.

전술한 구현예는 여러 방식으로 구현될 수 있다. 예를 들어, 구현예는 하드웨어, 소프트웨어 또는 이들의 조합을 사용해 구현될 수 있다. 소프트웨어로 구현될 때, 소프트웨어 코드는 단일 컴퓨터에 제공되거나 다중 컴퓨터에 분산되어 있는지 여부에 관계없이 적합한 프로세서 또는 프로세서 모음에서 실행될 수 있다.

또한, 컴퓨터는 랙 장착 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 또는 태블릿 컴퓨터와 같은 다수의 형태로 구현될 수 있다. 또한, 컴퓨터는, 일반적으로 컴퓨터로 간주되지 않지만, PDA, 스마트폰, 또는 다른 임의의 적절한 휴대용 또는 고정된 전자 장치를 포함하는 적절한 처리 능력을 갖는 장치에 내장될 수 있다.

또한, 컴퓨터는 하나 이상의 입력 및 출력 장치를 가질 수 있다. 무엇보다 이들 장치는 사용자 인터페이스를 제시하기 위해 사용될 수 있다. 사용자 인터페이스를 제공하기 위해 사용될 수 있는 출력 장치의 예는, 출력의 시각적 프레젠테이션을 위한 프린터 또는 디스플레이 스크린이거나, 출력의 청각적 프레젠테이션을 위한 사운드 생성 장치 또는 스피커를 포함한다. 사용자 인터페이스에 사용될 수 있는 입력 장치의 예는 마우스, 터치 패드 및 디지털 태블릿과 같은 포인팅 장치 및 키보드를 포함한다. 다른 예로서, 컴퓨터는 음성 인식을 통하거나 다른 청각 포맷으로 입력 정보를 수신할 수 있다.

이러한 컴퓨터는 적합한 형태로 하나 이상의 네트워크에 의해 상호 연결될 수 있고, 기업 네트워크, 인텔리전트 네트워크(IN) 또는 인터넷과 같이, 로컬 영역 네트워크 또는 광역 네트워크를 포함한다. 이러한 네트워크는 적합한 기술에 기반할 수 있고, 적절한 프로토콜에 따라 작동할 수 있고, 무선 네트워크, 유선 네트워크 또는 광섬유 네트워크를 포함할 수 있다.

본원에서 요약된 다양한 방법 또는 프로세스는 다양한 운영 체제 또는 플랫폼 중 하나를 사용하는 하나 이상의 프로세서에서 실행가능한 소프트웨어로서 코딩될 수 있다. 이러한 소프트웨어는 다수의 적합한 프로그래밍 언어 및/또는 프로그래밍 툴 또는 스크립팅 툴 중 임의의 것을 사용해 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행되는 실행 가능한 기계 언어 코드 또는 중간 코드로 컴파일될 수 있다. 일부 구현예는 실행을 용이하게 하기 위해 특정 운영 체제 또는 플랫폼 및 특정 프로그래밍 언어 및/또는 스크립팅 툴 중 하나 이상을 구체적으로 사용할 수 있다.

또한, 다양한 본 발명의 개념이 하나 이상의 방법으로서 구현될 수 있으며, 그 중 적어도 하나의 예가 제공되었다. 본 방법의 일부로서 수행되는 동작들은 일부 경우에 상이한 방식으로 순서를 가질 수도 있다. 따라서, 본 발명의 일부 실시예에서, 주어진 방법의 각각의 동작은 구체적으로 도시된 것과 상이한 순서로 수행될 수 있으며, 이는 (이러한 동작이 예시적인 구현예에서 순차적인 동작으로 나타나더라도) 일부 동작을 동시에 수행하는 것을 포함할 수 있다.

본원에 언급된 모든 간행물, 특허 출원, 특허, 및 기타 참조문헌은 그 전체가 참고로 원용된다.

본원에 정의되고 사용된 모든 정의는, 사전적 정의, 참조로서 통합된 문서 내의 정의 및/또는 정의된 용어의 일반적인 의미를 통제하는 것으로 이해해야 한다.

본원에서 사용된 부정관사("일" 및 "하나")는, 달리 명백히 나타내지 않는 한 "적어도 하나"라는 의미로 이해해야 한다.

본원에서 사용된 "및/또는"이라는 문구는, 본 명세서 및 청구범위에서, 접합된, 즉 어떤 경우에는 결합하여 존재하고 다른 경우에는 분리적으로 존재하는 요소들 중 "둘 중 하나 또는 둘 다"를 의미하는 것으로 이해해야 한다. "및/또는"으로 열거된 다중 요소는 동일한 방식으로, 즉, 접합된 요소 중 "하나 이상의"로 해석되어야 한다. "및/또는" 절에 의해 구체적으로 식별된 요소들, 구체적으로 식별된 요소와 관련이 있거나 관련이 없는 다른 요소 이외의 다른 요소가 선택적으로 존재할 수 있다. 따라서, 비한정적인 예로서, "포함하는"과 같은 개방형 언어와 함께 사용될 때, "A 및/또는 B"에 대한 언급은: 일 구현예에서 A만(선택적으로 B이외의 요소를 포함); 다른 구현예에서, B만(선택적으로 A이외의 요소를 포함); 또 다른 구현예에서는 A 및 B 둘 다(선택적으로 다른 요소를 포함); 등을 지칭할 수 있다.

본 명세서 및 청구범위에 있어서 본원에서 사용되는 바와 같이, "또는"은 위에 정의된 바와 같이 "및/또는"과 동일한 의미를 갖는 것으로 이해해야 한다. 예를 들어, 목록에서 물품을 분리할 때 "또는" 또는 "및/또는"은 포괄적인 것, 즉, 적어도 하나를 포함하되, 하나를 초과하는 숫자 또는 요소 목록, 및, 선택적으로, 추가적인 목록에 없는 물품 또한 포함하는 것으로 해석되어야 한다. 반대로, 예컨대 "단지 하나의" 또는 "정확하게 하나의", 또는 청구범위에서 사용될 때, "구성되는"과 같이, 명확하게 지시된 용어들 만이, 숫자 또는 요소 목록에서 정확히 하나의 요소를 포함하는 것을 지칭할 것이다. 일반적으로, 본원에서 사용되는 용어 "또는"은, 예컨대 "어느 하나의," "중 하나의," "단지 하나의," 또는 "정확히 하나의" 와 같이 배타적인 용어가 앞에 올 때, 배타적 대안(즉, "하나 또는 다른 하나이되 둘 다는 아님")을 나타내는 것으로 해석되어야 한다. 청구범위에서 사용되는 경우, "본질적으로 이루어지는"은 특허법 분야에서 사용되는 바와 같이 통상적인 의미를 가질 것이다.

본 명세서 및 청구범위에 있어서 본원에서 사용되는 바와 같이, 하나 이상의 요소의 목록에 관하여 "적어도 하나의"라는 어구는, 요소 목록 내의 임의의 하나 이상의 요소로부터 선택된 적어도 하나의 요소를 의미하되, 요소 목록에 구체적으로 나열된 각 요소 및 모든 요소 중 적어도 하나를 반드시 포함하고, 요소 목록 내의 요소의 임의의 조합을 배제할 필요는 없다. 이러한 정의는, 또한, 구체적으로 식별된 요소 이외에 상응 요소가 구체적으로 식별된 요소와 관련이 있는지 여부와 상관없이, 문구 "적어도 하나"가 지칭하는 요소의 목록 내에 선택적으로 존재할 수 있게 한다. 따라서, 비한정적인 예로서, "A 및 B 중 적어도 하나"(또는, 등등하게 "A 또는 B 중 적어도 하나," 또는, 동등하게 "A 및/또는 B 중 적어도 하나")는: 일 구현예에서, B가 없이, 적어도 하나의 A, 선택적으로는 둘 이상(및 선택적으로 B외의 요소를 포함함); 다른 구현예에서, A가 없이, 적어도 하나의 B, 선택적으로 둘 이상(및 선택적으로 A외의 요소를 포함함); 또 다른 구현예에서, 적어도 하나의 A, 선택적으로 둘 이상, 및 적어도 하나의 B, 선택적으로 둘 이상(및 선택적으로 다른 요소를 포함함); 등을 지칭할 수 있다.

상기 명세서에서와 청구범위에서 "포함하는", "갖는", "함유하는", "수반하는", "보유하는", "구성되는" 등과 같은 모든 전환구는, 개방형으로서, 즉, 포함하되 이에 한정되지 않음을 의미한다는 것을 이해해야 한다. "구성되는" 및 "본질적으로 구성되는"의 전환구 만이, 미국 특허청 특허 심사 절차 매뉴얼 2111.03에 기술된 바와 같이, 폐쇄형 또는 반 폐쇄형 전환구에 상응한다.

Claims

차량으로서,
몸체;
조작자의 머리를 포함하는 환경의 심도 맵 및 적색, 녹색, 청색(RGB) 이미지를 캡처하기 위해 상기 몸체에 결합된 센서;
작동 시 상기 조작자의 시야(FOV)를 조절하기 위해 상기 몸체에 결합된 반응성 시스템; 및
상기 RGB 이미지 및 상기 심도 프레임에 기초하여 상기 조작자의 안구 기준점을 결정하고, 상기 안구 기준점에 기초하여 상기 조작자의 FOV를 변경하도록 상기 반응성 시스템을 작동시키기 위해, 상기 센서 및 상기 반응성 시스템에 작동 가능하게 결합된 프로세서를 포함하는, 차량.
제1항에 있어서, 상기 심도 맵은 RGB 이미지를 마스킹하는 데 사용되고, 이에 따라 프로세싱용 RGB 이미지의 영역을 감소시키는, 차량.
제1항에 있어서, 상기 심도 맵은 상기 RGB 이미지에 정렬되어, 상기 환경의 심도가 상기 RGB 이미지에서 캡처된 환경의 위치에 대응하도록 하는, 차량.
제1항에 있어서,
상기 반응성 시스템은,
섀시 연결 구성 요소;
상기 프로세서에 작동 가능하게 결합되고, 상기 몸체에 결합된 제1 말단과 상기 섀시 연결 구성 요소에 결합된 제2 말단부을 갖는 관절형 연결부;
상기 관절형 연결부에 결합되어 상기 제2 말단을 상기 제1 말단에 대해 이동시키는 액추에이터; 및
상기 액추에이터를 활성화시켜 상기 사용자의 안구 기준점에 기초하여 상기 제1 말단에 대해 상기 제2 말단을 이동시키도록 구성됨으로써, 상기 사용자의 FOV를 변경하는 프로세서를 포함하는, 차량.
제4항에 있어서, 상기 관절형 연결부는, 상기 제1 축에 실질적으로 평행한 제2 축을 따라 움직이는 상기 안구 기준점에 반응하여, 상기 차량의 제1 축을 따라 상기 제1 말단에 대해 상기 제2 말단을 이동시키는, 차량.
제1항에 있어서,
상기 몸체는 캐빈을 정의하고,
상기 환경은 상기 캐빈이고,
상기 반응성 시스템은,
상기 차량 외부의 부위에 대한 비디오 이미지를 캡처하기 위해 상기 몸체에 장착되는 카메라;
상기 캐빈 내에 배치되고 상기 프로세서와 상기 카메라에 작동 가능하게 결합되는 디스플레이;
상기 조작자의 FOV를 변경하도록 상기 조작자의 안구 기준점에 기초하여 상기 비디오 이미지를 수정하도록 구성되는 프로세서를 포함하고,
상기 디스플레이는 상기 프로세서에 의해 수정된 상기 비디오 이미지를 표시하도록 구성되는, 차량.
제6항에 있어서, 상기 프로세서는,
상기 안구 기준점과 상기 디스플레이의 중심점 사이의 거리를 계산하는 단계;
상기 조작자의 머리의 움직임 범위에 기초하여 상기 변환의 크기를 스케일링하는 단계; 및
상기 변환의 양 및 거리에 기초하여 상기 비디오 이미지를 조절하는 단계에 의해, 상기 비디오 이미지를 수정하도록 구성되는, 방법.
제6항에 있어서,
상기 카메라는 제1 카메라이고,
상기 제1 비디오 이미지는 제1 FOV를 커버하고,
상기 차량 외부의 부위는 상기 차량 외부의 제1 부위이고,
상기 반응성 시스템은, 상기 몸체에 장착된 제2 카메라를 추가로 포함하여, 제2 FOV로 상기 차량 외부의 제2 부위의 제2 비디오 이미지를 캡처하고,
상기 프로세서는 상기 제1 비디오 이미지와 상기 제2 비디오 이미지를 조합하도록 구성되어, 상기 디스플레이가 상기 제1 비디오 이미지와 상기 제2 비디오 이미지 사이에서 원활하게 전이하도록 하는, 차량.
반응성 미러 시스템으로서,
상기 차량 운전자 머리의 위치 및/또는 배향을 감지하기 위해, 상기 차량의 캐빈에 배치된 내부 위치 센서;
상기 차량 뒤의 부위에 대한 비디오 이미지를 캡처하기 위해 상기 차량 상에 또는 그 내부에 장착된 카메라;
상기 운전자 머리의 위치 및/또는 배향에 기초하여 상기 운전자의 안구 기준점을 결정하고, 상기 안구 기준점에 기초하여 상기 비디오 이미지의 시야각 또는 시야(FOV) 중 적어도 하나를 수정하기 위해, 상기 내부 위치 센서와 상기 카메라에 작동 가능하게 결합된 프로세서; 및
상기 차량의 캐빈 내에 있고 상기 카메라 및 프로세서에 작동 가능하게 결합되어, 상기 프로세서에 의해 수정된 상기 비디오 이미지의 적어도 일부를 상기 운전자에게 디스플레이하는 디스플레이를 포함하는, 반응성 미러 시스템.
제9항에 있어서, 상기 내부 위치 센서는, 적어도 상기 운전자 머리를 나타낸 심도 맵을 생성하기 위한 스테레오 구성의 적외선(IR) 카메라 한 쌍, 또는 적어도 상기 운전자 머리의 적색, 녹색, 청색(RGB) 이미지를 캡처하기 위한 가시광 카메라 중 적어도 하나를 포함하는, 반응성 미러 시스템.
제9항에 있어서, 상기 내부 위치 센서는 적어도 약 60 Hz의 주파수에서 상기 운전자 머리의 위치 및/또는 배향을 감지하도록 구성되는, 반응성 미러 시스템.
제9항에 있어서, 상기 카메라는 약 10도 내지 약 175도 범위의 시야(FOV)를 갖는, 반응성 미러 시스템.
제9항에 있어서, 상기 카메라는 적어도 약 15 프레임/초의 프레임 속도로 상기 비디오 이미지를 캡처하도록 구성되는, 반응성 미러 시스템.
제9항에 있어서,
상기 차량 내에서 상기 카메라, 상기 디스플레이, 및 상기 프로세서에 작동 가능하게 결합되어 상기 비디오 이미지의 일부의 밝기, 상기 비디오 이미지의 일부의 명암비, 상기 비디오 이미지의 일부의 팬 위치, 또는 상기 카메라의 FOV 중 적어도 하나를 조절하는, 제어 인터페이스를 추가로 포함하는, 반응성 미러 시스템.
차량 운전자에게 디스플레이되는 비디오 이미지를 변환하는 방법으로서,
상기 차량의 캐빈의 표시를 측정하는 단계(상기 표시는 심도 맵 또는 적색, 녹색, 청색(RGB) 이미지 중 적어도 하나를 포함하고, 상기 표시는 상기 차량을 조작하는 운전자의 머리를 보여줌);
상기 표시에 기초하여 상기 운전자의 안구 기준점을 결정하는 단계;
상기 차량 상에 또는 그 안에 장착된 카메라로 상기 차량 외부의 영역에 대한 비디오 이미지를 획득하는 단계;
상기 안구 기준점에 기초하여 상기 비디오 이미지에 변환을 적용하는 단계; 및
상기 차량의 캐빈 내의 디스플레이 상에서 상기 비디오 이미지를 상기 운전자에게 디스플레이하는 단계를 포함하는, 방법.
제15항에 있어서, 상기 표시는 상기 심도 맵과 상기 RGB 이미지를 포함하고, 상기 안구 기준점을 결정하는 단계는,
상기 심도 맵을 사용해 상기 RGB 이미지를 마스킹하여 프로세싱용 RGB 이미지의 영역을 감소시키는 단계를 포함하는, 방법.
제15항에 있어서,
상기 운전자의 기본 착석 위치를 교정하는 단계를 추가로 포함하는, 방법.
제17항에 있어서,
상기 운전자의 움직임 범위를 교정하는 단계를 추가로 포함하는, 방법.
제18항에 있어서,
상기 디스플레이의 위치 오프셋을 교정하는 단계를 추가로 포함하는, 방법.
제19항에 있어서, 상기 디스플레이의 중심점을 계산하는 단계를 추가로 포함하는, 방법.
제20항에 있어서, 상기 변환은,
상기 안구 기준점과 상기 디스플레이의 중심점 사이의 거리를 계산하는 단계;
상기 운전자의 움직임 범위에 기초하여 상기 변환의 크기를 스케일링하는 단계; 및
상기 변환의 거리 및 크기에 기초하여 상기 카메라의 시야 또는 상기 카메라의 팬 위치 중 적어도 하나를 조절하는 단계를 포함하는, 방법.
제20항에 있어서, 상기 변환은,
상기 안구 기준점으로부터 상기 디스플레이의 중심점까지의 벡터에 기초하여, 타겟 시야 및 타겟 팬 위치를 계산하는 단계;
카메라 초점 길이, 카메라 종횡비, 또는 카메라 센서 크기 중 적어도 하나에 기초하여 병진 이동 또는 스케일 인자 중 적어도 하나를 계산하는 단계; 및
상기 병진 이동 또는 상기 스케일 인자 중 적어도 하나에 기초하여 상기 비디오 이미지의 시야 또는 팬 위치 중 적어도 하나를 조절하여, 상기 타겟 시야 및 상기 타겟 팬 위치를 시뮬레이션하는 단계를 포함하는, 방법.
제15항에 있어서, 상기 변환을 적용하기 전에,
상기 비디오 이미지의 반경 방향 왜곡 또는 접선 방향 왜곡 중 적어도 하나를 감소시키기 위해 상기 비디오 이미지에 보정을 적용하는 단계를 추가로 포함하는, 방법
차량 상에 또는 그 안에 장착된 적어도 하나의 카메라를 조절하는 방법으로서,
상기 차량의 캐빈의 표시를 측정하는 단계(상기 표시는 심도 맵 또는 적색, 녹색, 청색(RGB) 이미지 중 적어도 하나를 포함하고, 상기 표시는 상기 차량을 조작하는 운전자의 머리를 보여줌);
상기 표시에 기초하여 상기 운전자의 안구 기준점을 결정하는 단계;
상기 안구 기준점에 기초하여 상기 적어도 하나의 카메라의 시야(FOV) 또는 팬 위치 중 적어도 하나를 조절하는 단계; 및
상기 적어도 하나의 카메라에 의해 획득된 상기 차량 외부의 영역의 비디오 이미지를 적어도 하나의 디스플레이 상에 디스플레이하는 단계를 포함하는, 방법.
제24항에 있어서, 상기 적어도 하나의 카메라는, 제1 비디오 이미지를 획득하기 위한 제1 카메라와 제2 비디오 이미지를 획득하기 위한 제2 카메라를 포함하는, 방법.
제25항에 있어서,
상기 제1 비디오 이미지를 상기 제2 비디오 이미지와 스티칭해서 상기 제1 카메라와 상기 제2 카메라 사이에 매끄러운 FOV를 제공하는 단계를 추가로 포함하는, 방법.
제24항에 있어서,
상기 운전자의 기본 착석 위치를 교정하는 단계;
상기 적어도 하나의 디스플레이 상에 디스플레이되는 상기 비디오 이미지의 위치 오프셋을 교정하는 단계; 및
상기 기본 착석 위치와 상기 위치 오프셋을 사용하여 상기 적어도 하나의 디스플레이 상에 디스플레이되는 상기 비디오 이미지의 중심점을 계산하는 단계를 추가로 포함하는, 방법.
제24항에 있어서,
상기 기본 착석 위치에 대해 상기 운전자의 움직임 범위를 교정하는 단계; 및
상기 운전자의 움직임 범위에 기초하여 상기 적어도 하나의 카메라의 패닝 속도를 스케일링하는 단계를 추가로 포함하는, 방법.
제24항에 있어서, 상기 비디오 이미지를 디스플레이하기 전에,
하나 이상의 왜곡 계수를 사용하여 상기 비디오 이미지의 반경 방향 왜곡 또는 접선 방향 왜곡 중 적어도 하나를 감소시키기 위해 상기 비디오 이미지에 보정을 적용하는 단계를 추가로 포함하는, 방법.
차량으로서,
몸체;
섀시 연결 구성 요소;
상기 몸체에 결합된 제1 말단과 상기 섀시 연결 구성 요소에 결합된 제2 말단을 갖는 관절형 연결부(상기 관절형 연결부는,
상기 제1 말단 및 상기 제2 말단에 결합되고 경로를 정의하는 가이드 구조물로서, 상기 제2 말단이 상기 경로를 따라 상기 제1 말단에 대해 이동 가능한 가이드 구조물;
상기 경로를 따라 상기 제2 말단을 이동시키기 위해 상기 가이드 구조물에 결합된 구동 액추에이터;
활성화되는 것에 반응하여 상기 경로를 따라 상기 제2 말단을 고정 위치에 유지시키기 위해 상기 가이드 구조물에 결합된 브레이크를 포함함);
상기 차량을 둘러싸는 환경 및 조작자 중 적어도 하나를 감지하기 위해 상기 몸체에 결합된 하나 이상의 센서; 및
상기 차량을 둘러싸는 환경 및 조작자 중 적어도 하나에 기초하여 상기 관절형 연결부를 작동시키기 위해, 상기 하나 이상의 센서 및 상기 관절형 연결부에 작동 가능하게 결합되는 프로세서를 포함하는, 차량.
제30항에 있어서, 상기 섀시 연결 구성 요소는 후방 몸체인, 차량.
제30항에 있어서, 상기 섀시 연결 구성 요소는 휠인, 차량.
제30항에 있어서,
상기 몸체는 상기 조작자를 포함하는 캐빈을 정의하고,
상기 하나 이상의 센서는 상기 캐빈의 표시를 생성하도록 구성되고, 상기 표시는 상기 조작자의 머리를 나타내는, 차량.
제33항에 있어서,
상기 프로세서는, 상기 캐빈의 표시에 기초하여 상기 조작자의 안구 기준점의 이동을 식별하도록 구성되고,
상기 프로세서가 상기 차량의 제1 축을 따라 상기 조작자의 안구 기준점의 이동을 식별하는 것에 반응하여, 상기 관절형 연결부는 상기 환경에 대한 상기 조작자의 안구 기준점의 변위를 증가시키도록 상기 제1 축에 실질적으로 평행한 제2 축을 따라 상기 몸체를 이동시키도록 구성되는, 차량.
제34항에 있어서, 상기 축을 따라 상기 몸체의 이동은 상기 조작자의 시야(FOV)를 수정하는, 차량.
제33항에 있어서, 상기 프로세서는, 상기 표시에 기초하여 상기 조작자에 의해 인지된 눈부심을 감지하고 상기 조작자에 의해 인지된 눈부심을 감소하시키기 위해 상기 관절형 연결부를 작동시키도록 구성되는, 차량.
제33항에 있어서, 상기 표시는 심도 맵 또는 적색, 녹색, 청색(RGB) 이미지 중 적어도 하나를 포함하는, 차량.
제30항에 있어서, 상기 하나 이상의 센서는 환경의 한 부위의 비디오 이미지를 캡처하는 카메라를 포함하고, 상기 비디오 이미지는 조작자의 머리를 나타내는, 차량.
제38항에 있어서,
상기 프로세서는 상기 비디오 이미지에서 상기 조작자 머리의 상대 위치를 결정하도록 구성되고,
상기 하나 이상의 센서에 대해 움직이는 상기 조작자의 머리를 감지하는 것에 반응하여, 상기 조작자의 머리가 상기 비디오 이미지 내의 위치로 복귀하도록, 상기 프로세서는 상기 몸체를 이동시키기 위해 상기 관절형 연결부를 작동시키도록 구성되는, 차량.
제30항에 있어서, 상기 몸체는 캐빈을 정의하고,
상기 차량 상에 또는 그 안에 장착되고, 상기 차량 외부의 한 부위의 비디오 이미지를 캡처하기 위해 상기 프로세서에 작동 가능하게 결합되는 카메라; 및
상기 캐빈에 배치되고, 상기 조작자에게 상기 비디오 이미지를 디스플레이하기 위해 상기 카메라 및 상기 프로세서에 작동 가능하게 결합되는 디스플레이를 추가로 포함하는, 차량.
제40항에 있어서,
상기 프로세서는 상기 비디오 이미지에 기초하여 상기 조작자의 안구 기준점을 결정하고, 상기 조작자의 안구 기준점에 기초하여 상기 비디오 이미지의 제1 시야(FOV) 또는 시야각 중 적어도 하나를 수정하도록 구성되고,
상기 디스플레이는 상기 프로세서에 의해 수정된 상기 비디오 이미지 중 적어도 일부를 나타내도록 구성되는, 차량.
제41항에 있어서,
상기 차량의 제1 축을 따라 이동하는 상기 조작자의 안구 기준점에 반응하여, 상기 프로세서는, 상기 제1 축에 실질적으로 평행한 제2 축을 따라 상기 몸체를 이동시킴으로써 상기 조작자의 FOV를 수정하기 위해 상기 관절형 연결부를 작동시키도록 구성되는, 차량.
차량 작동 방법으로서,
제1 센서를 사용하여 상기 차량의 조작자로부터 제1 입력을 수신하는 단계;
제2 센서를 사용하여 상기 차량 외부의 환경으로부터 제2 입력을 수신하는 단계;
프로세서를 사용하여 상기 제1 및 제2 입력 사이의 상관 관계를 식별하는 단계;
상기 프로세서를 사용하여 상기 상관 관계에 기초하여 거동-기반 명령을 생성하고, 상기 거동-기반 명령은 상기 차량의 액추에이터에 적용되는 경우에 미리 정해진 거동으로 상기 차량을 이동시키는 단계;
상기 거동-기반 명령, 상기 프로세서에 작동 가능하게 결합된 입력 장치를 통해 상기 조작자로부터의 명시적 명령, 및 상기 제2 입력에 기초하여 조합된 명령을 생성하는 단계;
상기 차량의 안정성을 유지하도록 상기 조합된 명령을 조절하는 단계 또는 필터링하는 단계 중 적어도 하나; 및
상기 조절되고/조절되거나 필터링된 조합 명령을 사용하여, 상기 차량의 액추에이터를 작동시키는 단계를 포함하는, 방법.
제43항에 있어서, 상기 제1 입력은 상기 차량의 캐빈의 표시를 포함하고, 상기 표시는 상기 조작자의 머리를 보여주는, 방법.
제44항에 있어서, 상기 미리 정해진 거동은, 상기 프로세서가 상기 표시에 기초하여 제1 축에 실질적으로 평행한 제2 축을 따라 이동하는 상기 조작자 머리의 움직임을 식별하는 것에 반응하여, 상기 차량을 상기 제1 축을 따라 이동시키는 단계를 포함하는, 방법.
제44항에 있어서, 상기 프로세서는, 상기 표시에 기초하여 상기 조작자에 의해 인지된 눈부심을 감지하도록 구성되고, 상기 미리 정해진 거동은, 상기 조작자에 의해 인지된 눈부심을 감소시키도록 상기 차량을 이동하는 단계를 포함하는, 방법.
제43항에 있어서, 상기 제2 입력은 상기 차량 내의 휠의 견인력, 상기 환경의 온도, 또는 다른 차량 또는 사람 중 적어도 하나를 보여주는 환경의 이미지 중 적어도 하나를 포함하는, 방법.
제43항에 있어서, 상기 입력 장치는 스티어링 휠, 가속 페달, 또는 브레이크 중 적어도 하나인, 방법.
제43항에 있어서, 상기 명시적 명령이 상기 거동-기반 명령보다 우선하는, 방법.