KR20200096547A - 증강 전환 경고를 적응시키기 위한 방법 및 시스템 - Google Patents

Abstract

본 교시내용은 경고를 운전자에게 제시하기 위한 방법, 시스템, 및 매체에 관한 것이다. 차량의 동작 모드의 다가오는 변화를 나타내는 지시가 획득되고, 여기서 지시는 운전자에 의해 완료될 태스크 세트 및 각각의 태스크와 연관된 태스크 지속기간을 특정한다. 변경을 수행하도록 운전자에게 알리는 데 사용될 경고를 결정하기 위해, 운전자의 현재 상태의 정보가 획득되고 경고를 결정하는 데 사용되며, 여기서 경고는 경고 콘텐츠 및 경고 콘텐츠를 전달하는 데 사용될 적어도 하나의 매체의 표시를 포함한다. 경고 스케줄이 이어서 경고 세트를 포함하도록 생성되고, 각각의 경고는 태스크 세트 중 하나의 태스크에 대응하고 태스크 세트의 순서에 기초한 순서로 배열된다. 경고 세트의 각각의 경고가 실행되도록 경고 스케줄이 이어서 전송된다.

Description

증강 전환 경고를 적응시키기 위한 방법 및 시스템

관련 출원들에 대한 상호 참조

본 출원은 2017년 12월 19일자로 출원된 미국 특허 출원 제15/846,998호에 관한 것이며, 이 미국 특허 출원은 그 전체가 참고로 본 명세서에 포함된다.

기술 분야

본 교시내용은 일반적으로 자율주행 및 하이브리드 차량들의 분야에 관한 것이다. 더 구체적으로, 본 교시내용은 차량을 동작시키는 메커니즘들 및 그의 증강 행동 계획 인터페이스에 관한 것이다.

자율주행 차량들은 자동화된 차량 동작을 보조하기 위해 다양한 컴퓨팅 수단을 이용한다. 최근에, 자동차 산업에서, 차량을 안전한 방식으로 자율주행 모드에서 동작하게 하는 것이 많은 관심을 받고 있다. 자율 주행 차량들은 승객(운전자)이 인간 운전 모드(즉, 조작자가 차량의 제어를 완전히 수행할 때의 모드)로부터 자율주행 모드(즉, 차량이 본질적으로 그 자체를 운전하는 모드)로 수동으로 전환할 수 있게 해준다. 양쪽 동작 모드들(자율주행 및 수동)이 가능한 차량들은 하이브리드 주행 차량들이다.

과거에는, 자율 주행 모드와 수동 주행 모드 간의 전환이 수동으로 행해진다. 동작 동안, 일부 상황들에서, 특정 상황들에서는 전환이 수행되는 경우 전환 자체가 위험을 초래할 수 있다. 게다가, 자율 주행 차량이 잠재적인 위험을 검출하고 제어를 인간 운전자로 전환하기로 결정할 때에도, 인간 운전자가 수동 모드에서 제어를 인계받는 방식은 승객의 상태에 의존할 수 있다. 예를 들어, 자율 주행 모드에 있는 동안, 승객은 주의를 덜 기울였을 수 있거나 심지어 잠들 수 있다. 자율 주행에서의 그 실제 문제들이 과거에는 다루어지지 않았다.

다른 양태는 하이브리드 주행 모드의 차량에서 역방향으로, 즉 인간 운전 모드로부터 자율 주행 모드로의 자동 전환을 포함한다. 전통적인 접근법들은, 이 방향으로의 전환을 안전한 방식으로 수행하는 방법은 커녕, 이 방향으로의 전환도 다루지 않고 있다.

따라서, 그러한 문제들을 해결하기 위한 해결책들이 필요하다.

본 명세서에서 개시된 교시내용은 자율주행 및 하이브리드 차량 주행 환경들에서 증강 행동 계획을 위한 방법들, 시스템들, 및 프로그래밍에 관한 것이다. 더 상세하게는, 본 교시내용은 차량들의 상이한 동작 모드들과 연관된 핸드오버 동작들을 수행하는 메커니즘들에 관련된 방법들, 시스템들, 및 프로그래밍에 관한 것이다.

본 개시내용의 일 양태에 의하면, 차량의 운전자에게 경고를 제시하기 위해 네트워크에 접속할 수 있는 적어도 하나의 프로세서, 스토리지, 및 통신 플랫폼을 갖는 머신 상에서 구현되는 방법이 개시된다. 이 방법은 차량의 동작 모드의 다가오는 변화를 나타내는 지시를 획득하는 단계 - 지시는 차량에서 운전자에 의해 완료될 태스크 세트 및 태스크 세트의 각각의 태스크가 완료되기까지의 태스크와 연관된 태스크 지속기간을 특정함 -, 및 운전자의 현재 상태를 나타내는 정보를 획득하는 단계를 포함한다. 이 방법은, 태스크 세트의 각각의 태스크에 대해, 태스크를 수행하도록 운전자에게 알리는 데 사용될 경고를 결정하며, 여기서 경고는 적어도 경고 콘텐츠 및 경고 콘텐츠를 운전자에게 전달하는 데 사용될 적어도 하나의 매체를 포함한다. 게다가, 이 방법은 경고 세트를 포함하는 경고 스케줄을 생성하는 단계 - 경고들 각각은 태스크 세트 중 하나의 태스크에 대응하고 태스크 세트의 순서에 기초한 순서로 배열됨 -, 및 경고 스케줄에서의 경고 세트의 각각의 경고가 적어도 하나의 매체를 통해 운전자에 대해 실행되도록 경고 스케줄을 전송하는 단계를 포함한다.

본 개시의 일 양태에 의하면, 차량의 운전자에게 경고를 제시하기 위한 시스템이 개시된다. 이 시스템은 차량의 동작 모드의 다가오는 변화를 나타내는 지시를 획득하도록 - 지시는 차량에서 운전자에 의해 완료될 태스크 세트 및 태스크 세트의 각각의 태스크가 완료되기까지의 태스크와 연관된 태스크 지속기간을 특정함 - 구성된 경고 지시 분석기를 포함한다. 이 시스템은 운전자의 현재 상태를 나타내는 정보를 획득하고, 태스크 세트의 각각의 태스크에 대해, 태스크를 수행하도록 운전자에게 알리는 데 사용될 경고를 결정하도록 - 경고는 적어도 경고 콘텐츠 및 경고 콘텐츠를 운전자에게 전달하는 데 사용될 적어도 하나의 매체를 포함함 - 구성된 경고 결정기를 추가로 포함한다. 게다가, 이 시스템은 경고 세트를 포함하는 경고 스케줄을 생성하고 - 경고들 각각은 태스크 세트 중 하나의 태스크에 대응하고 태스크 세트의 순서에 기초한 순서로 배열됨 -, 경고 스케줄에서의 경고 세트의 각각의 경고가 적어도 하나의 매체를 통해 운전자에 대해 실행되도록 경고 스케줄을 전송하도록 구성된 경고 지시 생성기를 포함한다.

다른 개념들은 차량 시스템을 개발할 때 본 교시내용을 구현하기 위한 소프트웨어에 관한 것이다. 이 개념에 따른, 소프트웨어 제품은 적어도 하나의 머신 판독가능 비일시적 매체 및 매체에 의해 운반되는 정보를 포함한다. 매체에 의해 운반되는 정보는 실행가능 프로그램 코드 데이터, 실행가능 프로그램 코드와 연관된 파라미터들, 및/또는 사용자에 관련된 정보, 소셜 그룹에 관련된 요청, 콘텐츠 또는 정보 등일 수 있다.

일 예에서, 차량의 운전자에게 경고를 제시하기 위한 정보가 저장되어 있는 머신 판독가능 매체가 개시되며, 여기서 이 정보는, 머신에 의해 판독될 때, 머신으로 하여금 다음과 같은 단계들: 차량의 동작 모드의 다가오는 변화를 나타내는 지시를 획득하는 단계 - 지시는 차량에서 운전자에 의해 완료될 태스크 세트 및 태스크 세트의 각각의 태스크가 완료되기까지의 태스크와 연관된 태스크 지속기간을 특정함 - 를 수행하게 한다. 이 단계들은 운전자의 현재 상태를 나타내는 정보를 획득하는 단계, 및 태스크 세트의 각각의 태스크에 대해, 태스크를 수행하도록 운전자에게 알리는 데 사용될 경고를 결정하는 단계 - 경고는 적어도 경고 콘텐츠 및 경고 콘텐츠를 운전자에게 전달하는 데 사용될 적어도 하나의 매체를 포함함 - 를 포함한다. 게다가, 이 단계들은 경고 세트를 포함하는 경고 스케줄을 생성하는 단계 - 경고들 각각은 태스크 세트 중 하나의 태스크에 대응하고 태스크 세트의 순서에 기초한 순서로 배열됨 -, 및 경고 스케줄에서의 경고 세트의 각각의 경고가 적어도 하나의 매체를 통해 운전자에 대해 실행되도록 경고 스케줄을 전송하는 단계를 포함한다.

부가의 장점들, 및 신규 특징들이 일부는 이하의 상세한 설명에 기재될 것이고, 일부는 이하의 첨부 도면들을 살펴볼 때 본 기술분야의 통상의 기술자에게 명백하게 될 것이거나, 또는 예들의 제조 또는 동작에 의해 알게 될 수 있다. 본 교시내용의 장점들은 아래에서 논의되는 상세한 예들에 기재되는 방법론들, 수단들 및 조합들의 다양한 양태들의 실시 또는 사용에 의해 실현 및 달성될 수 있다.

본 명세서에서 설명된 방법들, 시스템들 및/또는 프로그래밍은 추가로 예시적인 실시예들과 관련하여 설명된다. 이러한 예시적인 실시예들은 도면을 참조하여 상세히 설명된다. 이러한 실시예들은 비제한적인 예시적인 실시예들이며, 여기서 도면의 여러 도면들에 걸쳐 유사한 참조 번호들은 유사한 구조들을 나타낸다.
도 1은 본 교시내용의 일 실시예에 따른, 차량에서의 동작 모드들의 전환을 예시하는 예시적인 다이어그램을 묘사한다;
도 2는 본 교시내용의 일 실시예에 따른, 차량의 주행 모드 전환 유닛의 예시적인 블록 다이어그램을 묘사한다;
도 3은 본 교시내용의 일 실시예에 따른, 차량의 주행 모드 전환 유닛에 의해 수행되는 예시적인 프로세스의 예시적인 플로차트를 묘사한다;
도 4는 본 교시내용의 다양한 실시예들에 따른, 실시간 내부(intrinsic) 및 외부(extrinsic) 데이터와 연관된 정보를 묘사하는 그래프를 예시한다;
도 5는 본 교시내용의 다양한 실시예들에 따른, 실시간 차량 데이터와 연관된 정보를 묘사하는 그래프를 예시한다;
도 6은 본 교시내용의 다양한 실시예들에 따른, 실시간 인간 상태와 연관된 정보를 묘사하는 그래프를 예시한다;
도 7은 본 교시내용의 일 실시예에 따른, 차량의 주행 모드 전환 유닛에 포함된 위험 평가기의 예시적인 블록 다이어그램을 묘사한다;
도 8은 본 교시내용의 일 실시예에 따른, 위험 평가들의 유형들을 묘사하는 예시적인 그래프를 예시한다;
도 9는 본 교시내용의 일 실시예에 따른, 차량의 주행 모드 전환 유닛에 포함된 위험 평가기에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다;
도 10은 본 교시내용의 일 실시예에 따른, 위험 평가기에 포함된 운전자 상태 분석기의 예시적인 블록 다이어그램을 묘사한다;
도 11은 본 교시내용의 일 실시예에 따른, 차량의 위험 평가기 유닛에 포함된 운전자 상태 분석기에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다;
도 12는 본 교시내용의 일 실시예에 따른, 주행 모드 전환 유닛에 포함된 전환 위험 결정기의 예시적인 블록 다이어그램을 묘사한다;
도 13은 본 교시내용의 일 실시예에 따른, 전환 위험 결정기에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다;
도 14는 본 교시내용의 일 실시예에 따른, 자율주행 모드 대 인간 운전자(A-H) 모드 전환 위험 결정기의 예시적인 블록 다이어그램을 묘사한다;
도 15는 본 교시내용의 일 실시예에 따른, (A-H) 모드 전환 위험 결정기에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다;
도 16은 본 교시내용의 다양한 실시예들에 따른, 응답 시간과 연관된 정보를 예시하는 그래프를 묘사한다;
도 17a는 본 교시내용의 일 실시예에 따른, 인간 운전자 모드 대 자율주행(H-A) 모드 전환 위험 결정기의 예시적인 블록 다이어그램을 묘사한다;
도 17b는 본 교시내용의 일 실시예에 따른, 차량의 다양한 동작 모드들을 개략적으로 나타내는 예시적인 표를 예시한다;
도 18은 본 교시내용의 일 실시예에 따른, (H-A) 모드 전환 위험 결정기에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다;
도 19는 본 교시내용의 일 실시예에 따른, 전환 경고 제어 유닛의 예시적인 블록 다이어그램을 묘사한다;
도 20a는 본 교시내용의 일 실시예에 따른, 전환 경고 제어 유닛에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다;
도 20b는 본 교시내용의 일 실시예에 따른, 차량의 운전자에게 경고하기 위해 이용되는 상이한 매체를 예시하는 예시적인 태스크 스케줄을 묘사한다;
도 21은 본 교시내용의 일 실시예에 따른, 멀티 모달 전환 경고 유닛의 예시적인 블록 다이어그램을 일 실시예에 따라 묘사한다;
도 22는 본 교시내용의 일 실시예에 따른, 멀티 모달 전환 경고 유닛에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다;
도 23은 본 교시내용을 포함하는 특수 시스템을 구현하는 데 사용될 수 있는 모바일 디바이스의 아키텍처를 묘사한다;
도 24는 본 교시내용을 포함하는 특수 시스템을 구현하는 데 사용될 수 있는 컴퓨터의 아키텍처를 묘사한다.

이하의 상세한 설명에서, 관련 교시내용의 완전한 이해를 제공하기 위해 많은 특정 세부사항들이 예들로서 기재되어 있다. 그렇지만, 본 교시내용이 그러한 세부사항들을 사용함이 없이 실시될 수 있다는 것이 본 기술분야의 통상의 기술자에게 명백할 것이다. 다른 예들에서, 공지된 방법들, 절차들, 컴포넌트들, 및/또는 회로는 본 교시내용의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해, 세부사항 없이, 상대적으로 상위 레벨에서 설명되었다.

자율주행 차량은 그의 환경을 감지하고 인간의 입력 없이 환경을 지나 운행할 수 있는 차량이다. 자율주행 자동차들은, 레이더(radar), 레이저 광, GPS, 주행거리계 및 컴퓨터 비전과 같은, 다양한 기술들을 사용하여 그들의 주변을 검출한다. 진보된 제어 시스템들은 적절한 운행 경로들(navigation paths)은 물론, 장애물들 및 관련 표지판(signage)을 식별하기 위해 감각 정보를 해석한다. 자율주행 자동차들은 도로 상의 상이한 자동차들을 구별하기 위해 감각 데이터를 분석할 수 있는 제어 시스템들을 포함한다. 자율주행 차량들의 잠재적 이점들은 감소된 이동성 및 인프라스트럭처 비용, 증가된 안전성, 증가된 이동성, 증가된 고객 만족도, 및 감소된 범죄를 포함한다. 구체적으로는, 보험에 대한 더 적은 필요성을 포함하여, 교통 사고 및 관련 비용의 현저한 감소가 자율주행 차량들에 의해 발생된다. 자율주행 차량들은 교통 흐름을 증가시키고, 여행자들에게 운전 및 내비게이션 일들을 경감해 주며, 연료 소비를 줄여 줄 것으로 예측된다.

그렇지만, 자율주행 차량들의 광범위한 채택에는 특정 장애물들이 있다. 예를 들어, 책임에 관한 분쟁, 기존의 차량들의 재고를 대체하는 데 필요한 시간 기간, 통제 박탈에 대한 개인들의 저항, 소비자 안전 문제, 실행가능한 법률 체계의 구현 및 정부 규제의 확립, 프라이버시 상실의 위험 및 보안 문제는 자율주행 차량들의 채택을 방해하는 일부 인자들이다. 그와 같이, 자율주행 동작 모드는 물론 인간-운전자 동작 모드 둘 다를 이용하는 차량 시스템에 대한 프레임워크가 아래에서 설명된다. 본 개시내용에서, 용어들 '자율주행 모드' 및 '자동 모드(auto mode)'는 차량의 자동 동작에 대응하기 위해 상호교환가능하게 사용되는 반면, 용어들 '인간 운전자 모드' 및 '수동 모드(manual mode)'는 인간 운전자에 의해 차량을 동작시키는 것에 대응하기 위해 상호교환가능하게 사용된다는 것에 유의한다.

도 1은 본 교시내용의 일 실시예에 따른, 차량에서의 동작 모드들의 전환을 예시하는 예시적인 다이어그램을 묘사한다. 도 1에 도시된 바와 같이, 차량은 주행 모드 전환 유닛(130) 및 멀티 모달 전환 경고 유닛(140)을 포함한다. 차량은 자율주행 모드(150) 또는 인간 운전자 모드(160)에서 동작할 수 있다. 주행 모드 전환 유닛(130)은 자율주행 모드(150)와 인간 운전자 모드(160) 사이에서, 제각기, 차량의 동작 모드를 전환하도록 구성된다.

일 실시예에 의하면, 주행 모드 전환 유닛(130)은 초기에 차량이 동작하고 있는 현재 모드를 결정한다. 현재 동작 모드를 결정할 때, 주행 모드 전환 유닛(130)은, (도 2를 참조하여 다음에 설명되는) 특정 기준들에 기초하여, 상이한 모드로의 전이가 요구되는지를 결정한다. 예를 들어, 현재 동작 모드가 자율주행 모드(또는 대안적으로, 인간 운전자 모드)인 것으로 결정되면, 주행 모드 전환 유닛(130)은, 현재 모드에서 차량을 동작시키는 것과 연관된 기준에 기초하여, 인간 운전자 모드(또는 대안적으로 자율주행 모드)로의 전이가 요구되는지를 결정한다. 현재 동작 모드를 전환하기로 하는 긍정적 결정 시에, 주행 모드 전환 유닛(130)은 차량의 동작 모드의 전환을 수행할 의도를 나타내는 지시를 멀티 모달 전환 경고 유닛(140)에 제공한다.

차량의 동작 모드의 전환을 수행할 의도를 나타내는 지시를 수신할 때, 멀티 모달 전환 경고 유닛(140)은 차량의 조작자(예를 들어, 운전자)에게 경고 신호들(도 21을 참조하여 나중에 설명됨)을 전달한다. 더욱이, 경고 신호들은 효율적인 방식으로 차량의 동작 모드를 전환하기 위해 차량의 운전자에 의해 수행되어야 하는 특정 태스크들을 포함할 수 있다. 그와 같이, 일 실시예에 의하면, 멀티 모달 전환 경고 유닛(140)은 태스크들이 적시적 방식으로 수행되고 있는지를 결정하기 위해 운전자를 모니터링한다. 구체적으로는, 멀티 모달 전환 경고 유닛(140)은 차량의 운전자에게 할당되는 각각의 태스크를 모니터링하여 할당된 태스크가 적시적 방식으로 수행되고 있도록 보장한다. 주행 모드 전환 유닛(130)은 차량의 운전자에게 할당되는 태스크들 각각의 상태를 나타내는 피드백 신호를 수신한다. 각각의 태스크의 성공적인 완료에 기초하여, 주행 모드 전환 유닛(130)은 차량의 동작 모드의 전환을 실행한다. 일 실시예에 의하면, 특정 태스크가 적시적 방식으로 완료되지 않는 경우, 주행 모드 전환 유닛(130)은 예외 핸들링 프로세스가 수행될 것임을 나타내는 피드백 신호를 수신한다. 멀티 모달 전환 경고 유닛(140) 및 주행 모드 전환 유닛(130)의 동작들에 관한 세부사항들은 본 개시내용의 나머지에서 설명된다.

도 2는 본 교시내용의 일 실시예에 따른, 차량의 주행 모드 전환 유닛(130)의 예시적인 블록 다이어그램을 묘사한다. 주행 모드 전환 유닛(130)은 현재 위험 평가기(230), 전환 위험 결정기(240), 전환 경고 제어 유닛(250), 전환 실행기(280), 차량 제어 시스템(260), 운전자 프로파일(210) 및 지도/도로 구성 모델(220)을 포함한다.

현재 위험 평가기(230)는 현재 동작 모드에서 차량을 동작시킬 때의 위험을 결정하도록 구성된다. 일 실시예에 의하면, 위험을 결정하기 위해, 현재 위험 평가기(230)는 실시간 차량 데이터, 실시간 내부 및 외부 데이터, 센서 데이터, 운전자 프로파일(210), 및 지도/도로 구성 데이터(220)를, 입력으로서, 수신한다. 지도/도로 구성 데이터(220)는 차량이 현재 위치되는 지리적 위치에 관한 정보를 제공한다. 부가적으로, 지도/도로 구성 데이터(220)는 차량의 지리적 위치에서의 교통에 대응하는 정보를 포함할 수 있다. 운전자 프로파일(210) 데이터는 운전자의 운전 이력에 관한 정보를 포함한다. 그러한 정보는, 예를 들어, 운전자가 미리 결정된 시간 기간에 관여되었던 위반들의 횟수, 운전자가 동작시키고 있는 차량의 모델, 운전자가 장애가 있는지, 운전자가 근시인지, 운전자가 차량을 동작시키는 데 도움을 주는 디바이스들(예를 들어, 처방 안경)을 착용하도록 법에 의해 요구되는지와 같은 운전자의 특성들, 운전자가 바람직하게는 차량을 동작시키지 않도록 권고되는 기상 조건들 등을 포함할 수 있다.

도 5를 참조하면, 현재 위험 평가기(230)에 입력되는 예시적인 실시간 차량 데이터가 묘사되어 있다. 구체적으로는, 도 5는 본 교시내용의 다양한 실시예들에 따른, 실시간 차량 데이터와 연관된 정보를 묘사하는 예시적인 그래프를 묘사한다. 예를 들어, 실시간 차량 데이터는 차량의 현재 위치에 관한 정보(예를 들어, 위도 및 경도 위치), 차량의 주변에 관한 정보, 차량의 운전자에 의해 경험되는 현재 가시성(예를 들어, 현재 시간에 기초한 햇빛의 양), 차량의 중량 또는 질량 특정 제어(예를 들어, 차량 내의 승객들의 현재 중량 및 차량의 동작에 관련된 다른 제어 파라미터들), 및 차량의 정비(servicing)에 관한 정보, 예를 들어, 현재 오일 레벨, 타이어, 브레이크, 와이퍼들의 상태, 및 차량이 안전한 방식으로 동작될 수 있는지를 결정하는 다른 중요한 파라미터들을 포함할 수 있다.

현재 위험 평가기(230)는 또한 차량의 현재 동작 모드의 위험을 결정하는 데 이용되는 실시간 데이터(차량의 외부 및 내부 능력들)를 수신한다. 도 4를 참조하면, 본 교시내용의 다양한 실시예들에 따른, 실시간 내부 및 외부 데이터와 연관된 정보를 묘사하는 예시적인 그래프가 묘사되어 있다. 도 4에 도시된 바와 같이, 차량의 내부 능력들에 관련된 데이터는 차량의 가능 속력, 차량의 가능 안전성 레벨, 차량에서의 결함들(예를 들어, 낮은 레벨의 타이어 압력, 결함있는 브레이크 패드, 결함있는 헤드/테일 라이트 등), 및 차량의 신뢰성 인자와 같은 차량의 동작 파라미터들에 관한 정보를 포함할 수 있다. 차량의 외부 능력들에 관련된 데이터는, 차량이 횡단하고 있는 도로의 유형 및 조건(예를 들어, 도로의 가파름/경사, 도로 상에서 허용되는 속력 제한, 도로 상의 현재 차량 및 인간 교통상황, 및 도로가 미끄러운지와 같은 노면 상태), 차량의 환경에 대응하는 날씨 정보(예를 들어, 차량이 횡단하고 있는 도로 상의 얼음, 눈 또는 강수량), 차량의 환경에서의 가시성, 및 차량의 루트에 사고가 있는지, 차량이 제한 구역(예를 들어, 병원 또는 학교)을 횡단하고 있는지, 또는 차량에 대한 초기에 계획된 루트의 우회로를 결과하는 차량의 루트에 공사가 있는지 등과 같은 외부 이벤트들과 같은 차량 외부의 정보를 포함할 수 있다.

현재 위험 평가기(230)에 대한 추가 입력은 차량의 운전자의 현재 상태를 결정하기 위해 이용되는 실시간 센서 데이터이다. 도 6을 참조하면, 본 교시내용의 다양한 실시예들에 따른 차량의 운전자의 상태와 연관된 정보를 묘사하는 예시적인 그래프가 묘사되어 있다. 그러한 정보는 운전자 및/또는 승객들의 자세(예를 들어, 위치 검출, 앉은 자세, 운전자가 안전 벨트를 착용하고 있는지 등) 및 차량에서의 운전자 및 승객들의 위치에 대응하는 데이터를 포함할 수 있다. 운전자 상태와 연관된 부가 정보는 운전자의 건강, 운전자의 기능적 상태(즉, 운전자가 졸고 있는지, 자고 있는지, 또는 잠이 오는지, 및 운전자가 취해 있는지), 운전자의 정신 상태(예를 들어, 운전자의 각성(alertness) 레벨), 및 운전자에 의해 이루어지는 이동(trip)의 성격에 관한 정보(예를 들어, 운전자 및/또는 승객이 심각한 부상을 입었고 차량이 병원으로 가는 도중인 경우 등)에 관한 정보를 포함할 수 있다. 운전자의 위에서 설명된 상태(들)를 검출하기 위해 현재 위험 평가기(230)에 의해 이용되는 센서 데이터는 도 10을 참조하여 나중에 설명된다.

위에서 설명된 입력들을 수신할 때, 위험 평가기(230)는 차량의 현재 동작 모드에 수반되는 위험을 결정한다. 구체적으로는, 위험 평가기(230)는 현재 동작 모드에서 차량을 동작시키는 것이 안전한지를 결정한다. 그러한 위험의 계산에 관한 세부사항들은 도 7을 참조하여 나중에 설명된다. 위험을 계산할 때, 현재 위험 평가기(230)는 계산된 위험이 특정 기준을 충족시키는지(예를 들어, 계산된 위험이 미리 결정된 제1 임계 위험 레벨 초과 또는 미만인지)를 결정한다. 차량의 특정 동작 모드와 연관된 미리 결정된 제1 임계 위험 레벨은 차량의 특정 동작 모드에서 차량을 동작시키는 것의 안전성 레벨에 대응할 수 있다. 구체적으로는, 계산된 위험이 제1 미리 결정된 임계 위험 레벨 초과이면, 차량을 현재 모드에서 동작시키는 것이 안전하지 않은 것으로 간주될 수 있는 반면, 계산된 위험이 제1 미리 결정된 임계 위험 레벨 미만이면, 차량이 현재 모드에서 계속 동작할 수 있는 것으로 간주될 수 있다. 계산된 위험이 기준을 충족시키는(또는 충족시키지 않는) 것에 기초하여, 위험 평가기(230)는 현재 동작 모드에서 차량을 동작시키는 것이 안전한지, 또는 현재 모드로부터 상이한 차량 동작 모드로의 전환이 수행되어야 하는지를 결정할 수 있다.

일 실시예에 의하면, 현재 동작 모드와 연관된 계산된 위험이 허용가능 한계 내에 있는 경우(예를 들어, 위험이 제1 미리 결정된 임계 위험 레벨 미만인 경우), 차량은 차량의 현재 동작 모드를 유지한다(즉, 차량의 동작 모드의 전이가 실행되지 않을 것이다). 그렇지만, 계산된 위험이 기준을 충족시키지 않는 경우(예를 들어, 계산된 위험이 제1 미리 결정된 임계 위험 레벨 초과인 경우), 현재 위험 평가기(230)는 전환 위험 결정기(240)를 활성화시켜, 차량의 동작 모드를 상이한 모드로 전환하는 것이 실현가능한지를 결정한다.

전환 위험 결정기(240)는 실시간 내부 및 외부 데이터, 운전자의 현재 상태에 관한 정보, 및 차량이 동작 중인 현재 모드를 수신한다. 일 실시예에 의하면, 전환 위험 결정기(240)는 상이한 동작 모드에서 동작하도록 차량을 전환하는 것과 연관된 위험을 결정하도록 구성된다. 예를 들어, 차량이 현재 자율주행 모드에서 동작하고 있는 경우, 전환 위험 결정기(240)는 인간 운전 모드(즉, 수동 모드)에서 동작하도록 차량을 전환하는 것의 위험을 계산하고, 유사하게 차량이 현재 인간 운전 모드에서 동작 중인 경우, 전환 위험 결정기(240)는 자율주행 모드에서 동작하도록 차량을 전환하는 것의 위험을 계산한다. 차량의 동작 모드를 전환할 때 초래되는 위험의 결정은 도 12를 참조하여 나중에 설명되는 바와 같이 몇몇 인자들에 기초하여 계산된다.

일 실시예에 의하면, 현재 위험 평가기(240)는 차량의 현재 동작 모드와 연관된 현재 위험을 결정한다. 현재 위험이 예외적으로 높은 것으로, 즉 현재 모드와 연관된 제2 미리 결정된 임계치보다 더 큰 것으로(즉, 제1 미리 결정된 임계치(예를 들어, 안전성 레벨)보다 실질적으로 더 큰 것으로) 결정되는 경우, 위험 결정기(240)는 차량의 동작 모드를 상이한 모드로 전환하는 것과 연관된 위험을 결정하기 위해 전환 위험 결정기를 개시하지 않을 수 있다.

오히려, 현재 위험 평가기(230)는, 예를 들어, 차량을 안전한 방식으로 정지시키기 위해, 예외 핸들링 프로세스를 실행할 수 있다. 예를 들어, 차량의 현재 동작 모드가 인간 운전 모드라고 가정한다. 위험 결정기(230)가, 예를 들어, 차량의 운전자가 발작 또는 생명을 위협하는 이벤트(위험 평가기(230)에 포함된 운전자 상태 분석기를 통해 검출되고 도 7을 참조하여 나중에 설명됨)를 겪는다고 결정하는 경우, 위험 결정기(230)는 차량의 동작 모드를 전환하는 것과 연관된 위험을 결정하기 위해 전환 위험 결정기(240)를 개시하지 않을 수 있다. 그 대신에, 현재 위험 평가기(230)는 차량을 즉각 정지시키는 것, 정부 기관에 지원 요청을 개시하는 것(예를 들어, 자동으로 911에 전화를 거는 것 또는 차량과 연관된 모바일 폰을 통해 긴급 출동(roadside assistance)을 요청하는 것), 차량의 GPS 위치를 특정 차량 및 다른 유사 차량들의 동작들을 모니터링하는 서버에 전송하는 것과 같은 예외 핸들링 프로세스를 실행할 수 있다. 차량을 완전히 정지시키는 위에서 언급된 기능들을 수행하는 것이 차량의 현재 속력을 결정하는 것, 차량이 횡단하고 있는 현재 차선, 주변 교통상황, 도로 상의 길어깨 영역(shoulder region)(예를 들어, 정차 구역(pull-over zone))을 식별하는 것, 및 점진적으로 차량을 안전한 방식으로 완전히 정지시키는 것과 같은 프로세싱 단계들을 포함할 수 있음이 이해되어야 한다. 그와 같이, 도 2에 도시된 바와 같이, 현재 위험 평가기(230)는 전환 위험 결정기(240)를 우회하고, 차량의 동작의 임박한 변화, 예를 들어, 차량을 정지시키는 것을 차량 제어(260)에 지시하기 위해 전환 실행기(280)에 직접 시그널링할 수 있다.

일 실시예에 의하면, 현재 위험 평가기(230)가 차량의 현재 동작 모드와 연관된 현재 위험이 현재 모드와 연관된 제1 미리 결정된 임계치(현재 모드의 안전성 레벨) 초과이고 현재 모드와 연관된 제2 미리 결정된 임계 레벨 미만인 것으로 결정하는 경우, 현재 위험 평가기는 차량을 상이한 모드로 전환하는 것과 연관된 위험을 결정하기 위해 전환 위험 결정기(240)를 활성화시킨다. 전환 위험 결정기(240)가 차량의 동작 모드를 상이한 모드로 전환하는 것과 연관된 위험이 실현가능하다고 결정하는 경우, 즉, 전환 위험 결정기(240)가 차량이 상이한 모드에서 효율적인 방식으로 동작할 수 있다고 결정하는 경우, 전환 위험 결정기(240)는 차량이 효과적인 방식으로 상이한 모드로 전이할 수 있도록 특정 태스크 세트를 수행하라는 지시들을 (예를 들어, 도 19를 참조하여 나중에 설명되는 시각 및 오디오 수단을 통해) 운전자에게 제공하는 신호를 멀티 모달 전환 경고 유닛(140)에 전송하도록 전환 경고 제어 유닛(250)을 제어한다. 구체적으로는, 멀티 모달 전환 경고 유닛(140)은 차량의 현재 동작 모드가 위험에 처해 있다는 표시를 운전자에게 제공하고, 따라서 운전자가 할당된 태스크 세트를 수행하는 것에 기초하여 차량의 상이한 동작 모드로의 전환이 즉각 발생할 것이다. 차량의 동작 모드를 상이한 모드로 전환하는 것에 관여된 동작들에 관한 세부사항들은 도 19를 참조하여 나중에 설명된다.

대조적으로, 전환 위험 결정기(240)가 차량을 상이한 모드로 전환하는 것과 연관된 위험이 높다고 결정하는 경우, 전환 위험 결정기(240)는 이전에 언급된 바와 같이 예외 핸들링 프로세스를 구현하라고 차량 제어 시스템(260)에 지시하도록 전환 실행기(280)를 제어할 수 있다.

도 3은 본 교시내용의 일 실시예에 따른, 차량의 주행 모드 전환 유닛(130)에 의해 수행되는 예시적인 프로세스의 예시적인 플로차트를 묘사한다. 프로세스는, 주행 모드 전환 유닛(130)이 실시간 정보(즉, 실시간 차량 데이터, 실시간 내부 및 외부 데이터) 및 센서 데이터를 수신하는, 단계(310)에서 시작된다.

게다가, 단계(320)에서, 프로세스는 단계(310)에서의 수신된 정보에 기초하여 차량의 현재 주행 모드 및 차량을 동작시키는 운전자의 현재 상태를 결정한다. 차량을 동작시키는 운전자의 현재 상태의 검출에 관한 세부사항들은 도 10을 참조하여 나중에 설명되는 반면, 차량의 현재 동작 모드의 결정에 관한 세부사항들은 도 7을 참조하여 나중에 설명된다.

게다가 단계(330)에서, 프로세스는 차량의 현재 동작 모드와 연관된 위험을 평가한다. 그 후에, 단계(340)에서, 프로세스는 현재 모드에서 차량을 동작시키는 것의 평가된 위험이 예외적으로 높은지를 결정하기 위한 질의를 수행한다. 예를 들어, 이전에 언급된 바와 같이, 프로세스는 평가된 위험이 차량의 현재 동작 모드와 연관된 제2 미리 결정된 임계치 초과인지를 결정한다. 질의에 대한 응답이 긍정적인 경우, 프로세스는, 이전에 언급된 바와 같은 예외 핸들링 프로세스가 실행되는, 단계(395)로 이동한다. 그렇지만, 질의에 대한 응답이 부정적인 경우, 프로세스는 단계(350)로 이동한다.

단계(350)에서, 프로세스는 전환 위험, 즉 차량을 차량의 상이한 동작 모드로 전이시키는 것과 연관된 위험을 결정한다. 일 실시예에 의하면, 도 12를 참조하여 나중에 설명되는 바와 같이, 전환 위험은 차량의 운전자가 적어도 하나의 태스크를 수행하기 위해 추정 시간 내에 적어도 하나의 태스크를 실행하는 것에 기초하여 계산될 수 있으며, 여기서 추정 시간은 운전자의 상태에 기초하여 결정된다. 더욱이, 현재 모드로부터 상이한 차량 동작 모드로 전환하는 동안, 상이한 차량 동작 모드에서의 위험이 상이한 모드와 연관된 임계 위험 레벨을 초과하지 않는다는 것이 이해되어야 한다.

프로세스는 이어서, 단계(350)에서 평가된 전환 위험이 높은지를 결정하기 위한 질의가 수행되는, 단계(360)로 이동한다. 일 실시예에 의하면, 프로세스는 차량을 상이한 모드로 전이시키는 것과 연관된 임의의 전환 위험이 있는지를 결정할 수 있다. 단계(360)에서의 질의에 대한 응답이 긍정적인 경우, 프로세스는 단계(395)로 이동하여 예외 핸들링 프로세스를 실행하고, 그렇지 않은 경우 프로세스는 단계(370)로 이동한다.

단계(370)에서, 프로세스는 차량의 동작 모드의 임박한 전환을 차량의 운전자에게 알리기 위해 복수의 경고 매체 소스들 중에서 적어도 하나의 경고 매체를 선택한다. 일 실시예에 의하면, 경고 매체는 단계(350)의 평가된 전환 위험에 기초하여 선택된다. 부가적으로, 본 개시내용의 일 양태에 의하면, 경고 매체는 운전자의 상태에 기초하여 선택될 수 있으며, 여기서 경고 매체는 차량의 동작 모드를 효율적인 방식으로 전이시키기/전환하기 위해 (도 21을 참조하여 나중에 설명되는) 특정 태스크들을 수행하도록 운전자에게 알린다.

단계(380)에서, 프로세스는 선택된 매체에 기초하여 경고를 실행하고, 그 후에 단계(390)에서, 주행 모드 전환 유닛(130)은 차량의 동작 모드의 전환을 실행한다.

이제 도 7을 참조하면, 일 실시예에 따른, 차량의 주행 모드 전환 유닛(130)에 포함된 위험 평가기(230)의 예시적인 블록 다이어그램이 묘사되어 있다. 이전에 언급된 바와 같이, 위험 평가기(230)는 차량이 동작하고 있는 현재 모드와 연관된 위험을 결정하도록 구성된다. 도 8에 도시된 바와 같이, 본 개시내용의 일 실시예에 의하면, 위험 평가는 자율주행 동작 모드 및 수동 동작 모델에서, 제각기, 수행된다. 또한 현재 동작 모드로부터 상이한 모드로 전환할 때 초래되는 위험에 대응하는 위험 평가가 각각의 동작 모드와 연관된다. 차량이 동작할 수 있는 모드들의 개수가 도 8에 묘사된 2개의 모드로 결코 제한되지 않는다는 것이 이해되어야 한다. 오히려, 차량은 도 17b를 참조하여 나중에 설명되는 바와 같이 복수의 모드들에서 동작할 수 있다.

도 7에 묘사된 바와 같은 위험 평가기(230)는 운전자 상태 분석기(710), 운전자 위험 모델(720), 현재 모드 검출기(760), 자동 모드 위험 검출기(730), 수동 모드 위험 검출기(770), 현재 모드 위험 보고 생성기(740), 예외적 위험 핸들러(750), 및 운전자 프로파일들(780)을 포함한다.

일 실시예에 의하면, 운전자 상태 분석기(710)는 차량 내의 운전자 및/또는 승객들의 다양한 특성들에 관한 정보를 캡처하도록 구성된 복수의 센서들로부터 데이터를 수신한다. 예를 들어, 차량 시스템은 위험 평가기(230)가 운전자의 상태를 결정할 수 있게 해주는 시각 센서들, 음향 센서들, 냄새 센서들, 광 센서들 등을 포함한 복수의 센서들을 포함할 수 있다. 다양한 센서들 및 운전자의 상태를 검출하기 위해 센서들에 의해 캡처되는 정보에 관한 세부사항들은 도 10을 참조하여 나중에 설명된다.

현재 모드 검출기(760)는 차량의 현재 동작 모드를 결정하도록 구성된다. 일 실시예에 의하면, 도 5를 참조하여 이전에 설명된 실시간 차량 데이터는 차량의 동작 모드를 결정하는 데 사용될 수 있다. 예를 들어, 차량 내에 배치된 센서들은, 예를 들어, 스티어링 휠이 운전자에 의해 동작되고 있는지, 가속 페달 및/또는 브레이크 페달이 운전자에 의해 제어되고 있는지 등을 검출함으로써 운전자가 차량을 동작시키고 있는지를 결정하도록 구성될 수 있다. 차량이 인간 운전자 또는 자율주행 동작 모드에서 동작되고 있는지를 결정하기 위해 다양한 메커니즘들이 이용될 수 있음이 이해되어야 한다.

차량의 현재 동작 모드의 결정에 기초하여, 현재 모드 검출기(760)는 자동 모드 위험 검출기(730) 또는 수동 모드 위험 검출기(770) 중 어느 하나를 활성화시켜, 차량의 각자의 동작 모드와 연관된 위험을 결정한다. 자동 모드 위험 검출기(730)는 도 4 및 도 5를 참조하여 이전에 설명된 바와 같이, 실시간 데이터 및 실시간 차량 데이터를, 입력으로서, 수신한다. 수동 모드 위험 검출기(770)는 실시간 데이터 및 실시간 차량 데이터, 운전자 상태, 및 운전자 프로파일(780)에 포함된 정보를, 입력으로서, 수신한다.

일 실시예에 의하면, 자동 모드 위험 검출기(730)는 환경 조건들에 기초하여 위험 이벤트들을 결정할 수 있다. 예를 들어, 극도로 안개가 낀 날씨에서, 자동 모드 위험 검출기(730)는 차량이 자율적으로 동작하는 것이 안전하지 않다고 결정할 수 있으며, 예를 들어, 차량의 충돌 센서들이 주변 차량들을 정확하게 검출하는 것이 어려울 수 있다. 유사한 방식으로, 차량이 본질적으로 가파른 빙판 도로 상을 횡단하고 있을 때, 인간 제어 하에서 차량을 동작시키는 것이 실현가능할 수 있는데, 즉 가혹한(빙판) 도로 상태 하에서는 자율주행 모드가 차량을 제어하는 데 적절하지 않을 수 있다. 부가적으로, 가속 차선, 출구 차선, 요금소, 알려진 공사 구역, 스쿨 존(school zone) 및 그러한 영역들 근처의 도로 부분과 같은, 자율 주행이 금지되거나 안전하지 않은 것으로 간주되는 특정 지리적 영역들이 있을 수 있다. 그러한 이벤트들과 연관된 위험은 자동 모드 위험 검출기(730)에 의해 결정된다.

위에서 설명된 바와 같은 위험한 자율 주행 사례들의 시나리오와 유사하게, 일 실시예에 의하면, 수동 모드 위험 검출기(770)는 수동 제어 하에서 차량을 동작시키는 것이 위험할 수 있는 상황들을 결정할 수 있다. 예를 들어, 수동 모드 위험 검출기(770)는 운전자의 검출된 상태 및 운전자 프로파일들(780)에 기초하여 운전자가 임박한 미래에 사고를 당할 가능성이 있다고 결정할 수 있다. 그러한 결정은 고려 중인 차량 근처에 배치된 교통 밀도에 기초할 수 있다. 추가의 예로서, 차량의 수동 동작 모드와 연관된 위험은 차량이 그의 의도된 경로로부터 벗어나는 (미리 결정된 시간 윈도 내에서의) 횟수를 검출하는 것에 대응할 수 있다. 예를 들어, 차량 내의 센서들은 차량이 차선 중앙으로부터 인접 차선 내로 벗어나는 방식으로 운전자에 의해 차량이 동작되고 있음을 검출할 수 있다. 차량 근처에 배치된 교통량에 기초하여, 수동 모드 위험 검출기(770)는 그러한 이벤트의 발생을 위험한 이벤트로서 간주할 수 있다. 유사하게, 운전자 상태 검출기는 운전자가 졸음(drowsiness) 상태에 있다고, 잠이 오고 있다고, 그리고/또는 하품하고 있다고 결정할 수 있고, 인간 운전 모드에서 차량을 동작시키는 것이 위험할 수 있다.

자동 모드 위험 검출기(730)는 물론 수동 모드 위험 검출기(770)는, 주행 위험 모델(720)에 따라, 자율주행 모드 또는 수동 모드에서, 제각기, 차량을 동작시키는 것과 연관된 각자의 위험들을 검출한다. 구체적으로는, 각각의 입력 정보에 기초하여, 자동 모드 위험 검출기(730)는 물론 수동 모드 위험 검출기(770)는 각자의 모드들에서 차량을 동작시킬 때의 위험을 평가하기 위해 위험 모델(720)을 이용한다.

일 실시예에 의하면, 자동 모드 위험 검출기(730) 및 수동 모드 위험 검출기(770)는 운전자에 관한 정보 및/또는 차량이 횡단하고 있는 지리적 위치에 관한 상기 검출된 시나리오들을 위험 보고 생성기(740)에 입력한다. 위험 보고 생성기(740)는 주행 위험 모델들(720)을 이용하여 차량의 자동 동작 모드 또는 수동 동작 모드와, 제각기, 연관된 위험 보고를 생성하고, 차량의 동작 모드와 연관된 현재 위험을 출력한다.

더욱이, 본 개시내용의 일 실시예에 의하면, 자동 모드 위험 검출기(730) 및 수동 모드 위험 검출기(770)는 (제각기 검출된 위험들을 나타내는) 입력들을 예외적 위험 핸들러(750)에 제공한다. 도 12를 참조하여 나중에 설명될 것인 바와 같이, 차량 시스템은, 차량의 현재 동작 모드에서 위험을 검출할 때, 일 실시예에 의하면, 차량을 상이한 동작 모드로 전환하는 것과 연관된 위험을 결정할 수 있다. 상이한 동작 모드와 연관된 위험이 허용가능 한계 내에 있는 경우, 차량 시스템은 차량의 동작 모드를 전환하는 동작을 실행할 수 있다.

그렇지만, 차량의 상이한 동작 모드와 연관된 위험이 수용가능하지 않은 경우, 현재 위험 평가기(230)는, 운전자 프로파일에 기초하여, 이전에 언급된 바와 같이 안전성 관련 기능들을 수행하도록 구성될 수 있는 예외적 위험 핸들러(750)를 활성화시킬 수 있다. 예를 들어, 예외적 위험 핸들러(750)는 차량을 즉각 정지시키는 것, 정부 기관에 지원 요청을 개시하는 것(예를 들어, 자동으로 911에 전화를 거는 것 또는 차량과 연관된 모바일 폰을 통해 긴급 출동을 요청하는 것), 차량의 GPS 위치를 특정 차량 및 다른 유사 차량들의 동작들을 모니터링하는 서버에 전송하는 것과 같은 프로세스들을 실행할 수 있다. 차량을 완전히 정지시키는 위에서 언급된 기능들을 수행하는 것이 차량의 현재 속력을 결정하는 것, 차량이 횡단하고 있는 현재 차선, 주변 교통상황, 도로 상의 길어깨 영역(예를 들어, 정차 구역)을 식별하는 것, 및 점진적으로 차량을 안전한 방식으로 완전히 정지시키는 것과 같은 프로세싱 단계들을 포함할 수 있음이 이해되어야 한다.

도 9는 본 교시내용의 일 실시예에 따른, 위험 평가기(230)에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다. 프로세스는, 고려 중인 차량의 운전자 및/또는 승객의 활동들(도 10을 참조하여 다음에 설명됨)이 복수의 센서들을 통해 검출되는, 단계(905)에서 시작된다.

센서들에 의한 검출된 정보 및 운전자 검출 모델(도 10을 참조하여 다음에 설명됨)에 기초하여, 단계(910)에서의 프로세스는 운전자/승객 상태를 분석한다. 단계(915)에서, 차량의 현재 동작 모드가 결정된다. 예를 들어, 도 7에 도시된 바와 같은 현재 모드 검출기(760)는 차량의 현재 동작 모드를 검출할 수 있다.

프로세스는 추가로, 차량이 자율주행 모드에서 동작하고 있는지를 결정하기 위한 질의가 수행되는, 단계(920)로 진행한다. 질의에 대한 응답이 긍정적인 경우, 프로세스는 단계(925)로 이동하며, 그렇지 않고 차량이 수동 모드에서 동작하고 있는 경우, 프로세스는 단계(930)로 이동한다.

단계(930)에서, 프로세스는 수동 모드에서 동작하는 차량과 연관된 위험들을 검출한다. 이전에 설명된 바와 같이, 그러한 위험의 결정은 운전자의 검출된 상태, 운전자 프로파일에 포함된 정보, 및 운전자가 동작시키고 있는 차량에 관한 실시간 정보에 적어도 기초할 수 있다. 운전자 프로파일에 포함된 정보는 운전자의 특성들에 대응하는 정적 운전자 정보, 예를 들어, 운전자가 장애가 있는지, 근시인지, 운전자의 의료 정보 등인 반면에, 검출된 운전자 상태에 관련된 정보는 운전자의 현재 행동에 기초한 동적 정보라는 것이 이해되어야 한다.

단계(920)로 돌아가서, 차량이 자율주행 모드에서 동작하고 있다고 결정되는 경우, 프로세스는 단계(925)로 이동하여 자율주행 모드에서의 차량의 동작 상태를 획득한다. 예를 들어, 프로세스는 차량의 위치, 차량이 진행하고 있는 현재 속력, 및 유사 정보를 결정할 수 있다. 일 실시예에 의하면, 프로세스는 차량이 동작되고 있는 자율주행 모드의 레벨(도 17b를 참조하여 나중에 설명됨)을 결정하도록 구성될 수 있다.

자율주행 모드에서(단계 935) 또는 인간 운전 모드에서(단계 930) 차량을 동작시킬 때의 각자의 위험들을 결정할 시에, 프로세스는 단계(940)로 이동한다. 단계(940)에서, 예외적 핸들링이 요구되는지, 즉 차량의 자율주행 모드에서의 또는 인간 운전 모드에서의 결정된 위험들이 예외적으로 높은지를 결정하기 위한 질의가 수행된다. 질의에 대한 응답이 긍정적인 경우, 프로세스는, 차량이 예외 핸들링 모드에서 동작되고 이전에 설명된 예외 핸들링 기능들 중 적어도 하나가 수행되는, 단계(950)로 이동한다.

그렇지만, 단계(940)에서의 질의에 대한 응답이 부정적인 경우, 프로세스는, 위험 평가 보고가 생성되는, 단계(955)로 이동한다. 게다가, 단계(960)에 도시된 바와 같이, 생성된 위험 평가 보고는 차량에 포함된 디스플레이 패널 상에 디스플레이될 수 있고 그리고/또는 모니터링 목적으로 원격 서버에 전송될 수 있다.

도 10은 본 교시내용의 일 실시예에 따른, 운전자 상태 분석기(710)의 예시적인 블록 다이어그램을 묘사한다. 운전자 상태 분석기(710)는 센서 활성화기(1010), 복수의 인-시츄(in-situ) 센서들(1020), 운전자 검출기(1030), 운전자 검출 모델(1040), 행동 특징 검출기(1050), 특징 행동 모델(1060), 운전자 건강 추정기(1070), 기능적 상태 추정기(1055), 정신 상태 추정기(1080), 및 현재 사용자 상태 생성기(1090)를 포함한다.

본 개시내용의 일 양태에 의하면, 운전자 상태 분석기(710)는 운전자의 상태를 결정하도록 구성된다. 상태를 결정하는 것은 운전자가 임의의 잠재적 위험 상황들이 회피될 수 있도록 차량을 조종하는 것에 관련된 활동들을 수행할 수 있는지를 정확한 방식으로 예측할 수 있게 해준다.

일 실시예에 의하면, 센서 활성화기(1010)는 운전자 상태를 검출하기 위해 인-시츄 센서들(1020)을 활성화시킨다. 인-시츄 센서들(1020)은 운전자의 상태의 검출을 가능하게 해주는 시각 센서들, 음향 센서들, 냄새 센서들, 광 센서들 등을 포함한 복수의 센서들을 포함한다. 예를 들어, 인-시츄 센서들(1020)에 포함된 시각 센서들은 다양한 시점들로부터의 장면의 이미지들을 프로세싱하여 개별 이미지들보다 더 유용한 어떤 형태로 융합시킬 수 있는 차량 내의 복수의 공간적으로 분산된 카메라 디바이스들을 포함할 수 있다. 예를 들어, 시각 센서들은 운전자의 포즈(즉, 운전자 시트에서의 운전자의 자세/배향)를 캡처하도록 구성될 수 있다. 포즈 정보는 스티어링 휠에 대한 운전자의 머리의 위치, (운전자의 눈 추적(eye-tracking)에 기초한) 운전자가 바라보는 방향 등의 부가 정보를 결정하는 데 사용될 수 있다. 인-시츄 센서들(1020)에 의해 캡처되는 정보는, 예를 들어, 운전자 검출 모델(1040)에 기초하여 운전자의 포즈를 결정하는 운전자 검출기 유닛(1030)에 입력된다.

운전자 검출기 유닛(1030)에 의해 검출되는 정보, 예를 들어, 운전자의 포즈는 행동 특징 검출기(1050)에 입력될 수 있다. 행동 특징 검출기(1050)는, 특징 행동 모델(1060)에 기초하여, 운전자의 검출된 포즈와 연관된 특징들을 결정하도록 구성될 수 있다. 예를 들어, 운전자가 자고 있는지, 운전자가 하품하고 있는지, 운전자가 졸음이 오는지 및/또는 구역질하는지 등과 같은 특징들은 특징 행동 검출기(1050)에 의해 결정될 수 있다.

일 실시예에 의하면, 운전자의 검출된 행동은 운전자의 건강을 결정하도록 구성된 운전자 건강 추정기(1070)에 입력된다. 일 실시예에 의하면, 인-시츄 센서들은 차량의 운전자 상에 배치되는 복수의 센서들, 예를 들어, 운전자의 건강에 관한 정보를 수집하는, 웨어러블 센서들 및/또는 운전자에 의해 착용된 디바이스(예를 들어, 시계)에 포함된 센서들을 포함할 수 있다. 그러한 센서들은, 예를 들어, 운전자의 심박수를 결정하도록 구성된 심박수 센서, 운전자의 피부 표면의 온도를 검출하도록 구성된 온도 센서 등을 포함할 수 있다. 운전자의 건강에 관한 정보는 현재 사용자 상태 생성기(1090)에 입력된다.

본 개시내용의 일 실시예에 따르면, 운전자의 행동에 관한 정보는 기능적 상태 추정기(1055) 및 정신 상태 추정기(1080)에 입력될 수 있다. 기능적 상태 추정기(1055)는 또한 운전자의 기능적 상태를 결정하기 위해 특징 행동 모델(1060), 운전자 검출기 유닛(1030), 및 인-시츄 센서들(1020)로부터 부가의 입력들을 수신한다. 예를 들어, 기능적 상태 추정기(1055)는, 운전자의 검출된 포즈/배향에 기초하여, 운전자가 안전한 방식으로 차량을 동작시킬 수 있는지, 즉 운전자가 용인가능한 방식으로 기능하는지를 결정하도록 구성될 수 있다.

기능적 상태 추정기(1055)에 의해 추정되는 운전자의 기능적 상태에 기초하여, 정신 상태 추정기(1080)는 운전자의 정신 상태가 정상인지를 결정하도록 구성될 수 있다. 그러한 정보는 운전자가 차량을 조종할 수 있는지를 결정하는 데 사용될 수 있다. 정신 상태 정보는 운전자가 발작과 같은 생명을 위협하는 이벤트를 경험하고 있는지에 관한 정보를 포함할 수 있다. 심박수 모니터 등을 포함한 의료 센서들과 같은 센서들로부터의 정보가 운전자의 정신 상태를 결정하기 위해 정신 상태 추정기(1080)에 의해 사용될 수 있음이 이해되어야 한다. 모듈들: 건강 추정기(1070), 정신 상태 추정기(1080) 및 기능적 상태 추정기(1055)에 의해 추정되는 운전자에 관한 정보는 추정된 건강 관련 정보를 조합하여 사용자의 현재 상태, 즉 운전자의 상태 정보를 결정하는 현재 사용자 상태 생성기(1090)에 입력된다.

도 11은 본 교시내용의 일 실시예에 따른, 운전자 상태 분석기(710)에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다. 프로세스는, 센서 활성화기(도 10에서의 1010)가 차량의 운전자에 관한 정보를 제각기 캡처하기 위해 복수의 인-시츄 센서들을 활성화시키는, 단계(1110)에서 시작된다. 단계(1120)에서, 운전자 검출기는, 각자의 센서들로부터 정보를 수신할 때, 운전자 검출 모델을 이용하여 운전자의 상태를 검출한다(단계(1130)). 구체적으로는, 단계(1103)에서, 차량 내에서의 운전자의 위치, 운전자의 포즈 등과 같은 차량의 운전자의 상태에 관련된 정보는 운전자 검출 모델에 기초하여 결정될 수 있다.

프로세스는 이어서, 운전자의 행동 특징들이 검출되는, 단계(1140)로 진행한다. 구체적으로는, 단계(1140)에서, 단계(1130)에서 검출되는 정보에 기초하여, 운전자가 자고 있는지, 졸고 있는지, 구역질을 하는지 등과 같은 행동 특징들을 검출하기 위해 행동 특징 모델이 이용될 수 있다. 단계(1140)에서 검출된 행동 특징들은, 단계(1150), 단계(1160), 및 단계(1170)에서, 도 10을 참조하여 이전에 설명된 바와 같이, 운전자의 기능적 상태, 운전자의 건강, 및 운전자의 정신 상태를, 제각기, 추정하는 데 이용될 수 있다.

검출된 운전자의 기능적 상태, 운전자의 건강, 및 운전자의 정신 상태는 단계(1180)에서 운전자의 전체적인 상태를 생성하는 데 사용될 수 있다. 예를 들어, 현재 운전자 상태 생성기(도 10에서의 1090)는 검출된 운전자의 정신 정보, 기능적 정보 및 건강 정보에 기초하여 운전자의 전체적인 상태를 결정하는 데 이용될 수 있다.

프로세스는 이어서, 예를 들어, 차량이 동작되고 있는 현재 모드와 연관된 위험을 결정하기 위해, 단계(1180)로부터의 생성된 운전자의 상태가 현재 모드 위험 보고 생성기(도 7에서의 740)에 포함되도록 그리고/또는 전환 위험 결정기 및 전환 위험 평가기에 의해 이용되도록 출력될 수 있는, 단계(1190)로 진행한다.

도 12는 본 교시내용의 일 실시예에 따른, 전환 위험 결정기(240)의 예시적인 블록 다이어그램을 묘사한다. 전환 위험 결정기(240)는 전환 방향 제어기(1210), 자율주행 대 인간(A-H) 모드 전환 위험 결정기(1230), A-H 예외적 위험 핸들러(1220), 인간 대 자율주행(H-A) 모드 전환 위험 결정기, 및 H-A 예외적 위험 핸들러(1250)를 포함한다.

전환 방향 제어기(1210)는 차량의 현재 동작 모드를 입력으로서 수신한다. 현재 모드에 기초하여, 전환 방향 제어기(1210)는 A-H 전환 위험 결정기(1230) 및 H-A 전환 위험 결정기(1240) 중 하나를 활성화시킨다. 도 14 및 도 17을, 제각기, 참조하여 나중에 설명되는 바와 같이, A-H 전환 위험 결정기(1230)는 자율주행 동작 모드로부터 차량의 인간 운전자 동작 모드로 전이하는 것과 연관된 위험을 결정하는 반면, H-A 전환 위험 결정기(1240)는 인간 운전자 모드로부터 차량의 자율주행 동작 모드로 전이하는 것과 연관된 위험을 결정한다.

일 실시예에 의하면, A-H 전환 위험 결정기(1230) 및 H-A 전환 위험 결정기(1240)는, 제각기, 차량의 현재 모드를 전환하는 것과 연관된 위험이 미리 결정된 임계 레벨 미만이라는 결정에 기초하여 차량 제어 신호들을 생성한다. 차량 제어 신호들은 차량의 동작 모드의 각자의 전환을 수행하도록 차량 제어(도 2에서의 260)에 지시하기 위해 A-H 전환 위험 결정기(1230) 및 H-A 전환 위험 결정기(1240)에 의해, 제각기, 전환 실행기(예를 들어, 도 2에서의 블록(280))에 전송될 수 있다.

더욱이, A-H 전환 위험 결정기(1230) 및 H-A 전환 위험 결정기(1240)는, 제각기, 다음과 같은 신호들: A-H 전환 경고 지시 및 H-A 전환 경고 지시(제각기, 도 14 및 도 17a를 참조하여 나중에 설명됨)를 생성한다. 일 실시예에 의하면, A-H 전환 경고 지시 및 H-A 전환 경고 지시 둘 다는 차량의 동작 모드의 성공적인 전환이 발생할 수 있도록 차량의 운전자에 의해 수행될 태스크 세트와 연관된다.

그렇지만, A-H 전환 위험 결정기(1230) 또는 H-A 전환 위험 결정기(1240)가 차량의 동작 모드의 전환과 연관된 위험이 용인가능하지 않다(즉, 고위험 모드)고 결정하는 경우, A-H 전환 위험 결정기(1230) 및 H-A 전환 위험 결정기(1240)는, 제각기, A-H 예외 위험 핸들러(1220) 및 H-A 예외 위험 핸들러(1250)를 활성화시킨다. 이전에 언급된 바와 같이, A-H 예외 위험 핸들러(1220) 및 H-A 예외 위험 핸들러(1250)는 일 실시예에 의하면 차량을 즉각 정지시키는 것, 정부 기관에 지원 요청을 개시하는 것(예를 들어, 자동으로 911에 전화를 거는 것 또는 차량과 연관된 모바일 폰을 통해 긴급 출동을 요청하는 것), 차량의 GPS 위치를 특정 차량 및 다른 유사 차량들의 동작들을 모니터링하는 서버에 전송하는 것과 같은 안전성 관련 기능들을 수행하도록 구성될 수 있다. 차량을 완전히 정지시키는 위에서 언급된 기능들을 수행하는 것이 차량의 현재 속력을 결정하는 것, 차량이 횡단하고 있는 현재 차선, 주변 교통상황, 도로 상의 길어깨 영역(예를 들어, 정차 구역)을 식별하는 것, 및 점진적으로 차량을 안전한 방식으로 완전히 정지시키는 것과 같은 프로세싱 단계들을 포함할 수 있음이 이해되어야 한다.

도 13은 본 교시내용의 일 실시예에 따른, 전환 위험 결정기(240)에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다. 프로세스는, 실시간 정보(도 4를 참조하여 이전에 설명됨)가 전환 위험 결정기에 의해 획득되는, 단계(1310)에서 시작된다. 단계(1315)에서, 전환 위험 결정기는 운전자의 현재 상태에 관한 정보를 수신한다. 예를 들어, 전환 위험 결정기는 도 10에서의 현재 운전자 상태 생성기(1090)로부터 운전자의 현재 상태를 획득한다.

프로세스는 추가로, 차량이 자율주행 차량 동작 모드로부터 인간 운전 차량 동작 모드로(A-H) 전환하려고 의도하는지, 또는 차량이 인간 운전 차량 동작 모드로부터 자율주행 차량 동작 모드로(H-A) 전환하려고 의도하는지를 결정하기 위한 질의가 수행되는, 단계(1320)로 진행한다. 질의에 대한 응답이 자율주행 모드로부터 인간 운전 모드로의 전환(즉, A-H 전환)인 경우, 프로세스는 단계(1325)로 이동한다. 질의에 대한 응답이 인간 운전 모드로부터 자율주행 모드로의 전환(즉, H-A)인 경우, 프로세스는 단계(1350)로 이동한다.

단계(1325)에서, 전환 위험 결정기는 자율주행 차량 동작 모드로부터 인간 운전 차량 동작 모드로의 전환을 수행하는 것과 연관된 위험을 결정한다. 도 14 및 도 17b를 참조하여 나중에 상세하게 설명될 것인 바와 같이, 자율주행 모드로부터 인간 운전자 모드로 전환하는 동안, 차량의 동작 모드를 전환하기 위해 수행될 추정된 태스크 세트가 운전자에 제시된다. 운전자가 추정된 태스크 세트를 수행하는지에 기초하여, A-H 전환 위험 결정기(240)는 차량을 인간 운전자 모드로 전환하는 것과 연관된 위험을 결정한다.

그 후에, 단계(1330)에서의 프로세스는 고위험이 인간 운전 모드로 전이하는 것과 연관되는지를 결정하기 위한 질의를 수행한다. 질의에 대한 응답이 긍정적인 경우, 프로세스는, 예외 핸들링 프로세스가 수행되는, 단계(1345)로 이동한다. 그렇지만, 단계(1330)에서의 질의에 대한 응답이 부정적인 경우, 프로세스는 단계(1335)로 이동한다.

단계(1335)에서, 프로세스는 인간 운전 차량 동작 모드로의 성공적인 전환이 발생할 수 있기 전에 차량의 운전자에 의해 수행될 태스크 세트와 연관된 A-H 전환 지시 경고를 생성한다. 그 후에, 단계(1340)에서의 프로세스는 운전자가 추정된 태스크 세트를 수행하는 것과 동시에 전환 동작을 수행하도록 차량의 제어 시스템에 지시하기 위해 A-H 차량 제어 신호를 생성(및 출력)한다.

위에서 설명된 단계(1325) 내지 단계(1345)와 유사하게, 전환 위험 결정기는 단계(1350) 내지 단계(1370)에서 인간 운전 차량 동작 모드로부터 자율주행 차량 동작 모드로의 전환에 관련된 기능들을 수행한다. 구체적으로는, 단계(1350)에서, 전환 위험 결정기는 인간 운전 차량 동작 모드로부터 자율주행 차량 동작 모드로의 전환을 수행하는 것과 연관된 위험을 결정한다.

프로세스는 이어서, 고위험이 자율주행 차량 동작 모드로 전이하는 것과 연관되는지를 결정하기 위한 질의가 이루어지는, 단계(1355)로 이동한다. 질의에 대한 응답이 긍정적인 경우, 프로세스는, 예외 핸들링 프로세스가 수행되는, 단계(1370)로 이동한다. 그렇지만, 단계(1335)에서의 질의에 대한 응답이 부정적인 경우, 프로세스는 단계(1360)로 이동한다.

단계(1360)에서, 프로세스는 자율주행 차량 동작 모드로의 성공적인 전환이 발생할 수 있을 때 차량의 운전자에 의해 수행될 태스크 세트와 연관된 H-A 전환 지시 경고를 생성한다. 그 후에, 단계(1365)에서의 프로세스는 자율주행 동작 모드로의 전환을 수행하도록 차량 제어 시스템에 지시하기 위해 H-A 차량 제어 신호를 생성(및 출력)한다.

도 14는 본 교시내용의 일 실시예에 따른, 자율주행 모드 대 인간 운전자/수동(A-H) 모드 전환 위험 결정기(1230)의 예시적인 블록 다이어그램을 묘사한다. 이전에 언급된 바와 같이, A-H 전환 위험 결정기(1230)는 차량의 동작 모드를 자율주행 동작 모드로부터 인간 운전자 동작 모드로 전환하는 것과 연관된 위험을 결정하도록 구성된다. 도 14에 도시된 바와 같이, A-H 전환 위험 결정기(1230)는 운전자 프로파일들(1410), 일반 응답 시간 프로파일들(1420), 응답 시간 추정기(1430), 전환 태스크 추정기(1460), 전환 태스크 모델(1415), 전환 위험 추정기(1440), 및 A-H 경고 지시 생성기(1450)를 포함한다.

본 개시내용의 일 실시예에 의하면, 차량의 현재 동작 모드(즉, 도 14와 관련한 자율주행 모드)와 연관된 위험 정도/레벨에 기초하여, A-H 전환 위험 결정기(1230)는 위험한 시나리오들을 피하기 위해 차량이 인간 운전 모드로 전이해야 하는 시간량을 결정한다. 예를 들어, 차량이 짙은 안개로 뒤덮인 도로를 따라 자율주행 모드에서 주행되는 경우를 고려한다. 이 경우에, 차량의 센서들은 그 근처에 있는 차량들을 정확한 방식으로 검출하지 못할 수 있으며, 따라서 차량을 자율주행 모드에서 계속 동작시키는 것이 실현가능하지 않을 수 있다. 자율주행 동작 모드와 연관된 위험(예를 들어, 실시간 안개 상태, 지역에서의 교통량 등에 기초하여 결정됨)에 기초하여, A-H 전환 위험 결정기(1230)는 안전성 문제로 인간 차량 동작 모드로의 전이가 이루어져야 하는 시간량을 결정할 수 있다.

게다가, 전환 태스크 추정기(1460)는 현재 승객 상태, 실시간 데이터 및 실시간 차량 데이터를, 입력으로서, 수신한다. 도 4 및 도 5를 참조하여 이전에 설명된 바와 같이, 실시간 데이터는 차량의 내부 및 외부 능력들을 포함하는 반면, 실시간 차량 데이터는 자동차의 위치, 차량이 현재 위치해 있는 환경, 가시성의 정도, 차량의 정비중(in-service) 정보 등에 관한 정보를 포함한다. 일 실시예에 의하면, 수신된 입력들에 기초하여, 전환 태스크 모델(1415)에 따르면, 전환 태스크 추정기(1460)는 차량의 동작 모드를 자율주행 모드로부터 인간 운전자 모드로 전환하는 것을 가능하게 해주는 운전자에 의해 수행될 태스크 세트를 결정한다. 부가적으로, 일 실시예에 의하면, 전환 태스크 추정기(1460)는 현재 운전자 상태를 수신하고 운전자가 임의의 태스크들을 수행할 수 있는지를 결정한다. 예를 들어, 운전자의 상태가 운전자가 완전히 깨어 있지 않거나 실신했거나 등인 경우, 전환 태스크 추정기는 고위험이 차량의 동작 모드를 인간 운전자 모드로 전환하는 것과 연관되어 있음을 전환 위험 추정기(1440)에 시그널링할 수 있고, 따라서 이전에 설명된 바와 같이 예외 핸들링 프로세스를 구현하도록 전환 위험 추정기(1440)에 지시한다.

차량의 수동 동작 모드로 전환하기 전에, 운전자가 차량을 동작시킬 수 있는지를 결정하기 위한 결정이 요구될 수 있다. 그러한 결정들은 운전자의 포즈를 검증하는 것, 운전자의 각성도를 결정하는 것 등을 포함할 수 있다. 일 실시예에 의하면, 운전자의 각성도는 운전자에게 일련의 태스크들을 부과하고(예를 들어, 태스크들은 차량에 포함된 디스플레이 패널 상에 지시들의 형태로 디스플레이될 수 있음), 운전자가 지시된 태스크들을 만족스러운 방식으로 수행하는지를 결정하는 것에 의해 결정될 수 있다. 그러한 태스크들은 차선 변경을 수행하도록 운전자에게 지시하는 것, 차량의 디스플레이 패널 상에 객체(예를 들어, 깜박거리는 아이콘)를 디스플레이하는 것 및 각성 레벨 등을 결정하기 위해 운전자의 눈의 움직임을 추적하는 것을 포함할 수 있다. 더욱이, 예를 들어, 차량 시스템에 포함된 프로세서(도 24를 참조하여 나중에 설명됨)에 의해 프로세싱되는 운전자의 바이탈 사인들(vital signs)을 측정하는 혈압, 심박수 모니터 등과 같은 의료 센서들을 통해 운전자의 건강을 결정하는 데 일정 양의 시간이 요구될 수 있다.

게다가, 전환 태스크 추정기(1460)에 의해 수신되는 실시간 정보에 기초하여, 차량을 인간 운전자 모드로 성공적으로 전이시키기 위해 운전자가 수행할 태스크 세트가 추정될 수 있다. 전환 태스크 모델(1415)에 따라 전환 태스크 추정기(1460)에 의해 추정되는 태스크 세트가 위에서 설명된 바와 같은 태스크들로 결코 제한되지 않는다는 것이 이해되어야 한다.

도 14에 도시된 바와 같이, 전환 태스크 추정기(1460)의 출력, 즉 차량의 수동 동작 모드로의 전환을 개시하기 위해 (예를 들어, 차량의 인간 운전자에 의해) 수행될 추정된 태스크들은 응답 시간 추정기(1430)에 입력된다. 응답 시간 추정기(1430)는 차량의 운전자가 추정된 태스크 세트를 수행하는 데 요구되는 시간량을 추정한다. 구체적으로는, 응답 시간 추정기(1430)는 전환 태스크 추정기(1460)에 의해 추정되는 태스크들 각각을 운전자가 완료하는 데 요구되는 시간량을 추정한다. 일 실시예에 의하면, 응답 시간 추정기(1430)는 현재 승객 상태, 운전자 프로파일(1410), 및 일반 응답 시간 프로파일(1420)에 기초하여 태스크들을 수행하는 데 요구되는 시간량을 추정한다. 현재 승객 상태가, 이전에 설명된 바와 같이, 운전자 상태 분석기(즉, 도 7에서의 블록(710))에 포함된 현재 상태 생성기(도 10에서의 1090)로부터 획득될 수 있음이 이해되어야 한다.

운전자 프로파일(1410)은 운전자의 운전 이력에 관련된 정보, 예를 들어, 미리 결정된 이전 시간 기간 내에 운전자가 관여된 위반 횟수, 및 운전자가 동작시키고 있는 차량의 모델, 및 운전자가 장애가 있는지, 근시인지 등과 같은 운전자의 특성들을 포함할 수 있다. 더욱이, 운전자 프로파일(1410)은 자율주행 모드로부터 수동 모드로의 이전의 모드 전환 동작들, 및 그 전환 동작들에서 운전자가 추정된 태스크 세트를 수행하는 데 요구되는 대응하는 시간들에 기초하여 계산될 수 있는 운전자의 각성도 점수(alertness score)를 포함할 수 있다. 부가적으로, 예를 들어, (현재 운전자와 유사한 프로파일을 갖는) 다른 운전자들이 추정된 태스크 세트를 수행하는 데 소비된 시간량을 포함하는 일반 응답 시간 프로파일(1420)로부터의 정보는 (현재 운전자가) 추정된 태스크 세트를 수행하는 데 요구되는 시간량을 추정하기 위해 응답 시간 추정기(1430)에 의해 사용될 수 있다.

일 실시예에 의하면, 도 16에 도시된 바와 같이, 추정된 태스크 세트를 수행하는 데 요구되는 응답 시간은 운전자의 생리학적 정보(예를 들어, 운전자의 현재 위치 또는 포즈), 사용자/운전자 정보(예를 들어, 수동 동작 모드의 전이에의 이전 관여에서 요구된 시간, 운전자의 상태 등), 도로 상태, 도로 상의 가시성의 정도, 도로 상의 교통량과 같은 외부 인자들, 차량의 허용가능 속력, 차량의 가능 안전성, 차량의 상태(예를 들어, 차량 내의 결함들의 개수) 등과 같은 차량의 내부 능력들 기초하여 결정될 수 있다.

수행될 추정된 태스크 세트 및 태스크들을 수행할 때 추정되는 대응하는 응답 시간이 전환 위험 추정기(1440)에 입력된다. 일 실시예에 의하면, 전환 위험 추정기(1440)는 태스크들을 수행하는 데 요구되는 추정 시간(T_E)을 차량이 상이한 모드(본 실시예에서 인간 운전자 모드)로 전이해야 하는 시간량(T)과 비교한다. 태스크 세트를 수행하기 위한 추정 시간이 일반 응답 시간 프로파일(1420)에 의해 결정된다는 것이 이해되어야 한다. 추정 시간(T_E)이 (T)보다 더 큰 경우, 전환 위험 추정기(1440)는 수동 동작 모드로 전이하는 것과 연관된 위험이 높다, 즉 인간 운전자 모드로 전환하는 것의 위험이 높다는 것을 나타내는 고위험 제어 신호를 생성한다. 그러한 상황들에서, A-H 전환 위험 결정기(1230)는 이전에 설명된 예외 핸들링 동작들을 수행할 수 있다. 그렇지만, 추정 시간(T_E)이 (T)보다 더 낮은 경우, 전환 위험 추정기(1440)는 A-H 전환 지시 생성기(1450)를 활성화시킨다. A-H 전환 지시 생성기(1450)는 차량의 동작 모드를 인간 운전 모드로 성공적으로 전환하기 위해 차량의 운전자에 의해 수행될 태스크 세트와 연관된 A-H 전환 경고 지시 신호를 생성한다.

도 15를 참조하면, 본 개시내용의 일 실시예에 따른, (A-H) 모드 전환 위험 결정기에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트가 묘사되어 있다. 프로세스는, (A-H) 모드 전환 위험 결정기가 차량의 내부 및 외부 능력들은 물론 실시간 차량 데이터를 포함하는 실시간 정보를 수신하는, 단계(1510)에서 시작된다.

프로세스는 이어서, (A-H) 모드 전환 위험 결정기가 차량의 동작 모드를 인간 운전 모드로 성공적으로 전환하기 위해 인간 운전자에 의해 수행될 태스크 세트를 추정하는, 단계(1520)로 이동한다. 일 실시예에 의하면, 태스크 세트가 전환 태스크 모델에 따라 수신된 실시간 정보에 기초하여 추정될 수 있음에 유의한다.

단계(1530)에서, 응답 시간, 즉 차량의 운전자가 태스크 세트의 각각의 태스크를 완료하는 데 요구되는 시간량이 추정된다. 응답 시간이 도 14를 참조하여 이전에 설명된 바와 같이 운전자 프로파일, 현재 운전자 상태, 및 일반 응답 시간 프로파일 중 적어도 하나에 기초하여 계산될 수 있음이 이해되어야 한다.

프로세스는 추가로, 차량의 동작 모드를 인간 운전 모드로 전환하는 것과 연관된 위험이 결정되는, 단계(1540)로 진행한다. 이전에 언급된 바와 같이, 전환 위험은 태스크 세트를 수행하는 총 추정 시간과 차량이 현재 모드(예를 들어, 자율주행 모드)에서 차량을 동작시키는 것과 연관된 위험 레벨에 기초하여 결정되는 상이한 모드(예를 들어, 인간 운전자 모드)로 전이해야 하는 시간의 비교에 기초하여 결정될 수 있다.

그 후에, 프로세스는 단계(1550)에서 (단계(1540)에서의) 결정된 위험이 높은지를 결정하기 위한 질의를 수행한다. 예를 들어, 단계(1540)의 결정된 위험이 특정 기준을 위반하는지, 예를 들어, T_E가 T보다 더 큰지를 검증하기 위한 결정이 이루어진다. 단계(1550)에서의 질의에 대한 응답이 긍정적인 경우, 프로세스는 단계(1570)로 진행하고, 그렇지 않은 경우, 프로세스는 단계(1560)로 이동한다.

단계(1540)의 결정된 위험이 기준을 위반하지 않는(즉, T_E가 T보다 더 낮은) 경우에 대응하는, 단계(1560)에서, 프로세스는 A-H 전환 경고 지시 신호를 생성하고, 이 A-H 전환 경고 지시 신호는 추가로 단계(1580)에서 추정된 태스크 세트를 차량의 운전자에게 출력(예를 들어, 패널 상에 디스플레이)하기 위해 이용된다. 태스크 세트를 운전자에게 제시하는 것에 관한 세부사항들은 도 19 및 도 21을 참조하여 더 상세하게 나중에 설명된다. 그렇지만, 단계(1550)에서의 위험이 높은 것으로 결정되는 경우, 프로세스는 단계(1570)에서 이전에 설명된 바와 같은 예외 핸들링 절차들을 실행한다.

도 17a는 본 교시내용의 일 실시예에 따른, 인간 운전자 대 자율주행(H-A) 모드 전환 위험 결정기(1240)의 예시적인 블록 다이어그램을 묘사한다. 이전에 언급된 바와 같이, H-A 전환 위험 결정기(1240)는 차량의 동작 모드를 수동 모드로부터 자율주행 차량 동작 모드로 전환할 때의 위험을 결정하도록 구성된다. 아래에서 설명되는 바와 같이, 차량의 동작 모드를 전환할 때의 추정 위험에 기초하여, (H-A) 모드 전환 위험 결정기(1240)는 (인간 운전자 모드로부터) 자율주행 차량 동작 모드로 전환하는 것이 실행가능한지를 결정한다.

도 17a에 도시된 바와 같이, H-A 전환 위험 결정기(1240)는 전환 태스크 결정기(1710), 전환 시간 추정기(1720), 자동 인계 위험 추정기(1750), 자동 인계 태스크 모델(1730), 차량 모델(1740), H-A 경고 지시 생성기(1760), 및 제어 신호 생성기(1770)를 포함한다. 전환 태스크 결정기(1710)는 실시간 데이터, 실시간 차량 데이터, 및 현재 운전자 상태를, 입력으로서, 수신한다. 도 4 및 도 5를 참조하여 이전에 설명된 바와 같이, 실시간 데이터는 차량의 내부 및 외부 능력들을 포함하는 반면, 실시간 차량 데이터는 자동차의 위치, 차량이 현재 진행하고 있는 환경, 환경에서의 가시성의 정도, 차량의 정비중 정보 및 기타 정보에 관한 정보를 포함한다. 더욱이, 전환 태스크 결정기(1710)는 도 10에서 이전에 설명된 바와 같이 사용자 상태 생성기에 의해 생성되는 현재 승객 상태를 입력으로서 수신한다.

수신된 입력들에 기초하여, 전환 태스크 결정기(1710)는 자동 인계 태스크 모델(1730)을 이용하여 자율주행 동작 모드에서 (예를 들어, 차량에 의해) 수행될 태스크 세트를 생성한다. 예를 들어, 일 실시예에 의하면, 태스크 세트는 차량의 속력을 제어하는 것(즉, 인근 교통상황에 기초하여 차량의 속력을 감소시키거나 증가시키는 것), 차량의 조종성(maneuverability)을 제어하는 것(즉, 차량의 스티어링 휠 기능성을 제어하는 것), 차량이 현재 진행하고 있는 차선을 변경하는 것, (안전성 목적으로) 차량의 위치가 자율 주행을 제한하는 구역(예를 들어, 스쿨 존과 같은 특정 지리적 위치, 요금소와 같은 고속도로 상의 특정 영역 등)에 있는지를 결정하는 것을 포함할 수 있다. 자율주행 모드에서 수행될 앞서 설명된 태스크들 각각이 인간 운전 모드로부터 자율주행 차량 동작 모드로의 원활한 전이를 보장하기 위해 차량의 운전자에 의해 수행될 태스크와 연관될 수 있음이 이해되어야 한다. 예를 들어, 운전자에 의해 수행될 태스크들은 차량이 자율주행 동작 모드에서 자동화된 방식으로 제어될 것이기 때문에 액셀러레이터(accelerator) 및/또는 브레이크로부터 운전자의 발을 제거하는 것을 포함할 수 있다. 운전자에 의해 수행되도록 요구될 수 있는 다른 태스크는 차량의 조종성 제어를 자동화된 시스템에 넘기기 위해 운전자가 스티어링 휠로부터 손을 떼는 것을 포함할 수 있다.

본 개시내용의 일 실시예에 의하면, H-A 전환 위험 결정기(1240)는 운전자가 앞서 언급된 태스크들 중 임의의 것을 수행할 수 있는지를 결정하기 위해 운전자의 현재 상태를 관찰한다. 예를 들어, 차량 내의 운전자가 완전히 실신했다고 결정되는 경우, H-A 전환 위험 결정기(1240)는 자동차의 자율주행 기능에 의한 즉각적인 인계를 개시할 수 있으며, 즉, 자동차는 즉각적으로 자율주행 모드에서 동작할 것이다. 차량의 완전한 자율주행 인계가 가능하지 않은 경우, H-A 전환 위험 결정기(1240)가 아래에 언급된 바와 같이 예외 핸들링 프로세스를 실행할 수 있음이 이해되어야 한다.

일 실시예에 의하면, 결정된 태스크들의 시퀀스, 운전자 상태는 물론 현재 차량 데이터가 전환 시간 추정기(1720)에 입력된다. 수신된 입력들에 기초하여, 전환 시간 추정기(1720)는 차량 모델(1740)을 이용하여 차량 및/또는 그에 대응하여 차량의 운전자가 각자의 결정된 태스크들을 수행하는 데 요구되는 시간량을 추정한다. 일 실시예에 의하면, 차량 모델(1740)은, 차량이 제1 동작 속력으로부터 제2 동작 속력으로 그의 속력을 변경하는 데 요구되는 평균 시간량, 차량이 그의 동작 차선을 변경하는 데 요구되는 시간량 - 이는 근방 교통상황에 기초할 수 있음 -, 차량이 차량의 조종성을 제어하는 데 요구되는 시간량 등과 같은, 현재 차량의 이전 동작에 관한 정보를 포함한다. 따라서, 일 양태에 의하면, 전환 시간 추정기(1720)는 실시간 정보를 이용하여 차량이 차량 모델(1740)에 따라 특정 태스크를 수행하는 데 요구되는 시간을 추정한다.

일 실시예에 의하면, 전환 시간 추정기(1720)는 차량 및/또는 그에 대응하여 차량의 운전자가 모든 각자의 추정된 태스크들을 수행하는 데 요구되는 총 시간을 추정한다. 총 추정 시간은 자동 인계 위험 추정기(1750)에 입력된다. 자동 인계 위험 추정기(1750)는 도 12의 전환 방향 제어기(1210)에 의해 생성될 수 있는 자동 인계 제어 신호를, 입력으로서, 수신한다. 구체적으로는, 전환 방향 제어기(도 12에서의 1210)가 자율주행 동작 모드로의 전이가 수행될 것으로 결정할 때 자동 인계 제어 신호는 자동 인계 위험 추정기(1750)를 활성화시킨다. 자동 인계 위험 추정기(1750)는 차량의 자율주행 동작 모드로의 전이와 연관된 위험을 평가한다.

일 실시예에 의하면, 자율주행 모드로의 전환과 연관된 위험은 차량의 현재 동작 모드와 연관된 위험 레벨/정도에 기초하여 결정될 수 있다. 예를 들어, A-H 전환 위험 결정기에 관해 이전에 제공된 설명과 유사하게, H-A 전환 위험 결정기는 인간 운전자 모드에서 차량을 동작시키는 것과 연관된 위험 레벨을 결정한다. 위험 레벨에 기초하여, H-A 전환 위험 결정기는 안전성 문제로 차량이 자율주행 동작 모드로 전환해야 하는 시간량을 획득한다. 게다가, (예를 들어, 차량에 의해) 태스크들을 수행하는 데 요구되는 추정 시간과 차량이 동작 모드를 전환해야 하는 시간량의 비교에 기초하여, 자동 인계 위험 결정기(1750)는 차량을 자율주행 모드로 전환하는 것과 연관된 위험을 계산할 수 있다.

평가된 위험이 용인가능한 범위 내에 있는 것에 기초하여, 자동 인계 위험 추정기(1750)는 H-A 경고 지시 생성기(1760) 및 제어 신호 생성기(1770)를 활성화시킨다. 일 실시예에 의하면, H-A 경고 지시 생성기(1760)는 H-A 전환 경고 지시 신호를 생성하여, 이에 의해 차량이 자율주행 동작 모드로 즉각 전이될 것임을 운전자에게 표시한다. 부가적으로, 사용자 경고 지시 생성기(1760)는 오디오/시각 메커니즘들(도 19 및 도 21을 참조하여 나중에 설명됨)을 사용하여 차량을 자율주행 동작 모드로 성공적으로 전이시키기 위해 수행될 태스크들을 운전자에게 표시할 수 있다.

위에서 언급된 바와 같이, 본 실시예에서, 차량의 운전자에 의해 수행될 기능들/태스크들 각각이 자율주행 동작 모드에서 수행될 태스크에 대응한다는 것이 이해되어야 한다. 예를 들어, 자동 인계 태스크 모델(1730)에 의해 결정되는 태스크들 중 하나가 차량의 속력을 감소시키는 태스크인 경우, 그러한 태스크는 운전자가 발을 가스 페달로부터 제거하는 것에 대응할 수 있다. H-A 전환 경고 지시 신호의 실행은 도 19를 참조하여 나중에 상세하게 설명된다. 부가적으로, 인계 위험 추정기(1750)는 제어 신호 생성기(1770)를 트리거하여, 전환 실행기(예를 들어, 도 2에서의 유닛(280))에 전송될 차량 제어 신호를 생성한다. 전환 실행기는 차례로 차량 제어 시스템(도 2에서의 유닛(260))을 활성화시켜 자율주행 동작 모드로의 전환이 수행되고 있음을 표시한다. 위험 추정기(1750)가 자율주행 모드로 전이하는 것과 연관된 위험이 용인가능하지 않다고 결정하는 경우, 위험 추정기(1750)가 제어 신호 생성기(1770)에 시그널링하여 예외 핸들링을 수행하도록 전환 실행기(280)에 지시할 수 있음이 이해되어야 한다.

부가적으로, 일 실시예에 의하면, 자율주행 모드로 전이하는 것과 연관된 위험이 용인가능하지 않을 때, 위험 추정기(1750)는 예외 핸들링 기능들을 수행하기 전에 복수의 부가 기능들을 수행할 수 있다. 예를 들어, 위에서 설명된 바와 같이 인간 운전자 모드로부터 완전 자율주행 차량 동작 모드로 전환하는 대신에, H-A 전환 위험 결정기는 차량을 인간 운전자 모드로부터 하위 레벨의 자율주행 차량 동작 모드로 전환하는 것과 연관된 위험을 결정할 수 있다.

도 17b는 본 교시내용의 일 실시예에 따른, 6개의 상이한 레벨(완전 수동으로부터 완전 자동화된 시스템에 이르기까지 있음)에 기초한 차량의 다수의 동작 모드들의 분류를 제공한다. 분류는 요구되는 운전자 개입과 주의력의 양에 기초할 수 있다. 도 17b에 묘사된 바와 같이, 차량의 6가지 동작 모드/레벨이 있다:

자동화된 시스템이 경고(들)를 발행하지만 차량 제어를 갖지 않는 모드 0.

모드 1(본 명세서에서 '핸즈온(hands-on)' 모드라고도 지칭됨)은 운전자와 차량의 자동화된 시스템이 차량의 제어를 공유하는 모드이다. 예를 들어, 운전자가 조향 기능성을 제어하고 자동화된 시스템이 차량의 속력을 제어하는 적응적 크루즈 제어(Adaptive Cruise Control)(ACC)는 모드 1 동작의 일 예이다. 부가적으로, 조향은 자동화되는 반면 속력은 수동인 주차 보조(Parking Assistance)는 물론 차선 유지 보조(Lane Keeping Assistance)(LKA)와 같은 특징들은 차량의 모드 1 동작의 예들이다. 모드 1 동작에서, 운전자는 언제든지 차량의 완전한 제어를 되찾을 준비가 되어 있어야 한다.

모드 2(본 명세서에서 '핸즈오프(hands-off)' 모드라고도 지칭됨)는 자동화된 시스템이 차량(가속, 제동, 및 조향)을 완전히 제어하는 동작 모드이다. 운전자는 주행을 모니터링하며, 자동화된 시스템이 제대로 응답하지 않으면 언제든지 즉각 개입할 준비가 되어 있을 것으로 기대된다.

모드 3('아이즈 오프(eyes-off)' 모드라고도 지칭됨)은 운전자가 안전하게 주행 태스크들로부터 주의를 딴 데로 돌릴 수 있는, 예를 들어, 운전자가 문자를 보내거나 영화를 볼 수 있는 모드이다. 차량은, 비상 제동과 같은, 즉각적인 응답을 요구하는 상황들을 핸들링한다. 이 모드에서, 운전자는 여전히, 차량에 의해 그렇게 하도록 요청될 때, 제조업체에 의해 특정된, 어떤 제한된 시간 내에 개입할 준비가 되어 있어야 한다. 인간 운전자에 의해 활성화될 때, 자동차는 최대 시속 60km의 느리게 움직이는 교통상황에서 주행의 모든 양태들을 완전히 제어한다. 일부 예들에서, 차량은 이 모드에서, 맞은 편에서 오는 자동차(oncoming traffic)를 분리시키는 물리적 장벽을 갖는 고속도로에서만 동작하도록 프로그래밍된다.

모드 4(본 명세서에서 '마인드 오프(mind-off)' 모드라고도 지칭됨)는 모드 3과 유사하지만, 안전을 위해 운전자의 주의가 전혀 요구되지 않으며, 즉, 운전자가 안전하게 잠들 수 있거나 운전석을 떠날 수 있다. 일 실시예에 의하면, 자가 주행(self-driving) 능력은 제한된 영역들에서만 또는, 교통 정체와 같은, 특수 상황들에서만 지원된다. 이러한 영역들 또는 상황들 밖에서, 운전자가 제어를 되찾지 않는 경우, 차량은 안전하게 이동을 중단할 수 있어야 하며, 즉 자동차를 주차할 수 있어야 한다.

인간 개입이 요구되지 않는 모드 5(본 명세서에서 '스티어링 휠 임의적(steering wheel optional)' 모드라고도 지칭됨). 따라서, 이전에 언급된 바와 같이, 주행 모드 전환 유닛(130)은, 일 실시예에 의하면, 앞서 설명된 모드들 중 하나로부터 다른 모드로 차량의 동작 모드를 전환하도록 구성될 수 있다.

따라서, 일 실시예에 의하면, H-A 전환 위험 결정기는 인간 운전자 모드로부터 도 17b에 도시된 바와 같은 자율주행 모드의 모든 레벨들로 전환하는 것과 연관된 위험을 결정할 수 있다. 차량의 하위 레벨의 자율주행 제어로 전환하는 것이 완전 자율주행 레벨로 전환하는 것과 비교하여 더 적은 수의 태스크들이 차량의 자율주행 시스템에 의해 수행되는 것을 요구할 수 있음이 이해되어야 한다. 그렇지만, 하위 레벨의 자율주행 제어는 운전자의 증가된 각성 레벨을 요구할 수 있다.

도 18을 참조하면, 본 개시내용의 일 실시예에 따른, (H-A) 모드 전환 위험 결정기에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트가 묘사되어 있다. 프로세스는, (H-A) 모드 전환 위험 결정기가 현재 운전자 상태, 차량의 내부 및 외부 능력들은 물론 실시간 차량 데이터를 포함하는 실시간 정보를 수신하는, 단계(1810)에서 시작된다.

프로세스는 이어서, (H-A) 모드 전환 위험 결정기가, 자동 인계 태스크 모델에 따라, 차량의 동작 모드를 자율주행 모드로 전환할 때 차량에 의해 수행될 태스크 세트를 추정하는, 단계(1820)로 이동한다. 부가적으로, 단계(1820)에서, 차량의 운전자에 의해 수행될 대응하는 태스크 세트가 또한 추정될 수 있다.

단계(1830)에서, 응답 시간, 즉 추정된 태스크 세트를 완료하는 데 요구되는 시간량이 추정된다. 응답 시간이 차량 모델에 기초하여 추정될 수 있음이 이해되어야 한다. 게다가, 단계(1840)에서, H-A 전환 위험 결정기는 자율주행 차량 동작 모드로의 전환을 수행할 때 긴급성을 결정할 수 있다. 그러한 결정은 운전자의 현재 상태(예를 들어, 운전자가 실신함)에 기초하여 결정될 수 있는 인간 차량 동작 모드와 연관된 극히 높은 위험에 기초하여 이루어질 수 있다. 부가적으로, 단계(1840)에서, H-A 전환 위험 결정기는 차량을 자율주행 동작 모드로 전환하는 것과 연관된 위험을 결정할 수 있다.

기준을 위반하지 않고 차량을 자율주행 모드로 전환하는 것과 연관되는 (단계(1840)에서의) 결정된 위험에 기초하여, 프로세스는 단계(1850)에서 H-A 전환 경고 지시 신호를 생성하고, (단계(1860)에서) 차량이 자율주행 동작 모드로 전환될 것임을 차량 시스템에 표시하기 위한 제어 신호를 생성한다.

게다가, 프로세스는 단계(1870)에서 단계(1850) 및 단계(1860)의 생성된 신호들을 출력한다. 예를 들어, 전환 경고 지시 신호는 차량의 운전자에 의해 수행될 추정된 태스크 세트를 디스플레이하기 위해 (예를 들어, 디스플레이 패널 상에) 출력될 수 있다. 태스크 세트를 운전자에게 제시하는 것에 관한 세부사항들은 도 19 및 도 21을 참조하여 더 상세하게 나중에 설명된다.

도 19는 본 교시내용의 일 실시예에 따른, 차량 시스템의 주행 모드 전환 유닛(도 1에서의 블록(130))에 포함된 전환 경고 제어 유닛(250)의 예시적인 블록 다이어그램을 묘사한다. 전환 경고 제어 유닛(250)은 경고 지시 분석기(1910), 차량 모델(1920), 사용자 프로파일(1930), 경고 시간 결정기(1950), 경고 콘텐츠 결정기(1940), 경고 매체 결정기(1970), 태스크/경고 구성 모델(1960), 복수의 멀티 모달 매체 모델들(1980), 및 멀티 모달 경고 지시 생성기(1990)를 포함한다.

일 실시예에 의하면, 경고 지시 분석기(1910)는 자율주행 모드로부터 인간 운전 모드로의 차량의 동작 모드의 전환(A-H) 또는 인간 운전 모드로부터 자율주행 모드로의 전환(H-A)에 대응하는 경고 지시 신호를 수신한다. 구체적으로는, 경고 지시 분석기(1910)는 A-H 전환 지시 생성기(도 14에서의 블록(1450))로부터의 A-H 전환 경고 지시 신호 및 H-A 전환 지시 생성기(도 17에서의 블록(1760))로부터의 H-A 전환 경고 지시 신호 중 하나를 수신한다. A-H 전환 경고 지시 신호 및 H-A 전환 경고 지시 신호 각각이 차량의 동작 모드를 전환하기 위해 수행될 태스크 세트에 대응한다는 것이 이해되어야 한다. 더욱이, 경고 지시 분석기(1910)는 각각의 태스크를 완료하는 데 요구되는 시간(본 명세서에서 태스크 지속 시간(task duration time)이라고 지칭됨)의 추정치를 획득한다.

경고 지시 분석기(1910)는 각각의 분석된 태스크를 경고 시간 결정기(1950)에 입력한다. 경고 시간 결정기(1950)는 경고 동작을 수행하는 데 요구되는 시간(본 명세서에서 경고 지속 시간(warning duration time)이라고 지칭됨)의 양을 결정한다. 구체적으로는, 경고 지속 시간은, 운전자가 대응하는 태스크를 적시적 방식으로 수행하도록 보장하기 위해, 경고 알림(warning alert)이 차량의 운전자에게 제시되는 시간 기간에 대응한다. 일 실시예에 의하면, 각각의 태스크에 대한 경고 지속 시간은 운전자의 현재 상태에 기초하여 결정된다. 더욱이, 각각의 태스크에 대한 경고 지속 시간은 운전자의 현재 상태에 기초하여 조정가능할 수 있다. 각각의 태스크의 경고 지속 시간의 조정에 관한 세부사항들은 도 20b를 참조하여 나중에 설명된다.

예를 들어, 30초의 태스크 지속 시간을 갖는 태스크를 고려하며, 즉 차량의 운전자는 30초 내에 태스크를 완료할 것으로 예상된다. 이 경우에, 경고 시간 결정기(1950)는 운전자에게 경고 알림을 제공하여 이에 의해 수행될 대응하는 태스크를 운전자에게 통지하기 위해 10초의 경고 지속 시간이 사용될 것이라고 결정할 수 있다. 일 실시예에 의하면, 경고 지속 시간은 태스크 지속 시간의 일부이다. 구체적으로는, 상기 예를 참조하면, 30초의 추정된 윈도 내에 태스크를 수행하도록 운전자에게 통지하기 위해 (30초의 시간 윈도 내의) 10초의 경고 시간이 (예를 들어, 시간 윈도의 시작에서) 운전자에게 제시된다. 운전자가 할당된 태스크를 수행하지 않았다고 결정할 때, 10초의 초기 지속기간을 갖는 경고 시간이, 예를 들어, 15초로 연장될 수 있음이 이해되어야 한다.

따라서, 앞서 언급된 바와 같이, 경고 시간 결정기(1950)는 운전자의 현재 상태에 기초하여 각각의 태스크에 대한 경고 지속 시간을 결정할 수 있다. 예를 들어, 운전자가 특정 태스크를 수행할 것으로 예상되고, 운전자 상태 분석기(도 7)가 운전자가 완전히 깨어 있지 않은(예를 들어, 하품하고 있는, 졸고 있는 등) 것으로 결정하는 경우를 고려한다. 그러한 경우에, 경고 시간 결정기(1950)는 운전자 상태 분석기가 운전자가 완전히 깨어 있는 것으로 결정하는 경우와 비교하여 더 긴 경고 지속 시간을 갖는 것으로 결정할 수 있다. 특정 태스크를 완료하기 위한 태스크 지속 시간이 운전자 상태에 기초하여 전환 시간 추정기(예를 들어, 도 17에서의 1720)에 의해 추정된다는 점에 유의해야 한다.

각각의 태스크에 대해, 경고 시간 결정기(1950)는 각각의 태스크는 물론 태스크와 연관된 경고 지속 시간을 경고 매체 결정기(1970) 및 경고 콘텐츠 결정기(1940)에 입력한다. 더욱이, 경고 매체 결정기(1970)는 차량 모델(1920)에 관한 정보, 차량을 동작시키는 운전자에 대응하는 사용자 프로파일(1930), 및 차량의 운전자의 현재 상태를, 입력으로서, 수신한다. 일 실시예에 의하면, 경고 매체 결정기(1970)는 경고를 운전자에게 제공하기 위한 플랫폼으로서 사용될 적어도 하나의 매체를 (멀티 매체 모델들(1980)의 풀로부터) 선택하도록 구성된다. 구체적으로는, 경고 매체 결정기(1970)는 각각의 태스크를 각자의 태스크를 수행하도록 운전자에게 경고하기 위해 사용되는 적어도 하나의 매체(1980)와 연관시킨다.

일 실시예에 의하면, 선택된 매체는 운전자의 선호도에 기초하여 결정될 수 있다. 운전자의 선호도는 미리 결정되어 운전자 프로파일(1930) 내에 사전에(a-priori) 저장될 수 있다. 부가적으로 또는 대안적으로, 선택된 매체의 유형은 운전자의 상태에 기초하여 결정될 수 있다. 예를 들어, (도 7에서의 운전자 상태 분석기 블록(710)에 의해 결정되는 바와 같이) 운전자가 하품하고 있는 상태에 있는 경우, 운전자에게 경고하기 위해 시각 매체(즉, 디스플레이) 및/또는 오디오 매체 형태(즉, 스피커)가 사용될 수 있다. 대조적으로, 운전자가 자고 있거나 극도로 졸리는 것 중 어느 하나인 경우, 선택된 매체 형태들은 진동 메커니즘(즉, 햅틱 응답) 및/또는 다른 매체 형태들의 조합을 포함할 수 있다. 추가 예로서, 사용자/운전자 프로파일(1930)이 차량의 운전자가 청각 장애를 가지고 있음을 나타내는 경우, 경고 매체 결정기(1970)는 운전자에게 경고하기 위해 오디오 소스들을 사용하는 것을 피할 수 있다. 그러한 시나리오에서, 경고 매체 결정기(1970)는 운전자에게 경고하기 위해 진동 매체 및/또는 디스플레이 매체를 이용할 수 있다. 경고 매체 결정기(1970)에 이용가능한 다수의 매체 소스들(1980)이 운전자가 현재 동작시키고 있는 차량 모델(1920)을 통해 결정된다는 것이 이해되어야 한다. 도 19에 도시된 바와 같은 선택가능한 사운드 소스가 경고 목적으로 선택될 수 있는 임의의 비-음성 사운드, 예를 들어, 사이렌에 대응할 수 있는 반면, 오디오는 특히 임의의 음성 관련 음향 신호에 대응할 수 있음이 이해되어야 한다. 본 개시내용의 일 실시예에 의하면, 선택가능한 사운드 소스 및 오디오 소스는 독립적으로 선택되어 멀티 모델 증강 경고를 구성하는 데 사용될 수 있다.

일 실시예에 의하면, 경고 콘텐츠 결정기(1940)는 각각의 태스크와 연관될 경고 콘텐츠를 결정한다. 예를 들어, 디스플레이 유형의 매체의 경우, 콘텐츠는 차량의 디스플레이 패널 상에 디스플레이될 특정 메시지에 대응할 수 있다. 디스플레이된 메시지는 차량의 운전자에 대한 경고로서 역할한다. 유사한 방식으로, 오디오 콘텐츠는 차량에 포함된 오디오 시스템을 통해 재생될 콘텐츠에 대응할 수 있다. 오디오 또는 비디오 모드의 경고에 관련된 콘텐츠는 데시벨 레벨(즉, 오디오 메시지가 얼마나 소리가 커야 하는지), 경고를 제시하는 빈도, 패널 상의 디스플레이 메시지의 밝기, 메시지가 깜박거림과 같은 효과들을 사용하여 디스플레이되고 있는지 및 기타 정보를 또한 포함할 수 있다.

진동 유형의 매체 경고와 관련하여, 경고 콘텐츠 결정기(1940)는 진동의 크기를 결정할 수 있다. 예를 들어, 운전자에게 경고하는 진동 모드가 운전자의 스티어링 휠 또는 시트에 진동을 제공하는 것을 포함하는 경우, 경고 콘텐츠 결정기는 각자의 진동들이 운전자에게 부과될 크기를 결정할 수 있다. 도 19에 도시된 바와 같이, 경고 콘텐츠 결정기(1940)는 또한 태스크/경고 구성 모델(1960)을 이용하여 각각의 태스크를 적어도 하나의 매체 소스와 연관시키고 경고를 운전자에게 제시할 수 있다.

게다가, (경고 매체 결정기(1970)에 의해 결정되는 바와 같은) 경고 목적으로 사용될 매체 소스의 유형 및 (경고 콘텐츠 결정기(1940)에 의해 결정되는 바와 같은) 경고 콘텐츠는 멀티 모달 경고 지시 생성기(1990)에 입력된다. 경고 콘텐츠 결정기(1940) 및 경고 매체 결정기(1970)로부터 입력을 수신할 때, 멀티 모달 경고 지시 생성기(1990)는 운전자에 의해 실행될 태스크들의 시퀀스를 생성한다.

일 실시예에 의하면, 멀티 모달 경고 지시 생성기(1990)는 또한 운전자에게 알리기 위한 태스크들의 경고 스케줄을 생성하도록 구성된다. 구체적으로는, 멀티 모달 경고 지시 생성기(1990)는 태스크들이 운전자에게 제시될 시퀀스를 결정한다. 예를 들어, 멀티 모달 경고 지시 생성기(1990)는 각각의 태스크의 태스크 지속 시간에 기초하여 스케줄을 생성할 수 있으며, 여기서 가장 큰 태스크 지속 시간을 갖는 태스크가 먼저 운전자에게 제시된다. 대안적으로, 멀티 모달 경고 지시 생성기(1990)는 가장 작은 태스크 지속 시간을 갖는 태스크를 먼저 운전자에게 제시할 수 있다. 부가적으로, 멀티 모달 경고 지시 생성기(1990)는 각각의 태스크와 연관된 임계 점수(즉, 우선순위)에 기초하여 태스크들의 스케줄을 생성할 수 있다. 태스크의 임계 점수는 태스크를 수행할 긴급성의 레벨에 대응한다. 예를 들어, 자율주행 차량 동작 모드로 전이하는 동안, 가스 페달로부터 운전자의 발을 제거하는 것과 같은 태스크는 차량의 동작 모드를 전환하기 전에 차선을 변경하는 것과 같은 태스크보다 더 중요한 것으로 간주될 수 있다. 그러한 시나리오에서, 멀티 모달 경고 지시 생성기(1990)는 스케줄을 생성할 수 있으며, 여기서 페달로부터 운전자의 발을 제거하는 태스크(즉, 더 높은 우선순위를 갖는 태스크)가 먼저 운전자에게 제시된다. 이하에서, 도 21을 참조하여 멀티 매체 경고 지시들의 실행에 대한 상세한 설명이 제공된다.

도 20a는 본 교시내용의 일 실시예에 따른, 전환 경고 제어 유닛(250)에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트를 묘사한다. 프로세스는, 전환 경고 제어 유닛이 A-H 전환 경고 지시 및 H-A 전환 경고 지시 중 하나를 수신하는, 단계(2010)에서 시작된다.

단계(2020)에서, 프로세스는 수신된 전환 경고 지시 신호를 분석하여, 태스크 세트의 각각의 태스크의 태스크 지속 시간을 획득한다(단계(2030)). 이전에 언급된 바와 같이, 각각의 태스크는 태스크가 수행되어야 하는 추정 시간(즉, 태스크 지속 시간)을 갖는다는 것에 유의한다. 프로세스는 단계(2040)에서 각각의 태스크에 대한 경고 지속 시간, 즉 태스크에 대한 경고 동작을 수행하는 데 요구되는 시간을 결정한다. 각각의 태스크의 경고 지속 시간이 운전자의 현재 상태에 기초하여 결정될 수 있음이 이해되어야 한다. 더욱이, 경고 지속 시간은 운전자의 상태에 기초하여 조정가능할 수 있다.

프로세스는 이어서, 전환 경고 제어 유닛이 각각의 태스크와 연관될 경고 콘텐츠를 결정하는, 단계(2050)로 이동한다. 예를 들어, 경고 콘텐츠 결정기(1940)는, 도 19를 참조하여 이전에 설명된 바와 같이, 각각의 태스크와 연관될 경고 콘텐츠를 결정한다. 게다가, 단계(2060)에서, 전환 경고 제어 유닛은 운전자에게 경고하기 위해 이용될 복수의 매체 소스들 중에서 적어도 하나의 매체를 선택한다.

각각의 태스크와 연관될 콘텐츠 및 매체를 결정할 때(단계(2050) 및 단계(2060)), 전환 경고 제어 유닛은 단계(2070)에서 운전자에게 알리기 위한 태스크들의 경고 스케줄을 생성한다. 구체적으로는, 도 19를 참조하여 이전에 설명된 바와 같이, 전환 경고 제어 유닛의 멀티 모달 경고 지시 생성기(1990)는 태스크들이 운전자에게 제시될 시퀀스를 결정한다.

이제 도 20b를 참조하면, 스케줄에서의 태스크들을 수행하도록 차량의 운전자에게 경고하기 위해 상이한 매체가 이용되는 것을 예시하는 예시적인 태스크 스케줄(2800)이 묘사되어 있다. 간략함을 위해, 도 20b는 본 교시내용의 일 실시예에 따른, 3개의 태스크(제각기, 태스크 1, 태스크 2, 및 태스크 3)를 포함하는 스케줄을 예시한다. 태스크 스케줄(2800)은 크기 |t₁ - t₀|의 태스크 지속 시간(2081a)을 제1 태스크, 크기 |t₂ - t₁|의 태스크 지속 시간(2081b)을 제2 태스크, 및 크기 |t₃ - t₂|의 태스크 지속 시간(2081c)을 제3 태스크를 포함한다. 본 개시내용의 일 실시예에 의하면, 태스크 지속 시간들이 차량의 현재 운전자 상태에 기초하여 추정된다는 것에 유의한다.

부가적으로, 도 20b는 각자의 태스크를 수행하도록 차량 운전자에게 알리기 위해 이용되는 (4개의 매체 소스(2085a, 2085b, 2085c, 및 2085d)의 세트로부터의) 적어도 하나의 경고 매체를 예시한다. 예를 들어, 도 20b에 도시된 바와 같이, 매체 1(2085a)은 태스크 1을 수행하도록 운전자에게 경고하기 위해 이용되고, 매체 2(2085b) 및 매체 3(2085c)은 태스크 2를 수행하도록 운전자에게 경고하기 위해 이용되며, 매체 4(2085d)는 태스크 4를 수행하도록 운전자에게 경고하기 위해 이용된다. 각각의 태스크에 대한 경고 지속 시간들은 다음과 같이 표현된다: 시간상 |w₀ - t₀|의 크기를 갖는, 태스크 1과 연관된 제1 경고 지속 시간(2083a), 여기서 매체 1은 태스크 1을 수행하도록 운전자에게 경고하기 위해 선택된다. 태스크 1을 수행하도록 운전자에게 경고하기 위해 매체 1이 경고 지속 시간(2083a) 동안 활성화된다는 것에 유의한다. 유사하게, 태스크 2의 경우, 태스크 2를 수행하도록 운전자에게 경고하기 위해 매체 2와 매체 3(2085b와 2085c)의 조합이 선택된다. 태스크 1을 수행하도록 운전자에게 경고하기 위해 (즉, 크기 |w₁ - t₁|을 갖는) 경고 지속 시간(2083b) 동안 매체 2와 매체 3이 동시에 활성화된다는 것에 유의한다. 유사한 방식으로, 시간상 |w₂ - t₂|의 크기를 갖는, 태스크 3과 연관된 제3 경고 지속 시간(2083c), 여기서 매체 4는 태스크 3을 수행하도록 운전자에게 경고하기 위해 선택된다.

경고 지속기간들(2083a 내지 2083c)이 X-축 상의 시간 및 Y-축 상의 세기를 따라 플로팅되어 있음이 이해되어야 한다. 특정 경고 지속기간의 높이는, 예를 들어, 경고 목적으로 사용되는 매체 소스의 세기 레벨에 대응한다. 예를 들어, 오디오 유형 매체의 경우, 세기는 볼륨 레벨에 대응할 수 있고, 디스플레이 유형의 매체의 경우, 세기는 운전자에게 제시되는 디스플레이 메시지의 밝기 레벨에 대응할 수 있다.

더욱이, 태스크 2를 참조하여 도시된 바와 같이, 수행될 각자의 태스크를 운전자에게 경고하기 위해 다수의 매체가 사용될 수 있다. 필요한 태스크를 수행하도록 운전자에게 경고하기 위해 사용되는 다수의 매체가 도 20b에 묘사된 바와 같이 동시적인 방식으로 존재할 수 있고, 그리고/또는 연속적인 방식으로(즉, 연달아) 제시될 수 있음에 유의한다. 게다가, 이전에 언급된 바와 같이, 각각의 태스크에 대한 경고 지속 시간은 운전자의 상태에 기초하여 구성가능할 수 있다. 도 20b에 도시된 바와 같이, 화살표들(2087a 내지 2087c 및 2089a 내지 2089c)은 태스크를 수행하도록 운전자에게 경고하기 위해 사용되는 각각의 매체 유형의 경고 지속기간들이 검출된 운전자 상태에 기초하여 증가될 수 있음을 나타낸다.

예를 들어, 경고를 제시할 때, 운전자가 태스크를 수행하지 않은 것으로 관찰되는 경우, 경고의 지속 시간이 조정될 수 있다. 유사한 방식으로, 각자의 태스크들을 수행하도록 운전자에게 경고하기 위해 사용되는 매체 유형의 세기는 또한 화살표들(2089a 내지 2089c)에 의해 도시된 바와 같이 조정될 수 있다. (예를 들어, 태스크 2에 대해 도 20b에 도시된 바와 같이) 태스크를 수행하도록 운전자에게 경고하기 위해 다수의 매체 소스들을 사용하는 동안, 경고 지속기간은 물론 각각의 매체 유형의 세기는 독립적인 방식으로 제어될 수 있음이 이해되어야 한다. 더욱이, 일 실시예에 의하면, 각각의 태스크에 대한 경고 지속 시간들은 바람직하게는 대응하는 태스크 지속 시간들의 일부(fraction)이다. 특정 태스크에 대한 경고 지속 시간이 대응하는 태스크 지속 시간보다 약간 더 작은 최대 지속 시간을 가질 수 있음에 유의해야 한다(차량의 운전자가 태스크를 수행하는 데 적은 시간이 요구된다고 가정함). 더욱이, 이전에 언급된 바와 같이, 차량의 운전자가 추정된 태스크 지속 시간 내에 특정 태스크를 수행하지 못하는 경우, 차량 제어는 차량의 모드를 전환하는 동작을 종료하고 그 대신에 예외 핸들링 프로세스를 개시할 수 있다.

도 21은 본 교시내용의 일 실시예에 따른, 멀티 모달 전환 경고 유닛(140)의 예시적인 블록 다이어그램을 묘사한다. 멀티 모달 전환 경고 유닛(140)은 멀티 모달 경고 지시 파서(2110), 시간 제어 모델들(2105), 복수의 매체 생성기들(2120), 복수의 멀티 모달 매체 모델들(2130), 멀티 모달 경고 코디네이터(2140), 멀티 모달 경고 전달 유닛(2150), 경고 효과 모니터(2160), 및 경고 지시 수정기(2170)를 포함한다.

복수의 멀티 모달 매체 모델들(2130)은 적어도 선택가능한 사운드 매체(2130-1), 진동 매체(2130-2), 라이트(2130-3), 시각 매체(2130-4), 증강 시각 매체(2130-5), 및 오디오 매체(2130-6)를 포함한다. 일 실시예에 의하면, 멀티 모달 매체 모델들(2130)에 포함된 각각의 매체는 대응하는 매체를 선택하고 활성화시키도록 구성된 대응하는 매체 생성기를 포함한다. 예를 들어, 도 21에 도시된 바와 같이, 복수의 매체 생성기들(2120)은 적어도 경고 사운드 생성기(2120-1), 진동 신호 생성기(2120-2), 경고 라이트 생성기(2120-3), 시각적 경고 신호 생성기(2120-4), 증강 시각 효과 생성기(2120-5), 및 오디오 경고 신호 생성기(2120-6)를 포함한다.

멀티 모델 경고 지시 파서(2110)는 도 19를 참조하여 이전에 설명된 전환 경고 제어 유닛(250)에 의해 생성되는 멀티 모델 경고 지시들을 입력으로서 수신한다. 멀티 모델 경고 지시 파서(2110)는 지시 세트를 파싱하도록 구성되며, 여기서 각각의 지시는 차량의 운전자에 의해 수행될 복수의 태스크들과 연관될 수 있다. 멀티 모델 경고 지시 파서(2110)에 의해 수신되는 각각의 지시가 실행을 위해 운전자에게 제시될 (도 19의 전환 경고 제어 유닛(250)에 의해 결정되는) 태스크들의 스케줄을 포함한다는 것에 유의한다.

일 실시예에 의하면, 멀티 모달 경고 지시 파서(2110)는 태스크와 연관된 대응하는 매체를 활성화시키도록 구성된 적어도 하나의 매체 생성기(2120-1 내지 2120-6)를 (태스크 세트의 스케줄에 의해 결정되는, 특정 시간에) 활성화시키기 위해 시간 제어 모델(2105)을 이용한다. 특정 태스크가 다수의 매체 소스들과 연관될 수 있음에 유의한다. 예를 들어, 수행되도록 의도된 운전자 기능이 운전자가 페달로부터 발을 제거하는 기능인 경우, 시각 매체 소스는 물론 오디오 매체 소스 둘 다를 이용함으로써 대응하는 경고가 운전자에게 제시될 수 있다.

그에 따라, 각각의 태스크에 대해, 선택된 매체는 태스크들의 스케줄과 함께 멀티 모달 경고 코디네이터(2140)에 입력된다. 멀티 모달 경고 코디네이터(2140)는 특정 태스크와 연관된 모든 매체의 활성화를 코디네이트하고, 각자의 매체가 태스크와 연관된 경고 지속 시간에 대응하는 지속 시간 동안 활성화된 채로 유지되도록 보장한다. 게다가, 멀티 모달 경고 전달 유닛(2150)은 활성화된 매체 소스들을 이용하여 경고를 운전자에게 제시함으로써 경고 지시를 실행한다.

일 실시예에 의하면, 멀티 모달 전환 경고 유닛(140)은, 특정 경고를 운전자에게 제시할 때, 운전자가 경고와 연관된 특정 태스크를 실행하고 있는지(또는 실행했는지)를 결정하도록 구성된 경고 효과 모니터(2160)를 포함한다. 예를 들어, 경고 효과 모니터(2160)는 운전자가 태스크를 실행했는지에 관한 정보를 캡처하기 위해 차량에 배치된 복수의 센서들을 이용할 수 있다. 예를 들어, 운전자가 가스 페달로부터 발을 제거하라고 경고받는 태스크를 고려하면, 경고 효과 모니터는 운전자가 가스 페달로부터 발을 들어올렸는지를 결정하기 위해 센서(예를 들어, 변위 센서)를 이용할 수 있다.

일 실시예에 의하면, 복수의 센서들에 의해 캡처되는 정보는 경고 지시 수정기(2170)에 입력될 수 있다. 경고 지시 수정기(2170)는 태스크의 경고와 연관된 파라미터들을 수정/조정하도록 구성된다. 예를 들어, 경고 효과 모니터(2160)가 운전자가 가스 페달로부터 발을 제거하지 않았다고 결정하는 경우, 지시 수정기(2170)는 경고를 운전자에게 제공하는 데 사용되는 오디오 소스의 데시벨 레벨을 증가시킬 수 있다. 부가적으로, 일 실시예에 의하면, 경고 지시 수정기(2170)는 태스크를 수행하도록 운전자에게 재차 경고하는 데 사용될 부가 소스들을 포함시키기 위해 멀티 모달 매체 모델(2130)을 이용할 수 있다. 그와 같이, 경고 지시 수정기(2170)는 업데이트된 지시를 멀티 모달 경고 지시 파서에 피드백하고 멀티 모달 경고 지시 파서는 경고 지시의 실행을 반복한다. 할당된 태스크를 실행하도록 운전자에게 경고를 제시할 때, 멀티 모달 전환 경고 유닛(140)이 태스크가 적시적 방식으로 실행되고 있는지를 결정하기 위해 운전자를 모니터링한다는 것이 이해되어야 한다. 운전자가 할당된 태스크를 추정된 태스크 지속 시간 내에 수행하지 않는 것으로 관찰되는 경우, 차량은 예외 핸들링 프로세스를 실행하기 위해 피드백(도 1 참조)을 주행 모드 전환 유닛(130)에 제공할 수 있다.

도 22를 참조하면, 멀티 모달 전환 경고 유닛(140)에 의해 수행되는 예시적인 프로세스를 개략적으로 나타내는 예시적인 플로차트가 묘사되어 있다. 프로세스는, 멀티 모달 전환 경고 유닛(140)이 멀티 모달 경고 지시를 수신하는, 단계(2210)에서 시작된다. 단계(2220)에서, 멀티 모달 전환 경고 유닛은 멀티 모달 경고를 파싱하여 각각의 지시와 연관된 태스크들의 스케줄을 획득한다.

프로세스는 추가로, 각각의 태스크에 대해 선택된(즉, 도 19에서의 경고 매체 결정기(1970)에 의해 선택된) 매체에 기초하여, 멀티 모달 전환 경고 유닛(140)이 시간 제어 모델을 이용하여 태스크와 연관된 대응하는 매체를 활성화시키도록 구성된 적어도 하나의 매체 생성기(2120-1 내지 2120-6)를 선택하는, 단계(2230)로 진행한다. 이러한 방식으로, 태스크와 연관된 경고 신호가 생성되어 멀티 모달 전환 경고 유닛(140)의 경고 코디네이터에 전송된다.

게다가, 프로세스는 단계(2240)에서 멀티 모달 전환 경고 유닛(140)의 경고 코디네이터를 이용하여 특정 태스크와 연관된 모든 매체의 활성화를 코디네이트한다. 게다가, 단계(2250)에서, 생성된 경고가 운전자에게 전달된다.

프로세스는 이어서, 멀티 모달 전환 경고 유닛이 경고의 효과를 관찰하는, 단계(2260)로 이동한다. 이전에 언급된 바와 같이, 멀티 모달 전환 경고 유닛은 사용자에게 제시된 경고가 추종되고 있는지를 관찰하기 위해 복수의 센서들로부터 정보를 수집한다. 게다가, 프로세스는 단계(2270)에서, 단계(2260)의 관찰에 기초하여, 스케줄링된 태스크가 완료되었는지를 결정한다.

스케줄링된 태스크가 운전자에 의해 완료되지 않은 것에 응답하여, 멀티 모달 전환 경고 유닛(140)은 단계(2280)에서 지시를 수정한다. 구체적으로는, 멀티 모달 전환 경고 유닛(140)은 태스크의 경고와 연관된 파라미터들을 수정/조정한다. 부가적으로, 멀티 모달 전환 경고 유닛(140)은 부가 매체를 경고 지시에 연관시킴으로써 태스크를 수정할 수 있다. 이러한 방식으로, (단계 2280의) 수정된 경고가 차량의 운전자에게 재차 제시되기 위해 멀티 모달 전환 경고 유닛(140)에 피드백된다. 특정 태스크가 대응하는 태스크 지속 시간 내에 완료되지 않는 경우, 이전에 설명된 바와 같은 예외 핸들링 프로세스가 개시될 수 있음에 유의한다.

도 23은 본 교시내용을 구현하는 특수 시스템을 실현하는 데 사용될 수 있는 모바일 디바이스(2300)의 아키텍처를 묘사한다. 이 모바일 디바이스(2300)는 스마트 폰, 태블릿, 음악 플레이어, 핸드헬드 게이밍 콘솔, GPS(global positioning system) 수신기, 및 웨어러블 컴퓨팅 디바이스(예를 들어, 안경, 손목 시계, 등), 또는 임의의 다른 폼 팩터를 포함하지만, 이들로 제한되지 않는다. 이 예에서 모바일 디바이스(2300)는 하나 이상의 중앙 프로세싱 유닛(CPU)(2340), 하나 이상의 그래픽 프로세싱 유닛(GPU)(2330), 메모리(2360), 무선 통신 모듈과 같은, 통신 플랫폼(2310), 스토리지(2390), 하나 이상의 입/출력(I/O) 디바이스(2350), 시각 기반 제시를 위한 디스플레이 또는 프로젝션(2320-a), 및 하나 이상의 멀티 모달 인터페이스 채널(2320-b)을 포함한다. 멀티 모달 채널들은 시그널링 또는 통신을 위한 음향 채널 또는 다른 매체 채널들을 포함할 수 있다. 시스템 버스 또는 제어기(도시되지 않음)를 포함하지만 이에 제한되지 않는, 임의의 다른 적합한 컴포넌트가 또한 모바일 디바이스(2300)에 포함될 수 있다. 도 23에 도시된 바와 같이, CPU(2340)에 의해 실행되기 위해 모바일 운영 체제(2370), 예를 들어, iOS, Android, Windows Phone 등, 및 하나 이상의 애플리케이션(2380)이 스토리지(2390)로부터 메모리(2360)에 로딩될 수 있다.

본 개시내용에서 설명된 다양한 모듈들, 유닛들, 및 이들의 기능성들을 구현하기 위해, 컴퓨터 하드웨어 플랫폼들이 본 명세서에서 설명된 요소들 중 하나 이상에 대한 하드웨어 플랫폼(들)으로서 사용될 수 있다. 그러한 컴퓨터들의 하드웨어 요소들, 운영 체제들 및 프로그래밍 언어들은 본질적으로 종래의 것이며, 본 기술분야의 통상의 기술자가 그 기술들을 본 명세서에서 설명된 바와 같이 본 교시내용에 적용하기에 그들에 적절히 익숙하다고 가정한다. 사용자 인터페이스 요소들을 갖는 컴퓨터는 개인용 컴퓨터(PC) 또는 다른 유형의 워크 스테이션 또는 단말 디바이스를 구현하는 데 사용될 수 있지만, 컴퓨터는 또한 적절히 프로그래밍된 경우 서버로서 기능할 수 있다. 본 기술분야의 통상의 기술자는 그러한 컴퓨터 장비의 구조, 프로그래밍 및 일반 동작에 익숙하며 그 결과 도면은 자명(self-explanatory)해야 한다.

도 24는 본 교시내용을 구현하는 특수 시스템을 실현하는 데 사용될 수 있는 컴퓨팅 디바이스의 아키텍처를 묘사한다. 본 교시내용을 포함하는 그러한 특수 시스템은 사용자 인터페이스 요소들을 포함하는 하드웨어 플랫폼의 기능 블록 다이어그램 예시를 갖는다. 컴퓨터는 범용 컴퓨터 또는 특수 목적 컴퓨터일 수 있다. 둘 다는 본 교시내용을 위한 특수 시스템을 구현하는 데 사용될 수 있다. 이 컴퓨터(2400)는, 본 명세서에서 설명된 바와 같이, 본 교시내용의 임의의 컴포넌트 또는 양태를 구현하는 데 사용될 수 있다. 편의상, 하나의 그러한 컴퓨터만이 도시되어 있지만, 본 명세서에서 설명된 바와 같은 본 교시내용에 관련된 컴퓨터 기능들은 프로세싱 부하를 분산시키기 위해 다수의 유사한 플랫폼들 상에 분산 방식으로 구현될 수 있다.

컴퓨터(2400)는, 예를 들어, 데이터 통신을 용이하게 하기 위해 그에 접속된 네트워크에 접속된 및 네트워크로부터 접속된 COM 포트들(2450)을 포함한다. 컴퓨터(2400)는 프로그램 명령어들을 실행하기 위한, 하나 이상의 프로세서의 형태의, 중앙 프로세싱 유닛(CPU)(2420)을 또한 포함한다. 예시적인 컴퓨터 플랫폼은 내부 통신 버스(2410), 컴퓨터에 의해 프로세싱 및/또는 통신될 다양한 데이터 파일들은 물론, 어쩌면 CPU에 의해 실행될 프로그램 명령어들을 위한, 상이한 형태들의 프로그램 스토리지 및 데이터 스토리지, 예를 들어, 디스크(2470), 판독 전용 메모리(ROM)(2430), 또는 랜덤 액세스 메모리(RAM)(2440)를 포함한다. 컴퓨터(2400)는 상이한 매체 형태들의 인터페이스 요소들(2480)과 같은 컴퓨터 내의 다른 컴포넌트들과 컴퓨터 사이의 입력/출력 흐름들을 지원하는 I/O 컴포넌트(2460)를 또한 포함한다. 예시적인 유형의 인터페이스 요소는 자율주행 차량에 배치되는 상이한 유형들의 센서들(2480-a)에 대응할 수 있다. 다른 유형의 인터페이스 요소는 시각 기반 통신을 위한 디스플레이 또는 프로젝션(2480-b)에 대응할 수 있다. 오디오 기반 통신을 위한 음향 디바이스(2480-c) 및/또는 통신, 예를 들어, 자동차 시트와 같은 차량 컴포넌트에 진동을 야기하는 신호에 기초한 시그널링을 위한 컴포넌트(2480-d)와 같은 다른 멀티 모달 인터페이스 채널들을 위한 부가 컴포넌트들이 있을 수 있다. 컴퓨터(2400)는 또한 네트워크 통신을 통해 프로그래밍 및 데이터를 수신할 수 있다.

따라서, 위에서 개략적으로 나타낸 바와 같은, 본 교시내용의 방법들의 양태들은 프로그래밍으로 구체화될 수 있다. 기술의 프로그램 양태들은 전형적으로 한 유형의 머신 판독가능 매체 상에서 운반되거나 그에 구체화되는 실행가능 코드 및/또는 연관된 데이터의 형태로 되어 있는 "제품" 또는 "제조 물품"으로 생각될 수 있다. 유형적 비-일시적 "스토리지" 유형 매체는 소프트웨어 프로그래밍을 위한 스토리지를 언제라도 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등을 위한 메모리 또는 다른 스토리지, 또는 이들의 연관된 모듈들 중 임의의 것 또는 그 전부를 포함한다.

소프트웨어의 전부 또는 일부는 때때로 인터넷 또는 다양한 다른 원격통신 네트워크들과 같은 네트워크를 통해 통신될 수 있다. 그러한 통신은, 예를 들어, 하나의 컴퓨터 또는 프로세서로부터 다른 컴퓨터 또는 프로세서로, 예를 들어, 탐색 엔진 운영자의 관리 서버 또는 호스트 컴퓨터 또는 다른 향상된 광고 서버로부터 본 교시내용과 관련하여 컴퓨팅 환경의 하드웨어 플랫폼(들) 또는 컴퓨팅 환경 또는 유사한 기능성들을 구현하는 다른 시스템으로 소프트웨어를 로딩하는 것을 가능하게 해줄 수 있다. 따라서, 소프트웨어 요소들을 지닐 수 있는 다른 유형의 매체는, 로컬 디바이스들 사이의 물리적 인터페이스들에 걸쳐, 유선 및 광학 지상선 네트워크들을 통해 그리고 다양한 에어-링크들(air-links)을 통해 사용되는 것과 같은, 광학, 전기 및 전자기 파들을 포함한다. 유선 또는 무선 링크들, 광학 링크들 등과 같은, 그러한 파들을 운반하는 물리적 요소들이 소프트웨어를 지니는 매체로서 또한 간주될 수 있다. 본 명세서에서 사용되는 바와 같이, 유형적 "저장" 매체들로 제한되지 않는 한, 컴퓨터 또는 머신 "판독가능 매체"와 같은 용어들은 명령어들을 실행을 위해 프로세서에 제공하는 데 참여하는 임의의 매체를 지칭한다.

따라서, 머신 판독가능 매체는, 유형적 저장 매체, 반송파 매체 또는 물리적 전송 매체를 포함하지만 이들로 제한되지 않는, 많은 형태들을 취할 수 있다. 비휘발성 저장 매체는, 도면들에 도시된 바와 같은 시스템 또는 그의 컴포넌트들 중 임의의 것을 구현하는 데 사용될 수 있는, 임의의 컴퓨터(들) 등 내의 저장 디바이스들 중 임의의 것과 같은, 예를 들어, 광학 또는 자기 디스크들을 포함한다. 휘발성 저장 매체는, 그러한 컴퓨터 플랫폼의 메인 메모리와 같은, 동적 메모리를 포함한다. 유형적 전송 매체는, 컴퓨터 시스템 내의 버스를 형성하는 와이어들을 포함하여, 동축 케이블들; 구리 와이어 및 광섬유들을 포함한다. 반송파 전송 매체는 라디오 주파수(RF) 및 적외선(IR) 데이터 통신 동안 생성되는 것들과 같은 전기 또는 전자기 신호들, 또는 음향 또는 광 파들의 형태를 취할 수 있다. 따라서, 컴퓨터 판독가능 매체의 통상적인 형태들은, 예를 들어: 플로피 디스크, 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 종이 테이프, 홀들의 패턴을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM 및 EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령어들을 전송하는 반송파, 그러한 반송파를 전달하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드 및/또는 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 이러한 형태들의 컴퓨터 판독가능 매체 중 다수는 하나 이상의 명령어의 하나 이상의 시퀀스를 실행을 위해 물리적 프로세서로 운반하는 데 관여될 수 있다.

본 기술분야의 통상의 기술자는 본 교시내용이 다양한 수정들 및/또는 향상들이 가능하다는 것을 인식할 것이다. 예를 들어, 위에서 설명된 다양한 컴포넌트들의 구현이 하드웨어 디바이스에서 구체화될 수 있지만, 이는 또한 소프트웨어 전용 솔루션 - 예를 들어, 기존의 서버 상에 설치 - 으로서 구현될 수 있다. 그에 부가하여, 본 명세서에서 개시된 바와 같은 본 교시내용은 펌웨어, 펌웨어/소프트웨어 조합, 펌웨어/하드웨어 조합, 또는 하드웨어/펌웨어/소프트웨어 조합으로서 구현될 수 있다.

전술한 내용이 본 교시내용 및/또는 다른 예들을 구성하는 것으로 간주되는 것을 설명하였지만, 이들에 대해 다양한 수정들이 이루어질 수 있고, 본 명세서에서 개시된 주제가 다양한 형태들 및 예들로 구현될 수 있으며, 교시내용이 많은 응용들에서 적용될 수 있고, 그 중 일부만이 본 명세서에서 설명되었다는 것이 이해된다. 이하의 청구항들에 의해 본 교시내용의 진정한 범위 내에 속하는 임의의 및 모든 응용들, 수정들 및 변형들을 청구하는 것으로 의도된다.

Claims (18)

1. 차량의 운전자에게 경고를 제시하기 위해 네트워크에 접속할 수 있는 적어도 하나의 프로세서, 스토리지, 및 통신 플랫폼을 갖는 머신 상에서 구현되는 방법으로서,
   상기 차량의 동작 모드의 다가오는 변화를 나타내는 지시를 획득하는 단계 - 상기 지시는 상기 차량에서 상기 운전자에 의해 완료될 태스크 세트 및 상기 태스크 세트의 각각의 태스크가 완료되기까지의 상기 태스크와 연관된 태스크 지속기간을 특정함 -;
   상기 운전자의 현재 상태를 나타내는 정보를 획득하는 단계;
   상기 태스크 세트의 각각의 태스크에 대해, 상기 태스크를 수행하도록 상기 운전자에게 알리는 데 사용될 경고를 결정하는 단계 - 상기 경고는 적어도 경고 콘텐츠 및 상기 경고 콘텐츠를 상기 운전자에게 전달하는 데 사용될 적어도 하나의 매체를 포함함 -;
   경고 세트를 포함하는 경고 스케줄을 생성하는 단계 - 경고들 각각은 상기 태스크 세트 중 하나의 태스크에 대응하고 상기 태스크 세트의 순서에 기초한 순서로 배열됨 -; 및
   상기 경고 스케줄에서의 상기 경고 세트의 각각의 경고가 상기 적어도 하나의 매체를 통해 상기 운전자에 대해 실행되도록 상기 경고 스케줄을 전송하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서, 상기 경고 콘텐츠 및 상기 경고를 전달하는 데 사용되는 상기 적어도 하나의 매체는 상기 운전자의 현재 상태에 기초하여 결정되는, 방법.
3. 제2항에 있어서, 상기 경고를 상기 운전자에게 전달하는 데 사용되는 상기 적어도 하나의 매체는 운전자 프로파일에 기초하여 결정되며, 상기 운전자 프로파일은 상기 운전자에 관련된 특성 정보를 포함하는, 방법.
4. 제1항에 있어서, 상기 경고는 시작 시간 및 지속기간을 추가로 포함하고, 상기 경고의 지속기간은 상기 태스크 지속기간보다 더 작고 상기 운전자의 현재 상태에 기초하여 결정되는, 방법.
5. 제4항에 있어서, 상기 경고는 상기 경고 콘텐츠와 연관된 경고 세기를 추가로 포함하고, 상기 경고 세기는 상기 운전자의 현재 상태에 기초하여 결정되는, 방법.
6. 제1항에 있어서, 상기 적어도 하나의 매체는 선택가능한 사운드 소스, 진동 소스, 광 소스, 시각 소스, 및 오디오 소스를 포함하는, 방법.
7. 차량의 운전자에게 경고를 제시하기 위한 정보가 저장되어 있는 머신 판독가능 매체로서, 상기 정보는, 상기 머신에 의해 판독될 때, 상기 머신으로 하여금:
   상기 차량의 동작 모드의 다가오는 변화를 나타내는 지시를 획득하는 단계 - 상기 지시는 상기 차량에서 상기 운전자에 의해 완료될 태스크 세트 및 상기 태스크 세트의 각각의 태스크가 완료되기까지의 상기 태스크와 연관된 태스크 지속기간을 특정함 -;
   상기 운전자의 현재 상태를 나타내는 정보를 획득하는 단계;
   상기 태스크 세트의 각각의 태스크에 대해, 상기 태스크를 수행하도록 상기 운전자에게 알리는 데 사용될 경고를 결정하는 단계 - 상기 경고는 적어도 경고 콘텐츠 및 상기 경고 콘텐츠를 상기 운전자에게 전달하는 데 사용될 적어도 하나의 매체를 포함함 -;
   경고 세트를 포함하는 경고 스케줄을 생성하는 단계 - 경고들 각각은 상기 태스크 세트 중 하나의 태스크에 대응하고 상기 태스크 세트의 순서에 기초한 순서로 배열됨 -; 및
   상기 경고 스케줄에서의 상기 경고 세트의 각각의 경고가 상기 적어도 하나의 매체를 통해 상기 운전자에 대해 실행되도록 상기 경고 스케줄을 전송하는 단계
   를 수행하게 하는, 매체.
8. 제7항에 있어서, 상기 경고 콘텐츠 및 상기 경고를 전달하는 데 사용되는 상기 적어도 하나의 매체는 상기 운전자의 현재 상태에 기초하여 결정되는, 매체.
9. 제8항에 있어서, 상기 경고를 상기 운전자에게 전달하는 데 사용되는 상기 적어도 하나의 매체는 운전자 프로파일에 기초하여 결정되며, 상기 운전자 프로파일은 상기 운전자에 관련된 특성 정보를 포함하는, 매체.
10. 제7항에 있어서, 상기 경고는 시작 시간 및 지속기간을 추가로 포함하고, 상기 경고의 지속기간은 상기 태스크 지속기간보다 더 작고 상기 운전자의 현재 상태에 기초하여 결정되는, 매체.
11. 제10항에 있어서, 상기 경고는 상기 경고 콘텐츠와 연관된 경고 세기를 추가로 포함하고, 상기 경고 세기는 상기 운전자의 현재 상태에 기초하여 결정되는, 매체.
12. 제7항에 있어서, 상기 적어도 하나의 매체는 선택가능한 사운드 소스, 진동 소스, 광 소스, 시각 소스, 및 오디오 소스를 포함하는, 매체.
13. 차량의 운전자에게 경고를 제시하는 시스템으로서,
    상기 차량의 동작 모드의 다가오는 변화를 나타내는 지시를 획득하도록 - 상기 지시는 상기 차량에서 상기 운전자에 의해 완료될 태스크 세트 및 상기 태스크 세트의 각각의 태스크가 완료되기까지의 상기 태스크와 연관된 태스크 지속기간을 특정함 - 구성된 경고 지시 분석기;
    상기 운전자의 현재 상태를 나타내는 정보를 획득하고;
    상기 태스크 세트의 각각의 태스크에 대해, 상기 태스크를 수행하도록 상기 운전자에게 알리는 데 사용될 경고를 결정하도록 - 상기 경고는 적어도 경고 콘텐츠 및 상기 경고 콘텐츠를 상기 운전자에게 전달하는 데 사용될 적어도 하나의 매체를 포함함 - 구성된 경고 결정기; 및
    경고 세트를 포함하는 경고 스케줄을 생성하고 - 경고들 각각은 상기 태스크 세트 중 하나의 태스크에 대응하고 상기 태스크 세트의 순서에 기초한 순서로 배열됨 -;
    상기 경고 스케줄에서의 상기 경고 세트의 각각의 경고가 상기 적어도 하나의 매체를 통해 상기 운전자에 대해 실행되도록 상기 경고 스케줄을 전송하도록 구성된 경고 지시 생성기
    를 포함하는, 시스템.
14. 제13항에 있어서, 상기 경고 콘텐츠 및 상기 경고를 전달하는 데 사용되는 상기 적어도 하나의 매체는 상기 운전자의 현재 상태에 기초하여 결정되는, 시스템.
15. 제14항에 있어서, 상기 경고를 상기 운전자에게 전달하는 데 사용되는 상기 적어도 하나의 매체는 운전자 프로파일에 기초하여 결정되며, 상기 운전자 프로파일은 상기 운전자에 관련된 특성 정보를 포함하는, 시스템.
16. 제13항에 있어서, 상기 경고는 시작 시간 및 지속기간을 추가로 포함하고, 상기 경고의 지속기간은 상기 태스크 지속기간보다 더 작고 상기 운전자의 현재 상태에 기초하여 결정되는, 시스템.
17. 제16항에 있어서, 상기 경고는 상기 경고 콘텐츠와 연관된 경고 세기를 추가로 포함하고, 상기 경고 세기는 상기 운전자의 현재 상태에 기초하여 결정되는, 시스템.
18. 제13항에 있어서, 상기 적어도 하나의 매체는 선택가능한 사운드 소스, 진동 소스, 광 소스, 시각 소스, 및 오디오 소스를 포함하는, 시스템.

Images