KR20210120853A

KR20210120853A - 운전자의 기술 수준 및 신뢰 수준의 자동 추정

Info

Publication number: KR20210120853A
Application number: KR1020210034886A
Authority: KR
Inventors: 스테판 마티; 조셉 버베크; 스벤 크라츠
Original assignee: 하만인터내셔날인더스트리스인코포레이티드
Priority date: 2020-03-27
Filing date: 2021-03-17
Publication date: 2021-10-07
Also published as: CN113449952A; US11643084B2; US10967871B1; JP2021155032A; EP3885220A1; EP3885220B1; US20210300384A1

Abstract

다양한 실시형태에서, 운전자 감지 서브시스템은 운전자가 차량을 작동시킬 때 측정되는 운전자의 생리학적 속성(들)에 기초하여 운전자의 특성을 계산한다. 후속하여, 운전자 평가 애플리케이션은 운전자의 특성에 기초하여 운전자와 연관된 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용한다. 이어서 운전자 평가 애플리케이션은 운전자 보조 애플리케이션(들)이 신뢰 수준에 기초하여 작동(들)을 수행하고 차량의 적어도 하나 기능을 변경하게 한다. 유리하게는, 운전자 보조 애플리케이션(들)이 운전자의 신뢰 수준을 고려하게 함으로써, 운전자 평가 애플리케이션은 운전자의 신뢰 수준을 무시하는 운전자 보조 애플리케이션을 구현하기 위한 종래의 기법에 비해 운전 안정성을 개선할 수 있다.

Description

운전자의 기술 수준 및 신뢰 수준의 자동 추정{AUTOMATICALLY ESTIMATING SKILL LEVELS AND CONFIDENCE LEVELS OF DRIVERS}

다양한 실시형태의 분야

다양한 실시형태는 일반적으로 컴퓨터 과학 및 자동차 시스템, 더 구체적으로, 운전자의 기술 수준 및 신뢰 수준을 자동으로 추정하는 것에 관한 것이다.

고급 운전자 보조 시스템(advanced driver assistance system: "ADAS")은 운전 안정성을 증가시키고 운전자의 전반적인 운전 경험을 개선시키도록 의도된다. 일반적인 ADAS는 하나 이상의 외부-지향 센서, 하나 이상의 차량 센서, 차량 관찰 서브시스템, 하나 이상의 운전자 보조 애플리케이션 및 차량을 위한 하나 이상의 제어 기구를 포함한다. 외부-지향 센서, 차량 센서 및 차량 관찰 서브시스템은 일반적으로 차량을 둘러싸는 환경 및 차량 자체를 모니터링하여 차량 상태 데이터를 생성한다. 운전자 보조 애플리케이션의 각각은 제한적으로, 잠금-방지 브레이크, 사각지대 검출, 충돌 방지, 차선 유지 보조, 경사로 주행 제어 또는 자율 주차와 같은 상이한 ADAS 특징을 일반적으로 구현한다. 차량 상태 데이터에 기초하여, 주어진 운전자 보조 애플리케이션은 차량 작동을 변경하여 운전 안정성을 증가시킬지를 결정하고 그러하다면, 어떤 조정이 이루어져야 하는지를 결정한다. 각각의 운전자 보조 애플리케이션은 제어 기구 중 하나 이상의 제어 기구를 통해 다양한 조치를 수행하여 차량 작동을 변경할 수도 있다. 예를 들어, 운전자 보조 애플리케이션은 브레이크 제어 신호를 작동기로 전송하여 일련의 브레이크 작동이 차량에 자동으로 적용되게 해서 차량의 속도를 감소시킬 수 있다.

일부 운전자 보조 애플리케이션은 전부는 아니지만 대부분의 운전자에 대한 운전 안정성을 성공적으로 증가시킨다. 예를 들어, 바퀴의 회전 속도가 미리 결정된 문턱값 초과만큼 차량의 속도와 상이하다면, 잠금-방지 브레이크 애플리케이션은 바퀴 잠금을 방지하기 위해 브레이크 페달 진동 작동을 수행할 수 있다. 잠금-방지 브레이크 애플리케이션이 임의의 운전자가 관리할 수 있는 속도보다 훨씬 더 빠른 속도로 그리고 개별적으로 브레이크 압력을 변경할 수 있기 때문에, 잠금-방지 브레이크 애플리케이션은 전부는 아니지만 대부분의 운전자에 대한 운전 안정성을 일반적으로 증가시킨다.

반면에, 일부 운전자 보조 애플리케이션은 오직 특정한 유형의 운전자에 대한 운전 안정성을 성공적으로 증가시킨다. 하나의 주목할 만한 예는 반자율 운전 조작을 구현하기 위해 설계되는 운전자 보조 애플리케이션이다. 이 유형의 운전자 보조 애플리케이션은 일반적으로 경험이 적은 운전자가 스스로 수행할 수 없거나 또는 스스로 수행할 자신이 없는 운전 조작을 애플리케이션이 수행할 수 있기 때문에 경험이 적은 운전자에게 도움이 된다. 따라서, 이 유형의 애플리케이션은 경험이 적은 운전자에 의해 구현될 때 운전 안전성을 증가시킬 수 있다. 그러나, 반자율 운전 조작을 구현하는 운전자 보조 애플리케이션은 경험이 많은 운전자를 방해할 수 있고/있거나 좌절시킬 수 있고, 그 결과, 경험이 많은 운전자에 의해 구현될 때 운전 안전성을 감소시킬 수 있다. 예를 들어, 차선 유지 보조 애플리케이션은 차량이 차선을 벗어나기 시작할 때 운전자에 대한 시각, 청각 및/또는 진동 경고를 생성한다. 운전자가 경고에 응답하지 않는 경우, 차선 유지 애플리케이션은 차량이 차선에 머무는 것을 보장하는 차량 작동을 수행한다. 익숙한 차량에서 잘 알려진 경로를 따라 운전하는 숙련된 운전자에 대해, 일반적인 차선 유지 애플리케이션에 의해 생성된 경고는 운전자를 방해할 수 있고, 애플리케이션에 의해 부여되는 관련 자동 운전 보조는 불필요할 수 있고 원하지 않을 수 있다. 게다가, 차량을 작동시키는 동안 차선 유지 애플리케이션을 비활성화하려는 운전자의 시도는 기본 운전 작업에 대한 집중력을 잃게 할 수 있다.

전술한 바와 같이, 차량에서 운전자 보조 애플리케이션을 구현하는 데 더 효과적인 기법이 기술에서 필요하다.

하나의 실시형태는 적어도 하나의 운전자 보조 애플리케이션을 통해 차량과 연관된 기능을 변경하기 위한 컴퓨터-구현 방법을 제시한다. 방법은 운전자가 차량을 작동시킬 때 측정되는 운전자의 적어도 하나의 생리학적 속성에 기초하여 운전자의 제1 특성을 계산하는 단계; 제1 특성에 기초하여 운전자와 연관된 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 단계; 및 제1 신뢰 수준에 기초하고 적어도 하나의 차량 기능을 변경하는 하나 이상의 작동이 수행되게 하는 단계를 포함한다.

종래 기술에 비해 개시된 기법의 적어도 하나의 기술적 이점은 개시된 기법이 운전자 보조 애플리케이션으로 하여금 만약에 있다면, 운전 안정성을 증가시키기 위해 취해져야 할 단계를 결정할 때 운전자의 기술 수준 및 신뢰 수준 둘 다를 고려하게 한다는 것이다. 특히, 실시간으로 또는 거의 실시간으로 운전자의 신뢰 수준을 자동으로 추정하는 것은 주어진 운전자 보조 애플리케이션이 현재 운전 상황에서 운전자의 능력을 보완하기 위해 차량의 작동을 조정하게 한다. 그 결과, 개시된 기법에 의해, 운전 안정성은 운전자의 기술 수준 및 신뢰 수준을 무시하는 종래 기술의 기법에 비해 더 다양한 운전자에 걸쳐 개선될 수 있다. 이러한 기술적 이점은 종래 기술의 방식에 비해 하나 이상의 기술적 발전을 제공한다.

다양한 실시형태의 위에서 언급된 특징을 상세히 이해할 수 있도록, 위에서 간략히 요약한, 본 발명의 개념의 더 구체적인 설명이 다양한 실시형태를 참조할 수도 있고, 일부 실시형태는 첨부 도면에 예시된다. 그러나, 첨부 도면이 본 발명의 개념의 일반적인 실시형태만을 예시하고 따라서 어떤 방식으로든 범위의 제한으로 간주되지 않으며, 다른 동등하게 효과적인 실시형태가 있다는 점에 유의한다.
도 1은 다양한 실시형태의 하나 이상의 양상을 구현하도록 구성된 시스템의 개념도;
도 2는 다양한 실시형태에 따른, 도 1의 운전자 평가 애플리케이션의 더 상세한 도면;
도 3은 다양한 실시형태에 따른, 운전자 기술 수준 및 운전자 신뢰 수준 평가로 하나 이상의 운전자 보조 애플리케이션을 증강하기 위한 방법 단계의 흐름도.

다음의 설명에서, 수많은 구체적인 상세사항이 다양한 실시형태의 더 완전한 이해를 제공하기 위해 제시된다. 그러나, 본 발명의 개념이 이 구체적인 상세사항 중 하나 이상의 상세사항 없이 수행될 수도 있다는 것임이 당업자에게 분명할 것이다.

시스템 개요

도 1은 다양한 실시형태의 하나 이상의 양상을 구현하도록 구성된 시스템(100)의 개념도이다. 시스템(100)은 제한 없이, 컴퓨트 인스턴스(110), 차량(102), 및 운전자 감지 서브시스템(140)을 포함한다. 대안적인 실시형태에서 그리고 파선 박스를 사용하여 도시된 바와 같이, 시스템(100)은 또한 제한 없이, 차량 관찰 서브시스템(150)을 포함한다. 설명의 목적을 위해, 유사 물체의 다수의 인스턴스는 물체를 식별하는 참조 영숫자 문자 및 필요한 경우 인스턴스를 식별하는 삽입된 영숫자 문자로 표기된다.

대안적인 실시형태에서, 시스템(100)은 임의의 수의 컴퓨트 인스턴스(110), 임의의 수의 차량(102), 및 임의의 수의 부가적인 컴포넌트(예를 들어, 애플리케이션, 서브시스템, 모듈 등)을 임의의 조합으로 포함할 수도 있다. 시스템(100)의 임의의 수의 컴포넌트는 다수의 지리학적 위치에 걸쳐 분포될 수도 있거나 또는 하나 이상의 클라우드 컴퓨팅 환경(즉, 캡슐화된 공유 자원, 소프트웨어, 데이터 등)에서 임의의 조합으로 구현될 수도 있다.

도시된 바와 같이, 컴퓨트 인스턴스(110)의 각각은 제한 없이, 프로세서(112) 및 메모리(116)를 포함한다. 프로세서(112)는 명령어를 실행할 수 있는 임의의 명령어 실행 시스템, 장치, 또는 디바이스일 수도 있다. 예를 들어, 프로세서(112)는 중앙 처리 장치(central processing unit: "CPU"), 그래픽 처리 장치(graphics processing unit: "GPU"), 제어기, 마이크로-제어기, 상태 기계 또는 이들의 임의의 조합을 포함할 수 있다. 메모리(116)는 컴퓨트 인스턴스(110)의 프로세서(112)에 의한 사용을 위해, 콘텐츠, 예컨대, 소프트웨어 애플리케이션 및 데이터를 저장한다. 대안적인 실시형태에서, 임의의 수의 컴퓨트 인스턴스(110)의 각각은 임의의 수의 프로세서(112) 및 임의의 수의 메모리(116)를 임의의 조합으로 포함할 수도 있다. 특히, 임의의 수의 컴퓨트 인스턴스(110)(하나를 포함)는 임의의 기술적으로 실현 가능한 방식으로 다중 처리 환경을 제공할 수도 있다.

메모리(116)는 손쉽게 이용 가능한 메모리, 예컨대, 랜덤 액세스 메모리(Random Access Memory: RAM), 판독 전용 메모리(Read Only Memory: ROM), 플로피 디스크, 하드 디스크 또는 임의의 다른 형태의 디지털 저장소, 로컬 저장소 또는 원격 저장소 중 하나 이상일 수도 있다. 일부 실시형태에서, 저장소(미도시)는 메모리(116)를 보완할 수도 있거나 또는 대체할 수도 있다. 저장소는 프로세서(112)에 액세스 가능한 임의의 수 및 유형의 외부 메모리를 포함할 수도 있다. 예를 들어 그리고 제한 없이, 저장소는 보안 디지털 카드, 외장 플래시 메모리, 휴대용 콤팩트 디스크 판독-전용 메모리(portable compact disc read-only memory: CD-ROM), 광학 저장 디바이스, 자기 저장 디바이스 또는 전술한 것의 임의의 적절한 조합을 포함할 수도 있다.

컴퓨트 인스턴스(110)의 각각은 하나 이상의 소프트웨어 애플리케이션 또는 소프트웨어 애플리케이션의 서브시스템을 구현하도록 구성된다. 설명의 목적만을 위해, 각각의 소프트웨어 애플리케이션은 단일의 컴퓨트 인스턴스(110)의 메모리(116)에 존재하고 단일의 컴퓨트 인스턴스(110)의 프로세서(112)에서 실행되는 것으로 도시된다. 그러나, 대안적인 실시형태에서, 각각의 소프트웨어 애플리케이션의 기능은 임의의 수의 컴퓨트 인스턴스(110)의 메모리(116)에 존재하고 임의의 수의 컴퓨트 인스턴스(110)의 프로세서(112)에서 임의의 조합으로 실행되는 임의의 수의 다른 소프트웨어 애플리케이션에 걸쳐 분포될 수도 있다. 게다가, 임의의 수의 소프트웨어 애플리케이션 또는 서브시스템의 기능은 단일의 소프트웨어 애플리케이션 또는 서브시스템으로 통합될 수도 있다.

차량(102)은 적어도 부분적으로, 운전자(104)에 의해 안내되는 지상-기반 또는 비지상-기반 기계의 임의의 유형일 수도 있다. 예를 들어, 차량(102)은 특히 자동차, 오토바이, 스포츠 유틸리티 차량, 트럭, 버스, 전지형 차량, 스노모빌, 상업용 건설 기계(예를 들어, 크레인, 굴착기 등), 비행기, 헬리콥터 또는 보트일 수도 있다. 게다가, 차량(102)은 택시, 승차 공유 차량(예컨대, 우버 차량(Uber vehicle), 리프트 차량(Lyft vehicle) 등), 잠수함, 전기 수직 이착륙 차량, 우주선 등일 수도 있다.

도시된 바와 같이, 차량(102)은 제한 없이, 계기판(122), 헤드 유닛(124), 임의의 수의 외부-지향 센서(126), 임의의 수의 차량 센서(128), 운전자(104), 및 임의의 수의 탑승자 센서(130)를 포함한다. 차량(102)은 부가적으로 운전자(104)가 기본 운전 작업을 수행하게 하는 임의의 수 및 유형의 차량 컴포넌트뿐만 아니라 운전자(104) 및/또는 다른 승객이 보조 작업을 수행하게 하는 임의의 수 및 유형의 차량 컴포넌트를 포함할 수도 있다. 기본 운전 작업을 구현하는 차량 컴포넌트의 예는 제한 없이, 브레이크, 파워트레인, 변속기 및 조향 시스템을 포함한다. 운전자(104) 및 승객이 보조 작업을 수행하게 하는 차량 컴포넌트의 예는 제한 없이, 라디오, 온도 제어 시스템, 내비게이션 시스템, 차내 인터넷 시스템 등을 포함한다.

계기판(122) 및 헤드 유닛(124)은 운전자(104)가 차량(102)의 하나 이상의 기능을 모니터링하고/하거나 변경하게 한다. 본 명세서에서 언급된 바와 같이, 차량(102)의 기능은 제한 없이, 차량(102)을 운전하는 것과 연관되는 차량(102)의 작동 및 임의의 수의 보조 작업과 연관되는 임의의 유형의 조치를 포함한다. 차량(102)의 기능의 예는 제한 없이, 차량(102)의 속도, 차량(102)의 방향, 차량(102) 내 임의의 수의 시각 디스플레이, 청각 디스플레이 및/또는 촉각 디스플레이 등에서 출력되는 정보를 포함한다. 차량(102)의 기능은 또한 본 명세서에서 "차량 기능"으로서 지칭된다. 대안적인 실시형태에서, 차량(102)은 운전자(104)가 차량(102)의 기능을 모니터링하고/하거나 변경하게 하는 계기판(122) 및 헤드 유닛(124) 대신에 또는 이들에 더하여 임의의 수의 부가적인 컴포넌트를 포함할 수도 있다. 예를 들어, 일부 실시형태에서, 차량(102)은 후방-뷰 카메라를 포함할 수도 있다.

계기판(122)은 제한 없이, 차량(102)의 다양한 컴포넌트로부터 데이터를 수집하고 디스플레이하는, 임의의 수 및 유형의 아날로그 컴포넌트 및 임의의 수 및 유형의 디지털 컴포넌트를 포함한다. 예를 들어, 일부 실시형태에서, 계기판(122)은 제한 없이, 아날로그 속도계, 디지털 대시보드, 및 트립 컴퓨터 애플리케이션을 실행하는 컴퓨트 인스턴스(110)를 포함한다. 디지털 대시보드는 차량(102)과 관련된 임의의 양 및 유형의 데이터, 예컨대, 연료 레벨, 내부 온도, 외부 온도 및 주행 거리를 디스플레이할 수도 있다. 트립 컴퓨터 애플리케이션은 차량(102)과 관련된 임의의 수의 통계를 기록할 수도 있고 디스플레이할 수도 있다. 예를 들어, 트립 컴퓨터 애플리케이션은 평균 속도, 평균 주행 거리, 평균 연료 소비량, 추정 범위 등을 기록할 수도 있고 디스플레이할 수도 있다.

헤드 유닛(124)은 운전자(104)가 기본 운전 작업과 특정한 보조 작업 둘 다를 효율적으로 수행하게 한다. 예를 들어, 일부 실시형태에서, 헤드 유닛(124)은 제한 없이, 인포테인먼트 시스템과 내비게이션 시스템에 대한 하드웨어 인터페이스를 포함한다. 일부 실시형태에서, 하드웨어 인터페이스는 제한 없이, 터치스크린 및 임의의 수 및 조합의 입력 기구, 출력 기구 및 제어 기구(예를 들어, 버튼, 슬라이더 등)를 포함한다. 예를 들어 그리고 제한 없이, 하드웨어 인터페이스는 핸즈프리 통화 및 오디오 스트리밍을 위한 내장 블루투스, 범용 직렬 버스(universal serial bus: USB) 연결, 음성 인식, 후방-뷰 카메라 입력, 임의의 수 및 유형의 디스플레이를 위한 비디오 출력, 및 임의의 수의 오디오 출력을 포함할 수도 있다. 일반적으로, 임의의 수의 센서, 디스플레이, 수신기, 전송기 등은 헤드 유닛(124)에 통합될 수도 있거나 또는 헤드 유닛(124)의 외부에서 구현될 수도 있다. 외부 디바이스는 기술적으로 실현 가능한 방식으로 헤드 유닛(124)과 통신할 수도 있다.

외부-지향 센서(126) 및 차량 센서(128)는 운전자(104)가 차량(102)을 작동시키는 동안 차량(102)을 둘러싸는 영역 및 차량(102) 자체를 각각 모니터링한다. 차량 관찰 서브시스템(150)은 외부-지향 센서(126) 및 차량 센서(128)로부터 수신된 신호를 처리하여 차량 상태 데이터(134)를 생성한다. 도시된 바와 같이, 차량 관찰 서브시스템(150)은 제한 없이, 외부 장면 모듈(152), 차량 기록 모듈(154) 및 운전자 차량 입력 모듈(156)을 포함한다.

외부 장면 모듈(152)은 임의의 수의 외부-지향 센서(126)(예를 들어, 차량(102)에 장착되는 전방-지향 카메라, 광 검출 및 거리 측정(light detection and ranging: LIDAR) 센서 등)로부터 수신된 센서 신호를 처리하여 차량 상태 데이터(134)에 포함되는 환경 데이터(미도시)를 생성한다. 외부 장면 모듈(152)은 센서 신호에 대한 임의의 수 및 유형의 작동을 임의의 기술적으로 실현 가능한 방식으로 수행하여 임의의 양 및 유형의 환경 데이터를 생성할 수도 있다. 예를 들어, 일부 실시형태에서, 외부 장면 모듈(152)은 제한 없이, 세분화 및 분류 기계 학습 모델을 포함한다. 외부 장면 모듈(152)은 센서 신호를 통해 수신된 외부 장면 이미지를 세분화 및 분류 모델에 입력한다. 이에 응답하여, 세분화 및 분류 모델은 외부 장면 이미지에서 영역을 세분화하고, 영역을 유형(예를 들어, 도로, 차량, 도로 표지판, 보행자 등)으로 분류하고, 시간에 걸쳐 분류된 영역의 이동을 추적하고, 추적 데이터(미도시)를 출력한다. 세분화 및 분류 모델이 추적 데이터를 생성할 때, 외부 장면 모듈(152)은 추적 데이터를 환경 데이터에 추가한다.

차량 기록 모듈(154)은 차량 상태 데이터(134)에 포함되는 차량 원격 측정 데이터(미도시)를 생성한다. 차량 원격 측정 데이터는 차량(102)의 특성, 예컨대, 속도, 횡방향 가속도, 분당 엔진 회전수(revolution per minute: "RPM"), 배터리 충전 상태 등을 명시한다. 운전자 차량 입력 모듈(156)은 차량 상태 데이터(134)에 포함되는 운전자 입력 데이터(미도시)를 생성한다. 운전자 입력 데이터는 운전자(104)가 결정하는 입력, 예컨대, 현재 운전대 각, 가속 페달 위치, 브레이크 페달 위치 등을 명시한다.

외부 장면 모듈(152), 차량 기록 모듈(154), 및 운전자 차량 입력 모듈(156)의 각각은 연속적으로 그리고 자동으로 작동된다. 그 결과, 차량 관찰 서브시스템(150)은 차량 상태 데이터(134)를 실시간으로 업데이트한다. 대안적인 실시형태에서, 차량 관찰 서브시스템(150)에 포함된 임의의 수의 컴포넌트는 임의의 유형의 트리거에 기초하여(예를 들어, 10초마다) 차량 상태 데이터(134)의 대응하는 부분을 생성할 수도 있고, 각각의 컴포넌트는 상이한 트리거와 연관될 수도 있다.

운전 안정성을 증가시키고 운전자(104)의 전반적인 운전 경험을 개선시키기 위해, 차량(102)은 본 명세서에서 "운전자 보조 애플리케이션"(미도시)으로서 지칭되는 임의의 수의 소프트웨어 애플리케이션을 통해 임의의 수의 ADAS 특징을 구현한다. 본 명세서에서 사용될 때, "운전 안정성을 증가시키는 것"은 차량(102)이 사람, 동물 및/또는 물체에 직접적으로 또는 간접적으로 피해를 끼칠 가능성을 감소시키는 것 및/또는 유발되는 모든 피해의 심각성을 감소시키는 것에 대응한다. 차량(102)에 의해 피해를 입을 수 있는 일부 유형의 사람은 제한 없이, 운전자(104), 차량(102)의 승객, 다른 차량의 운전자 및 승객, 보행자, 자전거 타는 사람 등을 포함할 수도 있다. 차량(102)에 의해 피해를 입을 수 있는 일부 유형의 물체는 차량(102), 다른 차량, 전봇대, 주택 등을 포함할 수도 있다. ADAS 특징의 일부 예는 제한 없이, 잠금-방지 브레이크, 사각지대 검출, 충돌 방지, 차선 유지 보조, 경사로 주행 제어, 자율 주차 등을 포함한다.

일부 실시형태에서, 임의의 수의 운전자 보조 애플리케이션은 차량(102)의 헤드 유닛(124), 계기판(122), 및/또는 다른 컴포넌트에 포함된 컴퓨트 인스턴스(110)에 존재할 수도 있고 컴퓨트 인스턴스에서 실행될 수도 있다. 동일하거나 또는 다른 실시형태에서, 임의의 수의 운전자 보조 애플리케이션은 차량(102)의 외부에 위치된 컴퓨트 인스턴스(110)에 존재할 수도 있고 컴퓨트 인스턴스에서 실행될 수도 있고 임의의 기술적으로 실현 가능한 방식으로 차량(102)에 포함된 컴포넌트와 통신할 수도 있다. 각각의 운전자 보조 애플리케이션은 차량(102)과 연관된 임의의 수의 제어 기구를 통해 임의의 수의 조치를 수행하여 차량(102)의 임의의 수의 기능을 변경할 수도 있다. 예를 들어, 운전자 보조 애플리케이션은 브레이크 제어 신호를 브레이크를 제어하는 작동기로 전송할 수 있다. 또 다른 실시예에서, 운전자 보조 애플리케이션은 헤드 유닛(124)과 연관된 인포테인먼트 애플리케이션 프로그래밍 인터페이스(application programming interface: "API")를 통해 터치스크린에 디스플레이되는 데이터를 변경할 수 있다.

본 명세서에서 이전에 설명된 바와 같이, 운전 안정성을 증가시키는 하나의 종래의 방식에서, 종래의 운전자 보조 애플리케이션은 차량 상태 데이터(134)를 수신한다. 차량 상태 데이터(134)에 기초하여 각각의 종래의 운전자 보조 애플리케이션은 차량(102) 작동을 변경하여 운전 안정성을 증가시킬지를 결정하고 그러하다면, 어떤 조정이 이루어져야 하는지를 결정한다. 이러한 방식의 하나의 결점은 일부 종래의 운전자 보조 애플리케이션이 오직 특정한 유형의 운전자에 대한 운전 안정성을 성공적으로 증가시키고 다른 유형의 운전자에 의해 구현될 때 운전 안정성을 실제로 감소시킬 수 있다는 것이다. 예를 들어, 반자율 운전 조작을 구현하는 종래의 운전자 보조 애플리케이션은 경험이 적은 운전자가 스스로 수행할 수 없거나 또는 스스로 수행할 자신이 없는 운전 조작을 수행하게 할 수 있다. 그러나, 반자율 운전 조작을 구현하는 종래의 운전자 보조 애플리케이션은 경험이 많은 운전자를 방해할 수 있고/있거나 좌절시킬 수 있고, 그 결과, 경험이 많은 운전자에 의해 구현될 때 운전 안전성을 감소시킬 수 있다.

ADAS 특징을 개별적인 운전자에 대해 조정

운전자 보조 애플리케이션이 더 효과적이고 신뢰성 있게 운전 안정성을 증가시키게 하기 위해, 시스템(100)은 제한 없이, 탑승자 센서(130), 운전자 감지 서브시스템(140), 운전자 평가 애플리케이션(160), 및 운전자 모니터링 시스템(driver monitoring system: "DMS") API(192)를 포함한다. 탑승자 센서(130)는 운전자(104)와 연관된 생리학적 데이터를 실시간으로 검출하고 전달하는 임의의 수 및 유형의 디바이스 그리고 임의로, 차량(102) 내 임의의 수의 다른 승객을 포함할 수도 있다. 예를 들어, 탑승자 센서(130)는 제한 없이, 임의의 수 및 조합의 적외선 카메라, 가시광선 카메라, 깊이 센서, 무선 주파수(radio frequency: "RF") 레이더 센서, LIDAR 센서, 뇌전도 센서, 심박수 센서, 호흡수 센서, 맥박 산소측정기, 갈바닉 피부 반응 센서, 마이크로폰, 마이크로폰 어레이를 포함할 수도 있다. 탑승자 센서(130)는 다양한 위치에 걸쳐 분포될 수도 있다. 예를 들어, 일부 실시형태에서, 탑승자 센서(130)의 각각은 차량(102)에 부착(예를 들어, 운전대, 머리받이 등에 내장)되거나 또는 차량(102)의 탑승자에 의해 착용된다.

운전자(104)가 차량을 작동시킬 때, 운전자 감지 서브시스템(140)은 탑승자 센서(130)로부터 센서 데이터를 획득하고 이 센서 데이터를 처리하여 운전자 상태 데이터(132)를 생성한다. 도시된 바와 같이, 운전자 감지 서브시스템(140)은 제한 없이, 운전자 식별 모듈(142), 인지 부하 모듈(144) 및 시각적 감정 분류기(146)를 포함한다. 도시되지 않았지만, 운전자 상태 데이터(132)는 제한 없이, 운전자(104)에 대한 신원 분류, 인지 부하 분류 및 시각적 감정 분류를 포함한다.

운전자 식별 모듈(142)은 임의의 기술적으로 실현 가능한 방식으로 탑승자 센서(130)로부터 수신된 임의의 양 및 유형의 센서 데이터에 기초하여 신원 분류를 생성한다. 신원 분류는 개인, 사람 그룹, 또는 운전자(104) 또는 운전자(104)가 속하는 그룹(예를 들어, 우버 운전자)을 식별하는 임의의 특성을 임의의 기술적으로 실현 가능한 방식으로 명시할 수도 있다. 일부 실시형태에서, 운전자 식별 모듈(142)은 제한 없이, 신원 분류를 추정하도록 트레이닝되는 기계 학습 모델을 포함한다. 다른 실시형태에서, 운전자 식별 모듈(142)은 임의의 수 및 유형의 휴리스틱을 구현하여 신원 분류를 추정한다.

대안적인 실시형태에서, 운전자 식별 모듈(142)은 운전자(104) 및/또는 차량(102)과 연관된 부가적인 정보와 함께 탑승자 센서(130)로부터 수신된 센서 데이터에 기초하여 신원 분류를 결정한다. 예를 들어, 일부 대안적인 실시형태에서 그리고 파선 화살표를 통해 도시된 바와 같이, 운전자 식별 모듈(142)은 운전자 차량 입력 모듈(156)에 의해 생성된 운전자 입력 데이터를 수신한다. 운전자 식별 모듈(142)은 운전자 입력 데이터를 분석하여 운전자(104)의 조치에 대한 하나 이상의 거동 특성을 생성한다. 이어서 운전자 식별 모듈(142)은 탑승자 센서(130)로부터 수신된 센서 데이터와 함께 거동 특성(들)에 기초하여 신원 분류를 결정한다.

인지 부하 모듈(144)은 탑승자 센서(130)로부터 수신된 임의의 양 및 유형의 센서 데이터에 기초하여 운전자(104)에 대한 인지 부하 분류를 생성한다. 본 명세서에서 언급된 바와 같이, 주어진 시점에서 운전자(104)의 인지 부하는 운전자(104)에게 부과된 총 정신 활동량과 연관성이 있고 운전자(104)가 얼마나 열심히 집중하고 있는지의 표시(indication)이다. 인지 부하 분류는 임의의 기술적으로 실현 가능한 방식으로 그리고 임의의 세분화 수준으로 운전자(104)의 인지 부하를 명시할 수도 있다. 예를 들어, 일부 실시형태에서, 임의의 주어진 시간에서 인지 부하 분류는 낮음, 중간 또는 높음 중 하나이다. 인지 부하 모듈(144)은 임의의 기술적으로 실현 가능한 방식으로 인지 부하 분류를 생성할 수도 있다.

예를 들어, 일부 실시형태에서, 인지 부하 모듈(144)은 제한 없이, 임의의 수의 뇌 활동, 심박수, 피부 전도율, 운전대 파지력, 근육 활동, 피부/신체 온도 등을 명시하는 센서 데이터에 기초하여 인지 부하 분류를 결정할 수도 있다. 동일하거나 또는 다른 실시형태에서, 인지 부하 모듈(144)은 제한 없이, 운전자(104)의 동공의 크기 및/또는 반응성 수준에 기초하여 운전자(104)의 인지 부하를 반영하는 동공-기반 메트릭을 추정하도록 트레이닝되는 기계 학습 모델을 포함한다. 인지 부하 모듈(144)은 동공의 크기 및/또는 반응성 수준을 임의의 기술적으로 실현 가능한 방식으로 측정할 수도 있다. 예를 들어, 일부 실시형태에서, 인지 부하 모듈(144)은 IR 카메라 이미지를 통해 획득된 동공 정보에 기초하여 직접적으로 동공의 크기 및/또는 반응성 수준을 측정할 수도 있다. 동일하거나 또는 다른 실시형태에서, 인지 부하 모듈(144)은 가시광선 카메라 이미지에 기초한 심화-학습 눈 움직임 추적을 사용하여 간접적으로 동공의 크기 및/또는 반응성 수준을 측정할 수도 있다. 일부 대안적인 실시형태에서, 인지 부하 모듈(144)은 제한 없이, 눈 움직임 데이터에 기초하여 인지 부하 메트릭에 대한 값 및/또는 스트레스 메트릭에 대한 값을 생성하는 인지 부하 분류기(미도시)를 포함한다. 눈 움직임 데이터는 제한 없이, 눈 시선 방향 및/또는 일시적인 방향에서 눈 시선 데이터 패턴의 파생물, 예컨대, 눈 단속성 및 눈 고정, 및/또는 눈 움직임 데이터의 임의의 수 및/또는 유형의 다른 파생물을 포함할 수도 있다.

일부 실시형태에서, 인지 부하 모듈(144)은 탑승자 센서(130)에 포함된 임의의 수의 마이크로폰으로부터 수신된 오디오 데이터에 적어도 부분적으로 기초하여 인지 부하 분류를 결정할 수도 있다. 예를 들어, 인지 부하 모듈(144)은 오디오 데이터를 분석하여 대화 맥락, 대화 화자 전환, 음성 톤 및 영향, 청각적 방해 등을 검출하는 임의의 수의 알고리즘을 구현할 수도 있다. 예를 들어 그리고 제한 없이, 인지 부하 모듈(144)은 운전자(104)가 승객과 대화하고 있는 것, 운전자(104)가 현재 말하고 있는 것, 운전자(104)의 톤이 운전자(104)가 졸음 상태임을 나타내는 것, 2명의 다른 승객이 두 번째 대화를 하고 있는 것 등을 검출할 수 있다.

시각적 감정 분류기(146)는 탑승자 센서(130)로부터 수신된 임의의 양 및 유형의 시각 센서 데이터에 기초하여 시각적 감정 분류를 생성한다. 시각적 감정 분류는 임의의 수의 감정 차원을 따라 시각적 단서를 통해 운전자(104)에 의해 표현되는 감정을 명시한다. 예를 들어, 일부 실시형태에서, 시각적 감정 분류는 제한 없이, 놀라움, 기쁨, 두려움, 슬픔, 분노, 불신 등과 같은 감정을 명시하는 별개의 감정 분류를 포함한다. 동일하거나 또는 다른 실시형태에서, 시각적 감정 분류는 제한 없이, 보조원 매개 변수화된 감정 메트릭 또는 3차원 매개 변수화된 감정 메트릭에 대한 값을 포함한다. 예를 들어, 시각적 감정 분류는 정서가 및 각성의 차원을 가진 보조원 매개 변수화된 감정 메트릭 또는 정서가, 각성, 및 우위의 차원을 가진 3차원 매개 변수화된 감정에 대한 값을 포함할 수 있다. 시각적 감정 분류기(146)는 시각적 감정 분류를 임의의 기술적으로 실현 가능한 방식으로 생성할 수도 있다. 예를 들어, 일부 실시형태에서, 시각적 감정 분류기(146)는 제한 없이, 임의의 수 및/또는 조합의 운전자(104)의 안면의 가시광선 카메라 이미지, 적외선 카메라 이미지, 및/또는 열적 이미지를 사용하도록 트레이닝되는 기계 학습 모델을 포함한다.

대안적인 실시형태에서, 운전자 감지 서브시스템(140)은 제한 없이, 운전자 상태 데이터(132)에 포함되는 운전자(104)의 상이한 특성을 각각 생성하는 임의의 수 및 유형의 소프트웨어 애플리케이션을 포함할 수도 있다. 예를 들어, 일부 대안적인 실시형태에서, 운전자 감지 서브시스템(140)은 청각적 감정 분류기(148)(파선 박스로 도시됨)를 포함한다. 청각적 감정 분류기(148)는 운전자 상태 데이터(132)에 포함된 청각적 감정 분류를 생성한다. 청각적 감정 분류는 임의의 수의 감정 차원에 따라 운전자(104)의 음성에 의해 전달될 때 운전자(104)에 의해 표현되는 감정을 반영한다. 일부 실시형태에서, 청각적 감정 분류기(148)는 제한 없이, 운전자(104)의 음성을 사용하여 청각적 감정 분류를 결정하도록 트레이닝되는 기계 학습 모델을 포함한다. 임의의 주어진 시간에, 청각적 감정 분류는 반드시 시각적 감정 분류와 일치하는 것이 아니다.

운전자 식별 모듈(142), 인지 부하 모듈(144), 및 시각적 감정 분류기(146)의 각각은 연속적으로 그리고 자동으로 작동된다. 그 결과, 운전자 감지 서브시스템(140)은 운전자 상태 데이터(132)를 실시간으로 업데이트한다. 대안적인 실시형태에서, 운전자 감지 서브시스템(140)에 포함된 임의의 수의 컴포넌트는 임의의 유형의 트리거에 기초하여(예를 들어, 10초마다) 운전자 상태 데이터(132)의 대응하는 부분을 생성할 수도 있고, 각각의 컴포넌트는 상이한 트리거와 연관될 수도 있다.

도시된 바와 같이, 운전자 평가 애플리케이션(160)은 운전자 상태 데이터(132) 및 임의의 양(0을 포함함)의 부가적인 정보에 기초하여 기술 수준(172) 및 신뢰 수준(182)을 생성한다. 예를 들어 그리고 파선 화살표를 통해 도시된 바와 같이, 운전자 평가 애플리케이션(160)은 운전자 상태 데이터(132) 및 차량 상태 데이터(134)에 기초하여 기술 수준(172) 및 신뢰 수준(182)을 생성할 수도 있다. 대안적인 실시형태에서, 운전자 평가 애플리케이션(160)은 운전자 상태 데이터(132)에 더하여 또는 그 대신에 운전자(104)에 대한 임의의 양 및 유형의 생리학적 데이터에 기초하여 기술 수준(172) 및 신뢰 수준(182)을 생성할 수도 있다. 예를 들어, 대안적인 실시형태에서, 운전자 평가 애플리케이션(160)은 운전자 상태 데이터(132) 및 탑승자 센서(130) 중 하나 이상의 탑승자 센서로부터 직접적으로 수신되는 임의의 양의 센서 데이터에 기초하여 기술 수준(172) 및 신뢰 수준(182)을 생성할 수도 있다.

기술 수준(172)은 운전자(104)의 기술의 추정치이고 신뢰 수준(182)은 운전자(104)의 신뢰의 추정치이다. 기술 수준(172) 및 신뢰 수준(182)의 각각은 임의의 세분화 수준으로 임의의 수의 허용 가능한 값과 연관될 수도 있다. 예를 들어, 일부 실시형태에서, 기술 수준(172)에 대한 허용 가능한 값은 낮음, 중간 그리고 높음이다. 동일하거나 또는 다른 실시형태에서, 신뢰 수준(182)에 대한 허용 가능한 값은 1 내지 10의 정수이고, 1은 신뢰 없음을 나타내고 10은 완전한 신뢰를 나타낸다.

일반적인 문제로서, 기술 수준(172)은 운전자(104)의 전반적인 운전 능력을 추정하고 일반적으로 시간에 걸쳐 점진적으로 증가된다. 예를 들어, 운전자(104)가 운전을 배우기 시작할 때, 운전자(104)는 가능한 가장 낮은 기술 수준(172)을 가질 것이다. 운전자(104)가 운전 경험을 획득함에 따라, 기술 수준(172)은 점진적으로 증가될 것이다. 대조적으로, 신뢰 수준(182)은 운전자(104)가 현재 운전 환경에서 차량(102)을 안전하게 다룰 수 있는 운전자(104)의 믿음을 추정하고, 따라서, 실시간으로 변화될 수 있다. 예를 들어, 운전자(104)가 상당한 운전 경험을 갖고, 차량(102)에 익숙하고, 운전 조건이 양호한 경우에, 신뢰 수준(182)은 상대적으로 높을 수 있다. 또 다른 실시예에서, 차량(102)이 렌터카인 경우에, 신뢰 수준(182)은 기술 수준(172)과 관계 없이 상대적으로 낮을 수 있다. 추가의 또 다른 실시예에서, 운전자(104)가 불리한 운전 조건(예를 들어, 빙판길, 폭설, 도로 공사 등)에서 운전하는 경우에, 신뢰 수준(182)은 불리한 운전 조건이 존재하는 동안 상대적으로 낮을 수 있다.

도시된 바와 같이, 운전자 평가 애플리케이션(160)은 제한 없이, 기술 수준 분류 서브시스템(170) 및 신뢰 수준 분류 서브시스템(180)을 포함한다. 설명의 목적만을 위해, 운전자 평가 애플리케이션(160)은 메모리(116(1))에 존재하고 컴퓨터 인스턴스(110(1))의 프로세서(112(1))에서 실행되는 것으로 도시된다. 대안적인 실시형태에서, 본 명세서에서 설명된 바와 같은 운전자 평가 애플리케이션(160)의 기능은 임의의 수의 물리적 위치의 임의의 수의 컴퓨트 인스턴스(110)에 존재하고 컴퓨트 인스턴스에서 실행되는 임의의 수 및 유형의 소프트웨어 애플리케이션 및 임의의 수의 서브시스템에 걸쳐 분포될 수도 있다. 예를 들어, 일부 실시형태에서, 기술 수준 분류 서브시스템(170)은 클라우드에 존재할 수도 있고 클라우드에서 실행될 수도 있다. 동일하거나 또는 다른 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 헤드 유닛(124)에 포함된 컴퓨트 인스턴스(110)에 존재할 수도 있고 컴퓨트 인스턴스에서 실행될 수도 있다. 대안적인 실시형태에서, 운전자 평가 애플리케이션(160)이 신뢰 수준(182)을 생성하지만 운전자(104)에 대한 임의의 기술 수준을 추정하지 않고, 기술 수준 분류 서브시스템(170)이 시스템(100)으로부터 생략될 수도 있다.

각각의 운전 세션의 초반에, 운전자 평가 애플리케이션(160)은 기술 수준(172) 및 신뢰 수준(182)을 디폴트값으로 설정한다. 본 명세서에서 사용될 때, "운전 세션"은 차량(102)이 연속적으로 주행하는 시간 기간을 나타낸다. 운전자 평가 애플리케이션(160)은 디폴트값을 임의의 기술적으로 실현 가능한 방식으로 결정할 수도 있다. 예를 들어, 일부 실시형태에서, 디폴트값은 가장 낮은 허용 가능한 값이다. 후속하여, 기술 수준 분류 서브시스템(170) 및 신뢰 수준 분류 서브시스템(180)은 운전자 상태 데이터(132)와 임의의 양 및 유형의 부가적인 정보에 기초하여 기술 수준(172) 및 신뢰 수준(182)을 각각 생성한다.

대안적인 실시형태에서, 기술 수준 분류 서브시스템(170) 및 신뢰 수준 분류 서브시스템(180)에 대한 입력은 상이할 수도 있다. 예를 들어, 일부 대안적인 실시형태에서, 기술 수준 분류 서브시스템(170)은 단일의 입력(예를 들어, 신원 분류)을 갖고, 신뢰 수준 분류 서브시스템(180)은 다수의 입력(예를 들어, 인지 부하 분류, 시각적 감정 분류 및 청각적 감정 분류)을 갖는다. 일부 대안적인 실시형태에서 그리고 파선 화살표로 도시된 바와 같이, 기술 수준 분류 서브시스템(170)에 대한 입력 중 하나의 입력은 신뢰 수준(182)이다. 동일하거나 또는 다른 대안적인 실시형태에서 그리고 또 다른 파선 화살표로 도시된 바와 같이, 신뢰 수준 분류 서브시스템(180)에 대한 입력 중 하나의 입력은 기술 수준(172)이다.

기술 수준 분류 서브시스템(170)은 기술 수준(172)을 추정하기 위해 임의의 수 및 유형의 알고리즘을 각각 구현하는 임의의 수 및 유형의 모델을 구현할 수도 있다. 예를 들어, 일부 실시형태에서, 기술 수준 분류 서브시스템(170)은 제한 없이, 임의의 운전자의 기술 수준(172)을 계산하기 위해 트레이닝되는 클라우드-기반 기계 학습 모델을 포함한다. 다른 실시형태에서, 기술 수준 분류 서브시스템(170)은 제한 없이, 하나 이상의 기계 학습 모델을 포함하고, 각각의 기계 학습 모델은 상이한 운전자의 기술 수준(172)을 계산하기 위해 트레이닝된다. 제한 없이, 트레이닝된 기계 학습 모델을 포함하는 기술 수준 분류 서브시스템(170)의 예는 도 2와 함께 더 상세히 설명된다.

또 다른 실시형태에서, 기술 수준 분류 서브시스템(170)은 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134) 및/또는 신뢰 수준(182)에 기초하여 기술 수준(172)을 결정하기 위해 휴리스틱 및/또는 규칙을 구현하는 모델일 수도 있다. 예를 들어, 일부 실시형태에서, 기술 수준 분류 서브시스템(170)은 운전자 입력 데이터에 기초하여 불규칙한 운전을 검출하는 휴리스틱과 휴리스틱이 불규칙한 운전을 검출할 때 기술 수준(172)을 낮게 설정하는 규칙을 구현할 수도 있다. 동일하거나 또는 다른 실시형태에서, 기술 수준 분류 서브시스템(170)은 특정한 운전 조건하에서 신뢰 수준(182)과 연관성이 있도록 기술 수준(172)을 조정하는 휴리스틱을 구현할 수도 있다. 예를 들어, 기술 수준 분류 서브시스템(170)은 신뢰 수준(182)이 낮고 환경 데이터가 교통이 한산하다는 것을 나타낼 때 기술 수준(172)을 감소시킬 수 있다. 대조적으로, 기술 수준 분류 서브시스템(170)은 신뢰 수준(182)이 높고 환경 데이터가 교통 조건이 어렵다는 것을 나타낼 때 기술 수준(172)을 증가시킬 수 있다.

신뢰 수준 분류 서브시스템(180)은 신뢰 수준(182)을 추정하기 위해 임의의 수 및 유형의 알고리즘을 각각 구현하는 임의의 수 및 유형의 모델을 구현할 수도 있다. 예를 들어, 일부 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 제한 없이, 임의의 운전자의 신뢰 수준(182)을 계산하기 위해 트레이닝되는 클라우드-기반 기계 학습 모델을 포함한다. 다른 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 제한 없이, 하나 이상의 기계 학습 모델을 포함하고, 각각의 기계 학습 모델은 상이한 운전자의 신뢰 수준(182)을 계산하기 위해 트레이닝된다. 제한 없이, 트레이닝된 기계 학습 모델을 포함하는 신뢰 수준 분류 서브시스템(180)의 예는 도 2와 함께 더 상세히 설명된다.

또 다른 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134) 및/또는 기술 수준(172)에 기초하여 신뢰 수준(182)을 결정하기 위해 휴리스틱 및/또는 규칙을 구현하는 모델일 수도 있다. 예를 들어, 일부 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 운전자 입력 데이터에 기초하여 불규칙한 운전을 검출하는 휴리스틱과 휴리스틱이 불규칙한 운전을 검출할 때 신뢰 수준(182)을 낮게 설정하는 규칙을 구현할 수도 있다. 동일하거나 또는 다른 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 인지 부하 분류 및/또는 시각적 감정 분류에 기초하여 운전자(104)가 압도되었다고 느낄 때를 검출하는 휴리스틱을 구현할 수도 있다. 신뢰 수준 분류 서브시스템(180)은 또한 운전자(104)가 압도되었다고 느끼고 운전 환경 데이터가 교통이 한산하다는 것을 나타낼 때 신뢰 수준(182)을 감소시키는 규칙을 구현할 수도 있다.

일부 실시형태에서, 운전자 평가 애플리케이션(160), 기술 수준 분류 서브시스템(170), 및 신뢰 수준 분류 서브시스템(180)은 연속적으로 그리고 자동으로 작동된다. 더 정확하게, 기술 수준 분류 서브시스템(170)은 기술 수준 분류 서브시스템(170)에 대한 입력 중 적어도 하나의 입력이 변화될 때마다 새로운 기술 수준(172)을 생성한다. 유사하게, 신뢰 수준 분류 서브시스템(180)은 신뢰 수준 분류 서브시스템(180)에 대한 입력 중 적어도 하나의 입력이 변화될 때마다 새로운 신뢰 수준(182)을 생성한다.

대안적인 실시형태에서, 임의의 수의 운전자 평가 애플리케이션(160), 기술 수준 분류 서브시스템(170), 및 신뢰 수준 분류 서브시스템(180)은 연속적으로 실행되는 대신 임의의 유형의 연관된 트리거에 응답하여 실행되도록 구성될 수도 있다. 예를 들어, 일부 대안적인 실시형태에서, 기술 수준 분류 서브시스템(170)은 신원 분류에 기초하여 기술 수준(172)을 생성하기 위해 각각 운전 세션의 초반에 실행되지만 운전 세션의 나머지 동안 재실행되지 않는다. 동일하거나 또는 다른 대안적인 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 규칙적인 간격으로(예를 들어, 10초마다) 새로운 신뢰 수준(182)을 생성한다.

도시된 바와 같이, 운전자 평가 애플리케이션(160)은 기술 수준(172) 및 신뢰 수준(182)을 DMS API(192)로 전송하여 임의의 수의 운전자 보조 애플리케이션이 기술 수준(172) 및 신뢰 수준(182)에 액세스하게 한다. 대안적인 실시형태에서, 운전자 평가 애플리케이션(160)은 임의의 수의 소프트웨어 애플리케이션(임의의 수의 운전자 보조 애플리케이션을 포함함)이 임의의 기술적으로 실현 가능한 방식으로 기술 수준(172) 및/또는 신뢰 수준(182)에 액세스하게 할 수도 있다.

DMS API(192)는 제한 없이, 탑승자 센서(130), 운전자 감지 서브시스템(140), 운전자 평가 애플리케이션(160), 및 임의의 수의 운전자 보조 애플리케이션을 포함하는 DMS에 대한 인터페이스이다. 도시된 바와 같이, DMS API(192)는 메모리(116(2))에 존재하고 컴퓨트 인스턴스(110(2))의 프로세서(112(2))에서 실행된다. 대안적인 실시형태에서, DMS API(192)는 임의의 컴퓨트 인스턴스(110), 예컨대, 컴퓨트 인스턴스(110(1)) 또는 헤드 유닛(124)에 포함된 컴퓨트 인스턴스(110)에 존재할 수도 있고 이들에서 실행될 수도 있다.

DMS API(192)는 임의의 수의 운전자 보조 애플리케이션이 임의의 기술적으로 실현 가능한 방식으로 기술 수준(172) 및 신뢰 수준(182)을 획득하게 할 수도 있다. 예를 들어, 일부 실시형태에서, DMS API(192)는 임의의 수의 운전자 보조 애플리케이션에 의해 소비될 수 있는 기술 수준 분류 서브시스템(170) 및 신뢰 수준 분류 서브시스템(180)으로부터의 콜백을 제공한다.

일부 대안적인 실시형태에서, DMS API(192)는 운전자(104)가 임의의 기술적으로 실현 가능한 방식으로(예를 들어, 헤드 유닛(124)의 하드웨어 인터페이스를 통해) 기술 수준(172) 및/또는 신뢰 수준(182)을 오버라이딩하게(overrid) 할 수도 있다. 언제라도, 오버라이딩 기술 수준이 기술 수준 분류 서브시스템(170)에 의해 생성된 기술 수준(172)과 일치하지 않고/않거나 오버라이딩 신뢰 값이 신뢰 수준 분류 서브시스템(180)에 의해 생성된 신뢰 수준(182)과 일치하지 않는다면, DMS API(192)는 경고를 발행할 수도 있다.

유리하게는, DMS API(192) 및/또는 임의의 수의 운전자 보조 애플리케이션은 운전 안정성을 증가시키는 방법을 결정할 때 운전자(104)의 기술 수준(172) 및/또는 신뢰 수준(182)을 고려할 수도 있다. 특히, 각각의 운전자 보조 애플리케이션은 현재 운전 상황에서 실제 운전자(104)의 능력을 보완하기 위해 차량(102)의 임의의 수의 기능을 실시간으로 변경할 수도 있다. 예를 들어, 일부 실시형태에서, DMS API(192)는 기술 수준(172) 및/또는 신뢰 수준(182)에 기초하여 운전자 보조 애플리케이션을 활성화시킬지 결정한다. 예를 들어, DMS API(192)는 기술 수준(172) 및 신뢰 수준(182) 둘 다가 높을 때 자율 운전 애플리케이션을 비활성화시킬 수 있다.

동일하거나 또는 다른 실시형태에서, 각각의 운전자 보조 애플리케이션은 기술 수준(172) 및/또는 신뢰 수준(182)에 기초하여 차량(102)의 임의의 수의 기능을 개별적으로 조정할 수도 있다. 예를 들어, 차선 유지 애플리케이션은 기술 수준(172)이 높을 때 경고와 교정 조치 둘 다를 비활성화시킬 수 있고, 기술 수준(172)이 중간일 때 경고를 활성화시킬 수 있고 교정 조치를 비활성화시킬 수 있으며, 기술 수준(172)이 낮을 때 경고와 교정 조치 둘 다를 활성화시킬 수 있다. 또 다른 실시예에서, 디지털 대시보드 애플리케이션은 신뢰 수준(182)이 낮을 때 간략화된 대시보드, 신뢰 수준(182)이 중간일 때 일반 대시보드, 신뢰 수준이 높을 때 고급 기능을 포함하는 대시보드를 디스플레이할 수 있다. 추가의 또 다른 실시예에서, 임의의 수의 운전자 보조 애플리케이션은 기술 수준(172) 및 신뢰 수준(182)에 기초하여 자율성 수준을 동적으로 조정할 수도 있다.

일부 실시형태에서, 임의의 수의 운전자 보조 애플리케이션은 기술 수준(172) 및/또는 신뢰 수준(182)에 기초하여 임의의 수의 제한을 시행할 수도 있다. 예를 들어, 운전 제한 애플리케이션은 기술 수준(172)이 상대적으로 낮을 때 운전자(104)를 차단할 수 있고/있거나 기술 수준(172)에 기초하여 엔진 출력 및 조작을 조정할 수 있다. 동일하거나 또는 다른 실시형태에서, 임의의 수의 운전자 보조 애플리케이션은 기술 수준(172) 및/또는 신뢰 수준(182)에 기초하여 운전자(104)를 안내할 수도 있다. 예를 들어, 기술 수준(172)이 낮은 경우, 운전자(104)가 기본 운전 작업, 그리고 임의로, 임의의 수의 보조 작업(예를 들어, 인포테인먼트 시스템을 작동)을 안전하게 수행하기 위해 차량(102)을 작동하는 방법을 학습할 때까지 튜토리얼 애플리케이션은 운전자(104)에게 튜토리얼 메시지를 전송(예를 들어, 디스플레이, 표현 등)할 수 있다. 또 다른 실시예에서, 트러블슈팅 애플리케이션은 상대적으로 낮은 신뢰 수준(182)의 원인을 검출할 수 있고 해결책을 운전자(104)에게 제안할 수 있다.

대안적인 실시형태에서, 임의의 수의 소프트웨어 애플리케이션은 기술 수준(172) 및 신뢰 수준(182)에 기초하여 운전자(104)의 성능/진행 상황을 평가할 수도 있다. 예를 들어, 운전자(104)가 학생 운전자라면, 평가 애플리케이션은 기술 수준(172) 및 신뢰 수준(182)을 추적하여 강사가 운전자(104)의 진행 상황을 평가하는 데 도움을 줄 수 있다. 또 다른 실시예에서, 운전자(104)가 십대라면, 모니터링 애플리케이션은 기술 수준(172) 및/또는 신뢰 수준(182)의 변화를 요약할 수 있고 미리 결정된 문턱값에 도달하지 못할 때 운전자(104)의 부모에게 경보를 전송할 수 있다.

본 명세서에 도시된 시스템이 예시적이고 변화 및 변경이 가능하다는 것이 이해될 것이다. 차량(102), 컴퓨트 인스턴스(110), 운전자 감지 서브시스템(140), 차량 관찰 서브시스템(150), 운전자 평가 애플리케이션(160), 기술 수준 분류 서브시스템(170), 신뢰 수준 분류 서브시스템(180), 및 DMS API(192)의 위치 및 배열을 포함하는 연결 토폴로지는 원하는 대로 변경될 수도 있다. 특정한 실시형태에서, 도 1에 도시된 하나 이상의 컴포넌트는 존재하지 않을 수도 있다. 예를 들어, 일부 대안적인 실시형태에서, 운전자 감지 서브시스템(140) 및/또는 차량 관찰 서브시스템(150)의 임의의 양의 기능은 운전자 평가 애플리케이션(160)에 포함될 수도 있다.

본 명세서에서 설명된 기법은 제한적이기보다는 예시적이고 실시형태의 더 넓은 정신 및 범위로부터 벗어나는 일 없이 변경될 수도 있다는 것에 유의한다. 많은 변경 및 변형은 설명된 실시형태 및 기법의 정신 및 범위로부터 벗어나는 일 없이 당업자에게 분명할 것이다. 게다가, 다양한 실시형태에서, 본 명세서에 개시된 임의의 수의 기법이 구현될 수도 있지만 다른 기법은 임의의 기술적으로 실현 가능한 방식으로 생략될 수도 있다.

운전자 기술 수준 및 신뢰 수준을 추정하기 위한 기계 학습 기법

도 2는 다양한 실시형태에 따른, 도 1의 운전자 평가 애플리케이션(160)의 더 상세한 도면이다. 도시된 바와 같이, 운전자 평가 애플리케이션(160)은 제한 없이, 기술 수준 분류 서브시스템(170) 및 신뢰 수준 분류 서브시스템(180)을 포함한다. 운전자 평가 애플리케이션(160)은 임의의 기술적으로 실현 가능한 방식으로 임의의 수의 운전 세션 동안 기술 수준 분류 서브시스템(170) 및/또는 신뢰 수준 분류 서브시스템(180)을 실행할 수도 있다. 예를 들어, 일부 실시형태에서, 운전자 평가 애플리케이션(160)은 운전자(104)가 비활성 명령(들)을 발행할 때까지 각각의 운전 세션의 초반에 기술 수준 분류 서브시스템(170) 및 신뢰 수준 분류 서브시스템(180) 둘 다를 실행한다.

도시된 바와 같이, 운전자 평가 애플리케이션(160)은 운전자 상태 데이터(132) 및 차량 상태 데이터(134)를 기술 수준 분류 서브시스템(170) 및 신뢰 수준 분류 서브시스템(180)의 각각으로 전송한다. 설명의 목적만을 위해, 운전자 상태 데이터(132)는 제한 없이, 운전자 식별 모듈(142), 인지 부하 모듈(144), 시각적 감정 분류기(146), 및 청각적 감정 분류기(148) 각각에 의해 생성되는 신원 분류, 인지 부하 분류, 시각적 감정 분류, 및 청각적 감정 분류를 포함한다. 차량 상태 데이터(134)는 제한 없이, 외부 장면 모듈(152), 차량 기록 모듈(154), 및 운전자 차량 입력 모듈(156) 각각에 의해 생성되는 환경 데이터, 차량 원격 측정 데이터, 및 운전자 입력 데이터를 포함한다.

대안적인 실시형태에서, 운전자 평가 애플리케이션(160)은 운전자(104)와 연관된 임의의 양 및 유형의 데이터(예를 들어, 운전자 상태 데이터(132)) 및/또는 차량(102)과 연관된 임의의 양 및 유형의 데이터(예를 들어, 차량 상태 데이터(134))를 임의의 기술적으로 실현 가능한 방식으로 획득할 수도 있다. 동일하거나 또는 다른 실시형태에서, 운전자 평가 애플리케이션(160)이 운전자(104) 및/또는 차량(102)과 연관된 데이터를 수신할 때, 운전자 평가 애플리케이션(160)은 데이터의 하나의 하위 세트를 기술 수준 분류 서브시스템(170)으로 그리고 데이터의 상이한 하위 세트를 신뢰 수준 분류 서브시스템(180)으로 전송한다.

도시된 바와 같이, 기술 수준 분류 서브시스템(170)은 제한 없이, 기술 특징 엔진(230) 및 기술 수준 모델(220)을 포함한다. 기술 특징 엔진(230)은 기술 특징(240(1) 내지 240(7))을 각각 생성하기 위해 신원 분류, 인지 부하 분류, 시각적 감정 분류, 청각적 감정 분류, 환경 데이터, 차량 원격 측정 데이터, 및 운전자 입력 데이터의 각각에 대한 이동 평균 작동을 수행한다. 기술 특징 엔진(230)은 잡음을 제거하고 운전자(104)의 기본 기술을 더 잘 나타내기 위해 의도되는 기술 시간대(232)에 걸쳐 이동 평균 작동을 수행한다. 운전자(104)의 기본 기술이 일반적으로 단일의 운전 세션 동안 변하지 않기 때문에, 기술 시간대(232)는 일반적으로 다수의 운전 세션에 걸치도록 선택된다. 예를 들어 그리고 이탤릭체로 도시된 바와 같이, 기술 시간대(232)는 2일일 수 있다. 대안적인 실시형태에서, 기술 특징 엔진(230)은 임의의 수의 기술 특징(240)을 생성하기 위해 임의의 수의 운전 세션 동안 수신된 임의의 양 및 유형의 데이터에 대한 임의의 수 및 유형의 작동을 수행할 수도 있다.

기술 수준 분류 서브시스템(170)은 기술 특징(240)을 기술 수준 모델(220)에 입력한다. 기술 수준 모델(220)은 기술 특징(240)을 기술 수준(172)에 매핑하는 트레이닝된 기계 학습 모델이다. 기술 수준 모델(220)이 기술 수준(172)을 생성한 후, 기술 수준 분류 서브시스템(170)은 기술 수준(172)을 DMS API(192)(도 2에 미도시됨)로 전송한다. 대안적인 실시형태에서, 기술 수준 분류 서브시스템(170) 및/또는 운전자 평가 애플리케이션(160)은 기술 수준(172)을 임의의 수 및 유형의 소프트웨어 애플리케이션에 임의의 기술적으로 실현 가능한 방식으로 제공할 수도 있다.

또한, 기술 수준 모델(220)이 기술 수준(172)을 생성한 후, 기술 수준 분류 서브시스템(170)은 새로운 기술 트레이닝 데이터(미도시)를 기술 모델 트레이닝 서브시스템(210)으로 전송한다. 기술 트레이닝 데이터는 제한 없이, 기술 수준(172)을 결정하는 것과 관련된 임의의 양 및 유형의 데이터를 포함할 수도 있다. 예를 들어, 일부 실시형태에서, 기술 트레이닝 데이터는 제한 없이, 운전자 상태 데이터(132), 차량 상태 데이터(134), 및 기술 특징(240)을 포함한다. 대안적인 실시형태에서, 기술 수준 분류 서브시스템(170)은 임의의 유형의 트리거에 기초하여(예를 들어, 1시간 마다) 새로운 기술 트레이닝 데이터를 기술 모델 트레이닝 서브시스템(210)으로 전송할 수도 있다.

도시된 바와 같이, 기술 모델 트레이닝 서브시스템(210)은 제한 없이, 기술 모델 트레이닝 데이터베이스(212), 기술 모델 트레이닝 엔진(214), 및 기술 수준 모델(220)을 포함한다. 기술 모델 트레이닝 데이터베이스(212)는 제한 없이, 임의의 수의 기술 트레이닝 세트(미도시)를 포함한다. 각각의 기술 트레이닝 세트는 제한 없이, 기술 특징(240) 및 운전자와 시점의 상이한 조합에 대한 지상-실측 기술 수준을 포함한다. 운전자 평가 애플리케이션(160)이 처음에 기술 수준 분류 서브시스템(170)을 실행하기 전에, 기술 모델 트레이닝 서브시스템(210)은 초기의 트레이닝 데이터의 L개의 버킷(미도시)에 기초하여 초기의 기술 모델 트레이닝 데이터베이스(212)를 생성하고, L은 가능한 기술 수준(172)의 총수이다. 초기의 트레이닝 데이터의 각각의 버킷은 제한 없이, 연관된 지상-실측 기술 수준을 가진 운전자(104)와 연관된 운전 세션 동안 수집되는 운전자 상태 데이터(132) 및 차량 상태 데이터(134)를 포함한다. 기술 모델 트레이닝 서브시스템(210)은 초기의 트레이닝 데이터에 기초하여 초기의 기술 모델 트레이닝 데이터베이스(212)를 생성하기 위해 기술 특징 엔진(230)을 사용한다.

이어서 기술 모델 트레이닝 서브시스템(210)은 기술 모델 트레이닝 엔진(214)을 실행한다. 기술 모델 트레이닝 엔진(214)은 기술 모델 트레이닝 데이터베이스(212)에 기초하여 임의의 유형의 기계 학습 모델을 트레이닝하기 위해 임의의 수 및 유형의 기계 학습 기법을 구현한다. 기술 모델 트레이닝 엔진(214)은 기술 수준 모델(220)로서 트레이닝된 기계 학습 모델을 출력한다. 후속하여, 기술 모델 트레이닝 서브시스템(210)은 기술 수준 모델(220)을 임의의 수의 차량(102)과 연관된 임의의 수의 기술 수준 분류 서브시스템(170)으로 전송한다. 대안적인 실시형태에서, 임의의 수의 기술 수준 분류 서브시스템(170)은 임의의 기술적으로 실현 가능한 방식으로 기술 수준 모델(220)을 획득할 수도 있다.

기술 모델 트레이닝 서브시스템(210)이 기술 수준 분류 서브시스템(들)(170)으로부터 새로운 기술 트레이닝 데이터를 수신할 때, 기술 모델 트레이닝 서브시스템(210)은 새로운 기술 트레이닝 세트를 생성하고 새로운 기술 트레이닝 세트를 기술 모델 트레이닝 데이터베이스(212)에 추가한다. 기술 모델 트레이닝 서브시스템(210)은 임의의 기술적으로 실현 가능한 방식으로 새로운 기술 트레이닝 세트를 생성할 수도 있다. 예를 들어, 기술 모델 트레이닝 서브시스템(210)은 운전자(104)와 연관된 다수의 운전 세션에 걸쳐 획득된 운전자 상태 데이터(132) 및/또는 차량 상태 데이터(134)에 기초하여 미리 결정된 운전자(104)에 대한 지상-실측 기술 수준을 결정할 수도 있다.

임의의 유형의 트리거에 기초하여(예를 들어, 매일), 기술 모델 트레이닝 서브시스템(210)은 기술 모델 트레이닝 엔진(214)을 재실행한다. 기술 모델 트레이닝 엔진(214)은 새로운 기술 수준 모델(220)을 생성하기 위해 확장된 기술 모델 트레이닝 데이터베이스(212)에 기초하여 기술 수준 모델(220)을 리트레이닝한다. 이어서 기술 모델 트레이닝 서브시스템(210)은 새로운 기술 수준 모델(220)을 임의의 수의 기술 수준 분류 서브시스템(170)으로 전송한다. 대안적인 실시형태에서, 임의의 수의 기술 수준 분류 서브시스템(170)은 최신의 기술 수준 모델(220)을 임의의 시점에 그리고 임의의 기술적으로 실현 가능한 방식으로 획득할 수도 있다.

대안적인 실시형태에서, 기술 수준 모델(220)은 임의의 기술적으로 실현 가능한 방식으로 임의의 수 및 유형의 기술 특징(240)을 기술 수준(172)에 매핑하기 위해 트레이닝될 수도 있다. 예를 들어 그리고 파선으로 도시된 바와 같이, 대안적인 실시형태에서, 신뢰 수준(182)은 기술 수준 모델(220)에 대한 부가적인 입력이다. 본 명세서에서 설명된 기술 모델 트레이닝 서브시스템(210), 기술 특징 엔진(230), 및 기술 수준 분류 서브시스템(170)은 이에 따라 변경된다.

도시된 바와 같이, 신뢰 수준 분류 서브시스템(180)은 제한 없이, 신뢰 특징 엔진(270) 및 신뢰 수준 모델(260)을 포함한다. 신뢰 특징 엔진(270)은 신뢰 특징(280(1) 내지 280(7))을 각각 생성하기 위해 신원 분류, 인지 부하 분류, 시각적 감정 분류, 청각적 감정 분류, 환경 데이터, 차량 원격 측정 데이터, 및 운전자 입력 데이터의 각각에 대한 이동 평균 작동을 수행한다. 신뢰 특징 엔진(270)은 잡음을 제거하고 운전자(104)의 기본 신뢰를 더 잘 나타내기 위해 의도되는 신뢰 시간대(272)에 걸쳐 이동 평균 작동을 수행한다. 운전자(104)의 기본 신뢰가 단일의 운전 세션 동안 여러 번 변경될 수도 있기 때문에, 신뢰 시간대(272)는 차량(102)의 기능에 대한 실시간 조정을 용이하게 하기 위해 선택된다. 예를 들어 그리고 이탤릭체로 도시된 바와 같이, 신뢰 시간대(272)는 10초일 수 있다. 대안적인 실시형태에서, 신뢰 특징 엔진(270)은 임의의 수의 신뢰 특징(280)을 생성하기 위해 임의의 수의 운전 세션 동안 수신된 임의의 양 및 유형의 데이터에 대한 임의의 수 및 유형의 작동을 수행할 수도 있다.

신뢰 수준 분류 서브시스템(180)은 신뢰 특징(280)을 신뢰 수준 모델(260)에 입력한다. 신뢰 수준 모델(260)은 신뢰 특징(280)을 신뢰 수준(182)에 매핑하는 트레이닝된 기계 학습 모델이다. 신뢰 수준 모델(260)이 신뢰 수준(182)을 생성한 후, 신뢰 수준 분류 서브시스템(180)은 신뢰 수준(182)을 DMS API(192)(도 2에 미도시됨)로 전송한다. 대안적인 실시형태에서, 신뢰 수준 분류 서브시스템(180) 및/또는 운전자 평가 애플리케이션(160)은 신뢰 수준(182)을 임의의 수 및 유형의 소프트웨어 애플리케이션에 임의의 기술적으로 실현 가능한 방식으로 제공할 수도 있다.

신뢰 수준 모델(260)이 신뢰 수준(182)을 생성한 후, 신뢰 수준 분류 서브시스템(180)은 또한 새로운 신뢰 트레이닝 데이터(미도시)를 신뢰 모델 트레이닝 서브시스템(250)으로 전송한다. 신뢰 트레이닝 데이터는 제한 없이, 신뢰 수준(182)을 결정하는 것과 관련된 임의의 양 및 유형의 데이터를 포함할 수도 있다. 예를 들어, 일부 실시형태에서, 신뢰 트레이닝 데이터는 제한 없이, 운전자 상태 데이터(132), 차량 상태 데이터(134), 및 신뢰 특징(280)을 포함한다. 대안적인 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 임의의 유형의 트리거에 기초하여(예를 들어, 1시간 마다) 새로운 신뢰 트레이닝 데이터를 신뢰 모델 트레이닝 서브시스템(250)으로 전송할 수도 있다.

도시된 바와 같이, 신뢰 모델 트레이닝 서브시스템(250)은 제한 없이, 신뢰 모델 트레이닝 데이터베이스(252), 신뢰 모델 트레이닝 엔진(254), 및 신뢰 수준 모델(260)을 포함한다. 신뢰 모델 트레이닝 데이터베이스(252)는 제한 없이, 임의의 수의 신뢰 트레이닝 세트를 포함한다. 각각의 신뢰 트레이닝 세트는 제한 없이, 신뢰 특징(280) 및 운전 세션과 시점의 상이한 조합에 대한 자체-보고된 신뢰 수준(290)을 포함한다. 각각의 자체-보고된 신뢰 수준(290)은 연관된 운전자(104)에게 할당되고 임의의 기술적으로 실현 가능한 방식으로 수집될 수도 있다. 대안적인 실시형태에서, 자체-보고된 신뢰 수준(290)은 임의의 기술적으로 실현 가능한 방식으로 결정될 수도 있는 지상-실측 신뢰 수준으로 대체될 수도 있고, 신뢰 모델 트레이닝 서브시스템(250)은 이에 따라 변경된다.

운전자 평가 애플리케이션(160)이 처음에 신뢰 수준 분류 서브시스템(180)을 실행하기 전에, 신뢰 모델 트레이닝 서브시스템(250)은 초기의 트레이닝 데이터(미도시)의 C개의 버킷(미도시)에 기초하여 초기의 신뢰 모델 트레이닝 데이터베이스(252)를 생성하고, C는 가능한 신뢰 수준(182)의 총수이다. 초기의 트레이닝 데이터의 각각의 버킷은 제한 없이, 자체-보고된 신뢰 수준(290)이 버킷과 연관된 신뢰 수준(182)과 일치할 때 운전 세션의 시점에서 수집된 운전자 상태 데이터(132) 및 차량 상태 데이터(134)를 포함한다. 신뢰 모델 트레이닝 서브시스템(250)은 초기의 트레이닝 데이터에 기초하여 신뢰 모델 트레이닝 데이터베이스(252)를 생성하기 위해 신뢰 특징 엔진(270)을 사용한다.

이어서 신뢰 모델 트레이닝 서브시스템(250)은 신뢰 모델 트레이닝 엔진(254)을 실행한다. 신뢰 모델 트레이닝 엔진(254)은 신뢰 모델 트레이닝 데이터베이스(252)에 기초하여 임의의 유형의 기계 학습 모델을 트레이닝하기 위해 임의의 수 및 유형의 기계 학습 기법을 구현한다. 신뢰 모델 트레이닝 엔진(254)은 신뢰 수준 모델(260)로서 트레이닝된 기계 학습 모델을 출력한다. 이어서 신뢰 모델 트레이닝 서브시스템(250)은 신뢰 수준 모델(260)을 임의의 수의 차량(102)과 연관된 임의의 수의 신뢰 수준 분류 서브시스템(180)으로 전송한다. 대안적인 실시형태에서, 임의의 수의 신뢰 수준 분류 서브시스템(180)은 신뢰 수준 모델(260)을 임의의 기술적으로 실현 가능한 방식으로 획득할 수도 있다. 신뢰 모델 트레이닝 엔진(254)은 또한 "트레이닝 애플리케이션(254)"로서 본 명세서에서 지칭된다.

후속하여, 신뢰 모델 트레이닝 서브시스템(250)은 임의의 수의 신뢰 수준 분류 서브시스템(180)으로부터 새로운 신뢰 트레이닝 데이터를 수신한다. 지상-실측 신뢰 수준이 단일의 운전 세션 동안 여러 번 변경될 수도 있기 때문에, 신뢰 모델 트레이닝 서브시스템(250)은 또한 새로운 신뢰 트레이닝 데이터의 적어도 일부에 대응하는 새로운 자체-보고된 신뢰 수준(290)을 획득한다. 각각의 새로운 자체-보고된 신뢰 수준(290)에 대해, 신뢰 모델 트레이닝 서브시스템(250)은 자체-보고된 신뢰 수준(290), 대응하는 운전자 상태 데이터(132), 및 대응하는 차량 상태 데이터(134)에 기초하여 새로운 신뢰 트레이닝 세트를 생성한다. 이어서 신뢰 모델 트레이닝 서브시스템(250)은 새로운 신뢰 트레이닝 세트를 신뢰 모델 트레이닝 데이터베이스(252)에 추가한다.

임의의 유형의 트리거에 기초하여(예를 들어, 2주마다), 신뢰 모델 트레이닝 서브시스템(250)은 신뢰 모델 트레이닝 엔진(254)을 재실행한다. 신뢰 모델 트레이닝 엔진(254)은 업데이트된 신뢰 수준 모델(260)을 생성하기 위해 확장된 신뢰 모델 트레이닝 데이터베이스(252)에 기초하여 신뢰 수준 모델(260)을 리트레이닝한다. 이어서 신뢰 모델 트레이닝 서브시스템(250)은 업데이트된 신뢰 수준 모델(260)을 임의의 수의 신뢰 수준 분류 서브시스템(180)으로 전송한다. 대안적인 실시형태에서, 임의의 수의 신뢰 수준 분류 서브시스템(180)은 언제라도 그리고 임의의 기술적으로 실현 가능한 방식으로 최신의 신뢰 수준 모델(260)을 획득할 수도 있다.

대안적인 실시형태에서, 신뢰 수준 모델(260)은 임의의 기술적으로 실현 가능한 방식으로 임의의 수 및 유형의 신뢰 특징(280)을 신뢰 수준(182)에 매핑하기 위해 트레이닝될 수도 있다. 예를 들어 그리고 파선 화살표로 도시된 바와 같이, 일부 대안적인 실시형태에서, 기술 수준(172)은 신뢰 수준 모델(260)에 대한 부가적인 입력이다. 본 명세서에서 설명된 신뢰 모델 트레이닝 서브시스템(250), 신뢰 특징 엔진(270), 및 신뢰 수준 분류 서브시스템(180)은 이에 따라 변경된다.

일부 대안적인 실시형태에서, 기술 수준 분류 서브시스템(170)은 기술 입력 세트를 생성하기 위해 임의의 양의 운전자 상태 데이터(132) 그리고 임의로, 임의의 양의 차량 상태 데이터(134) 및/또는 신뢰 수준(182)에 대한 임의의 수(0을 포함함)의 전처리 작동을 수행할 수도 있다. 이어서 기술 수준 분류 서브시스템(170)은 기술 수준(172)을 생성하기 위해 임의의 유형의 모델을 기술 입력 세트에 적용할 수도 있다. 동일하거나 또는 다른 대안적인 실시형태에서, 신뢰 수준 분류 서브시스템(180)은 신뢰 입력 세트를 생성하기 위해 임의의 양의 운전자 상태 데이터(132) 그리고 임의로, 임의의 양의 차량 상태 데이터(134) 및/또는 기술 수준(172)에 대한 임의의 수(0을 포함함)의 전처리 작동을 수행할 수도 있다. 이어서 신뢰 수준 분류 서브시스템(180)은 신뢰 수준(182)을 생성하기 위해 임의의 유형의 모델을 신뢰 입력 세트에 적용할 수도 있다.

도 3은 다양한 실시형태에 따른, 운전자 기술 수준 및 운전자 신뢰 수준 평가로 하나 이상의 운전자 보조 애플리케이션을 증강하기 위한 방법 단계의 흐름도이다. 방법 단계가 도 1 및 도 2의 시스템을 참조하여 설명되지만, 당업자는 방법 단계를 임의의 순서로 구현하도록 구성된 임의의 시스템이 실시형태의 범위 내에 속하는 것을 이해할 것이다.

도시된 바와 같이, 방법(300)은 운전자 평가 애플리케이션(160)이 최신의 신뢰 수준 모델(260) 및 최신의 기술 수준 모델(220)을 획득하고 이어서 신뢰 수준(182) 및 기술 수준(172)을 초기화하는 단계(302)에서 시작된다. 단계(304)에서, 운전자 감지 서브시스템(140)은 운전자 상태 데이터(132)를 생성하고, 임의로, 차량 관찰 서브시스템(150)은 차량 상태 데이터(134)를 생성한다.

단계(306)에서, 신뢰 특징 엔진(270)은 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134)에 기초하여 신뢰 특징(280)을 생성한다. 신뢰 특징 엔진(270)은 임의의 기술적으로 실현 가능한 방식으로 신뢰 특징(280)을 생성할 수도 있다. 예를 들어, 일부 실시형태에서, 신뢰 특징 엔진(270)은 신뢰 특징을 결정하기 위해 신뢰 시간대(272)에 걸쳐 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134)의 임의의 수의 부분(들)에 기초하여 임의의 수 및/또는 유형의 시간-평균화 작동을 수행할 수도 있다. 예를 들어, 신뢰 특징 엔진(270)은 신뢰 특징(280)을 결정하기 위해 신뢰 시간대(272)에 걸쳐 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134)의 각각의 성분의 이동 평균을 계산할 수 있다. 단계(308)에서, 신뢰 수준 분류 서브시스템(180)은 신뢰 수준(182)을 (재)계산하기 위해 신뢰 특징(280) 그리고, 임의로, 기술 수준(172)을 신뢰 수준 모델(260)에 입력한다.

단계(310)에서, 기술 특징 엔진(230)은 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134)에 기초하여 기술 특징(240)을 생성한다. 기술 특징 엔진(230)은 임의의 기술적으로 실현 가능한 방식으로 기술 특징(240)을 생성할 수도 있다. 예를 들어, 일부 실시형태에서, 기술 특징 엔진(230)은 기술 특징(240)을 결정하기 위해 기술 시간대(232)에 걸쳐 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134)의 임의의 수의 부분(들)에 기초하여 임의의 수 및/또는 유형의 시간-평균화 작동을 수행할 수도 있다. 예를 들어, 기술 특징 엔진(230)은 기술 특징(240)을 결정하기 위해 기술 시간대(232)에 걸쳐 운전자 상태 데이터(132) 그리고, 임의로, 차량 상태 데이터(134)의 각각의 성분의 이동 평균을 계산할 수 있다. 단계(312)에서, 기술 수준 분류 서브시스템(170)은 기술 수준(172)을 (재)계산하기 위해 기술 특징(240) 그리고, 임의로, 신뢰 수준(182)을 기술 수준 모델(220)에 입력한다.

단계(314)에서, 운전자 평가 애플리케이션(160)은 차량(102)의 ADAS 특징을 운전자(104)에 대해 조정하기 위해 신뢰 수준(182) 및 기술 수준(172)을 하나 이상의 운전자 보조 애플리케이션에 의한 사용을 위한 DMS API(192)로 전송한다. 대안적인 실시형태에서, 운전자 평가 애플리케이션(160)은 임의의 수의 운전자 보조 애플리케이션이 임의의 기술적으로 실현 가능한 방식으로 신뢰 수준(182) 및/또는 기술 수준(172)에 기초하여 임의의 수의 차량 기능을 변경하게 할 수도 있다.

단계(316)에서, 신뢰 수준 분류 서브시스템(180)은 새로운 신뢰 트레이닝 데이터를 신뢰 수준 모델(260)의 리트레이닝에 사용되는 신뢰 모델 트레이닝 서브시스템(250)으로 전송한다. 단계(318)에서, 기술 수준 분류 서브시스템(170)은 새로운 기술 트레이닝 데이터를 기술 수준 모델(220)의 리트레이닝에 사용되는 기술 모델 트레이닝 서브시스템(210)으로 전송한다.

단계(320)에서, 운전자 평가 애플리케이션(160)은 운전자 평가 애플리케이션(160)이 종료되는지를 결정한다. 운전자 평가 애플리케이션(160)은 운전자 평가 애플리케이션(160)이 임의의 기술적으로 실현 가능한 방식으로 종료되는지를 결정할 수도 있다. 예를 들어, 일부 실시형태에서, 운전자 평가 애플리케이션(160)은 운전자 평가 애플리케이션(160)이 운전자(104)가 차량(102)의 작동을 끝마쳤을 때 운전자 평가 애플리케이션(160)으로 전송되는 신호에 기초하여 종료된다고 결정한다. 단계(320)에서, 운전자 평가 애플리케이션(160)이 종료되었다고 운전자 평가 애플리케이션(160)이 결정한다면, 방법(300)은 종료된다.

그러나, 단계(320)에서, 운전자 평가 애플리케이션(160)이 종료되지 않았다고 운전자 평가 애플리케이션(160)이 결정한다면, 방법(300)은 운전자 감지 서브시스템(140)이 새로운 운전자 상태 데이터(132)를 생성하고, 임의로, 차량 관찰 서브시스템(150)이 새로운 차량 상태 데이터(134)를 생성하는, 단계(304)로 되돌아간다. 방법(300)은 운전자 평가 애플리케이션(160)이 종료되었다고 운전자 평가 애플리케이션(160)이 결정할 때까지 단계(304 내지 320)를 계속해서 순환한다.

요약하면, 개시된 기법은 운전자 보조 애플리케이션의 유효성을 증가시키기 위해 사용될 수도 있다. 하나의 실시형태에서, 운전자 평가 애플리케이션은 제한 없이, 신뢰 수준 분류 서브시스템 및 기술 수준 분류 서브시스템을 포함한다. 처음에, 운전자 평가 애플리케이션은 연관된 차량의 운전자가 알려지지 않았음을 나타내는 기술 수준 및 신뢰 수준을 설정한다. 각각의 운전 세션 동안, 탑승자 센서는 차량의 운전자와 연관된 다양한 생리학적 신호를 모니터링한다. 생리학적 신호에 기초하여, 운전자 식별 모듈, 인지 부하 모듈, 및 시각적 감정 분류기는 운전자에 대한 신원 분류, 인지 부하 분류, 및 시각적 감정 분류를 각각 생성한다.

신뢰 수준 분류 서브시스템에 포함된 신뢰 특징 엔진은 대응하는 신뢰 특징을 생성하기 위해 상대적으로 짧은 신뢰 시간대(예를 들어, 10초)에 걸쳐 신원 분류, 인지 부하 분류, 및 시각적 감정 분류의 각각을 계속적으로 시간 평균한다. 신뢰 수준 분류 서브시스템은 신뢰 특징 및 기술 수준을 이에 응답하여 신뢰 수준을 재계산하는 신뢰 수준 모델에 입력한다. 동시에, 기술 수준 분류 서브시스템에 포함된 기술 특징 엔진은 대응하는 기술 특징을 생성하기 위해 상대적으로 긴 기술 시간대(예를 들어, 2일)에 걸쳐 신원 분류, 인지 부하 분류, 및 시각적 감정 분류의 각각을 계속적으로 시간 평균한다. 기술 수준 분류 서브시스템은 기술 특징 및 신뢰 수준을 이에 응답하여 기술 수준을 재계산하는 기술 수준 모델에 입력한다. 운전자 평가 애플리케이션은 신뢰 수준 및 기술 수준을 DMS API로 전달한다. 운전 모니터 시스템 API가 임의의 수의 운전자 보조 애플리케이션이 최신의 신뢰 수준 및 최신의 기술 수준에 액세스하게 하여, 운전자 보조 애플리케이션이 운전자에 대한 차량의 ADAS 특징을 실시간으로 조정하게 한다.

종래 기술에 비해 개시된 기법의 적어도 하나의 기술적 이점은 운전자 평가 애플리케이션이 운전자 보조 애플리케이션으로 하여금 만약에 있다면, 운전 안정성을 증가시키기 위해 취해져야 할 단계를 결정할 때 운전자의 신뢰 수준 그리고, 임의로, 기술 수준을 고려하게 한다는 것이다. 특히, 신뢰 수준 분류 서브시스템이 실시간으로 또는 거의 실시간으로 운전자의 신뢰 수준을 자동으로 추정하기 때문에, 주어진 운전자 보조 애플리케이션은 현재 운전 상황에서 운전자의 능력을 보완하기 위해 차량의 임의의 수의 기능을 조정할 수 있다. 그 결과, 개시된 기법에 의해, 운전 안정성뿐만 아니라 보조 작업을 성공적으로 수행하는 운전자의 능력은 운전자의 기술 수준 및 신뢰 수준을 무시하는 종래 기술의 기법에 비해 더 다양한 운전자에 걸쳐 개선될 수 있다. 이러한 기술적 이점은 종래 기술의 방식에 비해 하나 이상의 기술적 발전을 제공한다.

1. 일부 실시형태에서, 적어도 하나의 운전자 보조 애플리케이션을 통해 차량과 연관된 기능을 변경하기 위한 컴퓨터-구현 방법은 운전자가 차량을 작동시킬 때 측정되는 운전자의 적어도 하나의 생리학적 속성에 기초하여 운전자의 제1 특성을 계산하는 단계, 제1 특성에 기초하여 운전자와 연관된 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 단계, 및 제1 신뢰 수준에 기초하고 적어도 하나의 차량 기능을 변경하는 하나 이상의 작동이 수행되게 하는 단계를 포함한다.

2. 제1항에 있어서, 하나 이상의 작동이 수행되게 하는 것은 제1 특성에 기초하여 운전자와 연관된 제1 기술 수준을 추정하기 위해 제1 기술 수준 모델을 사용하는 것, 및 제1 신뢰 수준 및 제1 기술 수준을 적어도 하나의 운전자 보조 애플리케이션으로 전송하는 것을 포함하되, 적어도 하나의 운전자 보조 애플리케이션은 하나 이상의 작동을 수행하는, 컴퓨터-구현 방법.

3. 제1항 또는 제2항에 있어서, 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 것은 운전자의 제1 특성 및 환경 데이터, 차량 원격 측정 데이터, 또는 운전자 입력 데이터 중 적어도 하나에 기초하여 복수의 특징을 계산하는 것, 및 제1 신뢰 수준을 생성하기 위해 복수의 특징을 신뢰 수준 모델에 입력하는 것을 포함하는, 컴퓨터-구현 방법.

4. 제1항 내지 제3항 중 어느 한 항에 있어서, 수행되는 하나 이상의 작동은 차량의 속도, 차량의 방향, 또는 차량 내 시각 디스플레이, 청각 디스플레이 또는 촉각 디스플레이 중 적어도 하나에서 출력되는 정보 중 적어도 하나를 자동으로 변경하는, 컴퓨터-구현 방법.

5. 제1항 내지 제4항 중 어느 한 항에 있어서, 수행되는 하나 이상의 작동은 잠금-방지 브레이크, 사각지대 검출, 충돌 방지, 차선 유지 보조, 경사로 주행 제어, 또는 자율 주차 중 적어도 하나와 연관되는, 컴퓨터-구현 방법.

6. 제1항 내지 제5항 중 어느 한 항에 있어서, 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 것은 운전자의 제1 특성 및 운전자와 연관된 기술 수준에 기초하여 입력 데이터의 세트를 결정하는 것, 및 제1 신뢰 수준을 생성하기 위해 입력 데이터의 세트에 대해 신뢰 수준 모델을 실행시키는 것을 포함하는, 컴퓨터-구현 방법.

7. 제1항 내지 제6항 중 어느 한 항에 있어서, 운전자의 제1 특성은 신원 분류, 인지 부하 분류 또는 감정 분류를 포함하는, 컴퓨터-구현 방법.

8. 제1항 내지 제7항 중 어느 한 항에 있어서, 신뢰 수준 모델은 트레이닝된 기계 학습 모델, 복수의 휴리스틱 또는 복수의 규칙 중 적어도 하나를 포함하는, 컴퓨터-구현 방법.

9. 제1항 내지 제8항 중 어느 한 항에 있어서, 적어도 하나의 생리학적 속성은 뇌전도 센서, 심박수 센서, 호흡수 센서, 맥박 산소측정기, 갈바닉 피부 반응 센서, 카메라 또는 마이크로폰을 통해 수신된 데이터와 연관되는, 컴퓨터-구현 방법.

10. 제1항 내지 제9항 중 어느 한 항에 있어서, 차량은 승용차, 오토바이, 버스, 상업용 건설 기계, 비행기, 보트, 잠수함, 전기 수직 이착륙 차량 또는 우주선을 포함하는, 컴퓨터-구현 방법.

11. 일부 실시형태에서, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체는 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가 단계를 수행함으로써 적어도 하나의 운전자 보조 애플리케이션을 통해 차량과 연관된 기능을 변경하게 하는 명령어를 포함하고, 단계는 운전자가 차량을 작동시키는 동안, 운전자의 적어도 하나의 생리학적 속성에 기초하여 운전자의 제1 특성을 계산하는 단계, 제1 특성에 기초하여 운전자와 연관된 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 단계, 및 제1 신뢰 수준에 기초하고 적어도 하나의 차량 기능을 변경하는 하나 이상의 작동이 수행되게 하는 단계를 포함한다.

12. 제11항에 있어서, 적어도 하나의 운전자 보조 애플리케이션이 하나 이상의 작동을 수행하게 하는 것은 제1 특성에 기초하여 운전자와 연관된 제1 기술 수준을 추정하기 위해 제1 기술 수준 모델을 사용하는 것, 및 제1 신뢰 수준 및 제1 기술 수준을 적어도 하나의 운전자 보조 애플리케이션으로 전송하는 것을 포함하되, 적어도 하나의 운전자 보조 애플리케이션은 하나 이상의 작동을 수행하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

13. 제11항 또는 제12항에 있어서, 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 것은 운전자의 제1 특성 및 환경 데이터, 차량 원격 측정 데이터, 또는 운전자 입력 데이터 중 적어도 하나에 기초하여 복수의 특징을 계산하는 것, 및 제1 신뢰 수준을 생성하기 위해 복수의 특징을 신뢰 수준 모델에 입력하는 것을 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

14. 제11항 내지 제13항 중 어느 한 항에 있어서, 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 것은 제1 입력을 생성하기 위해 운전자의 제1 특성에 대한 하나 이상의 시간-평균화 작동을 수행하는 것, 및 제1 신뢰 수준을 생성하기 위해 제1 입력에 대해 신뢰 수준 모델을 실행시키는 것을 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

15. 제11항 내지 제14항 중 어느 한 항에 있어서, 수행되는 하나 이상의 작동은 차량의 속도, 차량의 방향, 또는 차량 내 시각 디스플레이, 청각 디스플레이 또는 촉각 디스플레이 중 적어도 하나에서 출력되는 정보 중 적어도 하나를 자동으로 변경하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

16. 제11항 내지 제15항 중 어느 한 항에 있어서, 수행되는 하나 이상의 작동은 잠금-방지 브레이크, 사각지대 검출, 충돌 방지, 차선 유지 보조, 경사로 주행 제어, 또는 자율 주차 중 적어도 하나와 연관되는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

17. 제11항 내지 제16항 중 어느 한 항에 있어서, 신뢰 수준 모델은 트레이닝된 기계 학습 모델을 포함하고, 트레이닝 애플리케이션이 운전자의 제1 특성에 기초하여 신뢰 수준 모델을 리트레이닝해서 업데이트된 신뢰 수준 모델을 생성하게 하는 단계를 더 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

18. 제11항 내지 제17항 중 어느 한 항에 있어서, 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 것은 운전자의 제1 특성 및 운전자와 연관된 기술 수준에 기초하여 입력 데이터의 세트를 결정하는 것, 및 제1 신뢰 수준을 생성하기 위해 입력 데이터의 세트에 대해 신뢰 수준 모델을 실행시키는 것을 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

19. 제11항 내지 제18항 중 어느 한 항에 있어서, 적어도 하나의 생리학적 속성은 뇌 활동 수준, 심박수, 동공 크기 또는 운전대 파지력 중 적어도 하나를 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.

20. 일부 실시형태에서, 시스템은 명령어를 저장하는 하나 이상의 메모리, 및 명령어를 실행시킬 때, 단계를 수행하는 하나 이상의 메모리에 연결된 하나 이상의 프로세서를 포함하되, 단계는 운전자가 차량을 작동시키는 동안 측정되는 운전자의 적어도 하나의 생리학적 속성에 기초하여 운전자의 제1 특성을 계산하는 단계, 제1 특성에 기초하여 운전자와 연관된 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 단계, 및 하나 이상의 운전자 보조 애플리케이션이 제1 신뢰 수준에 기초하고 적어도 하나의 차량 기능을 변경하는 하나 이상의 작동을 수행하게 하는 단계를 포함한다.

임의의 청구범위에서 언급된 임의의 청구범위 구성요소 및/또는 본 출원에서 설명된 임의의 구성요소의 임의의 조합 및 모든 조합은 어떤 방식으로든 실시형태 및 보호의 고려된 범위에 속한다.

다양한 실시형태의 설명은 예시의 목적을 위해 제시되었지만, 총망라하거나 또는 개시된 실시형태에 제한되는 것으로 의도되지 않는다. 많은 변경 및 변형은 설명된 실시형태의 범위 및 정신으로부터 벗어나는 일 없이 당업자에게 분명할 것이다.

본 실시형태의 양상은 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수도 있다. 따라서, 본 개시내용의 양상은 전적으로 하드웨어 실시형태, 전적으로 소프트웨어 실시형태(펌웨어, 레지던트 소프트웨어, 마이크로-코드 등을 포함함) 또는 본 명세서에서 전부 일반적으로 "모듈", "시스템" 또는 "컴퓨터"로서 지칭될 수도 있는 소프트웨어 양상과 하드웨어 양상을 결합한 실시형태의 형태를 취할 수도 있다. 또한, 본 개시내용에서 설명된 임의의 하드웨어 및/또는 소프트웨어 기법, 공정, 기능, 컴포넌트, 엔진, 모듈, 또는 시스템은 회로 또는 회로의 세트로서 구현될 수도 있다. 게다가, 본 개시내용의 양상은 컴퓨터 판독 가능한 프로그램 코드가 구현되는 하나 이상의 컴퓨터 판독 가능한 매체(들)에서 구현되는 컴퓨터 프로그램 제품의 형태를 취할 수도 있다.

하나 이상의 컴퓨터 판독 가능한 매체(들)의 임의의 조합이 활용될 수도 있다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 신호 매체 또는 컴퓨터 판독 가능한 저장 매체일 수도 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치, 또는 디바이스, 또는 전술한 것의 임의의 적합한 조합일 수도 있지만, 이들로 제한되지 않는다. 컴퓨터 판독 가능한 저장 매체의 더 구체적인 예(비포괄적인 목록)는 하나 이상의 와이어를 가진 전기 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 소거 가능한 프로그래밍 가능한 판독-전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독-전용 메모리(CD-ROM), 광저장 디바이스, 자기 저장 디바이스, 또는 전술한 것의 임의의 적합한 조합을 포함할 것이다. 이 문서의 맥락에서, 컴퓨터 판독 가능한 저장 매체는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 사용되거나 또는 이들과 연결되는 프로그램을 포함할 수 있거나 또는 저장할 수 있는 임의의 유형(tangible) 매체일 수도 있다.

본 개시내용의 양상은 본 개시내용의 실시형태에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 위에서 설명된다. 흐름도 및/또는 블록도의 각각의 블록, 및 흐름도 및/또는 블록도의 블록의 임의의 조합이 컴퓨터 프로그램 명령어에 의해 구현될 수 있다는 것이 이해될 것이다. 이 컴퓨터 프로그램 명령어는 기계를 생산하기 위해 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그래밍 가능한 데이터 처리 장치의 프로세서에 제공될 수도 있다. 컴퓨터 또는 다른 프로그래밍 가능한 데이터 처리 장치의 프로세서를 통해 실행될 때 명령어는 흐름도 및/또는 블록도의 블록 또는 블록들에 명시된 기능/작동의 구현을 가능하게 한다. 이러한 프로세서는 제한 없이, 범용 프로세서, 특수 목적 프로세서, 애플리케이션-특정 프로세서, 또는 필드-프로그래밍 가능한 게이트 어레이일 수도 있다.

도면에서 흐름도 및 블록도는 본 개시내용의 다양한 실시형태에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현예의 아키텍처, 기능 및 작동을 예시한다. 이 점에서, 흐름도 또는 블록도의 각각의 블록은 명시된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는, 모듈, 세그먼트, 또는 코드 부분을 나타낼 수도 있다. 또한 일부 대안적인 구현예에서, 블록에 명시된 기능이 도면에 명시된 순서 외에 발생할 수도 있다는 것에 또한 유의해야 한다. 예를 들어, 연이어 도시된 2개의 블록은 사실상 실질적으로 동시에 실행될 수도 있거나 또는 블록은 때때로 수반된 기능에 따라 역순서로 실행될 수도 있다. 블록도 및/또는 흐름도의 각각의 블록, 및 블록도 및/또는 흐름도의 블록의 조합이 명시된 기능 또는 작동을 수행하는 특수 목적 하드웨어-기반 시스템, 또는 특수 목적 하드웨어와 컴퓨터 명령어의 조합에 의해 구현될 수 있다는 것에 또한 유의해야 할 것이다.

전술한 내용이 본 개시내용의 실시형태에 관한 것이지만, 본 개시내용의 다른 실시형태 및 추가의 실시형태는 본 개시내용의 기본 범위로부터 벗어나는 일 없이 고안될 수도 있고, 본 개시내용의 범위는 다음의 청구범위에 의해 결정된다.

Claims

적어도 하나의 운전자 보조 애플리케이션을 통해 차량과 연관된 기능을 변경하기 위한 컴퓨터-구현 방법으로서,
운전자가 상기 차량을 작동시킬 때 측정되는 상기 운전자의 적어도 하나의 생리학적 속성에 기초하여 상기 운전자의 제1 특성을 계산하는 단계;
상기 제1 특성에 기초하여 상기 운전자와 연관된 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 단계; 및
상기 제1 신뢰 수준에 기초하고 적어도 하나의 차량 기능을 변경하는 하나 이상의 작동이 수행되게 하는 단계를 포함하는, 컴퓨터-구현 방법.
제1항에 있어서, 상기 하나 이상의 작동이 수행되게 하는 것은,
상기 제1 특성에 기초하여 상기 운전자와 연관된 제1 기술 수준을 추정하기 위해 제1 기술 수준 모델을 사용하는 것; 및
상기 제1 신뢰 수준 및 상기 제1 기술 수준을 상기 적어도 하나의 운전자 보조 애플리케이션으로 전송하는 것을 포함하되, 상기 적어도 하나의 운전자 보조 애플리케이션은 상기 하나 이상의 작동을 수행하는, 컴퓨터-구현 방법.
제1항에 있어서, 상기 제1 신뢰 수준을 추정하기 위해 상기 신뢰 수준 모델을 사용하는 것은,
상기 운전자의 상기 제1 특성 및 환경 데이터, 차량 원격 측정 데이터, 또는 운전자 입력 데이터 중 적어도 하나에 기초하여 복수의 특징을 계산하는 것; 및
상기 제1 신뢰 수준을 생성하기 위해 상기 복수의 특징을 상기 신뢰 수준 모델에 입력하는 것을 포함하는, 컴퓨터-구현 방법.
제1항에 있어서, 수행되는 상기 하나 이상의 작동은 상기 차량의 속도, 상기 차량의 방향, 또는 상기 차량 내 시각 디스플레이, 청각 디스플레이 또는 촉각 디스플레이 중 적어도 하나에서 출력되는 정보 중 적어도 하나를 자동으로 변경하는, 컴퓨터-구현 방법.
제1항에 있어서, 수행되는 상기 하나 이상의 작동은 잠금-방지 브레이크, 사각지대 검출, 충돌 방지, 차선 유지 보조, 경사로 주행 제어, 또는 자율 주차 중 적어도 하나와 연관되는, 컴퓨터-구현 방법.
제1항에 있어서, 상기 제1 신뢰 수준을 추정하기 위해 상기 신뢰 수준 모델을 사용하는 것은,
상기 운전자의 상기 제1 특성 및 상기 운전자와 연관된 기술 수준에 기초하여 입력 데이터의 세트를 결정하는 것; 및
상기 제1 신뢰 수준을 생성하기 위해 상기 입력 데이터의 세트에 대해 상기 신뢰 수준 모델을 실행시키는 것을 포함하는, 컴퓨터-구현 방법.
제1항에 있어서, 상기 운전자의 상기 제1 특성은 신원 분류, 인지 부하 분류 또는 감정 분류를 포함하는, 컴퓨터-구현 방법.
제1항에 있어서, 상기 신뢰 수준 모델은 트레이닝된 기계 학습 모델, 복수의 휴리스틱 또는 복수의 규칙 중 적어도 하나를 포함하는, 컴퓨터-구현 방법.
제1항에 있어서, 상기 적어도 하나의 생리학적 속성은 뇌전도 센서, 심박수 센서, 호흡수 센서, 맥박 산소측정기, 갈바닉 피부 반응 센서, 카메라 또는 마이크로폰을 통해 수신된 데이터와 연관되는, 컴퓨터-구현 방법.
제1항에 있어서, 상기 차량은 승용차, 오토바이, 버스, 상업용 건설 기계, 비행기, 보트, 잠수함, 전기 수직 이착륙 차량 또는 우주선을 포함하는, 컴퓨터-구현 방법.
하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서가 단계를 수행함으로써 적어도 하나의 운전자 보조 애플리케이션을 통해 차량과 연관된 기능을 변경하게 하는 명령어를 포함하는 하나 이상의 비일시적 컴퓨터 판독 가능한 매체로서, 상기 단계는,
운전자가 상기 차량을 작동시키는 동안, 상기 운전자의 적어도 하나의 생리학적 속성에 기초하여 상기 운전자의 제1 특성을 계산하는 단계;
상기 제1 특성에 기초하여 상기 운전자와 연관된 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 단계; 및
상기 제1 신뢰 수준에 기초하고 적어도 하나의 차량 기능을 변경하는 하나 이상의 작동이 수행되게 하는 단계를 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 상기 적어도 하나의 운전자 보조 애플리케이션이 상기 하나 이상의 작동을 수행하게 하는 것은,
상기 제1 특성에 기초하여 상기 운전자와 연관된 제1 기술 수준을 추정하기 위해 제1 기술 수준 모델을 사용하는 것; 및
상기 제1 신뢰 수준 및 상기 제1 기술 수준을 상기 적어도 하나의 운전자 보조 애플리케이션으로 전송하는 것을 포함하되, 상기 적어도 하나의 운전자 보조 애플리케이션은 상기 하나 이상의 작동을 수행하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 상기 제1 신뢰 수준을 추정하기 위해 상기 신뢰 수준 모델을 사용하는 것은,
상기 운전자의 상기 제1 특성 및 환경 데이터, 차량 원격 측정 데이터, 또는 운전자 입력 데이터 중 적어도 하나에 기초하여 복수의 특징을 계산하는 것; 및
상기 제1 신뢰 수준을 생성하기 위해 상기 복수의 특징을 상기 신뢰 수준 모델에 입력하는 것을 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 상기 제1 신뢰 수준을 추정하기 위해 상기 신뢰 수준 모델을 사용하는 것은,
제1 입력을 생성하기 위해 상기 운전자의 상기 제1 특성에 대한 하나 이상의 시간-평균화 작동을 수행하는 것; 및
상기 제1 신뢰 수준을 생성하기 위해 상기 제1 입력에 대해 상기 신뢰 수준 모델을 실행시키는 것을 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 수행되는 상기 하나 이상의 작동은 상기 차량의 속도, 상기 차량의 방향, 또는 상기 차량 내 시각 디스플레이, 청각 디스플레이 또는 촉각 디스플레이 중 적어도 하나에서 출력되는 정보 중 적어도 하나를 자동으로 변경하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 수행되는 상기 하나 이상의 작동은 잠금-방지 브레이크, 사각지대 검출, 충돌 방지, 차선 유지 보조, 경사로 주행 제어, 또는 자율 주차 중 적어도 하나와 연관되는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 상기 신뢰 수준 모델은 트레이닝된 기계 학습 모델을 포함하고, 트레이닝 애플리케이션이 상기 운전자의 상기 제1 특성에 기초하여 상기 신뢰 수준 모델을 리트레이닝해서 업데이트된 신뢰 수준 모델을 생성하게 하는 단계를 더 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 상기 제1 신뢰 수준을 추정하기 위해 상기 신뢰 수준 모델을 사용하는 것은,
상기 운전자의 상기 제1 특성 및 상기 운전자와 연관된 기술 수준에 기초하여 입력 데이터의 세트를 결정하는 것; 및
상기 제1 신뢰 수준을 생성하기 위해 상기 입력 데이터의 세트에 대해 상기 신뢰 수준 모델을 실행시키는 것을 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
제11항에 있어서, 상기 적어도 하나의 생리학적 속성은 뇌 활동 수준, 심박수, 동공 크기 또는 운전대 파지력 중 적어도 하나를 포함하는, 하나 이상의 비일시적 컴퓨터 판독 가능한 매체.
시스템으로서,
명령어를 저장하는 하나 이상의 메모리; 및
상기 명령어를 실행시킬 때, 단계를 수행하는 상기 하나 이상의 메모리에 연결된 하나 이상의 프로세서를 포함하되, 상기 단계는,
운전자가 차량을 작동시키는 동안 측정되는 상기 운전자의 적어도 하나의 생리학적 속성에 기초하여 상기 운전자의 제1 특성을 계산하는 단계,
상기 제1 특성에 기초하여 상기 운전자와 연관된 제1 신뢰 수준을 추정하기 위해 신뢰 수준 모델을 사용하는 단계, 및
하나 이상의 운전자 보조 애플리케이션이 상기 제1 신뢰 수준에 기초하고 적어도 하나의 차량 기능을 변경하는 하나 이상의 작동을 수행하게 하는 단계를 포함하는, 시스템.