KR102667182B1 - 차량 제어 디바이스 및 차량 제어 방법 - Google Patents

Abstract

운전자를 촬영하는 촬영기, 및 촬영기에 의해 캡처되는 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 제스처 액션을 검출하도록, 그리고 검출된 제스처 액션에 응답하여 운전 모드를 전환하도록 구성되는 회로를 포함하는 차량 제어 디바이스가 제공된다.

Description

차량 제어 디바이스 및 차량 제어 방법

본 기술은 차량 제어 디바이스 및 차량 제어 방법에 관한 것으로, 특히 자동 운전으로부터 수동 운전으로의 보다 안전한 인계를 가능하게 하는 차량 제어 디바이스 및 차량 제어 방법에 관한 것이다.

<관련 출원들에 대한 상호 참조>

본 출원은 2017년 7월 21일자로 출원된 일본 우선권 특허 출원 JP 2017-141552호의 혜택을 주장하며, 그 전체 내용은 본 명세서에 참조로 원용된다.

관련 분야에서, 운전자의 자세에서의 편차가 운전자의 습관에 의해 야기되는지 여부를 결정하고, 자세에서의 편차가 습관에 의해 야기된다고 결정되는 경우와 자세에서의 편차가 다른 이유로 야기된다고 결정되는 경우에 상이한 방식으로 자세에서의 편차에 관련된 통지를 제공하는 기술이 제안되었다(예를 들어, 특허문헌 1 참조).

또한, 차량의 자동 운전 주행을 시작하기 이전에 운전자가 자동 운전으로부터 수동 운전으로 복귀할 수 있는 운전 능력을 운전자가 갖는지 여부를 결정하고 운전자가 이러한 운전 능력을 갖지 않는다고 결정되는 경우에 자동 운전 주행의 시작을 억제하는 기법이 관련 분야에서 제안되었다(예를 들어, 특허문헌 2 참조).

JP 2016-38793A JP 2016-115356A

그런데, 자동 운전으로부터 수동 운전으로의 전환이 원활하게 실행되는 것이 필요하다. 예를 들어, 특허문헌 2는, 이러한 것을 제공하기 위해, 자동 운전이 완료되었을 때 수동 운전으로의 인계가 성공적으로 수행되지 않는 경우에 차량의 비상 정지를 위한 기법을 예시한다.

그러나, 이러한 것은, 인계를 수행하는데 실패한 차량을 일시적으로 주차하기 위한 대피 영역이 제공되고 해당 차량이 이러한 영역으로 안내되지 않으면, 교통량이 많은 곳과 같은, 위치에서 교통 체증을 야기할 수 있다.

본 기술은 이러한 상황들을 고려하여 이루어졌고, 자동 운전으로부터 수동 운전으로의 보다 안전한 인계를 가능하게 한다.

본 기술의 실시예에 따르면, 운전자를 촬영하는 촬영기, 및 촬영기에 의해 캡처되는 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 제스처 액션을 검출하도록, 그리고 검출된 제스처 액션에 응답하여 운전 모드를 전환하도록 구성되는 회로를 포함하는 차량 제어 디바이스가 제공된다.

이러한 회로는 제스처 액션이 검출되는 경우에 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환할 수 있다.

이러한 회로는 차량 주행 방향을 보면서 차량 주행 방향으로 수행되는 포인팅 및 체킹 액션을 제스처 액션으로서 검출할 수 있다.

이러한 포인팅 및 체킹 액션은 운전자의 시선을 포함하도록 가상으로 설정되고 운전자의 시선 아래에 또한 위치되는 수직 평면의 근처에 운전자의 손가락 끝이 위치되는 액션일 수 있다.

이러한 회로는 손가락 끝, 손, 및 운전자의 주먹 중 적어도 임의의 것의 액션을 추적하는 것에 의해 포인팅 및 체킹 액션을 검출할 수 있다.

이러한 회로는 운전자에 특정한 특성들에 기초하여 제스처 액션을 검출할 수 있다.

이러한 회로는 검출된 제스처 액션에 기초하여 운전자에 특정한 특성들을 학습하도록 추가로 구성될 수 있다.

이러한 회로는 운전자가 운전자의 좌석에 착석한 이후에 수행되는 제스처 액션을 검출할 수 있다.

이러한 회로는 운전 모드를 전환하는 통지가 운전자에게 제공된 이후에 운전자의 착석 액션을 검출할 수 있다.

이러한 회로는, 제스처 액션으로서, 차량 주행 방향을 다시 체킹하는 액션 및 운전자에게로의 통지 또는 경보를 체킹하는 후속 액션을 검출할 수 있다.

이러한 회로는 제스처 액션을 검출한 이후에 운전자에 의한 스티어링 휠을 파지하는 액션을 검출하도록 추가로 구성될 수 있고, 이러한 회로는 스티어링 휠을 파지하는 액션이 검출되는 경우에 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환할 수 있다.

이러한 회로는 운전자에게로의 프레젠테이션에 대한 운전자의 응답 및 조종 정정의 정확성 중 적어도 하나에 기초하여 운전자의 각성 상태를 검출할 수 있다.

이러한 회로는 제스처 액션을 검출한 이후에 스티어링 휠을 파지하는 운전자의 액션을 검출하는 것에 의해 운전자의 각성 상태를 검출할 수 있다.

이러한 회로는 운전자에게로의 프레젠테이션에 대한 운전자의 응답 및 조종 정정의 정확성 중 적어도 하나에 따라 운전자의 각성 상태를 검출할 수 있다.

본 기술의 실시예에 따르면, 운전자를 촬영하는 단계; 캡처된 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 제스처 액션을 검출하는 단계; 및 검출된 제스처 액션에 응답하여 운전 모드를 전환하는 단계를 포함하는 차량 제어 방법이 제공된다.

본 기술의 실시예에서는, 운전자가 촬영되고, 캡처된 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 제스처 액션이 검출되고, 검출된 제스처 액션에 응답하여 운전 모드가 전환된다.

본 기술의 실시예에 따르면, 자동 운전으로부터 수동 운전으로 인계를 보다 안전하게 수행하는 것이 가능하다.

본 명세서에 설명되는 효과들이 반드시 제한되는 것은 아니며, 본 개시내용에 설명되는 효과들 중 임의의 것이 달성될 수 있다는 점에 주목한다.

도 1은 본 기술의 실시예가 적용되는 자동 운전 시스템의 구성 예를 도시하는 블록도이다.
도 2는 운전자 모니터링 유닛 및 차량 제어 유닛의 구성 예들을 도시하는 블록도이다.
도 3은 전환 결정 유닛의 구성 예를 도시하는 도면이다.
도 4는 제스처 인식 전환 결정을 설명하기 위한 도면이다.
도 5는 제스처 인식 전환 결정을 설명하기 위한 도면이다.
도 6은 제스처 인식 전환 결정을 설명하기 위한 도면이다.
도 7은 제스처 인식 전환 결정을 설명하기 위한 도면이다.
도 8은 자동화 레벨들을 설명하기 위한 도면이다.
도 9는 운전 모드들 사이의 전환을 도시하는 천이도이다.
도 10은 자동 운전 제어 처리를 설명하기 위한 흐름도이다.
도 11은 자동 운전 제어 처리를 설명하기 위한 도 10을 따르는 흐름도이다.
도 12는 자동 운전 제어 처리를 설명하기 위한 도 11을 따르는 흐름도이다.
도 13은 LDM 데이터의 업데이트를 설명하기 위한 도면이다.
도 14는 LDM 데이터의 업데이트를 설명하기 위한 도면이다.
도 15는 LDM 데이터의 업데이트를 설명하기 위한 도면이다.
도 16은 부 작업이 실행될 수 있는지 여부를 요약하는 표를 도시하는 도면이다.
도 17은 운전 모드 전환 결정 처리를 설명하기 위한 흐름도이다.
도 18은 자동 운전 제어 처리를 설명하기 위한 흐름도이다.
도 19는 자동 운전 제어 처리를 설명하기 위한 도 18을 따르는 흐름도이다.
도 20은 자동 운전 제어 처리를 설명하기 위한 도 19를 따르는 흐름도이다.
도 21은 자동 운전 제어 처리를 설명하기 위한 도 20을 따르는 흐름도이다.
도 22는 운전자에 대한 각성 복구 시간을 추정하는 처리를 설명하기 위한 흐름도이다.
도 23은 컴퓨터의 구성 예를 도시하는 도면이다.

이하, 본 기술을 구현하기 위한 실시예들(이하, "실시예들"로서 설명됨)이 도면들을 참조하여 상세히 설명될 것이다.

<자동 운전 시스템의 구성 예>

도 1은 본 기술의 실시예가 적용되는 자동 운전 시스템(10)의 구성 예를 도시한다.

자동 운전 시스템(10)은 차량 제어 시스템(11) 및 이동 단말(12)을 포함한다.

차량 제어 시스템(11)은 주변 촬영 유닛(21), 주변 정보 취득 유닛(22), 위치 측정 유닛(23), 입력 유닛(24), 차량 정보 취득 유닛(25), 운전자 모니터링 유닛(26), 통신 유닛(27), 차량 제어 유닛(28), 디스플레이 유닛(29), 사운드 출력 유닛(30), 발광 유닛(31), 주행 제어 유닛(33), 차량-내 디바이스 제어 유닛(34), 및 저장 유닛(35)을 포함한다.

주변 촬영 유닛(21)은, 예를 들어, 모노-카메라, 스테레오 카메라, ToF(time of flight) 카메라, 편광 카메라, 시간 게이트형 카메라, 멀티-스펙트럼 카메라, 및 적외선 카메라와 같은 비-가시 광 카메라와 같은 다양한 촬영 디바이스들로서 제공될 수 있다. 주변 촬영 유닛(21)은 차량 진행 방향에서의 것들을 포함하는 차량의 주변을 촬영하고 주변 이미지로서 이러한 촬영에 의해 획득되는 이미지를 차량 제어 유닛(28)에 공급한다.

주변 정보 취득 유닛(22)은, 소나(sonar), 레이더(radar), 라이더(lidar), 온도 센서, 습도 센서, 비 센서, 눈 센서, 및 역광 센서와 같은 다양한 센서들로서 제공될 수 있다. 주변 정보 취득 유닛(22)은 차량의 주변의 정보를 취득한다. 추가로, 주변 정보 취득 유닛(22)은, 도로 측으로부터 정보를 취득하는 것에 의한, 차량 자체에 의한 측정으로부터만으로는 획득되지 않는, 블라인드 각도, 차량 자체의 근처에서 주행하고 있는 주행 차량, 보행자, 자전거 등에 대한 정보를 무선 방식으로 취득할 수 있다.

예를 들어, 주변 정보 취득 유닛(22)은, 주변 정보로서, 온도, 습도, 날씨, 또는 도로 표면 상태와 같은, 차량의 주변의 환경에 관련된 정보, 및, 차량의 주변에 있는 객체들의 타입들 및 위치들과 같은, 차량의 주변에 있는 객체들에 관련된 정보를 취득할 수 있다. 주변 정보 취득 유닛(22)은 취득된 주변 정보를 차량 제어 유닛(28)에 공급한다.

위치 측정 유닛(23)은, 예를 들어, 인공 위성들을 이용하여 현재 위치를 측정하는 GNSS(global navigation satellite system)와 같은 위성 내비게이션 시스템 및 자율 위치 확인 시스템을 조합할 수 있는 위치 확인 시스템을 이용하여 차량의 현재 위치를 측정하고, 그 대표적인 예들은 고도계, 가속도 센서, 자이로 스코프, 및 이미지 인식 디바이스를 사용하는 SLAM(simultaneous localization and mapping) 시스템을 포함한다. 위치 측정 유닛(23)은 측정 결과들을 차량 제어 유닛(28)에 공급한다.

입력 유닛(24)은 마이크로폰, 버튼들, 스위치들, 터치 패널, 방향 표시자, 및 제스처 인식 디바이스와 같은 입력 디바이스로서 제공될 수 있다. 입력 유닛(24)은 차량의 운전자를 포함하는 승객들로부터 명령어들, 데이터 등의 입력들을 수신한다. 입력 유닛(24)은 입력 명령어들, 데이터 등을 차량 제어 유닛(28)에 공급한다.

차량 정보 취득 유닛(25)은 차량에 관련된 다양한 종류의 정보를 포함하는 차량 정보를 취득한다. 예를 들어, 차량 정보 취득 유닛(25)은, 차량 정보로서, 차량의 속도, 가속도, 각속도, 및 진행 방향과 같은, 차량의 움직임에 관련된 정보를 취득할 수 있다.

또한, 차량 정보 취득 유닛(25)은, 예를 들어, 가속기 페달, 브레이크 페달, 스티어링 휠, 주차 브레이크, 시프트 레버, 방향 표시 레버, 전력(점화) 스위치, 램프 스위치, 와이퍼 스위치 등의 조작 타이밍들 및 조작 양들과 같은, 운전 조작들에 관련된 정보를 취득한다.

추가로, 차량 정보 취득 유닛(25)은, 차량에서의 각각의 부분들의 상태들 및 고장의 존재와 같은, 차량의 상태에 관련된 정보를 취득한다. 차량 정보 취득 유닛(25)은 취득된 차량 정보를 차량 제어 유닛(28)에 공급한다.

운전자 모니터링 유닛(26)은 도 2를 참조하여 차후 설명될 바와 같이 운전자를 모니터링하고, 모니터링 결과들을 차량 제어 유닛(28)에 공급한다.

통신 유닛(27)은 다양한 통신 스킴들과 호환가능한 통신 디바이스들로서 제공될 수 있다.

예를 들어, 통신 유닛(27)은 DSRC(dedicated short range communication)에 의해 무선 통신을 수행하는 통신 디바이스로서 제공될 수 있다. 이러한 경우, 통신 유닛(27)은 도로를 따라 설치되는 ITS(intelligent transport system) 스폿과 통신하고 LDM(local dynamic map)을 취득한다.

LDM은, 예를 들어, 도로 표면 정보, 교통 차선 정보, 3-차원 구조 정보 등을 포함하는 고정 정보, 시간에 따라 변경될 수 있는 교통 법규 정보, 도로공사에 관한 사전 정보 및 현재 행해지고 있는 공사에 접근할 때의 사전 업데이트 정보, 광역 날씨 정보 등을 포함하는 준-고정 정보, 최신 업데이트 정보, 사고 정보, 교통 체증 정보, 제한된-영역 날씨 정보 등을 포함하는 준-동적 정보, 및 주변에 있는 차량들 및 보행자들에 관한 정보, 신호 정보 등을 포함하는 동적 정보를 포함한다.

짧은 기간에 걸쳐 단거리 통신을 통해 더 많은 정보의 광대역 통신에 우선순위를 배치하는 것은 무선 통신에 대한 리소스들의 보다 효과적인 사용을 가능하게 한다. 이러한 광대역 통신은, 차량이 주행하기 위해 필요한, 차량의 바로 앞의 상황들에 관한 로컬 정보를 취득하는데, 그리고 차량 자체에 의해 취득되는 도로 환경 정보를 인프라스트럭처 측에 업로드하는데 특히 효과적인 방식이다.

또한, 통신 유닛(27)은 통신 표준(3G/4G/LTE(long term evolution) 등)에 따라 통신을 수행하는 통신 디바이스로서 제공될 수 있으며, 이는, 예를 들어, 이동 전화들이 통신을 수행하는, 더 긴 거리 통신을 가능하게 한다. 이러한 경우, 통신 유닛(27)은, 인터넷과 같은, 전용 또는 공유 범용 네트워크를 통해 서버 등으로부터, 차량이 주행하고 있는 곳으로부터 원격인 스폿에서의 더 넓은 영역의 지도 데이터 및 날씨 정보 등과 같은, 다양한 종류의 정보를 취득하거나 또는 교환한다.

통신 유닛(27)은 비컨 디바이스로서 제공될 수 있다. 이러한 경우, 통신 유닛(27)은 안전 운전 또는 경로 계획을 보조하기 위해 도로 측에 설치되는 도로-측 장비와 통신하고 다양한 종류의 교통 정보를 취득한다.

차량이 주행하도록 스케줄링되는 환경에 관한 정보가 이러한 특정 방식들에 제한되는 것은 아니다. 차세대 이동 전화 통신 표준들에 대해 의도되는, 기지국들과의 통신 외에도, 기지국들의 개입 없이 주행 구획의 근방에서 차량들 사이의 중계 통신 또는 클라우드 서버와의 근방 통신이 수행될 수 있다. 또한, 특정 통신 시스템들의 고장에 관하여 강건한 구성을 획득하기 위해 상호 리던던시가 제공될 수 있다.

차량이 주행하고자 하는 경로 상의 업데이트된 환경 데이터의 통용은 통신이 가능한 대역에 의존하여 변하므로, 차량이 이러한 구획에 진입하는 경우에 완전-자동 운전을 사용하여, LDM과 같은 업데이트된 데이터의 통용이 상당히 열악한 구획을 통해 주행하는데 필요한 정보의 통용이 악화된다. 결과로서, 운전자의 개입 없이 차량이 주행할 수 있을 구획으로서 원래 정의된 구획에서 운전자에 의한 개입의 복원이 요구될 수 있다고 가정하는 것이 필요하다.

통신 유닛(27)은, Bluetooth(등록 상표)를 사용하는 것과 같은, 차량에서 또한 사용될 수 있는 근접장 무선 통신 디바이스로서 제공될 수 있다. 이러한 경우, 통신 유닛(27)은, 스마트폰 및 태블릿 단말을 포함하는 대표적인 예들인, 이동 단말(12) 등과 통신하고, 다양한 종류의 정보를 송신 및 수신한다.

통신 유닛(27)은 취득된 정보를 차량 제어 유닛(28)에 공급한다. 또한, 통신 유닛(27)은 차량 제어 유닛(28)으로부터 다른 통신 디바이스 등에 송신될 정보를 취득한다.

차량 제어 유닛(28)은 ECU(electronic control unit) 등을 포함하고, 도 2를 참조하여 차후 설명될 바와 같이 차량 제어 시스템(11)에서의 각각의 부분들을 제어한다.

디스플레이 유닛(29)은 다양한 디스플레이 디바이스들로서 제공될 수 있고, 차량 제어 유닛(28)의 제어하에 다양한 이미지들 및 정보를 디스플레이한다. 예를 들어, 디스플레이 유닛(29)은 윈드실드의 일부분 상에 제공되는 헤드-업 디스플레이 또는 투과-타입 디스플레이로서 제공될 수 있고, 운전자의 시야에서 중첩되는 방식으로 이미지들 또는 정보를 디스플레이할 수 있다. 또한, 디스플레이 유닛(29)은, 예를 들어, 기기 패널, 자동차 내비게이션 시스템 디스플레이 등을 포함할 수 있다.

사운드 출력 유닛(30)은, 예를 들어, 스피커, 알람, 버저 등을 포함한다. 사운드 출력 유닛(30)은 차량 제어 유닛(28)의 제어하에 사운드 정보, 통지 사운드, 경보 사운드 등을 출력한다.

발광 유닛(31)은, 예를 들어, LED(light emitting diode) 또는 램프와 같은 발광 디바이스를 포함한다. 발광 유닛(31)은 차량 제어 유닛(28)의 제어 하에 운전자에게 다양한 종류의 정보의 통지를 제공하려는 또는 운전자의 주의를 끌려는 목적으로 광을 켜거나 또는 깜박인다. 발광 유닛(31)의 포인트 광원이 반드시 LED 등에 제한되는 것은 아니며, 발광 유닛(31)은 기기 패널의 전체 표면 또는 일부분 상의 매트릭스 어레이 디스플레이 유닛을 통해 모노그램 디스플레이 등을 사용하여 운전자에게 상세한 메시지 정보 등을 제시할 수 있다.

주행 제어 유닛(33)은 차량 제어 유닛(28)의 제어 하에 차량 상에 장착되는 다양한 디바이스들 중에서 차량의 실행에 연루되는 디바이스들을 제어한다. 예를 들어, 주행 제어 유닛(33)은, 엔진의 작동을 제어하는 엔진 제어 디바이스, 모터의 작동을 제어하는 모터 제어 디바이스, 브레이크의 작동을 제어하는 브레이크 제어 디바이스, 스티어링 휠의 작동을 제어하는 스티어링 휠 제어 디바이스 등을 포함한다.

차량-내 디바이스 제어 유닛(34)은 차량 상에 장착되는 다양한 디바이스들 중에서 차량의 주행에 연루되는 디바이스들 이외의 디바이스들을 제어한다. 예를 들어, 차량-내 디바이스 제어 유닛(334)은 좌석의 경사를 제어하는 액추에이터, 좌석을 진동시키는 액추에이터, 스티어링을 진동시키는 액추에이터 등을 제어한다.

저장 유닛(35)은 차량 제어 시스템(11)이 처리를 수행하는데 필요한 프로그램 및 데이터를 저장한다. 예를 들어, 저장 유닛(35)은, 차량의 주행 등에 관련된 로그, 운전자를 인증하는데 사용되는 얼굴 이미지 및 인식, 식별, 및 추출 정보, 운전자의 다양한 특징들을 학습한 결과들, 차량 검사 정보, 차량 사고 진단 정보 등을 저장한다. 모든 이러한 정보가 반드시 저장 유닛(35)에 저장될 필요는 없고, 일부 정보는 통신 유닛(27)을 통해 원격 서버 등에 송신될 수 있고, 이러한 원격 서버 등은 이러한 정보를 저장하게 될 수 있다는 점에 주목한다.

<운전자 모니터링 유닛(26) 및 차량 제어 유닛(28)의 구성 예들>

도 2는 차량 제어 시스템(11)에서의 운전자 모니터링 유닛(26) 및 차량 제어 유닛(28)의 구성 예들을 도시한다.

운전자 모니터링 유닛(26)은 운전자 촬영 유닛(101), 생체 정보 취득 유닛(102), 시선 검출 유닛(103), 및 인증 유닛(104)을 포함한다.

운전자 촬영 유닛(101)은 ToF 센서, 스테레오 카메라, 3D 카메라, 및 3D 플래시 라이더 센서와 같은 촬영 디바이스들을 포함하고, 운전자를 촬영한다. 운전자 촬영 유닛(101)의 촬영 범위는 운전자의 좌석에서 운전하고 있는 운전자의 허리 위의 부분을 적어도 포함하고 이러한 범위보다 더 넓은 범위를 포함할 수 있다. 그 기능들 중 일부분은 신체 압력을 검출하기 위해 좌석이 제공되는 좌석 변형 게이지에 의한 자세 검출로 대체될 수 있다는 점에 또한 주목한다.

운전자 촬영 유닛(101)은 운전자의 안구의 동공 분석 또는 상세 분석을 수행할 수 있는 고속 촬영 메커니즘을 추가로 포함할 수 있고, 이러한 고속 촬영 메커니즘에는 단속성 운동, 시각적 고정 및 시각적 고정을 동반하는 경미한 이동, 또는 안구의 드리프팅과 같은, 뇌에서의 지각 응답들의 분석을 가능하게 하는 기능이 제공될 수 있다. 고속 촬영 메커니즘은, 통상의 텔레비전 신호들에 대해 사용되는, 60 fps(frames per second)의 프레임 업데이트 레이트보다 빠르게 동화상을, 그리고 바람직하게는 250 fps 이상의 프레임 업데이트 레이트로 동화상을 캡처할 수 있는 촬영 메커니즘을 의미한다.

운전자 촬영 유닛(101)은 운전자 이미지로서 촬영에 의해 획득되는 이미지를 차량 제어 유닛(28)에 공급한다. 운전자가 촬영될 때 보다 정확하고 특정한 정보를 취득하기 위해, 예를 들어, 운전자의 시야를 방해하지 않는 구조화된 광을 방출하는 광원 또는 가시 광 성분들을 포함하지 않는 특정 파장이 있는 적외선 광의 광원과 같은, 전용 광원으로부터의 광으로 운전자가 조명될 수 있다는 점에 주목한다.

생체 정보 취득 유닛(102)은 운전자의 다양한 종류의 생체 정보를 검출하는 센서 등을 포함한다. 생체 정보 취득 유닛(102)에 의해 취득되는 생체 정보는, 예를 들어, 맥박, 맥박파, 혈압, 혈류 시스템, 좌석 상의 신체 압력, 착석 자세, 뇌파, 뇌에서의 혈류, 안구 근육 전위, 심전도, 체온, 체취, 피부 온도, 발한, 스티어링 휠 파지 반응, 호흡 상태, 알코올 함유량 등을 포함할 수 있다. 생체 정보 취득 유닛(102)은 취득된 운전자의 생체 정보를 차량 제어 유닛(28)에 공급한다. 운전자의 확정적 각성 상황을 주로 수동적인 생체 정보로부터 직접 파악하는 것이 곤란하더라도, 이러한 생체 정보는 운전자의 피로 상황, 졸음의 느낌 등과의 느슨한 상관들을 여전히 갖는다. 차후 설명될, 시선의 동적 분석과 조합하여 결정을 행하는 것에 의해 운전자의 각성 상태를 보다 정확하게 결정하는 것이 가능하다. 추가로, 이러한 정보는 운전자가 착석 자세 이외의 자세에 있는 상태에서 운전자의 활동의 양을 관찰하는 것에 상보적인 역할을 하고, 시선을 검출하기 곤란하다.

시선 검출 유닛(103)은 운전자의 얼굴의 배향, 시선의 배향, 깜박임, 안구의 움직임(예를 들어, 시각적 고정의 경미한 움직임, 단속성 운동, 미세-단속성 운동, 드리프팅, 떨림 등)의 검출(시선 검출)을 수행한다. 시선 검출 유닛(103)에는, 운전자의 이미지에 기초하여 얼굴 표정, 눈 개방 또는 폐쇄 상태 등에 대한 얼굴 검출을 수행하는 얼굴 검출 유닛 및 운전자의 이미지에 기초하여 머리의 움직임을 검출하는 머리 검출 유닛이 제공될 수 있다는 점에 주목한다.

시선 검출 유닛(103)은 시선의 동적 분석으로부터의 운전자가 외부 상황들에 대해 환기하고 있는 주의의 정도 및 각성의 정도를 평가한다. 각성의 정도는 운전자의 의식 상태를 표시하는 정도이다. 예를 들어, 미리 결정된 임계값보다 큰 각성의 정도는 운전자가 정상적인 의식을 갖는다는 점을 표현한다. 시선 검출 유닛(103)은 시선을 검출한 결과들 및 주의의 정도를 분석한 결과들 등을 차량 제어 유닛(28)에 공급한다. 운전자의 시선의 분석은, 차후 설명될, 운전자에 특정한 특징들의 학습에 기초하는 결정을 지칭하며, 운전자에 따라 내부 각성 상태의 보다 정확한 결정을 가능하게 한다.

시선 거동들은 운전자에 특정한 다수의 동적 특성들을 포함하므로, 차후 설명될, 인증 유닛(104)은 통상적으로 임의의 다른 검출 이전에 그 검출을 수행한다.

개별 운전자의 안구 액션들에 관하여, 외부 상황들에 관한 정보에 운전자가 관심을 끌게 하는 정보로 시선이 이동된다. 따라서, 이해 및 결정의 상태들에 따라 순차적으로 시각적으로 인식될 것을 포함하는 시선의 액션 특성들은 인지 및 결정의 진행의 추이에 의존하며, 이를 통해, 경험적 특성들 뿐만 아니라 물리적 특성들에 의존하여, 운전자가 돌아설 때 운전자가 이해를 달성한다.

운전자가 안구의 물리적으로 정확한 방향으로 외부 상황들에서 타겟을 응시하거나 또는 고정적으로 보았는지 여부에 기초하여 시선의 동적 분석을 통한 운전자의 각성의 결정이 행해지는 것은 아니다. 물론, 예를 들어, 운전자가 차량을 안전하게 정지시키거나, 시야에 있는 사람의 얼굴을 보아 그 사람이 누구인지 결정하거나, 또는 광고 사인 등의 내용을 판독하여 그 내용에 관한 인지 결정을 행할 때 운전자가 특정 타겟을 고정하여 보고 있는 상황에서 운전자가 특정 타겟에 시선의 시각적 고정의 초점을 둘 수 있다.

그러나, 운전자가 외부 환경의 상황을 파악하면서 통상적인 주행 차량에서 주행하고 있는 경우, 운전자는 돌발하는 또는 다른 예상되지 않은 사건에 대한 적절한 결정들을 행할 필요가 있으므로 특정 타겟에 시선을 거의 고정하지 않는다.

추가로, 운전자는 많은 경우들에서 시선의 중심 시야 외부의 주변 시야에서 관심사의 타겟 현상을 통상적으로 지각하고, 그 경우, 특히, 타겟 관심사는 해상도가 낮은 주변 시야의 영역에 있으므로, 운전자는 이들의 상세사항들을 파악할 목적으로 중심 시야를 대응하는 방향으로 돌려 타겟을 지각하기 위해 시선을 이동시키기 시작한다. 따라서, 안구의 소위 단속성 운동 액션이 관찰된다.

일반적으로, 일단 각성인 운전자가 안구의 제1 이동으로 타겟 현상을 확인하는 것을 완료하면, 운전자는 타겟 현상에 시선을 고정하고 관찰을 진행시키는 (시각적 고정) 대신에, 시야에 있는 다른 위험 인자들을 지각하기 위해 상세한 시각적 고정 및 관찰을 수행하지 않고 다음 타겟에 시선의 이동 및 시선의 이동을 반복한다. 타겟 현상의 확인의 완료는 뇌에서의 인식의 완료를 의미하고, 항상 중심 시야에서 타겟을 지각하고 시각적 고정을 위해 일시적으로 안구의 이동을 정지시킬 필요는 없다.

즉, 다시 말해서, 운전자의 시선의 단속성 운동 액션 및 시각적 고정의 동적 특성들이 운전자의 뇌에서의 인지의 결정 활동들의 일부분이 반영되는 형태로 나타난다고 진술하는 것이 가능하다. 사람이 자신의 목적에 대한 정보에 관한 결정을 완료할 때, 결정을 고정하기 위한 인지 결정은 시각 정보 및 저장된 관련 정보로부터 추출되는 정보로서 캡처되는 정보에 의해 야기되는 자극들 사이에서 획득되는 특정 레벨 이상으로 일관성에 의해 트리거되고, 결정이 달성된다. 그러나, 따라서 결정이 달성되지 않는 경우, 그 사람은 결정을 확인하기 위한 관찰 단계로 추가로 이동하고 결정을 트리거하기 위해 필요한 정보를 대기한다.

뇌에서의 인식 활동들에 관하여, 뇌에서의 지각 결정은 운전자가 단속성 운동의 시선을 이동시키기 시작할 때 즉시 그리고 이미 시작되었다. 따라서, 지각 결정의 완료가 반드시, 운전자가 대략적인 방향으로 돌아가고 중심 시야에서 타겟을 추가로 지각하는 포인트에 눈의 시선이 추가로 초점이 맞추어질 때까지 시간을 요청하는 것은 아니다.

시선의 이동의 시작은 주변 시야에서 캡처되는 동체 시력으로부터의 자극 정보만으로는 그 내용을 구별하기에 불충분하므로 정보를 보상하고 상세한 결정을 달성하기 위해 중심 시야를 대응하는 방향으로 돌리는 프로세스의 시작이고, 운전자가 시선을 이동시키는 프로세스에서 결정을 달성하는 경우에 운전자가 반드시 타겟을 보는 것을 완료하는 것은 아니다. 즉, 관찰 단계에 대응하는 시각적 고정이 관찰되지 않을 수 있다.

예를 들어, 진행 방향에 존재하는, 녹색 상태에 있는 교통 신호 및 색상이 적색인 광고 기둥 양자 모두가 교통 신호와 광고 기둥을 구별하는 것이 가능하지 않은 상태에서 운전자의 주변 시야에 진입하는 경우, 운전자가 대응하는 교차로를 통과할 때 교통 신호의 색상을 결정할 필요가 있으므로 운전자는 교통 신호로 돌려 결정을 시작한다.

운전자가 엄격한 시각적 고정을 통해 적색 광고 기둥을 보는 것이 항상 필요한 것은 아니고, 일견으로 결정이 완료되면, 차량이 여전히 주행할 때 보행자, 자전거 등이 돌발하는지 여부를 체킹하는 것에 우선순위가 놓일 수 있다. 추가로, 한 명의 운전자의 동적 관찰 프로시저 등과 같은 액션들은 시력에 의해 여전히 영향을 받고 환경에서의 밝기, 눈부심 등을 포함하는 복합 인자들로 인해 변경된다.

시선 검출 유닛(103)은 위에 설명된 바와 같이 운전자에 특정한 시선의 동적 특성들을 학습하는 것에 의해 운전자의 상황에 따라 시선의 동적 분석에 의해 각성 상태를 추정하고, 시선의 동적 분석을 결정한 결과들 및 주의의 정도를 분석한 결과들 등을 차량 제어 유닛(28)에 공급한다. 또한, 각각의 개인의 시선 거동들의 이러한 특징들은 운전자에 특정한 특성 액션들에 의해 학습되고, 인증된 운전자의 반복된 액션들의 특징들로서, 차후 설명될, 학습 유닛(126)에 의해 학습된다.

인증 유닛(104)은, 예를 들어, 운전자의 이미지 및 시선의 분석 이미지에 기초하여 운전자를 인증한다. 이때, 홍채 인증 처리가 수행될 수 있다. 인증 유닛(104)은 인증 결과를 차량 제어 유닛(28)에 공급한다. 이러한 운전자 인증 처리는 위에 설명된 바와 같은 임의의 다른 처리 이전에 수행되는 처리이다. 그 후, 운전자에 특정한 전술된 특징들과의 연관이 수행될 수 있다.

차량 제어 유닛(28)은 주변 모니터링 유닛(121), 운전자 모니터링 유닛(122), 자동 운전 제어 유닛(123), 통지 제어 유닛(124), 로그 생성 유닛(125), 및 학습 유닛(126)을 포함한다.

주변 모니터링 유닛(121)은 주변 촬영 유닛(21)으로부터의 주변 정보, 주변 정보 취득 유닛(22)으로부터의 주변 정보, 및 통신 유닛(27)으로부터의 다양한 종류의 정보에 기초하여 차량의 주변을 모니터링한다.

운전자 모니터링 유닛(122)은 차량 정보 취득 유닛(25)으로부터의 차량 정보, 운전자 촬영 유닛(101)으로부터의 운전자의 이미지, 생체 정보 취득 유닛(102)으로부터의 운전자의 생체 정보, 시선 검출 유닛(103)에 의해 수행되는 검출의 결과들, 및 인증 유닛(104)에 의해 수행되는 인증의 결과들, 및 학습 유닛(126)에 의해 수행되는 학습의 결과들 등에 기초하여 운전자를 모니터링한다. 운전자 모니터링 유닛(122)은 운전 거동 분석 유닛(141) 및 운전 상태 검출 유닛(142)을 포함한다.

운전 거동 분석 유닛(141)은 운전자의 이미지 및 운전자 촬영 유닛(101)으로부터의 차량 정보, 차량 정보, 학습 유닛(126)에 의해 수행되는 학습의 결과들 등에 기초하여 운전자의 운전 거동들(운전 조작들 및 거동들과 같은, 운전자에 특정한 특징들 및 특성들)을 분석한다.

운전 상태 검출 유닛(142)은 운전자 촬영 유닛(101)으로부터의 운전자의 이미지, 운전자의 생체 정보, 시선 검출 유닛(103)에 의해 수행되는 검출의 결과들, 인증 유닛(104)에 의해 수행되는 인증의 결과들, 학습 유닛(126)에 의해 수행되는 학습의 결과들 등에 기초하여 운전 상태를 검출한다. 운전 상태는 인증된 운전자의 상태 및 운전자의 각성 상태를 포함한다. 운전 상태의 검출은, 관련 분야에서 통상적으로 수행되는 바와 같이 1차원적으로 사전에 결정된 임계값에 기초하여 결정이 행하여지는 경우와 비교하여, 인증된 운전자의 상태에 기초하여 복수의 단계들에서 검출을 수행하는 것에 의해 높은 정확성으로 운전자의 각성 상태의 결정을 가능하게 하고, 특정한 학습이 수행되는 것에 의해 운전자에게 보다 특정한 특성들에 따라 결정을 가능하게 한다.

자동 운전 제어 유닛(123)은 자동 운전을 제어한다. 자동 운전 제어 유닛(123)은 경로 설정 유닛(151), 자동화 레벨 설정 유닛(152), 운전 보조 제어 유닛(153), 운전 모드 전환 제어 유닛(154), 및 전환 결정 유닛(155)을 포함한다.

경로 설정 유닛(151)은 차량 정보 취득 유닛(25)으로부터의 차량 정보에 포함되는 차량의 가속도 및 각속도에 기초하여 위치 측정 유닛(23)에 의해 측정되는 차량의 현재 위치를 정정한다. 또한, 경로 설정 유닛(151)은, 주변 정보 취득 유닛(22)으로부터의 주변 정보, 통신 유닛(27)을 통해 취득되는 LDM, 지도 데이터, 및 지도 업데이트된 정보, 및 저장 유닛(35)에 저장되는 지도 데이터 등에 기초하여, 입력 유닛(24)을 통해 입력되는 목적지까지의 주행 경로를 설정한다.

자동화 레벨 설정 유닛(152)은, 주변 정보 취득 유닛(22)으로부터의 주변 정보, 통신 유닛(27)을 통해 취득되는 LDM, 교통 정보, 날씨 정보, 도로 표면 정보 등에 기초하여, 주행 경로 상의 각각의 주행 구획에 대한 자동화 레벨들의 분포를 설정한다. 또한, 자동화 레벨 설정 유닛(152)은 각각의 경로 구획에 대한 자동화 레벨들의 분포, 입력 유닛(24)을 통해 입력되는 사용자 설정 등에 기초하여 자동화 레벨들을 설정한다.

여기서, 자동화 레벨들은 자동 운전의 레벨들, 또는 다시 말해서, 운전의 자동화 정도들을 표현한다. 자동화 레벨들의 상세사항들은 도 8을 참조하여 차후 설명될 것이다.

운전 보조 제어 유닛(153)은 설정된 자동화 레벨에 따라 주행 제어 유닛(33)을 제어하고 운전자에 의해 수행되는 운전을 보조한다. 부분적 또는 완전 자동 운전은 운전 보조 제어 유닛(153)에 의해 제공되는 보조에 의해 실현된다. 예를 들어, 운전 보조 제어 유닛(153)은, 자동화 레벨 2에서의 ACC(adaptive cruise control), LKAS(lane keep assist system), TJA(traffic jam assist), 및 AEBS(advanced emergency braking system)와 같은, 부분적으로 제한된 기능들이 있는 운전 보조를 수행한다. 자동화 레벨들의 상세사항들은 차후 설명될 것이라는 점에 주목한다.

자동화 레벨 3에서, 복합 다단계 제어는, 도로들 상의 교통 신호들의 인식, 본선들에 합류하는 것, 본선들로부터의 분기, 간선 도로들의 교차점들을 통과하는 것, 교차로들의 우선순위 제어, 및 보행자 구역들 및 보행자들에 대한 우선 차량 제어와 같은, 일반 도로들의 상황들에 대한 추가의 복잡한 결정, 및 경로 계획을 포함한다.

본 명세서는 자동화 레벨 4에서 운전자의 개입을 요청하지 않는 완전 자동 운전 제어가 운전 보조 제어 유닛(153)에 또한 포함된다는 점을 가정하여 설명되더라도, 제어의 엄격한 구획화에 따라 운전 보조 제어 유닛(153)의 레벨 4에서 차량이 주행할 때는 보조보다는 오히려 배타적 완전 자동 운전 제어가 수행된다.

또한, 운전 보조 제어 유닛(153)은 자동화 레벨 3 이상의 주행 구획들에서 전술된 운전 보조에 의해 추가의 진보된 그리고 복잡한 제어(예를 들어, 차선 변경을 포함하는 추월 등)를 수행할 수 있거나 또는, 도시 영역에서와 같은, 심지어 보행자들 및 자전거들을 포함하는 환경에서 차량이 주행할 수 있는, 진보된 무인 상황들의 결정이 동반되는 자율 주행 등에 의한 운전 보조를 수행할 수 있다.

추가로, 이것이 특수한 이용 형태이더라도 공공 수송이 존재하지 않는 영역들에서의 수송을 확보하는 관점에서 자동 주행 차량들을 사용하는 분야에서 제한된 느린 속도로만 사용될 수 있는 자동 주행 차량들을 안전하게 서행하게 하는 사회적 도입을 가정하는 것이 또한 가능하다. 그 때, 편의의 관점에서, 운전자가 수동 운전을 정상적으로 수행할 수 있을 때에만 대응하는 차량들을 사용하여 차량들의 이용이 더 고속인 주행으로 확장되는 것이 또한 가정된다. 그 때, 본 기술의 실시예는 운전자의 능력을 결정하는데 효과적인 기능들을 제공한다. 제한된 느린 속도에서의 서행 운전의 이러한 특수한 이용 형태는 통상의 고속 주행을 또한 수행하는 관련 분야에서의 이용 형태인 표준 차량들에 대한 비상 대피 모드와 상이한 이용 형태라는 점에 주목한다.

자동 운전에 의해 전체 속도 범위에서 안전하게 주행할 수 있는 차량이 고가의 장비를 요구하더라도, 기능들이 대략 저속 서행 운전으로 제한되면 더 낮은 비용으로 장비를 실현하는 것이 가능하다. 본 기술은, 예를 들어, 대신에 지방 소도시(lightly populated) 영역들 등에서 교통에 대해 약한 사람들로 하여금 가벼운 차량들을 사용하는 것을 가능하게 하는 특수한 이용 형태에 적용될 수 있다.

차량 제어 시스템(11)에서, 무인 통상의 주행이 수행될 수 있는, 소위 자동화 레벨 4 또는 상위 레벨에 대응하는, 자동 운전 모드, 운전자가 필요에 따라 복귀하고 개입 운전을 할 수 있는, 자동화 레벨 3에 대응하는, 자동 운전 모드, 자동화 레벨 2 또는 하위 레벨에 대응하는, 운전자가 주로 선행 제어를 수행하고 결정을 행하는, 수동 운전 모드, 비상 대피 모드 등이 운전 모드들로서 설정된다.

자동 운전 모드는 운전 보조 제어 유닛(153)에 의해 수행되는 운전 보조에 의해 실현되는 모드이다. 수동 운전 모드는 운전자가 주체적으로 운전을 수행하는 모드이다. 비상 대피 모드는 차량이 긴급 상황에서 미리 결정된 위치로 대피되게 하는 모드이다.

비상 대피 모드는, 예를 들어, 수동 운전 동안 (수동 운전 모드에서) 질병 등으로 인해 운전자가 운전하기에 어려움을 갖는 경우, 또는 자동 운전(자동 운전 모드)가 수동 운전으로 전환될 때 운전자가 각성하고 있는지 확인하는 것이 가능하지 않을 경우에 사용된다.

비상 대피 모드는 본 명세서에서 이동 속도에 대한 우선순위를 더 적게 배치하면서 이동하기 위한 방식으로서 정의되더라도, 운전자가 자동 운전을 사용하는 동안 수동 운전으로의 인계를 수행하는데 어려움을 가질 때 운전자는 긴급 상황에 대한 대책으로서 대피 영역에서 비상 대피 모드를 설정할 수 있다. 본 명세서의 내용에서, 차량이 대피 영역으로 대피할 때의 비상 대피 모드는, 지방 영역에 살고 있는, 공공 수송을 갖지 않는, 그리고 긴급 상황에서 병원들 등으로 이동하기에 열악한 수송 열악자라 불리우는 사람들에 대해 보호될 방식으로서 사용되는 이동 우선순위(안전을 위해 상당히 느린 속도로 이동이 심지어 가능함) 방식과 구별되지 않는다.

운전 모드 전환 제어 유닛(154)은 통신 유닛(27)을 통해 취득되는 LDM, 최신 업데이트된 정보, 날씨, 도로 표면 표면 상황, 교통 정보 등에 기초하여, LDM, 교통 정보 등을 체킹하는 빈도들을 변경한다.

또한, 운전 모드 전환 제어 유닛(154)은 자동 운전 모드로부터 수동 운전 모드로의 전환의 필요성을 모니터링하고, 이러한 필요성이 존재하는 경우, 운전 모드 전환 제어 유닛(154)은 자동 운전 모드에서 주행하는 동안 운전자에게 수동 운전으로 복귀하기 위한 요청 통지 또는 경보 통지를 제공한다. 이때, 운전 모드 전환 제어 유닛(154)은 운전자의 검출된 상태에 따라 자동 운전 모드로부터 수동 운전 모드로의 전환의 필요성이 존재하는지 여부를 결정하고, 자동 운전 모드로부터 수동 운전 모드로의 전환의 처리를 실행한다.

긴급 인계가 필요하지 않은 상황에서 운전자가 통지를 의식했는지를 운전 모드 전환 제어 유닛(154)이 반드시 확실하게 구별하는 것은 아니라는 점에 주목한다. 약 1시간 동안 자동 운전에 의해 계속 주행한 이후에 운전자가 복귀할 필요가 있는 경우, 예를 들어, 운전 모드 전환 제어 유닛(154)은 상황에서의 변경이 검출된 단계에서 운전자에게 통지만을 단순히 제공할 수 있고, 운전자가 통지의 내용을 정확하게 인식했는지 여부에 대한 통지를 해당 운전자가 의식했다는 것을 반드시 확인하지 않을 수 있다. 그러나, 통지를 누락하는 것은 긴급한 인계가 수 분에 행해져야 하는 상황에서 치명적 상처를 초래할 수 있다. 따라서, 운전자가 상황을 확실하게 인식하는 것을 허용하기 위해 사용자가 통지를 의식했다는 것을 확인할 필요가 있다.

그러나, 도면에 도시되지 않은, 최적의 통지 타이밍 추정기에 의해 예측되는 타이밍에 의해 운전자가 통지를 의식하였다는 점이 바람직하다. 따라서, 10분이, 예를 들어, 인계 스폿에 도달이 최적의 통지 타이밍으로서 추정되기 이전에, 통지가 제공되는 경우, 사용자가 통지를 의식했다는 것이 확인된다. 운전자가 통지를 의식한 것이 검출되지 않은 경우, 알람으로서의 경보 통지가 추가로 제공할 수 있다.

전환 결정 유닛(155)은, 운전 모드 전환 제어 유닛(154)의 제어 하에 운전 상태 검출 유닛(142)에 의한 운전자의 반응성 및 각성의 정도를 검출한 결과들 중 적어도 하나에 기초하여 자동 운전 모드로부터 수동 운전 모드로의 전환에 대한 결정을 행한다. 전환 결정 유닛(155)에 의해 수행되는 전환에 대한 결정은 도 3을 참조하여 차후 설명될 것이다.

통지 제어 유닛(124)은 디스플레이 유닛(29), 사운드 출력 유닛(30), 및 발광 유닛(31)을 제어하고, 다양한 종류의 정보의 통지 또는 경보를 운전자에게 제공하거나 또는 운전자에게 주의 환기를 리마인드한다. 또한, 통지 제어 유닛(124)은, 예를 들어, 차량-내 디바이스 제어 유닛(34)에 의해 제어되는 액추에이터 등을 사용하여 다양한 종류의 정보의 통지 또는 경보를 운전자에게 제공하거나 또는 운전자에게 주의 환기를 리마인드할 수 있다.

운전자에게로의 통지는 검출된 운전자의 복귀의 액션의 기록, 좌석 진동 및 액추에이터를 사용하여 럼블 스트립 도로 표면 주행을 모방하는 좌석 진동 및 핸들 진동, 패널 정보 디스플레이, 심한 악취, 등받이의 올림, 및 착석 위치의 이동과 같은, 운전자에 대한 다양한 불쾌한 인자들을 야기하는 소스들일 수 있다.

로그 생성 유닛(125)은 검출된 운전자의 복귀의 액션을 기록하고, 차량에서 그리고 그 주위에 발생한 다양한 이벤트들을 기록하고, 인계가 수행될 때 차량의 주변의 통지에 응답하고, 근처에 있는 차량들 및 인프라스트럭처들과의 차량-대-차량 및 도로-대-차량 통신을 위한 로그들을 생성하고 업데이트한다. 로그 생성 유닛(125)은 저장 유닛(35)으로 하여금 생성된 로그들을 저장하게 하고 이러한 로그들을 적절하게 업데이트한다.

학습 유닛(126)은, 운전 거동 분석 유닛(141)에 의해 분석된, 운전자의 운전 거동들(운전에 대한 조작들, 복귀 시퀀스, 및 복귀 거동들과 같은 운전자에 특정한 특징들 및 특성들)을 학습하고, 학습의 결과들을 저장한다.

운전자 거동 분석에서는, 운전자에게 불쾌한 느낌을 생기게 하는, 야간 시간 동안 또는 눈이 누적될 때의 도로 표면들 등과 같은, 각각의 상황들에 대한 응답을 고려하여 개별 복귀 특성들이 주행 환경에 대한 의존성 등을 고려하여 학습되고 기록될 수 있다. 운전자는 통상적으로 자신의 복귀 특성들을 확인하므로, 시스템 학습에 기초하여 추천되는 값들보다 안전한 상황을 선택하기 위해 운전자가 조기 통지의 오프셋 설정을 수행하기 위한 메커니즘이 추가로 제공될 수 있다.

다음으로, 신중한 운전자들이고, 학습에 기초하여 추천되는 값으로서 차량 제어 시스템(11)에 의해 제시되는 타이밍과 비교하여 안전 양태에 강조를 배치하고, 차량 제어 시스템(11)에 의해 제시되는 타이밍보다 조기 통지를 선호하는 사용자들이 존재한다고 또한 가정된다. 이러한 것에 대처하기 위해, 소위 조기 통지의 오프셋 설정을 위한, 사용자가 그들의 선호도에 따라 미리 통지 타이밍을 두는 메커니즘이 제공될 수 있다.

그러나, 운전자가 조기 타이밍에서 설정하기보다는 오히려 차후 통지 타이밍에서 통지를 설정하도록 허용되는 것은 바람직하지 않고, 운전자가 제 시간에 복귀하는데 어려움을 갖는 경우가 발생한다. 운전자가 제 시간에 복귀하는데 어려움을 갖고 결과로서 밀리는 몇몇 상황들이 발생하면, 차량의 긴급 정지의 빈도가 증가한다는 그리고 원활한 수송을 가정하는 수송 인프라스트럭처들에서 교통 체증이 유발된다는 문제점들이 존재한다. 따라서, 이것은 바람직하지 않은 이용 형태이다. 따라서, 사용자는 원하는 대로 통지 타이밍을 미리 두기 위해 설정만을 변경하도록 허용되어야 한다.

한편, 운전자가 조기 단계에서 복귀를 의식하고, 차량 제어 시스템(11)이 사용자의 의식을 학습하고 통지의 타이밍보다 조기에 복귀에 대해 준비할 수 있는 경우에는 차량 제어 시스템(11)이 번거로운 통지 또는 경보를 발행하기 이전에 운전자가 조기 통지를 사전에 취소할 수 있는 메커니즘이 또한 제공될 수 있다.

통지의 취소는 시계가 울리기 이전에 알람 시계를 정지시키는 것과 같다. 그러나, 시계를 너무 조기에 정지시키고, 주의를 잃고, 다시 잠드는 것 같은 상황의 발생은 위험하므로, 조기 통지의 취소의 이용은 취소 이후 복귀로의 운전자의 추이를 검출하기 위한 방식이 존재할 때만으로 제한될 수 있고 또한 수동 운전으로 복귀하기 위한 프로시저에 지연이 존재할 때 복귀하도록 운전자에게 촉구하기 위한 메커니즘이 또한 존재한다.

<전환 결정 유닛의 구성 예>

도 3은 전환 결정 유닛의 구성 예를 도시하는 도면이다.

전환 결정 유닛(155)은 제스처 인식 전환 결정 유닛(201), 단속성 운동 정보 전환 결정 유닛(202), 사운드 인식 전환 결정 유닛(203), 및 스티어링 휠 조작 전환 결정 유닛(204)을 포함한다.

단계적 방식으로 결정을 하는 것에 의해 보다 확실한 결정을 행하는 것이 가능하다. 실시예들의 설명이 위 인식에 제한될 것이더라도, 인계의 필요성이 존재하는지 여부에 관계없이 운전자의 상태가 일정하게 모니터링될 수 있고, 이러한 모니터링으로부터의 정보에 기초하여 통지 또는 경보가 발행될 수 있고, 동적 자세들의 액션 분석이 수행될 수 있고, 본 명세서에 설명되는 프로시저가 다음으로 추가될 수 있다.

이러한 구성이 있는 전환 결정 유닛(155)에서, 다양한 종류의 정보에 기초하는 결정이 복수의 단계들에서 수행되고, 이러한 결정의 각각의 결과들에 기초하여 자동 운전 모드로부터 수동 운전 모드로 전환 모드를 전환하는 것이 가능한지 여부가 최종적으로 결정된다.

- 제스처 액션들의 인식에 기초하는 각성의 정도의 검출

제스처 인식 전환 결정 유닛(201)은 운전 상태 검출 유닛(142)으로 하여금 제스처 액션들을 인식하게 그리고 운전자의 각성의 정도를 검출하게 한다.

제스처 인식 전환 결정 유닛(201)은, 운전 상태 검출 유닛(142)에 의해 제공되는 인계의 통지 이후 사용자가 통지를 의식했다는 것을 체킹하는 미리 결정된 액션을 검출한 결과들에 기초하여 운전자의 복귀 이후 내부 상태를 결정한다. 운전자의 복귀 이후 내부 상태를 결정한 결과들에 기초하여 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부가 결정된다.

실시예들에서 운전자가 통지를 의식했다는 점을 표시하는 미리 결정된 액션으로서 단순한 포인팅이 예시되더라도, 운전자가 통지를 의식했을 확률을 강화하는 액션은 반복 액션 등보다 운전자의 보다 지능적인 결정을 요구하는 액션으로서 또한 이용될 수 있다.

여기서, 복귀 이후 내부 상태는 운전자의 의식의 상태이다. 복귀 이후 내부 상태의 결정은 운전자의 의식이 각성인지 여부의 결정에 대응한다.

특히, 운전자가 전방 측을 보면서 수행되는 포인팅 액션에서 전방 측을 보는 운전자에 의해 획득되는 시각적 정보에 기초하여 손과 손가락 끝을 시선의 범위 내로 돌리기 위한 뇌에서의 결정의 피드백이 작용하지 않으면 정확한 포인팅 액션을 수행하는 것은 곤란하다. 또한, 운전자의 내부 의식 상태는 액션의 불안정성 및 정확성의 정도에 반영되므로, 뇌에서의 각성 상태의 능동적 반응(차후 설명될 것임)을 보는 것이 또한 가능하다.

자동 운전 동안, 운전자는 부 작업으로서 운전 이외의 작업 또는 액션(선잠을 취하는 것을 포함함)을 수행할 수 있다. 그러나, 자동 운전 모드로부터 수동 운전 모드로의 전환의 필요성이 존재하는 경우, 운전자는 부 작업을 정지시키고 주 작업으로서 운전 작업이 수행될 수 있는 상태로 복귀한 이후에 자신의 내부 상태를 변경해야 한다.

상세한 설명이 본 명세서에서 제공되지 않을 것이더라도, 운전자가, 특히, 선잠을 취하는 동안과 같은, 운전 의식 상태로부터 떨어져 완전히 머무는지 여부에 대해서는 수동적인 스킴 운전자 상태 관찰이 계속 수행되고, 운전자로 하여금 필요한 타이밍에서 복귀하게 하기 위한 (알람과 같은) 각성 통지가 제공된다는 점에 주목한다. 본 기술의 실시예는 이러한 통지가 제공된 이후 운전자의 상태에서 운전자의 명백한 복귀가 달성될 때 운전자가 통지를 의식한 것을 확인하고 각성의 정도를 결정할 목적으로 차량 제어 시스템(11)에 의해 수행되는 처리이다.

운전자의 복귀 이후 내부 상태가 운전자가 운전 작업을 수행할 수 있는 상태에 있는지 여부의 결정은, 예를 들어, 운전자가 선잠으로부터 일단 깨어나 바로 앉았을 때 운전자의 차량의 전방 측을 보면서 포인팅 및 체킹을 수행하는 운전자의 액션인 포인팅 및 체킹 사인을 검출하는 것에 의해 수행된다.

불안정성 없이 정상 포인팅 및 체킹 사인을 검출하는 것이 가능한 경우, 운전자의 복귀 이후 내부 상태는 운전자가 운전 작업을 수행할 수 있는 상태에 있다고 결정된다. 정상 포인팅 및 체킹 사인을 검출하는 것이 가능하지 않은 경우, 운전자의 복귀 이후 내부 상태는 운전자가 운전 작업을 수행할 수 있는 상태에 있지 않다고 결정된다. 자세가 안정화되지 않고 정확한 검출이 거의 수행되지 않는 경우에는, 다시 검출을 실행하는 것에 의해 재시도 처리 등이 수행될 수 있다는 점에 주목한다. 차량 제어 시스템(11)은 재시도에 대한 통지를 제공할 수 있다.

포인팅 및 체킹 사인은, 열차 또는 버스의 차장에 의해 수행되는 액션과 같이, 체킹의 타겟으로서의 방향으로 팔을 가리키고 들려진 팔의 손가락으로 체킹될 이벤트의 방향을 포인팅하는 액션이다. 위에 설명된 바와 같이, 관련 분야에서의 수동적인 생체 신호 관찰과 비교하여 지각에 직접 결부되는 운전자의 능동적 액션인 액션으로서 운전자의 포인팅 제스처를 검출하는 것이 가능하고, 차량 제어 시스템(11)은 따라서 운전자가 수동 운전을 수행할 수 있는지 여부를 상당히 정확하게 검출할 수 있다. 또한, 검출 결과가 더 적은 모호성을 포함한다는 이점이 또한 존재한다.

실시예에서, 운전자는, 운전자가 하나의 팔을 실질적으로 수평 위치로 먼저 들어올리는 방식으로 대응하는 포인팅 사인을 전송하고, 인계의 통지의 수신 이후 정의된 체킹 프로시저로서, 차량이 진행하는 경우에 즉시 발생할 이벤트로서 차량의 전방 측을 운전자가 체킹하는 것으로 가정하여 진행 방향의 전방 측을 체킹한다.

이하, 차량의 전방 측을 보면서의 포인팅 및 체킹의 사인은 필요에 따라 전방 측 포인팅 및 체킹 사인이라고 지칭될 것이다.

운전 상태 검출 유닛(142)은 운전자에 의해 수행되는 전방 측 포인팅 및 체킹 사인을 미리 결정된 제스처 액션으로서 검출한다. 이러한 제스처 액션이 검출되는 경우, 운전 상태 검출 유닛(142)은 운전자의 시선, 운전자의 우세한 눈 또는 양쪽 눈들의 위치 또는 위치들, 및 포인팅된 위치에 미리 결정된 관계가 존재하는지 여부를 결정한다. 이러한 결정은, 예를 들어, 운전자 촬영 유닛(101)을 형성하는 3-차원 센서 및 2-차원 센서에 의해 검출되는 정보의 조합에 기초하여 수행된다.

운전자의 손가락 끝이 운전자의 시선을 포함하는 수직 평면의 근처에 위치되고 운전자의 시선 아래에 또한 위치되는 경우, 미리 결정된 관계가 존재한다고 결정된다. 이러한 방식으로, 운전 상태 검출 유닛(142)은 운전자가 전방 측을 포인팅한 것을 정확하게 인식하고, 운전자의 각성의 정도를 검출한다.

운전자에 특정한 특성들인 습관, 절음 등의 영향들은 많은 경우들에서 제스처 액션들에 추가된다는 점에 주목한다. 운전 상태 검출 유닛(142)은 운전 거동 분석 유닛(141)에 의한 운전자의 운전 거동들을 분석한 결과들, 분석의 결과들을 사용하여 학습 유닛(126)에 의해 수행되는 학습의 결과들 등을 추가로 고려하여 전방 측 포인팅 및 체킹 사인을 검출한다.

위에 설명된 바와 같이, 운전 상태 검출 유닛(142)은 운전자의 이미지, 운전자의 생체 정보, 시선을 검출한 결과들, 운전자의 운전 거동들을 분석한 결과들, 운전자를 인증한 결과들, 학습 유닛(126)에 의해 수행되는 학습의 결과들 등에 기초하여 제스처 액션들을 검출하는 것에 의해 운전자의 상태를 검출한다.

또한, 운전 상태 검출 유닛(142)은 운전 자세 복귀 시퀀스의 추적(운전자의 상황들을 확인하기 위한 액션들의 추적)을 수행하게 될 수 있다. 운전 자세 복귀 시퀀스의 추적은, 추적을 통해, 운전자가 부 작업을 실행할 때에 착석되었는지 여부를 검출하고 운전자의 자세가 운전자가 운전할 수 있는 상태로 복귀할 때까지의 시퀀스를 추가로 검출하는 처리이다.

이러한 추적 외에도, 안구 거동 분석이 수행되어 운전자의 반응성 및 각성의 정도를 검출하고 수동 운전으로 복귀하는 운전자의 능력이 복구되었는지 여부를 결정할 수 있다. 이러한 추적에 의해 추적될 운전자의 액션들은 차량의 전방 측을 체킹하는 액션 및 통지 또는 경보를 체킹하는 후속 액션을 적어도 포함한다는 점에 주목한다.

운전자의 전방측 포인팅 및 체킹 사인은 시선, 우세한 눈 또는 양쪽 눈들의 위치, 손가락 끝, 손, 또는 주먹의 위치, 차량의 전방 측 상의 도로의 위치, 3-차원 ToF 센서와 같은 자세 추적 디바이스에 의해 획득되는 검출 결과 등을 복합 방식으로 사용하여 결정될 수 있다. 손가락 끝의 위치를 결정한 이후 액션의 정확성의 정도의 결정이 추가로 수행될 수 있다.

이러한 방식으로, 전방 측 포인팅 및 체킹 사인은 차량의 전방 측을 실제로 보고 그 상태에서 차량의 전방 측을 포인팅하는 뇌에서의 결정 액션이다. 이러한 방식으로 미리 결정된 액션 제스처를 요청하는 것은, 운전자가 전방 측 포인팅 및 체킹 사인을 얼마나 충실하게 표현할 수 있는지와 같은, 물리적 능력을 포함하는 운전자에 특정한 체킹 및 학습 특성들을 가능하게 한다. 특히, 아래에 설명될 바와 같이, 다른 방식들과 조합하여 다수의 단계들에서 운전자 상태들의 추이 관찰을 수행하는 것에 의해 수동 운전으로의 인계가 정상적으로 실행되었는지 여부를 결정하는 것이 가능하고, 정상 인계 동안 포인팅 제스처의 추이가 교사 데이터를 사용하여 정상인 것으로서 간주된다고 결정하는 메커니즘을 이용하는 것이 가능하므로, 정상 추이 데이터를 수동으로 선택하고 구별하고 준비할 필요가 없다.

- 단속성 운동 정보에 기초하는 각성의 정도의 검출

단속성 운동 정보 전환 결정 유닛(202)은 운전 상태 검출 유닛(142)으로 하여금 운전자의 안구 단속성 운동 거동들의 분석, 미세-단속성 운동 거동 분석, 및 시각적 고정의 경미한 움직임 및 드리프팅과 같은, 뇌에서의 일련의 지각 활동들을 반영하고 이들과 링크되는 액션들의 분석을 수행하고 운전자의 각성의 정도를 검출하게 한다.

여기서, 운전자의 뇌에서의 특정한 결정 액션들이 검출되고, 반사 응답 특성들의 거동들은 일시적으로 변화할 수 있는 개별 운전자의 시력 및 위험의 존재와 같은 뇌에서의 반사적 능동적 반응으로 인해 변경된다. 따라서, 운전자를 인증하고 특정한 속성 학습에 기초하여 학습되는 거동 특성들에 따라 결정을 행하는 것에 의해 보다 정확하게 결정들을 행하는 것이 가능하다.

단속성 운동 정보 전환 결정 유닛(202)은, 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과에 따라 운전자의 복귀 이후 내부 상태를 결정하는 것에 의해, 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부를 결정하거나 또는 운전자가 각성의 과정에 있을 때의 상황을 결정한다.

- 사운드 인식에 기초하는 반응성 및 각성의 정도의 검출

사운드 인식 전환 결정 유닛(203)은 운전 상태 검출 유닛(142)으로 하여금 운전자가 운전자로부터의 사운드 응답에 기초하여 결정 및 인식을 수행하는 것을 허용하고 운전자의 반응성 및 각성의 정도를 검출하게 한다.

예를 들어, 운전자가 고려 없이 응답하는데 어려움을 갖는 질문이 사운드에 의해 제시되고, 이러한 질문에 대한 응답이 운전 상태 검출 유닛(142)에 의해 검출된다. 운전 상태 검출 유닛(142)은 운전자가 질문에 응답할 수 있는지 여부에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다. 예를 들어, 운전자가 질문에 정확하게 응답할 수 있는 경우, 운전자의 반응성 및 각성의 정도가 만족스럽다는 점이 검출된다.

운전자가 질문에 정밀하게 응답하는데 실패하는 경우, 운전자가 각성으로 복귀하는 과정에 있다고 결정되고, 인계 포인트까지 충분한 시간이 존재하면, 질문을 재시도하는 것이 또한 가능하다. 그러나, 전혀 응답이 없으면, 인계로 인한 위험이 증가한다. 따라서, LDM 정보 등에 기초하여 결정이 수행될 수 있고, 특히, 차량이 더 나쁜 도로 환경에서의 구획을 통해 주행하면, 차량은 차후 설명될 바와 같이 조기 단계에서의 비상 대피 모드로 신속하게 시프트할 수 있다.

사운드 인식 전환 결정 유닛(203)은, 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과들에 기초하여 운전자의 복귀 이후 내부 상태를 결정하는 것에 의해, 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부를 결정한다.

- 스티어링 휠 조작에 기초하는 반응성 및 각성의 정도의 검출

스티어링 휠 조작 전환 결정 유닛(204)은 주행 제어 유닛(33)으로 하여금, 스티어링 휠에 노이즈로서 토크를 적용하는 것에 의해 조종 편차를 생산하게 하고 정상 주행으로부터 벗어나는 주행(이하, 노이즈 주행이라고 지칭됨)을 의도적으로 야기하게 한다. 예를 들어, 노이즈 주행은, 차량이 교통 차선을 따라 진행 방향에 관하여 교통 차선에서 실질적으로 진행 방향으로 유지되면서, 차량이 실질적으로 직교 방향과 같은 벗어나는 방향으로 이동되는 주행 및 교통 차선들을 교차하는 변경된 방향으로의 횡방향 이동 또는 빠른 가속이 적용되는 주행을 포함한다. 차량이 측풍에 노출되는 경우, 차량은, 그 방향을 변경하지 않고, 작은 양만큼 횡방향으로 벗어난 방향으로 이동된다.

스티어링 휠 조작 전환 결정 유닛(204)은 운전 상태 검출 유닛(142)으로 하여금 운전자가 조종을 정정하기 위한 토크를 의도적으로 추가하는 것 또는 가속기 또는 브레이크 페달을 밟는 것 등에 의해 노이즈 주행에 정확하게 응답할 수 있는 것을 검출하게 한다.

스티어링 휠 조작 전환 결정 유닛(204)은, 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과들에 기초하여 운전자의 복귀 이후 내부 상태를 결정하는 것에 의해, 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부를 결정한다.

전환 결정 유닛(155)은 위에 설명된 바와 같은 복수의 정보 항목들을 사용하여 운전자의 복귀 이후 내부 상태(운전자가 각성되는지 여부, 또는 그 정도)를 결정한다.

또한, 전환 결정 유닛(155)은 전환 결정의 최종 단계에서 또는 준-최종 단계에서 결정으로서 스티어링 휠 조작 전환 결정을 수행한다.

이러한 다수의 단계들에서 운전자의 각성 상태를 결정하는 것은 운전 모드가 자동 운전 모드로부터 수동 운전 모드로 보다 확실하게 그리고 보다 안전하게 시프트되는 것을 가능하게 한다. 또한, 인계 액션을 반복적으로 그리고 계속 실행하는 한명의 운전자에 의해 정상 인계의 때에 획득되는 교사 데이터 및 실패들의 때의 교사 데이터가 자체-정렬 방식으로 수집되고, 이용 빈도에 따라 검출의 정확성이 개선된다.

<제스처 인식 전환 결정의 상세 사항들>

다음으로, 제스처 인식 전환 결정의 상세 사항들이 도 4 내지 도 7을 참조하여 설명될 것이다.

운전자는 자동 운전 모드에서 주행하는 차량에서 부 작업에 대해 작업하고 있다고 가정된다. LDM의 업데이트 또는 교통 정보 등으로부터의 긴급 통지에 응답하여 수동 운전으로 복귀할 필요가 있다고 결정되는 경우, 운전 모드 전환 제어 유닛(154)은 통지 또는 경보를 발행하는 것에 의해 운전자에게 사실을 통지한다.

긴급의 정도가 높으면, 운전자는 즉시 상황들을 확인하고 수동 운전을 시작해야 한다. 운전자가 수동 운전으로 복귀하도록 촉구된 이후의 운전자의 프로시저로서, 전방 측 상의 상황들을 시각적으로 체킹하는 것 및 다음에 취해질 액션들로 이동하는 것이 인간 공학(행동학)의 관점에서 가장 합리적인 프로시저라고 진술하는 것이 가능하다.

즉, 부 작업에 대해 작업하고 있는 운전자가 수동 운전으로 복귀하는 통지 또는 경보를 수신하는 경우, 차량의 전방 측을 먼저 시각적으로 체킹하는 것, 눈으로 상황들을 직접 인지하는 것에 의해 긴급성을 순간적으로 확인하는 것, 및 제시된 메시지를 체킹하는 것, 상황들을 확인하는 것, 또는 이러한 단계들 이후 다음 액션으로 이동하는 것이 바람직한 프로시저라고 진술하는 것이 가능하다.

따라서, 부 작업을 중단한 직후에 운전자가 차량의 전방 측 상의 상황들을 시각적으로 체킹하였다는 것을 정확하게 검출하는 것이 중요하다.

따라서, 운전자가 전방 측 상의 상황들을 정확하게 확인하였다는 것을 정확하게 인식하는 방법들 중 하나로서, 운전자는 차량의 전방 측을 보면서 검지 손가락으로 차량의 전방 측을 포인팅하는 것에 의해 전방 측 포인팅 및 체킹 사인을 전송하도록 허용된다. 이러한 액션을 검출하는 것에 의해, 운전자가 부 작업을 중단하였고 차량의 전방 측을 시각적으로 체킹하였다고 결정하는 것이 가능하다.

일본에서 열차들, 버스들 등을 운영하는 다수의 사업주들은 안전성 체킹을 위한 프로시저로서 운전자들, 차장들 등에 대한 포인팅 및 체킹을 추천하거나 또는 이러한 포인팅 및 체킹을 규칙으로서 도입한다. 이러한 포인팅 및 체킹은 조기 단계에서 시선을 잡기 위한 보조 안내로서 추가로 작용하고 안전성 체킹을 위한 많은 목적들로 사용되었다.

운전자는 시선 상의 타겟을 지각하고, 그들의 손을 이동시키고, 손가락 끝 및 타겟이 시선으로부터 확장되는 라인 상에서 서로 실질적으로 중첩하도록 최종적으로 타겟을 포인팅한다.

운전자가 이러한 포인팅을 수행할 때 운전자가 전방 측을 보지 않는 경우, 또는 운전자가 포인팅을 수행하는데 어려움을 갖는 경우, 운전자가 차량의 전방 측 상의 도로의 상황들을 불충분하게 확인할 높은 가능성이 존재한다.

대조적으로, 운전자가 차량의 전방 측을 보면서 차량의 전방 측을 포인팅하는 액션을 수행하는 경우, 이러한 액션은 손가락 끝을 의도적으로 배치하는 액션이므로 운전자가 차량의 전방 측 상의 도로의 상황들을 적절히 확인하였을 높은 가능성이 존재한다.

따라서, 차량의 전방 측을 확인하고 전방 측 포인팅 및 체킹 사인을 전송하는 프로시저는 자동 운전 모드에서 주행하는 동안 수동 운전으로 복귀하도록 운전자를 촉구하는 경우의 프로시저로서 정의된다. 운전자가 프로시저에 따라 액션을 수행하는 것을 허용하는 것 및 운전 상태 검출 유닛(142)에 의해 이를 검출하는 것에 의해 운전자의 각성 상태를 확인하는 것이 가능하다.

도 4는 운전 상태 검출 유닛(142)에 의해 검출되는 전방 측 포인팅 및 체킹 사인의 예를 도시하는 도면이다.

도 4에서 파선에 의해 표현되는 바와 같이, 예를 들어, 운전자(250)의 오른쪽 눈(251)의 위치를 참조하여 운전자(250)의 시선(252)의 방향을 포함하도록 수직 평면(253)이 설정된다. 수직 평면(253)은 도로 표면에 실질적으로 수직이고 진행 방향에 실질적으로 평행한 가상 평면이다. 그러나, 차량이 주행하고 있는 도로가 직선 도로로 제한되는 것은 아니므로, 이러한 방향이 반드시 균일한 방향으로 제한되는 것은 아니고, 이러한 방향은 LDM 정보로부터 적용될 수 있다.

또한, 도 4에서 파선에 의해 표현되는 바와 같이 운전자(250)의 오른쪽 눈(251)의 위치를 참조하여 운전자(250)의 시선(252)의 방향을 포함하도록 평행 평면(255)이 설정된다. 평행 평면(255)은 눈들의 높이로 설정되고 도로 표면에 실질적으로 평행한 가상 평면이다.

포인팅 및 체킹은 번거로운 것으로 외견상 고려될 수 있다. 그러나, 운전자가 진행 방향을 정확하게 지각하고, 선잠을 취하는 것과 같은 부 작업으로부터 운전으로 의식이 완전히 지향되는 상태에서 전방 측 포인팅 및 체킹 사인을 전송하면, 운전자(250)의 눈들(우세한 눈 또는 양쪽 눈들) 및 손가락 끝(254)을 통과하고 차량 진행 방향으로 지향되는 직선은 운전자(250)의 시선(252)과 실질적으로 일치한다.

그 때, 손가락 끝(254)은 중심으로서 수직 평면(253)에 대해 설정되고 운전자(250)의 시선(252)을 방해하지 않도록 거리 h만큼 운전자(250)의 시선(252) 아래에 위치되는 근처에서 폭이 w인 범위 내에 위치된다. 거리 h는, 예를 들어, 수 밀리미터 내지 수 센티미터의 거리를 표현한다.

도 5의 A는 상부 측으로부터 보여질 때 우세한 눈이 오른쪽 눈인 경우에 차량 진행 방향을 보고 있는 운전자(250A)의 평면도이다. 도 5의 A에서, 우세한 눈이 왼쪽 눈인 경우에 운전자(250B)가 파선으로 또한 표현된다는 점에 주목한다. 도 5의 B는 측으로부터 보여질 때 운전자(250A)의 상태의 도면이다.

도 5의 A는 오른쪽 눈(251)의 위치를 참조하여 설정되는 수직 평면(253)을 도시한다. 수직 평면(253)은 운전자(250A)의 시선(252)의 방향을 포함한다. 운전 상태 검출 유닛(142)은, 전방 측 포인팅 및 체킹 사인의 액션으로서, 운전자(250A)가 운전자(250A)의 이미지에서 도 5의 A에 도시되는 바와 같이 그 사이에 끼워지는 수직 평면(253)으로 특정한 범위 w 내에서 손가락 끝(254)을 정지시키고 있는 것을 검출한다.

손가락 끝(254)의 위치는 ToF 센서 등으로 위치를 추적하는 것에 의해 검출된다. 추적의 타겟이 손가락 끝에 제한되는 것은 아니고 손가락, 손, 주먹 등일 수 있다는 점에 주목한다.

운전자에 의존하여 개별 차이들이 존재하므로 학습 유닛(126)에 의해 수행되는 학습을 통해 획득되는 개별 특성들은 전방 측 포인팅 및 체킹 사인을 검출하기 위해 사용된다는 점에 주목한다.

도 5의 B는 측으로부터 보여질 때 오른쪽 눈(251), 시선(252), 및 손가락 끝(254)의 위치 관계를 도시한다. 포인팅이 차량 진행 방향을 체킹하는 목적으로 주로 수행되므로, 포인팅이 수행될 때 손가락 끝(254)의 위치는 진행 방향을 보고 있는 운전자의 시선(252)을 손가락 끝(254)이 방해하지 않는 위치이다.

운전 상태 검출 유닛(142)은, 전방 측 포인팅 및 체킹 사인 액션으로서, 도 5의 B에 도시되는 바와 같이 거리 h만큼 시선(252) 아래의 위치에 위치되는 손가락 끝(254)의 제스처 액션을 검출한다.

위에 설명 바와 같이 전방 측 포인팅 및 체킹 사인을 검출하는 것에 의해 운전자(250)가 수동 운전을 자각하게 되었고 각성 상황에 있는 것을 확인하는 것이 가능하다.

전방 측 포인팅 및 체킹 사인을 검출하는 방법이 전술된 방법에 제한되는 것은 아니라는 점에 주목한다. 시선의 움직임, 머리의 움직임, 손가락 또는 손으로 진행 방향을 포인팅하는 액션 등과 같은, 다양한 종류의 액션들의 조합 액션을, 미리 결정된 제스처로서, 인식하는 기능이 있는 사인 검출기가 차량 제어 시스템(11)에 제공될 수 있다.

도 6은 전방 측 포인팅 및 체킹 사인에 대한 프로시저의 예를 도시하는 도면이다.

도 6의 A는 차량의 자동 운전 동안 이동 단말(12)을 사용하여 부 작업에 대해 작업하고 있는 운전자(261)를 도시한다. 이동 단말(12)은 스마트폰, 태블릿 단말 등이다. 도 6의 A에서, 운전자(261)는 전달된 물품의 전표의 처리, 다음 전달 목적지를 체킹하는 것 등을 부 작업으로서 수행한다고 가정된다.

다음으로, 운전자(261)는 도 6의 B에 도시되는 바와 같이 부 작업으로부터 적어도 하나의 손을 해제하고, 전방 측 포인팅 및 체킹 사인을 전송한다.

이러한 전방 측 포인팅 및 체킹 사인은 운전자가 작업을 중단했고, 전방 측에 주의를 환기하였으며, 수동 운전을 인계는 것을 자각하게 되었다는 것을 운전자가 표현한다는 의미를 포함한다.

부 작업이 운전자의 좌석 이외의 위치에서 수행된다고 가정되므로, 운전자의 좌석 상의 운전자(261)의 착석 액션이 검출될 수 있고, 이러한 검출 이후에, 운전자(261)의 포인팅 액션이 검출될 수 있다.

착석 액션은 운전자가 착석되는 좌석에 대한 부하 평가에 기초하여 검출될 수 있다는 점에 주목한다.

또한, 착석 액션의 검출은 수동 운전으로의 복귀의 통지, 경보, 알람 등에 의해 트리거될 수 있다.

예를 들어, 자동 운전이 도 6의 A에서의 상태에서 가능하다고 추정되는 구획에서 주행하는 동안 예상되지 않은 이벤트의 발생으로 인해 수동 운전으로의 복귀가 접근된다고 가정된다.

이때, 수동 운전 모드로 전환하기 위한 통지 또는 경보(수동 운전으로의 인계)가 차량 제어 시스템(1)에서 제공된다. 운전자(261)는 이러한 통지 또는 경보를 수신하고 다음으로 도 6의 B에 도시되는 바와 같이 전방 측 포인팅 및 체킹 사인을 전송한다. 이것은 운전자가 운전을 신속하게 인계하는 것을 가능하게 한다.

운전자(261)가 전방측 포인팅 및 체킹 사인을 전송한 이후 이동 단말(12) 또는 기기 패널의 전체 또는 부분 표면 상의 매트릭스 어레이 디스플레이 유닛 등과 같은 모니터 상에 수동 운전으로의 인계의 포인트에 관한 정보가 디스플레이될 수 있다는 점에 주목한다. 제공되는 이러한 정보를 수신한 운전자(261)의 응답 조작을 검출하는 것에 의해 운전자의 각성의 정도가 검출될 수 있다.

차량 제어 시스템(11)이 운전자의 의식이 각성인지 여부를 정밀하게 확인하는데 어려움을 갖는 경우, 주행 차량의 안전성을 확보하기 위해 차량을 감속시키거나 또는 정지시키는 것이 필요하다.

그러나, 수동 운전 모드로의 전환에 관련하여 차량을 감속시키거나 또는 긴급히 정지시키는 프로시저가 교통량이 많은 인프라스트럭처에서 실행되면, 뒤따르는 자동차들에 많은 영향이 존재하고, 교통 용량의 제한은 교통 체증을 즉시 야기하고 경제적 손실을 야기하며, 이는 바람직하지 않다.

전방 측 포인팅 및 체킹 사인에 대한 프로시저 외에도, 운전자의 의식이 각성인지 여부를 정밀하게 확인하기 위해 다른 프로시저가 사용될 수 있다.

예를 들어, 전방 측 포인팅 및 체킹 사인은 수동 운전으로의 인계에 대한 전체 프로시저의 일부분으로서의 초기 프로시저로서 간주될 수 있고, 단속성 운동 분석의 프로시저 등이 추가될 수 있다.

또한, 전방 측 포인팅 및 체킹 사인을 검출한 이후에 스티어링 휠을 파지하는 액션을 운전자가 수행하였는지 여부를 검출하기 위한 프로시저를 추가하는 것이 또한 가능하다.

추가로, 전방 측 포인팅 및 체킹 사인을 검출한 이후에 시선을 검출하는 것에 의해 상황들을 확인하기 위한 액션을 운전자가 시작하였는지 여부가 검출될 수 있다. 상황들을 확인하기 위한 액션으로서, 차량의 전방 측을 다시 체킹하는 액션, 후방 측을 체킹하기 위한 미러, 모니터 등을 체킹하는 액션, 차량 제어 시스템(11)의 측으로부터 제시되는 메시지 또는 통지를 체킹하는 액션 등이 예시된다. 상황들을 확인하기 위한 이러한 액션들은 미리 결정된 제스처들로서 검출될 수 있고, 복귀 이후 내부 상태가 달성되었다고 결정될 수 있다.

도 7은 전방 측 포인팅 및 체킹 사인에 대한 프로시저의 예를 도시하는 도면이다.

위에 설명된 바와 같이, 운전자(271)가 복귀 이후 내부 상태를 달성한 것으로서 운전자(271)를 간주하는 것이 가능하고, 여기서, 도 7에 도시되는 바와 같이, 운전자(271)가 손가락 끝, 손, 주먹, 및 신체의 일부분을 차량의 전방 측을 향하여 돌리면, 운전자(271)는 주 작업으로서 운전 작업을 수행할 수 있고, 운전자(271) 자신, 그 전방 측 포인팅 및 체킹 사인, 및 운전자(271)의 시선(272) 및 운전자(271)의 시선(272) 앞에 있는 도로에 대해 차량의 전방 측 상의 도로를 포함하는 수직 평면을 확인하는 것이 가능하다.

복귀 이후 내부 상태가 달성되었는지 여부의 결정에 대해서는, 전방 측 포인팅 및 체킹 사인 뿐만 아니라 적어도 차량 진행 방향을 체킹하는 액션 및 차량 제어 시스템(11)에 의해 제시되는 메시지, 통지 등을 체킹하는 뒤따르는 액션이 순서대로 수행되었는지 여부를 검출한 결과들이 또한 사용될 수 있다는 점에 주목한다.

사람이 원격 이벤트를 신속하게 알기를 원하는 경우, 그 사람은 경보 등의 통지 스크린을 보고 상황들을 이해하는 대신에 차량 진행 방향에서의 광경들에서의 상황들을 이해하는 액션을 먼저 취하고, 다음으로 통지 스크린을 보는 액션을 취하며, 이는 해석을 위해 시간이 약간 걸린다. 따라서, 이러한 액션들의 순서가 중요하다.

<자동화 레벨들의 예들>

도 8은 자동화 레벨들의 예들을 도시한다. 여기서, SAE(Society of Automotive Engineers)에 의해 정의되는 자동화 레벨들의 예들이 설명될 것이다. SAE에 의해 정의되는 자동 운전의 레벨들이 본 명세서에서 편의를 위해 참조로서 사용되더라도, 자동 운전이 널리 사용되는 경우에서의 그 문제점들 및 합리성이 해당 분야에서 완전히 검토되지는 않았고, 이러한 레벨들이 반드시 정의되는 바와 같이 해석되고 사용될 것은 아니라는 점에 주목한다. 또한, 이용 형태가 반드시 명세서에 설명되는 내용을 보장하는 이용 형태인 것은 아니다.

자동화 레벨들은 레벨 0 내지 4에 있는 5개의 단계들로 분류된다.

자동화 레벨 0은 "운전 자동화 없음(no driving automation)"이라고 지칭될 것이다. 자동화 레벨 0에서, 운전자는 모든 운전 작업들을 수행한다.

자동화 레벨 1은 "운전자 보조(driver assist)"라고 지칭될 것이다. 자동화 레벨 1에서, 자동 운전을 수행하는 시스템(이하, 단순히 시스템이라고 지칭됨)은, 예를 들어, 운전 작업들 중에서, 전-후 또는 좌-우 방향으로 차량 제어에 제한되는 하위작업들을 수행한다.

자동화 레벨 2는 "부분 운전 자동화(partial driving automation)"라고 지칭될 것이다. 자동화 레벨 2에서, 시스템은 운전 작업들 중에서 전-후 및 좌-우 방향들 양자 모두에서 차량 제어에 관련된 하위작업들을 수행한다.

자동화 레벨 3에서 "상황들 하에서의 운전 자동화(driving automation under conditions)"라고 지칭될 것이다. 자동화 레벨 3에서, 시스템은 제한된 영역에서 모든 운전 작업들을 수행한다. 이러한 자동화 레벨에서 어떤 종류의 부 작업들이 실제로 실행될 수 있는지는 명확화되지 않았다. 운전자가, 차량의 주행 동안 부 작업들로서, 예를 들어, 이동 단말(12)의 조작들, 전화 회의, 비디오 시청, 게임의 플레이, 생각, 및 다른 승객들과의 대화와 같은, 운전 이외의 작업들 또는 액션들을 수행할 수 있다고 고려되더라도, 안전성의 면에서 다수의 문제점들이 존재한다.

즉, 운전자는, 자동화 레벨 3의 정의의 범위 내에서, 시스템의 고장 또는 주행 환경의 열화에 대한 예비 대책의 때에(폴백의 때에) 시스템으로부터의 요청 등에 응답하여, 운전 조작을 수행하는 것과 같은, 대책을 적절하게 취할 것으로 예상된다. 다시 말해서, 운전자가 이러한 기간 동안 복귀하기 위해 준-대기 상태에서 대기하는 것이 필요하다.

자동화 레벨 4는 "진보된 운전 자동화(advanced driving automation)"라고 지칭될 것이다. 자동화 레벨 4에서, 시스템은 제한된 영역에서 모든 운전 작업들을 수행한다. 또한, 운전자는 예비 대책의 때에(폴백의 때에), 운전 조작을 수행하는 것과 같은, 대책을 취할 것으로 예상되지 않는다. 따라서, 운전자는 차량의 주행 동안 진정한 의미에서 부 작업을 수행할 수 있고 상황들에 의존하여 선잠을 취할 수 있다.

따라서, 자동화 레벨들 0 내지 2에서, 운전자는 운전 작업들의 전체 또는 일부분을 수행하고, 운전자는 안전 운전에 관련된 대책들을 모니터링하고 취하는 것을 주체적으로 수행한다. 이러한 3개의 자동화 레벨들에서, 운전자는 필요에 따라 운전으로의 복귀의 능력을 일정하게 가질 것을 요구받는다. 따라서, 운전자는, 주행 동안 주의를 저하시키거나 또는 전방 측에 대한 주의를 손상시킬 수 있는, 운전 이외의 부 작업들을 수행하는 것이 허가되지 않는다.

한편, 자동화 레벨들 3 및 4에서, 시스템은 모든 운전 작업들을 수행하고, 시스템은 안전 운전에 관련된 대책들을 모니터링하고 취하는 것을 주체적으로 수행한다. 그러나, 운전자가 자동화 레벨 3에서 운전 조작들을 수행할 필요가 있는 경우가 존재한다. 또한, 주행 경로의 일부분에, 자동화 레벨들 3 및 4가 적용될 수 없는 구획이 존재하는 경우가 존재하고, 자동화 레벨은 이러한 구획에 대해 2 이하로 설정되고, 운전자가 운전에 개입하는 것이 필요하다.

운전자가 자동 운전 동안 부 작업을 수행하도록 허가되는 경우에 운전자의 각성의 정도를 확인하기가 곤란하므로, 부 작업들의 실행은 여전히 법적으로 억제되고, 논의의 진행은 중단된다는 점에 주목한다. 그러나, 본 기술의 실시예에 따라 전방 측 포인팅 및 체킹(제스처 인식) 사인에 의해 운전자가 운전으로 복귀하는 능력을 상당히 효과적으로 체킹하는 것이 가능하므로, 부 작업들의 실행의 허가가 충분히 예상될 수 있다.

자동차 제조사들은, 자동 운전의 최상의 이점인, 운전자가 자동 운전 동안 부 작업을 실행하더라도 필요한 타이밍에서 통지를 통해 체킹을 수행하는 것에 의해 안전성을 보장하기 위한 메커니즘을 구성할 수 있으므로, 제조사들은 많은 기대들을 가질 수 있다.

<운전 모드들 사이의 전환>

운전자가 일부 형태로 운전에 개입하고 차량의 운전에 직접 영향을 주도록 요구하는 운전은 다음의 설명에서 "수동 운전(manual driving)"이라고 지칭될 것이라는 점에 주목한다. 따라서, 자동화 레벨 0 내지 2에서 수동 운전이 수행된다. 도 8에 도시되는 바와 같이, 자동화 레벨 0 내지 2에서의 운전 모드는 수동 운전 모드라고 지칭될 것이다.

한편, 운전자의 개입을 전혀 요청하지 않는 운전은 다음의 설명에서 자율 자동 운전(자동 운전)이라고 지칭될 것이다. 따라서, 자동화 레벨 3 및 4에서 자동 운전이 기본적으로 수행된다. 그러나, 자동화 레벨 3에서 시스템으로부터의 요청에 응답하여 수동 운전을 수행할 필요가 있게 되는 경우가 존재한다. 즉, 자동화 레벨 3에서 운전 조작으로부터의 운전자의 이탈이 제한될 필요가 있으므로, 자동 운전이 주의를 두고 수행된다. 따라서, 자동화 레벨 4에서의 운전 모드는 자동 운전 모드라고 지칭될 것이고 한편 자동화 레벨 3에서의 운전 모드는 주의가 있는 자동 운전 모드라고 지칭될 것이다.

본 기술의 프레임워크는 주의가 있는 자동 운전으로서 정의되는 레벨 3에서의 자동 운전의 사용이 인간 공학의 관점에서 긴 기간의 시간 동안 계속 사용되는 운전 모드로서 적합하지 않다는 아이디어에 기초한다는 점에 주목한다. 따라서, 레벨 3에서의 자동 운전은, 운전자가 운전하기 위한 조종에 직접 개입하는데 어려움을 갖는다는 사실에 관계없이 운전자가 부 작업에 완전히 집중하는데 있어서 어려움을 갖는 애매한 상태를 운전자가 계속해야 하므로 이용 형태에 의존하여 운전자를 상당히 번거롭게 하는 주행 구획이라고 진술하는 것이 가능하다.

물론, 부 작업들이 운전자가 짧은 기간의 시간에 운전으로 복귀할 수 있는 것들로 제한되더라도, 심지어 운전자는 실용적인 사용의 관점에서 레벨 3에서의 사용에 대한 법적인 제한을 적용하는 것이 가능하더라도 단조로운 상황이 인간의 생체 특성으로 인해 계속해서 계속되는 경우에 운전자는 무의식적으로 졸리게 되거나 또는 사실을 의식하지 않고 부 작업에 집중할 수 있다.

즉, 주의가 있는 자동 운전에 의해 차량이 주행하는, 레벨 3에서의 자동 운전 모드는 연속 장기 이용의 가정에 대한 모드가 아니다. 레벨 3에서의 자동 운전 모드는 자율 자동 운전을 유지하면서 구획을 통과함에 있어서 어려움 또는 위험이 존재하는 경우에 짧은 기간의 시간 동안 운전자가 복귀하고 백업으로서 대기하는 것을 허용하기 위한 이용 및 레벨 4에서의 자동 운전 모드로부터 자동 운전 모드가 전환될 때 버퍼 구획으로서의 이용에 제한되는 자동 운전 모드이다. 그러나, 이동 단말 디바이스를 조작하는 것에 의해 태블릿 스크린 등을 보는 것을 통해 각성하고 운전으로 복귀하기 위한 의식 접속을 운전자가 일정하게 유지하는 방식과 조합하는 이용에 자동 운전 모드가 제한되는 한 레벨 3에서의 자동 운전 모드가 일정하게 사용될 수 있다.

버퍼 구획에서의 이용은, 급속 복귀가 각성 및 복귀의 가능성이 불충분하게 체킹될 수 있다는 위험과 동반되므로 자동 운전 모드는 레벨 4에서의 자동 운전 모드로부터 수동 운전 모드로 전환하기 위해 버퍼 구획을 통과할 준비가 된다는 아이디어에 기초한다.

이러한 버퍼 구획 모드를 적절하게 포함하고 실행하는 시스템의 기술을 제공하는 것은 인계를 수행하는데 실패하는 많은 차량들의 발생을 회피하고, 도로 인프라스트럭처 환경에서 인계를 수행하는데 실패하는 이러한 차량들로 인한 교통 체증의 발생을 회피하고, 건강한 도로 인프라스트럭처 환경을 보장하는 목적을 갖는다.

여기서, 제스처 인식, 단속성 운동 정보, 스티어링 휠 조작들, 또는 사운드 인식을 사용하여 검출되는 운전자의 반응성 및 각성의 정도에 따라 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부가 결정되고, 이러한 전환은 본 기술의 실시예에 따라서 필요에 따라 실행된다.

도 9는 운전 모드들 사이의 전환을 도시하는 천이도이다. 자동 운전 모드로부터 수동 운전 모드로의 이러한 전환은, 도 9에서 윤곽형 백색 화살표 #1에 의해 표현되는 바와 같이, 자동화 레벨 4에서의 자동 운전 모드로부터 자동화 레벨 3에서의 주의가 있는 자동 운전 모드로의 전환을 또한 포함하여 운전자의 운전 조작이 운전에 약간 개입할 수 있다는 의미를 포함한다.

자동 운전 모드로부터 수동 운전 모드로의 전환은 도 9에서 윤곽형 백색 화살표 #2에 의해 표현되는 바와 같이 자동화 레벨 3에서의 주의가 있는 자동 운전 모드로부터 자동화 레벨들 0, 1, 및 2에서의 수동 운전 모드로의 전환을 또한 포함한다.

자동 운전 모드로부터 수동 운전 모드로의 전환은 도 9에서 윤곽형 화살표 #3에 의해 표현되는 바와 같이 자동화 레벨 4에서의 자동 운전 모드로부터 자동화 레벨들 0, 1, 및 2에서의 수동 운전 모드로의 전환을 또한 포함한다.

이러한 시간 동안 발생하는 모드 천이는 운전자가 자동화 레벨 4에서의 수동 운전으로 복귀하는 능력이 보장되는 경우에 기본적으로 제한되므로, 운전자의 능동적 조종 능력은 전환 직전까지 관찰되지(결정되지) 않는다. 따라서, 이러한 전환을 허용하는 상황은, 도로가 직선이고 위험들을 포함하지 않고, 도로의 안전성이 보장되며, 만일 운전자의 조종 능력 결함에 대해, LKAS 또는 ACC와 같은, 나머지 ADAS 기능들로 운전자의 인계를 수행함의 실패에 대처하는 것이 가능한 경우로 제한된다. 대안적으로, 운전자의 수동 운전 능력이 사용자로부터의 요청에 응답하여 결정될 때까지 인계가 완료되지 않고, 조종의 개입이 있는 제어가, 조종의 검출이 확실하지 않은 단계에서 운전자에게 넘겨지면, 절반 잠든 운전자에 의해 수행되는 조작들은 사고를 유발한다는 점이 또한 가정된다.

따라서, 차량의 제어를 관리하는 차량 제어 유닛(28)은 주행 동안 자동 운전으로부터 수동 운전으로 전환할 필요가 있는 구획에 차량이 진입하기 이전에 자동화 레벨 3에서의 구획을 설정하고, 운전자가 그 시간 동안 운전으로 복귀하는 능력의 결정을 진행하고, 차량이 최대로 자동화 레벨 2 이하로 주행할 수 있는 구획으로의 진입을 준비한다.

윤곽형 백색 화살표들 #1, #2, 및 #3에 의해 표현되는 전환 시에 운전자의 반응성 및 각성의 정도를 검출하는 것이 가능하지 않은 경우, 운전 모드는 굵은 선 화살표들 #11, #12 및 #13에 의해 표현되는 바와 같이 비상 대피 모드로 시프트된다. 자동화 레벨들 0, 1, 및 2에서의 수동 운전 모드는, 신체 상황들의 변경과 같은, 심지어 긴급 상황에서도 이러한 비상 대피 모드로 시프트된다는 점에 주목한다.

비상 대피 모드가 본 명세서에서 상세히 설명되지 않더라도, 비상 대피 모드는 실제로 2개의 기능들을 갖는다는 점에 주목한다. 제1 기능은, 통상의 주행을 수행한 차량의 운전자의 각성의 정도, 신체 상황들에서의 급속한 변경 등으로 인해 가정된 통상의 주행을 계속하거나 또는 인계를 수행하기 곤란하게 되는 경우 차량으로 하여금 안전한 대피 위치로의 비상 대피 주행을 수행하게 하는 기능이다.

제2 기능은, 운전 능력이 원래 낮은 열악한 수송 영역으로부터 병원 등으로 긴급히 이동하는 방식으로서, 운전자가 심지어 어떠한 조종 능력도 갖지 않는 상태에서도 수송을 확보하는 기능이다. 특히, 제2 기능은 이동 속도 자체에 배치되는 우선순위가 낮은 기능이고, 원격 보조, 선행 차량 주행 보조 등을 조합하는 것에 의해 이동을 확보하는 목적을 위한 자동 운전의 주행 모드들 중 하나이다.

도 9에서 실선 화살표 #21 및 #22에 의해 표현되는 바와 같이, 자동화 레벨들 0, 1, 및 2에서의 수동 운전 모드로부터 자동화 레벨 3에서의 주의가 있는 자동 운전 모드로의 또는 자동화 레벨 3에서의 주의가 있는 자동 운전 모드로부터 자동화 레벨 4에서의 자동 운전 모드로의 전환이 실행될 수 있는지 여부는, LDM, 날씨, 주행하도록 설정되는 차량이 그 후 진행할 도로의 이벤트 발생 정보, 운전자가 복귀하도록 요구될 때의 복귀 가능성 정보 등에 따라 운전자의 요청에 응답하여 결정된다.

특히, 실선 화살표 #21의 경우에 운전자로 하여금 이러한 사실을 의식하게 하지 않고 수동으로 운전되는 차량이 자동 운전으로 복귀되면, 운전자가 차량을 사용할 때 운전자가 자동 운전의 그러한 사용을 무의식적으로 오해할 수 있는 경우가 발생할 수 있다. 이러한 경우는, 심지어 이러한 것이 상당히 낮은 확률로 일어날 수 있더라도, 운전자가, 실제로 수동 운전 모드에 있는, 차량이 자동 운전에 의해 주행하고 있다고 고려할 수 있고, 순간에 부 작업을 수행하고, 부 작업에 집중을 하면 위험 상황의 위험이 존재하므로 바람직하지 않다.

도 9에서 파선 화살표 #31 및 #32에 의해 도시되는 바와 같이 비상 대피 모드로부터 자동화 레벨 3 또는 자동화 레벨 4로의 시프팅은, 예를 들어, 긴급 상황에서 환자를 수송하는 특수한 경우만을 타겟으로 한다는 점에 주목한다.

이용 형태로서 가정되는 사용 경우로서, 비상 차량의 도달을 대기하는데 있어서 어려움을 갖는 승객이, 중간 위치 등에서 고속도로 서비스 영역으로 이동하기 위해, 레벨 4에서의 자동 운전이 가능한 구획에서 자동 운전 레벨 4를 이용하여 이동하는 경우가 고려될 수 있다. 인계의 실패로 인해 통상의 사용자가 비상 대피 모드로 이동하는 경우, 도면에 도시되지 않은, 복귀의 실패에 대한 기록과 같은 미리 결정된 프로시저 이후에만 복귀하는 프로시저가 이용된다.

운전자로 하여금 필요 구획에서 수동 운전으로 안전하고 원활하게 복귀하는 것을 가능하게 하는 것에 의해, 자동 운전이 가능한 구획 및 수동 운전이 요구되는 구획 양자 모두를 포함하는 경로를 차량이 정지하지 않고 계속 주행할 수 있는 연속 경로로서 확장하는 것이 가능하다. 또한, 운전자가 운전 조작들에서의 개입으로부터 완전히 이탈하는 것으로부터 방지하고 운전자로 하여금 수동 운전으로 안전하고 원활하게 복귀하는 것을 가능하게 하는 것에 의해 사회적 인프라스트럭처에서의 문제점들을 야기하지 않고 주행 경로 상의 주요 구획들에서 자동 운전 및 그 인계를 구현하는 것이 가능하다.

또한, 수동 운전으로부터 자동 운전으로의 복귀에 대해, 자동 운전으로의 복귀를 운전자에게 통지하기 위한 프로시저를 도입하는 것에 의해, 수동으로 운전하고 있는 운전자가 "차량이 자동 운전에 의해 주행하고 있다(the vehicle is traveling by the automatic driving)"고 부주의하게 오해하고 따라서 부 작업의 실행을 시작하는 것을 방지하고, 수동 운전 모드 동안 오해로 인한 부주의한 사고의 위험들을 감소시키는 것이 가능하다. 다음으로, 이러한 오해를 추가로 방지하기 위해 심지어 통지 이후에도 조종에서의 개입으로부터의 이탈을 표시하는 모드 디스플레이 또는 경보가 추가로 함께 사용될 수 있다.

<자동 운전 제어 처리>

다음으로 차량 제어 시스템(11)에 의해 실행되는 자동 운전 제어 처리가 도 10 내지 도 12의 흐름도를 참조하여 설명될 것이다. 이러한 처리는, 예를 들어, 차량의 전력(점화) 스위치가 턴 온될 때 시작된다는 점에 주목한다.

단계 S1에서, 운전자 모니터링 유닛(26)은 운전자를 인증한다. 구체적으로, 운전자 모니터링 유닛(26)의 운전자 촬영 유닛(101)은 운전자를 촬영한다. 인증 유닛(104)은 이러한 촬영에 의해 획득되는 운전자의 이미지에서의 운전자의 얼굴을 인식한다.

또한, 인증 유닛(104)은, 예를 들어, 저장 유닛(35)에 저장되는 얼굴 이미지들 중에서 운전자의 얼굴과 일치하는 얼굴 이미지를 검색하는 것에 의해 운전자를 특정한다. 예를 들어, 차량을 사용하는 각각의 사용자들의 얼굴 이미지들 및, 식별 정보와 같은, 각각의 사용자들에 관한 정보가 저장 유닛(35)에 의해 함께 링크되고 관리된다.

운전자가 특정될 수 있는 경우, 인증 유닛(104)은 인증이 성공적으로 수행되었다고 결정한다. 운전자가 특정될 수 없는 경우, 인증 유닛(104)은 인증이 실패했다고 결정한다. 인증 유닛(104)은 운전자를 인증한 결과들을 차량 제어 유닛(28)에 공급한다. 지문 인증, 정맥 인증, 또는 홍채 인증과 같은 다른 방식이 운전자를 인증하기 위한 기술로서 대신 사용될 수 있다는 점에 주목한다.

운전자의 인증이 실패한 경우, 차량의 주행이 억제될 수 있다는 점에 주목한다. 이러한 경우, 사용자 등록을 새롭게 수행하도록 보안이 확보되는 환경에서 미리 결정된 조작을 수행하는 것에 의해 운전자가 차량에 의해 주행하도록 허용될 수 있다.

그러나, 사용자를 인증하는 주요 목적은 인증된 운전자의 운전 조작들의 특징들과 운전자의 상태들 사이의 상관들을 추출하고 이러한 상관들에 따라 차량을 제어하는 것이다. 따라서, 인증의 결과들이 반드시 차량의 주행의 허가 또는 억제를 제어하는데 사용되는 것은 아니다. 이러한 방식으로, 예를 들어, 긴급 상황에서 비인증 상태에서의 주행을 허가하는 것이 가능하다. 디스플레이 램프, 차량-대-차량 통신 등을 사용하여 차량이 비인증된 상태에서 주행하고 있다는 사실을 주변이 통지받을 수 있다는 점에 주목한다.

단계 S2에서, 로그 생성 유닛(125)은 로그들의 기록을 시작한다.

단계 S3에서, 차량 제어 유닛(28)은 목적지를 취득한다. 구체적으로, 차량의 승객(반드시 운전자는 아님)은 입력 유닛(24)을 통해 목적지를 입력한다. 입력 유닛(24)은 목적지를 표시하는 취득 정보를 차량 제어 유닛(28)에 공급한다.

인공 지능을 사용하는 사운드 인식의 개발이 미래에 예상될 수 있으므로, 대화형 목적지 설정 또는 주행 선호도 설정이 수행될 수 있다는 점에 주목한다.

단계 S4에서, 차량 제어 시스템(11)은 목적지까지의 가정된 경로 및 구획들을 통한 주행에 영향을 미치는 모든 대응하는 구획들에서 날씨들, 이벤트들 등 뿐만 아니라 진행에 따라 접근 구획들에서의 주변 정보를 취득하기 시작한다.

예를 들어, 주변 촬영 유닛(21)은, 차량 진행 방향 및 주변을 촬영하고, 촬영에 의해 획득되는 주변 이미지를 차량 제어 유닛(28)에 공급하기 시작한다.

주변 정보 취득 유닛(22)은 밀리미터파 레이더, 레이저 레이더, ToF 센서, 소나(sonar), 빗방울 센서, 외부 광 센서, 도로 표면 상태 센서 등으로부터 차량의 주변에서 환경, 객체 등에 관련된 주변 정보를 취득하고 이러한 주변 정보를 차량 제어 유닛(28)에 공급하기 시작한다.

차량 정보 취득 유닛(25)은 차량 정보를 취득하고 차량 정보를 차량 제어 유닛(28)에 공급하기 시작한다.

위치 측정 유닛(23)은 차량의 현재 위치를 측정하고 측정 결과를 차량 제어 유닛(28)에 공급하기 시작한다.

통신 유닛(27)은 ITS 스폿(도시되지 않음)으로부터 LDM(local dynamic map)을 수신하고 이러한 LDM을 차량 제어 유닛(28)에 공급하기 시작한다. 또한, 통신 유닛(27)은 서버(도시하지 않음)로부터 지도 데이터 등을 수신하고 이러한 지도 데이터 등을 차량 제어 유닛(28)에 공급하기 시작한다. 지도 데이터는 사전에 저장 유닛(35)에 저장될 수 있고 차량 제어 유닛(28)은 저장 유닛(35)으로부터 지도 데이터를 취득할 수 있다는 점에 주목한다.

추가로, 통신 유닛(27)은 도로-측 머신(도시되지 않음)으로부터 다양한 종류의 교통 정보를 수신하고 이러한 교통 정보를 차량 제어 유닛(28)에 공급하기 시작한다. 특히, 통신 유닛(27)에 의한 최신 업데이트 정보의 취득은 사전에 취득된 지도 정보로부터 시간에 따라 변경된 위험 변경 포인트들을 업데이트하는 것을 가능하게 한다.

LDM 및 지도 데이터와 같은 지도에 관련된 정보는 다음의 설명에서 집합적으로 지도 정보라고 지칭될 것이라는 점에 주목한다.

주변 모니터링 유닛(121)은 주변 촬영 유닛(21)으로부터의 주변 이미지, 주변 정보 취득 유닛(22)으로부터의 주변 정보, 및 통신 유닛(27)으로부터의 다양한 종류의 정보에 기초하여 차량의 주변을 모니터링하기 시작한다.

경로 설정 유닛(151)은 주변 모니터링 유닛(121)으로부터 취득되는 정보 및 차량 정보 취득 유닛(25)으로부터 공급되는 차량 정보에 포함되는 차량의 가속도, 각속도 등에 기초하여 필요에 따라 차량의 현재 위치를 정정한다. 이러한 방식으로, 예를 들어, 지도 정보에서의 일시적 변경들이 반영되지 않은 정보 및 위치 측정 유닛(23)에 의해 수행되는 검출, 결정 등에서의 에러들로 인한 차량의 추정된 현재 위치의 에러가 정정된다.

단계 S5에서, 경로 설정 유닛(151)은 주행 경로를 설정하기 시작한다. 구체적으로, 경로 설정 유닛(151)은 지도 정보에 기초하여 운전자의 운전 능력 등을 고려하여 현재 위치 또는 지정된 위치로부터 목적지까지의 주행 경로를 설정한다. 또한, 경로 설정 유닛(151)은 시간대(time zone), 목적지에 도달하기 이전의 날씨, 교통 체증들, 및 교통 규제와 같은 정보에 기초하여 필요에 따라 주행 경로를 변경하거나 또는 경로 옵션들을 제시한다.

단계 S6에서, 자동화 레벨 설정 유닛(152)은 자동화 레벨들을 업데이트하기 시작한다.

구체적으로, 자동화 레벨 설정 유닛(152)은 지도 정보, 주변 정보 등에 기초하여 주행 경로 상에 허용가능한 자동화 레벨들(이하, 허용가능한 자동화 레벨들이라고 지칭됨)의 분포를 설정한다.

여기서, 각각의 허용가능한 자동화 레벨들은 타겟 구획에 대해 설정될 수 있는 자동화 레벨의 최대 값을 표시한다. 예를 들어, 차량은 3 이하로 자동화 레벨을 설정하면서 레벨 3에서 설정되는 허용가능한 자동화 레벨의 구획을 통해 주행할 수 있다.

예를 들어, 자동화 레벨 설정 유닛(152)은 주행 경로 상의 허용가능한 자동화 레벨들의 분포를 지도 정보 등 상에 표시되는 디폴트 값으로서 설정한다. 또한, 자동화 레벨 설정 유닛(152)은, 지도 정보 및 주변 정보로부터 획득되는 날씨, 도로 상태들, 사고들, 공사들, 및 교통 규제와 같은, 주행 경로 및 주변 환경에 관련된 정보에 기초하여 필요에 따라 주행 경로 상의 허용가능한 자동화 레벨들의 분포를 업데이트한다.

또한, 도로 표면들 상의 도로 스터드들, 페인트들, 및 연석들과 같은, 도로들 상의 구획 라인들, 및 심볼들 및 문자들과 같은 도로 표시를 누적된 눈, 홍수 등으로 인해 인식하기 곤란한 구획에서는 허용가능한 자동화 레벨이 원래 레벨 3으로부터 레벨 2로 낮아질 수 있거나, 또는 LKAS의 사용이 억제될 수 있다.

주행 변경의 시작 이후의 각각의 구획에서의 상황들은 누적된 비를 동반하는 백색 라인들의 은닉 및 도로 표면들에 의한 역광 반사와 같은 다양한 상황들 하에 모든 순간 변경된다. 특히, 운전자가 연속 자동 운전에 의해 통과될 것으로 예상되는 구획의 일부분에서 운전으로 복귀하도록 요구받는 것으로 인한 변경들을 운전자가 알게 하고, 부 작업의 실행을 이전에 제한하는 것이 필요하다.

또한, 화재에 의해 생성되는 연기, 조밀한 안개 등으로 인한 불만족스러운 시야의 구획에서는 허용가능한 자동화 레벨이 원래 레벨 3으로부터 레벨 2로 낮아질 수 있거나, 또는 최대 속도가 제한될 수 있다.

사고가 발생했거나 또는 하강 객체가 검출된 구획에서는 허용가능한 자동화 레벨이 레벨 1 또는 0으로 낮아진다.

예를 들어, 도로 표면들이 동결된 구획에서는 또는 강한 측풍이 부는 다리 상에서는 제한 속도가 낮아지거나, 또는 허용가능한 자동화 레벨이 레벨 1 또는 0으로 낮아진다.

자동화 레벨 설정 유닛(152)은 이러한 제한에 기초하여 필요에 따라 주행 경로 상의 허용가능한 자동화 레벨들의 분포를 업데이트한다.

단계 S7에서, 차량 제어 시스템(11)은 운전자를 모니터링하기 시작한다.

구체적으로, 운전자 모니터링 유닛(26)의 운전자 촬영 유닛(101)은 운전자를 촬영하고 촬영에 의해 획득되는 운전자의 이미지를 차량 제어 유닛(28)에 공급하기 시작한다.

생체 정보 취득 유닛(102)은 운전자의 생체 정보를 취득하고 이러한 생체 정보를 차량 제어 유닛(28)에 공급하기 시작한다.

시선 검출 유닛(103)은 안구 분석에 특화된 블록일 수 있고, 운전자의 얼굴의 배향, 시선의 배향, 깜박임, 및 안구들의 움직임(예를 들어, 시각적 고정, 단속성 운동 등)을 검출하고 이러한 각각의 정보 항목들을 포함하는 검출 결과를 차량 제어 유닛(28)에 공급하기 시작한다.

운전 거동 분석 유닛(141)은 운전자의 이미지, 차량 정보, 및 학습 유닛(126)에 의해 수행되는 학습의 결과들에 기초하여 운전자의 운전 거동들을 분석하기 시작한다.

운전 상태 검출 유닛(142)은 운전자의 이미지, 운전자의 생체 정보, 시선 검출 유닛(103)에 의해 수행되는 결과 검출, 인증 유닛(104)에 의해 수행되는 인증의 결과들, 학습 유닛(126)에 의해 수행되는 학습의 결과들 등에 기초하여 운전자의 상태를 검출하기 시작한다.

예를 들어, 운전 상태 검출 유닛(142)은 운전자의 자세, 액션 등을 검출하기 시작한다.

또한, 운전 상태 검출 유닛(142)은, 예를 들어, 운전자의 반응성 및 각성의 정도를 검출한다. 운전자의 반응성 및 각성의 정도를 검출한 결과들은 운전 상태 검출 유닛(142)으로부터 전환 결정 유닛(155)에 공급된다.

전환 결정 유닛(155)은 자동 운전 모드로부터 수동 운전 모드로의 전환할 필요성이 존재할 때 이러한 검출 결과들 중 적어도 하나에 기초하여 자동 운전 모드로부터 수동 운전 모드로의 전환을 결정한다. 자동 운전 모드로부터 수동 운전 모드로의 전환의 결정은 운전 모드들 사이의 전환에 대한 운전자에게로의 통지 이후에 수행된다.

여기서, 운전자의 반응성은 외부로부터의 요청, 명령어, 및 자극, 차량 진행 방향에서의 방해물에 대한 운전자의 반응의 존재, 반응 속도, 이러한 반응이 얼마나 적절한지 등에 기초하여 정의된다. 운전자의 반응성은, 운전자의 각성의 정도가 낮아진 경우 외에도 운전자가 운전에 주의를 환기하지 않는 경우, 운전자가 의도적으로 반응하지 않는 경우 등에서 악화된다.

운전자의 반응성 및 각성의 정도를 검출하는 방법의 예들은 수동 모니터링 및 능동 모니터링을 포함한다.

수동 모니터링에서, 운전자의 반응성 및 각성의 정도는 운전자의 상태를 수동적으로 검출하는 것에 의해 검출된다.

예를 들어, 운전자의 반응성 및 각성의 정도는 얼굴의 배향의 천이, 시선의 배향의 천이, 깜박임의 빈도, 및 안구 움직임의 천이와 같은 운전자의 움직임에 기초하여 검출된다. 예를 들어, 주변 촬영 유닛(21), 주변 정보 취득 유닛(22) 등에 의해 획득되는 실제 공간에서의 시야 정보와 상관되는 타겟에 대한 시선의 이동, 시각적 고정 등이 관찰되고, 그 결과에 기초하여, 운전자에 특정한 학습된 안구 거동들을 참조하여 운전자의 반응성 및 각성의 정도가 검출된다.

예를 들어, 운전자의 심박수 및 체취와 같은 생체 정보에 기초하여 운전자의 각성의 정도가 검출된다.

예를 들어, 시간에 따라 운전자의, 스티어링 휠의 조종 안정성 및 조작 속도, 및 가속기 페달 및 브레이크 페달의 조작 안정성, 조작 속도들 등과 같은, 운전 조작들에서의 천이를 관찰하는 것에 의해 반응성 및 각성의 정도에서의 변경들이 검출된다. 운전자의 이러한 반응들은 각각의 운전자에 특정한 특성들을 가지므로, 운전자의 상황들에 따른 특성들이 학습될 수 있고, 이러한 학습의 결과들에 기초하여 운전자의 반응성 및 각성의 정도가 검출될 수 있다는 점에 주목한다.

예를 들어, 운전자가 자고 있거나 또는 부 작업을 실행하고 있고 운전자에게 운전으로 복귀하라고 재촉할 필요가 없는 상황에 있는 경우, 운전자를 귀찮게하지 않기 위해 수동 모니터링에 의해 검출이 수행될 수 있다. 또한, 방출된 적외선 광선들 또는 다른 전자기파들의 반사 신호들로부터의 준-수동 모니터링이 수행될 수 있다. 그러나, 이러한 완전한 수동 스킴 또는 준-수동 스킴에서, 운전자의 응답 반응은 직접 관찰되지 않고, 검출의 결과들의 신뢰성은 열악하다.

ToF 카메라에 의해 또는 시선의 인식을 위해 사용되는 적외선 광이 투영되는 경우, 전술된 준-수동 스킴이 원래는 능동 스킴에 대응한다. 그러나, 이것은 아래 설명될 운전자의 응답 반응이 관찰되는 능동 스킴으로부터 이를 구별하기 위해 본 명세서에서 준-수동 모니터링으로서 설명될 것이다.

능동 모니터링에서는, 운전자에게 시각적, 청각적, 또는 촉각적 자극, 명령어 등을 주고 주어진 자극, 명령어 등에 응답하여 운전자의 반응(응답)을 관찰하는 것에 의해 운전자의 반응성 및 각성의 정도가 검출된다.

능동 모니터링은, 예를 들어, 수동 모니터링에 의해 운전자의 반응성 및 각성의 정도를 검출하는 것이 곤란한 경우에 또는 검출의 빈도가 증가되는 경우에 사용된다.

예를 들어, 자동화 레벨이 3 이상이 되면 주행 조작 디바이스에서의 운전자의 개입이 완전히 중단되는 경우가 존재하고, 이러한 경우, 주행 조작 디바이스의 조작 상황들이 모니터링되더라도 조종 디바이스의 조작 상황들로부터 운전자의 반응을 검출하는 것은 더 이상 가능하지 않다. 능동 모니터링은 심지어 이러한 상태에서도 운전자의 상태의 확실한 확인을 가능하게 하기에 효과적인 방식이다. 즉, 능동 모니터링은 수동 모니터링을 보상하는 기능을 갖는다. 또한, 능동 모니터링은, 예를 들어, 자극을 주는 것에 의해 운전자를 각성시키는데 사용된다.

운전자의 반응성 및 각성의 정도의 검출은 수동 운전 모드로의 전환에 대한 운전자에게로의 통지 이후에 수행될 수 있거나 또는 주행 조작 디바이스를 사용하는 것에 의한 정정 조작이 존재할 때 수행될 수 있다는 점에 주목한다.

운전 상태 검출 유닛(142)은, 디스플레이 유닛(29)이 운전자의 시야에 짧은 단어 또는 숫자를 디스플레이하여 운전자에게 이러한 단어 또는 숫자를 큰 소리로 판독하라고 촉구하거나, 또는 단순한 수식을 디스플레이하여 운전자에게 계산 결과를 발음하라고 촉구하게 되도록 디스플레이 유닛(29)을 제어하는 것에 의해 운전자의 각성의 정도를 검출할 수 있다.

또한, 운전 상태 검출 유닛(142)은 디스플레이 유닛(29)이 운전자의 시야에 있는 시선의 목적지가 되는 준-타겟을 디스플레이하게 되도록 디스플레이 유닛(29)을 제어하고 운전자의 시선의 움직임을 추적하는 것에 의해 운전자의 반응성 및 각성의 정도를 검출한다. 운전자의 내부 각성 상태는 운전자의 안구 거동들을 분석하는 것에 의해 주행 동안 시야에 진입하는 시야에 관하여 운전자의 단속성 운동의 발생, 시각적 고정의 경미한 이동, 및 드리프팅과 같은 거동들 및 액션들의 관찰로부터 상세히 분석될 수 있다는 점에 주목한다.

운전 상태 검출 유닛(142)은, 사운드 출력 유닛(30)이 단순한 명령어(예를 들어, 자신의 헤드를 횡방향으로 흔드는 것)를 운전자에게 출력하도록 사운드 출력 유닛(30)을 제어하고 이러한 명령어에 응답하여 운전자의 반응을 관찰하는 것에 의해 운전자의 반응성 및 각성의 정도를 검출한다.

운전 보조 제어 유닛(153)은, 차량이 안전성이 확보될 수 있는 범위 내에서 부자연스럽게 주행하게 되도록 운전 상태 검출 유닛(142)으로부터의 명령어에 따라 주행 제어 유닛(33)을 제어한다. 다음으로, 운전 상태 검출 유닛(142)은 부자연스러운 주행 또는 조작 반응에 응답하여 주행을 보정하려는 운전자의 조종에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다.

차량의 부자연스러운 주행에 대한 운전자의 반응들에 기초하여 운전자의 반응성 및 각성의 정도를 검출하는 처리는 도 3을 참조하여 위에 설명된 주행 제어 유닛(33), 운전 상태 검출 유닛(142), 및 운전 보조 제어 유닛(153)에 의해 수행되는 전술된 처리와 유사하고, 수정예들이 아래에 설명될 것이라는 점에 주목한다.

- 수정예 1

부자연스러운 주행으로서, 교통 차선에 대해 좌-우 방향으로 진로를 흔드는 것과 같은, 오프셋의 적용이 예시된다. 그러나, 부자연스러운 주행이 좌-우 방향으로 차량 진로를 흔드는 이러한 타입의 오프셋의 적용에 제한되는 것은 아니고, 예상된 것보다 전방 자동차로부터 차량-대-차량 거리를 확장하기 위한 명령어(감속 조종)가 제공될 수 있다. 운전 상태 검출 유닛(142)은 운전자가 이러한 명령어에 응답하여 정정을 위해 가속기 페달을 밟는 액션을 취하는지 여부를 평가한다. 또한, 운전자의 상태는 깜박임의 빈도를 검출하는 것, 운전자가 그들의 눈들을 감은 상태의 검출, 전-후 방향으로 머리를 흔드는 것의 검출 등에 의해 평가될 수 있다.

차량이 안전성이 확보될 수 있는 범위 내에서 부자연스럽게 주행하게 되는 한 편차가 있는 임의의 타입의 주행 또는 감각만이 적용될 수 있고, 다른 타입의 능동적 반응이 적용될 수 있다.

- 수정예 2

예를 들어, 스티어링 휠 조작이 수행되지 않는 경우, 주행 제어 유닛(33)은 휠들의 방향을 변경하는 것 또는 스티어링 휠을 돌리지 않고 휠들에 수평으로 불균형인 브레이킹 부하를 추가하는 것에 의해 차량으로 하여금 미리 결정된 기간의 시간 동안 사행(meander)하게 한다. 이러한 경우, 운전 상태 검출 유닛(142)은 운전자가 스티어링 휠을 조작하여 사행, 반응 속도 등을 정정하는지 여부에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다.

차량으로 하여금 사행하게 하는 양은 운전자가 사행을 무의식적으로 정정할 수 있는 범위 내에 있는 것이 바람직하다는 점에 주목한다.

- 수정예 3

차량-내 디바이스 제어 유닛(34)은 차량이 정상적으로 주행하는 경우에 차량이 스티어링 휠에 대해 사행하는 경우에 대응하는 준-회전 부하를 적용한다. 이러한 경우, 운전 상태 검출 유닛(142)은 운전자가 스티어링 휠을 조작하여 회전을 정지하는지 여부, 반응 속도 등에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다.

- 수정예 4

운전자가 반응하지 않고 따라서 사행 운전이 계속되는 경우, 뒤따르는 자동차와 같은 외부는, 통신 유닛(27) 등을 통해 운전자의 반응성, 각성의 정도 등에서의 감소에 기초하여, 이상이 발생했다는 사실을 통지받을 수 있다.

- 수정예 5

주행 제어 유닛(33)은 차량이 미리 결정된 기간의 시간 동안 교통 차선으로부터 약간 벗어나게 되는 방향으로 차량 진행 방향을 변경한다. 운전자가 전방 측에 정상적인 주의를 환기하는 경우, 운전자는 이러한 경우에 차량의 방향을 정정하는 조종을 수행할 것으로 예상된다. 그러나, 차량 진행 방향이 무조건 변경되면 주변 차량들과의 위치 관계에 의존하여 위험 상태가 발생할 가능성이 존재한다. 또한, 뒤따르는 자동차가 추종 주행을 수행하고 있는 가능성이 존재한다.

따라서, 주변 차량들의 상태들 및 운전자에 대한 심리적 효과들과 같은 상황들을 집합적으로 결정하는 것에 의해, 검출이 주변 차량들에 부정적으로 영향을 미치지 않는 범위 내에서 반응성 및 각성의 정도의 검출이 수행되는 것이 바람직하다.

- 수정예 6

운전 보조 제어 유닛(153)은, ACC가 유효인 경우 통상의 시간에 설정되는 것보다 더 길게 선행 자동차까지의 차량-대-차량 거리를 설정한다. 이러한 경우, 운전 상태 검출 유닛(142)은, 운전자가 가속기 페달을 조작하여 차량-대-차량 거리를 통상의 시간에서의 길이로 복귀시키는지 여부 및 반응 속도에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다.

- 수정예 7

주행 제어 유닛(33)은, 차량 진행 방향에서의 변경의 양을, 스티어링 휠의 조종 양에 관하여 통상의 양 보다 크게 또는 작게 설정한다. 이러한 경우, 운전 상태 검출 유닛(142)은 진행 방향을 원하는 방향으로 조정하도록 운전자가 스티어링 휠을 조작하는지 여부 및 반응 속도에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다.

통상의 시간에서의 변경의 양과 이러한 경우에서의 차량 진행 방향에서의 변경의 양 사이의 차이는 운전자가 무의식적으로 진행 방향을 정정할 수 있는 범위 내의 양인 것이 바람직하다는 점에 주목한다.

또한, 예를 들어, 차량이 좌-우 방향으로 이동하도록 제어되고 운전자의 응답 반응이 다음으로 관찰되는 예가 또한 존재하더라도, 수정예에서 능동적 응답 반응을 체킹하기 위해 차량의 제어에 노이즈를 직접 적용하지 않고 스티어링 휠에 준-회전 토크를 적용하거나 또는 VR을 사용하여 광 착각에 의한 안내가 수행될 수 있다. 추가로, 사운드 등을 사용하는 특정 토크 응답 요청에 응답하여, 운전자가, 스티어링 휠을 회전하거나 또는 스티어링 휠을 전-후 방향으로 밀거나 또는 당기는 조종과 같은, 정의된 액션을 수행하는 것을 허용하는 것에 의해 응답이 체킹될 수 있다.

- 수정예 8

주행 제어 유닛(33)은 가속기 페달을 밟는 양에 관하여 통상의 가속보다 크게 또는 작게 차량의 가속도를 설정한다. 이러한 경우, 운전 상태 검출 유닛(142)은 운전자가 가속기 페달을 조작하여 원하는 속도로 차량의 속도를 조정하는지 여부 및 반응 속도에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다.

통상의 시간에서의 가속도와 이러한 경우에서의 차량의 가속도 사이의 차이는 운전자가 무의식적으로 가속도를 정정할 수 있는 범위 내인 것이 바람직하다는 점에 주목한다.

- 수정예 9

주행 제어 유닛(33)은 브레이크 페달을 밟는 양에 관하여 통상의 감속보다 크게 또는 작게 차량의 감속을 설정한다. 이러한 경우, 운전 상태 검출 유닛(142)은 운전자가 브레이크 페달을 조작하여 원하는 속도로 차량의 속도를 조정하는지 여부 및 반응 속도에 기초하여 운전자의 반응성 및 각성의 정도를 검출한다.

통상의 시간에서의 감속과 이러한 경우에서의 차량의 감속 사이의 차이는 운전자가 무의식적으로 감속을 정정할 수 있는 범위 내인 것이 바람직하다는 점에 주목한다.

- 수정예 10

자동 운전이 수행되므로 운전자가 운전에 개입할 필요가 없는 경우, 운전자는 부 작업으로서 이동 단말(12)(정보 처리 장치)을 조작할 수 있다.

운전자가 이동 단말(12)을 조작할 때, 운전 상태 검출 유닛(142)은 이동 단말(12)로 하여금, 운전자에게 명령어를 제시하기 위한, 서브-윈도우를 통신 유닛(27)을 통해 그 스크린 상에 디스플레이하게 한다. 다음으로, 운전 상태 검출 유닛(142)은, 운전자가 명령어에 의해 요구되는 바와 같이 정상적으로 반응하는지 여부, 반응 속도 등에 기초하여, 운전자의 반응성 및 각성의 정도를 검출한다. 운전자의 응답의 표시들의 예들은, 예를 들어, 차량의 진행 동안 미리 결정된 위치에서 이벤트를 체킹하기 위한 디스플레이 및 진로 마커에 응답하여 운전자가 이벤트를 아는 점을 표시하도록 미리 결정된 포인트에 전송되는 사인으로서, 디스플레이 패널 상의 이중 터치 조작 또는 체킹 마크를 입력하는 액션과 같은 다른 조작을 포함한다.

- 효과들

예를 들어, 운전자가 전방 측을 보더라도 운전자가 그 밖의 무언가 등을 생각하므로 운전에 대한 주의가 감소된 경우, 일부 경우들에서 수동 모니터링에 의해서만 운전자의 반응성 및 각성의 정도를 검출하는 것은 곤란하다. 능동 모니터링을 사용하는 것은 통지에 응답하여 운전자의 지각 응답 반응의 형태인 관찰을 가능하게 하고, 반응성 및 각성의 정도를 검출하는 정확성에서의 개선을 가능하게 한다. 사용자로서의 운전자가 부 작업에 일반적으로 넓게 집중을 하고, 수동 운전으로 복귀할 필요가 있는 빈도가 자동 운전의 분포로 감소하면, 운전으로 완전히 복귀할 감각적 필요성이 자발적으로 감소한다. 그러나, 운전자는, 전방 측이 필요한 시간에 포인팅 및 체킹을 통해 체킹되고, 안구 거동들이 추가로 체킹되고, 후속하여, 실제 디바이스 상에서 수행되는 조종 액션들의 신뢰성이 능동적으로 체킹되는, 본 기술의 실시예에 의해 구현되는 직관적인 액션에 의해 인계를 매끄럽게 그리고 주체적으로 수행하므로, 운전자는 안전성이 보장되고 번거로움들이 더 적은 상태로 자동 운전으로부터 수동 운전으로의 인계를 수행할 수 있다.

전술된 운전자의 상태 뿐만 아니라, 의식 상태, 정신 상태, 긴장 상태, 및 약물 영향 정도와 같은, 다른 타입들의 상태들이 검출될 수 있다는 점에 주목한다.

도 10의 설명으로 복귀하여, 학습 유닛(126)은 단계 S8에서 학습 처리를 시작한다.

예를 들어, 학습 유닛(126)은, 운전 거동 분석 유닛(141)에 의해 수행되는 분석의 결과들에 기초하여 운전자의 운전 능력과, 운전자의, 검출 및 관찰될 수 있는, 다양한 종류들의 상태들 또는 거동들 사이의 상관을 학습하기 시작할 수 있다.

예를 들어, 학습 유닛(126)은 운전자가 수동 운전을 정상적으로 수행할 때의 생체 정보, 운전자의 움직임, 및 운전자의 운전 조작들의 경향을 학습하기 시작한다. 예를 들어, 차량이 교통 차선의 중심에서 안정적으로 주행할 때, 차량이 정지 신호 등에서 안정적으로 정지할 때, 그리고 운전자가 커브에서 적절하게 감속할 때 운전자가 수동 운전을 정상적으로 수행하고 있다고 검출된다.

이러한 학습은 운전자가 수동 운전을 정상적으로 수행할 때의 운전자의 시선의 거동들, 머리의 자세, 신체의 자세, 맥박 파형, 호흡 상태, 및 외부 광에 대한 동공 반응과 같은 운전자에 특정한 특성들과 정상 운전 특성들 사이의 상관들이 일상적으로 학습되는 방식으로 수행된다. 또한, 학습 유닛(126)으로 하여금 운전자가 수동 운전으로의 인계를 정상적으로 수행할 수 있을 때 취득되는 관찰가능 정보에 기초하여 정상 인계가 수행될 수 있는 때의 관찰가능 정보에 대한 교사 데이터로서 운전자의 특성들을 학습하게 하는 것에 의해 그리고 이러한 학습의 결과들을 사용하여 수동 모니터링의 정확성을 개선하는 것이 가능하다.

학습 유닛(126)은 정상 시간을 비정상 시간과 구별하는 것이 가능하도록 능동 모니터링에 응답하여 운전자의 반응 특성들을 학습하기 시작한다. 이러한 학습 결과를 사용하는 것은 능동 모니터링의 정확성에서의 개선을 가능하게 한다.

전술된 학습에 대해 간단한 상관 학습, CNN(convolutional neural network)을 사용하는 복잡한 인공 지능 학습, 지원 벡터 머신, 부스팅, 및 신경망과 같은 임의의 학습 방법이 사용될 수 있다는 점에 주목한다.

이러한 방식으로, 각각의 상태에 따른 운전자에 특정한 특성들을 학습하는 것에 의해, 각각의 상태들에 따른 학습을 통해 운전자의 상태(예를 들어, 운전자의 건강 상태 및 피로 정도, 과거에 사고 또는 불안전한 사건 경험으로 인한 특정 이벤트에 응답하여 과도한 주의 또는 민감한 응답 반응 등)에 기초하여 운전자의 운전 능력을 정확하게 검출하는 것이 가능하다.

다음으로, 학습 유닛(126)은 저장 유닛(35)으로 하여금 학습의 결과들을 저장하게 한다. 학습의 결과들은 재사용을 위해 사용되는 차량에 뿐만 아니라, 대여 자동차와 같은 다른 차량에서 결과가 이용될 수 있도록, 차량과는 별도로, 전자 키, 원격 서버 등에 또한 저장될 수 있다는 점에 주목한다. 또한, 이전 사용 시에 획득된 학습의 결과가 운전자가 반복적으로 사용하는 차량에서 취해질 수 있고, 그 노후화가 결정될 수 있고, 안전성 마진이 추가되는, 이전 사용까지 획득되는, 학습 사전이 결정을 위한 초기 데이터로서 이용될 수 있다. 운전자가 특정 기간의 시간 동안 차량을 운전하지 않으면 응답 특성들이 변경되므로 사용 이력 뿐만 아니라 사용 이력에서의 업데이트 및 비어 있는 기간들에 따라 안전성 계수들을 추가하는 것에 의해 학습된 특성들이 결정될 수 있다는 점에 주목한다.

단계 S9에서, 운전 보조 제어 유닛(153)은 운전 보조를 시작한다. 즉, 운전 보조 제어 유닛(153)은, 현재 자동화 레벨에 따라 주행 제어 유닛(33)을 제어하는 것에 의해, 예를 들어, 주행 제어 유닛(33)의 일부분으로서, ACC, LKAS, TJA, 및 AEBS와 같은, 보조 운전의 처리를 시작한다.

단계 S10(도 11)에서, 운전 보조 제어 유닛(153)은 현재 자동화 레벨에 따라 주행 제어 유닛(33)을 제어하는 것에 의해 연속 주행을 수행한다.

단계 S11에서, 운전 모드 전환 제어 유닛(154)은, 주행 경로 상의 현재 주행 중인 경로 상에서, 차량이 후속적으로 주행하는, 다음 접근 구획에서 통신 유닛(27)이 LDM을 업데이트하게 되도록 통신 유닛(27)을 제어한다.

단계 S12에서, 운전 모드 전환 제어 유닛(154)은 LDM 및 운전자의 상태를 체킹한다. 여기서 체킹되는 운전자의 상태는 부 작업의 운전자의 실행 상황 및 운전자의 반응성 및 각성의 정도 중 적어도 하나를 포함한다. 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과들에 기초하여 운전자의 반응성 및 각성의 정도가 체킹된다는 점에 주목한다.

운전자의 상태를 모니터링하는 빈도는 도로 정보가 취득되는 빈도로부터 그리고 이전에 판독된 거리를 설정하는 것에 의해 획득된다는 점에 주목한다. 이전에 판독된 거리의 설정은 도로 정보를 이전에 판독하는 것에 대해 차량이 통과하기 이전의 거리를 설정하는 것이다.

여기서, 운전자의 각성의 정도가 낮아졌다면, 차량이, 충분한 시간인, 수 분 내에 도달할 위치에서의 가장 가까운 대피 포인트가 검색된다. 한편, 운전자의 각성의 정도가 낮아지지 않았다면, 운전자가 짧은 기간의 시간 내에 긴급 이벤트에 대처한다고 예상하는 것이 가능하다. 따라서, 이전에 판독된 거리에 대응하는 최신 업데이트 정보를 취득하는 것이 필요하고, 그 동안 차량은 최소로 약 30초 동안 짧은-기간 인계 동안 필요한 최소 시간 내에 주행할 수 있다. 이전 판독에 대한 스폿이 과도하게 앞에 위치되고, 차량이 (중간 정보의 어떠한 보간도 없이) (이전에 판독된) 스폿에 도달할 때까지의 간격이 과도하게 길고, (스폿까지) 중간 정보의 결핍이 존재하면, 그 시간 동안 발생할 수 있는 위험 이벤트가 누락될 수 있다. 따라서, 부 작업 및 각성 상태를 실행하는 운전자의 상황들과 같은 상황들에 따라 가변 방식으로 필요에 따라 중간 포인트들을 보간하고 취득하고 이전 판독을 실행하는 것이 바람직하다.

큰 비, 누적된 눈 등으로 인해 도로 마킹을 누락하는 상실 위험이 존재하면, 일시적 변경의 보다 상세한 모니터링을 수행하는 것이 필요하다.

운전자의 각성의 정도가 체킹되는 빈도, 체킹 포인트들, 의식 경보, 이전 정보 등이 능동적으로 업데이트된다.

이러한 방식으로, 차량이 교통 체증 등으로 인해 거의 진행하지 않는 상황에서 스폿을 참조하여 통지가 제공되면, 그렇지 않고 높은 일상적 순항 속도로 차량이 차후 수 분 주행하는 것을 예상하는 것에 의해 통지 이전에 수 킬로미터에 대응하는 스폿에서 수동 운전으로의 복귀를 시작하기 위한 통지가 제공되면, 능동 조정이 도로 수송 상황들 및 운전자의 상황들에 따라 수행되지 않는 경우, 예를 들어, 운전자가 각성 상태로 복귀하는 포인트가 스폿 설정에 의해 정의되면, 결과로서 스폿을 통과하기 이전에 과도하게 이른 단계에 통지가 제공된다. 그러나, 위에 설명된 바와 같이 운전자의 상태 및 도로의 환경 정보를 일정하게 모니터링하고 결정하는 것에 의해, 운전자가 운전으로 복귀하는데 필요한 추정 시간에 관한 그리고 현재 시간에 추정되는 도로 상의 평균 흐름 속도에 대한 정보로부터, 스폿이 통과되는 시간의 예측으로부터 그리고 복귀하는데 필요한 예측 시간으로부터 복귀를 시작하기에 최적인 스폿을 계산하는 것이 가능하다. 또한, 운전자의 상태의 일상적 모니터링이 일정하게 반복되므로, 차량 제어 시스템(11)은 준비 상황을 유지할 수 있고 심지어 인계 포인트 이전의 위치에 관계없이 예상되지 않은 이벤트가 발생하는 경우에도 복귀하는데 필요한 시간을 일정하게 예측할 수 있다. 예를 들어, 운전자가 선잠을 취하는 것과 같은 부 작업으로부터 복귀하도록 요구되는 스케줄링된 각성 타이밍을 포함하는 운전자의 상태가 일정하게 관찰될 수 있으므로 심지어 긴급 시간에도 최상의 각성 경보를 발행하는 것이 가능하다.

여기서, 시간이 경과하면 주행 경로 및 운전자의 상황에서의 변경으로 인해 차량이 주행할 수 있는 최고 자동화 레벨이 변경될 가능성이 존재한다. 운전 모드 전환 제어 유닛(154)이 주행 동안 새로운 정보를 취득하고, 계속해서 주행 경로의 최신 업데이트 LDM 및 운전자의 상태를 일정하게 계속 모니터링할 필요가 있다.

도 13은 LDM 데이터의 업데이트의 예를 도시하는 도면이다.

도 13에서의 예에서, 시작(주행 경로 선택) 포인트에서의 이상적인 LDM 데이터가 도시된다. 도 13에서, 구획들, 이러한 구획들에 대해 설정되는 허용가능한 자동화 레벨들, 및 구획들 각각에 대해 일상적으로 설정되는, 부 작업의 실행 가용성이 상부 측으로부터의 순서로 도시되고, 이러한 도시 아래에, 짧은 기간의 시간 동안 일시적으로 설정되는(짧은-기간 제한이라고 또한 지칭됨), 부 작업의 실행 가용성이 도시된다.

짧은-기간 제한은, 통지 제어 유닛(124)으로부터 통지가 발행되는 경우에 운전자가 운전으로 복귀하기를 신속하게 시작할 수 있는 상태들에 대한 부 작업들의 제한이라는 점, 및 그 범위는 부 작업들의 어떠한 이용 형태에서도 주의의 상실을 야기하지 않는 범위로 제한된다는 점에 주목한다.

제2 작업의 실행 가용성은, 각성이 있는 자세 내 OK, 각성이 있는 자세 내 NG, 각성이 있는 자세 외 OK, 각성이 있는 자세 외 OK, 각성이 있는 자세외 NG, (각성의 정도에 의존하지 않는) 자세 내외 OK, 및 자세 내외 NG의 상태들로서 평가된다.

각성이 있는 자세 내 OK(자세 내 OK)로서 설정되는 구획은, 운전자의 착석 자세가, 운전자가 수동 운전으로 즉시 복귀할 수 있는 착석 자세로서 정의되는 범위 내의 자세인 구획이고 운전자가 각성이면 차량이 자동 운전 모드에서 주행할 수 있는 구획이다.

즉, 각성이 있는 자세 내 OK로서 설정되는 이러한 구획은, 특히 예상되지 않은 이벤트가 발생하지 않으면, 문제점들 없이 자동 운전에 의해 통과될 수 있는 구획이다. 따라서, 그 일상적 사용은 레벨 3 이상에서의 구획에서 사용될 수 있고, 짧은 기간의 시간 동안 자동 운전을 사용하는 짧은-기간 제한된 부 작업 실행은 심지어 레벨 2에서의 구획에서 조작적으로 허가될 수 있다. 실제 적용은 차량의 특성들 및 타겟 안전성에 의존한다. 짧은-기간 제한된 부 작업 실행의 가능한 타겟들은, 전방 측에 주의를 환기하는데 실패함을 야기할 수 있는, 내비게이션 스크린의 일시적 체킹, 조작 등일 수 있다.

각성이 있는 자세 내 NG(자세 내 NG)로서 설정되는 구획은, 운전자의 착석 자세가 운전자가 수동 운전으로 복귀할 수 있는 착석 자세로서 정의되는 범위 내의 자세이더라도 부 작업이 자동 운전 동안 수행될 수 없는 구획이다.

레벨 1까지의 자동 운전의 이용만이 허가되는 구획에서, 자동 운전 레벨이 제한된다. 또한, 운전자가 주행 동안 내비게이션을 조작하거나 또는 주행 동안 일부 형태로 전방 측에 주의를 환기하는데 실패하는 경우에 위험을 야기할 위험이 존재하므로, 이것은 자동 운전을 동반하는 어떠한 부 작업의 실행도 추천되지 않는 구획에 대응한다.

각성이 있는 자세 외 OK(자세 외 OK)로서 설정되는 구획은, 운전자의 착석 자세가 운전자가 수동 운전으로 복귀할 수 있는 착석 자세로서 정의되는 범위 외 자세이더라도 차량이 레벨 3 이상에서의 자동 운전에 의해 주행할 수 있는 구획이고, 자동 운전 모드에서 레벨 3 허용가능 주행 구획을 통해 주행하는 동안 짧은-기간의 시간 동안 운전자가 부 작업을 일시적으로 실행할 수 있는 구획이다.

각성이 있는 자세 외 NG(자세 외 NG)로서 설정되는 구획은, 운전자의 착석 자세가, 운전자가 수동 운전으로 즉시 복귀할 수 있는, 자세로서 정의되는 범위 외 자세인 경우에 운전자가 운전으로 복귀하기 위해 필요한 충분한 각성의 정도를 운전자가 유지하더라도, 운전자가 이러한 이탈 자세에 있으면 자동 운전이 허가되지 않는 구획이다.

즉, 이러한 것은 레벨 3이 허용가능한 구획에서 좌석을 떠나면서 부 작업의 일상적 조작들을 수행하는 것이 습관화되는 구획이다.

자세 내외 OK로서 설정되는 구획은, LDM 등의 업데이트가 브레이크 없이 정상적으로 취득되어, 수동 운전으로의 복귀가 요구되지 않고, 안전성이 확인되므로, 운전자의 상태에 관계없이, 레벨 4에 대응하는 자동 운전 동안 부 작업이 실행될 수 있는 구획이다.

자세 내외 NG로 설정되는 구획은, 레벨 0 또는 1에서 통과할 필요가 있는, 위험을 자동 운전에 의해 동반하는 것을 통해, 통과하는 도로 구획이고, 일부 이유로 LDM 등이 일시적으로 업데이트되지 않거나 또는 안전성이 일시적으로 일시적으로 확인되지 않으므로, 심지어, 레벨 4에서 통상적으로 통과될 수 있는, 도로 상에서도 운전자의 상태에 관계없이 자동 운전이 허가되지 않는 구획이다.

통상의 자동 운전이 이용될 수 있는 구획으로부터 수동 운전이 요구되는 구획으로 차량이 시프트할 때 수동 운전이 갑자기 실행되는 것은 수동 운전의 실행의 신뢰성의 면에서 바람직하지 않다는 점에 주목한다. 따라서, 수동 운전의 확인이 완료될 때까지 유예 기간에서 자동 운전에 대해 허용가능한 레벨을 순차적으로 낮추고 시프팅 레벨들에서 주행 구획을 확보하는 제어가, 허용가능한 자동 운전 레벨이 더 낮게 되는 구획으로의 진입 전에 확정적으로 수행된다.

즉, 레벨은 기본적으로 레벨 4로부터 레벨 2로 시프트하지 않고 레벨 3으로 시프트한 이후에 레벨 2 또는 1로 시프트한다.

도 13에서, 스폿 P1로부터 스폿 P2까지의 구획 S1에서 허용가능한 자동화 레벨은 시작 스폿인 스폿 P1에서의 LDM 데이터에 따라 레벨 0 또는 1로 설정된다. 또한, 구획 S1에서의 제2 작업의 실행 가용성은 자세 내 NG로서 설정된다.

스폿 P2로부터 스폿 P3까지의 구획 S2에서 허용가능한 자동화 레벨은 레벨 3으로 설정된다. 또한, 구획 S2에서의 제2 작업의 실행 가용성은 각성이 있는 자세 내 OK로서 설정되거나, 또는 짧은-기간 제한된 제2 작업의 실행 가용성은 각성이 있는 자세 외 OK로서 설정된다.

스폿 P3으로부터 스폿 P4까지의 구획 S3에서 허용가능한 자동화 레벨은 레벨 4로 설정된다. 또한, 구획 S3에서의 제2 작업의 실행 가용성은 자세 내외 OK로서 설정된다.

스폿 P4로부터 스폿 P5까지의 구획 S4에서 허용가능한 자동화 레벨은 레벨 2로 설정된다. 또한, 구획 S4에서의 제2 작업의 실행 가용성은 자세 내외 NG로서 설정되거나, 또는 짧은-기간 제한된 제2 작업의 실행 가용성은 각성이 있는 자세 내 OK로서 설정된다.

그러나, 자동 운전 레벨의 상한이 2인 다음의 자동 운전 구획에 진입하기 이전에 이전 준비를 위한 유예 기간으로서, 레벨 4에서의 구획의 종료 포인트로서의 포인트 Q1에서 운전자가 각성하고 복귀할 필요가 있다. 따라서, 차량 제어 시스템(11)은 자동 운전 레벨 3에서 불가피한 구획(파선)을 삽입하고, 이러한 시간 동안 운전자의 수동 운전으로의 완전 복귀가 진행된다.

본 명세서에서 상세히 설명되지 않더라도, 운전자의 일상적 각성 상태 및 자세 상태, 스케줄링된 경로의 안전성 상황 등에 기초하여 복귀에서의 지연의 위험이 없는 타이밍 결정되고, 인계 지연 Q1이 정의된다. 운전자의 인계의 능동적 확인은 본 기술의 실시예에서 레벨 3에 대응하는 레벨에서 이러한 주행 동안 수행된다.

도 13의 예에서, 스폿 P4로부터 스폿 P5까지의 구획 S4는 레벨 2로 설정된다. 도면에 도시되지 않더라도, 구획 4에서의 모든 레벨들이 3이 되고 다음의 구획 S5(레벨 3에서의 구획)에서의 레벨이 주행 동안 시간에 따라 4가 되는 경우, 하나의 문제점이 남겨진다. 즉, 레벨 4에서의 구획이 정지되고, 레벨 3에서의 구획이 다음에 오고, 레벨 4에서 주행될 구획이 다시 오는 경로 구획들에서, 디바이스의 조종에서의 운전자의 개입은 이러한 경우에 전혀 수행되지 않고 한편 운전자의 복귀 및 개입은 운전자가 주의를 환기하는 한 원래 요구되지 않는다.

결과로서, 운전자가 필요한 시간에 운전으로 복귀할 수 있는지 여부를 결정하는 것은 곤란하다. 따라서, 심지어 레벨 3에서의 구획에서 차량 제어 시스템(11)에 의해 운전자의 반응들을 확인하고 검출하기 위해 운전자의 복귀 능력을 결정하면서 레벨 4의 과정에서 레벨 3으로 일시적으로 복귀하기 위한 전술된 상황들을 결정하는 것에 의해 일시적 운전을 위한 능동적 조종 반응이 의도적으로 체킹될 수 있다.

스폿 P5로부터 스폿 P6까지의 구획 S5에서 허용가능한 자동화 레벨은 레벨 3으로 설정된다. 또한, 구획 S5에서의 제2 작업의 실행 가용성은 각성이 있는 자세 내 OK로서 설정되거나(부 작업은 운전으로 일정하게 복귀하는 가능성과 함께 그리고 운전으로 복귀하기 위해 필요한 각성과 함께 실행될 수 있음), 또는 짧은-기간 제한된 제2 작업의 실행 가용성은 각성이 있는 자세 외 OK로서 설정된다(부 작업은 실행이 짧은 기간의 시간으로 제한되는 한 심지어 자세 외 각성과 함께 실행될 수 있음).

스폿 P6으로부터 스폿 P7까지의 구획 S6에서 허용가능한 자동화 레벨은 레벨 0 또는 1로 설정된다. 또한, 구획 S6에서의 제2 작업의 실행 가용성은 자세 내외 NG로서 설정된다(전방 측에 주의가 있는 운전으로부터의 이탈이 위험을 갖고, 운전자가 운전으로 즉시 복귀할 수 있고 충분히 각성인 상태에서도 심지어 허가되지 않는 구획). 스폿 P7 또한 도달 스폿이라는 점에 주목한다.

여기서, 구획 S3의 종료 포인트로서의 스폿 P4에서, 허용가능한 자동화 레벨은 레벨 4로부터 레벨 2로 시프트하고, 제2 작업의 실행 가용성은 자세 내외 OK로부터 자세 내외 NG로 시프트한다. 또한, 구획 S5의 종료 포인트로서의 스폿 P6에서, 허용가능한 자동화 레벨은 레벨 3으로부터 레벨 1(레벨 0)로 시프트하고, 제2 작업의 실행 가용성은 자세 내외 OK로부터 자세 내외 NG로 시프트한다.

허용가능 구획 이전의 시프트 제어는, 구획으로의 진입 이전에, 차량이 다음에 진입하는, 다음 구획에서 요구되는 상태로의 시프트를 운전자가 완료하기 위해 필요한 시프트 유예 기간에 대응한다. 본 기술의 실시예는 자동 주행 차량이, 주행 경로의 과정에서, 수동 개입이 필요할 수 있는, 다음 주행 구획에 진입하기 이전에 운전자가 복귀 및 인계를 확실하게 시작하기 위한 초기 운전자 복귀 프로시저의 일부분이고, 인계 이전에, 운전자에게 능동적 전방 측 포인팅 및 체킹 액션을 수행하라고 촉구하기 위한, 추가로 체킹 제스처에 대응하는 액션 시퀀스를 모니터링하기 위한, 그리고 운전자가 각성이고 운전에 복귀한 상태를 보다 정확하게 획득하기 위해 시스템에 의해 제스처의 정확성 및 속도를 모니터링하기 위한 메커니즘이다.

운전 모드 전환 제어 유닛(154)은, 스케줄링된 인계 시작 스폿으로서, 이러한 허용가능한 자동화 레벨 및 제2 작업의 실행 가용성이 시프트하는 스폿에 미리 결정된 거리만큼 선행하는 스폿을 설정한다. 예를 들어, 스케줄링된 인계 시작 스폿을 차량이 통과하는 타이밍은 자동 운전 모드로부터 수동 운전 모드로의 전환에 대한 통지가 운전자에게 제공되는 타이밍에 대응한다.

즉, 운전 모드 전환 제어 유닛(154)은, 스케줄링된 인계 시작 스폿들로서, 구획 S3의 종료 포인트인 스폿 P4 이전에 표현되는 포인트 Q1 및 구획 S5의 종료 포인트인 스폿 P6 이전에 표현되는 포인트 Q5를 설정한다. 차량이 포인트들 Q1 및 Q5를 통과하는 타이밍은 자동 운전 모드로부터 수동 운전 모드로의 전환에 대한 통지가 운전자에게 제공되는 타이밍에 대응한다.

도 14는 상황들에서의 변경을 동반하는 LDM 데이터의 업데이트의 예를 도시하는 도면이다.

실제로 출발 이후에 도 14에서의 말 풍선들에 의해 도시되는 바와 같은 상황에서의 변경들이 존재한다는 점에 주목한다. 따라서, 출발(주행 경로 선택) 시에 설정되는 스케줄링된 인계 시작 스폿을 재고려할 필요가 있는 경우가 존재할 수 있다.

도 14에서, 스폿 P11로부터 스폿 P12까지의 구획 S11은 도 13에서의 스폿 P1로부터 스폿 P2까지의 구획 S1에 대응한다. 구획 S11에서 허용가능한 자동화 레벨은 레벨 0 또는 1이고, 제2 작업의 실행 가용성은 자세 외 NG로서 설정된다.

여기서, 스폿 P12로부터 스폿 P13까지의 구획 S12에서 누적된 눈 등으로 인해 도로 마킹이 불분명하게 되었다고, 그리고 자동 운전에 적합하지 않은 상황으로 이어지는 변경이 변경 1로서 발생했다고 가정된다. 이러한 경우, 구획 S12에서 허용가능한 자동화 레벨은 레벨 2(파선)로 변경되고, 제2 작업의 실행 가용성은 자세 내외 NG가 되거나, 상황은 짧은-기간 제한된 부 작업만이 자세 내에서 그리고 각성과 함께 허가되는 상황으로 변경된다. 도 14에서의 구획 S12는, 출발 이전에, 허용가능한 자동화 레벨이 레벨 3인, 도 13에서의 구획 S2에 대응한다.

상황에서 변경이 발생하는 경우, 필요에 따라 구획들의 설정에서 변경이 또한 발생한다는 점에 주목한다.

도 14의 예에서 변경 1으로 인한 상황이 종료된 이후 스폿 P13으로부터 스폿 P14까지의 구획 S13에서, 허용가능한 자동화 레벨은 레벨 4로 설정되고, 제2 작업의 실행 가용성은 도 13에서의 구획 S3에서의 것과 유사한 방식으로, 자세 내외 OK로서 설정된다.

또한, 공사 등으로 인해 수동 주행이 필요할 수 있는 상황으로 이어지는 변경이 도 14에서 스폿 P14로부터 스폿 P15까지의 구획 S14의 변경 2로서 발생한다고 가정된다. 이러한 경우, 구획 S14에서 허용가능한 자동화 레벨은 레벨 1(파선)로 변경되고, 제2 작업의 실행 가용성은 자세 내외 NG로 변경된다. 도 14에서의 구획 S14는 허용가능한 자동화 레벨이 레벨 4인 도 13에서의 구획 S3의 제2 절반의 일부분을 포함하고 허용가능한 자동화 레벨이 레벨 2인 도 13에서의 구획 S4의 제1 절반의 일부분을 포함하는 구획이다.

그러나, 레벨 4에서의 구획의 종료 포인트인 포인트 Q11에서, 상한 자동 운전 레벨이 1인 다음의 자동 운전 구획에 진입하기 이전의 이전 준비 유예 기간으로서 운전자가 각성하고 운전에 복귀하는 것이 필요하다. 따라서, 차량 제어 시스템(11)은 자동 운전 레벨 3에서 불가피한 구획(파선)을 삽입하고, 운전자의 수동 운전으로의 완전-복귀는 이러한 시간 동안 진행된다. 따라서, 차량 제어 시스템(11)을 사용하여 운전자의 각성 상태를 확인하기 위해, 통지가 운전자에게 제공되고, 그것에 따라 운전자의 복귀 시퀀스의 일부분으로서 수행되는, 전방 측 포인팅 액션의 제스처 관찰이 수행되고, 운전자의 복귀 준비 상태가 확인된다.

도 14의 예에서, 변경 2로 인한 상황이 종료된 이후의 스폿 P15로부터 스폿 P16까지의 구획 S15는 허용가능한 자동화 레벨이 레벨 2로 설정되는 구획으로서 설정되고, 제2 작업의 실행 가용성은 자세 내외 NG로서 설정되고, 짧은-기간 제한된 부 작업이 실행될 수 있는지 여부는 각성이 있는 자세 내 OK로서 설정된다.

스폿 P16으로부터 스폿 P17까지의 구획 S16에서, 누적된 눈 등으로 인해 도로 마킹이 불분명하게 되고, 자동 운전에 적합하지 않은 상황으로 이어지는 변경이 변경 3으로서 발생한다고 가정된다. 이러한 경우, 구획 S16에서 허용가능한 자동화 레벨은 레벨 2(파선)로 변경되고, 제2 작업의 실행 가용성은 자세 내외 그리고 각성이 없는 NG로 변경되고, 부 작업은 일상적으로 또는 자세 내에서 그리고 각성과 함께 허가되지 않고, 짧은-기간 제한된 부 작업만의 허가 상황은 각성이 있는 자세 내 OK로 변경된다.

도 14의 예에서, 변경 3에 의해 야기되는 상태가 종료되는, 스폿 P17로부터 스폿 P18까지의 구획 S17은 허용가능한 자동화 레벨이 레벨 0 또는 1로 설정되는 구획으로서 설정되고, 제2 작업의 실행 가용성은, 도 13에서의 구획 S6과 유사한 방식으로, 자세 내외 NG로서 설정된다.

이러한 상황들에서의 변경에 의해 허용가능한 자동화 레벨의 설정 및 부 작업의 실행 가용성이 변경된다. 운전 모드 전환 제어 유닛(154)은 스케줄링된 인계 시작 포인트를 변경 이후의 설정에 따라 변경하고, 자동 운전 모드로부터 수동 운전 모드로의 전환에 대한 통지가 운전자에게 제공되는 타이밍을 변경(재설정)한다.

즉, 운전 모드 전환 제어 유닛(154)은, 스케줄링된 인계 시작 포인트로서, 구획 S14에서의 스폿 P14 이전에 표현되는 포인트 Q11을 설정한다. 차량이 포인트 Q11을 통과하는 타이밍이 자동 운전 모드로부터 수동 운전 모드로의 전환에 대한 통지가 운전자에게 제공되는 타이밍이다. 유사하게, 차량 제어 시스템(11)을 사용하여 운전자의 각성 상태를 확인하기 위해, 운전자에게로의 통지가 제공되고, 그에 따라 운전자의 복귀 시퀀스의 일부분으로서 수행되는, 전방 측 포인팅 액션의 제스처 관찰이 수행되고, 운전자의 복귀 준비 상태가 여기서 확인된다.

이러한 방식으로, 주행 경로 및 운전자의 상황들은 주행의 시작으로부터 모든 순간에 변경된다.

도 15는 상황들에서의 변경을 동반하는 LDM 데이터의 업데이트의 다른 예를 도시하는 도면이다.

도 15의 예에서는, 주행의 시작 이후의 특정 시간의 경과 이후의 스폿 N에서의 최신 LDM 데이터가 도시된다. 이러한 상황들은 도 15에서 각각의 말 풍선들에 의해 도시되는 바와 같이 심지어 주행 시작 이후에도 변경된다.

도 15의 예에서는, 차량이 스폿P23으로부터 스폿P24까지의 구획 S23에서의 스폿 P23에서 현재 주행하고 있다고 가정된다.

스폿 P21로부터 스폿 P22까지의 구획 S21은 허용가능한 자동화 레벨이 레벨 0 또는 1로 설정되는 구획이고, 차량은 허용가능한 자동화 레벨 1에서 이러한 구획을 통해 이미 주행하였다. 구획 S21은 도 14에서의 구획 S11에 대응한다. 구획 S21에서의 제2 작업의 실행 가용성은 자세 내외 NG로서 설정되고, 차량은 이러한 구획을 이미 통과하였다는 점에 주목한다.

구획 S21을 뒤따르는, 스폿 P22으로부터 스폿 P23까지의 구획 S22는, 허용가능한 자동화 레벨이 레벨 2로 설정되는 구획이고, 차량은 이러한 설정에 기초하여 구획 S22를 통해 이미 주행하였다. 구획 S22는 도 14에서의 구획 S12에 대응한다. 구획 S22는 부 작업의 실행 능력이 자세 내외 NG로서 설정되고, 짧은-기간 제한된 제2 작업의 실행 능력이 각성이 있는 자세 내 OK로서 설정되는 구획이다.

차량이 주행하고 있는 스폿 N을 포함하는, 스폿 P23으로부터 스폿 P24까지의 구획 S23은, 허용가능한 자동화 레벨이 레벨 4로 설정되는 구획이고, 차량은 이러한 설정에 기초하여 주행하고 있다.

차량이 자동 운전 모드에서 주행하고 있으므로, 차량은 주행하고 한편 운전 모드 전환 제어 유닛(154)은, 예를 들어, 윤곽형 백색 화살표 R1에 의해 표현되는 구획에 대한 최신 LDM의 업데이트 데이터를 취득한다. 윤곽형 백색 화살표 R1에 의해 표현되는 구획은, 스폿 N 을 참조하여, 운전자가 부 작업으로부터 확실하게 복귀할 수 있는 것으로 가정될 때까지, 차량이 특정 기간 이후에 주행하도록 스케줄링되는 구획이다.

이러한 최단 LDM 정보 이전 취득 구획에서는, 운전자가 잠을 자기 위해 긴 기간의 시간 동안 좌석으로부터 떨어져 있거나, 트렁크로 이동하는 등으로 가정되는 이용에 대해, 운전자가 특정 마진으로 부 작업으로부터 복귀할 수 있는 최단 기간을 적어도 정의하고 계속 업데이트하는 것이 필요하다. 이하, 예를 들어, 이전 정보에서의 변경 정보는 그 시간에 이러한 구획의 업데이트에서 취득되었다고 가정된다.

차량이 스폿 N에 오는 시점에 최신 LDM 업데이트 데이터에 의해 변경 21에 관한 정보가 추가되고, 스케줄이 변경되는 경우, 운전자의 모니터링에서 복귀할 것을 요구받은 예측된 시간을 일정하게 모니터링하는 것에 의해, 운전자의 확인된 상태로부터 복귀하도록 요구받은 시간을 계산하는 것이 가능하다. 운전자의 개입 및 복귀가 변경 21과 연관하여 요구되는 레벨이 업데이트되고, 원래의 주행의 초기 단계에서의 또는 N 미만의 포인트에서의 정보에는 존재하지 않는, 스폿 P24로부터 스폿 P25까지의 구획 S24은, 허용가능한 자동화 레벨이 레벨 1로 변경되는 구획이 되고, 이러한 구획에서의 부 작업의 실행 가용성은 자세 내외 NG이다.

이러한 경우, 운전 모드 전환 제어 유닛(154)은 위에 설명된 바와 같이 복귀하는데 필요한 예측된 타이밍을 계산하고, 스폿 P24 이전의 포인트 Q21을 스케줄링된 인계 시작 포인트로 변경한다.

이때, 자동 운전 레벨의 상한이 1인 다음의 자동 운전 구획에 진입하기 이전에 이전 준비를 위한 유예 기간으로서, 레벨 4에서의 구획의 종료 포인트로서 포인트 Q21에서 운전자가 각성하고 복귀하는 것이 필요하다. 따라서, 차량 제어 시스템(11)은 자동 운전 레벨 3에서 불가피한 구획(파선)을 삽입하고, 이러한 시간 동안 운전자의 수동 운전으로의 완전 복귀가 진행된다.

예측된 타이밍의 계산을 위해, 운전자의 복귀 특성들의 학습에 기초하는 특성들, 차량의 적재 및 브레이킹의 역학 특성들, 도로들의 안전성 특성들 등을 고려하여 연산이 수행된다는 점에 주목한다. 차량이 포인트 Q21을 통과하는 타이밍이 자동 운전 모드로부터 수동 운전 모드로의 전환에 대한 통지가 운전자에게 제공되는 타이밍이다.

또한, 운전 모드 전환 제어 유닛(154)은 스폿 P24로부터 스폿 P25까지의 구획을 허용가능한 자동화 레벨이 레벨 1이고 부 작업의 실행 가용성이 자세 내외 NG인 구획으로서 설정한다. 예를 들어, 조기 단계에서 자고 있는 운전자에게 경보가 주어지고, 착석하여 전방 측에 주의를 환기하면서 스마트폰을 조작하고 있는 운전자에게 짧은-기간 스크린 통지가 주어지도록, 상황들에 따른 타이밍이 계산된다.

상세한 설명이 주어지지 않을 것이더라도, 일단 레벨 0 내지 3에서의 운전자의 운전 개입 모드로 시프팅하는 경우에 운전자에게 통지하지 않고 다시 자동 운전의 상위 레벨 모드로 다시 복귀하기 위해 매끄러운 시프트를 수행하지 않는 메커니즘에 주목한다. 또한, 레벨 3 또는 4에서의 자동 운전으로 복귀하기 위해, 운전자에게 복귀하라고 요청하는 입력을 의도적으로 반영하는 방식을 갖는 것이 필요하다.

여기서, 운전자에게 요청을 행하는 방식은 운전자가 매끄럽게 그리고 무의식적으로 자동 운전 모드로 복귀하는 것을 방지하고, 운전자가, 차량 제어 시스템(11)이 실제로 자동 운전 모드로 복귀하지 않았다는 사실에 관계없이 차량이 운전자의 자동 운전에 의해 주행하고 있다고 고려하는 것 및 잘못된 고려로 인해 혼동되는 것을 방지하는 기능이다. 이것은 운전자에 의해 상위 자동 운전 레벨로 복귀하는 것에 대한 통지의 기능을 갖지 않는 제어 시퀀스가 수행되면, 대응하는 구획에서 주행하는 동안 자동 운전이 계속 사용된다고 운전자가 고려하는 관심사가 존재하고, 이것은 수동 운전에 대처하는데 있어서의 실패로 인한 사고로 이어지기 때문이다.

예를 들어, 직선 도로가 계속되는 구획에서 자동 주행이 계속되고 있다고 운전자가 오해하고, 그 이후 커브 등의 직전에 어떠한 제어도 수행되고 있지 않다는 것을 운전자가 의식하더라도, 운전자가 당황하여 사고로 이어지는 위험이 존재한다.

다음으로, 도 15에서의 스폿 P25로부터 스폿 P26까지의 구획 S25에서, 허용가능한 자동화 레벨은 레벨 4이고, 제2 작업의 실행 가용성은 도 14에서의 스폿 P13으로부터 스폿 P14까지의 구획 S14에서의 것과 유사한 방식으로 자세 내외 OK로서 설정된다.

여기서, 도 14에서의 변경 2에 대응하는 공사 스케줄이 업데이트되지 않았고, 이러한 스케줄이 변경되지 않았다면, 도 15에서의 포인트 Q11은 스케줄링된 인계 시작 포인트가 된다. 그러나, 도 15의 예에서는 공사 구획 정보가 변경 22의 발생으로 인해 업데이트되었고, 스폿 P26으로부터 스폿 P27까지의 구획 S26에서 구획을 감소시키는 변경이 행하여졌다. 구획 S26은 허용가능한 자동화 레벨이 레벨 1이고, 제2 작업의 실행 가용성이 자세 내외 NG인 구획이다.

이러한 경우, 운전 모드 전환 제어 유닛(154)은 스케줄링된 인계 시작 포인트를 포인트 Q11로부터 구획 S26에서의 스폿 P26 이전에 표현되는 포인트 Q22로 변경한다. 차량이 포인트 Q22를 통과하는 타이밍이 자동 운전 모드로부터 수동 운전 모드로의 전환을 운전자가 통지받은 타이밍이다.

이때, 자동 운전 레벨의 상한이 1인 다음의 자동 운전 구획에 진입하기 이전에 이전 준비를 위한 유예 기간으로서, 레벨 4에서의 구획의 종료 포인트로서 포인트 Q22에서 운전자가 각성하고 복귀하는 것이 필요하다. 따라서, 차량 제어 시스템(11)은 자동 운전 레벨 3에서 불가피한 구획(파선)을 삽입하고, 이러한 시간 동안 운전자의 수동 운전으로의 완전 복귀가 진행된다.

다음으로, 도 15에서의 스폿 P27로부터 스폿 P28까지의 구획 S27에서, 도 14에서의 스폿 P15로부터 스폿 P16까지의 구획 S15에서의 것과 동일한 방식으로, 허용가능한 자동화 레벨은 레벨 2이고, 제2 작업의 실행 가용성은 자세 내외 NG로서 설정되거나, 또는 이용이 짧은 시간으로 제한되는 경우, 각성이 있는 자세 내 OK로서 설정된다.

도 15에 도시되는 바와 같이, 스폿 P28로부터 스폿 P29까지의 구획 S28에서는, 날씨가 더 좋게 되고, 도로 마킹이 분명하게 되고, 도로 환경이 개선되었다는 변경 23이 발생했다고 가정된다. 변경 23으로 인해, 구획 S28에서 허용가능한 자동화 레벨은 도 14에서의 레벨 2로부터 레벨 3으로 변경되고, 부 작업의 실행 가용성은 자세 외 NG로서 설정되고, 짧은-기간 제한된 부 작업의 실행 가용성은 각성이 있는 자세 내 OK로부터 각성이 있는 자세 내 OK 또는 짧은-기간 제한된 각성이 있는 자세 외 OK로 변경된다.

도 15의 예에서 변경 23이 종료되는 스폿 P29로부터 스폿 P30까지의 구획 S29에서, 도 15에서의 구획 S29 및 도 14에서의 구획 S17에서의 것과 유사한 방식으로, 허용가능한 자동화 레벨은 레벨 0 또는 1이고, 제2 작업의 실행 가용성은 자세 내외 NG로서 설정된다.

위에 설명된 바와 같이, 그 동안 운전자가 동일한 허용가능 자동화 레벨에서 복귀하라고 요구받는 추천된 시간(운전자에 대한 통지 타이밍 및 경보 타이밍)은 그 포인트(또는 구획으로의 진입이 가정되는 시각)에서의 주행 환경, 운전자의 상태, 차량의 적재, 브레이킹 속성들 등에 따라 모든 순간 변경된다. 즉, 복귀하라고 운전자가 요구받는 타이밍은 LDM 지도 정보 및 환경 정보, 사고들, 러싱-아웃, 낙뢰들 및 측풍과 같은 날씨 인자들로 인한 일시적 변경 위험들, 및 추가로 운전자의 상태에 따라 능동적으로 변경된다.

운전자가 정상적으로 주행할 수 있는 상태로 운전자의 의식이 복귀하는 속도는 운전자의 특성들을 사용하여 학습하는 것에 의해 획득되는 고유함수로서 표현된다는 점에 주목한다. 이러한 고유함수는 안구 단속성 운동 및 미세-단속성 운동 거동들, 시각적 고정의 경미한 움직임, 외부 광에서의 변경들에 대한 동공들의 반사 응답들의 특성들, 깜박임의 특성들 등과 연관되는 함수로서 표현된다.

대안적으로, 이러한 함수는 전술된 맥박, 호흡, 및 뇌파들과 같은 다양한 생체 신호들의 관찰가능한 정보와 연관하여 표현될 수 있다. 이러한 관찰가능한 평가 값들은 자동 운전으로부터 수동 운전으로의 인계 이벤트가 발생할 때마다 관찰되고, 그 이후 안정적 인계와의 직접 상관들 및 인계의 실패 및 지연이 획득된다. 그 후, 인계가 정상적으로 수행되는 경우에서 획득되는 값들은 운전자가 수동 운전을 정상적으로 인계할 때 교사 데이터로서 연관되고, 학습을 위해 필요한 관찰 데이터가 증가한다. 즉, 반복적으로 발생하는 인계 이벤트가 발생할 때마다 차량 제어 시스템(11)에 의한 결정 장비의 학습이 이용에 따라 진보하고, 결과로서, 운전자에 대한 각성 복구 시간 요구가 관찰가능한 값들로부터 예측될 때 결정 장비의 성능들의 개선이 이용에 따라 진보한다.

도 16은 제2 작업의 실행 가용성을 요약하는 표를 도시하는 도면이다.

위에 설명된 바와 같이, 이러한 표에서 운전자가 조종 및 운전을 위해 운전자의 좌석으로 복귀할 수 있는 착석 자세들에서의 "자세 내(within a posture)"는 운전자가 조종 및 운전을 위해 운전자의 좌석으로 복귀할 수 있는 착석 자세를 표현한다. "자세 외(outside a posture)"는 운전자가 조종 및 운전을 위해 운전자의 좌석으로 즉시 복귀할 수 있는 이러한 착석 자세에 운전자가 있지 않다는 점을 표현한다.

표에서, 운전자가 주변 환경을 인식하고 회피 액션들을 취할 수 있는, 각성 상태들에서, "각성이 있는(with wakefulness)"은 운전자가 주변 환경을 인식하고 회피 액션들을 취할 수 있는 각성 상태에 운전자가 있는 것을 표현하고, "각성이 없는(without wakefulness)"은 운전자가 주변 환경을 인식하고 회피 액션들을 취할 수 있는 각성 상태에 운전자가 있지 않은 것을 표현한다.

각성이 없는 대표적 상태는 자고 있는 상태이고, 그 다른 예들로서, 운전자가 비디오를 시청하고 있는, 게임에 의해 몰두되어 있는, 이동하는 차량에서 원격 전화 회의를 개최하고 있는, 및 메일들 또는 브라우징에 집중하고 있는 상황들이 각성이 없는 상황들에 대응한다. 복잡성을 회피하기 위해 개별 분류들이 의도적으로 설명되지 않더라도, 실제로 신체 조종 기능들을 배려할 필요가 추가로 있고, 예를 들어, 부 작업으로 인한 손 및 발의 저림과 같은 소위 운동 능력 또한 통지 타이밍을 결정하고 자동 운전의 이용 허용가능 범위를 결정하는 인자라는 점에 주목한다.

도면은 상부 측으로부터 순서대로 설명될 것이다. 일상적 부 작업은 운전자가 자세 내에 있는지 또는 외에 있는지 그리고 각성인지에 관계없이 레벨 4에서 실행될 수 있다.

레벨이 3 이하이면, 일상적 부 작업은 운전자가 자세 내에 있는지 또는 외에 있는지 그리고 각성이 있는지 또는 없는지에 관계없이 실행될 수 없다. 조종으로부터 이탈하면서 연속 긴-기간 이용은 기본적으로 이용불가능이다. 이것은 운전자가 긴 기간의 시간 동안 운전하기 위한 조종에 직접 개입하지 않고 언제나 복귀하라고 요청될 수 있는 상태에서 운전자가 자동 주행 상태를 모니터링하고 이에 주의를 환기하는 것을 계속 유지하는 것은 곤란하기 때문이다. 레벨 3에서의 이용이 특정 시간 동안 또는 더 길게 계속되는 경우, 간헐적으로 운전자에게 복귀하라고 요청하고 변경을 주는 이용 형태가 바람직하게 이용된다.

운전자가 자세 내에 있는지 또는 외에 있는지 그리고 각성이 있는지 또는 없는지에 관계없이 다양한 부 작업들이 레벨 4에서 실행될 수 있다.

운전자가 자세 내 그리고 각성이 있는 레벨 3 이상에서 조기에 복귀할 수 있는 짧은-기간 제한된 부 작업을 실행하는 것이 가능하다. 위에 설명된 바와 같이, 운전자가 긴 기간 동안 계속 개입하지 않는, 자동 운전의 이용은 레벨 3의 이용으로서 가정되지 않고, 이러한 경우, 운전자의 의식이 운전으로부터 이탈하더라도 상황들이 주기적으로, 반복적으로, 그리고 계속 모니터링되고 체킹된다는 가정에서 운전자가 자거나 또는 비디오를 시청하는 것 또는 게임을 플레이하는 것에 몰두하기 때문에 지연이 발생된 경우 복귀 지연을 페널티의 타겟으로서 설정하는 것에 의해 의식으로부터의 심리적 이탈의 발생을 억제하는 것이 가능하다.

각성이 있는 자세(운전자가 제한된 자세로부터 자신의 자세를 완화하는 범위 내의, 운전자가 짧은 기간의 시간에 복귀할 수 있는, 완화된 자세) 외라면 짧은-기간 제한된 부 작업이 레벨 2 이상에서 실행될 수 있다. 내비게이션의 조작들과 같은, 관련 분야에서 억제되는 모든 조작들이, 특정한 안전 운전이 확보되는 한편 차량이 완전한 자동 운전에 의해 주행할 수 없는 구획에서 약간 완화된 자세 내에서 부 작업의 범위 내에서 수행될 수 있는 기술적 조작이 제공된다.

임의의 부 작업이 실행될 수 없다, 즉, 심지어 짧은-기간 제한된 부 작업도 운전자가 각성인지 여부에 관계없이 자세 외라면 레벨 3에서 그리고 그 아래에서 실행될 수 없다.

도 11로 복귀하면, 단계 S13에서, 운전 모드 전환 제어 유닛(154)은, 운전 상태 검출 유닛(142)에 의해 검출되는 운전자의 상태 및 LDM의 (업데이트 정보)에 기초하여, 도 13 내지 도 15를 참조하여 위에 설명된 바와 같은 상황들에서 변경이 발생했는지 여부를 결정한다.

단계 S13에서 상황들에서 변경이 발생했다고 결정되는 경우, 처리는 단계 S14로 진행한다.

단계 S14에서 운전 모드 전환 제어 유닛(154)은 통지 타이밍을 재설정(변경)한다. LDM 및 운전자가 체킹되는 빈도들이 또한 필요에 따라 재설정된다.

한편, 단계 S13에서 상황들에서 어떠한 변경도 발생하지 않았다고 결정되는 경우, 단계 S14에서의 처리는 생략된다.

단계 S15에서, 운전 모드 전환 제어 유닛(154)은, 현재 시각이, 설정된 통지 타이밍 이전의 특정 시간에 대응하는 시각인지 여부를 결정한다.

여기서 정의되는 특정 시각은 운전자에 의해 수동 운전으로 복귀하라고 요구받고 특정 학습을 통해 일상적 관찰로부터 추정되는 복귀 시간을 표현하고, 운전자가 특정 성공률로 수동 운전을 정상적으로 수행할 수 있는 예측 시간이다. 학습 방법은 명세서에서 상세히 설명되지 않을 것이다.

인계에 필요한 통지를 수신한 이후에 정상적으로 실제 인계를 완료하기 위해 운전자에 의해 취해지는 시간은 개별 운전자에 의존하여 상이하고, 자세 상태, 운전자가 그 때까지 수행했던 액션들 등에 의존한다.

따라서, 통지 기간에서 운전자의 복귀 특성을 확인할 수 없으면, 운전자 집단의 정적 복귀 속성 분포에 기초하여 정의된 타겟 성공률에 따라, 가능하면, 100%의 타겟 인계 성공률, 또는, 가능하지 않으면, 타겟 인계 성공률을 달성하기 위해 필요한 특정 시각에서 통지를 제공하는 것에 의해 운전자가 운전을 정상적으로 인계하기 위해 전술된 성공률이 확보된다. 특정 시각은 특정 성공률을 확보하기 위해 운전자에게 주어질 통지를 유예하는 제한 타이밍을 의미한다.

단계 S15에서 통지 타이밍 이전의 특정 시간이 도달되지 않았다고 결정되는 경우, 처리는 단계 S10으로 복귀하고, 다음의 처리가 반복된다.

여기서, 통지 타이밍이 낮은 빈도로 일상적으로 관찰되고, 상황에서의 변경이 관찰된 경우, 검출은 높은-빈도 검출로 시프트한다. LCM 업데이트 및 운전자 상태 관찰이 일상적으로 그리고 계속 수행되는 이유는, 운전자가 긴 기간의 시간 동안 운전으로의 주의를 요구하지 않는 부 작업을 실행하면, 운전자는 시간의 경과에 따라 졸음을 느낄 수 있고, 차량 제어 시스템(11)의 측 상에서 검출될 수 없는, 조종의 깊은 의식으로부터의 이탈로 시프트할 수 있다는 점이다. 즉, 일부 정도 시간의 경과와 따라 운전자의 상태를 확인하기 위해 특정 비율로 관찰 및 모니터링을 수행하고 인계가 수행될 가능성이 있는 타이밍에 이러한 관찰 및 모니터링의 샘플 빈도를 증가시키는 것에 의해, 운전자의 각성의 정도를 검출하는데 있어서의 정확성이 개선되고, 지연 발생 위험이 억제된다.

심지어 이러한 경우에 통지가 직전에 제공되더라도 충분한 유예 시간이 통상적으로 예상되는 경우에도, 운전자가 추가로 깊게 잠들고, 상황이 원래 스케줄링된 것보다 조기 통지를 요구하는 상황으로 변경되는 경우가 일어날 수 있다. 일시적 변경과 관련하여 이러한 상황을 회피하기 위해, 긴 시간 간격으로 수행되는 주기적 일상적 모니터링 샘플링, 및 인계 타이밍의 정확성을 증가시키고 증가된 샘플링 빈도로 높은-빈도 샘플링을 수행하는 것에 의해 지연을 방지할 목적으로 수행되는 샘플 빈도 변경이 수행된다.

샘플링 빈도가 정의된다는 가정으로 실시예들이 설명되었더라도, 운전자의 일정한 자세 및 일상적 생체 신호들을 관찰하는 것에 의한 변경 검출과의 고감도 변경-감지-타입 검출 방식의 조합으로 운전자에서의 변경이 관찰되고, 이러한 변경을 검출하기 위한 이벤트-구동-타입 통지 시간 재계산이 수행되는 구성이 이용될 수 있다. 또한, 부 작업의 내용에 의존하여 일부 상황의 통지 및 그 인식이 주기적으로 수행될 수 있다.

한편, 단계 S15에서 통지 타이밍 이전의 특정 시간에 대응하는 시각이 도달되었다고 결정되는 경우, 처리는 단계 S16으로 진행한다.

단계 S16에서, 운전 모드 전환 제어 유닛(154)은, LDM 및 운전자가 체킹되는 빈도를 이전보다 상위로 재설정한다.

단계 S17에서, 운전 모드 전환 제어 유닛(154)은 현재 시각이 통지 타이밍인지 여부를 결정한다. 예를 들어, 스케줄링된 인계 시작 포인트를 차량이 통과할 때 통지 타이밍이 도달되었다고 결정된다.

단계 S17에서 통지 타이밍이 도달되지 않았다고 결정되는 경우, 처리는 단계 S18로 진행한다.

단계 S18에서, 경로 설정 유닛(151)은 설정된 목적지에 차량이 도달했는지 여부를 결정한다.

단계 S18에서 차량이 목적지에 도달하지 않았다고 결정되는 경우, 처리는 단계 S10으로 복귀하고, 다음의 처리가 반복된다.

한편, 단계 S18에서 차량이 목적지에 도달했다고 결정되는 경우, 자동 운전 처리에 대한 종료 프로시저가 시작된다.

단계 S17에서 통지 시간이 도달되었다고 결정되는 경우, 처리는 단계 S19(도 12)로 진행한다.

단계 S19에서, 운전 모드 전환 제어 유닛(154)은 운전자가 각성이 감소한 상태에 있는지 여부를 결정한다. 여기서 설명되는 결정은 운전 상태 검출 유닛(142)에 의해 검출되는 운전자의 반응성 및 각성의 정도에 기초하여 수행된다.

예를 들어, 운전자의 반응성 및 각성의 정도가 임계값들로서 사전에 설정된 값들보다 낮은 경우, 운전자가 각성이 감소한 상태에 있다고 결정되고, 운전자의 반응성 및 각성의 정도가 임계값들로서 사전에 설정된 값들보다 큰 경우, 운전자가 각성이 감소한 상태에 있지 않다고 결정된다.

본 명세서에 설명되는 임계값들로서, 운전자 집단에 대해 고유하게 정의되는 고정된 값들이 사용될 수 있다. 그러한 경우, 개인들의 특성들에 의존하여 일부 운전자들은 즉시 복귀하기를 재촉할 수 있고 한편 다른 운전자들은 시간이 걸리므로, 운전자들에 특정한 복귀 특성들에 의존하여 정확성을 추가로 개선하기 위해, 운전자들의 상태들의 관찰가능한 값들에 따라 운전자들에 특정한 학습 특성들이 주기적으로 그리고 이전에 학습되고 정의될 수 있다.

운전자 등을 특정하는 것이 곤란한 경우, 복귀하라고 요구받은 통상적인 운전자 집단의 정적 값들이 사용될 수 있다. 그러나, 조기 통지는 모든 운전자들이 인계를 안전하게 수행하는 것을 허용하도록 요구받는다. 한편, 통지 타이밍보다 수 분 또는 수십 분만큼 빠른 단계에서 조기 통지가 일상적으로 반복되면, 운전자에게로의 통지에 응답하여 복귀할 필요성에 관련하여 위험의 감지들이 저하되고, 이것은 복귀의 무시의 위험들을 유발한다. 따라서, 운전자에게 조기에 통지를 일정하게 제공하는 것이 통지 타이밍을 결정하는 매우 바람직한 방법은 아니라고 진술하는 것이 가능하다.

단계 S19에서 운전자가 각성이 감소한 상태에 있지 않다고 결정되는 경우, 처리는 단계 S20으로 진행한다.

단계 S20에서, 운전 모드 전환 제어 유닛(154)은 수동 운전 모드로의 전환에 대한 통지가 제공되게 한다. 수동 운전 모드로의 전환에 대한 통지는 자동 운전 모드로부터 수동 운전 모드로의 전환을 운전자에게 통지하기 위한 것이고, 예를 들어, 통지 제어 유닛(124)의 제어 하에 수행된다.

예를 들어, 디스플레이 유닛(29)은 통지 제어 유닛(124)의 제어 하에 운전자의 시야 내에 주의를 끌기 위한 통지 스크린 등을 디스플레이한다. 운전자가 이동 단말(12)을 조작하고 있는 경우, 부 작업의 계속을 방해하기 위해 이동 단말(12)의 스크린의 전체 표면 상에 통지 스크린이 디스플레이될 수 있거나, 또는 주의를 끌기 위한 PinP 작은 스크린 등이 디스플레이될 수 있다.

이때, 이동 단말(12)의 조작 상태가 강제로 저장되고, 동일한 시작으로부터 조작을 재시작할 수 있도록 이동 단말(12)이 대기 상태로 통과하게 하는, 또는 이동 단말(12)의 사용의 과정에서 중도 조작된 정보의 손실에 대한 두려움으로 인해 인계의 시작이 지연되는 상황을 방지하기 위해 이용된 APP(application)에 관련하여 애플리케이션의 이용 직전 복수의 입력들의 이력이 일정하게 저장되고, 직전에 수행되는 임의의 조작으로부터 다시 조작 재시작이 플레이될 수 있는 기능에 조작 이력이 유지되는, 또는 이동 단말(12)의 스크린이 강제로 턴 오프되는 이러한 제어를 수행하는 것에 의해 인계의 시작을 연기하지 않는 메커니즘이 제공된다. 이러한 방식으로, 이제 통지 스크린의 디스플레이에 응답하여 운전자가 당황하는 것 및 이동 단말(12)을 신속하게 정지시키기 위해 조작을 계속하는 것을 방지하는 것이 가능하다.

수동 운전 모드로의 시프팅에 대한 통지는 이를 스크린 상에 디스플레이하는 것 이외의 방법에 의해 제공될 수 있다.

예를 들어, 사운드 출력 유닛(30)은 통지 제어 유닛(124)의 제어 하에 사운드 메시지, 알람, 버저, 비프 사운드, 차량 내에만 들리는 다음의 자동차의 준-자동차 경적(quasi-car horn)(horn) 등을 출력할 수 있다.

또한, 발광 유닛(31)은 통지 제어 유닛(124)의 제어 하에 램프 등을 턴 온하거나 또는 깜박일 수 있다.

차량-내 디바이스 제어 유닛(34)은 통지 제어 유닛(124)의 제어 하에 운전자의 좌석 또는 스티어링 휠을 진동시키는 것 또는 좌석 벨트를 당기는 것과 같은 햅틱 피드백을 수행할 수 있다. 차량이 럼블 스트립들 또는 도로 스터드들을 교차할 때 느껴지는 것과 유사한 진동이 운전자에게 전달되도록 좌석이 진동될 수 있다는 점에 주목한다.

차량이 럼블 스트립들 또는 도로 스터드들을 교차할 때 느껴지는 것과 유사한 진동이 운전자에게 전달되도록 주행 제어 유닛(33)이 스티어링 휠을 제어할 수 있다.

단계 S21에서, 전환 결정 유닛(155)이 운전 모드 전환 결정 처리를 수행하게 되도록 운전 모드 전환 제어 유닛(154)이 전환 결정 유닛(155)을 제어한다. 운전 모드 전환 결정 처리에서, 전환이 수행될 수 있는지 여부는 각각의 결정 유닛들, 즉 제스처 인식 전환 결정 유닛(201), 단속성 운동 정보 전환 결정 유닛(202), 사운드 인식 전환 결정 유닛(203), 및 스티어링 휠 조작 전환 결정 유닛(204)에 의해 결정된다. 단계 S21에서의 운전 모드 전환 결정 처리는 도 17에서의 흐름도를 참조하여 차후 설명될 것이다.

단계 S22에서, 전환 결정 유닛(155)은 전환 결정 유닛(155)을 형성하는 각각의 결정 유닛들에 의한 결정의 결과들에 기초하여 자동 운전 모드로부터 수동 운전 모드로의 전환을 수행하는 것이 가능한지 여부를 결정한다.

단계 S22에서 자동 운전 모드로부터 수동 운전 모드로의 전환을 수행하는 것이 가능하다고 결정되는 경우, 처리는 단계 S23으로 진행한다.

단계 S23에서, 운전 모드 전환 제어 유닛(154)은 자동 운전 모드로부터 수동 운전 모드로의 전환을 수행하고, 운전자가 주체적으로 운전을 수행하는 상태인, 운전자 주체적인 제어 상태로 시프트하고, 다음으로 자동 운전 제어 처리를 종료한다.

한편, 단계 S19에서 운전자가 각성이 감소한 상태에 있다고 결정되는 경우, 처리는 단계 S24로 진행한다.

단계 S24에서, 운전 모드 전환 제어 유닛(154)은 통지 제어 유닛(124)을 제어하고, 통지 제어 유닛(124)으로 하여금 각성에 대한 경보를 발행하게 한다. 예를 들어, 사람을 각성시키기에 충분히 큰 사운드, 진동 등이 경보로서 출력된다.

단계 S24에서 출력되는 경보는 단계 S20에서 출력되는 통지와 상이하고, 더 강하다. 예를 들어, 통지 시의 것보다 높은 볼륨이 있는 사운드 메시지, 알람, 버저, 비프 사운드, 준-자동차 경적 등이 출력된다. 또한, 통지 시의 것보다 더 많은 불쾌한 느낌을 야기하는 불협화음의 톤이 출력된다. 램프 등으로부터의 광 방출이 통지 시의 것보다 더 높은 광 강도로 수행될 수 있거나, 또는 햅틱 피드백이 통지 시의 것보다 더 높은 강도로 제공될 수 있다.

단계 S25에서, 운전 모드 전환 제어 유닛(154)은 운전자의 각성 및 복귀 자세가 확인되었는지 여부를 결정한다. 예를 들어, 운전 상태 검출 유닛(142)에 의해 각성의 정도를 검출한 결과들에 기초하여 운전자가 정상 시에서와 동일한 자세를 가지려고 시도하고 있다고 특정하는 것이 가능한 경우, 각성 및 복귀 자세가 확인될 수 있었다고 결정된다. 운전자가 좌석으로부터 떨어져 있는 동안 자세 이동 및 조작들을 허용하는 시스템에서, 자동차에서의 운전자의 자세 및 신체 자세의 이동을 추적하고 결정하는 디바이스가 결정을 위해 제공될 수 있다. 운전 및 조종 시트로의 운전자의 전체 복귀가 자세 추적에 의해 직접 수행되지 않더라도 회전 좌석, 슬라이딩 좌석 등이 미래에서의 자동 운전의 분포와 함께 이용될 것으로 예상되고, 운전 자세로의 복귀는 회전된 좌석의 복귀, 착석될 때의 부분 압력 검출 등에 기초하여 관찰될 수 있다는 점에 주목한다.

단계 S25에서 운전자의 각성 및 복귀 자세가 확인되지 않았다고 결정되는 경우, 처리는 단계 S26으로 진행한다.

단계 S26에서, 운전 모드 전환 제어 유닛(154)은 내장 타이머를 참조하고, 예를 들어, 통지 타이밍 이후 미리 결정된 인계 완료 유예 시간이 경과했는지 여부를 결정한다.

단계 S26에서 미리 결정된 시간이 경과하지 않았다고 결정되는 경우, 처리는 단계 S24로 복귀하고, 다음의 처리가 반복된다. 미리 결정된 경과 시간은, 예를 들어, 자고 있는 운전자를 각성하도록 허용되고 각성을 달성하기 이전에 걸리는 시간을 의미하고, 개인이 과거에 시스템을 이용할 때마다 개인 정보로서 개인에 특정한 값으로서 학습되고 설정되는 시간이어서, 각성에 익숙하지 않은 인증된 운전자들에 대해서는 미리 결정된 경과 시간이 길게 설정되는 한편 짧은 기간의 시간에 각성할 수 있는 운전자들에 대해서는 미리 결정된 경과 시간이 짧게 설정된다.

한편, 단계 S26에서 미리 결정된 시간이 경과했다고 결정되는 경우, 운전자의 각성 및 복귀 조작들이 포기되고, 처리는 단계 S27로 진행한다. 심지어 단계 S22에서 자동 운전 모드로부터 수동 운전 모드로의 전환이 가능하지 않다고 결정되는 경우에도 처리는 유사하게 단계 S27로 진행한다.

단계 S27에서, 로그 생성 유닛(125)은 수동 운전 모드로의 전환을 NG로서 기록한다. 예를 들어, 수동 운전 모드로의 전환이 실패했다는 점을 표시하는 로그가 생성되고 기록된다.

단계 S28에서, 운전 모드 전환 제어 유닛(154)은 비상 대피 모드를 활성화하고 실행한다. 속도에서의 감소를 진행하기 위해 주행 도로의 주변에서의 상황들을 고려하여 운전자의 차량이 도로 측 구역까지 감속되고, 차량이, 예를 들어, 실행되는 비상 대피 모드에 의해, 도로 측으로 긴급히 대피하게 되도록 제어가 수행된다. 그러나, 도로 측에서 자동차를 정지시키는 것은 심지어 긴급 시에서도 바람직한 이용 형태는 아니다. 차량이 수송을 방해하지 않는, 차량이 대피할 수 있는, 가장 가까운 스폿일 수 있는 위치로 차량이 이동되고 주차되는 것이 바람직하다. 그 이유는, 자동 운전의 분포가 진행되고 일어나곤 하던 교통 체증의 발생과 연관하여 차량 흐름이 중단되면, 전체 주행 구역이 자동 운전 차량들로 채워지고, 차량들이 긴급 차량들의 통과를 억제하고, 따라서 수송 인프라스트럭처의 정상 운용을 위해 도로 측 구역을 확보하는 것이 상당히 중요하게 되기 때문이다.

이러한 방식으로, 강제로 차량으로 하여금 정지하게 하는 처리가 비상 대피 모드에서 수행된다. 긴급성의 경우, 주행 경로 상의 가장 가까운 강제 정지 위치가 경로 설정 유닛(151)에 의해 지도 정보에 기초하여 검색되고, 차량으로 하여금 검색된 강제 정지 위치에서 정지하게 하는 처리가 수행된다. 강제 정지 위치로서, 예를 들어, 차량이 정지하는 것을 허용하는 비상 주차 구역, 안전 구역, 상점의 주차 등이 검색된다. 여기서, 도로의 주행 동안 주변 상황들을 고려하는 이유는, 예를 들어, 마진이 없는 단일 교통 차선에서의 수송의 양이 큰 시간대에 교통 차선에서만 차량이 감속되고 긴급히 정지되면, 이것은 도로 상의 교통 체증의 인자가 될 수 있다는 점이다.

비-긴급의 경우, 가장 가까운 주차 영역 또는 서비스 영역이 지도 정보에 기초하여 검색될 수 있다. 미리 결정된 범위에 주차 영역 또는 서비스 영역이 존재하고 차량이 수동 운전을 요구하는 경로를 통과하지 않고 이에 도달할 수 있는 경우, 경로 설정 유닛(151)은 이러한 주차 영역 또는 서비스 영역을 강제 정지 위치로서 설정한다. 미리 결정된 범위에 이러한 주차 영역도 서비스 영역도 존재하지 않는 경우, 또는 차량이, 수동 운전을 요구하는 경로를 통과하지 않고, 이러한 주차 영역 또는 서비스 영역에 도달할 수 없는 경우, 강제 정지 위치는 긴급성의 경우에서의 것과 유사한 방식으로 검색되고 설정될 수 있다.

설정된 강제 정지 위치에서 차량이 정지하게 되도록 운전 보조 제어 유닛(153)은 주행 제어 유닛(33) 등을 제어한다. 이때, 필요에 따라 감속 또는 느린 주행이 수행된다. 그로 인해 운전자가 복귀하는데 어려움을 갖는 인자로서 질병 상황 등에서의 급속한 변경이 발생하는 경우, 검출 시에 또는 자동차의 정지 이후에 이벤트 통지와 함께 SOS 전송이 수행될 수 있다.

강제 정지 위치에서의 자동 정지 이전에 운전자가 수동 운전으로의 전환을 강제로 수행하고 운전자가 이러한 운전으로의 복귀를 강행하는 것 또한 가정된다는 점에 주목한다. 이러한 경우, 운전자가 충분히 각성되지 않은 가능성이 존재하므로 운전자는 단계적 방식으로 수동 운전으로 시프트하도록 허용될 수 있다.

다음으로, 도 12에서의 단계 S21에서의 운전 모드 전환 결정 처리가 도 17에서의 흐름도를 참조하여 설명될 것이다.

단계 S101에서, 제스처 인식 전환 결정 유닛(201)은 운전 상태 검출 유닛(142)으로 하여금 제스처 인식을 사용하여 각성의 정도를 검출하게 한다.

제스처 인식 전환 결정 유닛(201)은, 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과들에 기초하여 운전자의 복귀 이후 내부 상태를 결정하는 것에 의해, 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부를 결정한다.

단계 S102에서, 단속성 운동 정보 전환 결정 유닛(202)은 운전 상태 검출 유닛(142)으로 하여금 안구 거동 분석, 예를 들어, 운전자의 단속성 운동 분석을 수행하는 것에 의해 운전자의 각성의 정도를 검출하게 한다.

단속성 운동 정보 전환 결정 유닛(202)은, 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과들에 기초하여 운전자의 복귀 이후 내부 상태를 결정하는 것에 의해, 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부를 결정한다.

단계 S103에서, 운전 상태 검출 유닛(142)은 운전자로부터의 사운드 응답을 인식하고 운전자의 반응성 및 각성의 정도를 검출하게 된다.

사운드 인식 전환 결정 유닛(203)은, 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과들에 기초하여 운전자의 복귀 이후 내부 상태를 결정하는 것에 의해, 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부를 결정한다.

단계 S104에서, 스티어링 휠 조작 전환 결정 유닛(204)은 운전 상태 검출 유닛(142)으로 하여금 노이즈 주행을 의도적으로 야기하고, 야기된 노이즈 주행에 대한 운전자의 응답에 기초하여 운전자의 반응성 및 각성의 정도를 검출하게 한다.

스티어링 휠 조작 전환 결정 유닛(204)은 운전 상태 검출 유닛(142)에 의해 수행되는 검출의 결과들, 즉, 운전에 대해 작용하는 액션에 대한 운전자의 인식 응답으로서 나타나는 반응의 결과들에 기초하여 운전자의 복귀 이후 내부 상태를 결정하는 것에 의해 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 것이 가능한지 여부를 결정한다.

자동 운전 모드로부터 수동 운전 모드로의 전환을 결정하는 처리가 이러한 4개의 단계들에서의 결정 처리가 수행되도록 수행되는 것에 제한되는 것은 아니라는 점에 주목한다. 예를 들어, 도 17에 도시되는 4개의 결정 처리들 대신에 개별 결정 처리가 수행될 수 있거나, 또는 결정 처리가 추가될 수 있다. 실시예들의 설명이 이러한 4개의 특정 방식들로 제한되더라도, 각성의 정도를 결정하는데 있어서 더 낮은 확률을 갖는, 맥박파들, 발한, 및 체취와 같은, 전술된 다양한 생체 신호들이 조합하여 사용될 수 있고, 운전자에 특정한 관찰가능 정보와 각성의 정도 사이의 상관성의 학습에 대해, 이러한 학습에 대한 교사 데이터로서, 인계가 수행될 때마다 관찰될 관찰가능 정보 및 실제 인계 동안 복귀의 성공 및 각성 정상 추이를 사용하여, 운전자에 특정한 복귀 추이를 보다 정밀하게 추정하는 것이 가능하다.

또한, 도 17에 도시되는 4개의 결정 프로세스들의 순서는 임의로 변경될 수 있다. 여기서, 운전자에 대해 작용하는 효과들에 관하여, 운전자의 수동적 방식에 의존하는 인지 결정의 관찰에만 의존하여 검출이 수행되는 경우, 도로가 단순하고 특히 주의를 요구하지 않는 도로 구획에서의 운전자의 수동적 관찰에서는 어떠한 고유 특징들도 나타나지 않으며, 각성 및 복귀 상태를 결정하는 것이 곤란하다. 한편, 차량 제어 시스템(11)으로부터 운전자에 대해 능동적으로 작용하는 것은, 각성 및 복귀를 결정하기 위해 필요한 관찰가능 상태 관찰 값들이 보다 상당히 구별될 수 있다는 이점을 갖는다.

도 12에서의 단계 S22에서 전환을 수행하는 것이 가능한지 여부의 결정은 도 17에 도시되는 4개의 결정 프로세스들의 모든 결정 결과들에 기초하여 수행될 수 있거나, 또는 이러한 결정 프로세스들의 결정 결과들 중 적어도 하나에 기초하여 수행될 수 있다.

<자동 운전 제어 처리>

다음으로, 차량 제어 시스템(11)에 의해 실행되는 자동 운전 제어 처리의 다른 예가 도 18 내지 도 21에서의 흐름도를 참조하여 설명될 것이다.

도 18에서의 단계 S201 내지 S209에서의 처리는 도 10에서의 단계 S1 내지 S9에서 전술된 처리와 유사하다. 반복된 설명은 적절하게 생략될 것이다.

단계 S201에서는, 운전자의 인증이 수행되고, 단계 S202에서는 로그 기록이 시작된다. 단계 S203에서는 목적지가 취득되고, 단계 S204에서는 주변 정보의 취득이 시작된다.

단계 S205에서는 주행 경로의 설정이 시작되고, 단계 S206에서는 자동화 레벨의 업데이트가 시작된다. 단계 S207에서는 운전자의 모니터링이 시작되고, 단계 S208에서는 학습 처리가 시작된다. 또한, 단계 S209에서는 운전 보조가 시작된다.

도 19에서의 단계 S210에서는, 운전 보조 제어 유닛(153)이 각각의 구획에 대해 허용되는 운전 모드를 전환하면서 계속 주행한다.

이때, 운전 모드 전환 제어 유닛(154)은 통신 유닛(27)을 통해 취득되는 LDM, 교통 정보 등에 기초하여 수동 운전에 복귀할 필요성을 모니터링한다.

자동 운전 모드로부터 수동 운전 모드로의 전환은 수동 운전으로의 복귀와 동일한 의미를 갖는다는 점에 주목한다. 이하, 자동 운전 모드로부터 수동 운전 모드로 전환(시프팅)하는 것은 필요에 따라 수동 운전으로의 복귀라고 지칭된다.

예를 들어, 수동 운전으로 복귀할 필요성의 모니터링 동안 도 13 내지 도 15를 참조하여 위에 설명된 바와 같은 상황들에서 변경이 발생한 경우, 운전 모드 전환 제어 유닛(154)은 스케줄링된 인계 시작 포인트 등을 재설정한다.

단계 S211에서는, 운전 모드 전환 제어 유닛(154)이 자동 운전 모드로의 전환이 수행되었는지 여부를 결정한다.

단계 S211에서 자동 운전 모드로의 전환이 수행되지 않았다고 결정되는 경우, 처리는 단계 S210으로 복귀하고, 다음의 처리가 반복된다.

단계 S211에서 자동 운전 모드로의 전환이 수행되었다고 결정되는 경우, 처리는 S212로 진행한다.

단계 S212에서는, 운전 상태 검출 유닛(142)이 운전자가 자동 운전 모드에서의 조종으로부터 이탈했는지 여부를 결정한다.

단계 S212에서 운전자가 자동 운전 모드에서의 조종으로부터 이탈하지 않았다고 결정되는 경우, 처리는 단계 S210으로 복귀하고, 다음의 처리가 반복된다.

단계 S212에서 운전자가 자동 운전 모드의 조종으로부터 이탈했다고 결정되는 경우, 처리는 단계 S213으로 진행한다.

단계 S213에서는, 운전 상태 검출 유닛(142)이 자동 운전 모드에서의 부 작업 실행 상태 및 운전자의 각성 상태를 추정한다. 부 작업 실행 상태는 부 작업이 실행되었는지 여부를 표현한다.

단계 S214에서는, 운전 상태 검출 유닛(142)이 운전자의 각성이 감소하였는지 또는 운전자가 자동 운전 모드에서의 조종으로부터 이탈했는지 여부를 결정한다.

단계 S214에서 운전자의 각성이 감소되지 않았거나 또는 운전자가 자동 운전 모드에서의 조종으로부터 이탈하지 않았다고 결정되는 경우, 처리는 단계 S210으로 복귀하고, 다음의 처리가 반복된다. 완전-이탈(full-dropping-off)을 동반하지 않는 자동 운전을 이용하여 부 작업이 실행되는 예는, 운전자가 전표 처리, 메일들 기입 등의 조작들을 수행하고 있을 때 통신을 통해 차량 제어 시스템(11)에 계속 접속되는 이동 단말(12) 등의 동일한 스크린에서 다중 작업 스크린으로서 진행을 동반하는 주행 정보가 계속 제공되고, 운전자는 업데이트 정보를 인식하는 조작을 계속하여 주기적으로 수행하는 상태를 표시하고, 이들의 통지는, 일정하게 접근하는 이벤트들에 대한, 다중 작업 스크린 상에서 업데이트된다. 즉, 운전자가 운전으로 복귀하는데 필요한 정보를 취득하면서 부 작업을 실행하는 경우, 그리고 그 시간 동안 운전자의 주행 업데이트 정보에서 이탈이 관찰되지 않는 경우, 처리는 단계 S210으로 복귀하고, 모니터링이 계속된다. 인식 조작은, 예를 들어, PinP로서 디스플레이되는, 접근 지도 상에서 인계 포인트를 더블-터치하는 조작을 포함한다.

단계 S214에서 운전자의 각성이 감소하였거나 또는 자동 운전 모드에서의 조종으로부터 운전자가 이탈한 것으로 결정되는 경우, 처리는 도 20에서의 단계 S215로 진행한다. 자동 운전으로 시프팅 이후 조종으로부터의 완전-이탈의 대표적인 예시적인 경우들은 주기적으로 그리고 시각적으로 주행의 전방 측을 체킹하지 않는, 비디오 시청에 집중하는, 스마트폰 또는 게임에 의해 몰입되는 등의 조작들이다.

단계들 S210 내지 S214에서 운전자는 조종으로부터 이탈하지 않았고, 제2 작업 또한 발생하지 않았다는 점에 주목한다.

단계 S215(도 20)에서는, 운전 모드 전환 제어 유닛(154)이 자동 운전 모드에서 부 작업을 실행하고 있는 운전자가 각성으로 복귀하기 위한 시간을 추정한다. 운전자에 대한 각성 복구 시간의 추정은 도 22에서의 흐름도를 참조하여 차후 설명될 것이다. 운전자에 대한 각성 복구 시간은 단계 S215에서의 처리에 의해 추정된다.

단계 S216에서는, 운전 모드 전환 제어 유닛(154)이, 업데이트된 LDM에 기초하는 주행 도로 상에서, 운전자가 복귀하라고 요구받은, 자동 운전 레벨인 운전자 복귀 요청 레벨을 계산한다.

단계 S217에서는, 운전 모드 전환 제어 유닛(154)이 부 작업의 실행 동안 운전자가 각성하고 복귀하는데 걸리는 시간을 고려하여 운전자 복귀 스폿을 재계산한다. 운전자가 각성하고 복귀하는데 걸리는 시간을 고려한 운전자 복귀 스폿이 부 작업에 따라 재계산된다.

단계 S218에서는, 운전 모드 전환 제어 유닛(154)이 폴링 정보를 업데이트한다. 폴링에 의해 정보를 업데이트하는 경우, 주행 도로의 안전 레벨에 따라 빈도가 결정될 수 있다.

높은 빈도로 프로브 자동차 또는 모니터 카메라에 의해 일상적으로 관리되고, 자동 운전을 위한 전용이며, 직선 도로인 도로 상에서 불규칙 이벤트의 발생 위험이 낮다. 합류시의 사고, 낙석, 도로 표면의 동결이 관찰되는 도로 구획들 또는 사고 발생률이 높은 도로 구획들에 대한 관찰 및 체킹 빈도들을 증가시키는 것이 필요다.

또한, 운전을 동반하는 일시적 변경들로 인해, 시작 포인트에서 가정되는 상황들이 차량이 목적지에 실제로 도달하는 시각에서 변경되고, 운전자가 조기 단계에서 인계를 수행할 것을 요구받는 경우가 존재할 수 있다. 인계 스폿에 도달 이전에 수 분부터 수십 분까지의 범위 내에서, 정보가 스케줄링된 도달 시각에서 업데이트될 수 있고, 재계산이 복수 회 반복될 수 있다.

단계 S219에서는, 운전 모드 전환 제어 유닛(154)이 통지 이전에 운전자의 상태, LDM 업데이트 정보, 환경 상황 등에서의 복귀에 관한 영향들에 관련된 변경들이 존재하는지 여부를 결정한다.

단계 S219에서 복귀에 관한 영향들에 관련된 변경들이 존재하였다고 결정되는 경우, 처리는 단계 S215로 복귀하고, 다음의 처리가 반복된다.

단계 S219에서 복귀에 관한 영향들에 관련된 변경이 존재하지 않았다고 결정되는 경우, 처리는 단계 S220으로 진행한다.

단계 S220에서는, 운전 모드 전환 제어 유닛(14)이 현재 시각이 통지 시각 이전인지 여부를 결정한다. 단계 S20에서 현재 시각이 통지 시각 이전이라고 결정되는 경우, 처리는 단계 S218로 복귀하고, 다음의 처리가 반복된다.

단계 S220에서 현재 시각이 통지 시각 이전이 아니라고, 즉, 통지 시각이 도달했다고 결정되는 경우, 처리는 도 21에서의 단계 S221로 진행한다.

단계 S221에서는, 운전 모드 전환 제어 유닛(154)이 통지 제어 유닛(124)으로 하여금 통지 타이밍에 수동 운전 모드로의 전환에 대한 통지를 제공하게 한다. 여기서 제공되는 통지는 도 12에서의 단계 S20에서의 통지와 유사한 수동 운전 모드로의 시프팅에 대한 통지이다.

단계 S222에서는, 전환 결정 유닛(155)이 운전 모드 전환 결정 처리를 수행한다. 운전 모드 전환 결정 처리에서, 전환이 수행될 수 있는지 여부는 각각의 결정 유닛들, 즉 제스처 인식 전환 결정 유닛(201), 단속성 운동 정보 전환 결정 유닛(202), 사운드 인식 전환 결정 유닛(203), 및 스티어링 휠 조작 전환 결정 유닛(204)에 의해 결정된다. 도 17에서의 전술된 흐름도에서의 처리와 유사한 처리가 단계 S222에서의 운전 모드 전환 결정 처리로서 수행되므로, 그 설명은 생략될 것이다.

단계 S223에서는, 전환 결정 유닛(155)이, 전환 결정 유닛(155)을 형성하는 각각의 결정 유닛들에 의해 획득되는 결정 결과들에 기초하여, 수동 운전으로의 복귀가 어떠한 문제점들도 야기하지 않는지 결정한다.

단계 S223에서 수동 운전으로의 복귀가 어떠한 문제점들도 야기하지 않는다고 결정되는 경우, 처리는 단계 S224로 진행한다.

단계 S224에서는, 운전 모드 전환 제어 유닛(154)이 자동 운전 모드로부터 수동 운전 모드로의 전환을 수행하고, 운전자가 주체적으로 운전을 수행하는 상태인, 운전자 주체적인 제어 상태로 시프트하고, 다음으로 자동 운전 제어 처리를 종료한다. 물론, 자동 운전 자체의 기능들이 종료하더라도, AEBS와 같은, 긴급한 시간에 대한 긴급 자동 브레이크 시스템과 같은 기능들의 일부분이 저장될 수 있다. 그러나, 자동 운전이 종료한 이후에 저장되는 기능으로서의 ADAS 기능은 주로 일반적으로 긴급 시간에서의 손상을 방지할 목적을 위한 것이고, 사고의 완전한 방지는 달성되지 않고, 이것이 부상 등에 이르는 우려가 존재하므로, 이러한 기능의 의존적 이용은 회피되어야 한다. 따라서, 의존성 이용이 차량 제어 시스템(11)에 의해 검출되는 경우, 이러한 기능의 비정상 사용의 페널티가 기록될 수 있다.

단계 S223에서 수동 운전으로의 복귀가 문제점들을 야기한다고 결정되는 경우, 처리는 단계 S225로 진행한다.

단계 S225에서, 운전 모드 전환 제어 유닛(154)이 운전자 각성 처리를 수행한다. 운전자 각성 처리로서, 적어도 운전자를 각성하기 위한 경보의 발행, 비상 대피 모드 활성화의 실행 등이 수행되고, 예를 들어, 도 12에서의 단계들 S24 내지 S28의 처리가 수행된다.

다음으로, 도 21에서의 단계 S222에서의 운전자에 대한 각성 복구 시간을 추정하는 처리가 도 22의 흐름도를 참조하여 설명될 것이다. 운전의 시작 이전에 주행 시작 이전 정보에 응답하여 실제 운전의 시작 이후에 사건의 발생 또는 예상되지 않은 이벤트 발생 통지를 동반하는 경고 모드 변경이 수신되는 경우, 운전자에게 계획되지 않게 운전으로 조기에 복귀하라고 촉구하기 위한 통지, 경보, 또는 필요한 대책을 제공하는 것이 필요하다. 따라서, 운전자에 대한 각성 복구 시간을 추정하는 이러한 처리가 수행된다.

단계 S240에서는, 운전 모드 전환 제어 유닛(154)이, 주행의 시작 이후, 차량이 주행하도록 스케줄링되는 전방 측의 LDM을 업데이트한다. 이때, 주행 정보가 필요에 따라 또한 업데이트된다.

복귀에 대한 통지는 운전자가 자동 운전으로부터 수동 운전으로 전환하는 것이 필요한 스폿으로 다시 추적하는 것에 의해 미리 결정된 기간의 시간보다 조기인 타이밍에서 시작되고, 각성 처리는 주행의 시작 시에 취득되는 LDM 지도 정보에서 미리 설정된 스폿에서 시작된다.

그러나, 주행 환경에서의 일시적 변경들로 인한 공사 또는 낙석의 발생과 같은 예상되지 않은 이벤트들로 인해 도로가 자동 운전 전용 도로임에 관계없이 운전자가 복귀한 각성 상태에서의 수동 운전의 필요성이 존재하는지 여부가 모니터링되고 관리된다.

단계 S241에서는, 운전 모드 전환 제어 유닛(154)이 조종으로부터의 운전자의 이탈로 인한 복귀 지연 위험의 발생을 재계산한다.

단계 S242에서는, 운전 모드 전환 제어 유닛(154)이 위험의 발생을 재계산하는 것에 의해 위험 이전의 것과 비교하여 위험이 증가했는지 여부를 결정한다.

단계 S242에서 재계산 이전의 것과 비교하여 위험이 증가했다고 결정되는 경우, 처리는 단계 S243으로 진행한다.

단계 S243에서는, 운전 모드 전환 제어 유닛(154)이 운전자에 대한 각성 복구 시간을 추정한다.

단계 S244에서 재계산 이전의 것과 비교하여 위험이 증가하지 않았다고 결정되는 경우, 단계 S243의 처리가 생략된다.

위에 설명된 바와 같이, 본 기술의 실시예에서는 각성의 정도를 검출한 결과들 등을 사용하여 운전자의 복귀 이후의 내부 상태를 결정하기 위한 프로시저의 초기 처리로서, 진행 방향을 체킹하면서 전송된 전방 측 포인팅 및 체킹 사인의 검출이 수행된다.

자동 운전 모드로부터 수동 운전 모드로의 전환이 전방 측 포인팅 및 체킹 사인의 이러한 검출에 기초하여 수행되므로, 수동 운전으로의 자동 운전으로부터 인계를 보다 안전하게 수행하는 것이 가능하다.

특히, 운전자의 전방 측 포인팅 및 체킹 사인은 인간 공학의 관점에서 누락을 방지하기 위한 우수한 체킹 방식이고, 열차 및 버스 조작들의 분야들에서 널리 분포되었고, 그 유효성은 높게 인식되었다.

시선 거동들, 사운드 인식 정보, 스티어링 휠 조작 정보 등을 순서대로 추적하는 것을 수행함을 사용하는 운전자의 복귀 이후의 내부 상태의 결정에 의해 운전자가 복귀하는 능력을 정밀하게 결정하는 것이 가능하고, 결과로서, 운전자가 자동 운전 모드로부터 수동 운전 모드로의 인계를 확실하게 수행하도록 허용하는 것이 가능하다.

위에 설명된 바와 같이, 자동 운전으로부터 수동 운전으로 보다 안전하게 전환하는 것이 가능하다.

차량 제어 시스템(11)은, SLAM(simultaneous localization and mapping)과 같은 기술들을 사용하여, 자신의 위치의 자율적인 체킹을 수행하고 환경에 대한 상대적 위치를 정정하기 위한 그 정확성을 증가시킬 수 있고, 취득된 지도 데이터에 관하여 정정 데이터를 추가로 생성할 수 있다는 점에 주목한다.

본 기술은, 자동 운전의 이용이 허용되지 않는 레벨 0으로부터, 운전자의 개입이 순서대로 요구되는 자동 운전 가능 레벨들, 및 추가의 진보된 자동 운전 레벨들 4 및 5까지, 도로 환경에 따라 차량이 주행할 수 있는 자동 운전 레벨들의 분류에 기초하여 설명되었다.

한편, 차량 제어 시스템(11)이 이것이 현재 도로 교통법에 의해 아직 허용되지 않더라도 저속 주행에 대한 이용의 가정에 대한 자동 운전을 고려하는 경우, 이제까지 널리 논의되었던 통상의 고속 안전 주행에 필요한, 다중화된 방식으로 주요 위험들을 커버하는 주행 환경 상황 인식 및 짧은-기간 경로 계획과 같은 인지 결정 및 주행 계획을 수행할 필요성이 반드시 본질적인 것은 아니다. 또한, 법규들의 완화로 인해 그 도입이 진행되는, 모델 코드 인증의 타겟으로서의 관련 분야에서의 저속 주행 차량과 기존의 가벼운 차량 사이의 중간 위치에서 저속 주행으로 제한되는 자율 완전 자동 주행 차량이 가정되는 경우, 저속에서의 이러한 차량의 자동 운전의 가용성은 매우 유리하다.

즉, 저속으로 제한되는 차량의 이용이 가정되고, 자동 운전 시스템이 짧은 기간의 시간에 결정을 행할 수 없는 경우, 자동차가 임계 포인트에 도달의 시각을 의도적으로 지연시키도록 시간 축을 이용하여 정지되거나 또는 감속되면서 시스템이 차량에 필요한 상황들을 확인하는데 필요한 시간이 걸릴 수 있다. 속도가 추가로 더 낮으면, 결과로서 주행 경로를 결정하는데 시간이 걸릴 수 있고, 이것은 차량의 진행을 감속시키는 것에 의해 보상될 수 있다. 즉, 관련 분야에서 고속으로 자동으로 주행하는데 필요하고 일정하게 업데이트되는 LDM인, "보이지 않은 트랙(unviewed track)"에 대응하는 지도 정보가 열악하더라도 차량을 저속에서의 이용으로 제한하는 것에 의해 차량으로 하여금 안전하게 주행하게 하는 것이 가능하다.

임계 포인트는, 예를 들어, 이전에 취득된 LDM의 정보에 의해 지도 상에서, 대응하는 인계가 완료되어야 하는, 최종 인계 포인트를 표시한다는 점에 주목한다. 임계 포인트는, 차량이 그 스폿을 통과할 때 수동 운전으로 상황들에 대처하는 것이 가능하지 않은 경우에, 또는 차량 제어 시스템(11)으로부터의 요청에 따라 운전자의 수동 운전으로의 복귀가 요구되는 경우 수동 운전으로 상황들에 대처하는 것이 가능하지 않은 경우에 위험이 유발될 수 있는 우려가 있는 스폿이다.

수동 운전을 요구하는 차량 제어 시스템(11)의 인자들에 의존하여, 운전자가 수동 운전에 복귀하지 않은 경우 이러한 스폿이 반드시 위험을 직접 동반하는 것은 아니다. 이것은, 차량 제어 시스템(11)에 의해 결정될 수 없는 상황들인, 일부 위험 또는 일부 이벤트가 발생하였으므로 운전자가 수동 운전으로 복귀하는 것을 완료하라고 요구받을 때까지의 스폿에 대응한다.

대응하는 임계 포인트는 차량 제어 시스템(11)이 결정을 행할 수 없거나 또는 차량 제어 시스템(11)이 통상의 순항 속도로 자동 주행하는 것에 대해 확실하지 않으므로 차량 제어 시스템(11)이 결정하는 결정된 스폿이다. 따라서, 차량이 임계 포인트를 통과할 때 운전자가 자신의 차량이 수동 운전으로 복귀할 필요성을 느끼지 않는 상황이 빈번하게 발생할 수 있다.

따라서, 많은 양의 인계의 무시가 그 스폿에서 부주의하게 되는 운전자에 의해 임계 포인트에서 야기되므로 우연히 일어나는 상황들과 함께 차량 제어 시스템(11)이 실제로 결정할 수 없는 위험한 이벤트가 발생하는 경우, 결과로서 큰 사고를 유발하는 위험이 포함된다. 따라서, 운전자의 인계가 임계 포인트에서 확인될 수 없을 때 운전자가 인계를 경시하는 것을 방지하기 위해, 임계 포인트는 인계에서 또는 인계의 시작에서 운전자가 지연할 때 운전자에게 적용될 페널티의 발행을 결정하기 위한 참조 포인트로서 사용될 수 있다.

한편, 고속 주행 환경에서의 하이브리드 이용에는, 도로 인프라스트럭처에서의 교통 체증의 발생과 같은, 인프라스트럭처 기능들을 억제하는 다수의 인자들이 존재하므로, 저속에서만 사용될 수 있는 자동 운전 시스템은 고속도로 환경에서의 직접 이용에 적합하지 않다.

즉, 저속 주행에 전용인 자동 주행 차량은 심지어 추가로 제한되는 주변 인식 기능으로 안전한 이동 및 주행을 실현할 수 있는 한편, 자동 주행 차량은, 자동 운전이 고속 운전에 직접 적용되면, 최적의 장애물 회피 경로 선택과 같은, 고속 처리를 위한 자동 운전을 요구한다. 그러나, 안전 자동 운전에 필요한 원격 인식 및 고속 처리 결정을 수행하는 것이 가능하지 않으므로, 고속 주행이 요구되는 경로를 통과하는 것이 곤란하다.

따라서, 저속에서는, 운전자의 수동 운전 능력에 관계없이 저속 주행으로 제한되는 자동 운전의 이용이 허용된다. 추가로, 특정 속도 이상으로 그 구획을 통과하기를 원하는 운전자가 수동 운전에서의 개입으로 복귀하는 경우에만 주행 속도를 증가시키는 것에 의해 자동화 운전 레벨 3 또는 2에서의 고속 주행의 구획을 통과가 가능하게 되면, 동일한 이동 방식으로 보다 실용적인 이용이 가능하게 되고, 또한, 안전 양태도 또한 확보되고, 추가로, 저속 차량들의 도로 인프라스트럭처로의 진입에 의해 야기되는 교통 체증들을 방지하는 것이 가능한 이점이 존재한다.

즉, 본 기술은 운전자가 주행 구획에 따라 모든 순간마다 변경되는 각각의 도로 구획에 필요한 바와 같이 운전자가 자동 운전 모드로부터 수동 운전 모드로 전환할 때 수동 운전 복귀 능력의 결정에 강조를 두더라도, 본 기술은 저속으로의 자동 운전이 허용되는 형태로 차량이 고속으로 이동되는 경우에 운전자에 의한 수동 운전 복귀 능력의 결정에 대해 확장된 방식으로 이용될 수 있다.

위 설명은 제어에 대한 운전자의 능동적 반응이 확인되는 실시예들에 따른 구성 예들에 대한 것이라는 점에 주목한다. 통지, 제스처 인식, 차량의 주행 자체에 특정 노이즈 주행을 직접 적용하는 추가의 제어의 실시예들이 인계 프로시저들로서 설명되었더라도, 다른 실시예들이 적용될 수 있다. 예를 들어, 가상 현실 효과들과 같은 시각적 효과들이 사용될 수 있고, 스티어링 휠 및 차량의 제어가 분리될 수 있고, 스티어링 휠의 회전 및 토크가 인위적으로 생성될 수 있거나, 또는 스티어링 휠 자체가 회전되지 않을 수 있는 한편 타격에 의존하는 햅틱 방법에 의해 회전의 물리적 느낌이 적용될 수 있다. 추가로, 체킹 프로시저는 전방 체킹에 제한되지 않을 수 있고, 가상 디스플레이로부터의 제스처 인식으로 확장되고 적용될 수 있다.

본 기술은 차량들의 전력 소스들 또는 에너지 공급 소스들에 관계없이 운전의 적어도 일부분을 자동화할 수 있는 다양한 차량들에 적용될 수 있다. 예를 들어, 본 기술은 가솔린-전력 자동차들, 하이브리드 자동차들, 플러그-인 하이브리드 자동차들, 전기 자동차들, 연료 전지 자동차들 등에 적용될 수 있다. 또한, 본 기술은 일반적인 자동차들에 외에도 버스들, 트럭들, 모터사이클들 등에 또한 적용될 수 있다. 특히, 본 기술이 자동 운전과 수동 운전 사이에서 전환할 수 있는 다양한 차량들에 적용되는 경우에 높은 효과들이 달성될 수 있다.

<구성 예>

전술된 일련의 처리는 하드웨어에 의해 실행될 수 있거나 또는 소프트웨어에 의해 실행될 수 있다. 이러한 일련의 처리가 소프트웨어에 의해 실행되는 경우, 이러한 소프트웨어를 형성하는 프로그램들이 컴퓨터 상에 설치된다. 여기서, 이러한 컴퓨터는, 다양한 프로그램들을 설치하는 것에 의해 다양한 기능들을 실행할 수 있는, 전용 하드웨어, 예를 들어, 범용 개인용 컴퓨터에 통합되는 컴퓨터를 포함한다.

도 23은 프로그램을 사용하여 전술된 일련의 처리를 실행하는 컴퓨터의 하드웨어의 구성 예를 도시하는 블록도이다.

이러한 컴퓨터에서는, CPU(central processing unit)(401), ROM(read only memory)(402), 및 RAM(random access memory)(403)가 버스(404)에 의해 서로 접속된다.

입력/출력 인터페이스(405)가 버스(404)에 추가로 접속된다. 입력 유닛(406), 출력 유닛(407), 기록 유닛(408), 통신 유닛(409), 및 디바이스(410)가 입력/출력 인터페이스(405)에 접속된다.

입력 유닛(406)은 입력 스위치, 버튼, 마이크로폰, 촬영 엘리먼트 등을 포함한다. 출력 유닛(407)은 디스플레이, 스피커 등을 포함한다. 기록 유닛(408)은 하드 디스크, 비-휘발성 메모리 등을 포함한다. 통신 유닛(409)은 네트워크 인터페이스 등을 포함한다. 드라이브(410)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리와 같은 이동식 기록 매체(411)를 구동한다.

위에 설명된 바와 같이 구성되는 컴퓨터에서, CPU(401)는, 예를 들어, 기록 유닛(408)에 저장되는 프로그램을 입력/출력 인터페이스(405) 및 버스(404)를 통해 RAM(403) 상에 로딩하고, 이러한 프로그램을 실행한다. 따라서, 위에 설명된 일련의 처리가 수행된다.

컴퓨터(CPU(401))에 의해 실행될 프로그램들은, 예를 들어, 패키징된 매체 등인 이동식 기록 매체(411)에 기록되어 제공될 수 있다. 또한, 프로그램들은, 로컬 영역 네트워크, 인터넷 또는 디지털 위성 방송과 같은, 유선 또는 무선 송신 매체를 통해 제공될 수 있다.

컴퓨터에서는, 이동식 기록 매체(411)를 드라이브(410)에 삽입하는 것에 의해, 프로그램이 입력/출력 인터페이스(405)를 통해 기록 유닛(408)에 설치될 수 있다. 추가로, 프로그램은 유선 또는 무선 송신 매체를 통해 통신 유닛(409)에 의해 수신되어 기록 유닛(408)에 설치될 수 있다. 또한, 프로그램은 ROM(402) 또는 기록 유닛(408)에 사전에 설치될 수 있다.

컴퓨터에 의해 실행되는 프로그램은 본 명세서에서 설명되는 시퀀스에 따라 시계열로 처리되는 프로그램 또는 병렬로 또는 호출 시와 같은 필요한 타이밍으로 처리되는 프로그램일 수 있다는 점에 주목해야 한다.

본 기술의 실시예가 위에 설명된 실시예들에 제한되는 것은 아니고, 다양한 변경들 및 수정들이 본 기술의 범위를 벗어나지 않고 이루어질 수 있다는 점에 주목한다.

예를 들어, 본 기술은 하나의 기능이 네트워크를 통해 복수의 장치들에 의해 공동으로 공유되고 처리되는 클라우드 컴퓨팅의 구성을 채택할 수 있다.

추가로, 위에 언급된 흐름도들에 의해 설명되는 각각의 단계는 하나의 장치에 의해 실행되거나 또는 복수의 장치들에 의해 공유되고 실행될 수 있다.

또한, 하나의 단계에 복수의 프로세스들이 포함되는 경우, 이러한 하나의 단계에 포함되는 복수의 프로세스들은 하나의 장치에 의해 실행되거나 또는 복수의 장치들에 의해 공유되고 실행될 수 있다.

<조합 예들>

본 기술은 다음과 같이 구성될 수 있다.

(1)

차량 제어 디바이스로서,

운전자를 촬영하는 촬영기; 및

를 포함하고, 회로는,

촬영기에 의해 캡처되는 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 제스처 액션을 검출하도록; 그리고

검출된 제스처 액션에 응답하여 운전 모드를 전환하도록 구성된다.

(2)

(1)에 따른 차량 제어 디바이스로서,

회로는 제스처 액션이 검출되는 경우에 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환한다.

(3)

(1) 또는 (2)에 따른 차량 제어 디바이스로서,

회로는, 제스처 액션으로서, 차량 주행 방향을 보면서 차량 주행 방향으로 수행되는 포인팅 및 체킹 액션을 검출한다.

(4)

(1) 내지 (3) 중 어느 하나에 따른 차량 제어 디바이스로서,

포인팅 및 체킹 액션은 운전자의 손가락 끝이 운전자의 시선을 포함하도록 가상으로 설정되는 수직 평면의 근처에 위치되고 운전자의 시선 아래에 또한 위치되는 액션이다.

(5)

(1) 내지 (4) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는 운전자의 손가락 끝, 손, 및 주먹 중 적어도 임의의 것의 액션을 추적하는 것에 의해 포인팅 및 체킹 액션을 검출한다.

(6)

(1) 내지 (5) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는 운전자에 특정한 특성들에 기초하여 제스처 액션을 검출한다.

(7)

(1) 내지 (6) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는 검출된 제스처 액션에 기초하여 운전자에 특정한 특성들을 학습하도록 추가로 구성된다.

(8)

(1) 내지 (7) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는 운전자가 운전자의 좌석에 착석한 이후에 수행되는 제스처 액션을 검출한다.

(9)

(1) 내지 (8) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는 운전 모드를 전환하는 통지가 운전자에게 제공된 이후에 운전자의 착석 액션을 검출하도록 추가로 구성된다.

(10)

(1) 내지 (9) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는, 제스처 액션으로서, 차량 주행 방향을 다시 체킹하는 액션 및 운전자에게로의 통지 또는 경보를 체킹하는 후속 액션을 검출한다.

(11)

(1) 내지 (10) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는 미리 결정된 제스처 액션을 검출한 이후에 운전자에 의한 스티어링 휠을 파지하는 액션을 검출하도록 추가로 구성되고,

회로는 스티어링 휠을 파지하는 액션이 검출되는 경우에 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환한다.

(12)

(1) 내지 (11) 중 어느 하나에 따른 차량 제어 디바이스로서,

회로는 운전자에게로의 프레젠테이션에 대한 운전자의 응답 및 조종 정정의 정확성 중 적어도 하나에 기초하여 운전자의 각성 상태를 검출한다.

(13)

차량 제어 방법으로서,

운전자를 촬영하는 단계;

캡처된 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 제스처 액션을 검출하는 단계; 및

검출된 제스처 액션에 응답하여 운전 모드를 전환하는 단계를 포함한다.

(14)

차량 제어 디바이스로서,

운전자를 촬영하는 촬영 유닛;

촬영 유닛에 의해 캡처되는 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 미리 결정된 제스처 액션을 검출하는 각성 상태 검출 유닛; 및

미리 결정된 제스처 액션이 검출되는 이벤트에 응답하여 운전 모드를 전환하는 운전 모드 전환 유닛을 포함한다.

(15)

(14)에 따른 차량 제어 디바이스로서,

운전 모드 전환 유닛은 미리 결정된 제스처 액션이 검출되는 경우에 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환한다.

(16)

(14) 또는 (15)에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은, 미리 결정된 제스처 액션으로서, 차량 진행 방향을 보면서 차량 진행 방향으로 수행되는 포인팅 및 체킹 액션을 검출한다.

(17)

(16)에 따른 차량 제어 디바이스로서,

포인팅 및 체킹 액션은 운전자의 손가락 끝이 운전자의 시선을 포함하도록 가상으로 설정되는 수직 평면의 근처에 위치되고 운전자의 시선 아래에 또한 위치되는 액션이다.

(18)

(16) 또는 (17)에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은 운전자의 손가락 끝, 손, 및 주먹 중 적어도 임의의 것의 액션을 추적하는 것에 의해 포인팅 및 체킹 액션을 검출한다.

(19)

(14) 또는 (18) 중 어느 하나에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은 운전자에 특정한 특성들에 기초하여 미리 결정된 제스처 액션을 검출한다.

(20)

(14)에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛에 의해 검출되는 미리 결정된 제스처 액션에 기초하여 운전자에 특정한 특성들을 학습하는 학습 유닛을 추가로 포함한다.

(21)

(14) 내지 (20) 중 어느 하나에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은 운전자가 운전자의 좌석 상에 착석된 이후에 수행되는 미리 결정된 제스처 액션을 검출한다.

(22)

(21)에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은 운전 모드를 전환하는 통지가 운전자에게 제공된 이후에 운전자의 착석 액션을 검출한다.

(23)

(14) 내지 (22) 중 어느 하나에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은, 미리 결정된 제스처 액션으로서, 진행 방향을 다시 체킹하는 액션 및 운전자에게로의 통지 또는 경보를 체킹하는 후속 액션을 검출한다.

(24)

(14) 내지 (23) 중 어느 하나에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은 미리 결정된 제스처 액션을 검출한 이후에 스티어링 휠을 파지하는 운전자의 액션을 검출하고,

운전 모드 전환 유닛은 스티어링 휠을 파지하는 액션이 검출되는 경우에 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환한다.

(25)

(14) 내지 (24) 중 어느 하나에 따른 차량 제어 디바이스로서,

각성 상태 검출 유닛은 운전자에게로의 프레젠테이션에 대한 운전자의 응답 및 조종 정정의 정확성 중 적어도 하나에 기초하여 운전자의 각성 상태를 검출한다.

(26)

차량 제어 방법으로서,

운전자를 촬영하는 단계;

캡처된 이미지에 기초하여 운전자가 각성이라는 점을 표시하는 미리 결정된 제스처 액션을 검출하는 단계; 및

미리 결정된 제스처 액션이 검출되는 이벤트에 응답하여 운전 모드를 전환하는 단계를 포함한다.

10 자동 운전 시스템
11 차량 제어 시스템
12 이동 단말
21 주변 촬영 유닛
22 주변 정보 취득 유닛
23 위치 측정 유닛
24 입력 유닛
25 차량 정보 취득 유닛
26 운전자 모니터링 유닛
27 통신 유닛
28 차량 제어 유닛
29 디스플레이 유닛
30 사운드 출력 유닛
31 발광 유닛
33 주행 제어 유닛
34: 차량-내 디바이스 제어 유닛
35 저장 유닛
101 운전자 촬영 유닛
102 생체 정보 취득 유닛
103 시선 검출 유닛
104 인증 유닛
121 주변 모니터링 유닛
122 운전자 모니터링 유닛
123 자동 운전 제어 유닛
124 통지 제어 유닛
125 로그 생성 유닛
126 학습 유닛
141: 운전 거동 분석 유닛
142 운전 상태 검출 유닛
151 경로 설정 유닛
152 자동화 레벨 설정 유닛
153 운전 보조 제어 유닛
154 운전 모드 전환 제어 유닛
155 전환 결정 유닛
201 제스처 인식 전환 결정 유닛
202 단속성 운동 정보 전환 결정 유닛
203 사운드 인식 전환 결정 유닛
204 스티어링 휠 조작 전환 결정 유닛

Claims (13)

1. 차량 제어 디바이스로서,
   운전자를 촬영하는 촬영기; 및
   회로를 포함하고, 상기 회로는,
   상기 운전자의 반응성, 각성의 정도를 검출하고,
   상기 촬영기에 의해 촬영되는 이미지에 기초하여 상기 운전자가 각성이라는 점 및 상기 운전자가 운전이 가능한 상태임을 표시하는 제스처 액션을 검출하고, 상기 제스처 액션은 상기 운전자의 능동적 액션이고,
   검출된 상기 운전자의 반응성 또는 각성의 정도에 기초하여 상기 운전자의 각성 복구 시간을 추정하고,
   상기 제스처 액션이 검출되는 경우 운전 모드를 자동 운전 모드에서 수동 운전 모드로 전환하고, 상기 제스처 액션이 검출되지 않은 경우 전환 NG로 판정하고, 운전 모드를 자동 운전 모드에서 비상 대피 모드로 전환하며,
   상기 운전자의 각성 상태 저하를 검출한 경우 상기 운전자에게 통지 또는 경보를 행하고,
   상기 통지 또는 경보를 받은 상기 운전자의 각성 상태 저하로부터 복귀가 검출된 후라도, 미리 결정된 시간이 경과될 때까지 상기 제스처 액션이 검출되지 않은 경우에는 전환 NG로 판정하고, 운전 모드를 자동 운전 모드에서 비상 대피 모드로 전환하도록 구성되는 차량 제어 디바이스.
2. 삭제
3. 제1항에 있어서,
   상기 회로는, 상기 제스처 액션으로서, 차량 주행 방향을 보면서 차량 주행 방향으로 수행되는 포인팅 및 체킹 액션을 검출하는 차량 제어 디바이스.
4. 제3항에 있어서,
   상기 포인팅 및 체킹 액션은 상기 운전자의 손가락 끝이 상기 운전자의 시선을 포함하도록 가상으로 설정되는 수직 평면의 근처에 위치되고 상기 운전자의 시선 아래에 또한 위치되는 액션인 차량 제어 디바이스.
5. 제4항에 있어서,
   상기 회로는 상기 운전자의 손가락 끝, 손, 및 주먹 중 적어도 임의의 것의 액션을 추적하는 것에 의해 상기 포인팅 및 체킹 액션을 검출하는 차량 제어 디바이스.
6. 제1항에 있어서,
   상기 회로는 상기 운전자에 특정한 특성들에 기초하여 상기 제스처 액션을 검출하는 차량 제어 디바이스.
7. 제6항에 있어서,
   상기 회로는 상기 검출된 제스처 액션에 기초하여 상기 운전자에 특정한 특성들을 학습하도록 추가로 구성되는 차량 제어 디바이스.
8. 제1항에 있어서,
   상기 회로는 상기 운전자가 운전자의 좌석에 착석한 이후에 수행되는 제스처 액션을 검출하는 차량 제어 디바이스.
9. 제8항에 있어서,
   상기 회로는 상기 운전 모드를 전환하는 통지가 상기 운전자에게 제공된 이후에 상기 운전자의 착석 액션을 검출하도록 추가로 구성되는 차량 제어 디바이스.
10. 제1항에 있어서,
    상기 회로는, 상기 제스처 액션으로서, 차량 주행 방향을 다시 체킹하는 액션 및 상기 운전자에게로의 통지 또는 경보를 체킹하는 후속 액션을 검출하는 차량 제어 디바이스.
11. 제1항에 있어서,
    상기 회로는 상기 제스처 액션을 검출한 이후에 상기 운전자에 의한 스티어링 휠을 파지하는 액션을 검출하도록 추가로 구성되고,
    상기 회로는 상기 스티어링 휠을 파지하는 액션이 검출되는 경우에 상기 운전 모드를 자동 운전 모드로부터 수동 운전 모드로 전환하는 차량 제어 디바이스.
12. 제1항에 있어서,
    상기 회로는 상기 운전자에게로의 프레젠테이션에 대한 상기 운전자의 응답 및 조종 정정의 정확성 중 적어도 하나에 기초하여 상기 운전자의 각성 상태를 검출하는 차량 제어 디바이스.
13. 촬영기에 의해 운전자를 촬영하는 단계;
    상기 운전자의 반응성, 각성의 정도 및 상기 촬영기에 의해 촬영된 이미지에 기초하여 상기 운전자가 각성이라는 점 및 상기 운전자가 운전이 가능한 상태임을 표시하는 제스처 액션을 검출하는 단계 - 상기 제스처 액션은 상기 운전자의 능동적 액션임 - ;
    검출된 상기 운전자의 반응성 또는 각성의 정도에 기초하여 상기 운전자의 각성 복구 시간을 추정하는 단계;
    상기 제스처 액션이 검출되는 경우 운전 모드를 자동 운전 모드에서 수동 운전 모드로 전환하고, 상기 제스처 액션이 검출되지 않은 경우 전환 NG로 판정하고, 운전 모드를 자동 운전 모드에서 비상 대피 모드로 전환하는 단계를 포함하고,
    상기 운전자의 각성 상태 저하를 검출한 경우 상기 운전자에게 통지 또는 경보를 행하고,
    상기 통지 또는 경보를 받은 상기 운전자의 각성 상태 저하로부터 복귀가 검출된 후라도, 미리 결정된 시간이 경과될 때까지 상기 제스처 액션이 검출되지 않은 경우에는 전환 NG로 판정하고, 운전 모드를 자동 운전 모드에서 비상 대피 모드로 전환하는, 차량 제어 방법.

Images