KR20210088565A

KR20210088565A - 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램

Info

Publication number: KR20210088565A
Application number: KR1020217013221A
Authority: KR
Inventors: 에이지 오바
Original assignee: 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date: 2018-11-15
Filing date: 2019-10-23
Publication date: 2021-07-14
Also published as: JP7352566B2; EP3882098A4; EP3882098A1; CN112969623A; US20220009524A1; JPWO2020100539A1; US11993293B2; WO2020100539A1

Abstract

차량의 운전자로부터의 수동 운전으로의 전환 거부의 신청에 응답하여 차량의 감속이나 정지 등의 퇴피 제어를 실행한다. 자동 운전과 수동 운전의 전환이 가능한 이동 장치이고, 이동 장치의 운전자의 운전자 정보를 취득하는 운전자 정보 취득부와, 이동 장치의 주위 정보를 취득하는 환경 정보 취득부와, 이동 장치의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와, 환경 정보 취득부가 취득하는 정보에 기초하여, 자동 운전으로부터 수동 운전으로의 전환 지점을 확인하고, 전환 지점에 도달하기 전에 운전자에게 수동 운전 복귀 요구 통지를 실행하는 데이터 처리부를 갖고, 데이터 처리부는, 추가로, 인계 단념 입력에 응답하여 차량의 퇴피 처리를 실행한다.

Description

정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램

본 개시는, 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램에 관한 것이다. 더욱 상세하게는, 자동 운전과 수동 운전의 전환 제어를 행하는 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램에 관한 것이다.

요즘, 자동 운전에 관한 기술 개발이 활발히 행해지고 있다.

자동 운전 기술은, 차량(자동차)에 구비된 위치 검출 수단 등의 다양한 센서를 사용하여, 도로 상을 자동 주행 가능하게 하는 기술이고, 금후, 급속하게 보급될 것이 예측된다.

그러나, 현 상황에 있어서 자동 운전은 개발 단계이고, 100％의 자동 운전이 가능하게 될 때까지는 시간을 요한다고 생각되고, 당분간은, 자동 운전과, 운전자(드라이버)에 의한 수동 운전을, 적절히 전환하여 주행하게 될 것으로 예측된다.

예를 들어, 고속 도로 등, 직선적이고 도로 폭이 충분한 도로에서는, 자동 운전 모드에서의 주행을 행하지만, 고속 도로로부터 나와서 주차장의 선호하는 위치에 차를 세우는 경우나, 도로 폭이 좁은 산길 등에서는 수동 운전 모드로 전환하여 운전자(드라이버)의 조작으로 주행을 행한다고 하는 모드 전환이 필요해질 것으로 예측된다.

차량이 자동 운전을 실행하고 있는 동안에는, 운전자(드라이버)는 차량 주행 방향인 전방으로 시선을 향할 필요가 없고, 예를 들어 졸거나, 텔레비전을 보거나, 책을 읽거나, 혹은 뒤를 향하여 앉아서 뒷좌석의 사람과 회화를 한다고 하는 자유로운 행동이 가능하게 된다.

자동 운전과 수동 운전을 전환하여 주행하는 차량에 있어서, 자동 운전 모드로부터 수동 운전 모드로 전환할 필요가 발생한 경우, 운전자(드라이버)에게 수동 운전을 개시시키는 것이 필요해진다.

그러나, 예를 들어 자동 운전 실행 중에, 운전자가 졸면, 운전자의 각성도가 저하된다. 즉 의식 레벨이 저하된 상태로 된다. 이러한 각성도가 저하된 상태에서 수동 운전 모드로 전환해 버리면, 정상적인 수동 운전을 행할 수 없어, 최악의 경우, 사고를 일으킬 가능성이 있다.

운전의 안전성을 확보하기 위해서는, 운전자의 각성도가 높은 상태, 즉 뚜렷한 의식이 있는 상태에서 수동 운전을 개시시키는 것이 필요해진다.

운전자의 운전 복귀 능력이 불충분한 상태인 채로, 자동 운전 주행 가능 구간으로부터 수동 운전 주행 구간으로 침입하여 자동 운전 기능이 도중에 끊어져 버리면 사고가 발생할 가능성이 있어 위험하다.

이러한 위험을 회피하기 위해서, 예를 들어 운전자의 수동 운전 복귀 능력을 차량측의 시스템이 검출할 수 없는 경우, 차량의 긴급 정지나 감속, 혹은 퇴피 장소로의 이동 주행을 자동적으로 행하는 것의 제안이 이루어지고 있다.

또한, 자동 운전 실행 중에 차량 고장 등의 사태가 발생한 경우에 긴급 정지 등의 제어를 행하는 구성에 대하여 개시한 종래 기술로서, 예를 들어 특허문헌 1(일본 특허 공개 제2017-157067호 공보)이 있다.

상기 문헌에 개시된 구성은, 자동 운전 실행 중의 차량 고장 시의 긴급 정지 처리이고, 수동 운전으로의 전환 시의 대처를 개시한 것은 아니다.

앞으로, 자동 운전 주행 가능 구간은 고속 도로에 한정되지 않고 일반 도로에도 확장될 것으로 예측되고, 자동 운전 주행 가능 구간과, 자동 운전이 허용되지 않는 수동 운전 주행 구간을 교대로 주행할 필요성이 높아질 것으로 추측된다.

이러한 다양한 도로 환경에서, 운전자가 수동 운전으로 복귀할 수 없는 경우에 차량의 긴급정지나 감속, 또는 퇴피 장소로의 이동 등을 확실하게 행하는 것이 필요해진다.

단, 긴급 정지나 감속, 혹은 퇴피 장소로의 이동 주행을 빈번히 실행시키면, 후속차의 추돌 리스크나 지체가 발생하기 쉬워진다고 하는 문제도 있다.

일본 특허 공개 제2017-157067호 공보

본 개시는, 예를 들어 상술한 문제점을 감안하여 이루어진 것이고, 자동 운전으로부터 수동 운전으로의 전환을 안전하게 행하는 것을 가능하게 한 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.

본 개시의 일 실시예에 있어서는, 운전자가, 자동 운전으로부터 수동 운전으로의 전환을 거부하는 것을 가능하게 하고, 거부한 경우에 안전한 제어를 행하는 것을 가능하게 한 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.

본 개시의 제1 측면은,

차량의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와,

상기 인계 단념 입력부로부터의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 데이터 처리부를 갖는 정보 처리 장치에 있다.

또한, 본 개시의 제2 측면은,

자동 운전과 수동 운전의 전환이 가능한 이동 장치이고,

상기 이동 장치의 운전자의 운전자 정보를 취득하는 운전자 정보 취득부와,

상기 이동 장치의 주위 정보를 취득하는 환경 정보 취득부와,

상기 이동 장치의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와,

상기 환경 정보 취득부가 취득하는 정보에 기초하여, 자동 운전으로부터 수동 운전으로의 전환 지점을 확인하고, 상기 전환 지점에 도달하기 전에 상기 운전자에 대하여, 수동 운전 복귀 요구 통지를 실행하는 데이터 처리부를 갖고,

상기 데이터 처리부는, 또한,

상기 인계 단념 입력부로부터의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 이동 장치에 있다.

또한, 본 개시의 제3 측면은,

정보 처리 장치에 있어서 실행하는 정보 처리 방법이고,

데이터 처리부가,

차량의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보가 시스템에 입력되었음을 검출하는 스텝과,

상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행하는 정보 처리 장치 방법에 있다.

또한, 본 개시의 제4 측면은,

이동 장치에 있어서 실행하는 정보 처리 방법이고,

상기 이동 장치는, 자동 운전과 수동 운전의 전환이 가능한 이동 장치이고,

운전자 정보 취득부가, 상기 이동 장치의 운전자의 운전자 정보를 취득하는 운전자 정보 취득 스텝과,

환경 정보 취득부가, 상기 이동 장치의 주위 정보를 취득하는 환경 정보 취득 스텝과,

데이터 처리부가,

상기 환경 정보 취득부가 취득하는 정보에 기초하여, 자동 운전으로부터 수동 운전으로의 전환 지점을 확인하고, 상기 전환 지점에 도달하기 전에 상기 운전자에 대하여, 수동 운전 복귀 요구 통지를 실행하는 스텝과,

상기 이동 장치의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보가 시스템에 입력되었음을 검출하는 스텝과,

상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행하는 정보 처리 방법에 있다.

또한, 본 개시의 제5 측면은,

정보 처리 장치에 있어서 정보 처리를 실행시키는 프로그램이고,

데이터 처리부에,

상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행시키는 프로그램에 있다.

또한, 본 개시의 프로그램은, 예를 들어 다양한 프로그램·코드를 실행 가능한 정보 처리 장치나 컴퓨터·시스템에 대하여, 컴퓨터 가독 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 가독 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터·시스템 상에서 프로그램에 따른 처리가 실현된다.

본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이고, 각 구성의 장치가 동일 하우징 내에 있는 것에 한정하지는 않는다.

본 개시의 일 실시예의 구성에 의하면, 차량의 운전자로부터의 수동 운전으로의 전환 거부의 신청에 응답하여 차량의 감속이나 정지 등의 퇴피 제어를 실행하는 구성이 실현된다.

구체적으로는, 예를 들어 자동 운전과 수동 운전의 전환이 가능한 이동 장치이고, 이동 장치의 운전자의 운전자 정보를 취득하는 운전자 정보 취득부와, 이동 장치의 주위 정보를 취득하는 환경 정보 취득부와, 이동 장치의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와, 환경 정보 취득부가 취득하는 정보에 기초하여, 자동 운전으로부터 수동 운전으로의 전환 지점을 확인하고, 전환 지점에 도달하기 전에 운전자에게 수동 운전 복귀 요구 통지를 실행하는 데이터 처리부를 갖고, 데이터 처리부는, 또한, 인계 단념 입력에 응답하여 최적화한 방법으로 차량의 퇴피 처리를 실행한다.

본 구성에 의해, 차량의 운전자로부터의 수동 운전으로의 전환 거부의 신청에 응답하여 차량의 감속이나 정지 등의 퇴피 제어를 실행하는 구성이 실현된다.

부언하면, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 부가적인 효과가 있어도 된다.

도 1은, 본 개시의 이동 장치의 일 구성예에 대하여 설명하는 도면이다.
도 2는, 본 개시의 이동 장치의 표시부에 표시되는 데이터의 일례에 대하여 설명하는 도면이다.
도 3은, 본 개시의 이동 장치가 실행하는 처리에 대하여 설명하는 도면이다.
도 4는, 본 개시의 이동 장치가 실행하는 처리에 대하여 설명하는 도면이다.
도 5는, 본 개시의 이동 장치에 있어서의 운전자의 행동예에 대하여 설명하는 도면이다.
도 6은, 운전자가 소지하는 단말기에 대한 데이터 표시예에 대하여 설명하는 도면이다.
도 7은, 운전자가 소지하는 단말기에 대한 데이터 표시예에 대하여 설명하는 도면이다.
도 8은, 본 개시의 이동 장치의 구성예에 대하여 설명하는 도면이다.
도 9는, 본 개시의 이동 장치의 구성예에 대하여 설명하는 도면이다.
도 10은, 본 개시의 이동 장치의 센서 구성예에 대하여 설명하는 도면이다.
도 11은, 본 개시의 이동 장치가 실행하는 자동 운전 모드로부터 수동 운전 모드로의 모드 전환 시퀀스의 일례를 도시하는 도면이다.
도 12는, 자동 운전의 동작 시퀀스의 일례에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 13은, 운전자에 의해 목적지가 설정됨으로써 결정된 자동 운전 가부 구간이 고르지 않게 설정되거나, 또는 발생한 주행 루트의 일례를 도시하는 도면이다.
도 14는, 주행 루트에 있어서의 주행 구간 표시를 위한 정보 처리를 설명하기 위한 도면이다.
도 15는, 최종적으로 표시되는 주행 구간 표시의 일례를 도시하는 도면이다.
도 16은, 시간 경과에 수반하는 주행 구간 표시의 변화 예(스크롤 예)를 도시하는 도면이다.
도 17은, 태블릿 단말 기기(이하 단순히 「태블릿」이라고 기재한다)의 화면 상에 표시되는 주행 루트에 있어서의 주행 구간 표시의 일례를 도시하는 도면이다.
도 18은, 운전자가 실제로 태블릿을 사용하여 2차 태스크를 실행하고 있는 상태의 일례를 도시하는 도면이다.
도 19는, 제2 구간에 새롭게 주의 주행 구간 Sd가 발생하여, 점멸 표시로 운전자에게 경고하고 있는 상태를 도시하는 도면이다.
도 20은, 태블릿의 화면 상에 작은 윈도가 팝업 표시되어 있는 상태를 도시하는 도면이다.
도 21은, 본 개시의 정보 단말기의 이용 구성예에 대하여 설명하는 도면이다.
도 22는, 본 개시의 정보 단말기의 이용 구성예에 대하여 설명하는 도면이다.
도 23은, 본 개시의 이동 장치 내의 정보 처리 장치의 구성예에 대하여 설명하는 도면이다.
도 24는, 관측값에 상당하는 가관측 평가값과 복귀 지연 시간(=수동 운전 복귀 가능 시간)의 복수의 관계 정보(관측 플롯)의 분포 예와 복귀 성공률에 대하여 설명하는 도면이다.
도 25는, 자동 운전 모드에 있어서 운전자가 실행하고 있는 처리(2차 태스크)의 종류에 따른 수동 운전 복귀 가능 시간에 대하여 설명하는 도면이다.
도 26은, 자동 운전으로부터 수동 운전으로의 이행 완료까지의 잔존 유예 시간에 대하여 설명하는 그래프를 도시한 도면이다.
도 27은, 운전자의 다른 초기 상태에 따른 상태 변화의 추이와 추이 타이밍의 예에 대하여 설명하는 도면이다.
도 28은, 루트 정보 취득 처리의 시퀀스 예에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 29는, 운전자 정보 취득 처리의 시퀀스 예에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 30은, 루트 정보와 운전자 정보의 취득 데이터에 기초하여 생성되는 데이터에 대하여 설명하는 도면이다.
도 31은, 본 개시의 이동 장치 내의 정보 처리 장치가 실행하는 처리 시퀀스의 일례에 대하여 설명하는 시퀀스도이다.
도 32는, 본 개시의 이동 장치 내의 정보 처리 장치가 실행하는 처리 시퀀스의 일례에 대하여 설명하는 시퀀스도이다.
도 33은, 본 개시의 이동 장치 내의 정보 처리 장치가 실행하는 처리 시퀀스의 일례에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 34는, 본 개시의 이동 장치 내의 정보 처리 장치가 취득하는 LDM(로컬 다이내믹 맵)의 일례에 대하여 설명하는 도면이다.
도 35는, 본 개시의 이동 장치 내의 정보 처리 장치가 실행하는 처리 시퀀스의 일례에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 36은, 본 개시의 이동 장치 내의 정보 처리 장치가 실행하는 처리 시퀀스의 일례에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 37은, 본 개시의 이동 장치 내의 정보 처리 장치의 구성예에 대하여 설명하는 도면이다.
도 38은, 정보 처리 장치의 하드웨어 구성예에 대하여 설명하는 도면이다.

이하, 도면을 참조하면서 본 개시의 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램의 상세에 대하여 설명한다. 또한, 설명은 이하의 항목에 따라서 행한다.

1. 이동 장치와 정보 처리 장치의 구성과 처리의 개요에 대해서

2. 이동 장치의 구체적인 구성과 처리예에 대해서

3. 자동 운전 모드로부터 수동 운전 모드로의 모드 전환 시퀀스에 대해서

4. 자동 운전의 동작 시퀀스 예에 대해서

5. 수동 운전으로의 인계가 곤란한 경우의 대응 처리를 행하는 구성에 대해서

5-1. 수동 운전으로의 인계가 곤란한 경우의 구체예에 대해서

5-2. 수동 운전으로의 인계가 곤란한 경우의 대응을 실행하는 장치의 구성예에 대해서

5-3. 주행 루트 정보에 기초하는 수동 운전 복귀 지점의 검출 및 수동 운전 복귀 시간 추정에 기초하는 수동 운전 복귀 필요 시간 산출 처리의 구체예에 대해서

5-4. 운전자에 의한 수동 운전 인계 단념을 허용한 처리의 시퀀스에 대해서

5-5. 운전자 또는 동승자가 수동 운전으로의 인계 단념의 의사 표시를 행한 경우의 처리에 대해서

5-6. 수동 운전 전환 지점 접근 시의 처리예에 대해서

5-7. 운전자 또는 동승자로부터의 수동 운전 인계의 단념(거부)의 입력에 대한 사전 처리와 사후 처리에 대해서

5-8. 인계 단념 입력에 대한 처리를 실행하는 정보 처리 장치의 구성예에 대해서

6. 정보 처리 장치의 구성예에 대해서

7. 본 개시의 구성의 정리

[1. 이동 장치와 정보 처리 장치의 구성과 처리의 개요에 대해서]

먼저, 도 1 이하를 참조하여, 이동 장치와 정보 처리 장치의 구성과 처리의 개요에 대하여 설명한다.

본 개시의 이동 장치는, 예를 들어 자동 운전과 수동 운전을 전환하여 주행하는 것이 가능한 자동차이다.

이러한 자동차에 있어서, 자동 운전 모드로부터 수동 운전 모드로 전환할 필요가 발생한 경우, 운전자(드라이버)에게 수동 운전을 개시시키는 것이 필요해진다.

그러나, 자동 운전 실행 중에 운전자가 행하는 처리(2차 태스크)는 다양하다.

예를 들어, 핸들로부터 손을 떼고 있을 뿐, 운전 시와 마찬가지로, 자동차의 전방을 주시하고 있는 경우도 있고, 책을 읽고 있는 경우도 있고, 또한, 졸고 있는 경우도 있다.

이들 처리의 차이에 의해, 운전자의 각성도(의식 레벨)은 다른 것이 된다.

예를 들어, 졸면, 운전자의 각성도가 저하된다. 즉 의식 레벨이 저하된 상태로 된다. 이와 같은 각성도가 저하된 상태에서는, 정상적인 수동 운전을 행할 수 없어, 그 상태에서 수동 운전 모드로 전환해 버리면, 최악의 경우, 사고를 일으킬 가능성이 있다.

이를 위해서는, 자동 운전 실행 중인 운전자의 각성도에 따라, 자동 운전으로부터 수동 운전으로의 전환 요구를 행하는 통지 타이밍을 변경할 필요가 있다.

예를 들어, 자동 운전 실행 중에 운전자가 앞을 향하여 도로를 보고 있는 경우에는, 운전자의 각성도는 높은 상태, 즉, 언제나 수동 운전을 개시할 수 있는 상태에 있다.

이러한 경우에는, 수동 운전으로의 전환 통지는, 수동 운전이 필요해지는 시간의 직전의 타이밍에 행하면 된다. 운전자는, 바로 안전한 수동 운전을 개시할 수 있기 때문이다.

그러나, 운전자가 자동 운전 실행 중에 졸고 있는 경우, 운전자의 각성도는 극히 낮은 상태에 있다.

이러한 경우, 수동 운전으로의 전환 통지를 수동 운전이 필요해지는 시간의 직전의 타이밍에 행하면, 운전자는, 의식이 뚜렷하지 않은 상태에서 수동 운전을 개시하지 않을 수 없다. 그 결과, 사고를 발생시킬 가능성이 높아진다. 따라서, 이렇게 각성도가 낮은 경우에는, 보다 이른 단계에서 수동 운전으로의 전환 통지를 행하는 것이 필요해진다.

본 개시의 이동 장치, 또는 이동 장치에 탑재 가능한 정보 처리 장치는, 예를 들어 운전자의 각성도에 따라서 수동 운전으로의 전환 통지 타이밍의 제어를 행한다.

도 1 이하를 참조하여 본 개시의 이동 장치와, 이동 장치에 장착 가능한 정보 처리 장치의 구성과 처리에 대하여 설명한다.

도 1은, 본 개시의 이동 장치의 일례인 자동차(10)의 일 구성예를 도시하는 도면이다.

도 1에 도시하는 자동차(10)에 본 개시의 정보 처리 장치가 장착되어 있다.

도 1에 도시하는 자동차(10)는, 수동 운전 모드와, 자동 운전 모드의 2개의 운전 모드에 의한 운전이 가능한 자동차이다.

수동 운전 모드는, 운전자(드라이버)(20)의 조작, 즉 핸들(스티어링) 조작이나, 액셀러레이터, 브레이크 등의 조작에 기초하는 주행이 행하여진다.

한편, 자동 운전 모드에서는, 운전자(드라이버)(20)에 의한 조작이 불필요하고, 예를 들어 위치 센서나, 그 밖의 주위 정보 검출 센서 등의 센서 정보에 기초하는 운전이 행하여진다.

위치 센서는, 예를 들어 GPS 수신기 등이고, 주위 정보 검출 센서는, 예를 들어 카메라, 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등이다.

또한, 도 1은, 본 개시의 개요를 설명하는 도면이고 주요한 구성 요소를 개략적으로 도시하고 있다. 상세 구성에 대해서는 후단에서 설명한다.

도 1에 도시한 바와 같이, 자동차(10)는, 데이터 처리부(11), 운전자 정보 취득부(12), 환경 정보 취득부(13), 통신부(14), 통지부(15)를 갖는다.

운전자 정보 취득부(12)는, 예를 들어 운전자의 각성도를 판정하기 위한 정보, 운전자의 조작 정보 등을 취득한다. 구체적으로는, 예를 들어 운전자의 얼굴 화상을 촬영하는 카메라, 각 조작부(핸들, 액셀러레이터, 브레이크 등)의 조작 정보 취득부 등에 의해 구성된다.

환경 정보 취득부(13)는, 자동차(10)의 주행 환경 정보를 취득한다. 예를 들어, 자동차의 전후 좌우의 화상 정보, GPS에 의한 위치 정보, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등으로부터의 주위의 장애물 정보 등이다.

데이터 처리부(11)는, 운전자 정보 취득부(12)가 취득한 운전자 정보나, 환경 정보 취득부(13)가 취득한 환경 정보를 입력하고, 자동 운전 중의 차내의 운전자가 안전한 수동 운전이 실행 가능한 상태에 있는지 여부, 또한 수동 운전 중의 운전자가 안전한 운전을 실행하고 있는지 여부 등을 나타내는 안전성 지표값을 산출한다.

또한, 예를 들어 자동 운전 모드로부터 수동 운전 모드로의 전환의 필요가 발생한 경우에, 수동 운전 모드로의 전환을 행하도록, 통지부(15)를 통해 통지하는 처리를 실행한다.

이 통지 처리의 타이밍은, 예를 들어 운전자 정보 취득부(12), 환경 정보 취득부(13)를 입력하여 산출한 최적의 타이밍에 한다.

즉, 운전자(20)가, 안전한 수동 운전을 개시할 수 있는 타이밍에 한다.

구체적으로는, 운전자의 각성도가 높은 경우에는, 수동 운전 개시 시간의 직전, 예를 들어 5초 전에 통지를 행하고, 운전자의 각성도가 낮은 경우에는, 여유를 갖고 수동 운전 개시 시간의 20초 전에 행하는 등의 처리를 행한다. 구체적인 통지에 최적인 타이밍의 산출은 후술한다.

통지부(15)는, 이 통지를 행하는 표시부, 음성 출력부, 혹은 핸들이나 시트의 바이브레이터에 의해 구성되는,

통지부(15)를 구성하는 표시부에 대한 경고 표시의 예를 도 2에 도시한다.

도 2에 도시한 바와 같이, 표시부(30)에는, 이하의 각 표시가 이루어진다.

운전 모드 정보=「자동 운전 중」,

경고 표시=「수동 운전으로 전환하세요」

운전 모드 정보의 표시 영역에는, 자동 운전 모드의 실행 시는 「자동 운전 중」이라는 표시가 행하여지고, 수동 운전 모드의 실행 시는 「수동 운전 중」이라는 표시가 행하여진다.

경고 표시 정보의 표시 영역에는, 자동 운전 모드로 자동 운전을 실행하고 있는 동안에, 이하의 표시를 행하는 표시 영역이다. 또한, 본 실시예에서는 표시 화면 전체를 사용하고 있지만, 화면의 일부 표시여도 된다.

「수동 운전으로 전환해 주십시오」

또한, 이 예는 설명을 명문화한 예이지만, 이러한 텍스트 표시에 한정되지 않고, 예를 들어 픽토그램 등 심볼에 의한 표시를 행해도 된다.

또한, 도 1에 도시한 바와 같이, 자동차(10)는 통신부(14)를 통해 서버(30)와 통신 가능한 구성을 갖는다.

예를 들어, 데이터 처리부(11)에 있어서의 통지 출력의 적정 시간을 산출하는 처리의 일부, 구체적으로는 학습 처리를 서버(30)에 있어서 행하는 것이 가능하다.

이 구체예에 대해서는 후술한다.

도 3은, 본 개시의 이동 장치나 정보 처리 장치가 실행하는 처리의 구체예를 도시하는 도면이다.

도 3에는, 자동 운전 모드에서 자동 운전을 실행하고 있는 동안에, 수동 운전으로의 전환 요구를 행하는 통지의 적정 타이밍의 설정예를 도시하는 도면이고, 이하의 2개의 예의 통지 처리예를 도시하고 있다.

(a) 자동 운전 실행 중인 운전자의 각성도가 높은 경우의 통지 처리

(b) 자동 운전 실행 중인 운전자의 각성도가 낮은 경우의 통지 처리

(a)의 예는, 자동 운전 실행 중에 운전자가 앞을 향하여 도로를 보고 있는 예이다. 이 경우에는, 운전자의 각성도는 높은 상태, 즉, 언제나 수동 운전을 개시할 수 있는 상태에 있다.

이러한 경우에는, 수동 운전으로의 전환 통지는, 수동 운전이 필요해지는 시간의 직전의 타이밍에 행하여도, 운전자는, 바로 안전한 수동 운전을 개시할 수 있다.

(b)의 예는, 운전자가 자동 운전 실행 중에 졸고 있는 경우, 운전자의 각성도는 극히 낮은 상태에 있다.

이러한 경우, 수동 운전으로의 전환 통지를, 수동 운전이 필요해지는 시간의 직전의 타이밍에 행하면, 운전자는, 의식이 뚜렷하지 않은 상태에서 수동 운전을 개시해 버려, 사고를 발생시킬 가능성이 높아진다. 따라서, 이렇게 각성도가 낮은 경우에는, 보다 이른 단계에서, 수동 운전으로의 전환 통지를 행하는 것이 필요해진다.

또한, 예를 들어 택배 차량과 같이 하물실을 갖고, 운전자가 자동 운전 실행 중에 하물실로 이동하여 작업을 행하는 것이 가능한 차량에서는, 수동 운전으로의 전환 요구를 행하는 통지 타이밍은, 예를 들어 도 4에 도시한 바와 같이 이하의 3종류의 경우에 따라 다른 설정으로 하는 것이 바람직하다.

(c) 자동 운전 실행 중인 운전자가 운전석을 떠난 경우의 통지 처리

(b)의 예는, 운전자가 자동 운전 실행 중에 졸고 있는 경우의 예이고, 이 경우, 운전자의 각성도는 극히 낮은 상태에 있다.

(c)의 예는, 운전자가 자동 운전 실행 중에 운전석을 떠나 작업을 하고 있는 경우의 예이고, 이러한 경우, 운전자는 운전석으로 되돌아갈 때까지 시간을 요하게 된다.

이러한 경우, 수동 운전으로의 전환 통지를, 수동 운전이 필요해지는 시간의 직전의 타이밍에 행하면, 운전자가 운전석으로 되돌아가기 전에 수동 운전 구간에 당도해 버릴 가능성이 있다. 따라서, 이렇게 운전자가 운전석을 떠난 경우에는, 보다 이른 단계에서, 수동 운전으로의 전환 통지를 행하는 것이 필요해진다.

또한, 자동차(10)에 승차하고 있는 운전자(드라이버)(20)가, 운전석을 떠난 경우에는, 운전석의 통지부(표시부)(15)에 먼저 도 2를 참조하여 설명한 바와 같은 표시를 행하여도 운전자(20)는 알아차릴 수 없다.

이것을 해결하기 위해서, 운전자(드라이버)(20)가 팔에 장착한 정보 단말기(50), 예를 들어 도 5에 도시한 바와 같은 손목 시계형의 정보 단말기(50)를 통해 통지, 정보 제공을 행한다. 정보 단말기(50)는, 도 2를 참조하여 설명한 것과 마찬가지의 표시 데이터의 표시 처리를 행함과 함께, 추가로, 자동차(10)가 주행 중인 도로의 구간(자동 운전 구간, 수동 운전 구간)의 접근 정보 등을 표시한다. 또한, 알람 출력, 음성 출력, 바이브레이션 기능을 갖고, 다양한 통지, 경고를 운전자(20)에게 알린다.

도 5는, 정보 단말기(50)의 이용예를 도시하는 도면이다. 자동차(10)에 승차하고 있는 운전자(드라이버)(20)는, 자동차(10)가 자동 운전 실행 중에, 도 4의 (a)에 도시한 바와 같이 운전석에 있는 경우도 있지만, 도 4의 (b)에 도시한 바와 같이, 운전석을 떠나, 하물실에서 작업을 행하고 있는 경우도 있다. 그러나, 운전자(20)는, 상시, 정보 단말기(50)를 팔에 장착하고 있고, 정보 단말기(50)에 표시되는 표시 정보나, 출력되는 음성, 알람, 바이브레이션 등을 알아차리는 것이 가능하게 된다. 또한, 이들 장착형 정보 단말기(50)는 차량의 운전자 정보 취득부(12)와 연동하고, 또한 응답 확인 수단으로서 응답 입력 기능을 구비한다. 이 구성에 의해 통지나 경고의 인지 응답이 가능하게 된다. 또한, 후술하는 조기 수동 운전 복귀에 대한 거부 통지를 차량 시스템으로 발신하는 것도 가능하게 된다.

도 6은, 정보 단말기(50)의 표시 정보의 일례를 도시하는 도면이다. 도 6에 나타내는 예는, 먼저 도 2를 참조하여 설명한 통지부(표시부)(15)의 표시예와 마찬가지의 표시예를 도시하고 있다. 정보 단말기(50)에, 이하의 각 표시가 이루어진다.

운전 모드 정보=「자동 운전 중」,

경고 표시=「수동 운전으로 전환해 주십시오」

운전자(20)는, 어디에 있어도 이 표시를 확인하는 것이 가능하게 된다.

또한, 도 7에 도시한 바와 같은 태블릿형의 정보 단말기(50)를 이용하여 통지, 정보 제공을 행하는 구성으로 해도 된다.

[2. 이동 장치의 구체적인 구성과 처리예에 대해서]

이어서, 도 8 이하를 참조하여, 본 개시의 이동 장치의 구체적인 구성과 처리예에 대하여 설명한다.

도 8은, 이동 장치(100)의 구성예를 도시하고 있다. 또한, 이하, 이동 장치(100)가 마련되어 있는 차량을 다른 차량과 구별하는 경우, 자차 또는 자차량이라고 칭한다.

이동 장치(100)는, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 보디계 제어부(109), 보디계 시스템(110), 기억부(111) 및 자동 운전 제어부(112)를 구비한다.

입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 보디계 제어부(109), 기억부(111) 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해, 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는, FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 이동 장치(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.

또한, 이하, 이동 장치(100)의 각 부가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.

입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는, 이동 장치(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 이동 장치(100)의 각 부에 공급한다.

데이터 취득부(102)는, 이동 장치(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 이동 장치(100)의 각 부에 공급한다.

예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은, 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.

또한, 예를 들어 데이터 취득부(102)는, 자차의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 자차의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.

예를 들어, 도 9는, 자차의 외부 정보를 검출하기 위한 각종 센서의 설치예를 도시하고 있다. 촬상 장치(7910, 7912, 7914, 7916, 7918)는, 예를 들어 차량(7900)의 프런트 노즈, 사이드미러, 리어 범퍼, 백도어 및 차실 내의 프런트 글라스의 상부 중 적어도 하나의 위치에 마련된다.

프런트 노즈에 구비되는 촬상 장치(7910) 및 차실 내의 프런트 글라스의 상부에 구비되는 촬상 장치(7918)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드미러에 구비되는 촬상 장치(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼 또는 백도어에 구비되는 촬상 장치(7916)는, 주로 차량(7900)의 후방의 화상을 취득한다. 차실 내의 프런트 글라스의 상부에 구비되는 촬상 장치(7918)는, 주로 선행 차량 또는, 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 사용된다. 또한, 이후 자동 운전에 있어서는 차량의 좌우 회전 시에 보다 광역 범위에 있는 좌우 회전처 도로의 횡단 보행자나 또한 횡단로 접근물 범위까지 확장 이용을 해도 된다.

또한, 도 9에는, 각각의 촬상 장치(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위 a는, 프런트 노즈에 마련된 촬상 장치(7910)의 촬상 범위를 나타내고, 촬상 범위 b, c는, 각각 사이드미러에 마련된 촬상 장치(7912, 7914)의 촬상 범위를 나타내고, 촬상 범위 d는, 리어 범퍼 또는 백도어에 마련된 촬상 장치(7916)의 촬상 범위를 나타낸다. 예를 들어, 촬상 장치(7910, 7912, 7914, 7916)로 촬상된 화상 데이터가 중첩됨으로써, 차량(7900)을 상방으로부터 본 부감 화상, 나아가 차량 주변부를 만곡 평면으로 둘러싸는 전체 주위 입체 표시 화상 등이 얻어진다.

차량(7900)의 프런트, 리어, 사이드, 코너 및 차실 내의 프런트 글라스의 상부에 마련되는 센서(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들어 초음파 센서 또는 레이더이면 된다. 차량(7900)의 프런트 노즈, 리어 범퍼, 백도어 및 차실 내의 프런트 글라스의 상부에 마련되는 센서(7920, 7926, 7930)는, 예를 들어 LiDAR이면 된다. 이들의 센서(7920 내지 7930)는, 주로 선행 차량, 보행자 또는 장애물 등의 검출에 사용된다. 이들 검출 결과는, 또한 상기 부감 표시나 전체 주위 입체 표시의 입체물 표시 개선에 적용을 해도 된다.

도 8로 되돌아가서 각 구성 요소의 설명을 계속한다. 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.

또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서 및 차실 내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉아 있는 탑승자의 착좌 상태 또는 스티어링 휠을 쥐고 있는 운전자의 생체 정보를 검출한다. 생체 신호로서는 심박수, 맥박수, 혈류, 호흡, 심신 상관, 시각 자극, 뇌파, 발한 상태, 헤드부 자세 거동, 눈, 주시, 깜박임, 사케이드, 마이크로사케이드, 고시(固視), 드리프트, 응시, 홍채의 동공 반응 등 다양한 가관측 데이터가 이용 가능하다. 이들, 가관측의 운전 상태를 반영한 생체 활동 가관측 정보는, 관측으로부터 추정되는 가관측 평가값으로서 집약하여 평가값의 로그와 서로 결부된 복귀 지연 시간 특성으로부터 해당 운전자의 복귀 지연 사안의 고유 특성으로서 후술하는 안전성 판별부(155)에서 복귀 통지 타이밍의 산출에 사용한다.

도 10은, 데이터 취득부(102)에 포함되는 차내의 운전자의 정보를 얻기 위한 각종 센서의 예를 도시하고 있다. 예를 들어, 데이터 취득부(102)는, 운전자의 위치, 자세를 검출하기 위한 검출기로서, ToF 카메라, 스테레오 카메라, 시트·스트레인·게이지(Seat Strain Gauge) 등을 구비한다. 또한, 데이터 취득부(102)는, 운전자의 생체 활동 가관측 정보를 얻기 위한 검출기로서, 얼굴 인식기(Face(Head) Recognition), 드라이버·아이·트래커(Driver Eye Tracker), 드라이버·헤드·트래커(Driver Head Tracker) 등을 구비한다.

또한, 데이터 취득부(102)는, 운전자의 생체 활동 가관측 정보를 얻기 위한 검출기로서, 생체 신호(Vital Signal) 검출기를 구비하고 있다. 또한, 데이터 취득부(102)는, 운전자 인증(Driver Identification)부를 구비하고 있다. 또한, 인증 방식으로서는, 패스워드나 비밀번호 등에 의한 지식 인증 외, 얼굴, 지문, 동공의 홍채, 성문 등에 의한 생체 인증도 생각할 수 있다.

통신부(103)는, 차내 기기(104), 그리고, 차외의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 이동 장치(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 이동 장치(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니고, 또한, 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.

예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는, WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는, MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.

또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는, MTC(Machine Type Communication) 단말기)와의 통신을 행한다.

또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하고, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다. 또한, 통신부를 통하여 선도 차량이 될 수 있는 구간 주행 중 전방 주행 차량과 페어링을 행하여, 전방 차 탑재의 데이터 취득부에서 취득된 정보를 사전 주행 간 정보로서 취득하고, 자차의 데이터 취득부(102)의 데이터와 보완 이용을 해도 되고, 특히 선도차에 의한 대열 주행 등에서 후속 대열의 보다 안전성을 확보하는 수단이 된다.

차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기(태블릿, 스마트폰 등) 혹은 웨어러블 기기, 자차에 반입되거나, 혹은 설치되는 정보 기기 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다. 또한, 자동 운전의 보급으로 반드시 탑승원은 착좌 고정 위치에 고정되는 것은 아님을 고려하면, 장래적으로는 비디오 재생기나 게임 기기나 그 밖의 차량 설치로부터 착탈 이용이 가능한 기기에 확장 이용해도 된다. 본 실시예에서는, 운전자의 개재 필요 지점의 정보 제시를 해당하는 운전자에게 한정한 예를 들어 기술을 하고 있지만, 정보 제공은 또한 대열 주행 등에서 후속차로의 정보 제공을 해도 되고, 나아가 여객 수송 합승 버스나 장거리 물류 상용차의 운행 관리 센터에 상시 정보를 제공함으로써, 적절히 원격에서의 주행 지원과 조합하여 이용을 해도 된다.

출력 제어부(105)는, 자차의 탑승자 또는 차외에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.

출력부(106)는, 자차의 탑승자 또는 차외에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.

구동계 제어부(107)는, 각종 제어 신호를 생성하고, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하고, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.

구동계 시스템(108)은, 자차의 구동계에 관한 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워 스티어링 장치 등을 구비한다.

보디계 제어부(109)는, 각종 제어 신호를 생성하고, 보디계 시스템(110)에 공급함으로써, 보디계 시스템(110)의 제어를 행한다. 또한, 보디계 제어부(109)는, 필요에 따라, 보디계 시스템(110) 이외의 각 부에 제어 신호를 공급하고, 보디계 시스템(110)의 제어 상태의 통지 등을 행한다.

보디계 시스템(110)은, 차체에 장비된 보디계의 각종 장치를 구비한다. 예를 들어, 보디계 시스템(110)은, 키리스 엔트리 시스템, 스마트키 시스템, 파워 윈도 장치, 파워 시트, 스티어링 휠, 공조 장치 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 윙커, 포그 램프 등) 등을 구비한다.

기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 이동 장치(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고 넓은 에어리어를 커버하는 글로벌 맵 및 자차의 주위 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.

자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는, 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 의존하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134) 및 동작 제어부(135)를 구비한다.

검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)를 구비한다.

차외 정보 검출부(141)는, 이동 장치(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 외부의 정보의 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 자차의 주위 물체의 검출 처리, 인식 처리 및 추적 처리, 그리고, 물체까지의 거리, 상대 속도의 검출 처리를 행한다. 검출 대상으로 되는 물체에는, 예를 들어 차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다.

또한, 예를 들어 차외 정보 검출부(141)는, 자차의 주위 환경의 검출 처리를 행한다. 검출 대상으로 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 규칙 인식부(152) 및 상황 인식부(153), 그리고, 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.

차외 정보 검출부(141)가 취득하는 정보는, 주행 구간이 중점적으로 자동 운전의 주행이 가능한 구간으로서 상시 갱신된 로컬 다이내믹 맵(LDM)이 인프라로부터 공급된 구간이라면, 주로 인프라에 의한 정보 공급을 받는 것이 가능하게 되고, 또는 해당 구간을 선행 주행하는 차량이나 차량군에 의해 구간 침입에 앞서서 사전에 항상 정보 갱신을 받아서 주행을 하는 일이 있어도 된다. 또한, 인프라로부터 상시 최신의 로컬 다이내믹 맵의 갱신이 행하여지지 않고 있는 경우 등, 구분 대열 주행 등에서 보다 안전한 침입 구간 직전에서의 도로 정보를 얻을 목적으로, 구간 침입 선도 차량으로부터 얻어지는 도로 환경 정보를 보완적으로 더 이용해도 된다. 자동 운전이 가능한 구간인지는, 많은 경우, 이들 인프라로부터 제공되는 사전 정보의 유무에 의해 결정된다. 인프라로부터 제공되는 루트 상의 자동 운전 주행 가부 정보를 구성하는 갱신되는 신선한 로컬 다이내믹 맵(LDM)은 소위 「정보」로서 마치 보이지 않는 궤도를 제공하고 있는 것과 다름없다. 또한, 편의상 차외 정보 검출부(141)는 자차량에 탑재한 것을 전제로 도시를 하고 있지만, 전주차가 「정보」로서 파악한 정보를 이용함으로써, 주행 시의 사전 예측성을 더 높여도 된다.

차내 정보 검출부(142)는, 이동 장치(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태 검출 처리, 탑승자의 검출 처리 및 차내의 환경 검출 처리 등을 행한다. 검출 대상으로 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향, 안구 상세 거동 등이 포함된다.

또한, 자동 운전에 있어서 운전자는 운전 조타 작업으로부터 완전히 이탈한 이용이 장래적으로 상정되고, 운전자는 일시적인 졸기나 다른 작업에 착수하여, 운전 복귀에 필요한 의식의 각성 복귀가 어디까지 진행되었는지 시스템이 파악할 필요가 생긴다. 즉, 종래 생각되고 있었던 드라이버 모니터링 시스템에서는 졸음 등의 의식 저하를 보는 검출 수단이 주였지만, 금후에는 운전자가 운전 조타에 전혀 개재하고 있지 않은 상태로 되기 때문에, 시스템은 운전자의 운전 개재 정도를 조타 기기의 조타 안정성 등으로부터 직접적으로 관측하는 수단이 없어져, 운전자의 정확한 의식 상태가 미지인 상태로부터, 운전에 필요는 의식 복귀 추이를 관측하고, 그 정확한 운전자의 내부 각성 상태를 파악한 뒤에 조타의 자동 운전으로부터 수동 운전으로의 개입 양도를 진행시킬 필요가 있다.

그래서, 차내 정보 검출부(142)에는 주로 큰 2단계의 역할이 있고, 첫 번째의 역할은 자동 운전 중의 운전의 상태의 패시브 감시이고, 두 번째의 역할은 일단 내지 시스템으로부터 복귀의 요청이 나온 이후, 주의 하 운전의 구간 도달까지 수동 운전이 가능한 레벨까지, 운전자의 주변 인지, 지각, 판단과 나아가 조타 기기의 작동 능력의 검출 판단이다. 제어로서 추가로 차량 전체의 고장 자기 진단을 행하고, 그 자동 운전의 일부 기능 고장으로 자동 운전의 기능 저하가 발생한 경우도 마찬가지로 운전자에 의한 조기 수동 운전으로의 복귀를 촉구해도 된다. 여기에서 말하는 패시브 모니터링이란, 운전자에게 의식 상의 응답 반응을 요구하지 않는 종류의 검출 수단을 가리키고, 물리적인 전파나 광 등을 기기로부터 발신하여 응답 신호를 검출하는 것을 제외하는 것은 아니다. 즉, 쪽잠 중 등 무의식 하의 운전자의 상태 모니터링을 가리켜, 운전자의 인지 응답 반응이 아닌 분류를 패시브 방식이라 하고 있다. 전파나 적외선 등을 조사한 반사나 확산 신호를 해석하여 평가하는 액티브 응답 디바이스를 제외하는 것은 아니다. 이에 반하여, 운전자에게 응답 반응을 구하는 의식적 응답을 구하는 것은 액티브라고 하고 있다.

검출 대상으로 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)에 공급한다. 또한, 시스템에 의한 운전자에게 운전 복귀 지시가 나온 후에 운전자가 적확한 기한 시간 내에 수동 운전을 달성할 수 없음이 판명되어, 자 운전인 채로 감속 제어를 행하여 시간 유예를 행하여도 인계가 제시간에 가능하지 않다고 판단된 경우에는, 시스템의 긴급 사태 회피부(171) 등에 지시를 내어, 차량을 퇴피하기 위해 감속, 퇴피·정차 수순을 개시한다. 즉, 초기 상태로서 동일하게 제시간에 가능하지 않은 상황에서도, 차량을 조기에 감속시킴으로써 인계 한계에 도달하는 도달 시간을 얻어 낼 수 있다. 인계 한계에 도달하는 도달 시간을 얻어냄으로써, 시스템에 의한 사상 대처에 시간적 여유가 발생하여, 안전 확보를 위한 대처가 가능하게 된다. 단, 후술하는 대로 과도한 감속이나 서행은 정체 유발 요인이나 추돌 리스크를 높이기 때문에 적용은 제한된다.

차량 상태 검출부(143)는, 이동 장치(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 상태의 검출 처리를 행한다. 검출 대상으로 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고, 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.

자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 이동 장치(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭한다)을 생성한다.

자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 규칙 인식부(152) 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.

상황 분석부(133)는, 자차 및 주위의 상황 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 규칙 인식부(152), 상황 인식부(153), 상황 예측부(154) 및 안전성 판별부(155)를 구비한다.

맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 이동 장치(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라서 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 규칙 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.

교통 규칙 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141) 및 맵 해석부(151) 등의 이동 장치(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차의 주위의 교통 규칙의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차의 주위 신호 위치 및 상태, 자차의 주위의 교통 규제의 내용, 그리고, 주행 가능한 차선 등이 인식된다. 교통 규칙 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.

상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143) 및 맵 해석부(151) 등의 이동 장치(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차의 주위 상황 및 자차의 운전자 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라, 자차의 주위 상황 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭한다)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)로 된다.

인식 대상으로 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 자차의 운동 특성을 결정짓는 화물 적재량이나 화물 적재에 수반하는 차체의 무게 중심 이동, 타이어압, 브레이크 제동 패드 마모 상황에 수반하는 제동 거리 이동, 적재물 제동으로 야기되는 화물 이동 방지의 허용 최대 감속 제동, 액체 탑재물에 수반하는 커브 주행 시의 원심 완화 한계 속도 등 차량 특유, 나아가 적재 화물 특유 조건과 나아가 노면의 마찰 계수나 도로 커브나 구배 등, 완전히 동일한 도로 환경이어도 차량 자체의 특성, 나아가 적재물 등에 따라서도 제어에 요구되는 복귀 개시 타이밍은 다르기 때문에, 그 다양한 조건들의 수집을 행하여 학습하여 제어를 행하는 최적 타이밍에 반영할 필요가 있다. 차량의 종류나 적재물에 따라서 제어 타이밍을 결정함에 있어서 단순하게 자차량의 이상 유무 및 내용 등을 관측 모니터링하면 되는 내용은 아니다. 운송 수송업 등에서, 적재물 고유의 특성에 따라서 일정한 안전성을 확보하기 위하여 바람직한 복귀의 유예 시간의 가산을 정하는 파라미터를 미리 고정값으로 하여 설정을 해도 되고, 반드시 모든 통지 타이밍 결정 조건을 자기 누적 학습으로부터 일률적으로 정하는 방법을 취하지는 않아도 된다.

인식 대상으로 되는 자차의 주위 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로 구성 및 노면의 상태, 그리고, 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상으로 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고, 운전 조작 등이 포함된다. 차량을 안전하게 주행시킨다는 것은, 그 차량의 고유한 상태에서 탑재하고 있는 적재량이나 탑재부의 차대 고정 상태, 무게 중심의 편중 상태, 최대 감속 가능 가속값, 최대 부하 가능 원심력, 운전자의 상태에 따라서 복귀 응답 지연량 등에 따라 대처가 요구되는 제어 개시 포인트가 크게 달라지게 된다.

상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라, 상황 인식용 맵을 포함한다)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.

상황 예측부(154)는, 맵 해석부(151), 교통 규칙 인식부(152) 및 상황 인식부(153) 등의 이동 장치(100)의 각 부로부터 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차의 주위 상황 및 운전자의 상황 등의 예측 처리를 행한다.

예측 대상으로 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상의 발생 및 주행 가능 거리 등이 포함된다. 예측 대상으로 되는 자차의 주위 상황에는, 예를 들어 자차의 주위의 동물체의 거동, 신호의 상태의 변화 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상으로 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸 상태 등이 포함된다.

상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 규칙 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.

안전성 판별부(155)는, 운전자의 복귀 행동 패턴이나 차량 특성 등에 따른 최적 복귀 타이밍을 학습하여, 그 학습 정보를 상황 인식부(153) 등에 제공한다. 이에 의해, 예를 들어 미리 정해진 일정 이상의 비율로 운전자가 정상적으로 자동 운전으로부터 수동 운전으로 복귀하는 데 요하는 통계적으로 구해진 최적 타이밍을 운전자에게 제시하는 것이 가능하게 된다.

루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 이동 장치(100)의 각 부로부터 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 지체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 몸 상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.

행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 이동 장치(100)의 각 부로부터 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 주행하기 위한 자차 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.

동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 이동 장치(100)의 각 부로부터 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차 동작을 계획한다. 예를 들어, 동작 계획부(163)는 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.

동작 제어부(135)는, 자차의 동작 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172) 및 방향 제어부(173)를 구비한다.

긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.

가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속, 또는, 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다. 또한, 긴급 사태가 발생할 수 있는 케이스는 주로 2개 있다. 즉, 자동 운전 중의 주행 루트에서 본래라면 인프라로부터 취득한 로컬 다이내믹 맵 등에서 안전하다고 되어 있던 도로를 자동 운전 중에 돌발적인 이유로 예상 외의 사고가 발생하여, 운전자의 긴급 복귀가 제시간에 이루어지지 않는 케이스와, 자동 운전으로부터 수동 운전으로 운전자가 적확하게 복귀하는 것이 곤란해지는 케이스가 있다.

방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하여, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.

[3. 자동 운전 모드로부터 수동 운전 모드로의 모드 전환 시퀀스에 대해서]

이어서, 자동 운전 모드로부터 수동 운전 모드로의 인계 시퀀스에 대하여 설명한다.

도 11은, 자동 운전 제어부(112)에 있어서의 자동 운전 모드로부터 수동 운전 모드로의 모드 전환 시퀀스의 일례를 개략적으로 도시하고 있다.

스텝 S1은, 운전자가 운전 조타로부터 완전 이탈의 상태에 있다. 이 상태에서, 운전자는, 예를 들어 쪽잠, 혹은 비디오 감상, 게임에 집중, 태블릿, 스마트폰 등의 시각 툴을 사용한 작업 등의 2차 태스크를 실행할 수 있다. 태블릿, 스마트폰 등의 시각 툴을 사용한 작업은, 예를 들어 운전석을 어긋나게 한 상태에서, 혹은 운전석과는 다른 좌석에서 행하는 것도 생각된다.

이들 운전자의 상태에 따라서는, 루트 상의 수동 운전 복귀가 요구되는 구간에 접근했을 때에, 운전자가 복귀할 때까지의 시간은 그때그때의 작업 내용에 의해 크게 변동할 것이 상정되고, 사상 접근 직전의 통지에서는 복귀까지 시간이 부족하거나, 사상 접근에 대하여 여유를 보고 너무 일찍 통지를 한 경우, 실제로 복귀에 필요한 타이밍까지의 시간이 길어 너무 비거나 하는 일이 발생한다. 그 결과, 정확한 타이밍에 통지가 행하여지지 않는 상황이 반복하여 일어나면, 운전자는 시스템의 통지 타이밍에 대한 타이밍의 신뢰성이 상실되고, 통지에 대한 의식이 저하되어, 결과적으로 운전자의 적확한 대처가 소홀해진다, 그 결과, 인계가 잘 행하여지지 않을 리스크가 높아짐과 동시에, 안심한 상태에서의 2차 태스크 실행의 저해 요인이 되기도 한다. 그래서, 운전자가 통지에 대한 적확한 운전 복귀의 대처를 개시하기 위해서는, 통지 타이밍의 최적화를 시스템이 행할 필요가 있다.

스텝 S2는, 앞서 도 2를 참조하여 설명한 바와 같은 수동 운전 복귀 요구 통지의 타이밍이다. 운전자에 대하여, 진동 등의 동적인 햅틱스나 시각적 혹은 청각적으로 운전 복귀가 통지된다. 자동 운전 제어부(112)에서는, 예를 들어 운전자의 정상 상태가 모니터링되어서, 통지를 낼 타이밍을 파악하고, 적당한 타이밍에 통지가 이루어진다. 즉, 전단의 패시브 모니터링 기간에서 운전자의 2차 태스크의 실행 상태가 상시 패시브로 모니터링되고, 통지의 최적의 타이밍의 최적 타이밍을 시스템은 산출할 수 있고, 스텝 S1의 기간의 패시브 모니터링을 상시 계속적으로 행하고, 복귀 타이밍과 복귀 통지는, 운전자의 고유 복귀 특성에 맞추어 행하는 것이 바람직하다.

즉, 운전자의 복귀 행동 패턴이나 차량 특성 등에 따른 최적 복귀 타이밍을 학습하여, 미리 정해진 일정 이상의 비율로 운전자가 정상적으로 자동 운전으로부터 수동 운전으로 복귀하는 데 요하는 통계적으로 구한 최적 타이밍을 운전자에게 제시하는 것이 바람직하다. 이 경우, 통지에 대하여 운전자가 일정 시간 동안에 응답하지 않은 경우에는, 알람의 울림 등에 의한 경고가 이루어진다.

스텝 S3에서는, 운전자가, 착좌 복귀했는지 확인된다. 스텝 S4에서는, 얼굴이나 사케이드 등의 안구 거동 해석에 의해, 운전자의 내부 각성도 상태가 확인된다. 스텝 S5에서는, 운전자의 실조타 상황의 안정도가 모니터링된다. 그리고, 스텝 S6에서는, 자동 운전으로부터 수동 운전으로의 인계가 완료된 상태로 된다.

[4. 자동 운전의 동작 시퀀스 예에 대해서]

이어서, 도 12에 도시하는 흐름도를 참조하여, 자동 운전의 동작 시퀀스의 일례에 대하여 설명한다.

도 12에 도시하는 흐름도는, 이동 장치(100)를 실행하는 자동 운전의 동작 시퀀스를 설명하는 흐름도이다.

먼저, 스텝 S11에 있어서, 운전자 인증이 행하여진다. 이 운전자 인증은, 패스워드나 비밀번호 등에 의한 지식 인증, 혹은 얼굴, 지문, 동공의 홍채, 성문 등에 의한 생체 인증, 나아가 지식 인증과 생체 인증이 병용되어서 행하여진다. 이렇게 운전자 인증이 행해짐으로써, 복수의 운전자가 동일한 차량을 운전하는 경우에도, 각 운전자에게 대응지어서 통지 타이밍을 결정하기 위한 정보의 축적을 행하는 것이 가능하게 된다.

이어서, 스텝 S12에 있어서, 운전자에 의해 입력부(101)가 조작되고, 목적지가 설정된다. 이 경우, 인스트루먼츠 패널의 표시에 기초하여 운전자의 입력 조작이 행하여진다.

또한, 본 실시예로서는 차량에 승차하여 여정 설정을 상정한 경우의 사례를 설명하고 있지만, 차량에 승차하기 전에 사전에 스마트폰이나 자택을 나오기 전에 개인용 컴퓨터로부터 원격 사전 예약 설정 등을 행하여도 되고, 나아가 스케줄표에 준하여 차의 시스템이 운전자가 상정한 스케줄을 따라 프리플래닝 설정을 행하여, 도로 환경의 LDM 정보, 즉 차량이 주행하는 도로의 주행 지도 정보를 고밀도로 또한 상시 갱신하는 소위 로컬 다이내믹 맵(LDM) 정보 등을 갱신 취득하여 승차 시나 그 전이라도 컨시어지적으로 실제의 주행 어드바이스 표시 등을 추가로 행하여도 된다.

이어서, 스텝 S13에 있어서, 주행 루트 상의 주행 구간 표시가 개시된다. 이 주행 구간 표시는, 인스트루먼츠 패널에 표시되는 것 외에, 예를 들어 운전자가 2차 태스크를 행하는 태블릿 등에도 작업 윈도와 나란히 표시된다. 이에 의해, 작업 윈도에서 작업을 행하고 있는 운전자는, 주행 루트의 운전자 개재 필요 구간 및 자동 운전 가능 구간을 현재 지점으로부터의 도달 예측 시간 축에서 용이하게 인식 가능하게 된다.

이 주행 구간 표시에서는, 전방 예정과 각 지점으로의 접근 정보의 제시가 이루어진다. 이 주행 구간 표시에 있어서는, 주행 루트의 운전자 개재 필요 구간 및 자동 운전 가능 구간이, 현재 지점으로부터의 도달 예측 시간 축에서 표시된다. 그리고, 운전자 개재 필요 구간에는, 수동 운전 구간, 자동 운전으로부터 수동 운전으로의 인계 구간 및 자동 운전으로부터의 주의 주행 구간이 포함된다. 이 주행 구간 표시의 상세에 대해서는, 후술한다.

이어서, 스텝 S14에 있어서, LDM 갱신된 정보의 취득이 개시된다. 이 LDM 갱신된 정보의 취득에 수반하여, 주행 구간 표시의 내용을 최신의 상태로 변경 가능하게 된다. 이어서, 스텝 S15에 있어서, 주행이 개시된다. 이어서, 스텝 S16에 있어서, 자차의 위치 정보와 취득 LDM 갱신된 정보에 기초하여, 주행 구간 표시의 표시가 갱신되어 간다. 이에 의해 주행 구간 표시는, 주행에 수반하여, 각 구간이 자차에 다가오듯이, 스크롤 표시되게 된다.

주행을 수반하는 상대적으로 접근하는 전방의 주행 환경과 해당 자차량의 인계에 필요 타이밍 등의 정보의 제시 수단은, 스크롤 수단에 한정될 필요는 없고, 그 밖의 방법으로서는 임박하는 시간 간격이 직감적, 명시적 수단으로 또한 오인이 적게 언제 운전으로 복귀에 착수해야 하는지 알 수 있는 수단이 바람직하다. 예를 들어, 모래시계를 모방한 시간 제시 방법이나, 크로노그래프 형식의 손목 시계 형태로 인계 잔존 시간을 이용자 장착 기기에 직접 제시하는 수단을 개재해도 된다.

이어서, 스텝 S17에 있어서, 운전자 상태의 모니터링이 된다. 이어서, 스텝 S18에 있어서, 사상 변화 대응 처리가 행하여진다. 이 사상 변화 대응 처리에는, 주행 루트 중에 이미 존재하고 있는 자동 운전 모드와 수동 운전 모드의 전환 지점 혹은 주의 주행 구간이 임박해 온 경우에 대응하기 위한 모드 전환 처리, 주행 루트 중에 모드 전환 지점 혹은 주의 주행 구간의 운전자 개재 필요 구간이 새롭게 발생한 경우에 대응하기 위한 사상 발생 처리 등이 포함된다. 이후, 스텝 S16으로부터 스텝 S18의 처리가 적절히 반복된다.

「주행 구간 표시의 상세」

도 13은, 운전자에 의해 목적지가 설정됨으로써 결정된 주행 루트의 일례를 도시하고 있다. 이 주행 루트에는, 자동 운전 가능 구간 Sa와, 수동 운전 구간 Sb와, 자동 운전으로부터 수동 운전으로의 인계 구간 Sc와, 자동 운전으로부터의 주의 주행 구간 Sd가 존재한다. 여기서, 인계 구간 Sc는 수동 운전 구간 Sb의 직전에 반드시 존재하고, 운전자는 수동 운전으로의 복귀 자세에 있을 것이 필요해진다. 또한, 주의 주행 구간 Sd는, 수동 운전으로의 복귀 자세에 있는 운전자의 주의 감시 하에 있어서 자동 운전인 채로 감속하여 주행이 가능한 구간이다.

도시의 예에 있어서, 자동 운전 가능 구간 Sa는 녹색으로 나타나고, 수동 운전 구간 Sb는 적색으로 나타나고, 인계 구간 Sc 및 주의 주행 구간 Sd는 황색으로 나타나 있다. 또한, 편의상, 각 색은 각각의 모양으로 나타내었다.

센터 인포메이션 디스플레이나 태블릿 등의 표시 디바이스에 있어서의 주행 구간 표시에 있어서는, 상술한 바와 같은 주행 루트의 각 구간이, 현재 지점으로부터의 도달 예측 시간 축으로 표시된다. 자동 운전 제어부(112)는, 주행 루트 정보 및 교통 정보에 기초하여 주행 루트에 있어서의 주행 구간 표시를 위한 정보 처리를 한다.

도 14의 (a)는, 주행 루트의 각 구간을 현재 지점으로부터의 이동 거리 축에서 일정 스케일로 나타내고 있다. 도 14의 (b)는, 각 지점에 있어서의 평균적 도로 교통의 흐름 속도 v(t)를 나타내고 있다. 도 14의 (c)는, 이동 거리 축으로 나타낸 각 구간을, 속도 v(t)를 사용하여 시간 축으로 변환한 것이다. 이에 의해, 주행 루트의 각 구간은, 현재 지점으로부터의 도달 예측 시간 축에서 나타내게 된다. 즉, 주행 루트의 물리적 거리를 해당 구간별 평균 속도로 제산한 시간 축으로 나타낼 수 있다.

이 실시 형태에 있어서는, 주행 구간 표시되는 전체 구간을, 도 14의 (d)에 도시한 바와 같이 3개의 구간으로 분할하고, 각 구간의 시간 축을 변화시키고 있다. 즉, 현재 지점으로부터 제1 지점(시간 t0, 예를 들어 10분 정도)까지의 제1 구간은, 시간 리니어 표시 근방 구간으로서, 제1 시간 축으로 표시한다. 예를 들어, 시간 t0은, 일반적인 운전자가 2차 태스트를 종료하여 운전 복귀할 때까지 필요 충분한 시간으로 설정된다. 주행에 의해 접근하는 근방 구간은 마치 일정 속도로 진행하는 지도 상에 나타내는 것과 동등한 시각적 직감 효과가 있기 때문에, 운전자는 사상 접근에 수반하는 적확한 운전 복귀의 준비를 개시할 수 있고, 어느 정도 정확하게 복귀를 개시할 포인트를 감각적으로 파악할 수 있는 장점이 있다. 즉 이 구간의 표시 목적은 운전자의 적확 복귀 포인트의 개시 판단 정보를 이용자에게 제공하는 데 있다.

또한, 제1 지점(시간 t0)으로부터 제2 지점(시간 t1, 예를 들어 1시간 정도)까지의 제2 구간은, 시간의 역수 표시 구간으로서, 제1 시간축으로부터 이 제1 시간 축에 대하여 소정의 비율로 축소된 제2 시간 축까지 순차 변화한 시간 축으로 표시한다. 이 제2 구간의 표시 목적은, 주로 앞의 제1 구간과 동등 스케일 배율로 표시를 하면, 좁은 표시 스페이스에 장기 기간의 표시가 곤란해지기 때문에, 보다 장기 기간의 도로 상황을 좁은 표시로 운전자에게 정확하게 제공하기 위한 것이다. 이렇게 함으로써, 운전자는 주행에 수반하여 어느 일정 앞의 구간에서 어디까지의 지점은 운전 개재가 요구되지 않아도 되는지를 파악을 용이하게 할 수 있게 되고, 2차 태스크로의 종사를 계획적으로 행할 수 있는 장점이 있다. 운전 개재의 완급 조절이 되고, 또한 제3자와의 의견 교환이 수반되는 2차 태스크 등에서는 운전자의 2차 태스크로부터의 해방 플래닝 등에서의 중요한 정보 제시의 역할을 한다.

여기서, 도 14의 (d)에 있어서, 이 제2 표시 구간의 설정 방법에 대하여 기술한다. 삼각형의 높이를 h0이라 했을 때, 그 선단으로부터 h만큼 앞의 지점의 시간 t는, 이하의 (1) 식으로 구해진다.

t=t0*h0/h ···(1)

또한, 제2 지점(시간 t1)에 있어서의 제2 시간 축은, 제1 시간 축에 대하여, hs/h0의 비율로 축소된 것이 된다. 예를 들어, hs=h0/8인 경우, 축소율은, 1/8이 된다.

이상에 나타내는 제2 표시 구간의 표시는, 차속이 일정하게 주행하고 있는 경우라면, 지도 상의 주행 직선 신장 표시 구간을 진행 방향으로 비스듬하게 기울인 지도를 본 표시, 또는 도로 평면 전방을 비스듬하게 본 상태에 상당한다. 바꿔 말하면, 이 표시 구간의 시각적 효과가 표시 상고 위치에서 원근을 직감적으로 알 수 있기 때문에, 화면 상에 정확한 위치 표시의 눈금 등을 표시하지 않더라도 감각적 거리를 파악 용이하게 할 수 있는 표시라고도 할 수 있다. 그리고 원방의 구간은 축소되지만, 주행으로 곧 도달할 지점은 아니기 때문에, 대강의 예측은 중요해지지만, 근방점만큼 엄밀한 도착 시각 정보를 운전자가 감각적으로 파악할 필요는 없기 때문에, 2차 태스크 실행 계획을 함에 있어서도 적합하다.

또한, 제2 지점(시간 t1)으로부터 제3 지점(시간 t2)까지의 제3 구간은, 시간 리니어 표시 원방 구간으로서, 제2 시간 축(축소율 hs/h0)으로 표시한다. 이렇게 3개의 구간으로 분할하여 표시함으로써, 운전자는, 한정된 표시 스페이스에서, 시간적으로 근방의 구간 정보를 상세하게 알 수 있음과 함께, 시간적으로 보다 멀리까지의 구간 정보를 아는 것이 가능하게 된다. 또한, 제2 구간의 표시 형태인 채로 원방부를 표시하면, 사람의 시각 분해능, 나아가 시스템의 표시 분해능 한계 이하로 되고, 2차 태스크의 계획 판단에 필요한 정보를 판별할 수 없게 되고, 표시 기능의 의미가 상실된다. 그래서, 직감적으로 시간의 구간 감각을 충분히 파악할 수 있고, 필요한 개재 구간, 불필요 구간 구분이 적절하게 표시되는 정도의 단계에서 표시 스케일의 축소를 종료하고, 그 이후의 구간은 다시 일정 스케일로 되돌린 표시를 행하는 것이 가장 효과적은 표시가 된다.

또한, 차량 제어 시스템(100)은, 시간 t0, t1, t3의 디폴트값을 구비하고 있다. 장거리 운전과 근거리 운전에서 시간 t0, t1, t3의 값을 따로 하는 것도 생각되므로, 디폴트값은 1개에 한정되는 것은 아니고, 복수 종류를 구비하고 있어서, 운전자(유저) 혹은 시스템이 주행 루트에 따라서 선택적으로 사용하도록 되어도 된다. 또한, 시간 t0, t1, t3의 값을, 운전자(유저)가 임의로 설정할 수 있도록 하는 것도 생각된다.

도 15의 (a), (b)는, 최종적으로 표시되는 주행 구간 표시의 일례를 도시하고 있다. 또한, 화살표의 길이에 의해, 시간 축이 리니어인지 여부, 나아가 시간 축의 축소율의 변화가 나타나 있다. 도 15의 (a)의 경우에는, 제1 구간, 제2 구간 및 제3 구간의 모든 구간이 제1 폭 그대로 표시되어 있다.

한편, 도 15의 (b)의 경우에는, 현재 지점으로부터 제1 지점(시간 t0)까지의 제1 구간은, 제1 폭으로 표시되고, 제1 지점(시간 t0)으로부터 제2 지점(시간 t1)까지의 제2 구간은, 제1 폭으로부터 이 제1 폭에 비하여 좁은 제2 폭까지 순차 변화한 폭으로 표시되고, 제2 지점(시간 T1)으로부터 제3 지점(시간 T2)까지의 제3 구간은, 제2 폭으로 표시된다. 이에 의해, 운전자는, 제1 구간에 대한 제2 구간 및 제3 구간의 시간 축의 축소의 정도를 시각적으로 인식하는 것이 가능하게 된다. 즉, 도 14에서의 표시 형태는 진행 방향의 축소율만을 배려한 표시이지만, 추가로 표시 정보의 진행 방향에 대한 횡단 가로 폭을 의사적으로 원근에 맞춰서 폭을 바꿈으로써, 도로나 지도의 진행에 따라 무한 방향을 향하여 보는 것과 동일한 원근 효과가 얻어져, 운전 개재 필요 구간의 분포가 화면을 힐끗 보는 것만 보다 직감적으로 파악이 용이하게 된다. 특히, 제2 구간만을 반시계 방향으로 회전하여 본 경우, 마치 일정 속도로 주행한 경우의 도로 전방의 도로 폭과 각 해당 지점의 도달 시간에 필적하므로, 정확한 위치 눈금을 눈으로 보아 판단하지 않아도, 각 지점까지의 도달 실감을 직감적으로 파악할 수 있고, 시간 배분이 가능하게 되는 표시 형태라고 할 수 있다.

또한, 예를 들어 제3 구간과 같이 축소율 hs/h0이 작은 부분에서는, 짧은 시간 길이의 구간을 그대로의 시간의 길이로 표시하면, 그 구간이 매우 가늘게 표시되어, 운전자의 인식이 곤란해질 것이 예상된다. 그 때문에, 운전자 개재 구간(수동 운전 구간, 인계 구간, 주의 주행 구간)이 실제로는 일정 시간 길이 이하인 경우에도, 일정 시간 길이로 표시하도록 된다. 이 경우, 예를 들어 인계 구간과 수동 운전 구간이 연속되어 있는 경우, 인계 구간의 표시는 생략되는 경우도 있다. 도 15의 (a), (b)에 있어서, 제3 구간의 최초의 수동 운전 구간 Sb의 표시는, 그러한 상태를 나타내고 있다. 이에 의해, 시간 축이 크게 축소되어 있는 제3 구간에 있어서, 짧은 시간 길이의 운전자 개재 필요 구간을 운전자가 인식 가능하게 표시하는 것이 가능하게 된다.

또한, 제3 구간과 같이 축소율 hs/h0이 작은 부분에서는, 수동 운전 구간 Sb가 간헐적으로 짧은 주기로 연속하는 경우, 전체가 연결된 수동 운전 구간 Sb로서 표시된다. 도 15의 (a), (b)에 있어서, 제3 구간의 2번째의 수동 운전 구간 Sb의 표시는, 그렇게 연결되어서 표시된 상태를 나타내고 있다. 이렇게 표시된 수동 운전 구간 Sb는, 실제로는, 도 15의 (c)에 도시한 바와 같이, 수동 운전 구간 Sb 이외에, 짧은 기간의 인계 구간 Sd 및 자동 운전 가능 구간 Sa가 포함되어 있다. 또한, 후술하는 바와 같이, 태블릿 등에 주행 구간 표시가 되어 있는 상태에서 당해 지점이 예를 들어 더블 터치됨으로써, 상세 표시가 가능하게 된다.

상술한 주행 루트에 있어서의 주행 구간 표시는, 자차의 위치 정보와 취득 LDM 갱신된 정보에 기초하여, 갱신되어 간다. 이에 의해 주행 구간 표시는, 시간 경과에 수반하여, 각 구간이 자차에 임박해 오는 듯이, 스크롤 표시되게 된다. 도 16의 (a) 내지 (d)는, 시간 경과에 수반하는 주행 구간 표시의 변화예를 나타내고 있다. 이 예는, 제2 구간이 끝이 가늘게 표시되어 있는 예를 나타내고 있지만, 모든 구간이 동일한 폭으로 표시되는 경우도 마찬가지이다.

이 경우, 제1 구간에서는, 각 구간의 이동이 빠르다. 또한, 제2 구간에서는, 제3 구간측에서 제1 구간측으로 갈수록, 시간 축의 축소가 작게 되어 있으므로, 각 구간의 이동이 빨라져 간다. 또한, 제3 구간에서는, 시간 축의 축소가 크게 되어 있으므로, 각 구간의 이동은 느리다.

도 17의 (a), (b)는, 태블릿(182)의 화면 상에 표시되는 주행 루트에 있어서의 주행 구간 표시(181)의 일례를 도시하고 있다. 도 17의 (a)는, 태블릿(182)을 세로로 길게 사용하는 경우의 예이다. 이 경우, 주행 구간 표시(181)는, 좌변으로부터 상변을 따라 꺾인 상태로 표시되고, 태블릿(182)에서 행하여지는 2차 태스크의 실행 화면인 작업 윈도와 병렬로 표시된다. 도 17의 (b)는, 태블릿(182)을 가로로 길게 사용하는 경우의 예이다. 이 경우도, 주행 구간 표시(181)는, 좌변으로부터 상변을 따라 꺾인 상태로 표시되고, 태블릿(182)에서 행하여지는 2차 태스크의 실행 화면인 작업 윈도와 병렬로 표시된다. 또한, 도시의 예에서는, 태블릿(182)의 화면 상에 주행 구간 표시(181)가 절곡한 상태에서 배치되어 있지만, 배치 스페이스가 충분히 얻어지는 경우에는 직선적으로 배치하는 것도 생각된다.

도 18은, 운전자가 실제로 태블릿(182)을 사용하여 2차 태스크를 실행하고 있는 상태의 일례를 도시하고 있다. 이 예는, 태블릿(182)은 가로로 길게 사용되고 있다. 태블릿(182)의 화면에는, 좌변으로부터 상변을 따라 꺾인 상태로 주행 구간 표시(181)가 표시되어 있다. 또한, 이 주행 구간 표시(181)를 화면 상에 낼 것인지 여부를 운전자(유저)의 조작으로 선택적으로 행하도록 되어도 된다. 그 경우, 예를 들어 주행 구간 표시(181)가 화면 상에 나오지 않은 경우에, 운전자 개재 필요 구간이 일정 시간 내에 들어와, 운전자에게 통지하는 경우에는, 자동적으로, 주행 구간 표시(181)가 화면 상에 나오도록 되어도 된다.

태블릿(182)의 화면 상에 주행 구간 표시(181)가 표시되어 있는 상태에서, 그 표시 구간 중에 새롭게 운전자 개재 필요 구간이 발생한 경우, 그 새롭게 발생한 운전자 개재 필요 구간의 표시가 새롭게 발생한다. 이 경우, 이 새롭게 발생한 운전자 개재 필요 구간은, 다른 것과는 식별 가능하게, 예를 들어 일정 시간의 점멸 표시가 행하여진다. 이 점멸 표시는, 주의 알람음을 수반하여 이루어져도 된다. 여기서, 새롭게 운전자 개재 필요 구간이 발생한 경우에는, 주의 주행 구간이나 수동 운전 구간이 새롭게 발생한 경우 외에, 주의 주행 구간으로부터 수동 운전 구간으로 변경이 된 경우도 포함된다.

도 19는, 제2 구간에 새롭게 주의 주행 구간 Sd가 발생하여, 점멸 표시로 운전자에게 경고하고 있는 상태를 도시하고 있다. 또한, 이 경우, 운전자가 이 점멸 표시되고 있는 주의 주행 구간 Sd의 표시 개소를 터치함으로써, 그 점멸, 즉 경고 상태를 정지하는 것이 가능하게 되어도 된다. 혹은, 운전자가 이 점멸 표시되고 있는 주의 주행 구간 Sd의 표시 개소를 터치함으로써, 작은 윈도가 팝업 표시되어, 승낙의 화면 터치로, 그 점멸, 즉 경고 상태를 정지하는 것이 가능하게 되어도 된다.

또한, 태블릿(182)의 화면 상에 주행 구간 표시(181)가 표시되어 있는 상태에서, 운전자(유저)가 임의의 지점을 더블 터치하여 지정한 경우, 예를 들어 도 20에 도시한 바와 같이, 작은 윈도가 팝업 표시되어, 그 지점에 관련한 표시가 이루어진다.

또한, 도 21에 도시한 바와 같이, 먼저 도 5나 도 6을 참조하여 설명한 손목 시계형의 정보 단말기(50)에 도 14 내지 도 20을 참조하여 설명한 것과 마찬가지의 구간 단위의 색별 표시를 행하는 구성으로 해도 된다.

도 21에 도시하는 예는, 운전자에 의해 목적지가 설정됨으로써 결정된 주행 루트를 따른 도로의 자동 운전 구간, 수동 운전 구간 등의 각 구간의 정보를 표시한 예이다. 표시부의 주위의 0 내지 9의 수치는, 현재 시간으로부터의 경과 시간 0 내지 9분을 나타내고 있다. 표시 영역 전체에서, 현재 시간(0)으로부터 10분 후까지의 자동차의 주행 예정의 구간 정보를 나타내고 있다.

주행 루트에는, 자동 운전 구간 Sa와, 수동 운전 구간 Sb가 마련되고, 또한, 자동 운전으로부터 수동 운전으로의 인계 구간 Sc와, 자동 운전 구간 Sa 내에 설정되는 주의 주행 구간 Sd 등이 존재한다.

도 21에 나타내는 표시예는, 정보 단말기(50)의 표시부에, 이하의 3개의 다른 표시 영역이 설정되어 있다.

(Sa) 자동 운전 구간 Sa(=녹색 표시)

(Sc) 인계 운전 구간 Sc(=황색 표시)

(Sb) 수동 운전 구간 Sb(=적색 표시)

도 21에 나타내는 표시예는, 자동차의 지금부터 10분 간의 주행 예정을 나타내고 있다. 즉,

(Sa) 자동 운전 구간 Sa(=녹색 표시)를, 현시점으로부터 0 내지 6분 10초 후까지 주행할 예정이고, 그 후,

(Sc) 인계 운전 구간 Sc(=황색 표시)를, 현시점으로부터 6분 10초 후 내지 8분 40초 후까지 주행할 예정이고, 또한, 그 후,

(Sb) 수동 운전 구간 Sb(=적색 표시)를, 현시점으로부터 8분 40초 후에 주행할 예정임을 나타내고 있다.

또한, 정보 단말기(50)는, 자동차(10) 내의 데이터 처리부(11)가 자동차(10)의 주행 속도, 혹은 자동차(10)의 주행 루트에 있어서의 차량의 평균 속도 정보에 기초하여 산출한 각 구간의 주행 예정 시간 정보를, 통신부를 통해 수신하여, 표시를 행한다.

운전자(20)는, 정보 단말기(50)의 표시 정보를 봄으로써, 수동 운전 구간에 침입할 때까지의 나머지 시간을 확인하는 것이 가능하게 되어, 그 시간에 맞도록 하물실(21)에서의 작업을 종료하고, 운전석으로 되돌아가는 것이 가능하게 된다.

또한, 도 21에 도시하는 예에서는, 운전자(20)는, 정보 단말기(50)의 표시에 기초하여, 지금부터 약 8분 40초 후에 수동 운전 구간에 침입하는 것을 파악하는 것이 가능하고, 그때까지 운전석으로 되돌아가도록 작업을 진행시킬 수 있다.

또한, 도 21에 도시하는 정보 단말기(50)에는, 추가로 화살표가 표시된다. 이 화살표는, 수동 운전 복귀 요구의 통지, 예를 들어 도 5에 도시하는 표시로의 전환, 혹은, 알람 출력이나, 바이브레이션 기동을 행하여, 운전자(20)에게 경고를 통지할 시간으로 설정된다. 이 통지 타이밍은, 예를 들어 이동 장치(자동차(10))측에 있어서, 운전자의 각성도 또는 위치의 적어도 어느 것의 정보에 기초하여 결정한다. 결정한 통지 타이밍 정보는 정보 단말기(50)에 송신된다. 화살표에 의한 통지의 시각 표시는 일례에 지나지 않고, 색 구분이나 메쉬 표시, 점멸 플래시 등으로 시각 주의 유인 기능을 갖게 하는 등, 시간 간격을 시각적으로 제시할 수 있으면 수단을 화살표에 한정할 필요는 없다. 또한, 이동 장치에 있어서 실행할 최적의 통지 타이밍의 산출 처리에 대해서는 후술한다.

정보 단말기(50)는, 이동 장치로부터 수신한 통지 타이밍에 있어서 수동 운전 복귀 요구 통지를 실행한다. 즉, 정보 단말기(50)는, 이동 장치가 결정한 통지 타이밍에 있어서, 먼저 도 5를 참조하여 설명한 표시 처리, 혹은 알람 출력, 또는 바이브레이션 기동의 적어도 어느 것의 처리를 실행한다. 또한, 통지 설정은 유저에 의해 변경이나 정지가 가능하다.

또한, 본 실시예에서는, 정보 단말기(50)의 표시부를 원 형상의 표시부로서 나타내었지만, 이것은 일례이고, 표시부의 형상은 원형에 한정하지 않고, 타원형, 직사각형 등, 다양한 설정이 가능하다.

도 22는, 시간 경과에 수반하는 정보 단말기의 표시 데이터의 변화예를 도시하는 도면이다. 도 22에는 시간 t1에 있어서의 정보 단말기(50)의 표시 정보와, 그 후의 시간 t2에 있어서의 정보 단말기(50)의 표시 정보의 예를 도시하고 있다.

시간 t2는, 시간 t1의 약 4분 후의 표시 데이터의 예를 도시하고 있다.

시간 t2의 표시 데이터에서는, 수동 운전 구간 Sb(=적색 표시)가 현시점으로부터 약 3분 50초 후에 주행하는 예정인 것을 나타내고 있다.

운전자(20)는, 시간 t2의 시점에서, 정보 단말기(50)의 표시에 기초하여, 수동 운전 구간 Sb(=적색 표시)가 가까워지고 있음을 파악하고, 급하게 작업을 종료하여, 운전석으로 되돌아갈 준비를 개시할 수 있다.

또한, 정보 단말기(50)에는 알람 출력 기능이나, 바이브레이션 기능을 갖고 있고, 예를 들어 수동 운전 구간 Sb(=적색 표시)까지의 나머지 시간이, 미리 규정한 시간(예를 들어 1분)이 되면, 알람 출력이나, 바이브레이션 기동을 행하여, 운전자(20)에게 경고를 통지한다. 또한 알람이나 바이브레이션의 기동 시간은, 유저의 설정에 의해 변경이나 정지가 가능하다.

[5. 수동 운전으로의 인계가 곤란한 경우의 대응 처리를 행하는 구성에 대해서]

이어서, 운전자가 수동 운전으로의 인계가 곤란한 경우의 대응 처리를 행하는 구성에 대하여 설명한다.

이하에 설명하는 구성은, 자동 운전으로부터 수동 운전으로 전환을 행할 때에, 운전자가 완전히 수동 운전으로 전환할 자신이 없는 경우에 빠르게 시스템에 인계 단념을 표명하는 것을 가능하게 한 구성이다.

자동 운전 중인 차량이 자동 운전으로 주행을 할 수 없는 구간에 침입할 때에, 운전자의 수동 운전 능력이 회복되지 않아, 수동 운전으로의 인계 부전이 발생하는 경우가 있다. 이러한 경우, 자동 운전 시스템은 차량을 갓길 등에 긴급 정지하는 등의 퇴피 처리를 실행할 것이 필요해진다.

그러나, 예를 들어 고속으로 흐르는 차량 플로 속에서 일부의 차량이라도 급감속을 하면, 주위 차량의 주행에 영향을 미쳐, 지체의 발생, 혹은 감속에 대한 추종 제동이 제시간에 이루어지지 않아 추돌 등의 2차 피해를 유발할 가능성이 있다. 이러한 영향을 최소화하기 위해서는, 완만한 감속이나 조기의 감속 개시가 필요해진다.

현재의 자동 운전 기술은, 자율적으로 환경을 인식하여 환경에 따른 안전 주행을 실현하는 레벨에는 아직 도달하지 못하였다. 그러나, 일정 환경이 정비된 구간이라면 자동 운전의 이용은 가능하다.

차의 이점은 임의의 다른 2개의 지점을 차라고 하는 동일 교통 수단으로 이동할 수 있다는 것에 있다. 2개 지점 사이를 전부 자동 운전으로 주행하기 위해서는, 그 두 지점 사이의 도로가 자동 운전에 적합한 환경이 정비된 구간일 것이 필요해진다.

그러나, 모든 도로에 자동 운전이 가능한 환경을 정비하기 위해서는 방대한 시간이나 비용이 필요하고, 당분간은, 자동 운전과 수동 운전을 전환하면서 주행할 것이 필요해진다고 추정된다. 즉, 임의의 2개의 지점을 차라고 하는 수단을 사용하여 이동하고, 그 도중에 자동 운전이 이용 가능한 경우, 차와 퇴피 상 등으로 일단 멈추고 다른 모드로 다시 주행하지 않는 한, 주행 중에 인계를 원활하게 행할 필요가 발생한다.

이 자동 운전과 수동 운전의 전환이 주행 시에 원활하게 실행되지 않으면 지체나 추돌과 같은 사태를 초래할 우려가 있다. 예를 들어 자동 운전 구간으로부터 수동 운전 구간의 전환 지점이 접근하고 있는 경우, 차량의 시스템이나 운전자는, 전환 지점의 도달 전에 완전한 수동 운전을 실행할 수 있는 상태를 갖출 필요가 있다. 운전자나 시스템의 준비가 되어 있지 않은 채 다음의 구간에 침입하면, 차량에 필요한 제어가 되지 않거나, 지연되거나 하여, 만일의 사태에 정확한 대처를 할 수 없을 리스크가 있다.

전환 시에 차량을 정차시켜, 전환의 준비가 갖춰지고 나서 자동 운전으로 전환하거나 자동 운전으로부터 수동 운전으로 전환하거나 하는 이용에서는 편리성이 매우 나빠진다. 즉, 자동 운전을 이용할 수 있는 구간이 있는 경우, 그동안의 전환은 적절히 차량을 정차시키지 않고 전환하는 것이 바람직한 형태라고 할 수 있다.

수동 운전 구간에 침입하는 시점에서, 운전자는 완전한 수동 운전을 실행할 수 있는 상태일 것이 필요해지지만, 이것을 확실하게 행하게 하기 위해서는, 자동 운전 주행 중에 운전자가 수동 운전에서 운전으로 복귀가 가능한 의식 레벨인지를 차량의 시스템이 판정하여, 복귀가 가능하다고 판단한 경우에 차량의 조타를 맡긴다고 하는 제어를 행할 필요가 있다.

그러나, 차량의 시스템이 100％ 정확하게 운전자의 내부 각성 상태를 파악할 수 있는 것만은 아니다. 차량의 시스템이 자동 운전 구간을 주행하고 있는 동안에, 운전자가 수동 운전으로 복귀할 수 없다고 판단한 단계에서, 시스템은 차량을 감속이나 서행이나 정차할 필요가 있다. 이 판단이 지연되면, 인계 지점에 접근한 단계에서 급정지할 필요가 발생하여, 후속 차량의 주행 방해, 지체 유발 요인, 추돌 요인 등 다양한 문제를 발생시키게 된다.

운전자가 수동 운전을 개시하기 전의 단계에서 운전 복귀 가능할지를 아는 내부 각성 상태의 레벨을 시스템이 판단하는 것은 극히 어렵다. 예를 들어, 드문 사상일지도 모르지만, 잠에서 깬 운전자의 사고 판단은 정상적인 운전이 가능한 상태에 이르렀다고 할 수만은 없다. 경우에 따라서는, 그동안의 자세가 나빠, 몸의 일부가 저릴지도 모른다.

예를 들어, 운전자가 2차 태스크에 관하여, 인계 통지를 받은 후에, 2차 태스크로부터 수동 운전 복귀로의 준비가 불충분하다고 운전자 자신이 판단하는 경우가 있다.

이러한 경우, 이른 타이밍에 운전자가 차량 시스템에 대하여 수동 운전의 복귀 단념, 즉 수동 운전 개시의 거부를 표명할 수 있으면, 차량 시스템은, 이 운전자의 의사에 응답하여 수동 운전 구간에 접근하기 전의 이른 타이밍에 다양한 퇴피 행동을 실행하는 것이 가능하게 된다. 예를 들어, 감속, 서행, 정지나 저영향도 바이패스 루트 변경 등, 시간적 유예를 가지고 대처하는 것이 가능하게 된다. 후속차에 대한 영향도 피할 수 있다.

이렇게 운전자로부터 차량 시스템에 대하여, 수동 운전 복귀 단념(거부)의 의사를 입력 가능하게 함으로써, 인계 부전에 의한 부차적 악영향을 한정적으로 멈추는 것이 기대된다.

자동 운전의 이용이 널리 사회적으로 인지되어, 통상 차량에 자동 운전을 적용하여 이용하기 위해서는, 자동 운전 가능 구간과 수동 운전 필수 구간의 인계 지점에서 확실한 인계가 이루어질 것이 필요하다.

그러나, 운전자의 몸 상태나 사정은 다양하고, 모든 운전자가 인계 지점에서 확실한 인계를 할 수 있는 상태에 있다는 보증은 없다. 본 개시의 구성은, 이러한 현실을 감안하여 이루어진 것이고, 운전자로부터, 수동 운전의 인계 거부를 허용함으로써, 시스템측에서의 퇴피 처리를 원활하게 실행하는 것을 가능하게 하는 것이다.

현재, 운전자가 시스템의 감시를 행하여, 시스템 제어 대처가 곤란한 경우에 운전자가 시스템을 대신하여 조타 복귀하는 것을 상정한 자동 운전, 소위 레벨 3의 자동 운전 차량의 도입이 모색되고 있다.

그러나, 레벨 3의 자동 운전을 연속하여 장시간에 걸쳐 이용하고, 시스템이 다양한 상황 하에서 자주 운전인 채로 정상적으로 조타를 처리하고 있는 상황을 운전자가 관찰하면, 운전자는 자동 운전 중의 운전 감시의 필요성을 느끼지 않게 될 것이 예상된다.

레벨 3의 자동 운전을 이용 중, 운전자에게 시스템의 상시 감시를 제도 상에서 의무화했다고 해도, 운전자는 감시의 필요성을 느끼지 않게 된다. 즉 레벨 3의 자동 운전과 같이, 본래, 운전자가 시스템의 한계를 보충하는 것을 상정한 레벨이라도, 사람이 운전에 개재하지 않는 상태가 장기간 계속되면, 운전자는 감시의 중요성을 잊어 버린다. 그 결과, 시스템이 운전자에게 수동 운전으로의 인계 요청을 행하여도, 운전자가 복귀할 수 있는 의식 상태를 유지하고 있다고만은 할 수 없는 상황이 된다.

이러한 문제를 회피하기 위해서는, 시스템은 운전자의 상태를 상시 감시하고, 어느 단계에서 복귀의 요청을 행하면 적확한 타이밍에 인계를 행할 수 있을지 판단할 것이 필요해진다. 그러나, 운전자를 전극이나 기기에 속박하지 않고 뇌 내의 사고 활동을 시스템이 모니터링하는 것이 가능한 관측 수단은 한정되고, 운전자의 복귀 준비 상태의 관측은 한정된 운전자의 외부 행동 등을 통해서만 가능하다.

예를 들어, 운전자 자신이 수동 운전으로의 복귀가 곤란하다고 자각하고 있는 경우에도, 차량 시스템의 모니터링만으로는 운전자의 뇌 내의 사고 내용까지 검출할 수는 없고, 운전자가 수동 운전을 거부하고 싶다고 생각하고 있음을 파악할 수는 없다.

그래서, 운전자가 수동 운전의 복귀를 단념, 거부할 의사가 있음을 나타내는 입력을 차량 시스템에 대하여 실행 가능하게 한다. 이 처리를 가능하게 함으로써, 시스템측에서 조기에 퇴피 행동을 개시하는 것이 가능하게 된다.

예를 들어, 차량 시스템이, 운전자로부터 수동 운전의 복귀를 단념, 거부하는 의사의 입력을 검출한 경우, 시스템은, 그 입력을 검출한 시점에서, 차량을 완만하게 감속하고, 정지하는 처리, 혹은 우회로로의 퇴피 처리, 주차장으로의 퇴피, 노측대로의 퇴피 등의 다양한 퇴피 제어를 행하는 것이 가능하게 된다. 이 결과, 유발 사고 등의 예방이나 피해 저감이 가능하게 된다.

단, 운전자가 안이하게 수동 운전 거부를 이용하면, 시스템에 의한 퇴피 처리가 빈발하여, 감속에 의한 지체 등, 주위 차량의 주행에 지장을 발생시킬 가능성이 있다. 따라서, 운전자에 의한 수동 운전 거부의 신고는 일정한 제한 하에서만 허용하는 설정으로 하는 것이 바람직하다.

예를 들어, 시스템이 운전자로부터의 인계 단념의 요청을 받은 경우, 인계 한계점까지의 유예 시간에 따라서 먼저 감속 모드로 이행하고, 또한 후속차에게 통지한다. 또한 운전자에게 감속을 통지하고, 감속 통지에 대해서도 최종적인 수동 운전으로의 복귀를 예상할 수 없는지를 재확인하는 처리를 행하여도 된다. 즉 감속 모드에 의해 발생한 시간적 유예에 의해 인계를 실행할 수 있을 가망이 있는지를 재확인하기 위해서, 인계 단념의 해제를 입력시키는 설정으로 해도 된다.

이하에서는, 운전자가 수동 운전으로의 인계가 곤란할 경우의 대응 처리를 행하는 구성에 대해서, 이하의 항목순으로, 순차, 설명한다.

5-6. 수동 운전 전환 지점 접근 시의 처리예에 대해서

(5-1. 수동 운전으로의 인계가 곤란한 경우의 구체예에 대해서)

예를 들어 자동 운전 중인 운전자는, 수면 중인 경우, 디스플레이를 보면서 작업 중인 경우, 하물실에서 하물의 분류를 하고 있는 경우 등, 다양한 상태에 있다.

이러한 상태에서, 자동 운전 가능 구간으로부터 수동 운전 구간으로의 전환 지점이 가까워지고 있음을 인지해도, 그 전환 지점까지 수동 운전으로 복귀할 수 없거나, 혹은 하고 싶지 않다고 하는 상황이 발생할 가능성이 있다.

이하, 이러한 경우의 대처 방법에 대하여 설명한다.

차량이 완전한 자동 운전 상태에 있는 경우, 운전자에 대한 수동 운전으로의 복귀가 요구되는 사상에는 크게 나누면 이하의 2가지의 사상이 있다.

(1) 예정된 인계 사상

(2) 돌발적 인계 사상

(1) 예정된 인계 사상은, 예를 들어 운전자가 운전 개시 전에 내비게이터 시스템 등을 사용하여 설정한 주행로 상의 미리 설정된 전환 지점, 즉, 자동 운전 주행 가능 구간과 자동 운전이 허용되지 않는 수동 운전 주행 구간의 전환 지점에서 발생하는 인계 사상이다.

운전자는, 주행 개시 시에, 자동 운전 차량의 시스템(정보 처리 장치)에 출발지와 목적지의 두 지점을 설정한다. 경유지나, 유료 도로의 이용 설정이나, 완전 자동 운전의 이용 설정 등도 가능하다.

시스템은, 설정 정보에 따라, 서버로부터 취득 가능한 LDM(로컬 다이내믹 맵)에 기초하여, 복수의 선택 가능한 주행 루트를 운전자에게 제시한다.

운전자는 제시된 복수의 주행 루트로부터 1개의 주행 루트를 선택한다.

이 선택 루트가 운전석의 모니터 등에 표시된다. 표시 데이터는, 자동 운전 주행 가능 구간과 수동 운전 주행 구간을 식별 가능하게 한 표시 데이터로 된다.

주행 개시 후는, 운전석의 모니터, 혹은 운전자가 조작하는 유저 단말기 등의 HMI(Human Machine Interface)를 통해 자동 운전 주행 가능 구간과 수동 운전 주행 구간의 전환 지점의 접근이 사전에 통지된다.

이렇게 「(1) 예정된 인계 사상」은, 운전자가 인계점의 접근을 사전에 인지 가능한 상황에서 발생하는 사상이다.

이에 비해, 「(2) 돌발적 인계 사상」은, 돌발적인 요인에 의해 발생하는 인계점의 변경이나 발생 등의 사상이다. 예를 들어 갑작스런 교통 상황이나 날씨의 변화 등이 발생하면, 자동 운전 주행 가능 구간과 수동 운전 주행 구간의 전환 지점이 변경되는 경우가 있다.

이들 정보는, 서버로부터 취득 가능한 LDM(로컬 다이내믹 맵)에도 반영되기 때문에, 이들 변경에 관해서도 사전에 운전자에게 통지할 수 있다.

단, 운전자는 갱신된 LDM을 바로 확인할 보증은 없고, 전환 지점의 변경을 인식할 수 없는 경우가 있다.

이러한 경우, 운전자가 인지하고 있지 않은 전환 지점에 차량이 접근한다고 하는 상황이 발생할 가능성이 있다. 이러한 경우에는, 돌발적 인계 사상으로서 긴급 대처 처리를 행하게 된다.

이와 같이, 「(2) 돌발적 인계 사상」이란, 운전 개시 전의 주행 경로(여정) 설정 시에는 예견할 수 없었던 사상이다. 또한, 자동 운전 주행 가능 구간과 수동 운전 주행 구간의 전환 지점의 변경은, 구체적으로는, 예를 들어 이하와 같은 경우에 행하여진다.

(a) 인프라 설비에 의해 검출된 도로 환경 변화의 발생

(b) 여정 도중에 발생한 사고 등

(c) LDM 정비 전용차(프로브 카), 버스, 택시 등의 순으로 공공 서비스 차량으로부터의 제공 정보에 기초하는 LDM의 정보 갱신

(d) 일반 차량 등의 LDM 정비 비전용 프로브 카로부터의 정보 제공에 기초하는 LDM의 정보 갱신

(e) 선도 주행 차량에 의한 정상적인 LDM의 정보 갱신

(f) 우발적 통과 선행 차량에 의한 도로 상황의 매뉴얼 통보에 기초하는 LDM의 정보 갱신

(g) 우발적 통과 선행 차량에 의한 도로 상황의 자동 통보에 기초하는 LDM의 정보 갱신

(h) 차차간 통신(V2V 통신) 정보에 기초하는 LDM의 정보 갱신

LDM(로컬 다이내믹 맵)을 갱신하는 서버는, 예를 들어 상기 (a) 내지 (h)와 같은 경우에, LDM을 갱신하고, 자동 운전 주행 가능 구간과 수동 운전 주행 구간의 전환 지점의 변경을 행하는 경우가 있다. 서버에 있어서 갱신된 LDM은 각 차량에 제공된다. 그러나, 갱신된 정보를 운전자가 확인하기 전에, 자동 운전 주행 가능 구간과 수동 운전 주행 구간의 전환 지점이 접근하는 경우도 있다.

이러한 경우에는, 새로운 전환 지점의 발생 등의 통지를 행하기 위한 유저 단말기 등에 대한 표시나 경보의 출력을 행하는 것이 바람직하다.

또한, 이러한 예정 외의 돌발 사상의 발생 시의 대응은 일률이 아닌, 상황에 따라서 변경하는 것이 바람직하다.

예를 들어 이하와 같은 대응이다.

1. 위험물 탑재 차량 등의 경우, 안전을 위해서, 조기의 수동 운전으로의 복귀나, 조기의 서행 운전 개시 등의 제어를 행한다.

2. LDM 정보에 기초하여 주행 경로의 앞에 통행 폭이 좁은 도로, 커브 다발 등의 자동 운전 곤란 구간이 발생할 것을 미리 알고 있는 상황에서는, 가능한 한 이른 단계에서 수동 운전으로의 전환을 완료시키도록 제어한다.

3. 주차장 등의 긴급 퇴피 장소 등의 차량 수용 허용 상태에 따라, 대응을 변경한다.

(5-2. 수동 운전으로의 인계가 곤란한 경우의 대응을 실행하는 장치의 구성예에 대해서)

이어서, 수동 운전으로의 인계가 곤란한 경우의 대응을 실행하는 장치의 구성예에 대하여 설명한다.

도 23은, 이동 장치에 탑재된 정보 처리 장치(200)의 일부 구성을 도시하는 블록도이다. 수동 운전으로의 인계가 곤란한 경우의 대응을 실행하는 장치 구성을 도시하는 블록도이다.

도 23에 도시한 바와 같이 정보 처리 장치(200)는, 운전 이력 정보 취득부(201), 생체 정보 취득부(202), 자세 정보 취득부(203), LDM·차량 의존 복귀 시스템 요구 취득부(204), 데이터 처리부(250), 인계 단념 입력부(221)를 갖는다. 또한, 차량 의존 팩터는, 승용차와 화물 적재차, 합승 버스나 액체물 수송 탱크 로리 차량 등에서는 다른 제동 다이내믹스나 차체 폭으로 인해 요구되는 제어, 제동 거리나 정차 가능 구역도 다르기 때문에, 제어 영향 인자로서 구분하여 취급한다.

데이터 처리부(250)는, 복귀 통지, 경고 타이밍 산출부(205), 복귀 예측 대응 지연 평가부(206), 복귀 지연 대책 처리부(207), 복귀 시간 유예 판정부(208), 긴급 처리 실행부(209), 복귀 지연 페널티 생성, 기록부(210), 운전자 복귀 특성 사전(211), 복귀 특성 학습부(212)를 갖는다.

운전 이력 정보 취득부(201)는, 운전자의 운전 이력 정보를 기억부로부터 취득한다. 또한, 기억부는 도시하지 않았지만 이동 장치 내의 정보 처리 장치 내부의 기억부이다.

생체 정보 취득부(202), 자세 정보 취득부(203)는, 운전자의 생체 정보나 자세 정보를 취득한다. 이것들은 이동 장치 내에 마련된 카메라를 포함하는 다양한 센서의 취득 정보에 기초하여 생성된다.

LDM·차량 의존 복귀 시스템 요구 취득부(204)는, 서버로부터 취득 가능한 LDM(로컬 다이내믹 맵)이나, 차량 의존의 시스템 요구, 예를 들어 차종 정보로서의 일반 승용차, 버스, 위험물 적재 차량 등의 정보, 나아가, 차량 전방의 장애물 검지를 행하는 카메라나 LiDAR 등의 거리 센서의 검출 정보 등을 취득한다.

운전 이력 정보 취득부(201), 생체 정보 취득부(202), 자세 정보 취득부(203), LDM·차량 의존 복귀 시스템 요구 취득부(204), 이들의 각 구성부의 취득 정보는, 복귀 통지, 경고 타이밍 산출부(205)에 입력된다.

복귀 통지, 경고 타이밍 산출부(205)는, 이들 입력 정보에 기초하여, 운전자에 대한 수동 운전으로의 복귀 요청의 통지나, 수동 운전 전환 지점이 가까워지고 있음의 통지나 경고를 행한다.

또한, 이 통지나 경고의 타이밍은, 운전자의 상태 등에 따라 다른 타이밍이 된다.

데이터 처리부(250)의 복귀 통지, 경고 타이밍 산출부(205)는, 운전자 복귀 특성 사전(211)을 사용한 복귀 특성 학습부(212)에서의 학습 처리의 결과를 이용하여, 운전자의 각 상태에 대응하는 통지나 경고의 타이밍을 산출한다. 운전자 복귀 특성 사전(211)은 복수의 운전자에게 공통의 사전으로 해도 되지만, 각 운전자 고유의 사전을 생성하여 사용하는 구성으로 하는 것이 바람직하다.

복귀 특성 학습부(212)에서의 학습 처리는, 예를 들어 운전자마다의 2차 태스크의 종류를 관측 정보에 포함시킨 학습 처리로서 실행하는 것이 바람직하다.

이 경우, 현재 운전하고 있는 운전자의 개인 식별 정보와, 현재 실행 중인 2차 태스크의 종류의 정보를 관측 정보로서 이용한 처리(수동 운전 복귀 가능 시간 추정 처리)가 행하여진다.

도 24의 (a)는, 관측값에 상당하는 가관측 평가값과 복귀 지연 시간(=수동 운전 복귀 가능 시간)의 복수의 관계 정보(관측 플롯)의 분포의 일례를 도시하고 있다. 이 예는, 어느 운전자의 어느 2차 태스크의 종류에 대응한 것이다. 이 복수의 관계 정보(관측 플롯)로부터 복귀 지연 시간을 산출하기 위해서, 취득된 관측값에 대응한 평가값 방향으로 일정 폭을 갖는 영역(파선 직사각형 프레임으로 나타내었다) 내의 관계 정보(관측 플롯)를 추출한다. 도면 중의 점선 c는, 후술하는 도 24의 (b)의 복귀 성공률이 0.95가 되는 복귀 지연 시간을, 운전자의 다른 관측값으로 관측했을 때의 경계선을 나타내고 있다.

점선 c보다 긴, 즉 이른 유예 시간에 운전자에게 자동으로부터 수동의 복귀 통지나 경보를 내보냄으로써, 운전자의 자동으로부터 수동 복귀가, 0.95 이상의 비율로 성공할 것이 담보되는 영역이 된다. 또한, 해당마다 자동 운전으로부터 수동 운전으로 운전자가 정상적으로 복귀할 목표값(Request for Recovery Ratio)은, 예를 들어 도로측에 의해 인프라의 필요성으로부터 정해지고, 개별의 구간 통과 차량에 제공된다.

또한, 주행 도로에 차량이 정차해도 주위에 저해 요인이 되지 않는 케이스라면, 차량을 정차하여 시스템을 대처할 수 있는 속도까지 감속하여 대처를 하면 된다. 통상이라면 주행 도로에서의 정차는 반드시 바람직한 케이스가 많지는 않기 때문에, 디폴트 설정으로서 높은 복귀율이 바람직하고, 특히 수도 고속 도로 등의 특정 루트에서는 굳이 인프라로부터 갱신된 정보가 부여되지 않더라도 극히 높은 복귀 성공률이 디폴트로 구해지는 케이스도 있다.

도 24의 (b)는, 추출된 복수의 관계 정보(관측 플롯)에서 얻어지는 복귀 지연 시간과 복귀 성공률의 관계를 나타내고 있다. 여기서, 곡선 a는 각 복귀 지연 시간에 있어서의 단독 성공률을 나타내고, 곡선 b는 각 복귀 지연 시간에 있어서의 누적 성공률을 나타내고 있다. 이 경우, 곡선 b에 기초하여, 소정의 비율의 성공률, 도시의 예에 있어서는 성공률이 0.95가 되도록, 복귀 지연 시간 t1이 산출된다.

이 산출 처리가 복귀 통지, 경고 타이밍 산출부(205)에 있어서 실행된다. 예를 들어, 기억부에 저장되어 있는 과거에 취득된 가관측 평가값과 복귀 지연 시간의 복수의 관계 정보(관측 플롯)의 분포 정보를 이용하여, 복귀 통지, 경고 타이밍 산출부(205)에서 산출 처리가 실행된다.

도 25는, 자동 운전 모드에 있어서 운전자가, 운전 조타 작업으로부터 이탈 상태에 있을 때 실행하고 있는 처리(2차 태스크)의 종류에 따른 수동 운전 복귀 가능 시간에 대하여 설명하는 도면이다.

개개의 분포 프로파일이, 도 24의 (b)에서 나타내는, 관측값, 즉 운전자 상태에 기초하여 예측되는 곡선 a에 상당한다. 즉, 필요한 복귀 확률로 자동 운전으로부터 수동 운전으로 인계 지점에서 완료하기 위해서는, 각 단계에서 검출되는 운전자의 각성 정도를 평가 가능한 관측값으로부터, 운전자가 복귀에 요하는 과거의 특성을 참조하여 그 프로파일(도 24의 (b)의 복귀 성공률 프로파일)이 원하는 값이 되는 시각 t1을 바탕으로 실제로 복귀에 필요한 상태에 각 복귀 단계에서 달하였는지를 인계가 완료할 때까지 모니터링해 간다. 너무 이른 통지는, 운전자가 빠르게 복귀하면 자동 운전으로 주행 가능한 구간이 실제의 인계 한계 지점 앞쪽에 길게 남게 된다. 또한, 인계 통지를 경시한 과도한 자동 운전에 의한 계속 의존 이용을 초래하게 된다. 적절한 타이밍에서의 통지는 이 의존 이용을 피하기 위한 수단으로서 유효하다.

예를 들어, 쪽잠을 자고 있는 경우의 초기 곡선은, 자동 운전에서 쪽잠 기간 중에 패시브 모니터링하고 있던 호흡이나 맥박 등의 관측 정보로부터 수면 레벨을 추측하고, 각성 경보 발보 후에 해당 운전자의 복귀 지연 특성을 본 누계의 평균적 분포가 된다. 잠이 깨서 그 후의 이동 복귀 수순 중에서 관측된 운전자 상태에 따라, 도중의 각 분포는 결정되어 간다. 도면에 도시하는 「6. 쪽잠을 자고 있는 경우」를 관측하여 각성 경보가 시간에 맞추어 이루어질 우측의 타이밍이 결정되고, 그 후의 도중 행정은 예측 중간점의 가관측 운전자 상태 평가값으로부터 예측되는 복귀 버짓 중에서의 복귀 시간 분포가 된다.

도중에서, 인계까지 순차 줄어들어 가는 잔존 인계 한계 타임 리밋에 위반하지 않는지를 계속하여 관측하고, 위반 리스크가 있는 경우에는, 감속해서 시간 유예 생성 등의 대책 처리를 행한다. 또한, 예를 들어 「6. 쪽잠을 자고 있는 경우」, 「5. 착좌」의 스텝이 없는 가운데, 「4. 비운전 자세 비정상 회전 착좌」로부터 스타트하는 복귀 시의 분포는, 처음의 상황 인지 파악으로부터 복귀의 프로세스가 개시되므로, 동일한 항목이라도 「6. 쪽잠을 자고 있는 경우」로부터 시작한 도중 경과로서의 상태 「4. 비운전 자세 비정상 회전 착좌」 자세는 동일해져도 사고 과정이 복귀 의식 과정에 있고, 처음부터 「4. 비운전 자세 비정상 회전 착좌」 자세로 상황 인지로부터 개시하는 경우에는, 상황 인지의 시간을 요하기 때문에 길어진다.

또한, 현재 운전하고 있는 운전자의 가관측 평가값과 복귀 지연 시간의 관계 정보가 기억부에 충분히 축적되어 있지 않은 경우도 있다. 그 경우에는, 기억부에는 예를 들어 동일 나이대의 운전자 인구로부터 수집된 정보에 기초하여 생성된 복귀 특성 정보로서, 미리 구비한 복귀의 상정 분포 정보로서 이용하여, 복귀 지연 시간 t1의 산출을 행할 수 있다. 이 복귀 정보는, 운전자 고유 특성이 아직 충분히 학습되어 있지 않기 때문에, 그 정보를 바탕으로 동일한 복귀 확률로 이용해도 되고, 또는 보다 높은 복귀 성공률을 설정해도 된다. 또한, 인간 공학적으로 보아 익숙하지 않은 이용자는 보다 신중해지는 점에서 이용 초기에 조기의 복귀가 예상되고, 이용에 익숙해짐에 따라서 시스템의 통지에 맞춘 행동에 운전자 자신이 맞추어 간다. 또한, 다수의 차량을 운행하는 물류업, 버스나 택시 등의 운행업, 나아가 셰어링 카나 렌탈 자동차에서 다른 차량을 이용하는 경우, 운전자의 개인 인증을 행하여 원격 서버 등으로 운전의 가관측 정보와 복귀 특성을 집중 또는 분산하여 관리나 학습하고, 개별 차량에 반드시 복귀 특성의 데이터를 보유하지는 않고, 원격 학습 처리나 보유를 해도 된다.

또한, 통지 타이밍이 중요해진다는 점에서, 복귀 성공률은 일률의 성부까지의 시간으로서 설명을 하고 있지만, 자동 운전으로부터 수동 운전의 성부를 2치적인 성부에 한정하지 않고, 복귀 인계 품질로 확장시킨 판별을 더 행하여도 된다. 즉, 실제의 복귀 확인에 이르는 복귀 수순 추이의 지연 시간, 통지에 대한 복귀 개시 지연, 도중 복귀 동작에 있어서의 정체 등, 허용된 시간 내에서의 복귀이며 복귀 품질 평가값으로서 학습기에 추가로 입력을 해도 된다.

도 23으로 되돌아가 정보 처리 장치(200)의 구성에 대하여 설명한다.

상술한 바와 같이, 복귀 통지, 경고 타이밍 산출부(205)는, 운전자 복귀 특성 사전(211)을 사용한 복귀 특성 학습부(212)에서의 학습 처리의 결과를 이용하여, 운전자의 각 상태에 대응하는 통지나 경고의 타이밍을 산출한다.

이어서, 복귀 예측 대응 지연 평가부(206), 복귀 지연 대책 처리부(207), 복귀 시간 유예 판정부(208)의 실행하는 처리에 대하여 설명한다.

복귀 예측 대응 지연 평가부(206)는, 자동 운전으로부터 수동 운전으로의 이행 시의 운전자의 복귀 품질의 평가 처리를 실행한다. 복귀 지연 대책 처리부(207)는, 자동 운전으로부터 수동 운전으로의 이행 시의 운전자의 복귀에 지연이 검출된 경우의 경고 등의 통지를 행한다. 복귀 시간 유예 판정부(208)는, 자동 운전으로부터 수동 운전으로의 이행 유예 시간을 산출한다.

운전자가 자동 운전으로부터 수동 운전으로 이행할 때 요하는 시간(지연 시간)은, 운전자의 상태에 따라서 다르다.

도 26은, 자동 운전으로부터 수동 운전으로의 이행 완료까지의 잔존 유예 시간에 대하여 설명하는 그래프를 도시한 도면이다. 시스템이 시간 t0에 있어서 운전자에 대하여 통지(수동 운전 복귀 요청 통지)를 행한 후, 횡축의 시간 축에 따른 시간 경과를 따라서 우측 단부의 「인계 한계점」에 이르기까지의 잔존 유예 시간을 종축에 나타내고 있다.

도 26에 도시하는 예는, 자동 운전 가능 구간으로부터 수동 운전 구간으로의 원활한 이행을 상정하여, 차량이 정속 주행을 한 경우의 잔존 유예 시간을 나타내고 있다. 또한, 도 26의 종축은 정속 주행 시의 잔존 유예 시간이므로, 종축은 실제의 인계 한계 지점까지의 거리라고 볼 수도 있다.

그래프에는, 「개인 고유 데이터 예」, 「평균적 복귀 추이 데이터」의 2개의 라인을 나타내고 있다.

개인 고유 데이터 예는, 어느 1인의 개인 고유의 학습 데이터에 기초하는 데이터의 일례이다.

평균적 복귀 추이 데이터는, 다수의 관측 데이터에 기초하는 평균값이다.

이것들은 모두, 인계 한계점에 있어서 수동 운전으로 인계를 행한 경우, 미리 정해진 기대 성공률(RRR: Requested Recovery Rate)에서의 인계를 실현시키는 라인이다.

시스템은, 운전자의 모니터링 정보에 기초하여, 미리 정해진 기대 성공률(RRR: Requested Recovery Rate)로, 인계 한계점에 있어서, 운전자에게 수동 운전으로의 인계를 실행시키기 위한 통지 포인트를, 운전자 고유 복귀 특성의 학습 사전을 사용하여 산출한다.

기대 성공률(RRR: Requested Recovery Rate)에 대하여 설명한다. 기대 성공률(RRR)은, 예를 들어 도로 정보 제공자가 제공하는 로컬 다이내믹 맵(LDM)에 규정되는 데이터이다. 즉 자동 운전 가능 구간으로부터 수동 운전 구간의 전환 지점, 각 지점의 기대되는 수동 운전 전환 성공률이다.

자동 운전으로부터 수동 운전으로의 인계 지점의 도달 시각을 t(ToR_point)(Take over Request 지점)라 하고, 이 도달 시각에 있어서 인계가 미리 정해진 성공률 RRR(Requested Recovery Rate)로 인계하기 위한 산출 인계 버짓(시간)을 ΔtMTBT(Minimum Transition Budget Time)라 한다.

이 전제에 있어서, ToR 지점의 도달하는 예측 시각 t(ToR_point)에 앞서, {t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}보다 먼저 인계 통지나 경보를 발보할 필요가 있다.

즉, 접근하는 인계 지점에서 기대 성공률(RRR)을 달성시키기 위해서는, 모니터링 시간 t(n)로부터 다음 모니터링 시간 Δt 후의 t(n+1)에서,

{t(n+1)-{t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}}<0

이 되는 t(n)에서, 운전자에 대한 통지(수동 운전 전환 요성 통지)를 행할 필요가 있다. 왜냐하면 t(n+1)로 통지를 행한 것에서는 너무 느려져, 때를 놓친다.

이상의 것을 단적으로 서술하면, 도로 정보 제공자가 제공하는 로컬 다이내믹 맵(LDM)에 규정된 RRR을 달성하기 위해서는, 최소의 인계 지연 허용 버짓(시간)이, 운전자의 모니터링 사이클 기간보다 길어지기 전의 타이밍에 통지(수동 운전 전환 요청 통지) 타이밍을 설정하는 것이 요구된다.

도 26에 도시하는 모니터링 상태(관측 상태)의 추이, 즉, 이하의 (a) 내지 (g)의 모니터링 상태(관측 상태)의 변화점 t0 내지 t6은, 미리 정해진 기대 성공률(RRR)로, 인계 한계점에 있어서, 운전자에게 수동 운전으로의 인계를 실행시키기 위한 통지 포인트이다.

예를 들어, 운전자가 운전석으로부터 이석하여 쪽잠을 자고 있는 상태(시간 t0 이전)에서는, 시스템은 패시브 모니터링에 의해 운전자가 쪽잠 중임을 확인한다.

시스템이 시간 t0에 있어서 운전자에 대하여 통지(수동 운전 복귀 요청 통지)를 행한 후는, 운전자 상태나 시스템에 의한 운전자의 관측 상태가 이하의 (a) 내지 (g)와 같이 변화한다.

(a) 패시브 모니터링(시스템은 운전자가 쪽잠 중임을 패시브 모니터링으로 관측)

(b) 깨어남, 기상, 주위 확인

(c) 운전석 복귀

(d) 운전 자세 복귀

(e) 능동적 응답

(f) 안구 거동

(g) 신체적인 복귀 능력 확인(S/P)

도면에 나타내는 「개인 고유 데이터 예」, 「평균적 복귀 추이 데이터」, 이들 2개의 라인은, 시스템이 시간 t0에 있어서 운전자에 대하여 통지(수동 운전 복귀 요성 통지)를 행한 후의 상기 (a) 내지 (g)의 추이점을 연결하여 생성되는 라인이다.

도면에는, 또한, 사선 영역의 「RED ZONE」을 나타내고 있다. 이 「RED ZONE」은, 예를 들어 실제의 운전자 「관측 데이터」가 이 존에 들어간 경우, 다시, 운전자에게 통지(수동 운전 복귀 요성 통지)를 발보하여 조기 복귀를 촉구할 필요가 있는 존이다. 이 존은 미리 규정된다.

또한, 전술한 바와 같이, 도 26에 도시하는 예는, 차량이 정속 주행을 행한 경우의 자동 운전으로부터 수동 운전으로 이행 완료까지의 잔존 유예 시간을 나타낸 그래프이다.

인프라의 설계에 따라서는 수동 운전의 전환 준비 구간에서 차선 개수를 증가시키거나 하여, 차속을 낮추어도 도로 전체의 유량 저하를 초래하지 않는 도로 설정으로 하는 것도 가능하고, 고속 도로의 요금소 등은 그 개념에 기초한 설계라고 할 수 있다.

도 26에 나타내는 그래프는, 인프라의 상황에 따라서 변경된다. 예를 들어, 속도를 줄여서 인계 지점까지 감속 제어를 행하고, 인계 지점으로의 도달 시간을 늘이는 제어를 행하는 경우에는, 그 제어를 반영한 그래프를 생성하여 이용할 필요가 있다.

우측 단부의 「인계 한계점」의 직전의 「신체적인 복귀 능력 확인(S/P: (Somadic/Physical))」으로 나타낸 구간은, 운전자가 실제 사용하는 차의 차량 조타를 부분적으로 개시해서 이 구간에서 근력적 체력적인 실질 조타 평가를 실시하는 기간이다. 시스템이 최종적으로 인계를 운전자에게 완전히 다 맡기는 것은, 운전자의 손발 저림이나 보정해야 할 실제로 조타 기기의 제어가 기대 범위 내에 행해지는 것의 확인이 된 시점이 된다.

전술한 바와 같이, 도 26에 도시하는 예는, 운전자가 운전석으로부터 이석하여 쪽잠을 자고 있음을 상정한 경우의 예이다. 수동 운전 인계 지점에 도달할 때까지, 차량이 일정 속도로 주행을 한 경우의 잔존 시간을 나타내고 있다. 전술한 바와 같이 정속으로 나타내었으므로 실제의 인계 한계 지점까지의 거리 위치로 보아도 된다.

이하, (a) 내지 (g)의 구체적인 상태 변화에 대하여 설명한다.

(a: ~ t0)

먼저, 차량의 시스템(정보 처리 장치)은, 시간 t0 이전의 패시브 모니터링 기간에 있어서, 어느 타이밍에 통지·각성을 해야 하는지, 또는 그것이 통지로 충분한지 깨어나 각성한 상태여야 하는지를 판단하는 모니터링을 행한다.

이 예에서는, 자동 운전 가능 구간에 있어서, 운전자가 운전으로부터 완전히 이탈한 케이스를 상정하고 있다. 구체적으로는 운전자가 쪽잠을 취하고 있는 상정이다.

시스템은 시간 t0 이전의 패시브 모니터링 기간에 있어서, 운전자가 자고 있음을 검출한 경우, 인계 처리의 전 단계에서, 기상 알람을 울릴 최적의 타이밍을 산출할 필요가 있다.

운전자에게 양호한 깨어남과 인계에 안전한 구간에서의 인계를 행하게 하는 것이 바람직하다. 이를 위해, 시스템은, 도로 환경의 LDM 정보, 즉 차량이 주행하는 도로의 주행 지도 정보를 고밀도로 또한 상시 갱신하는 소위 로컬 다이내믹 맵(LDM) 정보에 기초하여 최적의 인계 실행 구간을 선정한다.

예를 들어, 안전하게 자동 운전으로부터 수동 운전으로 인계를 행할 수 있는 직선 도로 구간 또는 인계가 원활하게 행하여지지 않은 경우의 감속이나 긴급 퇴피, 정차를 행하여도 다른 주위 주행 차량에 대한 영향을 저감할 수 있는 구간에서 인계가 완료되는 구간 정보를 LDM으로부터 취득한다.

시스템은, 예를 들어

저위험도*저영향*얕은 수면 구간

이들의 복합적인 판단을 행하여, 통지 타이밍을 결정하여 복귀 통지를 행한다.

즉, 주행 루트 진로에서 얕은 램 수면을 맞이하는 최후의 도로 안전 구간 세그먼트나 긴급 정차를 해도 지체 발생의 저리스크가 되는 최후의 구간 등에서 실제의 통지, 경보 지점을 결정한다. 인계 지점을, 예를 들어 도로의 직선 구간이 아닌, 산간부의 좁은 교행 불가능한 좁은 도로 구간에 침입하고 나서 행하거나, 램 수면 후의 깊은 수면으로 이행한 구간에서 각성 통지나 경보를 행하거나 해도, 깨어남이 나쁘고, 또한 깨어나서 황급히 복잡한 도로 정황의 판단을 구하여 위험한 상황을 초래하는 것을 피하기 위함이다.

(b: t0 내지 t1)

시스템이, 시간 t0에 있어서 운전자에게 통지를 행하면, 시간 t0 이후에 있어서, 운전자는 깨어나, 기상을 개시한다.

운전자의 기상은, ToF 센서나 카메라에 의해 시스템이 검지하여, 이 검지 정보에 의해 운전자의 행동 평가가 가능하게 된다.

시간 t0 내지 t1의 길이는, 미리 정해진 기대 성공률(RRR)을 얻기 위한 깨어남, 기상에 요하는 시간을 학습 처리에 의해 산출한 데이터로부터 할당된 버짓이고, 허용되는 최대 시간이 된다. 평균적인 복귀 추이 데이터는 일점 쇄선으로 나타내었다. 도면에 나타내는 굵은 파선(관측 데이터 예)은 관측 데이터의 일례이다.

이 관측 데이터 예가, 일점 쇄선으로 나타내는 평균적 복귀 시간을 따라서 있으면 지연은 발생하지 않은 것이 된다.

종축에 나타내는 잔존 유예 시간은 진행에 수반하여 감소하므로, 일정 이상의 복귀 지연이 발생하면 미리 정해진 기대 성공률(RRR)을 실현하는 복귀가 곤란해진다. 사선 영역으로 나타내는 「RED ZONE」까지 지연된 경우에는, 다시, 운전자에게 복귀 경고를 발보하여 조기 복귀를 촉구할 필요가 있다. 가관측의 운전자 복귀 상태 정보와 맞추어, 조기 복귀를 촉구하는 정보도 유효한 복귀 품질 평가 정보가 된다.

(c: t1 내지 t2)

시간 t1 내지 t2에 나타내는 구간은, 운전자의 운전석 이동이 기대되는 구간이 된다. 사선 영역으로 나타내는 「RED ZONE」을 침식하는 지연이 발생하면 조기 복귀를 촉진시키는 경보 알람 등을 발보한다. 시스템은, 운전자의 운전석으로의 복귀 관측을 예를 들어 ToF 센서나 카메라, 차실 내 위치 트랙킹 장치 등에 의한 취득 정보에 기초하여 행한다.

(d: t2 내지 t3)

운전자는, 운전석으로 이동하여 착좌하면, 그 후, 운전 자세를 갖출 필요가 있다. 운전석으로부터의 이석과 복귀가 일상적으로 행해지도록 이후 진화할 경우, 신속하게 복귀하는 경우나, 또한 운전석의 조타 자세에 속박되지 않는 보다 자유로운 자세의 이용 형태로서, 회전 이동 운전석의 이용이 상정된다.

시스템은, 운전자가 운전 자세로부터 회전한 상태의 좌석에 복귀하여, 운전을 할 수 있는 방각으로 되돌아와 시트 벨트를 장착하는 등 필요한 복귀 수순이 정상적으로 행하여지는 것을 모니터링한다. 이 복귀 수순 평가는 ToF 센서나 카메라에 의한 자세 트래킹 외에, 좌석의 회전 운전 자세 복귀 검출이나 착좌 센서, 체온 분포나 생체 신호 검출, 시트 벨트 장착 센서 등을 사용하여 행한다. 시간을 따른 검출 정보에 기초하여 복귀 품질의 평가를 행하는 것이 가능하다.

(e: t3 내지 t4)

운전자가 수동 운전에 필요한 착좌 자세 복귀를 하여, 복귀 요청을 받은 인계 지점 후에 기대되는 수동 운전 침입 구간의 주의 정보나 전방 진행 방각으로의 목시에 의한 확인 등, 운전자와 시스템 사이에 인터렉티브한 확인 응답 동작을 실시한다. 이 처리에 의해, 시스템은, 운전자가 올바른 사고적 수순을 밟은 응답을 행하고 있는지 여부를 판정한다.

운전자는, 의식이 몽롱한 경우나 무의식인 경우, 시스템에 대하여 올바른 응답이 곤란하고, 가령 각성이 충분히 복귀하지 않은 운전자가 응답을 행하여도, 기대되는 응답으로부터 동떨어진 응답 결과가 된다.

시스템이 실행하는 인터랙티브 응답의 확인 처리로서는, 예를 들어 운전자가 핸들을 적절한 악력으로 쥐고 있는지 여부의 확인, 적절한 페달의 답입 압박이나 수순으로 행하고 있는지 여부의 확인, 음성의 AI 인식에 의한 의미가 있는 질의 응답 등, 다양한 처리가 가능하다.

또한, 이용자가 번거로움을 수반하는 응답 방법은 싫어하기 때문에, 단순화한 조기의 응답 결과가 얻어지는 수단이 바람직하다.

인터렉티브한 응답 확인 방법의 하나의 수법으로서, 예를 들어 손가락으로 가리키는 호칭처럼, 운전자가 전방의 목시 확인을 위하여 손가락을 가리키면서 시선으로 전방 도로 방각을 목시 확인하는 제스처 동작의 평가도 유효하다.

운전자의 동작의 지연이나, 손가락으로 가리키는 호칭의 눈과 손가락과 도로 전방의 배치 관계를 평가한 손가락 가리킴의 정확성 등이 복귀 품질로서 취득되어, 기록될 수 있다. 즉, 시스템(정보 처리 장치) 내의 기억부에 기록 보존할 수 있다.

(f: t4 내지 t5)

시간 t4 내지 t5의 안구 거동은, 소위 「Saccadic」이고, 운전자의 응답 특성 중에서 특히 시각에 영향을 미치는 안구의 고속 동작 거동 전반의 평가를 행하는 구간이다.

안구에는, 삼반규관에 의한 운동에 수반하는 자신의 회전 이동 등을 상쇄하는 반사적 거동에 의한 거동이나, 주변 시야에 포착된 동체의 리스크 정보에 대하여 중심 시야를 고속으로 이동시키는 사케이드 동작이 있다.

또한, 거의 중심 시야에 포착된 대상을 지각, 인식, 판단을 행하는 과정에서 기억에 기초하는 판단을 행하기 위해서, 고시와 그 근방에서의 마이크로 사케이드나 트레모어, 드리프트라고 하는 거동이 진행된다. 그 밖에 주의 유인하는 사상의 자극 우선도가 일정 이하이면, 운전자는 시각 정보의 판단이 완결되어 인식을 하고, 그 결과 판단에 필요는 결론에 이르는 동안에 대상에게 시선을 돌린 상태가 된다.

특히 후자의 거동은 뇌 내에서의 이해 판단에 많이 영향을 미치는 점에서, 이 관찰 결과에 기초하여 각성 상태의 추정을 행하는 것이 가능하게 된다. 시선을 새로운 대상으로 이동시키는 사케이드 동작이 행하여지는 요인은, 주변 시야에 들어오는 그 밖의 리스크 요인이거나, 사이렌 등의 소리에 수반하는 자극이거나, 충격이거나, 기억에 수반하는 자극 등, 그 발현 요인은 다양하다. 그 결과, 이 안구 거동의 검출과 발생 빈도나 지속 시간은 상황이나 운전 경험이나 피로 정도 등 경향은 있다고 해도 개인차의 큰 거동이 된다. 한편, 운전자의 각성도의 복귀 품질은, 정상 각성 하의 안정 시 거동을 기준으로 평가를 행함으로써, 운전자의 각성도 평가를 행할 수 있다.

차량이 자동 운전 주행 중에 운전자가 시선을 돌려서 주위 환경 정보를 확인할 때에는, 다종다양하여 각종 리스크 요인에 주의를 할 필요가 있다. 운전자의 시선 해석 시에는, 예를 들어 차량의 주행 방향의 전방 씬으로부터 세만틱 세일리언시 맵(씬에 포함되는 오브젝트 단위의 주의 예상 분포 맵)을 생성하여, 맵에 대한 운전자의 시선 거동을 해석하는 방법이 이용 가능하다. 그러나, 주행 중의 도로는 다양하고, 운전자의 시선 거동이 기대되는 것과 다른 일도 많아, 안정된 거동 관측은 어렵다.

자동 운전으로부터 수동 운전으로의 인계 시의 각성도의 판단에 허용되는 유예 시간은 한정되어 있다. 그래서, 단기간에 일정 과제를 인공적으로 제시, 그 과제 확인 시의 안구 거동을 발현시켜, 안정된 안구 거동 평가를 행하는 것이 유효해진다. 즉, 우발적인 주행 중의 전방 풍경에 대한 안구 거동을 관측하는 것이 아닌, 시스템이 기계적으로 제시한 과제에 대한 거동 해석을 실시한다. 그 평가 방법은 인계 주의 정보를 매트릭스 정보의 제시 장치에 제시하여, 그 제시 정보에 대한 운전자의 안구 거동을 해석하여 운전자의 각성도 평가를 행할 수 있다.

(g: t5 내지 t6)

시간 t5 내지 t6의 「복귀 능력 확인(S/P)」으로 나타내는 구간은, 운전자가 실제 사용하는 차의 차량 조타를 부분적으로 개시하여 이 구간에서 근력적 체력적인 실질 조타 평가를 실시하는 기간이다.

시스템이, 운전자가 수동 운전 복귀를 실질적으로 개시할 수 있다고 판단하면, 운전자의 조타 기기에 대한 조타에 따라서 차량이 주행을 개시한다. 혹은, 운전자의 조타 기기에 대한 조타 품질과 실제의 조타 타당성 평가를 행하면서, 점점 자동 운전 제어의 개재를 억제해 가서, 운전자의 수동 운전에 대한 의존도를 높여 가는 제어를 행한다.

전술한 바와 같이 도 26에 도시하는 예는, 운전자가 운전석으로부터 이석하여 쪽잠을 자고 있는 상태에서, 시스템이 시간 t0에 있어서 운전자에 대하여 통지(수동 운전 복귀 요청 통지)를 행한 후의, 운전자 상태나 시스템에 의한 운전자의 관측 상태((a) 내지 (g))의 변화점을 접속한 그래프이다.

운전자가 쪽잠 중에, 시간 t0에서 시스템이 운전자에게 통지(수동 운전 복귀 요청 통지)를 행한 경우에는, 운전자 상태나 시스템에 의한 운전자의 관측 상태가 이하의 (a) 내지 (g)와 같이 변화한다.

(b) 깨어남, 기상, 주위 확인

(c) 운전석 복귀

(d) 운전 자세 복귀

(e) 능동적 응답

(f) 안구 거동

(g) 복귀 능력 확인(S/P)

이 상태 변화 (a) 내지 (g)는 운전자의 초기 상태가 쪽잠 상태인 경우에 고유한 상태 변화이다.

운전자 상태나 시스템에 의한 운전자의 관측 상태의 추이는, 운전자의 초기 상태에 따라서 다른 추이가 된다.

도 27은, 운전자의 다른 초기 상태에 따른 상태 변화의 추이와 추이 타이밍의 예를 도시하는 도면이다.

도 27에는, 이하의 4개의 운전자의 다른 초기 상태에 따른 상태 변화의 추이 예를 도시하고 있다.

(1) 운전자가 쪽잠 구역에서 쪽잠을 자고 있는 경우

(2) 운전자가 운전석을 이석하여 일어나 있는(각성 상태) 경우

(3) 운전자가 운전석에 착좌하고 있지만 운전 자세는 아닌 경우

(4) 운전자가 운전 자세인 채로 2차 태스크를 실행하고 있는 경우

(1) 운전자가 쪽잠 구역에서 쪽잠을 자고 있는 경우에는, 도 26을 참조하여 설명한 예에 대응한다. 즉, 운전자 상태나 시스템에 의한 운전자의 관측 상태가 이하의 (a) 내지 (g)와 같이 변화한다.

(b) 깨어남, 기상, 주위 확인

(c) 운전석 복귀

(d) 운전 자세 복귀

(e) 능동적 응답

(f) 안구 거동

(g) 복귀 능력 확인(S/P)

(2) 운전자가 운전석을 이석하여 일어나 있는(각성 상태) 경우에는, 운전자 상태나 시스템에 의한 운전자의 관측 상태가 도 27에 도시한 바와 같이, 이하의 (h) 내지 (g)와 같이 변화한다.

(h) 운전자가 운전석을 이석하고 있는 상태(시스템은 운전자가 운전석을 이석하고 있는 상태임을 패시브 모니터링 및 액티브 모니터링으로 관측)

(c) 운전석 복귀

(d) 운전 자세 복귀

(e) 능동적 응답

(f) 안구 거동

(g) 복귀 능력 확인(S/P)

즉 (1)의 초기 상태가 쪽잠인 경우의 (a) 패시브 모니터링, (b) 깨어남, 기상, 주위 확인이,

으로 변경된다.

또한, 상태 (h)로부터 「상태 (c) 운전석 복귀」로의 이행 시간(t11)은, (1)의 초기 상태가 쪽잠인 경우의 「상태 (b) 깨어남, 기상, 주위 확인」으로부터 「상태 (c) 운전석 복귀」로의 이행 시간(t1)보다, 선행한 시간이 된다.

상태 (h)는, 「상태 (b) 깨어남, 기상, 주위 확인」으로부터, 운전자의 의식이 뚜렷한 각성 상태이기 때문이다.

(3) 운전자가 운전석에 착좌하고 있지만 운전 자세가 아닌 경우에는, 운전자 상태나 시스템에 의한 운전자의 관측 상태가, 도 27에 도시한 바와 같이 이하의 (i) 내지 (g)와 같이 변화한다.

(i) 운전자가 운전석에서 비정규 자세 상태(시스템은 운전자가 운전석에서 비정규 자세 상태임을 패시브 모니터링 및 액티브 모니터링으로 관측)

(d) 운전 자세 복귀

(e) 능동적 응답

(f) 안구 거동

(g) 복귀 능력 확인(S/P)

즉 (1)의 초기 상태가 쪽잠인 경우의 (a) 패시브 모니터링 내지 (c) 운전석 복귀가,

로 변경된다.

또한, 상태 (i)로부터 「상태 (d) 운전 자세 복귀」로의 이행 시간(t22)은, (2)의 초기 상태가 운전석 이석인 경우의 「상태 (c) 운전석 복귀」로부터 「상태 (d) 운전 자세 복귀」로의 이행 시간(t12)보다, 선행한 시간이 된다.

상태 (i)는, 이미 운전석에 있는 상태여서, 운전석으로의 복귀 동작이 불필요하게 되기 때문이다.

(4) 운전자가 운전 자세인 채로 2차 태스크를 실행하고 있는 경우에는, 운전자 상태나 시스템에 의한 운전자의 관측 상태가, 도 27에 도시한 바와 같이 이하의 (j) 내지 (g)와 같이 변화한다.

(j) 운전자가 운전석에서 2차 태스크를 실행 중(시스템은 운전자가 운전석에서 2차 태스크를 실행 중임을 패시브 모니터링 및 액티브 모니터링으로 관측)

(e) 능동적 응답

(f) 안구 거동

(g) 복귀 능력 확인(S/P)

즉 (1)의 초기 상태가 쪽잠인 경우 (a) 패시브 모니터링 내지 (d) 운전 자세 복귀가,

으로 변경된다.

이와 같이, 운전자 상태나 시스템에 의한 운전자의 관측 상태의 추이는, 운전자의 초기 상태에 따라서 다른 추이가 된다.

이와 같이, 복귀 예측 대응 지연 평가부(206)는, 도 26, 도 27을 참조하여 설명한 운전자의 수동 운전 복귀까지의 상태 추이를 관측하여 자동 운전으로부터 수동 운전으로의 이행 시의 운전자의 복귀 품질의 평가 처리를 실행한다. 복귀 지연 대책 처리부(207)는, 자동 운전으로부터 수동 운전으로의 이행 시의 운전자의 복귀에 지연이 검출된 경우의 경고, 얼러트의 통지, 시트나 핸들의 바이브레이션 출력 등의 대응을 실행한다. 복귀 시간 유예 판정부(208)는, 도 26, 도 27을 참조하여 설명한 이행 유예 시간을 산출한다.

긴급 처리 실행부(209)는, 자동 운전으로부터 수동 운전으로의 이행 시의 운전자의 복귀에 지연이 검출되어, 수동 운전으로의 전환 지점에서의 수동 운전의 개시를 할 수 없다고 판정한 경우의 처리를 실행한다. 구체적으로는, 감속 처리, 정지 처리, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동, 피난로 등으로의 이동 처리 등이다.

긴급 처리 실행부(209)는, 인계 단념 입력부(221)로부터, 운전자 자신의 수동 운전의 개시를 거절하는 의사를 입력한 경우에도, 감속 처리, 정지 처리, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동, 피난로 등으로의 이동 처리 등의 처리를 실행한다.

또한, 인계 단념 입력부(221)는, 운전자 자신의 수동 운전의 개시를 거절하는 의사를 입력하는 입력부이고, 예를 들어 인계 단념 입력부로서 구성된 스위치나, 유저 단말기를 통하는 입력이 가능하다. 그 밖에, 운전자의 고개를 흔드는 동작이나 손을 흔드는 동작의 카메라 촬영 화상을 운전자의 거절 의사의 입력이라고 판단하는 구성으로 해도 된다.

복귀 지연 페널티 생성, 기록부(210)는, 운전자의 수동 운전으로의 복귀 지연 시, 혹은 수동 운전으로의 복귀를 거절한 경우의 페널티의 생성, 기억부로의 기록 처리를 실행한다.

복귀 지연 페널티 생성, 기록부(210)가 기억부에 기록하는 데이터에는, 예를 들어 이하의 데이터가 포함된다.

(1) 운전자의 운전석 이석으로부터 운전석 복귀까지의 경과 시간

(2) 운전자로의 통지로부터 복귀 개시까지의 지연 시간

(3) 운전자의 쪽잠 시의 경보 출력으로부터 깨어날 때까지의 지연 시간

(4) 통지로부터 통지 인지 반응 시간(2차 태스크 중단까지의 시간)

(5) 통지 인지 후의 실제의 복귀 개시 행동 지연

(6) 이석시 원격 유예 통지에 대한 사전 복귀 개시의 유무 그 사전 개시 시간

(7) 통지 인지 후의 복귀 개시 지연과 페널티 사전 통지, 경보의 기록

(8) 시스템의 긴급 예방 처치 동작 개시 기록

(9) 시스템의 긴급 예방 처치 동작과 실제의 차량 감속, 서행, 갓길 퇴피, 풀 에어리어 퇴피의 상세 시퀀스 기록

(10) 통지 후의 복귀 지연의 반복 위반, 일정 기간의 누계 위반

(11) 주의 하 주행 요청 구간에서의 곁눈질 빈도 관측과 기록

(12) 복귀 기댓값에 대한 진척도의 1차 기록과 운전자 라이브 피드백(시각, 청각, 촉각, 햅틱)

(13) 복귀 지연 발생의 사외 통지 기기로의 상태 레지스터 기입

(14) 복귀 유예 시간 지시기의 사전 확인 빈도 추이

(15) 통지에 대한 인지 품질 평가(제스처 준민도, 자기 각성 향상 행동의 관측=얼굴을 두드리는 등)

복귀 지연 페널티 생성, 기록부(210)는, 기억부에 이들의 데이터를 기록한다.

(5-3. 주행 루트 정보에 기초하는 수동 운전 복귀 지점의 검출 및 수동 운전 복귀 시간 추정에 기초하는 수동 운전 복귀 필요 시간 산출 처리의 구체예에 대해서)

이어서, 주행 루트 정보에 기초하는 수동 운전 복귀 지점의 검출 및 수동 운전 복귀 시간 추정에 기초하는 수동 운전 복귀 필요 시간 산출 처리의 구체예에 대하여 설명한다.

도 23에 도시하는 정보 처리 장치(200)의 복귀 통지, 경고 타이밍 산출부(205)에 있어서, 운전자에 대한 수동 운전으로의 복귀 통지의 타이밍을 산출하기 위해서는, 주행로 상의 구간 정보, 즉 자동 운전으로부터 수동 운전으로의 전환 지점 정보 등을 취득하는 것이 필요해진다.

또한, 운전자의 상태도 정확하게 파악하는 것이 필요해진다.

이들 정보 취득 처리예에 대해서, 도 28 이하를 참조하여 설명한다.

도 28은, 주행로 상의 구간 정보, 즉 자동 운전으로부터 수동 운전으로의 전환 지점 정보 등을 취득하는 처리 시퀀스를 설명하는 흐름도이다.

도 23에 도시하는 정보 처리 장치(200)의 복귀 통지, 경고 타이밍 산출부(205)는, 도 28의 플로에 따라, 자동 운전으로부터 수동 운전으로의 전환 지점 정보 등을 취득하는 처리를 실행한다.

스텝 S51에 있어서, LDM(로컬 다이내믹 맵)의 취득 처리를 실행한다.

스텝 S52에 있어서, 교통 상황 정보의 취득 처리를 실행한다.

스텝 S53에 있어서, 차체 의존 정보를 취득한다.

이어서, 이들의 취득 정보에 기초하여 스텝 S54 내지 S56의 처리를 실행한다.

스텝 S54에서는, 도로 교통량에 따른 각 지점 예측 도달 시간을 산출한다.

스텝 S55에서는, 루트 상의 구간 최신 주행 가능 레벨의 정보 전개, 운전자 통지 정보의 업데이트 처리를 실행한다.

스텝 S56에서는, 도로의 접근 구간에서의 감속, 퇴피 가능 루트의 자차의 감속, 서행, 정차 영향도를 산출한다.

복귀 통지, 경고 타이밍 산출부(205)는, 이들 정보를 이용하여, 자동 운전으로부터 수동 운전으로의 전환 지점 정보 등의 주행로에 있어서의 구간 정보 등의 주행로의 정확한 상황을 해석하고, 해석 결과를 이용하여 복귀 통지, 경고 타이밍을 산출한다.

복귀 통지, 경고 타이밍 산출부(205)는, 또한 도 29에 도시하는 플로에 따라, 운전자 정보를 취득한다.

스텝 S61에 있어서, 운전자의 운전 이력 정보의 취득 처리를 실행한다.

스텝 S62에 있어서, 운전자의 생체 정보의 취득 처리를 실행한다.

스텝 S63에 있어서, 운전자의 자세 정보를 취득한다.

스텝 S64에 있어서, 운전자의 캐빈(차량) 내의 위치 정보를 취득한다.

이어서, 이들 취득 정보를 이용하여, 운전자가 운전 자세로 복귀할 때까지의 시간을 예상한다. 이 구체적인 처리는, 먼저 도 24 내지 도 27을 참조하여 설명한 처리이다.

복귀 통지, 경고 타이밍 산출부(205)는, 도 28의 플로에 따른 주행로 정보의 취득 처리와, 도 29의 플로에 따른 운전자 정보의 취득 처리에 있어서 취득한 정보에 기초하여, 복귀 통지, 경고 타이밍을 산출한다.

도 28의 플로에 따른 주행로 정보의 취득 처리와, 도 29의 플로에 따른 운전자 정보의 취득 처리에 있어서 취득되는 정보의 예를 도 30에 도시한다.

도 30의 (a), (b)에 도시하는 정보는, 도 28의 플로에 따른 주행로 정보의 취득 처리에 의해 취득되는 정보이고, 도 30의 (c)에 도시하는 정보는, 도 29의 플로에 따른 운전자 정보의 취득 처리에 의해 취득되는 정보이다.

도 30의 (b)에 도시하는 데이터는, 먼저 도 14 내지 도 16 등을 참조하여 설명한 주행로 상의 도로 구간 정보이다.

도 30의 (a)에 도시하는 정보는 도로의 주행 구간 등의 단위로 설정되는 미리 정해진 인계 기대 성공률(RRR: Requested Recovery Rate)을 나타내는 데이터이다.

도 30의 (c)에 도시하는 데이터는, 먼저 도 24의 (b)를 참조하여 설명한 데이터이고, 관측된 특정 운전자 각성도 평가값에 기초하는 복귀 지연 시간과 복귀 성공률의 관계를 나타내는 데이터이다. 이 데이터는, 운전자의 관측 정보에 기초하여 생성된다.

또한, 운전자 각성도 평가값은, 예를 들어 생체 정보 관측(맥, 호흡, 체취, 호기, 혈류, ···)이나 수면의 깊이 관측 정보에 기초하는 평가값이다. 구체적으로는, 램 수면 관측, 생체 관측, 발한 관측, 호흡, 맥박, 눈꺼풀, 뒤척임, 알파파 관측 정보가 이용 가능하다.

또한, 운전자가 일어나 있고 부분적으로 운전 상황을 파악하고 있는 경우에는, 드라이버 모니터링 시스템에 의한 관측 정보, 예를 들어 피로 평가, PERCLOS(개안 비율) 등에 의한 깜박임 평가, 얼굴의 표정 평가 정보 등, 관측되는 운전자의 종합적 또는 한정 부분적인 관측 정보 등을 이용하여 운전자의 각성도 평가값을 산출할 수 있다.

복귀 통지, 경고 타이밍 산출부(205)는, 도 28의 플로에 따른 주행로 정보의 취득 처리와, 도 29의 플로에 따른 운전자 정보의 취득 처리에 있어서 취득한 정보에 기초하여, 도 30에 도시하는 각 데이터를 생성하여, 이 데이터를 이용하여 운전자에 대한 수동 운전으로의 복귀 통지, 경고 타이밍을 산출한다.

(5-4. 운전자에 의한 수동 운전 인계 단념을 허용한 처리의 시퀀스에 대해서)

이어서, 운전자에 의한 수동 운전 인계 단념을 허용한 처리의 시퀀스에 대하여 설명한다.

먼저 도 23을 참조하여 설명한 바와 같이, 이동 장치 내의 정보 처리 장치(200)에는 인계 단념 입력부(221)가 마련되어 있다.

인계 단념 입력부(221)는, 운전자 자신의 수동 운전의 개시를 거절하는 의사를 입력하는 입력부이고, 예를 들어 인계 단념 입력부로서의 스위치나, 유저 단말기를 통한 입력이 가능하다. 그 밖에, 운전자의 고개를 흔드는 동작이나 손을 흔드는 동작의 카메라 촬영 화상을 운전자의 거절 의사의 입력이라고 판단하는 구성으로 해도 된다.

인계 단념 입력부(221)를 통해, 운전자로부터 수동 운전 개시의 거절 입력이 이루어지면, 긴급 처리 실행부(209)는, 감속 처리, 정지 처리, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동, 피난로 등으로의 이동 처리 등의 처리를 실행한다.

또한, 인계 단념 입력부(221)를 통한 운전자로부터의 수동 운전 개시의 거절 입력이 없는 경우에도, 운전자에 의한 사전 설정에 의해, 긴급 처리 실행부(209)는, 규정의 복귀 지연을 검출한 경우, 인계 불가라고 판정하여 조기의 후속차 저영향도 구역에서의 긴급 퇴피 처리를 행하게 해도 된다.

예를 들어, 운전자가 지병 보유자, 차량이 유해 위험물 적재 차량인 경우 등, 운전자나 차량에 의해 안전한 제어가 요구되는 사정이 있는 경우에는, 운전자나 차량 운행 관리 센터에 의해 이 사전 설정에 기초하는 처리를 행하는 것이 바람직하다.

상기와 같은 운전자나 차량의 특수 사정이 없는 경우에는, 규정의 복귀 지연을 검출한 경우에도, 운전자의 조작 변동으로 판단하여, 정상적인 경고의 통지 처리 등을 행한다.

이러한 운전자 상황, 도로 상황, 차량 특성 등에 따른 처리를 최적화하여 적절히 조기의 대처 처리를 행함으로써, 예를 들어 환자가 운전하는 자동 운전 가능한 차량의 협애 도로에서의 수동 운전 복귀 부전에 수반하는 긴급 정차로 도로가 차단되는 것을 피하기 위해서, 진행의 조기에 저영향도 구간에서 대처를 개시한다. 또한, 대형 연결 차량이나 중량물 적재 차량이라면 커브 등이 많고 전망이 나쁜 구간에서의 수동 운전 인계나 정차를 피하기 위해서, 사전 신고 설정에 의해 직선의 전망이 좋은 도로 구간이나 조기의 대처 처리를 함으로써, 가령 인계가 정상적으로 행하여지지 않더라도 후속차의 통행 저해나 긴급 감속이 필요해지지 않는 사전 구간을 시스템이 탐색하여 처리함으로써 도로의 지체나 통행 금지 등의 발생을 저감할 수 있다.

단, 인계 지연의 발생 시에는, 운전자에 대한 페널티를 적절히 계층적으로 부과하는 것을 아울러 행하는 것이 운전자의 복귀 행동을 습관적으로 빠르게 하여, 사회 인프라로서의 도로를 운용함에 있어서 유효하다. 한편, 예정대로의 조기 복귀를 행한 운전자에 대해서는 인센티브를 부여하는 등의 처리를 행한다.

통상 시는, 차량의 감속 등을 행하지 않고 원활하게 자동 운전으로부터 수동 운전으로 인계를 행하는 것이 바람직하다. 단, 인계를 행할 수 없는 사정이 있는 경우에는, 운전자는 수동 운전의 인계를 단념할 것을 의뢰한다. 이 경우, 차량의 시스템은, 차량의 감속이나, 퇴피로로의 퇴피, 간선 도로로부터 일반 도로로의 이동, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 등의 차량 제어를 행한다.

시스템은, 운전자의 복귀 추이, 각성 레벨, 복귀 레벨을 관측하기 위한 가관측 생체 신호를 관측해도, 운전자의 진짜 신체 상황을 파악하는 것은 곤란하다.

운전자가 스스로, 수동 운전 복귀의 단념을 의뢰함으로써, 시스템은, 운전자가 수동 운전으로 복귀할 수 없는 상황임을 확실하게 또한 조기에 파악하는 것이 가능하게 되어, 보다 확실하게 조기의 퇴피 제어를 행할 수 있다.

도 31, 도 32를 참조하여, 운전자에 의한 수동 운전으로의 복귀의 거부를 허용한 처리의 처리 시퀀스에 대하여 설명한다.

도 31, 도 32에 도시하는 처리는, 이동 장치에 탑재된 정보 처리 장치(200)의 데이터 처리부, 예를 들어 먼저 도 23을 참조하여 설명한 처리부를 포함하는 데이터 처리부에 있어서 실행된다.

도 31, 도 32에 도시하는 시퀀스도에 도시하는 각 처리에 대하여 설명한다.

스텝 S71은, 차량의 자차 적재 의존 특성(화물 특성)에 기초하여 실행하는 운전자에 대한 수동 운전 복귀 통지, 경고 통지 타이밍의 산출 처리이다.

스텝 S72는, LDM(로컬 다이내믹 맵)의 정상적인 갱신된 정보에 기초하여 실행하는 운전자에 대한 수동 운전 복귀 통지, 경고 통지 타이밍의 산출 처리이다.

스텝 S73은, 차외 환경 인식 정보에 기초하는 리스크 판정 처리이다. 예를 들어 카메라나 거리 센서로서의 LiDAR 등의 센서에 의한 충돌 가능성이 있는 위험물 검출 등의 정보에 기초하는 리스크 판정 처리이다.

스텝 S74는, 자차 탑재 기기 자기 진단 정보에 기초하는 수동 운전 복귀 통지, 경고 통지 타이밍의 산출 처리이다.

스텝 S75는, LDM(로컬 다이내믹 맵)의 정상적인 갱신된 정보에 기초하여 실행하는 긴급 퇴피 선택지 정보의 사전 취득 처리이다. 예를 들어 LDM에는 파킹 에어리어 정보나, 노측대의 주차 가능 에어리어의 유무, 퇴피용의 옆길의 유무 등의 정보, 또한 감속 가능한 도로인지 여부 등의 도로 정보가 포함되어 있고, 이들 LDM 정보에 기초하여, 긴급 시에 취할 수 있는 선택지를 사전에 선택해 둔다. 선택지 정보는 기억부에 저장된다.

스텝 S76은, 스텝 S73과 마찬가지의 처리이고, 차외 환경 인식 정보에 기초하는 리스크 판정 처리이다. 예를 들어 카메라나 거리 센서로서의 LiDAR 등의 센서에 의한 충돌 가능성이 있는 위험물 검출 등의 정보에 기초하는 리스크 판정 처리이다.

이들 스텝 S71 내지 S76의 처리는, 계속적으로 반복 실행된다.

스텝 S77은, LDM 정보의 갱신에 이용되는 정보는 구간 주행하는 다수의 일반 차량으로부터 자율 인식된 도로 환경 검출 정보나 부족한 LDM의 정보를 전용으로 취득하는 프로브 카의 취득 정보, 나아가 인프라 설치형의 센서군에 기초하는 LDM의 갱신 처리이다. 또한, LDM의 정보를 취득하는 프로브 카는 반드시 모두가 전용의 정보 취득 차량일 필요는 없고, 택시, 노선 버스, 택배·우편 등의 업자 차량, 경찰 차량 등 지역과 밀착한 주행 빈도로 높은 차량의 주행을 이용해도 된다.

이 처리도 축차, 실행된다.

스텝 S81은, 운전자의 패시브 모니터링, 예를 들어 카메라나 센서에 의한 운전자의 생체나 자세, 그 밖의 상태 정보를 취득하는 패시브 모니터링 정보에 기초하는 수동 운전으로의 복귀 지연 시간의 예측 처리이다.

이 처리도 계속적으로 실행된다.

스텝 S82는, 수동 운전으로의 복귀 지연 시간의 예측 처리 결과를 운전자에게 통지하는 처리이다. 운전자가 소지하는 유저 단말기나, 운전석의 디스플레이 등에 복귀 지연 시간의 예측 처리 결과를 표시하여 통지한다. 혹은 경보를 출력한다.

스텝 S83에서는, 이 통지에 대한 운전자의 응답을 입력하여 운전자가 통지를 인지하였음을 확인한다.

스텝 S84, S85는, 운전자의 수동 운전으로의 복귀 품질의 평가 처리이다. 이 평가 처리는, 수동 운전으로의 복귀 지연 시간의 예측 처리 결과와, 그 예측 처리 결과의 운전자에게의 통지에 대한 운전자의 응답 결과를 따라 예측된 복귀 지연 시간에 기초하여 실행된다.

스텝 S86은, 운전자의 수동 운전으로의 복귀 품질의 평가 결과에 기초하는 리스크 판정 처리이다. 이 리스크 판정은, 운전자가, 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크를 판정하는 처리이다.

전환 지점까지 수동 운전으로 복귀할 수 없을 리스크가 높다고 판정한 경우에는, 스텝 S87에 있어서, 운전자에게 경고 통지를 행한다.

스텝 S88은, 스텝 S82와 마찬가지의 처리이고, 수동 운전으로의 복귀 지연 시간의 예측 처리 결과를 운전자에게 통지하는 처리이다. 운전자가 소지하는 유저 단말기나, 운전석의 디스플레이 등에 복귀 지연 시간의 예측 처리 결과를 표시하여 통지한다. 혹은 경보를 출력한다.

스텝 S89에서는, 이 통지에 대한 운전자의 응답을 입력(검출)하여 운전자의 수동 운전으로의 복귀 품질의 평가 처리를 행한다. 운전자의 액티브 모니터링이 실시되기 때문에, 정보 통지를 운전자가 이해한 경우에는, 그 통지를 무시하지 않는 한은 응답 반응과 대처 수속이 개시된다. 그 응답 결과를 버튼 조작 입력이나 조타 기기의 실제의 조작이나 복귀 행동으로서 나타내게 되므로, 그 응답을 바탕으로 복귀 경과 품질 평가를 행한다. 여기에서 직접 물리적 변화를 수반하는 기기로의 입력이 없는 응답 행동인 경우, 운전자의 자세·포스춰 해석 등의 행동 해석을, 예를 들어 ToF 카메라, 키넥트 카메라, 스트럭처 라이트 카메라 등을 사용하여 행하여, 활동 평가 결과를 바탕으로 수동 운전으로의 복귀 품질의 평가를 실시한다.

스텝 S90은, 운전자의 수동 운전으로의 복귀 품질의 평가 결과에 기초하는 리스크 판정 처리이다. 이 리스크 판정은, 운전자가, 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크를 판정하는 처리이다.

전환 지점까지 수동 운전으로 복귀할 수 없을 리스크가 높다고 판정한 경우에는, 스텝 S91에 있어서, 운전자에게 경고 통지를 행한다.

스텝 S92에서는, 운전자에 대한 경고 통지에 대한 운전자의 응답을 입력(검출)하여 운전자의 복귀 품질의 평가 처리를 행한다.

또한, 스텝 S93에서, 복귀 품질의 평가 결과에 기초하여, 운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크를 판정한다.

스텝 S94는, 스텝 S93의 리스크 판정에 기초하여, 운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크가 높다고 판정한 경우에 실행하는 처리이고, 이 경우에는, 긴급 퇴피 처리를 실행한다.

구체적으로는, 감속, 정지, 피난로로의 이동, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 등의 긴급 퇴피 처리를 실행한다.

스텝 S95는, 스텝 S85와 마찬가지의 처리이고, 수동 운전으로의 복귀 지연 시간의 예측 처리 결과의 운전자로의 통지에 대한 운전자의 응답 결과에 따라서 예측된 복귀 지연 시간에 기초하여 실행되는 운전자의 수동 운전으로의 복귀 품질의 평가 처리이다.

이 처리는 계속적으로 반복 실행된다.

스텝 S96 내지 S98은, 리스크 판정에 있어서 수동 운전 복귀가 가능하다고 판단했을 때의 처리이다. 이 경우, 운전자의 운전 조작 정보를 입력하고, 운전자의 수동 운전의 품질을 평가하여, 안전성이나 리스크를 판정한다.

도 31에 있어서, 운전자에 의한 수동 운전 복귀의 거부가 허용되는 기간은, 도면에 나타내는 「복귀 한계 시간(TL)」 이전의 기간이다.

「복귀 한계 시간(TL)」은, 차량이 수동 운전으로의 전환 지점에 접근하는 시간이고, 이 시간을 초과하면 자동 운전 구간 내에서의 긴급 퇴피를 실행할 수 없는 시간에 상당한다.

또한, 운전자에 의한 수동 운전 복귀의 거부가 없는 경우에도, 스텝 S93에 있어서의 복귀 품질의 평가 결과에 기초하여, 운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크가 높다고 판정한 경우에는, 복귀 허용 지연 시간이 경과했다고 판정하여, 스텝 S94에 나타내는 바와 같이 강제적인 긴급 퇴피 처리를 실행한다.

도 32는, 돌발적 사상의 일례로서, 자차량에 선도하는 선도 차량, 예를 들어 프로브 카나 구간 선행 주행 차량 등으로부터의 통신, 즉 V2V 통신(차차간 통신)에 의해 사고 정보 등의 긴급 정보를 수신한 경우의 처리 예를 도시하고 있다.

스텝 S101은, 먼저 설명한 스텝 S77과 마찬가지의 처리이고, LDM 정보의 갱신에 이용되는 정보를 제공하는 프로브 카의 취득 정보에 기초하는 LDM의 갱신 처리이다. 이 처리는 축차, 실행된다.

스텝 S102는, 자차량의 선도 차량인 프로브 카로부터의 V2V 통신(차차간 통신)을 수신하여, 수신 정보에 기초하는 리스크 판정을 행하는 처리이다. 예를 들어, 돌발적인 사고 등의 발생에 의해, 수동 운전을 행하지 않으면 안 되는 구간이 곧 발생할 가능성이 있는 경우이다.

이러한 경우, 스텝 S103에 있어서, 운전자에 대한 통지나 경고를 행한다. 즉, 수동 운전을 행하지 않으면 안 되는 구간이 곧 발생할 가능성이 있음의 통지이다.

스텝 S104에서는, 프로브 카로부터의 수동 운전 구간의 실제의 발생 정보가 통지되고, 이 통지 정보에 기초하여, 수동 운전 복귀 통지, 경고 통지 타이밍의 산출 처리가 행하여진다. 이 실시예에서는 프로브 카를 주체로 실시예로서 기재하고 있지만, 현실의 운용으로서 많은 전용의 프로브 카를 상시, 인프라 상에 계속 주행시키는 것은 현실적이지 않다. 따라서, 운용 상은 인프라 구간을 통과한 환경 인식 기능을 탑재한 차량에 정보를 보완하는 역할을 담당시키는 구성으로 하는 것이 바람직하다. 구체적으로는, 자차가 구간 주행 중에 확인한 리스크 정보를, 동일 구간에 접근하는 후속 차량군에 발신하고, 구간에 침입하는 후속 차량이 그 정보를 활용하여 자차의 구간으로의 침입 시에 예방적 제어를 실행한다는 구성이다.

스텝 S105는, 스텝 S104의 통지 타이밍의 산출 시에, 이미 운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크가 높다고 판정한 경우에 실행하는 처리이고, 이 경우에는, 긴급 퇴피 처리를 실행한다.

스텝 S106은, 스텝 S105에 있어서 긴급 퇴피 처리가 실행 중임을 운전자에게 통지하는 처리이다.

스텝 S107은 운전자가 통지를 인지했는지 여부를 판정하는 처리이고, 인지 확인이 되지 않은 경우에는 스텝 S108에서 경보를 출력하여, 스텝 S109에서 경보에 대한 운전자의 인지 확인을 행한다.

예를 들어, 이러한 시퀀스로 처리가 실행된다.

(5-5. 운전자 또는 동승자가 수동 운전으로의 인계 단념의 의사 표시를 행한 경우의 처리에 대해서)

이어서, 운전자 또는 동승자가 수동 운전으로의 인계 단념의 의사 표시를 행한 경우의 처리에 대하여 설명한다.

수동 운전으로의 인계를 거부하는 의사 표시는, 운전자 또는 동승자가 행할 수 있다.

도 33에 도시하는 흐름도를 참조하여 이동 장치에 탑재된 정보 처리 장치가 실행하는 처리의 시퀀스에 대하여 설명한다. 또한, 도 33에 도시하는 플로에 따른 처리는, 정보 처리 장치 내의 데이터 처리부에 있어서 기억부에 저장된 프로그램을 따라 실행하는 것이 가능하다.

이하, 플로의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S201)

먼저, 스텝 S201에 있어서, 자동 운전 가능 구간으로부터 수동 운전 구간으로의 인계 지점의 접근을 운전자에게 통지한다. 예를 들어 디스플레이를 갖는 유저 단말기 등의 HMI(Human Machine Interface)를 통해 통지된다.

(스텝 S202)

먼저, 스텝 S202에 있어서, 정보 처리 장치의 데이터 처리부는, 인계 단념 시의 선택지를 취득한다.

또한, 이 처리에 있어서는, 간선(주행) 도로 주위의 LDM(로컬 다이내믹 맵)으로부터 회피 루트 선택 정보 등을 취득한다.

LDM(로컬 다이내믹 맵)은, 예를 들어 도 34에 도시한 바와 같이 현재, 주행 중 도로에 관한 회피 루트 정보가 얻어진다. 예를 들어 서비스 에어리어(SA), 파킹 에어리어(PA), 퇴피 가능한 일반 도로 등의 측도, 인계 부전차 대응의 주차 스페이스(Pool Area), 퇴피 레인 등, 다양한 회피 루트 정보가 얻어진다.

간선 도로나 고속 도로에서는, 주위 차량의 순항 속도인 고속에서의 자동 운전이 전제가 되지만, 고속 도로에 접속된 일반 도로가 저속 자동 운전 가능한 도로라면, 자동 운전인 채로 일반 도로로 나오는 것도 선택지가 된다. 일반 도로나 뒷길은 차량이 정차해도 사회 인프라의 통행 방해가 될 리스크는 낮아, 현실적인 우회 방법이 된다.

또한, 긴급 정지 가능한 퇴피 레인이나 파킹 에어리어가 존재하면, 그 에어리어도 인계 단념 시의 선택지이다.

정보 처리 장치의 데이터 처리부는, 이들 다양한 인계 단념 시의 선택지를 취득한다.

또한, 각 선택지에 따라서 장점, 단점이 다르지만, 이용자에 따라 요구도 다르기 때문에, 취득한 선택지를 운전자에게 제시하여, 이용할 선택지를 선택시켜도 된다.

(스텝 S203 내지 S204)

스텝 S203 내지 S204에 있어서, 운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 있었는지 여부를 판정한다.

또한, 이 입력은, 예를 들어 인계 단념 입력부로서 구성된 스위치나, 유저 단말기를 통한 입력이 가능하다. 그 밖에, 운전자의 고개를 흔드는 동작이나 손을 흔드는 동작의 카메라 촬영 화상을 운전자의 거절 의사의 입력이라고 판단하는 구성으로 해도 된다.

운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 없는 경우에는, 스텝 S205로 진행한다.

운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 있는 경우에는, 스텝 S210으로 진행한다.

(스텝 S205)

스텝 S205는, 스텝 S203 내지 S204에 있어서, 운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 없는 경우에 실행하는 처리이다.

이 경우, 스텝 S205에 있어서, 수동 운전으로의 인계 통지 타이밍이 되었는지 여부를 판정한다.

되었을 경우에는 스텝 S206으로 진행한다. 되지 않은 경우에는, 스텝 S201로 되돌아가, 스텝 S201 이하의 처리를 반복한다.

(스텝 S206)

수동 운전으로의 인계 통지 타이밍이 되었을 경우, 스텝 S206에 있어서, 운전자에 대한 통지를 실행한다.

(스텝 S207)

다음으로 스텝 S207에 있어서, 인계 한계 버짓 매니지먼트 처리를 실행한다.

이 처리는, 먼저 도 26을 참조하여 설명한 처리이다.

즉, 자동 운전으로부터 수동 운전으로의 인계 지점의 도달 시각을 t(ToR_point)(Take over Request 지점)라 하고, 이 도달 시각에 있어서 인계가 미리 정해진 성공률 RRR(Requested Recovery Rate)로 인계하기 위한 산출 인계 버짓(시간)을 ΔtMTBT(Minimum Transition Budget Time)로 하여, 이 전제에 있어서, ToR 지점의 도달하는 예측 시각 t(ToR_point)에 앞서, {t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}보다 먼저 인계 통지나 경보를 발보하는 처리를 행한다.

(스텝 S208)

다음으로 스텝 S208에 있어서, 운전자의 수동 운전으로의 인계가 제시간에 이루어지지 않고, 인계 리스크가 한계를 초과하였는지 여부를 판정한다.

이것은, 예를 들어 먼저 도 31의 시퀀스도에 있어서의 스텝 S93의 시점 처리이다.

스텝 S208에 있어서, 운전자의 수동 운전으로의 인계가 제시간에 이루어지지 않고, 인계 리스크가 한계를 초과했다고 판정한 경우, 즉, 인계 지점까지 운전자가 수동 운전으로 복귀하는 것이 불가능하다고 판정한 경우에는, 스텝 S209로 진행한다.

한편, 인계 지점까지 운전자가 수동 운전으로 복귀하는 것이 가능하다고 판정한 경우에는, 스텝 S210으로 진행한다.

(스텝 S209)

스텝 S209의 처리는, 스텝 S208에 있어서, 운전자의 수동 운전으로의 인계가 제시간에 이루어지지 않고, 인계 리스크가 한계를 초과했다고 판정한 경우, 즉, 인계 지점까지 운전자가 수동 운전으로 복귀하는 것이 불가능하다고 판정한 경우에 실행된다.

이 경우, 스텝 S209에 있어서, 긴급 퇴피 처리를 실행한다.

(스텝 S210)

스텝 S210의 처리는, 스텝 S208에 있어서, 운전자의 수동 운전으로의 인계가 제시간에 이루어지지 않고, 인계 리스크가 한계를 초과하지 않았다고 판정한 경우, 즉, 인계 지점까지 운전자가 수동 운전으로 복귀 가능이라고 판정한 경우, 또는, 스텝 S204에 있어서, 운전자 또는 동승자로부터 인계 단념의 입력이 행해진 경우에 실행된다.

스텝 S210에서는, 인계 단념 시의 선택지를 운전자에게 제시한다. 예를 들어 도 34를 참조하여 설명한 LDM으로부터 취득한 퇴피로, 주차장 등의 정보를 운전자에게 제시한다. 예를 들어 이하와 같은 선택지가 제시된다.

(1) 저속 주행, 정차 가능한 자동 운전 주행 가능 루트로 이동 주행

(2) 서비스 에어리어, 파킹 에어리어 등, 일시 정차 가능 지점의 유무,

(3) 선도차 추종 주행

(4) 구제 요청

(스텝 S211)

스텝 S211에서는, 스텝 S210에서 제시된 선택지에 대한 운전자나 동승자에 의한 선택 정보를 따른 퇴피 처리를 실행한다.

또한, 퇴피 처리를 행한 경우, 운전자에게는 페널티를 부과하는 구성으로 하는 것이 바람직하다. 또한, 이 페널티의 기록은 기억부에 남겨진다. 페널티는 다양한 양태가 있고, 특정 방법에 한정되지 않는다. 그 주된 목적은 운전자에 의한 고품질의 지연이나 태만이 없는 시스템 통지에 대한 조기 응답이나 대응을 촉구하는 유인의 시스템을 구축하는 데 있다.

예를 들어, 이하와 같은 페널티를 부과한다.

차량의 주행 상한 속도의 제한,

퇴피장으로의 강제 유도,

서비스 에어리어로의 1차적인 퇴피와, 강제적인 휴게 시간의 취득,

핸들이나 시트에 대한 럼블 스트립스 의사 진동의 발생,

경고음의 출력,

보험료의 부담 증가,

악취 등의 불쾌한 피드백,

벌칙 과금,

예를 들어, 상기와 같은 페널티를 부과한다.

이렇게 단 중장기적인 페널티 피드백을 정상적으로 실행하면 인간 공학적으로 보아 인간의 행동 심리에 작용하여, 회피 행동이 습관화되는 즉, 안전성을 향상시키는 중요한 시스템이 된다.

또한, 이들 운전자의 행동 특성을 개선하는 기록이 조작되어 무효화되어 버리면 기능을 살릴 수 없기 때문에, 기록 데이터에는 조작 방지 구성을 실시하는 것이 바람직하다.

(5-6. 수동 운전 전환 지점 접근 시의 처리예에 대해서)

다음으로 자동 운전 가능 구간으로부터 수동 운전 구간으로 전환되는 전환 지점에 침입할 때에 이동 장치의 정보 처리 장치가 실행하는 처리 예에 대하여 설명한다.

도 35에 도시하는 흐름도는, 자동 운전 가능 구간으로부터 수동 운전 구간으로 전환되는 전환 지점으로의 접근 시에 이동 장치의 정보 처리 장치가 실행하는 처리의 시퀀스를 설명하는 흐름도이다.

또한, 도 35에 도시하는 플로에 따른 처리는, 정보 처리 장치 내의 데이터 처리부에 있어서 기억부에 저장된 프로그램을 따라 실행하는 것이 가능하다.

이하, 플로의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S231)

먼저, 스텝 S231에 있어서, 접근 중의 전환 지점, 즉 수동 운전 구간으로의 전환 지점이, 예정된 전환 지점인지, 혹은 사고 등의 돌발적 사상에 의해 발생한 예정 외의 전환 지점인지를 판정한다.

예정된 전환 지점이란, 구체적으로는, 예를 들어 운전자가 주행 개시 전에 설정한 출발지와 목적지의 2점 사이에 이미 존재하고, 운전자가 확인 완료한 전환 지점이다.

전환 지점이 예정된 전환 지점인 경우에는, 스텝 S232로 진행한다. 한편, 전환 지점이 예정 외의 전환 지점인 경우에는, 스텝 S241로 진행한다.

(스텝 S232 내지 S233)

스텝 S232 내지 S233의 처리는, 스텝 S231에 있어서 전환 지점이 예정된 전환 지점이라고 판정한 경우에 실행하는 처리이다.

이 경우에는, 스텝 S232에 있어서 통상의 예정된 복귀 통지를 운전자에게 통지하고, 스텝 S233에 있어서 운전자로부터의 인지 응답을 검출하고, 통상의 인계 처리를 행한다.

(스텝 S241 내지 S242)

스텝 S241 이하의 처리는, 스텝 S231에 있어서 전환 지점이 예정 외의 전환 지점이라고 판정한 경우에 실행하는 처리이다.

이 경우에는, 먼저, 스텝 S241 내지 S242에 있어서, 수동 운전 복귀까지의 여유도, 구체적으로는 유예 시간이 충분한지 여부를 판정한다.

또한, 이 유예 시간이 충분한지 여부의 판정에 적용하는 시간은, 운전자의 상태에 따라 다르다. 이것은, 먼저 도 26이나 도 27을 참조하여 설명한 처리이다.

유예 시간이 충분하고, 수동 운전 복귀가 가능하다고 판정한 경우에는, 스텝 S243으로 진행한다.

한편, 유예 시간이 충분하지 않고, 수동 운전 복귀가 곤란하다고 판정한 경우에는, 스텝 S244로 진행한다.

(스텝 S243)

스텝 S242에 있어서, 유예 시간이 충분하고, 수동 운전 복귀가 가능하다고 판정한 경우에는, 스텝 S243에 있어서, 운전자에 대하여, 신규 수동 운전 인계 지점(전환 지점)이 발생하였음을 통지한다.

이 통지 후, 스텝 S231 이하의 처리를 실행하여 통상의 인계 처리를 행한다.

(스텝 S244)

한편, 스텝 S242에 있어서, 유예 시간이 충분하지 않고, 수동 운전 복귀가 곤란하다고 판정한 경우에는, 스텝 S244에 있어서, 운전자의 모니터링 데이터(관측 데이터)에 기초하여, 운전자가 수동 운전으로 복귀할 수 있는지 여부를 판정한다.

운전자가 수동 운전으로 복귀할 수 없다고 판정한 경우에는, 스텝 S245로 진행한다.

한편, 운전자가 수동 운전으로 복귀할 수 있다고 판정한 경우에는, 스텝 S251로 진행한다.

(스텝 S245)

스텝 S244에 있어서, 운전자가 수동 운전으로 복귀할 수 없다고 판정한 경우에는, 스텝 S245로 진행하고, 스텝 S245에 있어서, 감속, 서행, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 등의 퇴피 처리를 행한다.

또한, 이 퇴피 처리를 행하는 경우에는, 주변에 대한 영향을 최소로 하도록 선택 가능한 퇴피 처리로부터 최적의 처리를 선택하여 실행한다.

(스텝 S251)

한편, 스텝 S244에 있어서, 운전자가 수동 운전으로 복귀할 수 있다고 판정 한 경우에는, 스텝 S251로 진행하고, 스텝 S251에 있어서, 돌발적인 긴급한 수동 운전 인계가 필요하게 되었음을 운전자에게 통지한다.

(스텝 S252)

이어서, 스텝 S252에 있어서, 통지에 대한 운전자의 인지 응답이나 운전자의 관측 정보에 기초하여, 운전자가 전환 지점 이전에 수동 운전으로 복귀 가능한지 여부를 판정한다.

제시간에 가능하다고 판정한 경우에는, 통상의 인계 처리를 개시한다.

한편, 제시간에 가능하다고 판정한 경우에는, 스텝 S245로 진행하고, 스텝 S245에 있어서, 감속, 서행, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 등의 퇴피 처리를 행한다.

(5-7. 운전자 또는 동승자로부터의 수동 운전 인계의 단념(거부)의 입력에 대한 사전 처리와 사후 처리에 대해서)

이어서, 운전자 또는 동승자로부터의 수동 운전 인계의 단념(거부)의 입력에 대한 사전 처리와 사후 처리에 대하여 설명한다.

도 36에 도시하는 흐름도는, 운전자 또는 동승자로부터의 수동 운전 인계의 단념(거부)의 입력에 대한 사전 처리와 사후 처리에 관한 이동 장치의 정보 처리 장치의 처리 시퀀스를 설명하는 흐름도이다.

또한, 도 36에 도시하는 플로에 따른 처리는, 정보 처리 장치 내의 데이터 처리부에 있어서 기억부에 저장된 프로그램을 따라 실행하는 것이 가능하다.

이하, 플로의 각 스텝의 처리에 대해서, 순차, 설명한다.

(스텝 S251)

먼저, 스텝 S251에 있어서, 인계 단념 사상에 대한 시스템 준비 처리를 실행한다.

예를 들어, 이하의 처리를 실행한다.

(a) 주변 바이패스, 퇴피장, SA/PA 정보의 취득 처리

(b) 자차량 적재물 차량 다이내믹스 정보의 취득 처리

(c) 자차량 자기 진단 정보의 취득 처리

(d) 운전자의 패시브 모니터링 정보의 취득 처리

(e) 운전자의 복귀 특성 사전의 취득 처리

예를 들어, 이들 처리를 실행한다.

(스텝 S302)

스텝 S302 내지 S304의 처리는, 스텝 S311 내지 S316의 처리와 병렬로 실행된다.

스텝 S302에서는, 운전자 또는 동승자로부터 수동 운전 인계 단념(거부)의 의사 표시가 있는 경우에 실행 가능한 대응(서행, 정지, 측도 퇴피 등)의 후보가 되는 선택지 리스트를 작성한다.

또한, 리스트의 순번은, 주위에 대한 영향도가 적은 선택지를 보다 상위로 하는 설정으로 한다.

예를 들어, 고속 자동 운전 구간에 있어서, 수동 운전 구간으로의 인계 지점 전의 도로 구간 상황으로서는 다양한 상황이 있다. 구체적으로는, 예를 들어 이하의 상황이 상정된다.

(a) 인계 지점까지의 사이에 감속하면 퇴피 레인, 주차장에 침입 가능한 구간

(b) 인계 지점까지 유예 시간이 있고, 고속 주행인 채로 퇴피 레인에 침입하여 감속, 정지 가능한 구간

(c) 인계 지점까지 유예 시간이 있고, 고속 주행인 채로 퇴피 레인에 침입하여 감속하고, 그 후 저속 자동 운전으로 주행 가능한 구간

(d) 인계 지점까지 유예 시간이 있고, 고속 주행인 채로 퇴피 레인에 침입하여 감속하고, 그 후, 저속 자동 운전으로 대기 포인트까지 주행 가능한 구간

(e) 인계 지점까지 유예 시간이 있고, 고속 주행인 채로 퇴피 레인에 침입하여 감속, 정지하여 대기 가능한 대피소가 존재하는 구간

(f) 특수 차량이나 운전자의 고유 복귀 특성, 도로, 적재물, 차량 특성 등에 적용되는 인계 곤란 도로 구간

(g) 선도 차량 추종 대기 스폿, SOS 구조 요청 대기 스폿이 마련된 구간,

간선 도로나 차선수가 한정되는 도로 구간에서는, 일반 도로라 해도 긴급 정차나 갓길 정차는 후속차의 추돌이나 지체의 요인이 된다.

이러한 경우에도, 운전자의 의사에 기초하는 조기 인계 단념 신청을 허용함으로써, 출구나 퇴피장이 없는 고속 도로 도중에서의 긴급 처리를 행하지 않고 시간적 여유를 가진 대처가 가능하게 되기 때문에, 후속차의 추돌이나 정체의 발생을 저감하는 것이 가능하게 된다.

저속에서의 주행이 행하여지는 시가지의 도로에는, 일시 정차 가능한 갓길이나 옆길에 퇴피할 수 있는 도로가 있다. 그러나, 동일한 시가지의 도로여도 일시 정차 가능한 갓길이 없고, 옆길에 퇴피할 수도 있는 도로도 있다.

이렇게 같은 시가지 도로여도, 상황은 다종다양하기 때문에, 상황은 다르다. 예를 들어 간선 도로로부터 퇴피하는 유효한 조기 복귀 단념 처리를 유효하게 활용하는 데에 있어서는 시가 도로 등의 선택지를 취할 때에는 사전의 시가지 LDM 취득이 유용하게 된다.

스텝 S302에서는, 이러한 구체적인 도로 상황에 따른 최적의 리스트를 생성한다. 또한, 자동 운전 모드에서의 주행 이용이, 지쳐 있거나 수마에 사로잡혀 일시적으로 쪽잠 등을 취하려고 하는 예정 동안에 돌발적 이상 사상으로서의 인계 사상이 통지되는 경우도 있고, 그 경우의 운전자의 우선 사항은 휴식 장소로의 퇴피가 된다. 인계 단념에 수반하는 리스트 생성은, 운전자의 사전 상태나 통원 이용의 자동 주행 모드 중의 몸 상태 악화나, 단순한 차량의 편리 기능으로서의 자동 운전 이용 등 상황에 의해 대처의 우선도는 다르다.

(스텝 S303)

이어서, 스텝 S303에서, 차량의 진행에 맞추어, 선택 불가능하게 된 선택지를 리스트로부터 삭제하고, 또한 차량의 진행에 맞추어 새롭게 선택 가능하게 된 새로운 선택지의 추가 등의 리스트 갱신을 행한다.

(스텝 S304)

스텝 S304에서는, 갱신된 선택지 리스트를 기억부에 보존한다.

(스텝 S311 내지 S312)

스텝 S311 내지 S312에 있어서, 운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 있었는지 여부를 판정한다.

미리 규정된 한계 시간, 즉 도 31 등을 참조하여 설명한 복귀 한계 시간(TL)까지 운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 없는 경우에는, 타임아웃으로 판정한 처리를 종료한다.

한편, 미리 규정된 한계 시간 내에 운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 있는 경우에는, 스텝 S313으로 진행한다.

(스텝 S313)

스텝 S312에 있어서, 미리 규정된 한계 시간 내에 운전자 혹은 동승자로부터 수동 운전으로의 인계를 단념(거부)하는 취지의 입력이 있었다고 판정한 경우에는, 스텝 S313에 있어서, 운전자 등에 대하여 운전자로부터 요구된 인계 단념(거부)을 접수하였음을 나타내는 통지를 행한다.

(스텝 S314)

이어서, 스텝 S314에 있어서, 운전자 등에 대하여, 인계 단념 시에 실행 가능한 선택 가능한 퇴피 처리의 선택지를 제시한다.

이 제시 대상으로 되는 선택지는, 스텝 S304에 있어서 기억부에 저장된 리스트이다.

예를 들어, 이하와 같은 조기 단념 대처 메뉴가 표시된다.

(1) 일반 도로에서의 저속 자동 주행을 실행

(2) 퇴피 레인 빈 영역에 퇴피

(3) 일반 도로에서 정차

(4) 풀 존(주차 존)에 주차

(5) 급환 SOS 리퀘스트를 실행

(6) 선도 차량 추종 대기 스폿에서 대기

이 중, 예를 들어 조기 단념 리퀘스트가 몸 상태 부전을 이유로 하는 것인 경우, 운전자가 구조 요청을 요할 만큼 사태가 악화되어 있는 상황도 있을 수 있다. 예를 들어, 상기 (5)의 SOS 요청 리퀘스트의 실행 선택지는, 저하된 의식 하에서도 조작을 하기 쉬운 대형의 버튼 조작 등으로 행하는 것을 가능하게 하는 것이 바람직하다. 유저 인터페이스는, 조작이 용이한 배치나 형상을 갖는 구성으로 한다. 또한 이 조작부는, 자동 운전 차량을 긴급 시에 멈추는 조작부와 공용한 구성으로 해도 된다.

(스텝 S315 내지 S316)

이어서, 스텝 S315에 있어서, 운전자에 의한 선택 입력을 대기하고, 규정의 대기 시간이 경과하면 스텝 S316으로 진행하고, 스텝 S316에 있어서 선택된 선택지를 따른 퇴피 처리를 실행한다. 선택 처리가 이루어지지 않는 경우에는, 리스트 최상위의 선택지의 퇴피 처리를 실행한다. 또한, 리스트 최상위의 선택지는 주위에 대한 영향을 최소한으로 한 선택지이고, 운전자로부터의 선택이 없는 경우에는, 이것이 실행된다.

(5-8. 인계 단념 입력에 대한 처리를 실행하는 정보 처리 장치의 구성예에 대해서)

이어서, 인계 단념 입력에 대한 처리를 실행하는 정보 처리 장치의 구성예에 대하여 설명한다.

도 37은, 이동 장치 내에 장착된 정보 처리 장치 중, 운전자 등으로부터 입력되는 인계 단념 입력에 대한 처리를 실행하는 정보 처리 장치의 구성예를 도시하는 블록도이다.

도면에 도시한 바와 같이, 정보 처리 장치의 데이터 처리부(250)는, 최적 복귀 통지점 산출부(331), 복귀 특성 사전(332), 퇴피 처리 후보 선택부(333), 버짓 관리부(334), 조기 퇴피 제어 실행부(335), 페널티 생성, 기록부(336)를 갖는다.

최적 복귀 통지점 산출부(331)는, 수동 운전 구간으로의 전환 지점이 접근하고 있는 경우, 운전자에 대하여 행하는 인계의 통지를 행할 최적 타이밍을 산출한다.

이 타이밍 산출 처리에는, 도면에 도시한 바와 같이 다양한 정보(321 내지 326)가 이용된다. 즉, 이하의 각 정보이다.

정보(321)=여정에 따른 선행 LDM 정보, 루트 직선 긴급 퇴피 에어리어 정보, 만차 유예 정보, 안전 인계 구간 정보, 퇴피 가능 구간 정보

정보(322)=여정 루트 외의 주변 우회 가능 도로, 일시 정차 가능 지구 정보, 선도차 대기나 SOS 구조 요청, 일시 대기 스폿 정보

정보(323)=운전자 패시브 모니터링에 의한 상태 정보

정보(324)=운전자 통지 후 액티브＆패시브 응답＆추이 모니터링에 의한 운전자 각성＆준비 상태 정보

또한, 이 정보(324)로부터, 추가로 정보(324a)=운전자, 운전(자세) 복귀 추이 평가, 운전자 자세 추종 정보에 기초하는 복귀 품질 평가값(+이상 복귀 추이 검출 플래그)이 생성된다.

정보(325)=차량 탑재 자율 센싱 정보, 레이더, LIDAR, 카메라, ToF, 음파 탐지기, V2V 통신(차차간 통신) 등에 의해 취득되는 정보

정보(326)=운행 차량 다이내믹스 정보(차량 제동 능력, 타이어 마모·저항 정보, 짐 붕괴 한계 감속 정보, 적재 언밸런스 정보, 등)

최적 복귀 통지점 산출부(331)는, 이들의 정보를 이용하여, 운전자에 대하여 행할 인계의 통지를 행하는 최적 타이밍을 산출한다. 또한, 이 산출 처리 시에는, 복귀 특성 사전(332)을 이용한 산출 처리를 행한다. 복귀 특성 사전(332)은, 운전자의 관측 정보에 기초하여 생성된 운전자의 복귀 특성을 기록한 사전이다.

최적 복귀 통지점 산출부(331)가 산출한 통지 타이밍 정보에 기초하여 결정된 타이밍에 운전자에 대한 통지 처리, 즉 수동 운전 구간의 인계 포인트, 즉 구간 전환 지점이 가까워지고 있음의 통지가 실행된다.

퇴피 처리 후보 선택부(333)는, 수동 운전 복귀 단념의 입력이 이루어진 경우에 실행 가능한 퇴피 처리의 리스트를 생성한다.

이 리스트는, 이하의 입력 정보를 참조하여 생성된다.

정보(324a)=운전자, 운전(자세) 복귀 추이 평가, 운전자 자세 추종 정보에 기초하는 복귀 품질 평가값(+이상 복귀 추이 검출 플래그)

정보(325)=차량 탑재 자율 센싱 정보, 레이더, LIDAR, 카메라, ToF, 음파 탐지기, V2V 통신 등에 의해 취득되는 정보

정보(326)=운행 차량 다이내믹스 정보

퇴피 처리 후보 선택부(333)는, 수동 운전 복귀 단념의 입력이 이루어진 경우에 실행 가능한 퇴피 처리의 리스트로서, 주위에 대한 영향을 최소화하는 처리를 상위에 설정한 리스트를 생성한다.

버짓 관리부(334)는, 수동 운전의 인계 지점 도달까지의 운전자의 복귀 행동 평가값 등에 기초하는 버짓의 산출, 관리를 행한다. 이 처리는, 먼저 도 26을 참조하여 설명한 처리이다.

즉, 자동 운전으로부터 수동 운전으로의 인계 지점의 도달 시각을 t(ToR_point)(Take over Request 지점)라 하고, 이 도달 시각에 있어서 인계가 미리 정해진 성공률 RRR(Requested Recovery Rate)로 인계할 수 있기 위한 산출 인계 버짓(시간)을 ΔtMTBT(Minimum Transition Budget Time)라 하여, 이 전제에 있어서, ToR 지점의 도달하는 예측 시각 t(ToR_point)에 앞서, {t(ToR_point)-ΔtMTBT(Minimum Transition Budget Time)}보다 먼저 인계 통지나 경보를 발보하는 처리를 행하기 위한 버짓(시간) 관리를 행한다.

조기 퇴피 제어 실행부(335)는, 인계 단념 입력부(221)로부터 수동 운전 인계 단념 입력이 있었던 경우의 퇴피 제어를 실행한다. 구체적으로는 감속, 서행, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 등의 퇴피 처리를 행한다.

또한, 이 퇴피 처리는, 퇴피 처리 후보 선택부(333)가 생성한 리스트로부터 운전자 등이 선택한 처리를 실행한다. 운전자 등에 의한 선택이 없는 경우에는, 리스트 최상위의 처리, 즉 주위에 대한 영향이 최소가 되는 처리를 선택하여 실행한다.

페널티 생성, 기록부(336)는, 인계 단념을 신고한 운전자에 대한 페널티를 생성하여 기억부에 기록한다.

전술한 바와 같이, 페널티는 다양한 양태가 있고, 특정 방법에 한정되지 않는다. 그 주된 목적은 운전자에 의한 고품질의 지연이나 태만이 없는 시스템 통지에 대한 조기 응답이나 대응을 촉구하는 유인의 시스템을 구축하는 데 있다.

예를 들어, 이하와 같은 페널티를 부과한다.

차량의 주행 상한 속도의 제한,

퇴피장으로의 강제 유도,

핸들이나 시트에 대한 럼블 스트립스 의사 진동의 발생,

경고음의 출력,

보험료의 부담 증가,

악취 등의 불쾌한 피드백,

벌칙 과금,

예를 들어, 상기와 같은 페널티를 부과한다.

조기의 자동 운전으로부터 수동 운전 요청에 대한 인계 단념에는, 보다 안전하고 다른 도로 이용자에 대한 영향의 정도가 낮은 선택지가 있는 이른 지점에서의 대처를 개시할 수 있는 이점이 있다. 한편으로, 안이하게 인계 단념을 반복하여 다용하면, 인계 의식의 저하나 뜻하지 않은 인계 단념으로 안전한 퇴피 곤란한 상황을 만들어 낼 리스크가 증대하는 등 우려도 있다.

그래서, 인계하지 않는다고 판단을 했을 때에는 조기의 인계 단념 대처를 행하는 기능을 제공하고, 빈번한 조기의 인계 단념의 이용이나 지연된 복귀가 행해진 경우에는 운전자에게 페널티를 부여한다.

이 때문에, 인계 단념의 반복 악용을 관리하는 이용 기록을 유지한다.

자주적인 조기 복귀를 행한 경우에는 운전자에게 인센티브를 부여한다. 또한, 복귀 수속의 개시나 실행이 지연된 경우에는, 단기적인 페널티로서 제한 속도를 낮추는 등의 페널티를 실시하는 구성으로 해도 된다.

이와 같이, 운전자에 의한 무용한 조기 단념의 다용이나 복귀 대처의 지연이 반복하여 발생한 경우에는, 예를 들어 빈도에 따른 계층적 페널티를 시스템이 실행한다. 이 구성에 의해, 운전자의 수동 운전의 조기 복귀 행동의 습관 개선을 촉구한다.

또한, 운전자의 몸 상태 불량 등 인계 리스크가 있을 때에는, 주저 없는 조기 단념을 가능하게 하고, 복귀 가능한 경우에는, 복귀 통지를 받으면 신속한 복귀를 실행시키는 것이 가능하게 되어, 도로 이용 중의 주변 차량 플로를 어지럽히는 일없이 인계 실시가 되게 된다.

이와 같이, 본 개시의 구성은, 시스템에 의한 과잉 의존 이용이나 통지 대처 지연에 대한 페널티 기능과의 서로 겸한 이용이 가능하고, 운전자의 조기 단념과 인계 시의 조기 인계 실시의 습관화를 촉진하는 부차적 효과가 얻어진다.

[6. 정보 처리 장치의 구성예에 대해서]

상술한 처리는, 도 8을 참조하여 설명한 이동 장치의 구성을 적용하여 실행하는 것이 가능하지만, 그 처리의 일부는, 예를 들어 이동 장치에 착탈 가능한 정보 처리 장치에 있어서 실행하는 것이 가능하다.

도 38을 참조하여, 이러한 정보 처리 장치의 하드웨어 구성예에 대하여 설명한다.

도 38은, 정보 처리 장치의 하드웨어 구성예를 도시하는 도면이다.

CPU(Central Processing Unit)(501)는, ROM(Read Only Memory)(502). 또는 기억부(508)에 기억되어 있는 프로그램을 따라서 각종 처리를 실행하는 데이터 처리부로서 기능한다. 예를 들어, 상술한 실시예에 있어서 설명한 시퀀스를 따른 처리를 실행한다.

RAM(Random Access Memory)(503)에는, CPU(501)가 실행할 프로그램이나 데이터 등이 기억된다. 이들 CPU(501), ROM(502) 및 RAM(503)은, 버스(504)에 의해 서로 접속되어 있다.

CPU(501)는 버스(504)를 통해 입출력 인터페이스(505)에 접속되고, 입출력 인터페이스(505)에는, 각종 스위치, 키보드, 터치 패널, 마우스, 마이크로폰, 또한, 센서, 카메라, GPS 등의 상황 데이터 취득부 등을 포함하는 입력부(506), 디스플레이, 스피커 등을 포함하는 출력부(507)가 접속되어 있다.

또한, 입력부(506)에는, 센서(521)로부터의 입력 정보도 입력된다.

또한, 출력부(507)는, 이동 장치의 구동부(522)에 대한 구동 정보도 출력한다.

CPU(501)는, 입력부(506)로부터 입력되는 명령이나 상황 데이터 등을 입력하고, 각종 처리를 실행하고, 처리 결과를 예를 들어 출력부(507)에 출력한다.

입출력 인터페이스(505)에 접속되어 있는 기억부(508)는, 예를 들어 하드 디스크 등을 포함하고, CPU(501)가 실행할 프로그램이나 각종 데이터를 기억한다. 통신부(509)는, 인터넷이나 로컬 에어리어 네트워크 등의 네트워크를 통한 데이터 통신의 송수신부로서 기능하고, 외부의 장치와 통신한다.

입출력 인터페이스(505)에 접속되어 있는 드라이브(510)는, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 메모리 카드 등의 반도체 메모리 등의 리무버블 미디어(511)를 구동하여, 데이터의 기록 혹은 판독을 실행한다.

[7. 본 개시의 구성의 정리]

이상, 특정 실시예를 참조하면서, 본 개시의 실시예에 대하여 자세히 해석하였다. 그러나, 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있음은 자명하다. 즉, 예시라고 하는 형태로 본 발명을 개시한 것이며, 한정적으로 해석되어서는 안된다. 본 개시의 요지를 판단하기 위해서는, 특허 청구 범위의 란을 참작해야 한다.

또한, 본 명세서에 있어서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.

(1) 차량의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와,

상기 인계 단념 입력부로부터의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 데이터 처리부를 갖는 정보 처리 장치.

(2) 상기 데이터 처리부는,

상기 인계 거부 정보의 입력 전에 선택 가능한 퇴피 처리의 선택지를 생성하고,

상기 인계 거부 정보의 입력 후에 상기 선택지로부터 선택한 퇴피 처리를 실행하는 (1)에 기재된 정보 처리 장치.

(3) 상기 데이터 처리부는,

상기 퇴피 처리로서, 감속, 정지, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 중 어느 것을 실행하는 (1) 또는 (2)에 기재된 정보 처리 장치.

(4) 상기 데이터 처리부는,

주위에 대한 영향이 적은 퇴피 처리를 선택하여 실행하는 (1) 내지 (3) 중 어느 것에 기재된 정보 처리 장치.

(5) 상기 데이터 처리부는,

상기 운전자의 관측 정보를 입력하고, 입력한 관측 정보에 기초하여 운전자가 규정 시간까지 수동 운전으로 복귀하는 것이 곤란한지 여부를 판정하고,

복귀 곤란이라고 판정한 경우, 자동 운전 차량의 퇴피 처리를 실행하는 (1) 내지 (4) 중 어느 것에 기재된 정보 처리 장치.

(6) 상기 데이터 처리부는,

상기 차량의 주행로 정보를 취득하고, 취득한 주행로 정보를 이용하여 상기 퇴피 처리로서 실행 가능한 선택지를 생성하는 (1) 내지 (5) 중 어느 것에 기재된 정보 처리 장치.

(7) 상기 주행로 정보는 LDM(로컬 다이내믹 맵) 또는 선도차로부터의 통신 정보로부터 취득하는 정보인 (6)에 기재된 정보 처리 장치.

(8) 상기 데이터 처리부는,

상기 운전자의 관측 정보를 입력하고, 입력한 관측 정보에 기초하여, 상기 운전자가 수동 운전으로 복귀할 때까지의 필요 시간을 산출하는 (1) 내지 (7) 중 어느 것에 기재된 정보 처리 장치.

(9) 상기 데이터 처리부는,

상기 필요 시간에 따라, 상기 운전자에 대한 수동 운전 복귀 요구 통지의 실행 타이밍을 결정하는 (8)에 기재된 정보 처리 장치.

(10) 상기 데이터 처리부는,

상기 수동 운전 복귀 요구 통지에 대한 상기 운전자의 응답에 기초하여, 운전자의 수동 운전으로의 복귀 품질을 평가하는 (8) 또는 (9)에 기재된 정보 처리 장치.

(11) 상기 데이터 처리부는,

상기 복귀 품질의 평가 결과에 기초하여, 운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크를 판정하는 (10)에 기재된 정보 처리 장치.

(12) 상기 데이터 처리부는,

운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크가 높다고 판정한 경우, 자동 운전 차량의 퇴피 처리를 실행하는 (11)에 기재된 정보 처리 장치.

(13) 상기 데이터 처리부는,

상기 운전자가 수동 운전으로의 인계 단념 거부 정보를 시스템에 입력한 경우, 상기 운전자에 대한 페널티를 부과하기 위해, 상기 인계 단념 거부 정보의 입력 이력을 기억부에 기록하는 (1) 내지 (12) 중 어느 것에 기재된 정보 처리 장치.

(14) 자동 운전과 수동 운전의 전환이 가능한 이동 장치이고,

상기 데이터 처리부는, 추가로,

상기 인계 단념 입력부로부터의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 이동 장치.

(15) 상기 데이터 처리부는,

상기 인계 거부 정보의 입력 후에 상기 선택지로부터 선택한 퇴피 처리를 실행하는 (14)에 기재된 이동 장치.

(16) 상기 데이터 처리부는,

상기 퇴피 처리로서, 감속, 정지, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 중 어느 것을 실행하는 (14) 또는 (15)에 기재된 이동 장치.

(17) 상기 데이터 처리부는,

주위에 대한 영향이 적은 퇴피 처리를 선택하여 실행하는 (14) 내지 (16) 중 어느 것에 기재된 이동 장치.

(18) 정보 처리 장치에 있어서 실행하는 정보 처리 방법이고,

데이터 처리부가,

상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행하는 정보 처리 장치 방법.

(19) 이동 장치에 있어서 실행하는 정보 처리 방법이고,

데이터 처리부가,

상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행하는 정보 처리 방법.

(20) 정보 처리 장치에 있어서 정보 처리를 실행시키는 프로그램이고,

데이터 처리부에,

상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행시키는 프로그램.

또한, 명세서 중에 있어서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷이라고 하는 네트워크를 통하여 프로그램을 수신하고, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이고, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한하지는 않는다.

이상, 설명한 바와 같이, 본 개시의 일 실시예 구성에 의하면, 차량의 운전자로부터의 수동 운전으로의 전환 거부의 신청에 응답하여 차량의 감속이나 정지 등의 퇴피 제어를 실행하는 구성이 실현된다.

구체적으로는, 예를 들어 자동 운전과 수동 운전의 전환이 가능한 이동 장치이고, 이동 장치의 운전자의 운전자 정보를 취득하는 운전자 정보 취득부와, 이동 장치의 주위 정보를 취득하는 환경 정보 취득부와, 이동 장치의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와, 환경 정보 취득부가 취득하는 정보에 기초하여, 자동 운전으로부터 수동 운전으로의 전환 지점을 확인하고, 전환 지점에 도달하기 전에 운전자에게 수동 운전 복귀 요구 통지를 실행하는 데이터 처리부를 갖는다. 데이터 처리부는, 운전자의 시스템에 대한 과도한 의존 이용을 피하면서, 인계 단념 입력에 응답하여 차량의 조기의 계획적인 퇴피 처리를 다른 도로 이용자에 대한 영향을 최소화하여 실행한다.

10: 자동차,
11: 데이터 처리부,
12: 운전자 정보 취득부,
13: 환경 정보 취득부,
14: 통신부,
15: 통지부,
20: 운전자,
30: 서버,
50: 정보 단말기,
100: 이동 장치,
101: 입력부,
102: 데이터 취득부,
103: 통신부,
104: 차내 기기,
105: 출력 제어부,
106: 출력부,
107: 구동계 제어부,
108: 구동계 시스템,
109: 보디계 제어부,
110: 보디계 시스템,
111: 기억부,
112: 자동 운전 제어부,
121: 통신 네트워크,
131: 검출부,
132: 자기 위치 추정부,
133: 상황 분석부,
134: 계획부,
135: 동작 제어부,
141: 차외 정보 검출부,
142: 차내 정보 검출부,
143: 차량 상태 검출부,
151: 맵 해석부,
152: 교통 규칙 인식부,
153: 상황 인식부,
154: 상황 예측부,
155: 안전성 판별부,
161: 루트 계획부,
162: 행동 계획부,
163: 동작 계획부,
171: 긴급 사태 회피부,
172: 가감속 제어부,
173: 방향 제어부,
200: 이동 장치,
201: 운전 이력 정보 취득부,
202: 생체 정보 취득부,
203: 자세 정보 취득부,
204: LDM·차량 의존 복귀 시스템 요구 취득부,
205: 복귀 통지, 경고 타이밍 산출부,
206: 복귀 예측 대응 지연 평가부,
207: 복귀 지연 대책 처리부,
208: 복귀 시간 유예 판정부,
209: 긴급 처리 실행부,
210: 복귀 지연 페널티 생성, 기록부,
211: 운전자 복귀 특성 사전,
212: 복귀 특성 학습부,
221: 인계 단념 입력부,
250: 데이터 처리부,
331: 최적 복귀 통지점 산출부,
332: 복귀 특성 사전,
333: 퇴피 처리 후보 선택부,
334: 버짓 관리부,
335: 조기 퇴피 제어 실행부,
336: 페널티 생성, 기록부,
501: CPU,
502: ROM,
503: RAM,
504: 버스,
505: 입출력 인터페이스,
506: 입력부,
507: 출력부,
508: 기억부,
509: 통신부,
510: 드라이브,
511: 리무버블 미디어,
521: 센서,
522: 구동부

Claims

차량의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와,
상기 인계 단념 입력부로부터의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 데이터 처리부를 갖는, 정보 처리 장치.
제1항에 있어서, 상기 데이터 처리부는,
상기 인계 거부 정보의 입력 전에 선택 가능한 퇴피 처리의 선택지를 생성하고,
상기 인계 거부 정보의 입력 후에 상기 선택지로부터 선택한 퇴피 처리를 실행하는, 정보 처리 장치.
제1항에 있어서, 상기 데이터 처리부는,
상기 퇴피 처리로서, 감속, 정지, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 중 어느 것을 실행하는, 정보 처리 장치.
제1항에 있어서, 상기 데이터 처리부는,
주위에 대한 영향이 적은 퇴피 처리를 선택하여 실행하는, 정보 처리 장치.
제1항에 있어서, 상기 데이터 처리부는,
상기 운전자의 관측 정보를 입력하고, 입력한 관측 정보에 기초하여 운전자가 규정 시간까지 수동 운전으로 복귀하는 것이 곤란한지 여부를 판정하고,
복귀 곤란이라고 판정한 경우, 자동 운전 차량의 퇴피 처리를 실행하는, 정보 처리 장치.
제1항에 있어서, 상기 데이터 처리부는,
상기 차량의 주행로 정보를 취득하고, 취득한 주행로 정보를 이용하여 상기 퇴피 처리로서 실행 가능한 선택지를 생성하는, 정보 처리 장치.
제6항에 있어서, 상기 주행로 정보는 LDM(로컬 다이내믹 맵) 또는 선도차로부터의 통신 정보로부터 취득하는 정보인, 정보 처리 장치.
제1항에 있어서, 상기 데이터 처리부는,
상기 운전자의 관측 정보를 입력하고, 입력한 관측 정보에 기초하여, 상기 운전자가 수동 운전으로 복귀할 때까지의 필요 시간을 산출하는, 정보 처리 장치.
제8항에 있어서, 상기 데이터 처리부는,
상기 필요 시간에 따라, 상기 운전자에 대한 수동 운전 복귀 요구 통지의 실행 타이밍을 결정하는, 정보 처리 장치.
제8항에 있어서, 상기 데이터 처리부는,
상기 수동 운전 복귀 요구 통지에 대한 상기 운전자의 응답에 기초하여, 운전자의 수동 운전으로의 복귀 품질을 평가하는, 정보 처리 장치.
제10항에 있어서, 상기 데이터 처리부는,
상기 복귀 품질의 평가 결과에 기초하여, 운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크를 판정하는, 정보 처리 장치.
제11항에 있어서, 상기 데이터 처리부는,
운전자가 수동 운전 구간의 개시 위치인 전환 지점까지 수동 운전으로 복귀할 수 없을 리스크가 높다고 판정한 경우, 자동 운전 차량의 퇴피 처리를 실행하는, 정보 처리 장치.
제1항에 있어서, 상기 데이터 처리부는,
상기 운전자가 수동 운전으로의 인계 단념 거부 정보를 시스템에 입력한 경우, 상기 운전자에 대한 페널티를 부과하기 위해, 상기 인계 단념 거부 정보의 입력 이력을 기억부에 기록하는, 정보 처리 장치.
자동 운전과 수동 운전의 전환이 가능한 이동 장치이고,
상기 이동 장치의 운전자 운전자 정보를 취득하는 운전자 정보 취득부와,
상기 이동 장치의 주위 정보를 취득하는 환경 정보 취득부와,
상기 이동 장치의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보를 시스템에 입력하는 인계 단념 입력부와,
상기 환경 정보 취득부가 취득하는 정보에 기초하여, 자동 운전으로부터 수동 운전으로의 전환 지점을 확인하고, 상기 전환 지점에 도달하기 전에 상기 운전자에 대하여, 수동 운전 복귀 요구 통지를 실행하는 데이터 처리부를 갖고,
상기 데이터 처리부는, 추가로,
상기 인계 단념 입력부로부터의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는, 이동 장치.
제14항에 있어서, 상기 데이터 처리부는,
상기 인계 거부 정보의 입력 전에 선택 가능한 퇴피 처리의 선택지를 생성하고,
상기 인계 거부 정보의 입력 후에 상기 선택지로부터 선택한 퇴피 처리를 실행하는, 이동 장치.
제14항에 있어서, 상기 데이터 처리부는,
상기 퇴피 처리로서, 감속, 정지, 현 주행로 이외의 주행로 또는 주차장 또는 노측대로의 이동 중 어느 것을 실행하는, 이동 장치.
제14항에 있어서, 상기 데이터 처리부는,
주위에 대한 영향이 적은 퇴피 처리를 선택하여 실행하는, 이동 장치.
정보 처리 장치에 있어서 실행하는 정보 처리 방법이고,
데이터 처리부가,
차량의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보가 시스템에 입력되었음을 검출하는 스텝과,
상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행하는, 정보 처리 장치 방법.
이동 장치에 있어서 실행하는 정보 처리 방법이고,
상기 이동 장치는, 자동 운전과 수동 운전의 전환이 가능한 이동 장치이고,
운전자 정보 취득부가, 상기 이동 장치의 운전자의 운전자 정보를 취득하는 운전자 정보 취득 스텝과,
환경 정보 취득부가, 상기 이동 장치의 주위 정보를 취득하는 환경 정보 취득 스텝과,
데이터 처리부가,
상기 환경 정보 취득부가 취득하는 정보에 기초하여, 자동 운전으로부터 수동 운전으로의 전환 지점을 확인하고, 상기 전환 지점에 도달하기 전에 상기 운전자에 대하여, 수동 운전 복귀 요구 통지를 실행하는 스텝과,
상기 이동 장치의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보가 시스템에 입력되었음을 검출하는 스텝과,
상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행하는, 정보 처리 방법.
정보 처리 장치에 있어서 정보 처리를 실행시키는 프로그램이고,
데이터 처리부에,
차량의 자동 운전을 수동 운전으로 변경하는 운전 인계를 운전자가 거부하기 위한 인계 거부 정보가 시스템에 입력되었음을 검출하는 스텝과,
상기 인계 단념 정보의 입력에 응답하여, 자동 운전 차량의 퇴피 처리를 실행하는 스텝을 실행시키는, 프로그램.