KR102336017B1 - 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 - Google Patents
완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 Download PDFInfo
- Publication number
- KR102336017B1 KR102336017B1 KR1020170111758A KR20170111758A KR102336017B1 KR 102336017 B1 KR102336017 B1 KR 102336017B1 KR 1020170111758 A KR1020170111758 A KR 1020170111758A KR 20170111758 A KR20170111758 A KR 20170111758A KR 102336017 B1 KR102336017 B1 KR 102336017B1
- Authority
- KR
- South Korea
- Prior art keywords
- follow
- action
- autonomous driving
- providing
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 230000003993 interaction Effects 0.000 title claims abstract description 46
- 230000009471 action Effects 0.000 claims abstract description 156
- 238000001514 detection method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000013475 authorization Methods 0.000 claims description 11
- 208000032041 Hearing impaired Diseases 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000001771 impaired effect Effects 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 19
- 238000010187 selection method Methods 0.000 abstract description 3
- 230000001133 acceleration Effects 0.000 description 8
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/14—Cruise control
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
본 발명은 사용자와 자율주행 시스템 간 인터랙션 방법에 관한 것으로, 상기 방법은 자율주행 자동차의 자율주행 시, 자동차 상태와 주행 상황을 모니터링하는 단계; 모니터링을 통해 획득되는 자동차 상태 정보와 주행 상황 정보를 기초로 하여, 기 설정된 특정의 이벤트가 발생하였는지를 검출하는 단계; 상기 특정의 이벤트가 검출된 경우, 주의 환기 정보를 제공하는 단계; 상기 주의 환기 정보 제공 후, 이벤트 및 후속조치 안내 정보를 제공하는 단계; 상기 이벤트 및 후속조치 안내 정보를 제공 후, 후속 조치를 선택하는 단계; 상기 주의 환기 정보 제공, 이벤트 및 후속조치 안내 정보 제공, 후속조치 선택 방법을 설정하는 단계; 상기 후속조치 선택 전, 또는 후속조치 선택 후, 사용자의 후속 조치 선택 권한을 판단하고 인증하는 단계; 상기 후속 조치 선택 후, 선택된 하나 또는 다수의 후속조치들을 수행하는 단계, 상기 후속조치 수행 후, 후속조치 관련 정보를 저장하는 단계를 포함한다.
Description
본 발명은 사용자와 자율주행 시스템 간 인터랙션 방법에 관한 것으로, 상세하게는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법에 관한 것이다.
자동차의 자동화 단계를 구분함에 있어, 예를 들어 미국 SAE(Society of Automotive Engineers)에서는 자동차의 자동화 단계를 0~5 단계로 구분하고 있다.
단계 0은 운전자가 운전을 수행하는 완전 수동 운전 단계이고, 단계 1~3은 부분 자율주행 단계로서, 자동차가 일부 자율주행 기능을 지원하지만, 운전자가 자동차와의 협력을 통해 운전을 수행하는 단계이다.
그리고, 단계 4~5는 특수 상황이 아닌 일반적인 상황이나 모든 상황에서 자동차가 자율적으로 운전을 수행하며 운전자는 직접적으로 운전에 관여하지 않는 와전 자율주행 단계이다.
최근 현대자동차 등 국내 자동차 회사와 BMW, 벤츠, 아우디, 포드, 테슬라 등 외국 자동차 회사에서는 자율주행 자동차 개발에 주력을 기울이고 있다. 또한, 구글이나 애플과 같은 정보통신 회사에서도 자율주행 자동차 개발을 본격적으로 진행하고 있다.
현재 개발되고 있는 자율주행 자동차는 대부분 기존의 자동차와 같이 조향 장치와 가감속 페달 등의 장치를 탑재하고 있다. 이는 주행 중 돌발 상황이나 자율주행이 힘든 상황이 발생하였을 때 운전자가 언제든지 제어권을 넘겨받고 수동 모드로 운전을 수행할 수 있도록 하기 위함이다.
따라서, 비록 자율주행 모드로 자동차가 자율주행 중이라 하더라도 운전자는 운전석에 앉아 있으면서 도로 상황을 주시하는 등의 자세를 취하고 있어야 한다.
자동차의 자율주행 상황에서는, 자동차가 정상적으로 자율주행 기능을 잘 수행하고 있는지를 운전자에게 알려줌으로써 운전자의 심리적 안정감을 높이고 운전을 수동 모드로 전환해야 할 경우에 잘 대처할 수 있도록 하는 기능을 수행할 수 있도록 구현되는 것이 바람직하다.
예를 들어, 종래기술로서, 미국등록특허 9,346,400 “Affective user interface in an autonomous vehicle” 및 미국등록 특허 9,132,840 “User interface for displaying internal state of autonomous driving system”이 있다.
상기 언급된 종래기술은 자동차가 자율주행 모드로 주행 중이라 하더라도, 운전자는 항상 운전석에 앉아 있으면서 자율주행 모드에서 수동주행 모드로 전환이 필요할 경우에는 운전자가 운전 제어권을 넘겨받아 수동으로 운전을 해야 한다는 전제를 기반으로 한 기술을 개시하고 있다.
따라서, 상기 언급된 종래기술에서의 운전자는 자율주행 모드 상황에서도 항상 도로 상황에 대한 주의를 기울이고 있어야 하며, 운전이라는 작업에서 완전히 자유로울 수 없다.
한편, 최근 포드 자동차에서는 자율주행 자동차 개발 계획을 발표하면서 2021년경에 완전한 자율주행 자동차를 양산하겠다는 계획을 발표하였다. 이러한 자동차는 미국 SAE에서 구분한 자동차의 자동화 단계 중 단계 4~5 단계에 해당하는 자율주행 자동차로서 조향 장치와 가감속 페달이 없는 자동차이다.
조향 장치와 가감속 페달이 없는, 즉 운전자가 운전에 직접적으로 관여할 수 없는 자동차의 경우에는 자유주행 자동차와 운전자 사이의 제어권 이양이 발생하지 않으며, 운전자라는 개념 자체가 없기 때문에, 종래기술에 언급된 방법과는 다른 탑승자와 자동차 간 인터랙션 방법이 요구된다.
상기 언급된 종래기술은 시시각각으로 변하는 자율주행 신뢰도 값을 기반으로, 필요 시 운전자에게 수동모드로의 전환을 판단하도록 하기 위한 경고를 음성이나 시각적 정보, 또는 운전대의 색깔의 변화 등으로 알려주는 것을 개시하고 있습니다.
이러한 경우, 운전자는 자동차로부터 제공되는 정보들에 항상 주의를 기울이고 있어야 하고, 수동운전 등 필요한 후속조치를 위한 준비 자세를 취하고 있어야 한다.
따라서, 비록 자율주행 모드로 자동차가 주행 중이라 하더라도 운전자는 운전이라는 작업에서 완전히 자유로울 수 없으며, 이로 인한 심리적 부담감이나 피로는 여전히 존재하고, 때로는 수동운전 상태보다 더 피곤한 상황을 경험할 수도 있다.
특히, 운전자가 직접적인 운전을 수행하지 않는 완전 자율주행 자동차에서는 좌석 시트가 전방을 바라보지 않고, 탑승자끼리 마주보게 되어, 탑승자가 다른 탑승자와 대화를 하거나 책을 읽거나 음악을 듣거나 영화를 보는 등 운전과는 전혀 무관한 행동을 할 수 있다.
하지만, 상기 언급된 종래기술에서 제안된 것처럼, 자율주행 모드에 대한 신뢰도의 등의 정보를 음성이나 시각적으로 제공하는 경우, 탑승자는 여가 시간을 보내는 데에 제약을 받게 되고, 심리적인 불편함을 겪게 될 가능성이 크다.
또한, 조향 장치나 가감속 페달이 없는 완전 자율주행 자동차의 경우 운전자가 수동 모드로 운전을 수행할 방법 자체가 없기 때문에, 자율주행 자동차의 상태나 신뢰도에 기반한 정보를 탑승자에게 제공하는 것은 무의미하다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 완전 자율주행 자동차 사용자가 자동차의 상태나 주행 상황 관련 정보나 경고에 항상 주의를 기울이지 않아도 되는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 제공한다.
또한, 본 발명은 시각 장애인이나 청각 장애인 등 사회적 약자에게도 적용 가능한 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 제공한다.
또한, 본 발명은 조향이나 가감속 등 직접적인 운전 조작을 할 수 없는 경우를 위해 미리 저장된 후속 조치를 사용자가 선택할 수 있는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 제공한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법은, 자율주행 자동차의 자율주행 시, 자동차 상태와 주행 상황을 모니터링하는 단계; 모니터링을 통해 획득되는 자동차 상태 정보와 주행 상황 정보를 기초로 하여, 기 설정된 특정의 이벤트가 발생하였는지를 검출하는 단계; 상기 특정의 이벤트가 검출된 경우, 주의 환기를 위해 이벤트 검출 상황을 제공하는 단계; 상기 이벤트 검출 상황을 제공한 후, 이벤트 내용을 제공하는 단계; 상기 이벤트 내용을 제공한 후, 선택 가능한 후속 조치 정보를 제공하는 단계; 및 상기 후속 조치 정보를 제공한 후, 사용자의 선택에 응답하여 제공되는 선택 후속 조치 정보를 바탕으로 후속 조치를 수행하는 단계를 포함한다.
본 발명의 다른 일면에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 장치는, 자율주행 자동차의 자율주행 시, 자동차 상태 정보와 주행 상황 정보를 기반으로 특정 이벤트의 발생 여부를 검출하는 이벤트 검출부; 상기 특정 이벤트가 검출된 경우, 사용자의 주의를 환기시키기 위한 주의 환기 정보를 제공하는 주의 환기부; 상기 주의 환기 정보 제공 후, 이벤트 및 후속조치 안내 정보를 제공하는 이벤트 및 후속조치 안내정보 제공부; 상기 이벤트 및 후속조치 안내 정보를 제공 후, 후속조치를 선택하는 후속조치 선택부; 상기 주의 환기 정보 제공, 이벤트 및 후속조치 안내 정보 제공, 선택된 후속조치의 제공 방법을 설정하는 설정부; 상기 후속조치 선택 전, 또는 후속조치 선택 후, 사용자의 후속 조치 선택 권한을 판단하고 인증하는 권한 인증부; 및 선택된 하나 또는 다수의 후속조치들을 수행하는 후속 조치 수행부를 포함한다.
본 발명의 다른 일면에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 장치는, 자율주행 자동차의 자율주행 시, 자동차 상태 정보와 주행 상황 정보를 기반으로 특정 이벤트의 발생 여부를 검출하는 이벤트 검출부; 상기 특정 이벤트가 검출된 경우, 사용자의 주의를 환기시키기 위한 주의 환기 정보를 제공하는 주의 환기부; 상기 주의 환기 정보 제공 후, 이벤트 및 후속조치 안내 정보를 제공하는 이벤트 및 후속조치 안내정보 제공부; 상기 이벤트 및 후속조치 안내 정보를 제공 후, 후속조치를 선택하는 후속조치 선택부; 상기 주의 환기 정보 제공, 이벤트 및 후속조치 안내 정보 제공, 선택된 후속조치의 제공 방법을 설정하는 설정부; 상기 후속조치 선택 전, 또는 후속조치 선택 후, 사용자의 후속 조치 선택 권한을 판단하고 인증하는 권한 인증부; 및 선택된 하나 또는 다수의 후속조치들을 수행하는 후속 조치 수행부를 포함한다.
본 발명에 따르면, 사용자가 완전 자율주행 자동차에 탑승하고 있으면서 조향이나 가감속 등의 직접적인 운전에 관여하지 않거나 관여할 수 없는 상태에서 돌발상황, 긴급상황, 차량고장 등의 상황이 발생했을 때, 이에 대한 이에 대한 적절한 후속 조치를 효과적 수행할 수 있게 된다.
또한, 사용자의 주의 환기 방법을 통하여, 완전 자율주행 자동차 이용자가 평상시에 자율주행 자동차의 상태나 자율주행 상황 관련 정보나 경고에 항상 주의를 기울이지 않아도 되며, 차 안에서 영화감상, 음악감상, 독서, 동승자와의 대화, 핸드폰 사용 등 운전과 관련 없는 다양한 활동들에 편하게 집중할 수 있도록 할 수 있다.
또한 시각 장애인이나 청각 장애인 등 사회적 약자도, 필요한 후속 조치를 선택하여 실행시킬 수가 있으므로 완전자율주행자동차의 사용자층 저변 확대에도 기여를 할 수가 있다.
또한 후속 조치 선택에 대한 권한을 가진 자가 후속 조치를 선택할 수 있게 하며 이를 기록하여 저장할 수가 있으므로 후속 조치 실행의 안전성을 높이고 차후 책임소재를 분명히 판단할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 실행할 수 있도록 구현된 시스템의 일례를 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 바람직한 실시 예에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 설명하기 위한 순서도이다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
본 발명은 완전 자율주행 자동차 사용자가 자동차의 상태나 주행 상황 관련 정보나 경고에 항상 주의를 기울이지 않아도 되는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 제안한다.
특히, 본 발명은 시각 장애인이나 청각 장애인 등 사회적 약자에게도 적용 가능한 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 제안한다.
이에 더하여, 본 발명은 조향이나 가감속 등 직접적인 운전 조작을 할 수 없는 경우를 위해 미리 저장된 후속 조치를 사용자가 선택할 수 있는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 제안한다.
이를 위해, 본 발명에서 제안되는, 사용자와 자율주행 시스템 간 인터랙션 방법은 사용자의 주의를 끈 다음 후속적으로 필요한 정보를 제공하는 것을 특징으로 한다.
또한, 본 발명의 사용자와 자율주행 시스템 간 인터랙션 방법은 주의 환기, 이벤트 정보 제공, 후속조치 정보 제공시 사용자의 특성(ex, 일반인, 시각 장애인, 청각 장애인 등)을 고려하여 주의환기 수단 및 제공 정보 수단을 선택하여 서비스를 제공하는 것을 특징으로 한다.
또한, 본 발명의 사용자와 자율주행 시스템 간 인터랙션 방법은 사용자가 선택할 수 있도록 기 저장된 후속 조치 정보를 제공하고, 사용자에 의해 선택된 후속 조치에 따른 동작을 자동차가 수행할 수 있도록 하는 서비스를 제공하는 것을 특징으로 한다.
또한, 본 발명의 사용자와 자율주행 시스템 간 인터랙션 방법은, 후속 조치 선택시, 권한을 가진 자가 후속 조치를 선택하였는지를 판단하고 인증하며 이에 대한 로그 정보를 저장할 수 있도록 하는 서비스를 제공하는 것을 특징으로 한다.
이하, 본 발명에서 제안하는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 및 상기 방법을 실현하기 위한 사용자와 자율주행 시스템 간 인터랙션 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 실행할 수 있도록 구현된 시스템의 일례를 도시한 도면이다.
도 1을 참조하면, 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 시스템(100, 이하 시스템)은 본 발명에서 제안되는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 실행할 수 있도록 구현된다.
이를 위해, 상기 시스템(100)은 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션을 수행하는 적어도 하나 이상의 프로세서 및 기능 수행을 위해 필요한 정보 및 수행 결과를 저장하기 위한 적어도 하나 이상의 메모리를 포함할 수 있다.
구체적으로, 상기 시스템(100)은 모니터링부(110), 이벤트 검출부(120), 정보 제공부(130), 설정부(140), 권한 인증부(150), 정보 저장부(160), 후속조치 수행부(170)를 포함할 수 있다.
상기 모니터링부(110)는 자율주행 자동차의 시동이 켜지고 자율주행이 시작되면, 자동차 상태(vehicle status)와 주행 상황(driving situation)을 모니터링 한다.
여기서, 자동차 상태는 자율주행 기능의 정상 동작 여부, 오류 발생 여부 등 자동차 또는 자율주행 기능과 관련한 소프트웨어적 상태와 하드웨어적 상태를 포함한다.
그리고, 주행 상황은 자동차가 지정된 경로를 따라 주행하고 있는지, 도로 상에 장애물이 존재하는지, 돌발 상황이 발생하였는지 등 자율주행 중 인지되는 도로 및 주변 상황을 포함한다.
이러한 자동차 상태 및 주행 상황에 대한 모니터링은 자동차의 시동이 켜져 있거나 주행중인 동안 정해진 주기로 지속적으로 수행된다.
예를 들어, 상기 모니터링부(110)는 시스템(100)이 탑재된 자동차 내 다른 시스템(ex, AVM(Around View Monitoring) 시스템, OBSM(On Board Safety Monitoring) 시스템 등)으로부터 제공되는 정보를 바탕으로 자동차 상태 및 주행 상황을 모니터링 하도록 구현될 수 있다.
그리고, 상기 모니터링부(110)는 모니터링을 통해 획득되는 자동차 상태 정보 및 주행 상황 정보를 이벤트 검출부(120)로 제공할 수 있다.
상기 이벤트 검출부(120)는 모니터링부(110)로부터 제공되는 정보(자동차 상태 정보 및 주행 상황 정보)를 기초로 하여, 기 설정된 특정한 이벤트가 발생하였는지를 검출한다.
즉, 상기 이벤트 검출부(120)는 모니터링부(110)에서 제공되는 정보를 분석하여 기 설정된 특정한 이벤트를 검출한다.
예를 들어, 상기 이벤트 검출부(120)에 의해 검출되도록 기 설정되는 이벤트는, 자동차의 상태에 이상이 발생하였거나 고장이 발생한 경우, 자율주행 기능에 오류가 생겼거나 특정 자율주행 기능(ex, 보행자 인식, 차선 인식, 신호등 인식 등 자율주행을 위해서 필요한 기능) 수행에 실패한 경우, 주행 중 돌발 상황이나 비상 상황이 발생한 경우, 사고가 발생한 경우 등일 수 있다.
이때, 상기 이벤트 검출부(120)에 의해 검출되도록 기 설정되는 이벤트는 사용자에 의해 이루어지는 조향이나 가감속 등의 운전 조작을 고려하여 설정되는 것이 아니라 미리 정해지는 특정한 후속 조치들을 고려하여 설정되는 것이 바람직하다.
예를 들어, 차량을 정지(Stop)시켜야 하거나, 갓길에 정차(Pull-over)시켜야 하는 등 미리 정해지는 후속 조치를 고려하여 이벤트는 설정된다.
그리고, 상기 기 설정되는 이벤트는 이벤트 검출부(120)에 의해 이용될 수 있도록, 이벤트 검출부(120) 내에 저장되거나, 이벤트 검출부(120) 외부의 저장 수단에 저장될 수 있다.
그리고, 상기 이벤트 검출부(120)는 기 설정된 이벤트가 검출되면, 검출된 이벤트와 관련된 정보(이벤트 정보)를 정보 제공부(130)로 제공한다.
정보 제공부(130)는 보다 상세하게 주의 환기부(131), 이벤트 및 후속조치 안내정보 제공부(132), 후속조치 선택부(133)로 구성된다.
상기 주의 환기부(131)는 상기 이벤트 검출부(120)에서 검출된 이벤트 정보를 사용자에게 제공하기 전, 사용자의 주의를 환기(Attention triggering)시킴으로써, 사용자가 제공될 이벤트 내용에 관심을 갖도록 유도하게 된다.
특히, 주의 환기는 완전자율주행자동차에서 자동차 상태 이상, 고장 발생, 자율주행 기능 오류 발생, 자율주행 기능 수행 실패, 돌발 상황이나 비상 상황 발생 등의 이벤트가 검출되었을 때 발생하게 되므로, 이러한 정보에 대한 경각심을 높이고 신속하고 효율적인 대처를 위해서는 탑승자 모두를 대상으로 제공될 필요가 있다.
이때, 상기 주의 환기부(131)는 사용자가 영화를 보거나 독서를 하는 등 시각적 주의(attention)가 어떠한 곳에 있는지와 무관하게 사용자의 주의를 끌 수 있어야 한다.
이에 따라, 상기 주의 환기부(131)는 차량 내부의 특정한 위치에 설치되어 그래픽이나 텍스트 등의 정보를 표출하는 장치(ex, 계기판, 내비게이션 단말기 등)에 구현되는 것은 바람직하지 않다.
따라서, 상기 주의 환기부(131)는 차량 내부의 실내등 또는 별도로 설치되는 어떠한 조명장치를 통하여 조명의 켜짐/꺼짐, 색깔, 밝기, 깜박임 등을 제어함으로써 효과적으로 사용자의 주의를 끌 수 있도록 구현된다.
그리고, 상기 주의 환기부(131)는 탑승자가 동승자와 대화를 하거나, 음악을 듣는 등의 일에 청각적 주의를 할애하고 있더라도 효과적으로 사용자의 주의를 끌 수 있어야 한다.
이를 위해, 상기 주의 환기부(131)는 탑승자가 듣고 있는 음악이나 동승자와의 대화와는 확연히 구별되는 음향을 제공할 수 있도록 구현될 수 있다.
예를 들어, “주의 상황이 발생했습니다” 등의 음성을 탑승자가 쉽게 인지할 수 있는 주파수, 높이(tone) 혹은 크기(volume)로 제공하도록 구현될 수 있다.
그리고, 상기 주의 환기부(131)는 탑승자가 앉아 있는 시트, 혹은 안전벨트 등 탑승자의 신체와 접촉해 있는 차량 내 기구물 또는 장치를 탑승자가 느낄 수 있을 정도의 세기로 진동시킬 수 있도록 구현될 수 있다.
이러한 주의 환기 방법은 설정부(140)에 의해 설정된 정보를 바탕으로 제공된다.
상기 이벤트 및 후속조치 안내정보 제공부(132)는 상기 이벤트 검출부(120)에서 검출한 이벤트 내용을 제공하면서, 후속 조치 안내 정보를 추가로 제공한다.
이때 이벤트 정보는 예를 들어, “자율 주행 기능에 오류가 발생하였습니다” 라는 정보를 시각적으로 혹은 청각적으로 제공할 수 있다.
이에 더하여 상기 이벤트 및 후속조치 안내정보 제공부(132)는 발생한 이벤트 종류에 따라 적절한 후속조치 들을 하나 또는 그 이상 선정한 후 이에 대한 안내 정보를 제공 할 수 있다. 예를 들어, “차량 정지 기능 또는 갓길 정차 기능을 선택해 주세요”라는 정보를 청각적으로 혹은 시각적으로 (예를 들어, 그래픽, 아이콘, 텍스트, 메뉴 등의 GUI 형태) 또는 둘 다의 방법으로 제공할 수 있다.
이때 상기 이벤트 및 후속조치 안내정보 제공부(132)는 하나 또는 그 이상의 후속조치 들을 선정할 때, 상기 이벤트 검출부(120)에서 발생한 이벤트의 종류, 차량의 상태 (예를 들어, 주행 가능 여부 등), 도로 및 주변 상황 (예를 들어, 갓길 정차 가능 여부, 차량 정지 시 추돌 사고 등 위험 상황 발생 가능 여부 등) 등을 고려하여, 탑승자가 선택 가능한 후속조치들을 선정하게 된다.
이러한 후속조치에는 차량의 움직임에 대한 제어 (예를 들어, 정지, 갓길 정차, 경로 변경, 출발지로 복귀 등) 또는 긴급 구조 요청 (예를 들어, E-call 등) 등이 있을 수 있다.
한편, 시각 혹은 청각을 이용한 이벤트 및 후속조치 안내정보 제공 방법은 설정부(140)에 의해 설정된 정보를 바탕으로 제공된다.
상기 후속조치 선택부(133)는 상기 이벤트 및 후속조치 안내정보 제공부(132)를 통하여 제시된 후속조치들 중 하나 또는 다수를 사용자가 선택할 수 있도록 한다.
이때 사용자는 상기 이벤트 및 후속조치 안내정보 제공부(132)에서 제공하는 방법에 따라, 그래픽, 아이콘, 텍스트, 메뉴 등의 GUI 상에서 선택하거나 음성명령어 또는 자연어 인식 등을 통하여 하나 또는 다수의 후속조치들을 선택할 수 있다.
또한 사용자가 다수의 후속조치들을 선택한 경우, 이를 동시에 실행할 것인지 아니면 순차적으로 실행할 것인지를 결정 할 수도 있다. 예를 들어, 갓길 정차와 긴급 구조 요청을 모두 선택하고 이를 동시에 수행하도록 할 수 있다.
한편, 이러한 후속조치 선택 방법은 설정부(140)에 의해 설정된 정보를 바탕으로 제공된다.
상기 설정부(140)는 상기 정보 제공부(130)가 어떠한 방법으로 정보를 제공할 것인지를 설정하기 위한 것으로, 사용자는 상기 설정부(140)를 이용하여 정보 제공 방법을 설정할 수 있다.
그리고, 상기 설정부(140)는 사용자에 의해 설정된 정보 제공 방법을 상기 정보 제공부(130)로 제공하여, 상기 정보 제공부(130)가 설정된 정보 제공 방법에 따라 정보를 제공할 수 있도록 한다.
예를 들어, 상기 설정부(140)를 이용하여, 사용자는 상기 정보 제공부(130)가 정보를 시각적 방법, 청각적 방법 및 촉각적 방법 중 어느 하나의 방법으로 제공하거나, 적어도 2개 이상의 방법으로 제공하도록 설정할 수 있다.
보다 상세하게는 상기 정보 제공부(130)를 구성하는 주의 환기부(131), 이벤트 및 후속조치 안내정보 제공부(132), 후속조치 선택부(133)가 각각 사용자에게 정보를 제공하는 방법을 설정 할 수 있다.
예를 들어, 하기 표 1은 본 발명의 바람직한 실시 예에 따른 상기 설정부(140)가 일반인, 시각 장애인, 청각 장애인을 고려하여 상기 정보 제공부(130)의 주의 환기부(131), 이벤트 및 후속조치 안내정보 제공부(132), 후속조치 선택부(133)가 각각 사용자에게 정보를 제공하는 방법을 설정한 형태를 요약한 것이다.
| 구성 요소 | 일반인 | 장애인 | |
| 시간 장애인 | 청각 장애인 | ||
| 주의 환기부(131) | 시각, 청각, 촉각 | 청각, 촉각 | 시각, 촉각 |
| 이벤트 및 후속조치 안내정보 제공부(132) | 시각, 청각 | 청각 | 시각 |
| 후속조치 선택부(133) | 시각, 청각 | 청각 | 시각 |
즉, 상기 설정부(140)는 상기 주의 환기부(131)가 주의 환기(Attention triggering)를 위하여, 일반인의 경우에는 시각적, 청각적, 촉각적 수단 중 적어도 하나를 이용할 수 있도록, 시각 장애인의 경우에는 청각적, 촉각적 수단 중 적어도 하나를 이용할 수 있도록, 청각 장애인의 경우에는 시각적, 촉각적 수단 중 적어도 하나를 이용할 수 있도록 설정 할 수 있다.
그리고, 상기 설정부(140)는 상기 이벤트 및 후속조치 안내정보 제공부(132)가 이벤트 및 후속조치 안내정보 제공을 위하여, 일반인의 경우에는 시각적, 청각적 수단 중 적어도 하나를 이용할 수 있도록, 시각 장애인의 경우에는 청각적 수단 (예를 들어, 음성안내)을 이용할 수 있도록, 청각 장애인의 경우에는 시각적 수단 (예를 들어, 그래픽, 아이콘, 텍스트, 메뉴 등의 GUI)을 이용할 수 있도록 설정 할 수 있다.
그리고, 상기 설정부(140)는 상기 후속조치 선택부(133)가 사용자로 하여금 하나 또는 다수의 후속조치들을 선택할 수 있도록 하기 위하여, 일반인의 경우에는 시각적, 청각적 수단 중 적어도 하나를 이용할 수 있도록, 시각 장애인의 경우에는 청각적 수단 (예를 들어, 음성명령어 또는 자연어 인식)을 이용할 수 있도록, 청각 장애인의 경우에는 시각적 수단 (예를 들어, 그래픽, 아이콘, 텍스트, 메뉴 등의 GUI)을 이용할 수 있도록 설정 할 수 있다.
한편, 완전자율주행자동차가 자가용이면서 하나의 자동차를 사용하는 사람이 다수인 경우(예를 들어, 남편과 아내가 같이 사용하는 경우), 각자의 선호 수단을 구분하여 설정해 둘 수도 있다.
또한, 완전자율주행자동차가 카쉐어링 등의 공유자동차인 경우, 운전자 또는 차량 대여자의 회원카드나 스마트폰 앱 또는 카쉐어링 회사의 서버에 본인의 선호 수단을 미리 설정해 둘 수도 있다.
이는 현재 카쉐어링을 통한 차량 공유 시 차문 열림 기능 등을 RFID 카드 (회원카드)나 스마트폰 앱 등을 사용하여 제어하는 것에 착안한 것이다.
상기 권한 인증부(150)는 사용자가 상기 후속조치 선택부(131)를 통하여 후속조치를 선택하기 전이나 또는 선택한 후에, 본 사용자가 후속조치 선택의 권한을 지니고 있는지를 판단하고 인증하는 기능을 수행한다.
사용자가 후속조치 선택 권한을 지니고 있다고 판단된 경우, 후속조치 수행부(170)는 선택된 하나 또는 다수의 후속조치들을 수행하게 된다. 그러나 사용자가 후속조치 선택 권한을 지니고 있다고 판단되지 않은 경우, 후속조치 수행부(170)는 사용자가 선택한 하나 또는 다수의 후속조치 들을 수행하지 않거나 또는 상기 후속조치 선택부(131)가 사용자로 하여금 후속조치 선택 자체를 하지 못하게 할 수도 있다.
완전자율주행자동차에서의 후속조치 선택은, 선택한 사람의 책임이 뒤따르는 중요한 행동으로 볼 수 있다. 이는 수동운전 차량에서 운전자가 사고발생시 책임을 지게 되는 것과 유사하다.
물론 완전자율주행자동차에서 차량의 주행 중 발생한 사고에 대한 책임을 자동차가 지게 될지 탑승자가 지게 될 지의 문제는 별도의 논의가 필요한 이슈이므로 본 발명에서는 논외로 한다.
하지만 완전자율주행자동차에 다수의 탑승자가 탑승할 경우, 예를 들어 탑승자 중 한명인 어린이가 고의로 또는 장난으로 또는 무심코 후속조치를 선택할 경우가 발생할 수도 있다.
이러한 경우는 현재 상황에 대한 제대로 된 판단 하에 이루어진 결정이 아니므로 문제가 될 수가 있으며 결과적으로 적절치 않은 후속조치의 실행으로 귀결될 수도 있다.
이러한 문제를 해결하기 위해서는, 탑승자 중에 후속조치 선택에 대한 권한을 가진 자가 후속 조치를 선택할 수 있게 하는 방법이 필요하다. 이를 위해서 본 발명에서는 다음과 같은 방법이 제시된다.
먼저, 완전자율주행자동차가 자가용 차량인 경우, 후속조치 선택 전 또는 후에, 자동차의 스마트키를 자동차의 특정 위치에 설치된 단말기 또는 리더기에 태깅(tagging) 함으로써 권한을 인증하는 방법이다.
이는 차량의 스마트키를 소지하고 있는 사람이 차량의 소유자 이거나 또는 기존 수동운전 차량의 운전자에 해당한다고 판단할 수 있기 때문이다.
또한, 스마트키는 차량의 시동을 걸기 위해서 반드시 소지해야 하는 장치이므로, 별도의 장치를 운전자가 지니고 다니는 번거로움을 해소할 수도 있게 된다. 다만 이를 위해서는 스마트키의 태깅 여부를 알 수 있는 단말기 또는 리더기가 차량에 장착되어 있어야 한다.
한편, 완전자율주행자동차가 카쉐어링 등의 공유자동차인 경우, 차량 대여자의 RFID칩이 내장된 회원카드를 차량에 설치된 단말기 또는 리더기에 태깅 함으로써 권한을 인증토록 하는 방법이다.
또는, 차량 대여자가 소지한 스마트폰을 이용할 수도 있는데, 이때에는 스마트폰과 차량 내 단말기 또는 리더기간 Bluetooth 통신을 이용하는 직접통신 방법이나, 스마트폰에서 카쉐어링 회사의 서버로 인증 정보를 전송하고 서버에서 인증 후 자동차로 인증 확인 정보를 전송하는 방법, 또는 스마트폰에서 카쉐어링 회사의 서버로 인증 정보를 전송하고 서버에서 인증 후 스마트폰으로 인증 번호를 전송하고 이를 사용자가 차량의 단말기 등에 입력하는 방법 등이 가능하다.
공유자동차의 경우 이렇게 회원카드 (RFID 카드)나 스마트폰을 이용하는 방법의 장점은 현재 카쉐어링을 통한 차량 공유 시 차문 열림 기능 등을 회원카드나 스마트폰 앱 등을 사용하여 제어하는 것에 착안한 것이며, 이 경우 권한 인증을 위해 별도의 추가적인 카드나 기기를 소지할 필요가 없는 장점이 있다.
한편, 전술한 이벤트 검출 단계에서 검출된 이벤트가 자동차 사고에 관련한 경우, 탑승자들이 의식을 잃거나 부상을 당했거나 등의 이유로 위에서 설명한 방법으로 후속 조치 선택 권한 인증을 하지 못하게 되는 상황이 발생할 수도 있다.
만약, 자가용 차량의 소유자가 이러한 상황일 경우, 차량에 탑승한 또 다른 탑승자가 차량 소유자의 스마트키를 이용하여 권한 인증을 함으로써 후속 조치를 선택할 수도 있다.
또한, 마찬가지로 공유자동차의 경우에도 차량 대여자가 이러한 상태일 경우 차량에 탑승한 또 다른 탑승자가 차량 대여자의 회원카드나 스마트폰을 이용하여 권한 인증을 함으로써 후속 조치를 선택할 수도 있다.
또한, 차량에 탑승한 탑승자가 모두 의식불명이나 부상으로 인해 후속 조치 선택을 위한 인증을 할 수 없는 경우, 즉 정해진 시간 동안 인증 절차가 진행되지 못했을 경우, 상기 권한 인증부(150)는 상기 후속조치 선택부(131)로 하여금, 미리 설정된 후속조치(Default vehicle action)를 자동으로 선택하거나 또는 사고의 종류, 현재 차량의 상태, 주변 환경 등을 고려하여 최적의 후속조치(Recommended vehicle action)를 스스로 판단하여 선택하게 할 수 있다.
상기 정보 저장부(160)는 상기 권한 인증부(150)에서 수행한 사용자의 후속조치 선택 권한 판단 및 인증 성공 또는 실패 여부, 상기 이벤트 및 후속조치안내 정보 제공부(132)에서 제공된 이벤트의 종류와 검출 시각, 상기 후속조치 선택부(133)에서 선택된 후속조치들의 종류, 후속조치 수행부(170)에서 후속조치를 성공적으로 수행했는지의 여부와 수행과정 및 수행시간 등의 로그 정보를 저장한다.
이는 누가 언제 후속조치를 선택하였는지, 사용자가 선택한 후속조치는 적절하였는지, 완전자율주행자동차가 후속조치를 성공적으로 수행하였는지, 그리고 완전자율주행자동차가 후속조치를 수행한 과정이 어떠하였는지를 기록함으로써, 혹시 발생할지 모르는 법적 문제에 대한 근거 정보를 확보하고, 완전자율주행자동차의 기능적 결함에 대한 분석이 가능토록 하기 위함이다.
상기 후속조치 수행부(170)는 상기 후속조치 선택부(133)에서 선택된 하나 또는 다수의 후속조치들을 동시에 또는 순차적으로 수행한다.
예를 들어, ‘갓길 정차’ 라는 후속조치가 선택되었을 경우 완전자율주행자동차는 차를 갓길에 안전하게 정차 시키는 작업을 수행 한다.
또한, 전술한 바대로 상기 후속조치 수행부(170)는 상기 권한 인증부(150)에 의해 인증이 성공한 경우, 또는 미리 설정된 후속조치(Default vehicle action)를 자동으로 선택한 경우, 또는 최적의 후속조치(Recommended vehicle action)를 자동차가 스스로 판단하여 선택한 경우 등에 한해서만 후속조치를 수행한다.
이상에서는 본 발명에서 제안하는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 실현하기 위한 사용자와 자율주행 시스템 간 인터랙션 시스템에 대해서 살펴보았다.
이하에서는 본 발명에서 제안하는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법에 대해서 살펴본다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 설명하기 위한 순서도이다.
도 2를 참조하여 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법에 따른 순서를 설명하면 다음과 같다.
자율주행 자동차의 시동이 켜지고 자율주행이 시작되면, 모니터링부(110)는 자동차 상태(vehicle status)와 주행 상황(driving situation)을 모니터링 한다(S200).
이때, 상기 단계 S200에 앞서 사용자는 설정부(140)를 이용하여 정보 제공부(130)의 정보 제공 방법을 설정할 수 있다.
구체적으로, 사용자는 설정부(140)를 이용하여, 정보 제공부(130)를 구성하는 주의 환기부(131), 이벤트 및 후속조치 안내정보 제공부(132), 후속조치 선택부(133)가 각각 사용자에게 정보를 제공하는 방법을 설정 할 수 있다.
한편, 상기 단계 S200에 있어서의 모니터링은 자동차의 시동이 켜져 있거나 주행중인 동안 정해진 주기로 지속적으로 수행된다.
그리고, 상기 단계 S200에서의 모니터링을 통해 획득되는 정보(자동차 상태 정보 및 주행 상황 정보)는 기 설정된 특정한 이벤트가 발생하였는지를 검출하는 데에 이용된다.
상기 단계 S200 이후, 이벤트 검출부(120)는 획득된 정보를 기초로 하여, 기 설정된 특정의 이벤트가 발생하였는지를 검출한다(S210).
상기 단계 S210에서의 특정의 이벤트는, 예를 들면 자동차의 상태에 이상이 발생하였거나 고장이 발생한 경우, 자율주행 기능에 오류가 생겼거나 특정 자율주행 기능(ex, 보행자 인식, 차선 인식, 신호등 인식 등 자율주행을 위해서 필요한 기능) 수행에 실패한 경우, 주행 중 돌발 상황이나 비상 상황이 발생한 경우 등일 수 있다.
상기 단계 S210에서, 특정의 이벤트가 발생하지 않은 경우(S210-아니오), 이벤트 검출부(120)는 모니터링부(110)에 의해 획득 및 제공되는 정보(자동차 상태 정보 및 주행 상황 정보)를 바탕으로 특정의 이벤트가 발생하였는지를 지속적으로 검출한다(S200).
반면, 상기 단계 S210에서, 특정의 이벤트가 발생한 경우(S210-예), 이벤트 검출부(120)는 검출된 이벤트와 관련된 정보(‘이벤트 정보’)를 정보 제공부(130)로 제공한다.
보다 상세하게는, 특정의 이벤트가 발생한 경우(S210-예), 정보 제공부(130)의 주의 환기부(131)는 주의 환기(Attention triggering) 정보를 사용자에게 제공함으로써, 향후 제공될 이벤트 및 후속조치 안내 내용에 관심을 갖도록 유도하게 된다(S220).
이때, 상기 단계 S220에서, 주의 환기 방법은 설정부(140)를 이용한 사용자의 설정에 따라, 시각적 방법, 청각적 방법 및 촉각적 방법 중 어느 하나의 방법으로 이루어지거나, 적어도 2개 이상의 방법으로 이루어질 수 있다.
상기 단계 S220 이후에, 이벤트 및 후속조치 안내정보 제공부(132)는 상기 이벤트 검출부(120)에서 검출한 이벤트 내용을 제공하면서, 후속 조치 안내 정보를 추가로 제공한다(S230).
이때, 상기 단계 S230에서, 이벤트 및 후속조치 안내정보 제공 방법은 설정부(140)를 이용한 사용자의 설정에 따라, 시각적 방법, 청각적 방법 및 촉각적 방법 중 어느 하나의 방법으로 이루어지거나, 적어도 2개 이상의 방법으로 이루어질 수 있다.
권한 인증부(150)는 사용자가 상기 후속조치 선택부(131)를 통하여 후속조치를 선택하기 전이나 또는 선택한 후에, 본 사용자가 후속조치 선택의 권한을 지니고 있는지를 판단하고 인증하는 기능을 수행한다(S240).
본 발명의 바람직한 실시 예에 따라, 본 명세서 에서는 상기 단계 S240이 후속조치 선택 단계(S250) 이전에 수행되는 것으로 기술하고 있으나, 상기 단계 S240은 후속조치 선택 단계(S250) 이후에 수행되어도 본 발명에서 제시하고자 하는 기능을 수행하기에는 아무런 문제가 없다.
상기 단계 S240에서, 사용자가 후속조치 선택 권한을 지니고 있다고 판단된 경우(S240-예), 후속조치 선택부(133)는 이벤트 및 후속조치 안내정보 제공부(132)를 통하여 제시된 후속조치들 중 하나 또는 다수를 사용자가 선택할 수 있도록 하며(S250), 후속조치 수행부(170)는 선택된 하나 또는 다수의 후속조치들을 수행하게 된다(S260).
반면, 상기 단계 S240에서, 사용자가 후속조치 선택 권한을 지니고 있다고 판단되지 않은 경우(S240-아니오), 후속조치 선택 권한 인증을 위해 미리 정해진 시간이 경과했는지 판단하는 과정을 거치게 된다(S241)
상기 단계 S241에서, 정해진 시간이 경과되지 않은 경우(S241-아니오)는 S240의 권한 인증 판단 단계로 다시 회귀하게 된다.
이는 후속조치 선택 권한을 지니고 있는 않은 사용자가 권한 인증을 시도함으로 인해, 권한 인증부(150)에서 권한 인증에 실패 경우, 또는 사용자가 권한 인증을 위한 아무런 조치를 취하지 않은 경우에 해당한다.
한편, 상기 단계 S241에서, 정해진 시간이 경과된 경우(S241-예), 권한 인증부(150)는 후속조치 선택부(131)로 하여금, 미리 설정된 후속조치(Default vehicle action)를 자동으로 선택하거나 또는 사고의 종류, 현재 차량의 상태, 주변 환경 등을 고려하여 최적의 후속조치(Recommended vehicle action)를 스스로 판단하여 선택하게 한다(S242).
상기 단계 S242는, 정해진 시간 동안, 사용자가 권한 인증을 받는데 계속 실패를 하였거나, 또는 심각한 교통사고 등으로 인해 차량에 탑승한 탑승자가 모두 의식불명이나 부상 등의 이유로, 후속 조치 선택을 위한 인증을 할 수 없는 경우에 해당한다.
한편, 상기 단계 S250에서, 후속조치 선택부(133)는 이벤트 및 후속조치 안내정보 제공부(132)를 통하여 제시된 후속조치들 중 하나 또는 다수를 사용자가 선택할 수 있도록 한다.
또한, 상기 단계 S250에서, 사용자가 다수의 후속조치들을 선택한 경우, 이를 동시에 실행할 것인지 아니면 순차적으로 실행할 것인지를 결정 할 수도 있다.
이때, 상기 단계 S250에서, 후속조치 선택 방법은 설정부(140)를 이용한 사용자의 설정에 따라, 시각적 방법, 청각적 방법 및 촉각적 방법 중 어느 하나의 방법으로 이루어지거나, 적어도 2개 이상의 방법으로 이루어질 수 있다.
상기 단계 S250 또는 상기 단계 S242를 통하여 선택된 하나 또는 다수의 후속조치들은 후속조치 수행부(170)에 의하여 동시에 또는 순차적으로 수행된다(S260)
그리고, 정보 저장부(160)는 권한 인증부(150)에서 수행한 사용자의 후속조치 선택 권한 판단 및 인증 성공 또는 실패 여부, 이벤트 및 후속조치안내 정보 제공부(132)에서 제공된 이벤트의 종류와 검출 시각, 후속조치 선택부(133)에서 선택된 후속조치들의 종류, 후속조치 수행부(170)에서 후속조치를 성공적으로 수행했는지의 여부와 수행과정 및 수행시간 등의 로그 정보를 저장한다(S270).
이상에서 살펴본 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법은 자율주행 자동차의 운행이 종료될 때까지 이루어질 수 있다.
이에, 상기 단계 S270 이후, 완전주행 자동차의 운행이 종료되었는지를 판단하고(S280), 운행이 종료되지 않은 경우에는(S280-아니오), 단계 S200에서 S270에 따라 사용자와 자율주행 시스템 간 인터랙션 과정이 지속적으로 이루어지고, 운행이 종료된 경우에는(S280-예), 사용자와 자율주행 시스템 간 인터랙션 과정이 종료된다.
이때, 상기 단계 S280에서의 완전주행 자동차의 운행 종료 판단은 정보 제공부(130)에 의해 이루어질 수도 있으나, 자동차 내 다른 시스템이 자동차의 운행 종료를 판단하여, 사용자와 자율주행 시스템 간 인터랙션 시스템(100)의 동작을 종료시킬 수도 있다.
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서와 같이, 본 발명에 따른 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 사용자와 자율주행 시스템 간 인터랙션 시스템
110 : 모니터링부
120 : 이벤트 검출부
130 : 정보 제공부
131 : 주의 환기부
132 : 이벤트 및 후속조치 안내정보 제공부
133 : 후속조치 선택부
140 : 설정부
150 : 권한 인증부
160 : 정보 저장부
170 : 후속조치 수행부
110 : 모니터링부
120 : 이벤트 검출부
130 : 정보 제공부
131 : 주의 환기부
132 : 이벤트 및 후속조치 안내정보 제공부
133 : 후속조치 선택부
140 : 설정부
150 : 권한 인증부
160 : 정보 저장부
170 : 후속조치 수행부
Claims (10)
- 이벤트 검출부에서, 자율주행 자동차의 자율주행 시, 자동차 상태 정보와 주행 상황 정보를 기반으로 특정 이벤트의 발생 여부를 검출하는 단계;
주의 환기부에서, 상기 특정 이벤트가 검출된 경우, 사용자의 주의를 환기시키기 위한 주의 환기 정보를 제공하는 단계;
이벤트 및 후속조치 안내정보 제공부에서, 상기 주의 환기 정보 제공 후, 이벤트 및 후속조치 안내 정보를 제공하는 단계;
후속조치 선택부에서, 상기 이벤트 및 후속조치 안내 정보를 제공 후, 후속조치를 선택하는 단계;
설정부에서, 상기 주의 환기 정보 제공, 이벤트 및 후속조치 안내 정보 제공, 선택된 후속조치의 제공 방법을 설정하는 단계;
권한 인증부에서, 상기 후속조치 선택 전, 또는 후속조치 선택 후, 사용자의 후속 조치 선택 권한을 판단하고 인증하는 단계;
후속 조치 수행부에서, 상기 후속 조치 선택 후, 선택된 하나 또는 다수의 후속조치들을 수행하는 단계; 및
상기 후속조치 수행 후, 후속조치 관련 정보를 저장하는 단계를 포함하고,
상기 저장하는 단계는,
상기 권한 인증부에서 수행한 사용자의 후속조치 선택 권한 판단 및 인증 성공 또는 실패 여부, 상기 이벤트 및 후속조치안내 정보 제공부에서 제공된 이벤트의 종류와 검출 시각, 상기 후속조치 선택부에서 선택된 후속조치들의 종류, 후속조치 수행부에서 후속조치를 성공적으로 수행했는 지의 여부와 수행과정 및 수행시간을 포함하는 로그 정보를 저장하여, 상기 저장된 로그 정보를 법적 문제에 대한 근거 정보로 활용하는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 검출하는 단계는,
자동차 상태 이상, 고장 발생, 자율주행 기능 오류 발생, 자율주행 기능 실패, 돌발 상황 및 비상 상황 발생 중 어느 하나의 이벤트를 검출하는 단계인 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 주의 환기 정보를 제공하는 단계는,
차량 내부의 조명 장치를 제어하기 위한 정보, 음향을 제공하기 위한 정보 및 탑승자의 신체와 접촉하는 차량 내 기구물을 제어하기 위한 정보를 포함하는 상기 주의 환기 정보를 제공하는 단계인 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 이벤트 및 후속조치 안내 정보를 제공하는 단계는,
상기 특정 이벤트의 종류, 차량의 상태 및 주변 상황을 고려하여, 탑승자가 선택 가능한 후속조치들을 선정하고, 선정된 후속조치들을 제공하는 단계인 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 후속조치를 선택하는 단계는,
하나 또는 다수의 후속조치들을 선택하는 단계; 및
다수의 후속조치들을 선택한 경우, 선택된 다수의 후속조치들을 동시 또는 순차적으로 실행할지를 결정하는 단계
를 포함하는 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 제공 방법을 설정하는 단계는,
시각적 방법, 청각적 방법 및 촉각적 방법 중 적어도 하나를 포함하는 상기 제공 방법을 설정하는 단계인 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 제공 방법을 설정하는 단계는,
시각적 방법, 청각적 방법 및 촉각적 방법 중 적어도 하나를 선택하여, 일반인, 시각 장애인 및 청각 장애인 별로 서로 다른 상기 제공 방법을 설정하는 단계인 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 후속 조치 선택 권한을 판단하고 인증하는 단계는,
스마트키, 상기 완전 자율주행자동차가 카쉐어링 등의 공유자동차인 경우에서 차량 대여자의 RFID칩 및 상기 차량 대여자가 소지한 스마트폰을 이용하여 상기 후속 조치 선택 권한을 판단하고 인증하는 단계인 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 제1항에서,
상기 후속조치를 선택하는 단계는,
상기 권한 인증부가, 정해진 시간 동안 인증 절차가 진행되지 못한 경우, 상기 후속조치 선택부에서, 상기 권한 인증부의 제어에 따라, 미리 설정된 후속조치를 자동으로 선택하거나 사고의 종류, 현재 차량의 상태, 주변 환경 등을 고려하여 최적의 후속조치를 스스로 판단하여 선택하는 단계인 것인 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법. - 자율주행 자동차의 자율주행 시, 자동차 상태 정보와 주행 상황 정보를 기반으로 특정 이벤트의 발생 여부를 검출하는 이벤트 검출부;
상기 특정 이벤트가 검출된 경우, 사용자의 주의를 환기시키기 위한 주의 환기 정보를 제공하는 주의 환기부;
상기 주의 환기 정보 제공 후, 이벤트 및 후속조치 안내 정보를 제공하는 이벤트 및 후속조치 안내정보 제공부;
상기 이벤트 및 후속조치 안내 정보를 제공 후, 후속조치를 선택하는 후속조치 선택부;
상기 주의 환기 정보 제공, 이벤트 및 후속조치 안내 정보 제공, 선택된 후속조치의 제공 방법을 설정하는 설정부;
상기 후속조치 선택 전, 또는 후속조치 선택 후, 사용자의 후속 조치 선택 권한을 판단하고 인증하는 권한 인증부; 및
선택된 하나 또는 다수의 후속조치들을 수행하는 후속 조치 수행부를 포함하고,
상기 권한 인증부에서 수행한 사용자의 후속조치 선택 권한 판단 및 인증 성공 또는 실패 여부, 상기 이벤트 및 후속조치안내 정보 제공부에서 제공된 이벤트의 종류와 검출 시각, 상기 후속조치 선택부에서 선택된 후속조치들의 종류, 후속조치 수행부에서 후속조치를 성공적으로 수행했는 지의 여부와 수행과정 및 수행시간을 포함하는 로그 정보를 저장하여, 상기 저장된 로그 정보를 법적 문제에 대한 근거 정보로 활용하는 정보 저장부를 더 포함하는 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20160149076 | 2016-11-09 | ||
| KR1020160149076 | 2016-11-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180052077A KR20180052077A (ko) | 2018-05-17 |
| KR102336017B1 true KR102336017B1 (ko) | 2021-12-07 |
Family
ID=62486179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170111758A KR102336017B1 (ko) | 2016-11-09 | 2017-09-01 | 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102336017B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102091327B1 (ko) * | 2018-06-20 | 2020-03-19 | 이우용 | 자율주행 자동차의 자율주행 시스템 |
| KR102478121B1 (ko) * | 2018-08-23 | 2022-12-15 | 현대자동차주식회사 | 차량용 전자 제어장치의 전력 제어 시스템 및 방법 |
| KR102303412B1 (ko) * | 2019-07-04 | 2021-09-27 | 한양대학교 에리카산학협력단 | 자율주행차량의 가상 조향 핸들 제공 시스템 |
| US20210403009A1 (en) * | 2019-07-11 | 2021-12-30 | Lg Electronics Inc. | Vehicle breakage handling method and device in automated vehicle and highway system (avhs) |
| KR102260574B1 (ko) * | 2019-11-08 | 2021-06-07 | 가톨릭관동대학교산학협력단 | 시각장애인을 위한 딥러닝 기반 자율주행차량 청각화 시스템 및 방법 |
| KR102270011B1 (ko) * | 2019-12-02 | 2021-06-28 | 가톨릭관동대학교산학협력단 | 시각장애인을 위한 딥러닝 기반 자율주행차량 시각화 시스템 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007145225A (ja) | 2005-11-29 | 2007-06-14 | Denso Corp | 自動車用ユーザーもてなしシステム |
| JP2009274483A (ja) * | 2008-05-12 | 2009-11-26 | Toyota Motor Corp | 車両用異常状態情報提供装置 |
| JP2011005893A (ja) * | 2009-06-23 | 2011-01-13 | Nissan Motor Co Ltd | 車両の走行制御装置および車両の走行制御方法 |
| KR101470190B1 (ko) * | 2013-07-09 | 2014-12-05 | 현대자동차주식회사 | 자율주행 시스템의 고장 처리 장치 및 그 방법 |
| JP2015020742A (ja) * | 2013-07-17 | 2015-02-02 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | 相互作用的に自動化された運転システム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980035597U (ko) * | 1996-12-13 | 1998-09-15 | 임경춘 | 선택적으로 구동하는 에어 백 시스템 |
| KR100669902B1 (ko) * | 2003-12-12 | 2007-01-16 | 한국전자통신연구원 | 지피에스를 이용하는 차량충돌방지를 위한차량안전운행정보 서비스 시스템 및 그 방법 |
| KR101414002B1 (ko) * | 2012-11-29 | 2014-07-04 | 이병도 | 지정맥 인식 기술을 이용한 차량 인증 제어 시스템 및 그 제어 방법 |
-
2017
- 2017-09-01 KR KR1020170111758A patent/KR102336017B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007145225A (ja) | 2005-11-29 | 2007-06-14 | Denso Corp | 自動車用ユーザーもてなしシステム |
| JP2009274483A (ja) * | 2008-05-12 | 2009-11-26 | Toyota Motor Corp | 車両用異常状態情報提供装置 |
| JP2011005893A (ja) * | 2009-06-23 | 2011-01-13 | Nissan Motor Co Ltd | 車両の走行制御装置および車両の走行制御方法 |
| KR101470190B1 (ko) * | 2013-07-09 | 2014-12-05 | 현대자동차주식회사 | 자율주행 시스템의 고장 처리 장치 및 그 방법 |
| JP2015020742A (ja) * | 2013-07-17 | 2015-02-02 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド | 相互作用的に自動化された運転システム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180052077A (ko) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102336017B1 (ko) | 완전 자율주행에서의 사용자와 자율주행 시스템 간 인터랙션 방법 | |
| US9889861B2 (en) | Autonomous car decision override | |
| US11433905B2 (en) | Method for operating a motor vehicle in an activated, at least partially autonomous driving mode and authorization device for a motor vehicle and a motor vehicle | |
| US20170274908A1 (en) | Personalize self-driving cars | |
| US20200117187A1 (en) | Autonomous car decision override | |
| US8775020B2 (en) | System and method for transmitting vehicle information to an occupant communication device | |
| US20160127887A1 (en) | Control of device features based on vehicle state | |
| US9135420B2 (en) | Biometric data-driven application of vehicle operation settings | |
| EP3729223A1 (en) | Method and system for driving mode switching based on self-aware capability parameters in hybrid driving | |
| US10861457B2 (en) | Vehicle digital assistant authentication | |
| US20190356552A1 (en) | System and method for generating a global state information for a vehicle based on vehicle operator information and other contextuals | |
| CN110654389B (zh) | 车辆的控制方法、控制装置和车辆 | |
| CN110213516A (zh) | 车载视频录制处理方法、装置、存储介质及电子装置 | |
| JP2016179810A (ja) | 自動走行制御装置及び自動走行制御システム | |
| US11285966B2 (en) | Method and system for controlling an autonomous vehicle response to a fault condition | |
| JP7478592B2 (ja) | 車両制御システム、及び車両制御方法 | |
| US20210229655A1 (en) | Systems and methods for executing automated vehicle maneuvering operations | |
| US11096613B2 (en) | Systems and methods for reducing anxiety in an occupant of a vehicle | |
| JP2019131096A (ja) | 車両制御支援システムおよび車両制御支援装置 | |
| CN114944051B (zh) | 一种车辆座舱的控制方法、装置、车辆及移动设备 | |
| CN110718040A (zh) | 车内环境监控方法、系统、服务器、终端及存储介质 | |
| KR101655765B1 (ko) | 차량 도난 방지용 운전습관 등록 장치 및 방법 | |
| JPH1044894A (ja) | 車両用事故対処装置 | |
| CN111902864A (zh) | 用于运行机动车的声音输出装置的方法、语音分析与控制装置、机动车和机动车外部的服务器装置 | |
| US11167693B2 (en) | Vehicle attention system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |