KR102330978B1 - 음성 인터렉션 방법 및 이를 이용한 차량 - Google Patents

음성 인터렉션 방법 및 이를 이용한 차량 Download PDF

Info

Publication number
KR102330978B1
KR102330978B1 KR1020197019431A KR20197019431A KR102330978B1 KR 102330978 B1 KR102330978 B1 KR 102330978B1 KR 1020197019431 A KR1020197019431 A KR 1020197019431A KR 20197019431 A KR20197019431 A KR 20197019431A KR 102330978 B1 KR102330978 B1 KR 102330978B1
Authority
KR
South Korea
Prior art keywords
passenger
vehicle
voice interaction
voice
interaction
Prior art date
Application number
KR1020197019431A
Other languages
English (en)
Other versions
KR20200117831A (ko
Inventor
김소령
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20200117831A publication Critical patent/KR20200117831A/ko
Application granted granted Critical
Publication of KR102330978B1 publication Critical patent/KR102330978B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)

Abstract

음성 인터렉션 방법 및 이를 이용한 차량이 개시된다. 본 발명의 일 실시 예에 따른 음성 인터렉션 방법은 탑승자의 음성 신호를 수신하는 개인 단말기를 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화하고, 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션 설정을 변경한다.

Description

음성 인터렉션 방법 및 이를 이용한 차량
본 발명은 차량과 탑승객 상태 기반의 음성 인터렉션 방법 및 이를 이용한 차량에 관한 것이다.
자율 주행 차량은 운전자의 조작 없이 스스로 운행이 가능한 차량을 말한다. 이미 많은 업체들이 자율 주행 차량 사업에 진출하여, 연구 개발에 몰두하고 있다.
공유형(share) 자율 주행 차량의 경우, 복수의 사용자가 각자 자신이 원하는 위치에서 차량에 탑승하고, 각자의 목적지에서 하차할 수 있다.
자율 주행 차량은 탑승자가 음성으로 차량에서 제공되는 서비스를 실행할 수 있도록 음성 인터렉션을 지원할 수 있다.
자율 주행 차량에서 제공되는 음성 인터렉션은 차량 내 탑승객의 발화(發話) 가능 상태에 따라 음성 인터렉션의 제공이 불필요한 경우가 있으나 이러한 상황에 대하여 고려하고 있지 않다.
음성 인터렉션을 시도할 때, 타 탑승객에게 음성 입력 내용이 노출되어 프라이버시(privacy) 침해 문제가 발생할 수 있다.
탑승 객과 차량 상태에 따라 음성 인터렉션을 통한 서비스 요청 명령어 전달의 정확도가 낮아질 수 있다.
따라서, 본 발명의 목적은 음성 인터렉션 정확도를 향상할 수 있는 음성 인터렉션 방법 및 이를 이용한 차량을 제공한다.
본 발명의 다른 목적은 프라이버스 보호를 강화할 수 있는 음성 인터렉션 방법 및 이를 이용한 차량을 제공한다.
본 발명의 또 다른 목적은 모든 탑승객의 만족도를 높일 수 있는 음성 인터렉션 방법 및 이를 이용한 차량을 제공한다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 적어도 일 실시 예에 따른 음성 인터렉션 방법은 차량과 탑승객의 상태를 실시간 모니터링(monitoring)하는 단계; 상기 탑승자의 음성 신호를 수신하는 개인 단말기를 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화하는 단계; 및 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션 설정을 변경하는 단계를 포함한다.
본 발명의 적어도 일 실시 예에 따른 차량은 통신 채널을 통해 탑승자의 음성 신호를 수신하는 개인 단말기에 연결되어 상기 개인 단말기를 차량과 탑승객간 음성 인터렉션 보조기기로 활성화하는 인터렉션 연결 장치; 및 상기 차량과 상기 탑승객의 상태를 실시간 모니터링하고, 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션 설정을 변경하는 음성 인터렉션 장치를 포함한다.
본 발명은 탑승객과 차량의 음성 인터렉션에서 탑승객의 개인 단말기를 음성 인터렉션 보조 기기로 활용하여 탑승객과 차량 간의 음성 인터렉션 정확도를 향상할 수 있다.
본 발명은 탑승객의 개인 단말기를 통해 차량과의 음성 인터렉션을 가능하게 하여 탑승객의 프라이버시를 보호할 수 있다.
본 발명은 차량과 탑승객 상태의 실시간 모니터링을 통해 음성 인터렉션을 적응적으로 변경함으로써 차량이 제공하는 서비스의 탑승객 만족도를 향상할 수 있다.
본 발명은 탑승객 개인별로 발화 지점을 추론하여 음성 인터렉션을 시도하는 탑승객들 각각을 구분하여 음성 인터렉션을 시도하는 탑승객들 간의 음성 인터렉션 오인식을 방지할 수 있다.
도 1은 본 발명의 실시 예에 따른 차량의 외관을 보여 주는 도면이다.
도 2는 본 발명의 실시 예에 따른 차량의 내부를 보여 주는 도면이다.
도 3은 본 발명의 실시 예에 따른 차량용 캐빈 시스템을 보여 주는 블럭도이다.
도 4a 내지 도 4c는 본 발명의 실시 예에 따른 입력 장치를 보여 주는 도면들이다.
도 5는 본 발명의 실시 예에 따른 인터렉션 장치를 보여 주는 도면이다.
도 6은 캐빈에 탑승자가 승/하차하고 일부 탑승자가 누워 있는 예를 보여 주는 도면이다.
도 7은 개인 단말기를 이용한 인터렉션 설정 방법을 보여 주는 순서도이다.
도 8 및 도 9는 완전 발화 가능 단계, 일부 발화 가능 단계 및 완전 발화 불가능 단계에서 개인 단말기를 이용한 인터렉션 제어 방법을 보여 주는 순서도들이다.
도 10은 차량 탑승시 개인 단말기를 이용한 인터렉션 설정 방법을 보여 주는 순서도이다.
도 11은 개인 단말기를 이용한 인터렉션 제어 방법에서 명령어와 서비스 유형의 상관 관계 분석을 바탕으로 인터렉션 대상 기기를 선택하는 방법을 보여 주는 순서도이다.
도 12는 차량의 실내 공간과 탑승객 상태에 따른 인터렉션 설정 변경 방법을 보여 주는 순서도이다.
도 13은 차량의 시트 등받이 각도가 가변되는 예를 보여 주는 도면이다.
도 14a 및 도 14b는 타 탑승객을 향해 디스플레이가 등지도록 디스플레이가 회전된 예를 보여 주는 도면들이다.
발명의 실시를 위한 최선의 형태
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명은 도면에 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 실질적으로 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 명세서 상에서 언급된 "구비한다", "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 ' ~ 만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수로 해석될 수 있다.
"모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
위치 관계에 대한 설명에서, "연결되어", "접속되어", " ~ 상에", "~ 상부에", " ~ 하부에" 등과 같이 두 구성요소들 간에 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 그 구성요소들 사이에 하나 이상의 다른 구성 요소가 개재될 수 있다.
구성 요소들을 구분하기 위하여 제1, 제2 등과 같은 서수가 사용될 수 있으나, 이 구성 요소들은 구성 요소 앞에 붙은 서수나 구성 요소 명칭으로 그 기능이나 구조가 제한되지 않는다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서 기술되는 차량은 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다. 이하에서 자율 주행 차량을 중심으로 실시 예가 설명되나 본 발명의 차량은 자율 주행 차량에 한정되지 않는다. 예를 들어, 음성 인터렉션을 지원하는 차량이라면 본 발명에 적용될 수 있다.
탑승자들 각각은 음성 인터렉션을 지원하는 차량에 음성으로 서비스를 요청할 수 있다. 본 발명의 음성 인터렉션은 차량과 탑승자 상태를 실시간 모니터링하여 차량과 탑승자 상태에 따라 개인 단말기를 통해 상기 탑승자의 음성 명령을 차량에 전달할 수 있다.
이하에서, 개인 단말기는 탑승객 개인별로 구분되어 차량과 음성 인터렉션이 가능한 단말기를 의미한다. 개인 단말기는 탑승객(또는 사용자)이 소유한 휴대 단말기, 헤드셋, 또는 차량의 시트별로 배치된 개인 단말기 중 하나 이상을 포함할 수 있다. 휴대 단말기는 전화 통화, 멀티 미디어 재생이 가능한 개인 소유의 단말기 예를 들면, 스마트 폰일 수 있다.
개인 단말기는 탑승객(사용자)의 입력을 차량에 전달하여 탑승객과 차량의 인터렉션 과정에서 보조 기기로 활용될 수 있다. 탑승객(사용자)는 개인 단말기를 이용하여 음성 또는 텍스트를 단말기에 입력하여 차량과의 인터렉션을 시도할 수 있다. 탑승객은 개인 단말기에 텍스트(text)를 입력하고, 차량은 개인 단말기를 통해 수신한 텍스트에 응답하여 탑승객 개인별로 서비스를 제공할 수 있다. 탑승객은 개인 단말기를 입에 가까이 대고 음성 명령을 말하고, 차량은 개인 단말기를 통해 수신한 탑승객의 음성 신호 또는 명령어에 응답하여 탑승객이 원하는 서비스를 제공할 수 있다.
이하의 실시 예에서, 개인 단말기는 탑승객과 차량 간의 음성 인터렉션에서 메인 음성 인터렉션(main interaction) 입력 장치 또는 보조 인터렉션 입력 장치로 설정될 수 있다.
개인 단말기가 메인 음성 인터렉션 입력 장치로 설정되면, 개인 단말기는 탑승객의 음성 신호를 입력 받아 음성 신호를 디코드(decode)하여 차량의 각 장치들이 응답할 수 있는 명령어 코드를 발생한다. 개인 단말기부터 차량에 입력된 탑승객의 명령어 코드는 차량의 출력 장치 예를 들어, 디스플레이 장치, 음향 출력부, 카고 시스템 등을 직접 제어할 수 있다.
개인 단말기가 보조 음성 인터렉션 입력 장치로 설정되면, 개인 단말기는 탑승객의 음성 신호(음성 명령어)를 차량에 전달한다. 차량은 개인 단말기로부터 수신된 탑승객의 음성 신호를 디코드하여 명령어 코드를 발생하고, 차량의 출력 장치들이 여 탑승객의 명령어에 응답한다.
본 발명에서, 개인 단말기가 탑승객과 차량 간의 인터렉션을 보조함으로써 탑승객과 차량 간의 인터렉션이 어려운 다양한 상황에서 탑승객의 명령을 차량에 전달할 수 있다. 본 발명의 차량은 개인 단말기를 인터렉션 보조 기기로 사용함으로써 음성 인터렉션의 정확도를 높일 수 있을 뿐 아니라 탑승객의 프라이버스 침해 없이 그리고 타 탑승객에게 피해를 주지 않으면서 탑승객들 개인별로 서비스를 제공할 수 있다.
이하의 실시 예들은 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 기술적으로 다양한 연동 및 구동이 가능하다. 각 실시 예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 명세서의 다양한 실시 예들을 상세히 설명한다.
도 1을 참조하면, 차량(10)은 파워 트레인을 제어하는 파워 트레인 구동부, 샤시를 제어하는 샤시 구동부, 도어를 제어하는 도어 구동부, 각종 안전 장치를 제어하는 안전 장치 구동부, 각종 램프를 제어하는 램프 구동부 및 공조 장치를 제어하는 공조 구동부를 포함할 수 있다.
차량(10)에 포함되는 각종 구동부는 전자 장치로 설명될 수 있다. 실시 예에 따라, 차량(10)은 본 명세서에서 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
차량(10)은 차량 외부의 오브젝트를 감지하는 적어도 하나의 오브젝트 검출 장치를 포함할 수 있다. 오브젝트 검출 장치는 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치는 센서의 출력 신호에 기초하여 생성된 오브젝트 검출 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
차량(10)은 탑승객의 휴대 단말기, 그리고 차량 외부의 디바이스와 신호를 교환하기 위한 적어도 하나의 통신 장치를 포함할 수 있다. 통신 장치는 인프라(예를 들면, 서버) 및 타 차량 중 적어도 어느 하나와 신호를 교환할 수 있다.
차량(10)은 내부 통신 시스템을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템을 매개로 신호를 교환할 수 있다. 내부 통신 시스템은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
차량(10)은 도 2 및 도 3에 도시된 캐빈 시스템(100)을 포함할 수 있다.
도 2 및 도 3을 참조하면, 차량용 캐빈 시스템(100)(이하, "캐빈 시스템"이라 함)은 차량(10)을 이용하는 사용자를 위한 각종 편의 시설을 포함한다.
캐빈 시스템(100)은 디스플레이 시스템(400), 카고 시스템(500), 시트 시스템(600), 페이 먼트 시스템(700), 센싱부(800), 자율 주행 시스템(900) 등을 포함한다.
캐빈 시스템(100)은 메인 컨트롤러(170), 메모리(175), 인터페이스부(180), 전원 공급부(190), 입력 장치(200), 영상 장치(250), 통신 장치(300), 디스플레이 시스템(400), 촉각 출력부(430), 음향 출력부(490), 카고 시스템(500), 시트 시스템(600) 및 페이먼트 시스템(700) 등을 더 포함할 수 있다. 실시 예에 따라, 캐빈 시스템(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
전원 공급부(190)는, 캐빈 시스템(100)의 구성 요소들에 전원을 공급할 수 있다. 전원 공급부(190)는 차량(10)의 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 캐빈 시스템(100)의 각 유닛에 전원을 공급할 수 있다. 전원 공급부(190)는, 메인 컨트롤러(170)로부터 제공되는 제어 신호에 따라 동작될 수 있다. 예를 들면, 전원 공급부(190)는, SMPS(switched-mode power supply)로 구현될 수 있다.
메인 컨트롤러(170)는 입력 장치(200), 통신 장치(300), 디스플레이 시스템(400), 카고 시스템(500), 시트 시스템(600) 및 페이먼트 시스템(700)과 전기적으로 연결되어 신호를 교환하여 이 구성 요소들을 제어할 수 있다.
메인 컨트롤러(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나로 구현될 수 있다.
메인 컨트롤러(170)는 적어도 하나의 서브 컨트롤러를 포함하거나 실시 예에 따라, 복수의 서브 컨트롤러를 포함할 수 있다. 캐빈 시스템(100)의 구성 요소들은 기능별로 그룹(group)화되거나, 착좌 가능한 시트를 기준으로 그룹화될 수 있다. 복수의 서브 컨트롤러는 각각이, 그룹(group)화된 장치 및 시스템을 개별적으로 제어할 수 있다.
메인 컨트롤러(170)는 적어도 하나의 프로세서(171)를 포함할 수 있다. 도 3의 예에서, 메인 컨트롤러(170)가 하나의 프로세서(171)를 포함하는 것으로 예시되나, 메인 컨트롤러(170)는 복수의 프로세서를 포함할 수도 있다. 프로세서(171)는 상술한 서브 컨트롤러 중 어느 하나로 분류될 수도 있다.
메인 컨트롤러(170)는 통신 장치(300)를 통해, 탑승객 각각의 정보를 획득할 수 있다. 예를 들어, 제1 탑승객의 휴대 단말기(또는 이동 단말기)는 캐빈 시스템(100)에 제1 정보를 전송할 수 있다. 제2 탑승객의 휴대 단말기는, 캐빈 시스템(100)에 제2 정보를 전송할 수 있다. 통신 장치(300)는 제1 정보 및 제2 정보를 수신하여 프로세서(171)에 제공할 수 있다.
메인 컨트롤러(170)는 탑승객의 예약 정보 또는, 내부 카메라(251) 및 외부 카메라(252) 중 적어도 어느 하나에서 수신되는 영상 데이터에 기초하여 탑승객들 각각을 특정할 수 있다. 탑승객의 예약 정보는 승/하차 시간, 승/하차 시간, 시트 위치 등을 포함한다.
메인 컨트롤러(170)는 탑승객의 경로 정보, 신체 정보, 동승자 정보, 짐 정보, 위치 정보, 선호하는 컨텐츠 정보, 선호하는 음식 정보, 장애 여부 정보 및 이용 이력 정보 중 적어도 어느 하나를 바탕으로 탑승객을 특정할 수 있다.
메인 컨트롤러(170)는 입력 장치(200)에 의해 생성되는 전기적 신호에 기초하여 탑승객들에게 컨텐츠가 제공되도록 디스플레이 및 스피커 중 적어도 어느 하나에 제어 신호를 제공할 수 있다.
메인 컨트롤러(170)는 탑승객의 예약 정보나 탑승객의 휴대 단말기로부터 수신된 사용자 정보를 바탕으로 탑승객의 시트를 결정할 수 있다. 메인 컨트롤러(170)는 탑승객의 예약 정보, 차량 시트에 장착된 무게 센서 신호, 차량 시트의 각도 센서 등의 센서 신호를 바탕으로 탑승객의 착좌 여부, 탑승객의 자세를 판단할 수 있다.
메인 컨트롤러(170)는 통신 장치(300), 내부 카메라(251), 외부 카메라(252), 입력 장치(200), 디스플레이 시스템(400)의 디스플레이, 음향 출력부(490)의 스피커, 카고 시스템(500), 시트 시스템(600)의 복수의 시트 중 적어도 어느 하나로부터 수신되는 전기적 신호에 기초하여, 서비스 요금을 결정할 수 있다.
메인 컨트롤러(170)는 인공지능 에이전트(artificial intelligence agent, 이하 "AI 에이전트"라 함)(172)를 포함할 수 있다. AI 에이전트(172)는 입력 장치(200)를 통해 획득된 데이터를 기초로 기계 학습(machine learning)을 수행할 수 있다. AI 에이전트(172)는 기계 학습된 결과에 기초하여 디스플레이 시스템(400), 음향 출력부(490), 카고 시스템(500), 시트 시스템(600) 및 페이먼트 시스템(700) 중 적어도 어느 하나를 제어하여 탑승객 각각에게 최적화된 서비스를 제공할 수 있다.
AI 에이전트(172)는 차량과 탑승객 간의 인터렉션 장치에 연결되어 차량과 탑승객 간의 인터렉션시 탑승객의 만족도를 분석 및 학습하여 탑승객 개인별로 탑승객의 만족도를 향상할 수 있다.
입력 장치(200)는 터치 입력부(210), 제스쳐 입력부(212), 기계식 입력부(230), 및 음성 입력부(240) 중 적어도 하나를 포함한다.
입력 장치(200)는, 사용자 입력을 수신할 수 있다. 입력 장치(200)는, 사용자 입력을 전기적 신호로 전환할 수 있다. 입력 장치(200)에 의해 전환된 전기적 신호는 제어 신호로 전환되어 디스플레이 시스템(400), 음향 출력부(490), 카고 시스템(500), 시트 시스템(600) 및 페이먼트 시스템(700) 중 적어도 어느 하나에 제공될 수 있다. 메인 컨트롤러(170) 또는 캐빈 시스템(100)에 포함되는 적어도 하나의 프로세서는 입력 장치(200)로부터 수신되는 전기적 신호에 기초한 제어 신호를 생성할 수 있다.
입력 장치(200)는, 터치 입력부(210), 제스쳐 입력부(220), 기계식 입력부(230) 및 음성 입력부(240) 중 적어도 어느 하나를 포함할 수 있다.
터치 입력부(210)는 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 터치 입력부(210)는 사용자의 터치 입력을 감지하기 위해 적어도 하나의 터치 센서를 포함할 수 있다. 실시 예에 따라, 터치 입력부(210)는 디스플레이 시스템(400)에 포함되는 적어도 하나의 디스플레이와 일체형으로 형성됨으로써 터치 스크린을 구현할 수 있다. 터치 스크린은, 캐빈 시스템(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
제스쳐 입력부(220)는 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 제스쳐 입력부(220)는 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다. 실시 예에 따라, 제스쳐 입력부(220)는 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(220)는 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다. 제스쳐 입력부(220)는 TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
기계식 입력부(230)는 기계식 장치를 통한 사용자의 물리적인 입력(예를 들면, 누름 또는 회전)을 전기적 신호로 전환할 수 있다. 기계식 입력부(230)는 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다.
제스쳐 입력부(220)와 기계식 입력부(230)는 일체형으로 형성될 수 있다. 예를 들면, 입력 장치(200)는 제스쳐 센서가 포함되고, 주변 구조물(예를 들면, 시트, 암레스트 및 도어 중 적어도 어느 하나)의 일부분에서 출납 가능하게 형성된 조그 다이얼 장치를 포함할 수 있다. 조그 다이얼 장치가 주변 구조물과 평평한 상태를 이룬 경우, 조그 다이얼 장치는 제스쳐 입력부(220)로 기능할 수 있다. 조그 다이얼 장치가 주변 구조물에 비해 돌출된 상태의 경우에, 조그 다이얼 장치는 기계식 입력부(230)로 기능할 수 있다.
음성 입력부(240)는 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 음성 입력부(240)는 도 4a에 도시된 바와 같이 시트들 각각에 설치되어 탑승객 별로 배치된 적어도 하나의 마이크로 폰(241)을 포함할 수 있다. 음성 입력부(240)는 빔 포밍 마이크(Beam foaming MIC)를 포함할 수 있다.
영상 장치(250)는 적어도 하나의 카메라를 포함할 수 있다. 영상 장치(250)는 내부 카메라(251) 및 외부 카메라(252) 중 적어도 어느 하나를 포함할 수 있다. 내부 카메라(251)는 차량(10)의 탑승 공간 영상을 촬영할 수 있다. 외부 카메라(252)는 차량 외부 영상을 촬영할 수 있다.
메인 컨트롤러(170)는 내부 카메라(251)에 의해 획득된 영상에 기초하여 탑승객 각각의 모션을 검출하고, 검출된 모션에 기초하여 디스플레이 시스템(400), 음향 출력부(490), 카고 시스템(500), 시트 시스템(600) 및 페이먼트 시스템(700) 중 적어도 어느 하나를 제어할 수 있다.
메인 컨트롤러(170)는 외부 카메라(252)에 의해 획득된 영상에 기초하여 사용자를 인증하거나, 사용자의 신체 정보(예를 들면, 신장 정보, 체중 정보 등), 사용자의 동승자 정보, 사용자의 짐 정보 등을 획득할 수 있다.
메모리(175)는 메인 컨트롤러(170)와 전기적으로 연결된다. 메모리(175)는 캐빈 시스템(100)을 구성하는 구성 요소들에 대한 기본 데이터, 제어 데이터, 입/출력 데이터를 저장할 수 있다. 메모리(175)는 메인 컨트롤러(170)의 처리 또는 제어를 위한 프로그램 등, 캐빈 시스템(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(175)는, 메인 컨트롤러(170)와 일체형으로 구현될 수 있다. 메모리(175)는 ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나를 포함할 수 있다.
인터페이스부(180)는 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(180)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
통신 장치(300)는 외부 디바이스와 무선으로 신호를 교환할 수 있다. 통신 장치(300)는, 네트워크 망을 통해 외부 디바이스와 신호를 교환하거나, 직접 외부 디바이스와 신호를 교환할 수 있다. 외부 디바이스는, 서버, 휴대 단말기 및 타 차량 중 적어도 어느 하나를 포함할 수 있다. 통신 장치(300)는, 적어도 하나의 개인 단말기와 신호를 교환할 수 있다.
통신 장치(300)는 통신을 수행하기 위해 안테나, 적어도 하나의 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다. 실시 예에 따라, 통신 장치(300)는 복수의 통신 프로토콜을 이용할 수도 있다. 통신 장치(300)는 이동 단말기와의 거리에 따라 통신 프로토콜을 전환할 수 있다.
통신 장치(300)는 근거리 통신부, 위치 정보부, V2X 통신부, 광통신부, 방송 송수신부 등을 포함할 수 있다.
근거리 통신부는 근거리 통신(Short range communication)을 위한 채널을 연결한다. 근거리 통신부는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(10)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 외부 디바이스는 탑승객의 휴대 단말기를 포함할 수 있다.
위치 정보부는 차량(100)의 위치 정보를 획득한다. 위치 정보부는 GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부는 서버(V2I : Vehicle to Infra), 타 차량과의 통신(V2V : Vehicle to Vehicle) 또는 보행자와의 통신(V2P : Vehicle to Pedestrian)을 수행한다. V2X 통신부는 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부는 광을 매개로 외부 디바이스와 통신을 수행한다. 광통신부는 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다. 광발신부는 차량(10)의 램프와 일체화될 수 있다.
방송 송수신부는 방송 채널을 통해 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는 TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
도 3에서 통신 장치(300)가 메인 컨트롤러(170)에 직접 연결된 것으로 예시하나, 통신 장치(300)는 인터페이스부(180)를 매개로 메인 컨트롤러(170)에 연결될 수도 있다.
디스플레이 시스템(400)은 비디오 신호를 표시할 수 있다. 디스플레이 시스템(400)은, 제1 디스플레이 장치(410), 및 제2 디스플레이 장치(420)를 포함할 수 있다.
디스플레이 시스템(400)은 메인 컨트롤러(170), 입력 장치(200), 영상 장치(250), 통신 장치(300), 자율 주행 시스템(900) 중 적어도 어느 하나로부터 수신되는 비디오 신호를 표시패널의 화면 상에 출력한다.
제1 디스플레이 장치(410, 411a~411b)는 시각적 컨텐츠를 출력하는 적어도 하나의 공용 디스플레이를 포함한다. 제1 디스플레이 장치(410, 411a~411b)는 평면 디스플레이. 곡면 디스플레이, 롤러블 디스플레이 및 플렉서블 디스플레이 중 적어도 어느 하나로 구현되며 두 명 이상의 탑승객들에 노출되는 화면을 포함할 수 있다.
제1 디스플레이 장치의 제1 표시패널(410)은 캐빈의 일측 시트 후방에 위치하고, 캐빈 내로 출납 가능하게 설치될 수 있다. 제2 및 제3 표시패널(411a, 411b)는 캐빈의 타측 시트 후방에 위치하고, 캐빈 내로 출납 가능하게 설치될 수 있다. 제1 디스플레이 장치는 캐빈의 천장에 배치되는 롤러블 디스플레이(rollable display)를 더 포함할 수 있다.
제2 표시패널(411a)은 차량(10)의 주행 상황 정보를 표시할 수 있다. 주행 상황 정보는 차량 외부의 오브젝트(object) 정보, 내비게이션 정보 및 차량 상태 정보 중 적어도 어느 하나를 포함할 수 있다. 차량 외부의 오브젝트 정보는 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량(10)과 오브젝트와의 거리 정보 및 차량(10)과 오브젝트와의 상대 속도 정보를 포함할 수 있다. 내비게이션 정보는, 맵(map) 정보, 목적지 정보, 목적지 설정에 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다. 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다. 제3 표시패널(411b)은 사용자 인터페이스 영역으로 정의될 수 있다. 예를 들면, 제3 표시패널(411b)은 인공 지능 에이전트 화면을 출력할 수 있다.
제2 디스플레이 장치(420)는 도 2에 도시된 바와 같이 시트별로 배치되는 다수의 표시패널들을 포함하여 탑승객 개인별로 공통 또는 독립적인 시각적 컨텐츠 서비스를 제공할 수 있다. 제2 디스플레이 장치(420)는 평면 디스플레이. 곡면 디스플레이, 롤러블 디스플레이 및 플렉서블 디스플레이 중 적어도 어느 하나로 구현된다. 제2 디스플레이 장치(420)의 표시패널들 각각은 시트별로 분리된다. 제2 디스플레이(420)의 제1 표시패널은 제1 시트에 앉은 제1 탑승객 전용 디스플레이로 사용될 수 있다. 제2 디스플레이(420)의 제2 표시패널은 제2 시트에 앉은 제2 탑승객 전용 디스플레이로 사용될 수 있다.
제2 디스플레이 장치(420)의 표시패널들 각각은 한 명 탑승자만 디스플레이 내용을 확인할 수 있도록 시트의 암 레스트에 배치될 수 있다. 제2 디스플레이 장치(420)는 사용자의 개인 정보에 대응되는 비디오 신호를 표시할 수 있다. 제2 디스플레이 장치(420)의 표시패널들은 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 제2 디스플레이 장치(420)는 시트 조정 또는 실내 온도 조정의 사용자 입력을 수신하기 위한 그래픽 객체를 표시할 수 있다.
제2 디스플레이 장치(420)는 탑승객 개인별로 구분되어 영상 인터렉션 장치로 이용될 수 있다. 탑승객은 영상 인터렉션에서 제2 디스플레이 장치(420) 표시된 서비스 제공 화면의 터치 스크린을 터치하여 차량에 명령을 입력할 수 있다.
디스플레이 장치(410, 411a~411b)는 홀로그램 컨텐츠를 제공할 수 있다. 예를 들면, 제2 디스플레이 장치(420)는 복수의 사용자별로 홀로그램 컨텐츠를 제공하여 컨텐츠 재생 서비스를 요청한 탑승객만 해당 컨텐츠를 시청하게 할 수 있다.
도 3에서 디스플레이 시스템(400)이 메인 컨트롤러(170)에 직접 연결된 것으로 예시하나, 디스플레이 시스템(400)은 인터페이스부(180)를 매개로 메인 컨트롤러(170)에 연결될 수도 있다.
촉각 출력부(430)는 도 2에 도시된 바와 같이 시트별로 배치된 진동 모터를 이용하여 탑승객 개인별로 햅틱 인터페이스(haptic interface)를 제공할 수 있다.
음향 출력부(490)는 전기적 신호를 오디오 신호로 전환할 수 있다. 음향 출력부(490)는, 전기적 신호를 오디오 신호로 변환하여 출력하는 적어도 하나의 스피커를 포함할 수 있다. 예를 들면, 음향 출력부(490)는 탑승 가능한 시트별로 구비된 복수의 스피커를 포함할 수 있다.
카고 시스템(500)은 탑승객의 요청에 따라 상품을 사용자에게 제공할 수 있다. 카고 시스템(500)은 입력 장치(200) 또는 통신 장치(300)에 의해 생성되는 전기적 신호에 기초하여 동작될 수 있다. 카고 시스템(500)은 카고 박스를 포함할 수 있다. 카고 박스는 상품들이 적재된 상태로 시트 하단의 일 부분에 은닉될 수 있다. 탑승객의 요청이 카고 시스템(500)에 수신되는 경우, 카고 박스는 캐빈으로 노출될 수 있다. 탑승객은 노출된 카고 박스에 적재된 물품 중 필요한 상품을 선택할 수 있다. 카고 시스템(500)은 사용자 입력에 따른 카고 박스의 노출을 위해, 슬라이딩 무빙 메카니즘, 상품 팝업 메카니즘을 포함할 수 있다. 카고 시스템은(500)은 다양한 종류의 상품을 제공하기 위해 복수의 카고 박스를 포함할 수 있다. 카고 박스에는 상품별로 제공 여부를 판단하기 위한 무게 센서가 내장될 수 있다.
도 3에서 카고 시스템(500)이 메인 컨트롤러(170)에 직접 연결된 것으로 예시하나, 카고 시스템(500)은 인터페이스부(180)를 매개로 메인 컨트롤러(170)에 연결될 수도 있다.
시트 시스템(600)은 탑승객 각각에 맞춤형 시트를 사용자에게 제공할 수 있다. 시트 시스템(600)은 입력 장치(200) 또는 통신 장치(300)에 의해 생성되는 전기적 신호에 기초하여 동작될 수 있다. 시트 시스템(600)은 입력 장치(200) 또는 통신 장치(300)로부터 수신된 탑승객의 신체 정보에 기초하여, 시트의 적어도 하나의 요소를 조정할 수 있다. 시트 시스템(600)은 시트 센서 신호를 바탕으로서 탑승객의 착좌 여부, 탑승객의 자세를 판단할 수 있다.
시트 시스템(600)은 복수의 탑승자들이 앉거나 누울 수 있는 복수의 시트들을 포함할 수 있다. 복수의 시트 중 어느 하나는 적어도 다른 하나와 마주보게 배치될 수 있다. 캐빈 내부의 적어도 두 명의 탑승자들이 서로 마주보고 앉을 수 있다. 차량의 시트들 각각은 도 13과 같이 등받이 각도가 가변될 수 있다. 등받이 각도는 시트의 바닥면에 대하여 90 ~ 180도 사이에서 가변될 수 있으나 이에 한정되지 않는다.
도 3에서, 시트 시스템(600)이 메인 컨트롤러(170)에 직접 연결된 것으로 예시하나, 시트 시스템(600)은, 인터페이스부(180)를 매개로 메인 컨트롤러(170)에 연결될 수도 있다.
페이먼트 시스템(700)은 탑승객 개인별로 서비스 요금을 산정하여 탑승객의 휴대 단말기에 전송하여 과금 처리한다. 프로세서(171)는, 결정된 서비스 요금이 과금되도록 페이먼트 시스템(700)에 신호를 제공할 수 있다. 페이먼트 시스템(700)은 입력 장치(200), 통신 장치(300), 카고 시스템(500) 중 적어도 하나로부터의 결제 요청 신호 신호에 응답하여 탑승객이 이용한 적어도 하나의 서비스에 대한 가격을 산정하고, 산정된 가격이 지불되도록 요청할 수 있다.
도 3에서, 페이먼트 시스템(700)이 메인 컨트롤러(170)에 직접 연결된 것으로 예시하나, 페이먼트 시스템(700)은 인터페이스부(180)를 매개로 메인 컨트롤러(170)에 연결될 수도 있다.
센싱부(800)는 차량 상태, 주행 상태, 차량 위치/자세 등을 실시간 감지하여 캐빈 시스템(100)의 구성 요소들에게 알려 주기 위한 다양한 센서들을 포함한다. 센싱부(800)는 시트 센서를 포함할 수 있다. 시트 센서는 압력 센서, 각도 센서 등의 센서를 포함할 수 있다. 압력 센서는 시트에 가해지는 압력을 감지하고, 각도 센서는 시트의 등받이 각도를 감지한다.
센싱부(800)는 차량 상태를 센싱할 수 있다. 센싱부(800)는 자세 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서 등을 포함할 수 있다. 자세 센서는 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor) 등을 포함할 수 있다.
센싱부(800)는 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등을 실시간 감지하여 센싱 신호를 발생할 수 있다.
센싱부(800)는 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS) 등을 더 포함할 수 있다.
자율 주행 시스템(900)은 통신 장치(300)와 연결되어 타 차량과 외부 디바이스와 통신을 수행하여 차량 주변의 객체를 인식하면서 미리 설정된 목적지, 경로를 바탕으로 자율 주행한다. 자율 주행 시스템(900)은 탑승객들 각각이 지정한 탑승 위치와 목적지에서 정차할 수 있다.
차량(10)은 매뉴얼 모드, 자율 주행 모드, 또는 원격 제어 모드로 동작할 수 있다. 자율 주행 모드에서 제어부(170)나 운행 시스템(700)은 운전자 개입 없이 차량(10)을 직접 제어하여 차량(10)을 운전자가 설정한 목적지로 차량을 운행한다. 원격 제어 모드는 운전자 개입 없이 외부 디바이스가 차량(10)을 제어한다. 탑승객 또는 사용자는 개인 단말기를 통해 혹은 직접 캐빈 시스템(100)에모드 선택/전환 명령을 입력하여 매뉴얼 모드, 자율 주행 모드, 또는 원격 제어 모드를 선택할 수 있다.
자율 주행 시스템(900)은 자율 주행 모드에서 인에이블(enable)되어 자율 주행 모드로 차량(10)이 주행될 수 있도록 오브젝트 검출 장치, 운전 조작 장치, 차량 구동 장치, 안전 장치 구동부, 운행 시스템, 내비게이션 시스템 등을 자동 제어할 수 있다. 매뉴얼 모드로 전환되면, 자율 주행 시스템(900)은 디스에이블(disable)된다. 매뉴얼 모드에서, 차량(10)은 운전자의 수동 조작으로 주행할 수 있다.
오브젝트 검출 장치는 영상 장치(250)의 외부 카메라, 레이다, 라이다, 초음파 센서, 적외선 센서 등을 이용하여 차량(10) 외부에 위치하는 객체(object)를 검출한다. 객체는 차량(10)의 운행과 관련된 다양한 물체들일 수 있다. 예를 들어, 객체는 차로(Lane), 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형 지물, 동물 등을 포함할 수 있다.
차로는 주행 차로, 주행 차로의 옆 차로, 반대 방향으로 주행하는 차량의 차로를 포함한다. 차로는 차로(Lane)를 구획하는 좌우측 차선(Line)을 포함하는 개념일 수 있다. 타 차량은 차량(10)의 주변에서 주행 중인 차량일 수 있다. 타 차량은 차량(10)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 타 차량은 차량(10)보다 선행하는 차량이거나, 후행하는 차량일 수 있다.
보행자는 차량(10)의 주변에 위치한 사람일 수 있다. 보행자는 차량(10)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자는 인도 또는 차도상에 위치하는 사람일 수 있다. 이륜차는 차량(10)의 주변에 위치하고 2 개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차는 차량(10) 주변의 인도 또는 차도 상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는 교통 신호등, 교통 표지판, 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은 타 차량의 램프 혹은 가로등에서 조사되는 빛, 태양광(자연광) 일 수 있다. 도로는 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다. 구조물은 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다. 지형 지물은 산, 언덕, 등을 포함할 수 있다.
객체는 이동 객체와 고정 객체로 나뉘어질 수 있다. 이동 객체는 타 차량, 이륜차, 보행자 등일 수 있다. 고정 객체는 교통 신호, 도로, 고정 구조물일 수 있다.
운전 조작 장치는 조향 입력 장치, 가속 입력 장치 및 브레이크 입력 장치를 포함할 수 있다.
조향 입력 장치는 차량(10)의 진행 방향 명령을 입력 받아 차량 구동 장치에 전달한다. 조향 입력 장치는 핸들(steering wheel), 터치 스크린, 터치 패드 또는 버튼으로 구현될 수 있다.
가속 입력 장치는 차량(10)의 가속 명령을 입력 받아 차량 구동 장치에 전달한다. 브레이크 입력 장치는 차량(10)의 감속 및 정치 명령을 입력 받아 차량 구동 장치에 전달한다. 가속 입력 장치 및 브레이크 입력 장치는 페달, 터치 스크린, 터치 패드 또는 버튼 형태로 구현될 수 있다.
차량 구동 장치는 파워 트레인 구동부, 샤시 구동부, 도어/윈도우 구동부, 안전 장치 구동부, 램프 구동부 및 공조 구동부를 포함할 수 있다.
파워 트레인 구동부는 파워 트레인 장치의 동작을 제어할 수 있다. 파워 트레인 구동부는 동력원 구동부 및 변속기 구동부를 포함할 수 있다.
동력원 구동부는 차량(10)의 동력원에 대한 제어를 수행한다. 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부는 메인 컨트롤러(170) 또는 자율 주행 시스템(900)의 제어 하에 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부는 엔진 출력 토크를 조정할 수 있다. 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는 메인 컨트롤러(170) 또는 자율 주행 시스템(900)의 제어 하에 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부는 변속기에 대한 제어를 수행한다. 변속기 구동부는 변속기의 상태를 전진, 후진, 중립 또는 주차로 조정할 수 있다. 엔진이 동력원인 경우, 변속기 구동부는 전진 상태에서 기어의 물림 상태를 조정할 수 있다.
샤시 구동부는 샤시 장치의 동작을 제어할 수 있다. 샤시 구동부는 조향 구동부, 브레이크 구동부 및 서스펜션 구동부를 포함할 수 있다.
조향 구동부는 차량(10) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부는 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부는 차량 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행하여 차량(10)의 속도를 줄일 수 있다. 브레이크 구동부는 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부는 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부는 차량(10) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 서스펜션 구동부는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여 차량(10)의 진동이 저감되도록 제어할 수 있다. 서스펜션 구동부는 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부는 차량(10) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 도어/윈도우 구동부는 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다. 도어 구동부는 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부는 차량(10)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부는 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부는 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다. 윈도우 구동부는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행하여 차량(10)의 윈도우 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부는 차량(10) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다. 안전 장치 구동부는 에어백 구동부, 시트벨트 구동부 및 보행자 보호 장치 구동부를 포함할 수 있다.
에어백 구동부는 차량(10) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행하여 위험 감지시 에어백이 전개되도록 이 에어백을 제어한다.
시트벨트 구동부는 차량(10) 내의 시트벨트 장치(seatbelt apparatus)에 대한 전자식 제어를 수행하여 위험 감지시, 시트 밸트를 이용해 탑승객이 시트에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부는 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행하여 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 이 에어백을 제어한다.
램프 구동부는 차량(10) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행한다. 공조 구동부는 차량 내의 공조 장치(air conditioner)에 대한 전자식 제어를 수행하여 차량 내부의 온도를 조절한다.
운행 시스템은 차량(10)의 운행을 제어한다. 운행 시스템은 자율 주행 모드에서 인에이블될 수 있다. 운행 시스템은 주행 시스템, 출차 시스템 및 주차 시스템을 포함할 수 있다.
운행 시스템이 소프트웨어적으로 구현될 수 있다. 이 경우, 운행 시스템은 메인 컨트롤러(170) 또는 자율 주행 시스템(900)의 제어 하에 실행되는 소프트웨어 프로그램일 수 있다.
주행 시스템은 내비게이션 시스템으로부터의 내비게이션 정보를 차량 구동 장치에 제공한다. 주행 시스템은 오브젝트 검출 장치로부터의 객체 정보를 차량 구동 장치에 제공한다. 주행 시스템은 통신 장치(300)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치에 제공할 수 있다.
출차 시스템은 차량의 출차를 수행한다. 출차 시스템은 내비게이션 시스템으로부터의 내비게이션 정보를 차량 구동 장치에 제공할 수 있다. 출차 시스템은 오브젝트 검출 장치로부터의 객체 정보를 차량 구동 장치에 제공할 수 있다. 출차 시스템은 통신 장치를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치에 제공할 수 있다.
주차 시스템은 차량(10)의 주차를 수행할 수 있다. 주차 시스템은 내비게이션 시스템으로부터의 내비게이션 정보를 차량 구동 장치에 제어 신호를 제공할 수 있다. 주차 시스템은 오브젝트 검출 장치로부터의 객체 정보를 차량 구동 장치에 제공할 수 있다. 주차 시스템은 통신 장치(300)를 통해 수신된 외부 디바이스로부터의 신호를 차량 구동 장치에 제공할 수 있다.
내비게이션 시스템은 내비게이션 정보를 발생할 수 있다. 내비게이션 정보는 맵(map) 정보, 설정된 목적지 정보, 목적지까지의 경로 정보, 경로 상의 다양한 객체에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 하나 이상을 포함할 수 있다.
내비게이션 시스템은 통신 장치(300)를 통해 수신된 외부 디바이스로부터 정보를 수신하여 기 저장된 정보를 업데이트 할 수 있다.
도 4a는 시트별로 구분된 마이크로 폰(241)을 나타낸다. 도 4b 및 도 4c는 차량 내 외부 카메라(251, 252)를 나타낸다.
도 5는 본 발명의 실시 예에 따른 차량의 인터렉션 장치를 보여 주는 도면이다.
도 5를 참조하면, 차량의 인터렉션 장치(170?)는 인터렉션 연결 장치(70), 및 음성 언터렉션 장치(79)를 포함한다. 음성 인터렉션 장치(79)는 AI 에이젼트(172)에 연결되어 AI 에이전트(172)의 일부 기능을 활용할 수 있다.
음성 인터렉션 장치(79)는 상태 변화 감지 모듈(73), 탑승객 위치 추론 모듈(74), 인터렉션 판단 모듈(75), 인터렉션 컨트롤러(76), 학습 모듈(77) 등을 포함한다.
인터렉션 연결 장치(70)는 개인 단말기 연결 모듈(71), 및 보조 인터렉션 활성화 모듈(72)을 포함한다.
개인 단말기 연결 모듈(71)은 개인 단말기가 탑승객과 차량의 인터렉션에서 보조 기기로 사용될 때 통신 장치(430)를 통해 개인 단말기를 AI 에이전트(172)에 연결한다.
보조 인터렉션 활성화 모듈(72)은 인터렉션 설정에 따라 개인 단말기를 음성 인터렉션 보조기기로서 활성화한다.
상태 변화 감지 모듈(73)은 카메라(251)에 의해 촬영된 캐빈의 실내 공간 영상, 마이크(241) 및 소리 센서(82)의 출력 신호, 시트 센서(81)의 출력 신호를 바탕으로 탑승객들이 위치하는 캐빈의 실내 공간 상태를 감지한다.
탑승객은 캐빈의 실내 공간에 마련된 시트에 앉거나 누울 수 있다. 탑승객은 차량 탑승을 예약할 때 차량의 시트 위치를 선택할 수 있다. 상태 변화 감지 모듈(73)은 카메라(251)에 의해 촬영된 영상과 시트 센서(81)의 출력 신호를 바탕으로 탑승객의 승/하차, 탑승객의 위치 및 자세, 탑승객의 수면 여부 등을 감지할 수 있다. 상태 변화 감지 모듈(73)은 마이크(241)와 소리 센서(82) 중 하나 이상을 이용하여 차량의 실내 공간 소음 레벨을 감지할 수 있다.
캐빈의 실내 공간 상태와 탑승객 상태는 음성 인터렉션에 영향을 준다. 일 예로, 탑승객의 승/하차, 탑승객의 자세, 소음 레벨, 탑승객의 멀티 미디어 시청 여부, 탑승객의 통화 여부 등은 음성 인터렉션이 불가능하거나 음성 인식률 저하로 인하여 음성 인터렉션 실패를 초래할 수 있다.
탑승객 위치 추론 모듈(74)은 마이크(241) 또는 소리 센서(82)의 출력 신호, 카메라(251)의 출력 신호, 탑승자의 예약 정보 중 하나 이상을 바탕으로 탑승객들 각각의 위치와, 음성 인터렉션을 시도하는 탑승객의 발화 위치를 판단한다. 탑승객 위치 추론 모듈(74)은 차량 내에서 발화 위치를 추론하여 차량과의 음성 인터렉션을 시도하는 탑승객을 특정할 수 있다.
인터렉션 컨트롤러(76)는 탑승객 위치 추론 모듈(74)로부터의 탑승객 위치 및 발화 위치를 입력 받아 차량(10)과의 음성 인터렉션을 시도하는 탑승객을 식별하여 이 탑승객의 음성 명령에 응답하여 탑승객에게 서비스를 제공한다. 따라서, 차량은 음성 인터렉션을 통해 수신한 탑승자들 각각의 음성 명령에 응답하여 탑승객 개인별로 서비스를 구분하여 제공할 수 있다.
인터렉션 판단 모듈(75)은 상태 변화 감지 모듈(73)에 의해 감지된 차량과 탑승객의 상태 변화를 바탕으로 음성 인터렉션 인식 레벨을 판단한다. 음성 인터렉션 인식 레벨은 완전 발화 불가능 단계, 일부 발화 가능 단계, 완전 발화 단계로 나뉘어질 수 있다.
완전 발화 불가능 단계는 음성 인터렉션이 불가능한 상태이다. 예를 들면, 탑승객이 개인 단말기로 전화 통화하고 있다거나 탑승객이 멀티 미디어 컨텐츠를 시청하고 있을 때 이 탑승객은 음성 인터렉션을 할 수 없다. 또한, 탑승객이 누워서 자고 있을 때 이 탑승객으로부터 음성 인터렉션이 발생되지 않는다. 다시 말하여, 인터렉션 판단 모듈(75)은 개인 단말기가 통화 호 연결된 상태일 때 개인 단말기로 전화 통화, 개인 단말기가 상기 탑승객으로부터 멀티 미디어 컨텐츠 요청을 수신하는 상태, 탑승객이 착석한 시트의 등받이 각도가 미리 정해진 각도보다 큰 상태, 탑승객의 자세가 수평 상태 중 어느 하나일 때 완전 발화 불가능 단계로 판단할 수 있다.
인터렉션 컨트롤러(76)는 인터렉션 판단 모듈(75)에 의해 완전 발화 불가능 단계로 판단되면, “현재 탑승객의 상태 변경에 따라 음성 인터렉션을 비활성화 합니다. 인터렉션은 디스플레이로 가능합니다”와 같은 인터렉션 변경 예고 안내 메시지를 탑승객에게 전송할 수 있다. 이 안내 메시지는 차량 내의 디스플레이 장치, 스피커 등으로 출력되거나 발화 불가능 단계로 판단된 탑승객의 개인 단말기로 전송될 수 있다. 그리고 인터렉션 컨트롤러(76)는 음성 인터렉션이 비활성화 완료된 직후에 인터렉션 변경 완료 안내를 차량 내의 디스플레이 또는 진동(또는 햅틱)으로 출력하거나 개인 단말기에 변경 완료 메시지를 전송할 수 있다.
일부 발화 가능 단계는 음성 인터렉션을 시도할 때 음성 인식률이 저하되어 음성 인터렉션이 부정확하게 될 수 있는 상태이다. 예를 들어, 도 6에 도시된 바와 같이 타 탑승객이 승/하차하거나 실내 소음 레벨이 크면 음성 인터렉션 시도시 음성 인식률이 저하된다. 타 탑승객이 누워서 자거나 쉴 때 음성 인터렉션을 시도하면 타 탑승객의 수면 또는 휴식을 방해할 수 있기 때문에 발화자가 음성을 낮출 수 있다. 시트 센서 신호에 따라 타 탑승객이 수평일 때 타 탑승객이 누워서 자거나 쉬고 있는 상태로 판단될 수 있다. 타 탑승객이 누어 있을 때 음성 인터렉션 시도시에 음성 인식률이 낮아진다.
인터렉션 판단 모듈(75)은 개인 단말기의 통화 호가 없는 상태, 멀티 미디어 컨텐츠 요청이 없는 상태, 탑승객이 착석한 시트의 등받이 각도가 상기 미리 정해진 각도 보다 작을 때(또는 최소일 때), 그리고 상기 차량의 실내 소음이 상기 기준값 이하일 때 음성 인터렉션 레벨을 완전 발화 가능 단계로 판단할 수 있다. 인터렉션 컨트롤러(76)는 일부 발화 가능 단계에서 차량(10) 또는 개인 단말기의 마이크에 수신된 상기 탑승객의 음량을 높이고, 마이크 신호에서 발화자의 주변 소음을 제거하는 등 음성 인식 감도를 높일 수 있다. 인터렉션 컨트롤러(76)는 일부 발화 가능 단계에서 디스플레이의 밝기를 낮추거나 시야각을 좁힐 수 있다. 인터렉션 컨트롤러(76)는 “현재 탑승객의 상태가 변경되어 인터렉션 설정을 일부 변경합니다. 변경되는 내용은 음량, 음성 인식 감도, 디스플레이 밝기입니다”와 같은 인터렉션 변경 예고 안내 메시지와 “변경된 사항을 허가하시겠습니까?” 등 설정 변경에 대한 탑승객의 의사 확인 요청 메시지를 일부 발화 가능 단계로 판단된 탑승객에게 차량 내의 디스플레이, 스피커 등으로 출력하거나 그 탑승객의 개인 단말기로 예고 메시지를 전송할 수 있다. 그리고 인터렉션 컨트롤러(76)는 음성 인터렉션 설정이 일부 변경된 직후에 인터렉션 변경 완료 안내를 일부 발화 가능 단계로 판단된 탑승객에게 차량 내의 디스플레이 또는 진동(또는 햅틱)으로 출력하거나 그 탑승객의 개인 단말기에 변경 완료 메시지를 전송할 수 있다.
완전 발화 가능 단계는 탑승객이 음성 인터렉션을 시도할 때 음성 인식률이 양호하여 음성 인식 및 인지에 문제가 없는 상태이다.
인터렉션 컨트롤러(76)는 완전 발화 단계에서 현재의 음성 인터렉션 설정을 유지한다.
인터렉션 컨트롤러(76)는 탑승객의 음성 신호로 전달 받은 명령어에 응답하여 캐빈 시스템의 구성 요소를 제어하여 그 명령이 지시하는 서비스를 실행한다. 인터렉션 컨트롤러(76)는 도 7과 같은 인터렉션 설정 및 도 8과 같은 인터렉션 방법을 제어한다. 또한, 인터렉션 컨트롤러(76)는 도 9와 같은 인터렉션 판단 모듈(75)의 판단 결과를 바탕으로 음성 인터렉션 변경을 제어한다.
학습 모듈(77)은 탑승객 개인별로 음성 인터렉션에 대한 탑승객의 응답을 수신하여 분석하고 탑승객 개인별 인터렉션 결과 이력(history)과 함께 차량과 탑승객 상태 기반 음성 인터렉션의 정확도를 향상시킬 수 있다. 학습 모듈(77)의 학습 알고리즘은 업데이트될 수 있다.
탑승객은 탑승 예약시에 그리고 차량 주행 중 어느 때라도 개인 단말기를 메인 음성 인터렉션 장치 또는 보조 음성 인터렉션 장치로 설정할 수 있다.
개인 단말기가 메인 음성 인터렉션 장치로 설정될 때, 탑승객의 음성 신호로부터 명령어 코드를 생성하여 통신 장치(300)를 통해 차량(10)에 전송하여 차량(10)을 직접 제어하여 탑승객에게 서비스를 제공할 수 있다. 따라서, 개인 단말기가 메인 음성 인터렉션 장치로 설정되면, 차량의 인터렉션 장치 대신에 개인 단말기가 차량을 직접 제어할 수 있다.
개인 단말기가 보조 음성 인터렉션 장치로 설정되면, 개인 단말기는 통신 장치(300)를 통해 차량의 인터렉션 장치에 연결되어 사용자의 음성 신호를 차량의 인터렉션 장치로 전송한다. 개인 단말기가 보조 음성 인터렉션 장치로 설정되면, 개인 단말기는 탑승객의 음성 신호를 차량으로 전달하는 중계기 역할을 한다. 차량의 인터렉션 장치는 개인 단말기를 통해 수신된 탑승객의 음성 신호에서 명령어를 인식하여 탑승객에서 서비스를 제공한다. 개인 단말기는 보조 음성 인터렉션 장치로 설정될 때 탑승객의 음성 신호를 증폭하고 소음(노이즈)을 제거하여 차량의 인터렉션 장치로 전송할 수 있다.
차량에서 제공 가능한 서비스는 탑승객의 편의를 돕기 위한 서비스를 의미한다. 예를 들어, 주행 정보, 승/하차 위치, 뉴스, 날씨, 광고 등의 정보 제공 서비스가 제공될 수 있다. 또한, 음악 및 영상과 같은 멀티 미디어 컨텐츠와, 탑승객이 주문한 상품 제공 서비스 등이 있다.
도 7은 개인 단말기를 이용한 인터렉션 설정 방법을 보여 주는 순서도이다.
도 7을 참조하면, 탑승객 또는 차량의 AI 에이전트(172)는 인터렉션 설정 단계에서 개인 단말기를 메인 음성 인터렉션 장치 또는 보조 인터렉션 장치로 설정할 수 있다(S10~S30). AI 에이젼트(172)는 택승객 개인별로 수집된 인터렉션 만족도에 기반한 학습한 결과를 바탕으로 개인별로 개인 단말기를 메인 음성 인터렉션 장치 또는 보조 음성 인터렉션 장치로 설정할 수 있다.
개인 단말기가 메인 음성 인터렉션 장치 또는 보조 음성 인터렉션 장치로 설정되면, 통신 장치(300)를 통해 개인 단말기가 차량에 연결된다(S21, S31).
도 8 및 도 9는 완전 발화 가능 단계, 일부 발화 가능 단계 및 완전 발화 불가능 단계에서 개인 단말기를 이용한 인터렉션 제어 방법을 보여 주는 순서도들이다.
도 8을 참조하면, 상태 변화 감지 모듈(73)은 차량과 탑승객 상태를 실시간 모니터링한다(S20). 탑승객 위치 추론 모듈(74)은 탑승객들 각각의 위치를 판단한다(S21).
인터렉션 판단 모듈(75)은 차량과 탑승객 상태를 바탕으로 음성 인터렉션 레벨을 완전 발화 가능 단계, 일부 발화 가능 단계, 완전 발화 불가능 단계 중 어느 하나로 판단할 수 있다(S22, S23, S24). 음성 인터렉션 레벨은 탑승객들 모두가 같은 단계로 추론되거나, 탑승객들 각각의 상태에 따라 서로 다른 단계로 추론될 수 있다.
완전 발화 가능 단계에서, 개인 단말기가 메인 음성 인터렉션 장치로 설정될 수 있다(S25). 완전 발화 가능 단계에서, 탑승객은 개인 단말기를 통해 차량을 직접 제어하여 개인별로 자신이 원하는 서비스를 제공 받을 수 있다.
완전 발화 가능 단계에서, 탑승객이 음성 인터렉션을 시도하면 차량은 발화 위치를 판단하여 탑승객 개인별 서비스를 탑승객에게 제공할 수 있다(S26, S27, S28).
완전 발화 가능 단계에서 탑승객 개인별로 요구하는 서비스가 다를 수 있다. 예를 들어, 제1 탑승객은 영화를 보고 싶지만 제2 탑승객은 음악을 듣기를 원할 수 있다. 탑승객의 위치와 발화 위치를 알면, 타 탑승객을 불편하게 하지 않고 탑승객 개인별로 원하는 서비스를 제공할 수 있다. 따라서, 차량은 완전 발화 가능 단계에서 발화 위치를 판단하여 서비스를 요청한 탑승객에게만 그 탑승객이 원하는 서비스를 제공할 수 있고, 탑승객 개인별로 서로 다른 서비스를 제공할 수 있다.
일부 발화 가능 단계에서, 개인 단말기가 보조 음성 인터렉션 장치로 설정될 수 있다(S29). 일부 발화 가능 단계에서, 탑승객들 중 일부가 개인 단말기를 통해 음성 명령을 차량에 전달하여 개인별로 자신이 원하는 서비스를 제공 받을 수 있다.
일부 발화 가능 단계에서, 탑승객이 음성 인터렉션을 시도하면 차량은 발화 위치를 판단하여 탑승객 개인별 서비스를 탑승객에게 제공할 수 있다(S30, S31, S32).
일부 발화 가능 단계에서 탑승객 개인별로 요구하는 서비스가 다를 수 있다. 예를 들어, 제1 탑승객은 영화를 보고 싶지만 제2 탑승객은 음악을 듣기를 원할 수 있다. 차량은 일부 발화 가능 단계에서 발화 위치를 판단하여 서비스를 요청한 탑승객에게만 그 탑승객이 원하는 서비스를 제공할 수 있고, 탑승객 개인별로 서로 다른 서비스를 제공할 수 있다.
완전 발화 불가능 단계에서, 탑승객이 발화할 수 없는 상태이기 때문에 음성 인터렉션이 비활성화되고 영상 인터렉션이 활성화된다(S33). 탑승자는 완전 발화 불가능 단계에서 제2 디스플레이 장치(420) 즉, 개인별 디스플레이를 이용하여 차량과 인터렉션하여 자신이 원하는 서비스를 받을 수 있다. AI 에이전트(172)는 도 9에 도시된 바와 같이 학습 결과를 바탕으로 탑승객 개인별 인터렉션을 최적화할 수 있다.
도 9를 참조하면, 상태 변화 감지 모듈(73)은 차량과 탑승객 상태를 실시간 모니터링한다(S40). 탑승객 위치 추론 모듈(74)은 탑승객들 각각의 위치를 판단한다(S41).
인터렉션 판단 모듈(75)은 차량과 탑승객 상태를 바탕으로 개인별 음성 인터렉션을 완전 발화 가능 단계, 일부 발화 가능 단계, 완전 발화 불가능 단계 중 어느 하나로 판단할 수 있다(S42, S43, S44).
탑승객에 따라 완전 발화 단계와 일부 발화 단계에서 개인 단말기를 메인 음성 인터렉션으로 선호할 수 있다. 또한, 어느 탑승객은 어느 발화 단계에서도 음성 인터렉션을 원하지 않고 영상 인터렉션을 원할 수 있다.
AI 에이전트(172)는 탑승객들 개인별로 수집된 인터렉션에 대한 응답을 분석하여 개인별 만족도를 분석할 수 있다. AI 에이젼트(172)는 학습 결과를 바탕으로 음성 인터렉션 활성화 여부, 개인 단말기의 메인/보조 음성 인터렉션 설정을 선택하여 탑승객 개인별 인터렉션을 최적화할 수 있다(S45 내지 S50).
도 10은 차량 탑승시 개인 단말기를 이용한 인터렉션 설정 방법을 보여 주는 순서도이다.
도 10을 참조하면, 차량의 인터렉션 장치는 탑승객이 승차하면 카메라 영상과 개인 단말기로부터 수신되는 신호를 바탕으로 탑승객 탑승이 감지되고 탑승객이 휴대하고 있는 휴대 단말기를 검색한다(S101, S102). 탑승객의 휴대 단말기 신호는 차량의 통신장치(300)를 통해 차량에 수신된다. 차량은 탑승개의 휴대 단말기 신호로부터 단말기 정보, 탑승객의 예약 정보를 읽어 낼 수 있다.
연결 가능한 탑승객의 휴대 단말기가 검색되면, 인터렉션 컨트롤러(76)는 탑승객에게 “현재 연결된 보조 장치는 ‘V20-홍길동”와 같은 메시지를 차량 내의 디스플레이 장치로 출력하거나 휴대 단말기에 전송하여 탑승자에게 검색된 휴대 단말기를 안내한다.
탑승자가 검색된 휴대 단말기를 인터렉션 장치로 사용하는 것에 동의하면, 개인 단말기 연결 모듈(71)은 통신 장치(300)를 통해 휴대 단말기로부터 기동어와 명령어를 읽어 들어 차량의 메모리에 저장함으로써 차량의 인터렉션 장치와 개인 단말기 간의 기동어와 명령어 기록을 동기화할 수 있다(S103).
기동어는 인터렉션 장치를 호출하고, 명령어는 서비스 실행을 지시하는데 이용될 수 있다. 기동어는 탑승객 개인별로 독립적으로 설정될 수 있다. 여러 탑승객들이 동일한 기동어와 명령어를 사용하면 탑승객이 원치 않는 서비스를 받을 수 있다.
보조 인터렉션 활성화 모듈(72)은 휴대 단말기를 차량과 탑승객 간의 음성 인터렉션의 보조기기로 활성화한다(S104). 이 때, 휴대 단말기는 메인 인터렉션 입력 장치 또는 보조 인터렉션 입력 장치로 설정될 수 있다. 인터렉션 컨트롤러(76)는 안내 메시지를 음성 및 영상 신호로 출력하거나 안내 메시지를 개인 단말기에 전송하여 사용 가능한 인터렉션을 탑승객에게 알려 줄 수 있다.
연결 가능한 탑승객의 개인 단말기가 검색되지 않으면 “현재 연결된 AI 인터렉션 보조장치가 없습니다. 신규 보조 장치를 추가 하시겠습니까?”와 같은 안내 메시지를 음성 또는 영상 신호로 출력하거나 차량 내 개인 단말기로 전송할 수 있다(S105). 탑승객의 동의 하에 차량 내의 개인 단말기가 음성 인터렉션 장치로 연결될 수 있다.
이어서, 차량의 인터렉션 장치는 탑승객의 인터렉션 시도가 인식될 때까지 대기 모드로 동작한다(S106). 탑승객은 자신의 기동어로 인터렉션을 시도한다. 탑승객이 차량과 음성 인터렉션을 시도할 때 (S107), 차량의 인터렉션 장치에서 탑승객의 기동어를 인식하여 음성 인터렉션 시도를 인식하고 인터렉션 대상이 차량이면, 차량의 인터렉션 장치가 사용자의 음성 명령을 실행하여 서비스를 제공한다(S108, S109).
탑승객이 음성 인터렉션 시도가 발생될 때(S107), 차량(10)이 기동어 인식에 실패하면 음성 인터렉션의 보조 기기로 활성화된 개인 단말기가 인터렉션을 보조하여 탑승개의 음성 명령을 개인 단말기를 통해 차량으로 전송한다(S111, S112). 여기서, 개인 단말기는 탑승객이 휴대한 휴대 단말기 혹은 차량 내의 개인 단말기일 수 있다. 이 때, 개인 단말기는 활성화된 개인 단말기는 메인 인터렉션 입력 장치로 동작하거나 보조 인터렉션 입력 장치로 동작할 수 있다.
개인 단말기는 탑승객의 음성 명령을 차량(10)으로 전달할 수 있다(S112). 개인 단말기는 탑승객의 음성 신호를 수신하여 차량(10)에 전달하거나, 탑승객의 음성 신호로부터 탑승객의 명령어 코드를 발생하여 차량(10)에 전달할 수 있다. 차량(10)은 개인 단말기를 통해 수신된 음성 명령에 응답하여 탑승객에게 서비스를 제공할 수 있다(S109).
인터렉션 컨트롤러(76)는 탑승객의 음성 명령에 응답하여 탑승객에게 서비스를 제공한 후에 서비스에 대한 탑승객의 응답을 수신하여 학습 모듈(77)로 전달한다. 학습 모듈(77)은 수집된 탑승객의 응답을 분석하여 탑승객 개인별 만족도를 추론하여 다음 인터렉션 설정에 반영한다. (S113, S114?)
인터렉션 컨트롤러(76)는 차량 내부의 발화 지점 추론을 통하여 탑승객들 간의 인터렉션을 구분하여 실행한다. 예를 들어, 타 탑승객과 구분되도록 인터렉션을 시도하는 탑승객의 개인 단말기 또는 그 탑승객의 제2 디스플레이 장치(420)를 선택하여 서비스와 안내를 제공할 수 있다. 따라서, 발화 위치를 바탕으로 탑승객 개인별로 인터렉션을 제공할 수 있다. 예를 들어, 제1 탑승객의 인터렉션에 응답하여 차량이 제1 탑승객의 개인 단말기 혹은 제2 디스플레이 장치에 제1 탑승객이 원하는 정보나 멀티 미디어 컨텐츠를 제공할 수 있다. 그리고 제1 탑승객과 이웃한 제2 탑승객의 인터렉션에 응답하여 차량이 제2 탑승객의 개인 단말기 혹은 제2 디스플레이 장치에 제2 탑승객이 원하는 정보나 멀티 미디어 컨텐츠를 제공할 수 있다.
도 11은 개인 단말기를 이용한 인터렉션 제어 방법에서 명령어와 서비스 유형의 상관 관계 분석을 바탕으로 인터렉션 대상 기기를 선택하는 방법을 보여 주는 순서도이다.
도 11을 참조하면, 탑승객의 명령어가 마이크(241)를 통해 차량(10)에 입력될 수 있다(S201).
차량(10)에서 기동어 인식을 실패한 경우, 탑승객의 개인 단말기를 음성 인터렉션 보조 기기로 활성화 한다. 차량은 기동어를 인식하지 않으면, 탑승객의 음성 신호를 명령어로 인식하지 않기 때문에 탑승객의 음성 명령에 응답하지 않는다. 차량은 S103 및 S104 단계에서 기 활성화된 개인 단말기와 이미 기동어와 명령어가 동기되어 있으므로 개인 단말기를 통해 수신되는 탑승객의 음성 명령에 응답할 수 있다. 차량은 기 활성화된 개인 단말기를 통해 수신되는 음성 신호에서 기동어가 인식되지 않더라도 탑승객의 음성 명령어를 인식할 수 있다.
인터렉션 컨트롤러(75)는 통신 장치(300)를 통해 수신된 신호를 바탕으로 음성 인터렉션을 시도한 탑승객이 인터렉션 보조기기로 활성화된 개인 단말기를 사용 중인지 체크한다(S202).
명령어를 입력한 탑승객이 인터렉션 보조기기로 활성화된 개인 단말기를? 사용 중이라면, 인터렉션 컨트롤러(75)는 탑승객이 말한 명령어와, 현재 탑승객이 사용하고 있는 개인 단말기에서 제공하는 서비스 간의 상관 관계를 분석한다(S202, S203).
명령어는 차량에서 제공할 수 있는 서비스를 요청하는 탑승객의 음성 명령어이다. 같은 명령어에서, 차량과 개인 단말기가 동시에 응답하여 동일한 서비스를 제공할 수 있다. 이를 방지하기 위하여, 인터렉션 컨트롤러(76)는 탑승객이 현재 사용하고 있는 개인 단말기(예, 휴대 단말기)와, 탑승객이 말한 명령어의 상관 관계를 분석하여 명령어와 서비스가 동일 유형에 속하는지 판단한다(S203 내지 S207).
명령어와 서비스는 정보 전달 유형, 제어 유형, 서비스 유형 등으로 나뉘어질 수 있다.
정보 전달 유형(S204)은 날씨, 교통, 지역 정보 등을 포함한다. 탑승객의 명령어가 어느 지역의 교통 상황을 요청하는 명령어이고, 현재 탑승객이 사용하고 있는 개인 단말기가 날씨 정보 제공하고 있으면, 명령어와 서비스는 동일 유형에 속하므로 높은 상관 관계를 갖는다.
제어 유형(S205)은 전화, 문자, 설정값 변경 등을 포함한다. 탑승객의 명령어가 전화 통화와 관련된 명령어이고, 현재 탑승객이 사용하고 있는 개인 단말기가 문자 서비스를 제공하고 있으면 명령어와 서비스는 동일 유형에 속하므로 높은 상관 관계를 갖는다.
서비스 유형(S206)은 멀티 미디어 컨텐츠 서비스, 음악 재생 서비스 등이 있다. 탑승객의 명령어가 영화 재생과 관련된 명령어이고, 현재 탑승객이 사용하고 있는 개인 단말기에서 영화 재생 어플리케이션 예를 들어, NEFLEX이 실행되고 있으면 명령어와 서비스는 동일 유형에 속하므로 높은 상관 관계를 갖는다.
탑승객이 말한 명령어와, 개인 단말기의 현재 서비스가 동일 유형일 때, 탑승객이 현재 사용 중인 개인 단말기가 명령어에 응답하여 해당 서비스를 제공한다(S207, S208). 이 경우, 차량의 인터렉션 컨트롤러(75)는 탑승객의 명령을 무시한다. 예를 들어, 명령어를 말한 탑승객이 자신의 개인 단말기로 문자 메시지를 사용하는 중에, “전화 걸어 줘”라고 말하면, 개인 단말기에서 명령어에 응답하여 전화 통화 서비스를 제공한다.
탑승객이 말한 명령어와, 개인 단말기의 현재 서비스가 서로 다른 유형일 때, 차량이 탑승객의 명령어에 응답하여 해당 서비스를 제공한다(S207, S210). 이 경우, 인터렉션 컨트롤러(75)는 탑승객의 명령어를 실행하고, 개인 단말기는 탑승객의 명령어를 무시할 수 있다. 예를 들어, 명령어를 말한 탑승객이 자신의 개인 단말기로 문자 메시지를 사용하는 중에, “영화 보여 줘”라고 말하면, 차량이 멀티 미디어 컨텐츠를 탑승객의 발화 위치와 가까운 제2 디스플레이 장치(420) 또는 개인 단말기로 제공할 수 있다.
탑승객이 개인 단말기를 사용하고 있지 않을 때, 차량은 탑승객으로부터 수신된 음성 신호의 명령어에 응답하여 탑승객에서 서비스를 제공한다(S202, S209, S210)
인터렉션 컨트롤러(76)는 탑승객의 음성 명령에 응답하여 탑승객에게 서비스를 제공한 후에 서비스에 대한 탑승객의 응답을 수신하여 학습 모듈(77)로 전달한다. 학습 모듈(77)은 수집된 탑승객의 응답을 분석하여 탑승객 개인별 만족도를 추론하여 다음 인터렉션 설정에 반영한다(S211, S212).
도 12는 차량과 탑승객 상태에 따른 인터렉션 설정 변경 방법을 보여 주는 순서도이다.
도 12를 참조하면, 상태 변화 감지 모듈(73)은 탑승객의 시트 등받이 각도 변화, 탑승객의 전화 통화 여부, 탑승객의 멀티 미디어 시청 여부, 차량의 실내 공간 소음 상태, 탑승객의 승/하차 등을 실시간 모니터링한다(S300 내지 S306). 탑승객의 시트는 도 13과 같이 등받이 각도가 가변될 수 있다.
인터렉션 판단 모듈(75)은 상태 변화 감지 모듈(73)에 의해 감지된 차량과 탑승객의 상태 변화를 바탕으로 음성 인터렉션 인식 레벨을 판단한다(S307). 음성 인터렉션 인식 레벨은 완전 발화 불가능 단계(S308), 일부 발화 가능 단계(S311), 완전 발화 단계(S314)로 나뉘어질 수 있다.
완전 발화 불가능 단계(S308)는 음성 인터렉션이 불가능한 상태이다. 인터렉션 판단 모듈(75)은 전화 통화, 멀티 미디어 컨텐츠 시청, 누워서 자고 있는 탑승객에 대하여 발화(發話)가 불가능한 탑승객으로 추론한다. 인터렉션 판단 모듈(75)은 시트 센서 신호를 수신하여 탑승객의 시트 등받이 각도가 소정 각도 이상 커질 때 탑승객이 누워 있고, 카메라(251)를 이용한 얼굴 인식을 통해 사용자가 수면 상태인 것으로 추론할 수 있다.
인터렉션 컨트롤러(76)는 인터렉션 판단 모듈(75)에 의해 완전 발화 불가능 단계로 판단되면, 해당 탑승객의 음성 인터렉션을 비활성화하고, 인터렉션 설정 변경 내용을 탑승자에게 안내하고 확인을 받는다(S309, S310).
인터렉션 판단 모듈(75)은 타 탑승객이 승/하차하거나 실내 소음이 소정의 기준값 보다 클 때, 타 탑승객이 누워 있어 음성 인터렉션을 시도하는 탑승객의 음량이 낮아질 때, 현재의 음성 인터렉션 레벨을 일부 발화 가능 단계로 추론할 수 있다(S311). 일부 발화 가능 단계(S311)는 음성 인식률이 저하되어 음성 인터렉션의 정확도가 떨어질 수 있다.
인터렉션 컨트롤러(76)는 일부 발화 가능 단계에서 음성 인식률을 높이기 위하여 인터렉션 설정을 변경할 수 있다(S312). 예를 들어, 인터렉션 컨트롤러(76)는 마이크(241)의 음량을 높이고, 마이크 신호에서 발화자의 주변 소음을 제거하는 등 음성 인식 감도를 높일 수 있다. 인터렉션 컨트롤러(76)는 일부 발화 가능 단계에서 디스플레이의 밝기를 미리 설정된 밝기로 변경할 수 있다.
인터렉션 컨트롤러(76)는 일부 발화 가능 단계에서 차량의 기구를 변경할 수 있다(S313). 예를 들어, 인터렉션 컨트롤러(76)는 일부 발화 가능 단계에서 탑승객의 프라이버시 침해를 방지하기 위하여 탑승객의 개인별 디스플레이 즉, 제2 디스플레이 장치(420)가 타 탑승객을 향해 등진 방향으로 되도록 도 14a 및 도 14b에 도시된 바와 같이 제2 디스플레이 장치(420)를 회전시킬 수 있다. 도 14a는 누워 있는 타 탑승객을 향해 탑승객의 디스플레이가 등진 예이다. 도 14b는 승/하차하고 있는 타 탑승객을 향해 탑승객의 디스플레이가 등진 예이다.
시트별로 배치된 제2 디스플레이 장치(420)는 전동 기구부에 연결되어 전기적인 제어 신호에 따라 회전될 수 있다. 제2 디스플레이 장치(420)는 전기적인 제어 신호에 응답하여 그 시야각이 광시야각과 협시야각으로 변경될 수 있다.
인터렉션 컨트롤러(76)는 일부 발화 가능 단계에서 탑승객의 프라이버시 침해를 방지하기 위하여 탑승객의 제2 디스플레이 장치(420)의 시야각을 좁힐 수 있다. 인터렉션 컨트롤러(76)는 탑승객의 프라이버시 침해를 방지하기 위하여 제2 디스플레이 장치(420)가 타 탑승객을 향해 등진 방향으로 되도록 제2 디스플레이 장치(420)를 회전시킬 수 있다.
인터렉션 컨트롤러(76)는 인터렉션 판단 모듈(75)에 의해 완전 발화 불가능 단계에서 음성 인터렉션 설정을 변경하고 차량 기구를 변경한 후에 인터렉션 설정 변경 내용을 탑승자에게 안내하고 확인을 받는다(S311 내지 S313, S310).
인터렉션 판단 모듈(75)은 탑승객이 전화 통화하지 않고 멀티 미디어를 신청하지 않으며 탑승객이 앉거나 서 있을 때 그리고 차량의 실내 소음이 기준값 이하일 때 현재의 인터렉션 레벨을 탑승객과 음성 인터렉션이 가능한 완전 발화 가능 단계로 추론할 수 있다(S414). 인터렉션 컨트롤러(76)는 완전 발화 단계에서 음성 인터렉션 활성화를 유지하고, 현재의 음성 인터렉션 설정을 유지한다.
인터렉션 컨트롤러(76)는 S310 또는 S315 단계에 이어서, 탑승객의 응답을 수신하여 학습 모듈(77)로 전달한다. 학습 모듈(77)은 수집된 탑승객의 응답을 분석하여 탑승객 개인별 만족도를 추론하여 다음 인터렉션 설정에 반영한다(S316, S317).
본 발명의 실시 예에 따른 음성 인터렉션 방법 및 이를 이용한 차량은 아래와 같이 설명될 수 있다.
본 발명의 음성 인터렉션 방법은 차량과 탑승객의 상태를 실시간 모니터링하는 단계; 상기 탑승자의 음성 신호를 수신하는 개인 단말기를 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화하는 단계; 및 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션 설정을 변경하는 단계를 포함하는 단계를 포함한다.
상기 음성 인터렉션 방법은 상기 개인 단말기가 상기 탑승자의 음성 명령에 응답하여 상기 차량의 기능을 직접 제어하는 단계를 더 포함한다.
상기 음성 인터렉션 방법은 상기 개인 단말기가 상기 탑승자의 음성 신호를 상기 차량에 전달하는 단계; 및 상기 차량이 상기 개인 단말기로부터 수신된 상기 탑승자의 음성 신호의 명령어에 응답하여 탑승자에게 서비스를 제공하는 단계를 더 포함한다.
상기 음성 인터렉션 방법은 상기 개인 단말기가 상기 탑승자의 음성 신호를 증폭하고 주변 소음을 제거하여 상기 차량에 전달하는 단계를 더 포함한다. 상기 차량 내에서 상기 탑승객의 위치와 발화 위치를 추론하여 상기 차량과의 음성 인터렉션을 시도하는 상기 탑승객을 식별하는 단계; 및 상기 차량이 상기 발화 위치의 탑승객이 음성으로 요청한 서비스를 제공하는 단계를 더 포함한다.
상기 음성 인터렉션 방법은 상기 차량이 제공한 서비스에 대한 상기 탑승자의 응답을 수신하는 단계; 및 상기 탑승자의 응답을 분석한 학습 결과를 상기 차량과 상기 탑승자 간의 음성 인터렉션 설정에 반영하는 단계를 더 포함한다.
상기 음성 인터렉션 방법은 상기 차량에 상기 탑승자가 탑승할 때, 상기 차량이 통신 채널을 통해 상기 차량과 연결 가능한 상기 개인 단말기를 검색하는 단계; 및 상기 차량과 상기 탑승자 간의 음성 인터렉션을 위한 기동어와 명령어를 상기 차량과 검색된 상기 개인 단말기 간에 동기시키는 단계를 더 포함한다.
상기 음성 인터렉션 방법은 검색된 상기 탑승객의 개인 단말기를 상기 차량과 상기 탑승자간 음성 인터렉션 보조 기기로 활성화하는 단계; 상기 차량이 상기 탑승객의 음성 인터렉션 시도를 인식할 때 상기 차량이 상기 탑승객의 음성 명령에 응답하는 단계; 상기 차량이 상기 탑승객의 음성 인터렉션 시도를 인식하지 않을 때 상기 활성화된 개인 단말기가 상기 탑승객의 음성 신호를 수신하여 상기 탑승객의 명령어를 상기 차량에 전달하는 단계; 및 상기 차량이 상기 개인 단말기로부터 수신된 상기 탑승객의 명령에 응답하는 단계를 더 포함한다.
상기 음성 인터렉션 방법은 상기 차량과 음성 인터렉션을 시도하는 상기 탑승객이 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화된 개인 단말기를 사용하고 있는지 판단하는 단계; 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화된 개인 단말기에서 현재 제공하고 있는 서비스가 상기 탑승객이 말한 음성 명령어가 같은 유형에 속하는지 판단하는 단계; 상기 활성화된 개인 단말기에서 현재 제공하고 있는 서비스가 상기 탑승객이 말한 음성 명령어가 같은 유형에 속할 때 상기 개인 단말기가 상기 음성 명령어에 응답하는 단계; 및 상기 활성화된 개인 단말기에서 현재 제공하고 있는 서비스가 상기 탑승객이 말한 음성 명령어가 서로 다른 유형일 때 상기 차량이 상기 음성 명령어에 응답하는 단계를 포함한다.
상기 음성 인터렉션 방법은 상기 차량과 탑승객의 상태를 실시간 모니터링한 결과, 상기 차량과 상기 탑승객간 음성 인터렉션 레벨을 판단하는 단계; 상기 음성 인터렉션 레벨이 상기 차량과 상기 탑승객 간의 음성 인터렉션이 불가능한 완전 발화 불가능한 단계로 판단될 때 상기 음성 인터렉션을 비활성화하는 단계; 상기 음성 인터렉션 레벨이 상기 차량과 상기 탑승객 간의 음성 인터렉션에서 음성 인식의 정확도가 낮은 일부 발화 가능 단계로 판단될 때 상기 음성 인터렉션 설정을 변경하여 상기 차량 또는 상기 개인 단말기에 수신된 상기 탑승객의 음성 신호 감도를 높이는 단계; 및 상기 음성 인터렉션 레벨이 상기 차량과 상기 탑승객 간의 음성 인터렉션이 가능한 완전 발화 가능 단계로 판단될 때 상기 음성 인터렉션을 활성화하고 현재의 음성 인터렉션 설정을 유지하는 단계를 더 포함한다.
상기 개인 단말기가 통화 호 연결된 상태, 상기 개인 단말기가 상기 탑승객으로부터 멀티 미디어 컨텐츠 요청을 수신하는 상태, 상기 탑승객이 착석한 시트의 등받이 각도가 미리 정해진 각도보다 큰 상태, 상기 탑승객의 자세가 수평 상태 중 어느 하나일 때 상기 음성 인터렉션 레벨이 상기 완전 발화 불가능한 단계로 판단될 수 있다.
타 탑승객이 승/하차하거나 상기 차량의 실내 소음이 소정의 기준값 보다 큰 상태, 타 탑승객이 착석한 시트의 등받이 각도가 상기 미리 정해진 각도 보다 큰 상태 중 어느 하나일 때 상기 음성 인터렉션 레벨이 상기 일부 발화 가능 단계로 판단될 수 있다.
상기 개인 단말기의 통화 호가 없는 상태, 상기 멀티 미디어 컨텐츠 요청이 없는 상태, 상기 탑승객이 착석한 시트의 등받이 각도가 상기 미리 정해진 각도 보다 작을 때, 그리고 상기 차량의 실내 소음이 상기 기준값 이하일 때 상기 음성 인터렉션 레벨이 상기 완전 발화 가능 단계로 판단될 수 있다.
상기 음성 인터렉션 방법은 상기 일부 발화 가능 단계에서 상기 차량 내에서 탑승객 개인별로 부여된 개인 디스플레이의 자세를 타 탑승객을 향해 등지게 조정하는 단계를 더 포함한다.
본 발명의 차량은 통신 채널을 통해 탑승자의 음성 신호를 수신하는 개인 단말기에 연결되어 상기 개인 단말기를 차량과 탑승객간 음성 인터렉션 보조기기로 활성화하는 인터렉션 연결 장치; 및 상기 차량과 상기 탑승객의 상태를 실시간 모니터링하고, 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션 설정을 변경하는 음성 인터렉션 장치를 포함한다.
상기 음성 인터렉션 장치는 상기 차량과 상기 탑승객의 상태를 실시간 모니터링하는 상태 변화 감지 모듈; 상기 차량 내에서 상기 탑승객의 위치와, 상기 차량과의 음성 인터렉션을 시도하는 상기 탑승객의 발화 위치를 판단하는 탑승객 위치 추론 모듈; 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객간 음성 인터렉션 레벨을 판단하는 인터렉션 판단 모듈; 및 상기 음성 인터렉션 레벨에 따라 상기 개인 단말기의 음성 인터렉션 보조 기기 활성화 여부, 및 상기 음성 인터렉션 설정을 제어하는 인터렉션 컨트롤러를 포함한다.
상기 음성 인터렉션 장치는 상기 차량이 상기 발화 위치의 탑승객이 음성으로 요청한 서비스를 제공한 후에 수집된 상기 탑승자의 응답을 수신 및 분석한 학습 결과를 상기 차량과 상기 탑승자 간의 음성 인터렉션 설정에 반영하는 학습 모듈을 더 포함한다.
상기 인터렉션 연결 장치는 상기 차량에 상기 탑승자가 탑승할 때, 통신 채널을 통해 연결 가능한 상기 개인 단말기를 검색하고, 상기 음성 인터렉션 장치가 상기 차량과 상기 탑승자 간의 음성 인터렉션을 위한 기동어와 명령어를 상기 차량과 검색된 상기 개인 단말기 간에 동기화를 처리한다.
상기 인터렉션 연결 장치는 검색된 상기 탑승객의 개인 단말기를 상기 차량과 상기 탑승자간 음성 인터렉션 보조 기기로 활성화하고, 상기 음성 인터렉션 장치가 상기 탑승객의 음성 인터렉션 시도를 인식할 때 상기 탑승객의 음성 명령에 응답한다.
상기 음성 인터렉션 장치는 상기 기동어 인식을 실패할 때 상기 개인 단말기로부터 수신된 명령어를 수신하여 상기 명령어에 응답한다.
상기 음성 인터렉션 장치는 상기 차량과 음성 인터렉션을 시도하는 상기 탑승객이 상기 음성 인터렉션 보조기기로 활성화된 개인 단말기를 사용하고 있는지 판단하고, 상기 음성 인터렉션 보조기기로 활성화된 개인 단말기가 현재 서비스를 제공할 때 상기 개인 단말기의 현재 서비스와 상기 탑승객의 음성 명령어가 같은 유형에 속하는지 판단하고, 상기 활성화된 개인 단말기에서 현재 제공하고 있는 서비스가 상기 탑승객의 음성 명령어가 서로 다른 유형일 때 상기 음성 명령어에 응답한다.,
상기 음성 인터렉션 보조기기로 활성화된 개인 단말기에서 현재 제공하고 있는 서비스가 상기 탑승객의 음성 명령어가 같은 유형에 속할 때 상기 개인 단말기가 상기 음성 명령어에 응답한다.
상기 음성 인터렉션 장치는 상기 음성 인터렉션 레벨이 상기 차량과 상기 탑승객 간의 음성 인터렉션이 불가능한 완전 발화 불가능한 단계로 판단될 때 상기 음성 인터렉션을 비활성화한다.
상기 음성 인터렉션 장치는 상기 음성 인터렉션 레벨이 상기 차량과 상기 탑승객 간의 음성 인터렉션에서 음성 인식의 정확도가 낮은 일부 발화 가능 단계로 판단될 때 상기 음성 인터렉션 설정을 변경하여 상기 차량 또는 상기 개인 단말기에 수신된 상기 탑승객의 음성 신호 감도를 높인다.
상기 음성 인터렉션 장치는 상기 음성 인터렉션 레벨이 상기 차량과 상기 탑승객 간의 음성 인터렉션이 가능한 완전 발화 가능 단계로 판단될 때 상기 음성 인터렉션을 활성화하고 현재의 음성 인터렉션 설정을 유지한다.
상기 음성 인터렉션 장치는 상기 탑승객이 전화 통화하거나 멀티 미디어 컨텐츠를 신청할 때, 상기 탑승객이 누워 있을 때 상기 음성 인터렉션 레벨을 상기 완전 발화 불가능한 단계로 판단한다.
상기 음성 인터렉션 장치는 타 탑승객이 승/하차하거나 상기 차량의 실내 소음이 소정의 기준값 보다 클 때, 타 탑승객이 누워 있을 때 상기 음성 인터렉션 레벨을 상기 일부 발화 가능 단계로 판단한다.
상기 음성 인터렉션 장치는 상기 탑승객이 전화 통화하지 않고 상기 멀티 미디어를 신청하지 않을 때, 상기 탑승객이 앉거나 서 있을 때, 그리고 상기 차량의 실내 소음이 상기 기준값 이하일 때 상기 음성 인터렉션 레벨을 상기 완전 발화 가능 단계로 판단한다.
본 발명은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 명세서의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명은 청구 범위의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
상술한 실시 예에 따른 음성 인터렉션 방법 및 이를 이용한 차량은 탑승자의 편의를 향상시킬 수 있다. 상술한 실시 예에 따른 차량의 자율주행 또는 반자율주행 중 사용될 수 있다.
상술한 실시 예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 예에 포함되며, 반드시 하나의 실시 예에만 한정되는 것은 아니다. 나아가, 각 실시 예에서 예시된 특징, 구조, 효과 등은 실시 예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시 예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
발명의 실시를 위한 형태
본 발명의 음성 인터렉션 방법은 차량과 탑승객의 상태를 실시간 모니터링(monitoring)하는 단계; 상기 탑승자의 음성 신호를 수신하는 개인 단말기를 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화하는 단계; 및 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션 설정을 변경하는 단계를 포함한다.
본 발명은 탑승객과 차량의 음성 인터렉션에서 탑승객의 개인 단말기를 음성 인터렉션 보조 기기로 활용하여 탑승객과 차량 간의 음성 인터렉션 정확도를 향상할 수 있다.

Claims (20)

  1. 차량과 탑승객의 상태를 실시간 모니터링하는 단계;
    상기 탑승객의 음성 신호를 수신하는 개인 단말기를 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화하는 단계; 및
    상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션의 설정을 변경하는 단계를 포함하는 음성 인터렉션 방법.
  2. 제 1 항에 있어서,
    상기 개인 단말기가 상기 탑승객의 음성 명령에 응답하여 상기 차량의 기능을 직접 제어하는 단계를 더 포함하는 음성 인터렉션 방법.
  3. 제 1 항에 있어서,
    상기 개인 단말기가 상기 탑승객의 음성 신호를 상기 차량에 전달하는 단계; 및
    상기 차량이 상기 개인 단말기로부터 수신된 상기 탑승객의 음성 신호의 명령어에 응답하여 상기 탑승객에게 서비스를 제공하는 단계를 더 포함하는 음성 인터렉션 방법.
  4. 제 1 항에 있어서,
    상기 개인 단말기가 상기 탑승객의 음성 신호를 증폭하고 주변 소음을 제거하여 상기 차량에 전달하는 단계를 더 포함하는 음성 인터렉션 방법.
  5. 제 1 항에 있어서,
    상기 차량 내에서 상기 탑승객의 위치와 발화 위치를 추론하여 상기 차량과의 음성 인터렉션을 시도하는 탑승객 식별 단계; 및
    상기 차량이 상기 발화 위치의 탑승객이 음성으로 요청한 서비스를 제공하는 단계를 더 포함하는 음성 인터렉션 방법.
  6. 제 1 항에 있어서,
    상기 차량이 제공한 서비스에 대한 상기 탑승객의 응답을 수신하는 단계; 및
    상기 탑승객의 응답을 분석한 학습 결과를 상기 차량과 상기 탑승객 간의 음성 인터렉션 설정에 반영하는 단계를 더 포함하는 음성 인터렉션 방법.
  7. 제 1 항에 있어서,
    상기 차량에 상기 탑승객가 탑승할 때, 상기 차량이 통신 채널을 통해 상기 차량과 연결 가능한 상기 개인 단말기를 검색하는 단계; 및
    상기 차량과 상기 탑승객 간의 음성 인터렉션을 위한 기동어와 명령어를 상기 차량과 검색된 상기 개인 단말기 간에 동기시키는 단계를 더 포함하는 음성 인터렉션 방법.
  8. 제 7 항에 있어서,
    검색된 상기 탑승객의 개인 단말기를 상기 차량과 상기 탑승객간 음성 인터렉션 보조 기기로 활성화하는 단계;
    상기 차량이 상기 탑승객의 음성 인터렉션 시도를 인식할 때 상기 차량이 상기 탑승객의 음성 명령에 응답하는 단계;
    상기 차량이 상기 탑승객의 음성 인터렉션 시도를 인식하지 않을 때 상기 활성화된 개인 단말기가 상기 탑승객의 음성 신호를 수신하여 상기 탑승객의 명령어를 상기 차량에 전달하는 단계; 및
    상기 차량이 상기 개인 단말기로부터 수신된 상기 탑승객의 명령에 응답하는 단계를 더 포함하는 음성 인터렉션 방법.
  9. 제 8 항에 있어서,
    상기 차량과 음성 인터렉션을 시도하는 상기 탑승객이 상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화된 개인 단말기를 사용하고 있는지 판단하는 단계;
    상기 차량과 상기 탑승객간 음성 인터렉션 보조기기로 활성화된 개인 단말기에서 현재 제공하고 있는 서비스와, 상기 탑승객으로부터 수신된 음성 명령어가 같은 유형에 속하는지 판단하는 단계;
    상기 활성화된 개인 단말기에서 현재 제공하고 있는 서비스와, 상기 탑승객으로부터의 음성 명령어가 같은 유형에 속할 때 상기 개인 단말기가 상기 음성 명령어에 응답하는 단계; 및
    상기 활성화된 개인 단말기에서 현재 제공하고 있는 서비스와, 상기 탑승객으로부터의 음성 명령어가 서로 다른 유형일 때 상기 차량이 상기 음성 명령어에 응답하는 단계를 더 포함하는 음성 인터렉션 방법.
  10. 제 1 항에 있어서,
    상기 차량과 탑승객의 상태를 실시간 모니터링한 결과, 상기 차량과 상기 탑승객간 음성 인터렉션 레벨을 판단하는 단계; 를 더 포함하고,
    상기 음성 인터렉션 레벨은, 음성 인식의 정확도에 기초하여
    상기 차량과 상기 탑승객 간의 음성 인터렉션이 불가능한 완전 발화 불가능한 상태, 상기 차량과 상기 탑승객 간의 음성 인터렉션에서 상기 음성 인식의 정확도가 낮은 일부 발화 가능 상태 또는 상기 차량과 탑승객 간의 음성 인터렉션이 가능한 완전 발화 가능 상태 중 어느 하나의 상태로 구분되는 음성 인터렉션 방법.
  11. 제 10 항에 있어서,
    상기 음성 인터렉션 레벨이 상기 완전 발화 불가능한 상태로 판단될 때 상기 음성 인터렉션을 비활성화하는 단계;
    상기 음성 인터렉션 레벨이 상기 일부 발화 가능 상태로 판단될 때 상기 음성 인터렉션의 설정을 변경하여 상기 차량 또는 상기 개인 단말기에 수신된 상기 탑승객의 음성 신호 감도를 높이는 단계; 및
    상기 음성 인터렉션 레벨이 상기 완전 발화 가능 상태로 판단될 때 상기 음성 인터렉션을 활성화하고 현재의 음성 인터렉션의 설정을 유지하는 단계를 더 포함하는 음성 인터렉션 방법.
  12. 제 10 항에 있어서,
    상기 완전 발화 불가능한 상태는, 상기 개인 단말기가 통화 호 연결된 상태, 상기 개인 단말기가 상기 탑승객으로부터 멀티 미디어 컨텐츠 요청을 수신하는 상태, 상기 탑승객이 착석한 시트의 등받이 각도가 미리 정해진 각도보다 큰 상태, 또는 상기 탑승객의 자세가 수평 상태 중 어느 하나를 포함하는 음성 인터렉션 방법.
  13. 제 12 항에 있어서,
    상기 일부 발화 가능한 상태는, 타 탑승객의 승/하차를 감지한 상태, 상기 차량의 실내 소음이 소정의 기준값 보다 큰 상태 또는 타 탑승객이 착석한 시트의 등받이 각도가 상기 미리 정해진 각도 보다 큰 상태 중 적어도 하나를 포함하는 음성 인터렉션 방법.
  14. 제 13 항에 있어서,
    싱기 완전 발화 가능한 상태는,
    상기 개인 단말기의 통화 호가 없는 상태, 상기 멀티 미디어 컨텐츠 요청이 없는 상태, 상기 탑승객이 착석한 시트의 등받이 각도가 상기 미리 정해진 각도 보다 작을 때, 또는(?) 상기 차량의 실내 소음이 상기 기준값 이하인 상태 중 적어도 하나를 포함하는 음성 인터렉션 방법.
  15. 제 10 항에 있어서,
    상기 일부 발화 가능 상태에서 상기 차량 내에서 탑승객 개인별로 부여된 개인 디스플레이의 자세를 타 탑승객을 향해 등지게 조정하는 단계를 더 포함하는 음성 인터렉션 방법.
  16. 통신 채널을 통해 탑승객의 음성 신호를 수신하는 개인 단말기에 연결되어 상기 개인 단말기를 차량과 탑승객간 음성 인터렉션 보조기기로 활성화하는 인터렉션 연결 장치; 및
    상기 차량과 상기 탑승객의 상태를 실시간 모니터링하고, 상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객 간의 음성 인터렉션 여부와 상기 음성 인터렉션의 설정을 변경하는 음성 인터렉션 장치를 포함하는 차량.
  17. 제 16 항에 있어서,
    상기 음성 인터렉션 장치는,
    상기 차량과 상기 탑승객의 상태를 실시간 모니터링하는 상태 변화 감지 모듈;
    상기 차량 내에서 상기 탑승객의 위치와, 상기 차량과의 음성 인터렉션을 시도하는 상기 탑승객의 발화 위치를 판단하는 탑승객 위치 추론 모듈;
    상기 차량과 상기 탑승객의 상태에 따라 상기 차량과 상기 탑승객간 음성 인터렉션 레벨을 판단하는 인터렉션 판단 모듈; 및
    상기 음성 인터렉션 레벨에 따라 상기 개인 단말기의 음성 인터렉션 보조 기기 활성화 여부, 및 상기 음성 인터렉션의 설정을 제어하는 인터렉션 컨트롤러를 포함하는 차량.
  18. 제 17 항에 있어서,
    상기 음성 인터렉션 장치는,
    상기 차량이 상기 발화 위치의 탑승객이 음성으로 요청한 서비스를 제공한 후에 수집된 상기 탑승객의 응답을 수신 및 분석한 학습 결과를 상기 차량과 상기 탑승객 간의 음성 인터렉션 설정에 반영하는 학습 모듈을 더 포함하는 차량.
  19. 제 16 항에 있어서,
    상기 인터렉션 연결 장치는,
    상기 차량에 상기 탑승객의 탑승을 인식한 경우, 통신 채널을 통해 연결 가능한 상기 개인 단말기를 검색하고,
    상기 음성 인터렉션 장치는 상기 차량과 상기 탑승객 간의 음성 인터렉션을 위한 기동어와 명령어를 상기 차량과 검색된 상기 개인 단말기 간에 동기화를 처리하는 차량.
  20. 제 16 항에 있어서,
    상기 인터렉션 연결 장치는, 검색된 상기 탑승객의 개인 단말기를 상기 차량과 상기 탑승객간 음성 인터렉션 보조 기기로 활성화하고,
    상기 음성 인터렉션 장치는, 상기 탑승객의 음성 인터렉션 시도를 인식할 때 상기 탑승객의 음성 명령에 응답하는 차량.
KR1020197019431A 2019-03-29 2019-03-29 음성 인터렉션 방법 및 이를 이용한 차량 KR102330978B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/003711 WO2020204213A1 (ko) 2019-03-29 2019-03-29 음성 인터렉션 방법 및 이를 이용한 차량

Publications (2)

Publication Number Publication Date
KR20200117831A KR20200117831A (ko) 2020-10-14
KR102330978B1 true KR102330978B1 (ko) 2021-11-26

Family

ID=72666536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197019431A KR102330978B1 (ko) 2019-03-29 2019-03-29 음성 인터렉션 방법 및 이를 이용한 차량

Country Status (3)

Country Link
US (1) US11430436B2 (ko)
KR (1) KR102330978B1 (ko)
WO (1) WO2020204213A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053154A (ko) 2022-10-17 2024-04-24 송수인 음성 인식 미디어 재생 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552261B1 (ko) * 2019-04-29 2023-07-05 엘지전자 주식회사 전자 장치 및 전자 장치의 동작 방법
CN112397065A (zh) * 2020-11-04 2021-02-23 深圳地平线机器人科技有限公司 语音交互方法、装置、计算机可读存储介质及电子设备
CN112637264B (zh) * 2020-11-23 2023-04-21 阿波罗智联(北京)科技有限公司 一种信息交互方法、装置、电子设备及存储介质
US11960621B2 (en) * 2021-02-09 2024-04-16 Ford Global Technologies, Llc Systems and methods for ensuring privacy in an autonomous vehicle
CN117746851A (zh) * 2022-09-15 2024-03-22 比亚迪股份有限公司 一种车载交互方法、系统、控制器和汽车
CN115237815B (zh) * 2022-09-21 2022-12-09 江苏际弘芯片科技有限公司 一种用于车载多媒体音频的测试系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365222A1 (en) 2005-08-29 2014-12-11 Voicebox Technologies Corporation Mobile systems and methods of supporting natural language human-machine interactions
US20170185263A1 (en) 2014-06-17 2017-06-29 Zte Corporation Vehicular application control method and apparatus for mobile terminal, and terminal

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9340155B2 (en) 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
KR102110579B1 (ko) 2013-10-24 2020-05-13 현대모비스 주식회사 차량용 핸즈프리 장치 및 그 장치의 휴대용 단말 기기 연결 제어 방법
CN105116817A (zh) 2015-06-26 2015-12-02 小米科技有限责任公司 平衡车管理方法及装置
US9971348B1 (en) * 2015-09-29 2018-05-15 Amazon Technologies, Inc. Passenger profiles for autonomous vehicles
US20170221480A1 (en) * 2016-01-29 2017-08-03 GM Global Technology Operations LLC Speech recognition systems and methods for automated driving
US20170300053A1 (en) * 2016-04-14 2017-10-19 Eric John Wengreen Self-driving vehicle systems and methods
KR102409303B1 (ko) * 2016-12-15 2022-06-15 삼성전자주식회사 음성 인식 방법 및 장치
KR101922337B1 (ko) 2017-05-02 2018-11-26 세명대학교 산학협력단 고령자를 위한 안전운전 보조방법
EP3607271A4 (en) * 2017-05-08 2021-01-06 Chase, Arnold MOBILE DEVICE FOR AUTONOMOUS VEHICLE ENHANCEMENT SYSTEM
US10382862B2 (en) * 2017-06-15 2019-08-13 Uber Technologies, Inc. Noise testing in an autonomous vehicle
KR102401379B1 (ko) 2017-09-01 2022-05-24 현대자동차주식회사 복수의 탑승자를 고려하여 차량용 기기의 사용언어를 결정하는 방법 및 장치
US11577742B2 (en) * 2019-01-04 2023-02-14 Cerence Operating Company Methods and systems for increasing autonomous vehicle safety and flexibility using voice interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365222A1 (en) 2005-08-29 2014-12-11 Voicebox Technologies Corporation Mobile systems and methods of supporting natural language human-machine interactions
US20170185263A1 (en) 2014-06-17 2017-06-29 Zte Corporation Vehicular application control method and apparatus for mobile terminal, and terminal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053154A (ko) 2022-10-17 2024-04-24 송수인 음성 인식 미디어 재생 장치 및 방법

Also Published As

Publication number Publication date
WO2020204213A1 (ko) 2020-10-08
KR20200117831A (ko) 2020-10-14
US11430436B2 (en) 2022-08-30
US20210358492A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
KR102330978B1 (ko) 음성 인터렉션 방법 및 이를 이용한 차량
US10598504B2 (en) Vehicle control device and vehicle comprising the same
KR102064220B1 (ko) 차량용 주행 시스템 및 차량
KR101989523B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR101974871B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US20200019761A1 (en) Method and apparatus for passenger recognition and boarding support of autonomous vehicle
KR20180026243A (ko) 자율 주행 차량 및 그 제어방법
KR102201757B1 (ko) 자율주행 차량 및 그 제어 방법
KR20180035044A (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR101910385B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR20170022752A (ko) 차량 내 휴대 기기를 제어하는 장치 및 방법
KR101979268B1 (ko) 자율 주행 시스템
JPWO2020100585A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102212777B1 (ko) 영상 출력 장치
KR20210064878A (ko) 차량 인테리어 제어 장치 및 방법
KR102350306B1 (ko) 차량 내 음성 제어 방법
KR101988263B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
KR101807788B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
KR101929816B1 (ko) 차량에 구비된 차량 제어 장치 및 그의 제어 방법
KR20210118066A (ko) 차량 제어 방법, 장치, 차량을 이용한 배달 서비스 방법 및 시스템
KR102023995B1 (ko) 차량 제어 방법
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR101916726B1 (ko) 차량에 구비된 차량 제어 장치 및 그의 제어방법
KR102192146B1 (ko) 차량 제어장치 및 차량 제어방법
KR102669129B1 (ko) 자율 주행 차량의 제어 권한 이양 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant