KR20210090378A - 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치 - Google Patents

자율 차량의 음성 정보 제어 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20210090378A
KR20210090378A KR1020200003532A KR20200003532A KR20210090378A KR 20210090378 A KR20210090378 A KR 20210090378A KR 1020200003532 A KR1020200003532 A KR 1020200003532A KR 20200003532 A KR20200003532 A KR 20200003532A KR 20210090378 A KR20210090378 A KR 20210090378A
Authority
KR
South Korea
Prior art keywords
information
voice information
voice
sentence
keyword
Prior art date
Application number
KR1020200003532A
Other languages
English (en)
Inventor
김무성
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200003532A priority Critical patent/KR20210090378A/ko
Publication of KR20210090378A publication Critical patent/KR20210090378A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 명세서의 일 실시예에 따른 자율 차량의 음성 정보를 제어하기 위한 방법은, 제1 음성 정보와 관련된 제1 메타 데이터 및 제2 음성 정보와 관련된 제2 메타 데이터를 호스트 디바이스가 제1 디바이스 및 제2 디바이스로부터 각각 수신하고, 상기 호스트 디바이스가 상기 제1 메타 데이터 및 상기 제2 메타 데이터에 기초하여 발생된 음성 출력 명령이 상기 제1 디바이스 및 상기 제2 디바이스로 전송하고, 상기 제1 메타 데이터는 상기 제1 음성 정보의 제1 중요도 정보를 포함하고, 상기 제2 메타 데이터는 상기 제2 음성 정보의 제2 중요도 정보를 포함하고, 상기 음성 출력 명령에 기초하여 상기 제1 음성 정보 및 상기 제2 음성 정보의 키워드 간의 충돌이 회피되어 각각 출력됨으로써, 자율 차량의 탑승자에게 음성 정보를 효율적으로 전달할 수 있는 효과가 있다.
본 발명의 자율 주행 차량이 인공 지능(Artificail Intelligenfce) 모듈, 드론(Unmanned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.

Description

자율 차량의 음성 정보 제어 방법 및 이를 위한 장치{Method for controlling voice information of autonomous vehicle and apparatus therefor}
본 명세서는 자율 차량의 음성 정보 제어 방법에 관한 것으로서, 보다 구체적으로 자율 주행 차량의 주행 중 발생한 이벤트와 관련된 음성 정보를 운전자에게 효율적으로 전달하기 위한 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치에 관한 것이다.
자동차는 사용되는 원동기의 종류에 따라, 내연기관(internal combustion engine) 자동차, 외연기관(external combustion engine) 자동차, 가스터빈(gas turbine) 자동차 또는 전기자동차(electric vehicle) 등으로 분류될 수 있다.
자율 주행차량(autonomous vehicle)이란 운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말하며, 자율 주행 시스템(autonomous driving system)은 이러한 자율 주행자동차가 스스로 운행될 수 있도록 모니터링하고 제어하는 시스템을 말한다.
본 명세서는 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.
본 명세서는 운전자에게 효율적으로 음성 정보를 전달하기 위한 메타 데이터를 생성하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 명세서는 메타 데이터에 기초하여 운전자에게 제공되는 음성 정보에 포함되는 키워드들의 충돌을 회피하여 음성 정보를 효율적으로 전달하는 것을 목적으로 한다.
본 명세서에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 일 실시예에 따른 제공되는 자율 차량의 음성 정보 제어 방법은 자율 차량의 주행 중에 발생한 제1 이벤트에 대한 제1 음성 정보와 관련된 제1 메타 데이터가 제1 디바이스로부터 발생되는 단계; 상기 자율 차량의 주행 중에 발생한 제2 이벤트에 대한 제2 음성 정보와 관련된 제2 메타 데이터가 제2 디바이스로부터 발생되는 단계; 호스트 디바이스가 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 상기 제1 디바이스 및 제2 디바이스로부터 각각 수신하는 단계; 음성 정보의 출력을 지시하는 음성 출력 명령이 상기 제1 메타 데이터 및 상기 제2 메타 데이터에 기초하여 상기 호스트 디바이스로부터 발생되는 단계; 및 상기 호스트 디바이스에 의하여 상기 음성 출력 명령이 상기 제1 디바이스 및 상기 제2 디바이스로 각각 전송되는 단계를 포함하되, 상기 제1 메타 데이터는 상기 제1 음성 정보의 제1 중요도 정보를 포함하고, 상기 제2 메타 데이터는 상기 제2 음성 정보의 제2 중요도 정보를 포함하고, 상기 제1 디바이스 및 상기 제2 디바이스는 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하되, 상기 제1 음성 정보 및 상기 제2 음성정보에 각각 포함된 키워드(Keyword)는 상기 음성 출력 명령에 기초하여 서로 간의 충돌이 회피되어 출력된다.
또한, 본 명세서는 상기 제1 디바이스에 의하여 상기 제1 이벤트와 관련된 적어도 하나의 제1 후보 문장들이 결정되는 단계, 상기 제1 후보 문장들은 상기 제1 이벤트를 각각 서로 다른 어순으로 나타내는 문장들이고; 상기 제2 디바이스에 의하여 상기 제2 이벤트와 관련된 적어도 하나의 제2 후보 문장들이 결정되는 단계, 상기 제2 후보 문장들은 상기 제2 이벤트를 각각 서로 다른 어순으로 나타내는 문장들이고; 상기 제1 디바이스에 의하여 상기 제1 후보 문장들 중 상기 제1 음성 정보 생성에 사용되는 하나의 특정 문장이 결정되는 단계; 및 상기 제2 디바이스에 의하여 상기 제2 후보 문장들 중 상기 제2 음성 정보 생성에 사용되는 하나의 특정 문장이 결정되는 단계를 더 포함할 수 있다.
또한, 본 명세서는 상기 제1 중요도 정보는 제1 문장 성분 중요도 정보 및 제1 키워드 중요도 정보를 포함하고, 상기 제2 중요도 정보는 제2 문장 성분 중요도 정보 및 제2 키워드 중요도 정보를 포함하고, 상기 제1 문장 성분 중요도 정보는 상기 제1 이벤트와 관련된 제1 문장의 문장 성분들 각각이 상기 제1 문장 내에서 갖는 중요도를 나타내는 정보이고, 상기 제2 문장 성분 중요도 정보는 상기 제2 이벤트와 관련된 제2 문장의 문장 성분들 각각이 상기 제2 문장 내에서 갖는 중요도를 나타내는 정보이고, 상기 제1 키워드 중요도 정보는 상기 제1 문장의 문장 성분들 중 가장 높은 중요도를 갖는 문장 성분인 제1 키워드의 중요도를 나타내는 정보이고, 상기 제2 키워드 중요도 정보는 상기 제2 문장의 문장 성분들 중 가장 높은 중요도를 갖는 문장 성분인 제2 키워드의 중요도를 나타내는 정보일 수 있다.
또한, 본 명세서는 상기 제1 디바이스에 의하여 상기 제1 음성 정보가 나타내는 제1 문장의 문장 성분들이 추출되는 단계; 및 상기 제2 디바이스에 의하여 상기 제2 음성 정보가 나타내는 제2 문장의 문장 성분들이 추출되는 단계를 포함하되, 상기 추출된 특정 문장 성분들에 기초하여 상기 제1 중요도 정보 및 상기 제2 중요도 정보가 생성될 수 있다.
또한, 본 명세서는 상기 제1 메타 데이터 및 상기 제2 메타 데이터에 기초하여 상기 호스트 디바이스가 상기 제1 키워드의 출력시점 및 상기 제2 키워드의 출력시점을 판단하는 단계를 더 포함할 수 있다.
또한, 본 명세서는 상기 제1 키워드 및 상기 제2 키워드가 동일한 시점에 상기 제1 디바이스 및 상기 제2 디바이스에 의하여 출력되는 것으로 판단된 경우, 상기 제1 음성 정보 및 상기 제2 음성 정보가 상기 제1 디바이스 및 상기 제2 디바이스 각각에 의하여 동일한 시점에 출력되면 상기 음성 출력 명령은 상기 충돌을 회피하기 위해 사용되는 충돌 회피 정보를 포함할 수 있다.
또한, 본 명세서는 상기 충돌 회피 정보는 (i)상기 제1 키워드 및 상기 제2 키워드가 서로 다른 시점에 출력되도록 하는 출력 방식과 관련된 제1 정보 또는 (ii)상기 제1 키워드 및 상기 제2 키워드가 서로 다른 방식으로 동일한 시점에 출력되도록 하는 출력 방식과 관련된 제2 정보 중 적어도 하나를 포함하는 자율 차량의 음성 제어 방법.
또한, 본 명세서는 상기 제 1 정보는 (i)상기 제1 음성 정보 및 상기 제2 음성 정보 중 하나를 일정한 시간 오프셋(offset)만큼 딜레이(delay) 하여 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하는 제 1 방식 또는 (ii)상기 제1 문장 및 상기 제2 문장 중 하나의 문장의 문장 배치 순서를 변경하여 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하는 제2 방식 중 적어도 하나의 방식을 포함할 수 있다.
또한, 본 명세서는 상기 제2 정보는 (i) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 볼륨(Volume) 크기를 다르게 하는 제1 방식, (ii) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 음의 높이(Pitch)를 다르게 하는 제2 방식 또는 (iii) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 억양(Accent)를 다르게 하는 제3 방식 중 적어도 하나의 방식을 포함할 수 있다.
또한, 본 명세서는 상기 제1 방식은 상기 제1 음성 정보 및 상기 제2 음성 정보 중에서 키워드 중요도 정보가 갖는 값이 더 큰 음성 정보가 더 큰 볼륨 크기로 출력되는 방식이고, 상기 제1 음성 정보가 출력되는 제1 볼륨 크기와 상기 제2 음성 정보가 출력되는 제2 볼륨 크기 차이의 ??대값은 상기 제1 키워드 중요도 정보가 갖는 값과 상기 상기 제2 키워드 중요도 정보가 갖는 값의 크기 차이에 비례할 수 있다.
또한, 본 명세서는 상기 제2 방식은 상기 서로 다른 음성 정보 중에서 상기 제1 음성 정보 및 상기 제2 음성 정보 중에서 키워드 중요도 정보가 갖는 값이 더 큰 음성 정보가 더 높은 음의 높이로 출력되는 방식이고, 상기 제1 음성 정보가 출력되는 제1 음의 높이와 상기 제2 음성 정보가 출력되는 제2 음의 높이 차이의 ??대값은 상기 상기 제1 키워드 중요도 정보가 갖는 값과 상기 제2 키워드 중요도 정보가 갖는 값의 크기 차이에 비례할 수 있다.
또한, 본 명세서는 상기 판단 결과 상기 서로 다른 키워드들이 상기 제 1 디바이스 및 상기 제 2 디바이스에 의하여 동일한 시점에 각각 출력되는 것으로 판단된 경우, 상기 제1 음성 정보 및 상기 제2 음성 정보 중 특정 음성 정보가 먼저 출력되면, 상기 호스트 디바이스가 상기 제1 디바이스 또는 상기 제2 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함할 수 있다.
또한, 본 명세서는 상기 특정 음성 정보가 상기 제 1 음성 정보인 경우, 상기 제1 키워드 중요도 정보 값이 상기 제2 키워드 중요도 정보 값보다 크면, 상기 호스트 디바이스가 상기 제2 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함할 수 있다.
또한, 본 명세서는 상기 특정 음성 정보가 상기 제 1 음성 정보인 경우, 상기 제1 키워드 중요도 정보 값이 상기 제2 키워드 중요도 정보 값보다 작으면, 상기 호스트 디바이스가 상기 제1 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함할 수 있다.
또한, 본 명세서의 일 양상에 따른 자율 차량의 음성 정보 제어 방법을 수행하는 호스트 디바이스는 통신부; 및 제어부;를 포함하되, 상기 제어부는 호스트 디바이스가 제1 메타 데이터 및 제2 메타 데이터를 제1 디바이스 및 제2 디바이스로부터 각각 수신하도록 상기 통신부를 제어하고, 자율 차량의 주행 중에 발생한 제1 이벤트에 대한 제1 음성 정보와 관련된 상기 제1 메타 데이터는 제1 디바이스로부터 발생되고, 자율 차량의 주행 중에 발생한 제2 이벤트에 대한 제2 음성 정보와 관련된 상기 제2 메타 데이터는 제2 디바이스로부터 발생되고, 상기 제어부는 상기 음성 출력 명령을 상기 제1 디바이스 및 상기 제2 디바이스로 각각 전송하도록 상기 통신부를 제어하고, 상기 제1 메타 데이터는 상기 제1 음성 정보의 제1 중요도 정보를 포함하고, 상기 제2 메타 데이터는 상기 제2 음성 정보의 제2 중요도 정보를 포함하고, 상기 제1 음성 정보 및 상기 제2 음성 정보는 상기 제1 디바이스 및 상기 제2 디바이스에 의하여 각각 출력되되, 상기 제1 음성 정보 및 상기 제2 음성정보에 각각 포함된 키워드(Keyword)는 상기 음성 출력 명령에 기초하여 서로 간의 충돌이 회피되어 출력된다.
본 명세서는 운전자에게 효율적으로 음성 정보를 전달하기 위한 메타 데이터를 생성하는 방법을 제공할 수 있는 효과가 있다.
또한, 본 명세서는 메타 데이터에 기초하여 운전자에게 제공되는 음성 정보에 포함되는 키워드들의 충돌을 회피하여 음성 정보를 효율적으로 전달할 수 있는 효과가 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서의 실시예에 따른 차량을 도시한 도면이다.
도 2는 본 명세서의 실시예에 따른 차량의 제어 블럭도이다.
도 3은 본 명세서의 실시예에 따른 자율 주행 장치의 제어 블럭도이다.
도 4는 서로 다른 음성 정보들 간의 충돌을 회피하여 운전자에게 음성 정보를 전달하기 위한 기존 방법의 예시를 나타낸 도이다.
도 5는 본 명세서에서 제공되는 자율 차량의 음성 정보 제어 방법이 수행되는 자율 차량의 음성 정보 제어 시스템의 일 예를 나타낸다.
도 6은 본 명세서에서 제공되는 자율 차량의 음성 정보 제어 방법이 수행되는 디바이스의 일 예를 나타낸다.
도 7 및 도 8은 호스트 디바이스와 음성 디바이스 및 음성 출력 디바이스가 결합된 디바이스의 블록도를 각각 나타낸 도이다.
도 9는 본 명세서에서 제공되는 음성 정보 제어방법의 일 실시예에 따른 따른 흐름도이다.
도 10은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 음성 정보에 대한 메타 데이터가 생성되는 일 예를 나타낸 흐름도이다.
도 11은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 음성 정보가 생성되는 일 예를 나타낸 흐름도이다.
도 12은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따라 생성된 문장 성분 중요도 정보의 일 예를 나타낸 도이다.
도 13은 본 명세서에서 제공되는 방법의 일 실시예에 따른 자율 차량 내부의 좌석 별로 탑승자가 전달 받는 음성 정보의 종류 또는 음성 정보의 우선순위가 다르게 설정되는 방법의 일 예를 나타낸 도이다.
도 14는 본 명세서에서 음성 정보에 포함된 키워드들이 충돌하는 경우에 대한 이해를 돕기 위한 도면이다.
도 15는 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
도 16은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
도 17은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
도 18은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
도 19는 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
도 20은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
도 21은 본 명세서에서 제공되는 방법의 일 실시예에 따른 음성 정보 제어방법이 호스트 디바이스, 제 1 디바이스 및 제 2 디바이스 사이에서 수행되는 일 예를 나타낸 흐름도이다.
도 22는 본 명세서에서 제공되는 방법이 적용되는 일 실시예에 따른 서로 다른 음성 정보 중 하나의 음성정보가 먼저 출력되는 도중에 다른 음성 정보가 출력되는 일 예를 나타낸 도이다.
도 23은 본 명세서에서 제공되는 방법의 일 실시예에 따른 음성 정보 제어방법이 호스트 디바이스에서 수행되는 일 예를 나타낸 흐름도이다.
도 24는 본 명세서에서 제공되는 방법의 일 실시예에 따른 음성 정보 제어방법이 호스트 디바이스, 제 1 디바이스 및 제 2 디바이스 사이에서 수행되는 일 예를 나타낸 흐름도이다.
도 25는 제 1 디바이스가 먼저 음성 정보를 출력하고, 제 2 디바이스가 나중에 자신이 생성한 제 1 음성 정보에 대한 제 2 메타 데이터를 호스트 디바이스(500)로 전송하는 경우를 나타낸다.
도 26은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
도 27은 본 명세서가 제공하는 방법의 일 실시예에 따른 문장 성분 중요도가 일정 값 이상인 문장 성분만을 선별하여 운전자에게 전달하는 방법의 일 예를 나타낸 도이다.
도 28은 본 명세서가 제공하는 방법의 일 실시예에 따른 자율 주행 차량의 운전 모드에 따라서 운전자에게 전달되는 정보의 양을 조절하는 방법의 일 예를 나타낸 도이다.
도 29는 음성 정보의 키워드 중요도가 시간에 따라 변화할 수 있음을 보여주는 일 예를 나타낸 도이다.
도 30은 본 명세서에서 제공되는 방법이 적용되는 일 실시예에 따른 음성 정보 제어 방법이 수행되는 일 예를 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
주행
(1) 차량 외관
도 1은 본 명세서의 실시예에 따른 차량을 도시한 도면이다.
도 1를 참조하면, 본 명세서의 실시예에 따른 차량(10)은, 도로나 선로 위를 주행하는 수송 수단으로 정의된다. 차량(10)은, 자동차, 기차, 오토바이를 포함하는 개념이다. 차량(10)은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다. 차량(10)은 개인이 소유한 차량일 수 있다. 차량(10)은, 공유형 차량일 수 있다. 차량(10)은 자율 주행 차량일 수 있다.
(2) 차량의 구성 요소
도 2는 본 명세서의 실시예에 따른 차량의 제어 블럭도이다.
도 2을 참조하면, 차량(10)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 구동 제어 장치(250), 자율 주행 장치(260), 센싱부(270) 및 위치 데이터 생성 장치(280)를 포함할 수 있다. 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 구동 제어 장치(250), 자율 주행 장치(260), 센싱부(270) 및 위치 데이터 생성 장치(280)는 각각이 전기적 신호를 생성하고, 상호간에 전기적 신호를 교환하는 전자 장치로 구현될 수 있다.
1) 사용자 인터페이스 장치
사용자 인터페이스 장치(200)는, 차량(10)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(10)에서 생성된 정보를 제공할 수 있다. 차량(10)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interface) 또는 UX(User Experience)를 구현할 수 있다. 사용자 인터페이스 장치(200)는, 입력 장치, 출력 장치 및 사용자 모니터링 장치를 포함할 수 있다.
2) 오브젝트 검출 장치
오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 오브젝트에 대한 정보는, 오브젝트의 존재 유무에 대한 정보, 오브젝트의 위치 정보, 차량(10)과 오브젝트와의 거리 정보 및 차량(10)과 오브젝트와의 상대 속도 정보 중 적어도 어느 하나를 포함할 수 있다. 오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있다. 오브젝트 검출 장치(210)는, 차량(10) 외부의 오브젝트를 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 오브젝트 검출 장치(210)는, 카메라, 레이다, 라이다, 초음파 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다. 오브젝트 검출 장치(210)는, 센서에서 생성되는 센싱 신호에 기초하여 생성된 오브젝트에 대한 데이터를 차량에 포함된 적어도 하나의 전자 장치에 제공할 수 있다.
2.1) 카메라
카메라는 영상을 이용하여 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 카메라는 적어도 하나의 렌즈, 적어도 하나의 이미지 센서 및 이미지 센서와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.
카메라는, 모노 카메라, 스테레오 카메라, AVM(Around View Monitoring) 카메라 중 적어도 어느 하나일 수 있다. 카메라는, 다양한 영상 처리 알고리즘을 이용하여, 오브젝트의 위치 정보, 오브젝트와의 거리 정보 또는 오브젝트와의 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 획득된 영상에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 예를 들면, 카메라는, 스테레오 카메라에서 획득된 스테레오 영상에서 디스패러티(disparity) 정보를 기초로 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
카메라는, 차량 외부를 촬영하기 위해 차량에서 FOV(field of view) 확보가 가능한 위치에 장착될 수 있다. 카메라는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 카메라는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 카메라는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 카메라는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 카메라는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
2.2) 레이다
레이다는 전파를 이용하여 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 레이다는, 전자파 송신부, 전자파 수신부 및 전자파 송신부 및 전자파 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 레이다는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이다는 연속파 레이다 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다. 레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 레이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
2.3) 라이다
라이다는, 레이저 광을 이용하여, 차량(10) 외부의 오브젝트에 대한 정보를 생성할 수 있다. 라이다는, 광 송신부, 광 수신부 및 광 송신부 및 광 수신부와 전기적으로 연결되어, 수신되는 신호를 처리하고, 처리된 신호에 기초하여 오브젝트에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다. 라이다는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다. 라이다는, 구동식 또는 비구동식으로 구현될 수 있다. 구동식으로 구현되는 경우, 라이다는, 모터에 의해 회전되며, 차량(10) 주변의 오브젝트를 검출할 수 있다. 비구동식으로 구현되는 경우, 라이다는, 광 스티어링에 의해, 차량을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(10)은 복수의 비구동식 라이다를 포함할 수 있다. 라이다는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다. 라이다는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
3) 통신 장치
통신 장치(220)는, 차량(10) 외부에 위치하는 디바이스와 신호를 교환할 수 있다. 통신 장치(220)는, 인프라(예를 들면, 서버, 방송국), 타 차량, 단말기 중 적어도 어느 하나와 신호를 교환할 수 있다. 통신 장치(220)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
예를 들어, 통신 장치는 C-V2X(Cellular V2X) 기술을 기반으로 외부 디바이스와 신호를 교환할 수 있다. 예를 들어, C-V2X 기술은 LTE 기반의 사이드링크 통신 및/또는 NR 기반의 사이드링크 통신을 포함할 수 있다. C-V2X와 관련된 내용은 후술한다.
예를 들어, 통신 장치는 IEEE 802.11p PHY/MAC 계층 기술과 IEEE 1609 Network/Transport 계층 기술 기반의 DSRC(Dedicated Short Range Communications) 기술 또는 WAVE(Wireless Access in Vehicular Environment) 표준을 기반으로 외부 디바이스와 신호를 교환할 수 있다. DSRC (또는 WAVE 표준) 기술은 차량 탑재 장치 간 혹은 노변 장치와 차량 탑재 장치 간의 단거리 전용 통신을 통해 ITS(Intelligent Transport System) 서비스를 제공하기 위해 마련된 통신 규격이다. DSRC 기술은 5.9GHz 대역의 주파수를 사용할 수 있고, 3Mbps~27Mbps의 데이터 전송 속도를 가지는 통신 방식일 수 있다. IEEE 802.11p 기술은 IEEE 1609 기술과 결합되어 DSRC 기술 (혹은 WAVE 표준)을 지원할 수 있다.
본 명세서의 통신 장치는 C-V2X 기술 또는 DSRC 기술 중 어느 하나만을 이용하여 외부 디바이스와 신호를 교환할 수 있다. 또는, 본 명세서의 통신 장치는 C-V2X 기술 및 DSRC 기술을 하이브리드하여 외부 디바이스와 신호를 교환할 수 있다.
4) 운전 조작 장치
운전 조작 장치(230)는, 운전을 위한 사용자 입력을 수신하는 장치이다. 메뉴얼 모드인 경우, 차량(10)은, 운전 조작 장치(230)에 의해 제공되는 신호에 기초하여 운행될 수 있다. 운전 조작 장치(230)는, 조향 입력 장치(예를 들면, 스티어링 휠), 가속 입력 장치(예를 들면, 가속 페달) 및 브레이크 입력 장치(예를 들면, 브레이크 페달)를 포함할 수 있다.
5) 메인 ECU
메인 ECU(240)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치의 전반적인 동작을 제어할 수 있다.
6) 구동 제어 장치
구동 제어 장치(250)는, 차량(10)내 각종 차량 구동 장치를 전기적으로 제어하는 장치이다. 구동 제어 장치(250)는, 파워 트레인 구동 제어 장치, 샤시 구동 제어 장치, 도어/윈도우 구동 제어 장치, 안전 장치 구동 제어 장치, 램프 구동 제어 장치 및 공조 구동 제어 장치를 포함할 수 있다. 파워 트레인 구동 제어 장치는, 동력원 구동 제어 장치 및 변속기 구동 제어 장치를 포함할 수 있다. 샤시 구동 제어 장치는, 조향 구동 제어 장치, 브레이크 구동 제어 장치 및 서스펜션 구동 제어 장치를 포함할 수 있다. 한편, 안전 장치 구동 제어 장치는, 안전 벨트 제어를 위한 안전 벨트 구동 제어 장치를 포함할 수 있다.
구동 제어 장치(250)는, 적어도 하나의 전자적 제어 장치(예를 들면, 제어 ECU(Electronic Control Unit))를 포함한다.
구종 제어 장치(250)는, 자율 주행 장치(260)에서 수신되는 신호에 기초하여, 차량 구동 장치를 제어할 수 있다. 예를 들면, 제어 장치(250)는, 자율 주행 장치(260)에서 수신되는 신호에 기초하여, 파워 트레인, 조향 장치 및 브레이크 장치를 제어할 수 있다.
7) 자율 주행 장치
자율 주행 장치(260)는, 획득된 데이터에 기초하여, 자율 주행을 위한 패스를 생성할 수 있다. 자율 주행 장치(260)는, 생성된 경로를 따라 주행하기 위한 드라이빙 플랜을 생성할 수 있다. 자율 주행 장치(260)는, 드라이빙 플랜에 따른 차량의 움직임을 제어하기 위한 신호를 생성할 수 있다. 자율 주행 장치(260)는, 생성된 신호를 구동 제어 장치(250)에 제공할 수 있다.
자율 주행 장치(260)는, 적어도 하나의 ADAS(Advanced Driver Assistance System) 기능을 구현할 수 있다. ADAS는, 적응형 크루즈 컨트롤 시스템(ACC : Adaptive Cruise Control), 자동 비상 제동 시스템(AEB : Autonomous Emergency Braking), 전방 충돌 알림 시스템(FCW : Foward Collision Warning), 차선 유지 보조 시스템(LKA : Lane Keeping Assist), 차선 변경 보조 시스템(LCA : Lane Change Assist), 타겟 추종 보조 시스템(TFA : Target Following Assist), 사각 지대 감시 시스템(BSD : Blind Spot Detection), 적응형 하이빔 제어 시스템(HBA : High Beam Assist), 자동 주차 시스템(APS : Auto Parking System), 보행자 충돌 알림 시스템(PD collision warning system), 교통 신호 검출 시스템(TSR : Traffic Sign Recognition), 교통 신호 보조 시스템(TSA : Trafffic Sign Assist), 나이트 비전 시스템(NV : Night Vision), 운전자 상태 모니터링 시스템(DSM : Driver Status Monitoring) 및 교통 정체 지원 시스템(TJA : Traffic Jam Assist) 중 적어도 어느 하나를 구현할 수 있다.
자율 주행 장치(260)는, 자율 주행 모드에서 수동 주행 모드로의 전환 동작 또는 수동 주행 모드에서 자율 주행 모드로의 전환 동작을 수행할 수 있다. 예를 들면, 자율 주행 장치(260)는, 사용자 인터페이스 장치(200)로부터 수신되는 신호에 기초하여, 차량(10)의 모드를 자율 주행 모드에서 수동 주행 모드로 전환하거나 수동 주행 모드에서 자율 주행 모드로 전환할 수 있다.
8) 센싱부
센싱부(270)는, 차량의 상태를 센싱할 수 있다. 센싱부(270)는, IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 중 적어도 어느 하나를 포함할 수 있다. 한편, IMU(inertial measurement unit) 센서는, 가속도 센서, 자이로 센서, 자기 센서 중 하나 이상을 포함할 수 있다.
센싱부(270)는, 적어도 하나의 센서에서 생성되는 신호에 기초하여, 차량의 상태 데이터를 생성할 수 있다. 차량 상태 데이터는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다. 센싱부(270)는, 차량 자세 데이터, 차량 모션 데이터, 차량 요(yaw) 데이터, 차량 롤(roll) 데이터, 차량 피치(pitch) 데이터, 차량 충돌 데이터, 차량 방향 데이터, 차량 각도 데이터, 차량 속도 데이터, 차량 가속도 데이터, 차량 기울기 데이터, 차량 전진/후진 데이터, 차량의 중량 데이터, 배터리 데이터, 연료 데이터, 타이어 공기압 데이터, 차량 내부 온도 데이터, 차량 내부 습도 데이터, 스티어링 휠 회전 각도 데이터, 차량 외부 조도 데이터, 가속 페달에 가해지는 압력 데이터, 브레이크 페달에 가해지는 압력 데이터 등을 생성할 수 있다.
9) 위치 데이터 생성 장치
위치 데이터 생성 장치(280)는, 차량(10)의 위치 데이터를 생성할 수 있다. 위치 데이터 생성 장치(280)는, GPS(Global Positioning System) 및 DGPS(Differential Global Positioning System) 중 적어도 어느 하나를 포함할 수 있다. 위치 데이터 생성 장치(280)는, GPS 및 DGPS 중 적어도 어느 하나에서 생성되는 신호에 기초하여 차량(10)의 위치 데이터를 생성할 수 있다. 실시예에 따라, 위치 데이터 생성 장치(280)는, 센싱부(270)의 IMU(Inertial Measurement Unit) 및 오브젝트 검출 장치(210)의 카메라 중 적어도 어느 하나에 기초하여 위치 데이터를 보정할 수 있다. 위치 데이터 생성 장치(280)는, GNSS(Global Navigation Satellite System)로 명명될 수 있다.
차량(10)은, 내부 통신 시스템(50)을 포함할 수 있다. 차량(10)에 포함되는 복수의 전자 장치는 내부 통신 시스템(50)을 매개로 신호를 교환할 수 있다. 신호에는 데이터가 포함될 수 있다. 내부 통신 시스템(50)은, 적어도 하나의 통신 프로토콜(예를 들면, CAN, LIN, FlexRay, MOST, 이더넷)을 이용할 수 있다.
(3) 자율 주행 장치의 구성 요소
도 3은 본 명세서의 실시예에 따른 자율 주행 장치의 제어 블럭도이다.
도 3을 참조하면, 자율 주행 장치(260)는, 메모리(140), 프로세서(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다.
메모리(140)는, 프로세서(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)에서 처리된 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 중 적어도 어느 하나로 구성될 수 있다. 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등, 자율 주행 장치(260) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(140)는, 프로세서(170)와 일체형으로 구현될 수 있다. 실시예에 따라, 메모리(140)는, 프로세서(170)의 하위 구성으로 분류될 수 있다.
인터페이스부(180)는, 차량(10) 내에 구비되는 적어도 하나의 전자 장치와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 오브젝트 검출 장치(210), 통신 장치(220), 운전 조작 장치(230), 메인 ECU(240), 구동 제어 장치(250), 센싱부(270) 및 위치 데이터 생성 장치(280) 중 적어도 어느 하나와 유선 또는 무선으로 신호를 교환할 수 있다. 인터페이스부(280)는, 통신 모듈, 단자, 핀, 케이블, 포트, 회로, 소자 및 장치 중 적어도 어느 하나로 구성될 수 있다.
전원 공급부(190)는, 자율 주행 장치(260)에 전원을 공급할 수 있다. 전원 공급부(190)는, 차량(10)에 포함된 파워 소스(예를 들면, 배터리)로부터 전원을 공급받아, 자율 주행 장치(260)의 각 유닛에 전원을 공급할 수 있다. 전원 공급부(190)는, 메인 ECU(240)로부터 제공되는 제어 신호에 따라 동작될 수 있다. 전원 공급부(190)는, SMPS(switched-mode power supply)를 포함할 수 있다.
프로세서(170)는, 메모리(140), 인터페이스부(280), 전원 공급부(190)와 전기적으로 연결되어 신호를 교환할 수 있다. 프로세서(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
프로세서(170)는, 전원 공급부(190)로부터 제공되는 전원에 의해 구동될 수 있다. 프로세서(170)는, 전원 공급부(190)에 의해 전원이 공급되는 상태에서 데이터를 수신하고, 데이터를 처리하고, 신호를 생성하고, 신호를 제공할 수 있다.
프로세서(170)는, 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로부터 정보를 수신할 수 있다. 프로세서(170)는, 인터페이스부(180)를 통해, 차량(10) 내 다른 전자 장치로 제어 신호를 제공할 수 있다.
자율 주행 장치(260)는, 적어도 하나의 인쇄 회로 기판(printed circuit board, PCB)을 포함할 수 있다. 메모리(140), 인터페이스부(180), 전원 공급부(190) 및 프로세서(170)는, 인쇄 회로 기판에 전기적으로 연결될 수 있다.
이하, 본 명세서의 실시예에 따른 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치에 대해 상세히 설명하기로 한다.
주행 중인 자율 주행 차량에서, 자율 주행 차량의 주행과 관련된 다양한 이벤트들이 발생할 수 있고, 자율 주행 차량은 다양한 이벤트와 관련된 정보를 음성의 형태로 운전자에게 전달하게 된다. 음성의 형태로 운전자에게 전달되는 정보(이하, 음성 정보라고 한다.)는 음성이 가진 특성상 운전자가 특정 음성 정보를 필요로 하는 시점에 운전자에게 정확하게 전달되지 않으면 음성 정보의 의미가 퇴색되게 된다. 즉, 음성 정보는 수명을 가진다고 볼 수 있으며, 운전자에게 전달되는 음성 정보가 긴급한 상황과 관련된 정보일수록 음성 정보의 수명은 짧아진다.
또한, 운전자가 특정 음성 정보를 필요로 하는 시점에 운전자에게 특정 음성 정보를 전달하더라도, 만약에 상기 특정 음성 정보가 운전자에게 전달되는 시점에 상기 특정 음성 정보 외의 다른 음성 정보가 동시에 운전자에게 전달된다면, 운전자는 전달되는 상기 특정 음성 정보 및 상기 다른 음성 정보를 모두 정확하게 전달받을 수 없게되므로, 상기 음성 정보들의 의미는 퇴색되게 된다.
정리하면, 자율 주행 차량의 운전자에게 전달되는 음성 정보는 운전자가 음성 정보를 필요로 하는 시점에, 다른 음성 정보와의 충돌 없이 정확하게 전달되어야 할 필요성이 있다.
이와 같은 필요성을 충족시키기 위해서, 특히 서로 다른 음성 정보들 간의 충돌을 회피하여 운전자에게 상기 서로 다른 음성 정보들을 전달하기 위해서, 기존에는 단순히 상기 서로 다른 음성 정보들 중 하나의 음성 정보의 출력이 완료되면, 나머지 하나의 음성 정보를 출력하는 방식으로 운전자에게 음성 정보를 전달하거나(기존 방법 1) 상기 서로 다른 음성 정보들 중 하나의 음성 정보의 출력 볼륨(Volume)크기를 크게하고, 다른 하나의 음성 정보의 출력 크기는 작게 하는 방식으로 운전자에게 음성 정보를 전달하였다(기존 방법 2).
도 4는 서로 다른 음성 정보들 간의 충돌을 회피하여 운전자에게 음성 정보를 전달하기 위한 기존 방법의 예시를 나타낸 도이다.
도 4(a)는 자율 주행 차량의 주행과 관련하여 2가지의 특정 이벤트가 동시에 발생(800)하는 경우를 나타낸다. 특정 디바이스가 출력한 음성 정보인 "10미터 앞에서 우회전 하겠습니다."라는 문장과 또 다른 특정 디바이스가 출력한 음성 정보인 "10미터 앞에서 사고발생으로 서행합니다."라는 문장이 동시에 출력되어 문장의 겹침이 발생하게 되므로, 운전자는 상기 음성 정보들을 정확하게 전달받을 수 없게 된다.
도 4(b)는, 자율 주행 차량의 주행과 관련하여 2가지의 특정 이벤트가 동시에 발생(800)한 경우에, 앞서 살펴본 기존 방법 1에 기초하여 운전자에게 상기 특정 이벤트와 관련된 음성 정보가 모두 전달되는 예시를 나타낸다. 특정 디바이스가 출력한 음성 정보인 "10미터 앞에서 우회전 하겠습니다."라는 문장과 또 다른 특정 디바이스가 출력한 음성 정보인 "10미터 앞에서 사고발생으로 서행합니다."라는 문장의 충돌을 회피하기 위해서 "10미터 앞에서 사고발생으로 서행합니다."라는 문장이 먼저 출력되고, 상기 문장의 출력이 완료되면 "10미터 앞에서 우회전 하겠습니다."라는 문장이 출력되는 것을 알 수 있다. 이러한 방법은 지연되어 출력된 두 번째 정보가 운전자가 정보를 필요로하는 시점에 전달될 수 없게 되어, 두 번째 정보의 의미가 퇴색되게 되는 문제점이 존재한다.
도 4(b)는, 자율 주행 차량의 주행과 관련하여 2가지의 특정 이벤트가 동시에 발생(800)한 경우에, 앞서 살펴본 기존 방법 2에 기초하여 운전자에게 상기 특정 이벤트와 관련된 음성 정보가 모두 전달되는 예시를 나타낸다. 특정 디바이스가 출력한 음성 정보인 "10미터 앞에서 우회전 하겠습니다."라는 문장과 또 다른 특정 디바이스가 출력한 음성 정보인 "10미터 앞에서 사고발생으로 서행합니다."라는 문장의 충돌을 회피하기 위해서 "10미터 앞에서 사고발생으로 서행합니다."라는 문장이 "10미터 앞에서 우회전 하겠습니다."라는 문장보다 더 큰 볼륨으로 출력된다. 이러한 방법은, 사용자에게 전달되는 음성 정보들이 모두 중요한 정보인 경우에, 큰 볼륨으로 출력되는 특정 음성 정보만이 사용자에게 전달되게 되는 문제점이 존재한다.
위에서 살펴본 기존 방법들의 문제점을 해결하고, 자율 주행 차량의 운전자에게 음성 정보를 효율적으로 전달하기 위해서, 본 명세서에서 자율 차량의 음성 정보 제어 방법이 제공된다. 보다 구체적으로, 자율 주행 차량의 운전자에게 음성 정보를 효율적으로 전달하기 위해, 본 명세서에서 음성 정보에 대한 메타 데이터를 생성하고, 상기 메타 데이터에 기초하여 음성 정보가 나타내는 문장들에 각각 포함된 키워드들간의 충돌만을 회피하여 운전자에게 음성 정보를 전달하는 방법이 제공된다. 즉, 본 명세서에서 제공되는 방법은, 문장 전체의 충돌 회피가 아니라, 상기 문장에 포함된 키워들간의 충돌을 회피하는 방법에 관한 것이다.
도 5는 본 명세서에서 제공되는 자율 차량의 음성 정보 제어 방법이 수행되는 자율 차량의 음성 정보 제어 시스템의 일 예를 나타낸다.
자율 차량의 음성 정보 제어 시스템은 호스트 디바이스(500), 음성 디바이스 1 내지 3(610, 620, 630) 및 음성 출력 디바이스(700)들을 포함할 수 있다. 이는 자율 차량의 음성 정보 제어 시스템에 대한 하나의 예시에 불과하고, 본 명세서에서 제공되는 방법이 수행되는 시스템은 다양한 방법으로 구성될 수 있다. 상기 음성 디바이스 1 내지 3(610, 620, 630)은 음성 디바이스(600)로 통칭될 수 있다.
호스트 디바이스(500)는 음성 디바이스(600)들이 생성하는 음성 정보들의 데이터 트래픽(traffic)을 관리하는 디바이스로, 음성 정보들의 메타 데이터에 기초하여 음성 정보들이 음성 출력 디바이스에 의하여 각각 출력되는 경우에 일어날 수 있는 충돌 등을 감지한다. 음성 정보들 간의 충돌이 일어날 것으로 감지된 경우, 호스트 디바이스(500)는 상기 음성 정보들이 충돌을 회피 하여 출력될 수 있도록 각 음성 디바이스(600)에 음성 정보에 대한 메타 데이터를 재요청하는 동작을 수행할 수 있다. 이 경우, 메타 데이터를 재요청하는 동작은 메타 데이터 재요청 신호를 음성 디바이스(600)에게 전달하는 방식으로 수행될 수 있는데, 메타 데이터 재요청 신호는 호스트 디바이스(600)에 의하여 생성된, 음성 정보들 간의 충돌이 발생하지 않도록 재구성된 메타 정보를 포함할 수 있다. 반면, 음성 정보들 간의 충돌이 발생하지 않는 것으로 감지된 경우, 음성 디바이스(600)에게 음성 정보를 출력하라는 신호를 전달할 수 있다. 전술한 동작 외에도 다양한 동작이 호스트 디바이스(500)에서 구현될 수 있으며, 호스트 디바이스(500)의 동작이 전술한 동작들에 제한되는 것은 아니다.
음성 디바이스(600)는 음성 정보를 생성하는 디바이스이다. 음성 디바이스(600)의 예로, 네비게이션과 같은 디바이스 등이 있을 수 있다. 음성 정보는 자율 주행 차량의 주행 중 발생한 이벤트 또는 디바이스의 내부적인 이벤트를 처리하는 과정의 결과로 생성된 정보이며, 상기 음성 정보는 음성 출력 디바이스(700)를 통하여 음성으로 출력되어 운전자에게 전달될 수 있다. 전술한 동작 외에도 다양한 동작이 음성 디바이스(600)에서 구현될 수 있으며, 음성 디바이스(600)의 동작이 전술한 동작들에 제한되는 것은 아니다.
음성 출력 디바이스(700)는 음성 디바이스(600)가 생성한 음성 정보를 전달 받아 음성 정보가 나타내는 음성을 출력하는 디바이스다. 음성 출력 디바이스(700)의 예로, 스피커, 헤드폰, 지향성 헤드폰 등과 같은 디바이스가 있을 수 있다. 전술한 동작 외에도 다양한 동작이 음성 출력 디바이스(700)에서 구현될 수 있으며, 음성 출력 디바이스(700)의 동작이 전술한 동작들에 제한되는 것은 아니다.
도 5와 관련된 설명에서 설명의 편의를 위하여, 호스트 디바이스(500), 음성 디바이스(600) 및 음성 출력 디바이스(700)는 각각 분리되어 존재하는 별개의 디바이스인 것으로 설명하였으나, 호스트 디바이스(500), 음성 디바이스(600) 및 음성 출력 디바이스(700)는 하나의 디바이스에 일부 또는 전부가 존재할 수 있다. 예를 들어, 음성 디바이스(600) 및 음성 출력 디바이스(700)가 결합되어 하나의 디바이스로 존재하거나, 호스트 디바이스(500), 음성 디바이스(600) 및 음성 출력 디바이스(700)가 결합되어 하나의 디바이스로 존재할 수 있다.
이하에서는, 설명의 편의를 위해 도 6에서 나타난 바와 같이, 호스트 디바이스(500)는 어떠한 디바이스와도 결합되지 않은 채로 분리되어 존재하고, 분리되어 존재하는 호스트 디바이스(500)와 음성 디바이스(600) 및 음성 출력 디바이스(700)가 결합된 디바이스(800)가 상호 간에 통신함으로써 본 명세서에서 제공되는 음성 정보 제어 방법이 수행되는 것을 전제로 설명하도록 한다.
도 7 및 도 11은 호스트 디바이스(500)와 음성 디바이스(600) 및 음성 출력 디바이스(700)가 결합된 디바이스(800)의 블록도를 각각 나타낸 도이다.
호스트 디바이스(500)는 제어부(510)와 통신부(520)를 포함할 수 있다. 제어부(510)는 호스트 디바이스(500)가 디바이스(800)로부터 음성 정보와 관련된 메타 데이터를 수신하면, 메타 데이터에 기초하여 디바이스(800)로 음성 정보의 출력을 지시하는 음성 출력 명령 또는 재구성된 메타 데이터를 전송할 지 여부를 결정할 수 있다. 통신부(520)는 음성 정보와 관련된 메타 데이터를 수신하고, 메타 데이터에 기초하여 디바이스(800)로 음성 정보의 출력을 지시하는 음성 출력 명령 또는 재구성된 메타 데이터를 전송하는 등의 동작을 수행하기 위해서 사용된다.
디바이스(800)는 제어부(810), 통신부(820) 및 출력부(830)를 포함할 수 있다. 제어부(810)는 음성 정보 생성, 음성 정보와 관련된 메타 데이터 생성 등의 동작을 수행하도록 제어하고, 호스트 디바이스(500)로 음성 정보와 관련된 메타 데이터를 전송하도록 통신부(820)을 제어할 수 있다. 통신부(820)는 디바이스(800)로 메타 데이터를 전송하고, 디바이스(800)로부터 음성 정보의 출력을 지시하는 음성 출력 명령 또는 재구성된 메타 데이터를 수신할 수 있다. 출력부(830)는 음성 정보를 출력할 수 있다. 이 때 출력부(830)는 음성 출력 디바이스(700)일 수 있다.
이하에서 설명의 편의를 위해, 본 명세서에서 제공되는 음성 정보 제어 방법을 호스트 디바이스(500)동작 위주로 설명하도록 한다. 본 명세서에서 제공되는 음성 정보 제어 방법이 호스트 디바이스(500) 뿐만 아니라 디바이스(800)에도 적용될 수 있음은 자명하다.
도 9는 본 명세서에서 제공되는 음성 정보 제어방법의 일 실시예에 따른 따른 흐름도이다.
도 9는 호스트 디바이스(500)와 디바이스(800) 사이에서 수행되는 음성 정보 제어 방법을 개략적으로 나타낸다.
호스트 디바이스(500)는 디바이스(800)가 생성한 음성 정보와 관련된 메타 데이터를 디바이스(800)로부터 수신한다(S1310). 이 때, 음성 정보는 전송되지 않고, 오직 상기 음성 정보에 대한 메타 데이터만이 호스트 디바이스(500)로 전송된다. 디바이스(800)는 자율 주행 차량의 주행과 관련된 특정 이벤트 또는 디바이스(800) 내부 이벤트와 관련하여 자신이 생성한 음성 정보에 기초하여 상기 음성 정보와 관련된 메타 데이터를 생성한다.
호스트 디바이스(500)는 상기 메타 데이터에 기초하여 디바이스(800)에게 음성 출력 명령 또는 메타 데이터 재전송 요청을 전달한다(S1320). 호스트 디바이스(500)는 상기 메타 데이터에 포함된 정보들에 기초하여 디바이스(800)로 음성 출력 명령을 전달할 지 메타 데이터 재전송 요청을 전달할 지를 결정할 수 있다. 상기 음성 출력 명령 또는 상기 메타 데이터 재전송 요청에 기초하여, 디바이스(800)가 출력하는 음성 정보는 다른 디바이스가 출력하는 음성 정보와 충돌이 회피되어 출력될 수 있다.
이하에서는, 메타 데이터의 생성 방법 및 메타 데이터에 포함된 정보, 디바이스(800)들에 의하여 출력되는 음성 정보들에 포함된 키워드들 간의 충돌이 발생이 예상되는 경우, 키워드들 간의 충돌이 회피되는 방법에 대하여 구체적으로 살펴본다.
메타 데이터의 생성 방법 및 메타 데이터에 포함된 정보
음성 정보에 대한 메타 데이터는 음성 디바이스(600), 음성 출력 디바이스(700) 또는 호스트 디바이스(500)와 같은 제 3의 디바이스에 의해서 생성될 수 있다. 설명의 편의를 위해, 도 10를 참조하여 음성 디바이스(600)와 음성 출력 디바이스(700)가 결합된 디바이스(800)에 의하여 음성 정보와 관련된 메타 데이터가 생성되는 방법에 대하여 살펴본다.
도 10은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 음성 정보에 대한 메타 데이터가 생성되는 일 예를 나타낸 흐름도이다.
먼저, 메타 데이터를 생성하기에 앞서 디바이스(800)는 특정 이벤트와 관련된 음성 정보를 생성한다(S1410). S1410 단계 이후의 메타 데이터가 생성 단계들을 살펴보기에 앞서, 도 11를 참조하여 음성 정보가 생성되는 방법에 대해서 구체적으로 살펴본다.
도 11은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 음성 정보가 생성되는 일 예를 나타낸 흐름도이다.
디바이스(800)의 음성 정보 생성을 유발하는 특정 이벤트가 발생하면 디바이스(800)는 상기 특정 이벤트와 관련된(나타내는) 적어도 하나의 후보 문장들을 결정한다(S1510). 상기 적어도 하나의 후보 문장들은 동일한 이벤트를 서로 다른 어순으로 표현하는 문장들일 수 있다.
다음, 디바이스(800)는 상기 적어도 하나의 후보 문장들 중 음성 정보 생성에 사용할 특정 문장을 결정한다(S1520). 상기 결정된 특정 문장이 음성 정보가 나타내는 문장이 된다.
도 10로 돌아와서, 디바이스(800)는 음성 정보가 나타내는 문장을 분석하고, 분석 결과에 기초하여 음성 정보가 나타내는 상기 문장에 포함된 문장 성분들을 추출한다(S1420 내지 S1430).
다음, 디바이스(800)는 상기 추출된 문장 성분들에 기초하여 문장 성분 중요도 정보를 생성한다(S1440). 상기 문장 성분 중요도 정보는 음성 정보가 나타내는 문장을 구성하는 문장 성분들에 대하여, 상기 문장 내에서 상기 문장 성분들 각각이 갖는 중요도인 개별 문장 성분 중요도를 각각 나타내는 정보일 수 있다. 상기 개별 문장 성분 중요도는 특정한 기준에 의하여 결정될 수 있고, 상기 특정한 기준은 디바이스(800)에 사전에 설정되어 있을 수 있다. 또한, 상기 특정한 기준은 상황에 따라 동적으로 변화될 수 있다.
도 12은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따라 생성된 문장 성분 중요도 정보의 일 예를 나타낸 도이다.
도 12을 참조하여, 디바이스(800)가 메타 데이터에 포함되는 문장 성분 중요도 정보를 생성하는 방법을 보다 구체적으로 살펴본다. 특정한 음성 정보가 나타내는 문장은, 운전자에게 전달되어야하는 핵심 정보와 관련된 문장 성분 및 상기 특정 문장을 구성하기 위해 필요한 정보와 관련된 문장 성분을 모두 포함할 수 있다. 도 16에서, 특정 음성 정보가 나타내는 문장인 "10미터 앞에서 우회전 하겠습니다."라는 문장에서, 디바이스(800)는 미리 설정된 특정한 기준에 기초하여 운전자에게 전달되어야 하는 핵심 정보와 관련된 문장 성분은 "우회전" 이고 이 외의 문장 성분들은 상기 문장을 구성하기 위해 필요한 정보와 관련된 문장 성분인 것으로 판단할 수 있다. 디바이스(800)는 상기 판단 결과에 기초하여, 핵심 정보와 관련된 문장 성분인 "우회전"에는 높은 중요도(33333)을 부여하고, 문장을 구성하기 위해 필요한 문장 성분인 "우회전"이외의 다른 문장 성분들에 대해서는 낮은 중요도(55555)를 부여할 수 있다. 이와는 반대로, 중요도가 높은 문장 성분일수록 높은 숫자를 이용하여 중요도를 부여할 수 있다. 위와 같은 방법으로, 문장 성분 중요도 정보가 디바이스(800)에서 생성될 수 있고, 생성된 문장 성분 중요도 정보는 "555555 33333 555555"와 같은 형태로 메타 데이터에 포함될 수 있다. 문장 성분 중요도 정보의 형태를 보면, 문장 성분 중요도 정보는 특정 음성 정보가 나타내는 특정 문장에 포함된 문장 성분들 각각이 갖는 중요도인 개별 문장 성분 중요도를 모두 포함하여 나타내는 정보임을 알 수 있다.
호스트 디바이스(500)는 디바이스(800)로부터 메타 데이터를 수신하고, 메타 데이터에 포함된 문장 성분 중요도 정보에 기초하여 특정한 음성 정보가 나타내는 문장 내에서 키워드의 위치를 파악하여, 파악된 키워드 위치에 기초하여 여러 디바이스(800)들의 서로 다른 음성 정보들 각각이 충돌이 회피되어 각각 출력될 수 있도록 여러 디바이스(800)들을 제어할 수 있다.
다음, 디바이스(800)는 생성된 문장 성분 중요도 정보에 기초하여 음성 정보가 나타내는 문장에 포함된 키워드를 결정하고, 결정된 키워드에 기초하여 키워드의 중요도인 키워드 중요도 정보를 생성한다(S1450). 특정 문장 내에서 문장 성분들 중 가장 높은 개별 문장 성분 중요도를 갖는 특정한 문장 성분이 키워드가 된다.
키워드 중요도 정보는 특정 키워드가 포함된 특정 문장 내에서의 상기 특정 키워드의 개별 문장 성분 중요도와는 무관하다. 즉, 상기 키워드 중요도 정보는, 상기 특정 문장과 다른 문장에 포함된 키워드와 상기 특정 키워드와의 관계에서, 상기 특정 키워드와 상기 다른 키워드 중 어떤 키워드가 더 큰 중요도를 갖는 키워드인지를 결정하기 위한 척도로 사용되는 정보이다. 따라서, 키워드 중요도 정보는 특정 키워드의 객관적인 중요도와 관련된 키워드 중요도 값을 포함할 수 있다. 키워드 중요도 정보는 키워드 중요도 값과 동일한 의미로 사용될 수 있다.
보다 구체적으로, 호스트 디바이스(500)가 서로 다른 음성 정보들과 각각 관련된 문장 성분 중요도 정보에 기초하여 상기 서로 다른 음성 정보에 각각 포함된 키워드들 간의 충돌이 발생할 것으로 판단한 경우, 호스트 디바이스(500)는 상기 서로 다른 음성 정보 각각의 키워드 중요도 정보에 기초하여, 서로 다른 음성 정보 중 어떤 음성 정보의 키워드를 먼저 출력하게 할 것인지를 결정할 수 있다. 키워드 중요도 정보에 포함되는 특정 키워드의 키워드 중요도 값을 결정하는 기준을 이하에서 살펴본다.
키워드 중요도는 특정 디바이스가 제공하는 음성 정보의 종류 또는 자율 주행 차량이 주행 중인 상황, 운전자 또는 탑승자가 처한 상황에 기초하여 결정될 수 있다.
자율 주행 차량 내부에 구비된 디바이스(800)들은 사전에 정의된 우선 순위에 기초하여 음성정보를 출력할 수 있다. 키워드 중요도 설정 기준은 아래와 같다.
먼저, 운전자 또는 탑승자가 사전에 자신의 기호에 따라 다양한 종류의 음성 정보들 중, 우선적으로 정보를 전달받기를 희망하는 종류의 음성 정보를 출력하는 디바이스(800)를 선택할 수 있다. 이 때, 운전자 또는 탑승자가 선호하는 정도에 따라 키워드 중요도가 결정될 수 있다. 예를 들어, 운전자는 라디오에서 출력되는 음성 정보를 최우선으로 전달받고, 다음으로 네비게이션에서 출력되는 음성 정보를 전달 받도록 설정할 수 있다. 이 경우, 복수의 음성 정보들에 대한 메타 데이터가 생성된 경우, 라디오에서 생성된 음성 정보에 대한 메타 데이터에 포함된 키워드 중요도 정보가 가장 높은 값을 가지게 된다.
다음으로, 운전자에게 음성 정보가 전달 되어야하는 긴급성에 기초하여 키워드 중요도가 결정될 수 있다. 예를 들어, 10미터 앞 보행자가 발견었다는 정보가 가장 높은 키워드 중요도를 가지고, 다음으로 1 km 앞 사고가 발생 했음을 알리는 음성 정보, 마지막으로 외부의 온도/습도와 관련된 음성 정보가 3순위의 키워드 중요도 값을 가질 수 있고, 이러한 키워드 중요도에 기초하여 각 음성 정보에 대한 메타 데이터 별로 키워드 중요도 정보가 결정될 수 있다.
다음으로, 운전자 또는 탑승자가 처한 상황에 따라서 키워드 중요도가 결정될 수 있다. 예를 들어, 운전자가 주차 중인 경우 1m 주위 사람 접근했다는 알림과 관련된 음성 정보가 1순위의 키워드 중요도 값을 가지고, 30cm 주위에 특정한 물체 발견되었다는 알림과 관련된 음성 정보가 2순위 키워드 중요도 값을 가질 수 있다.
앞에 설명한 키워드 중요도 결정에 사용되는 기준들 간에도 우선순위가 있을 수 있다. 예를 들어, 긴급 기준이 1순위, 상황 기준이 2순위 마지막으로 선호도 기준이 3순위일 수 있다. 기준들 간의 우선 순위는 사전에 정의될 수도 있으며, 사용자의 선택에 따라서 설정될 수도 있다.
또한, 특정 상황에서 운전자에게 전달되었을 때, 운전자에게 위험이 초래되거나 불이익이 초래될 것이 예상되는 음성 정보가 있을 수 있다. 이러한 종류의 음성 정보는 삭제될 수 있다. 예를 들어, 자율 주행 차량의 창문을 내렸을 때 차량 내부의 라디오 소리가 제거되거나, 운전자가 통화 중인 경우, 자율 주행 차량의 주행과 관련된 안내 정보 등이 제거될 수 있다.
도 13은 본 명세서에서 제공되는 방법의 일 실시예에 따른 자율 차량 내부의 좌석 별로 탑승자가 전달 받는 음성 정보의 종류 또는 음성 정보의 우선순위가 다르게 설정되는 방법의 일 예를 나타낸 도이다.
자율 주행 차량의 좌석 별로 탑승자에게 전달되는 음성 정보의 종류가 다르게 설정되는 것을 알 수 있다. 미리 정의된 기본 설정값에 따라서, 좌석별로 전달되는 음성 정보 설정이 결정될 수 있다. 특정 탑승자가 유선 헤드폰을 통해서 음성 정보를 전달받는 경우, 이어잭을 꽂는 순간 헤드폰이 꽂힌 위치에 기초하여 헤드폰이 상기 특성 탑승자의 좌석을 감지하고 기본 설정값으로 설정될 수 있다. 무선 헤드폰의 경우는 무선 헤드폰의 전원을 켜는 순간 탑승자의 위치를 감지하고 기본 설정값으로 설정될 수 있다. 음성 정보를 전달 받아 음성을 출력하는 음성 출력 디바이스가 탑승자의 현재 좌석 위치를 감지하지 못하는 경우, 차량 내에 설치된 키오스크 화면에서 음성 출력 디바이스를 선택할 수 있다. 이와 같이 자율주행 차량 내부의 좌석별로 전달되는 음성 정보를 별개로 설정하는 방법은 여러 개의 음성 정보 중 탑승자에게 필요한 음성 정보만을 선택하여 전달받도록 하여 음성 정보에 포함된 중요한 키워드 간의 충돌 가능성을 줄일 수 있다. 도 13에서, 운전 중 운전자(1번 위치)의 조작으로 전체 위치의 Preset을 설정할 수도 있고, 2~4번 자리의 탑승자도 강제로 전체의 Preset을 설정할 수 있다. 강제적으로 설정된 preset은 일정 시간이 지난 후 다시 원상복구될 수 있다.
위에서 살펴본 내용을 정리하면, S1410 내지 S1450 과정을 통하여 특정 음성 정보에 대한 메타 데이터가 생성될 수 있다. 생성된 메타 데이터는 음성 정보가 나타내는 문장과 관련된 문장 정보를 포함하고, 상기 메타 데이터의 기초가 된 음성 정보가 나타내는 문장의 중요도와 관련된 중요도 정보를 포함한다.
상기 문장 정보는 상기 음성 정보가 나타내는 문장의 텍스트 정보일 수 있다. 또한, 상기 중요도 정보는 문장 성분 중요도 정보 및 키워드 중요도 정보를 포함할 수 있다.
문장 성분 중요도 정보는 호스트 디바이스(500)가 메타 데이터에 문장 정보가 나타내는 문장의 키워드의 위치를 파악하는 데에 사용되는 정보이므로, 키워드 위치 정보로도 표현될 수 있다.
또한, 키워드 중요도 정보는 특정 메타 데이터와 관련된 특정 문장의 키워드가 갖는 객관적인 중요도와 관련된 키워드 중요도 값을 포함하는 정보이다. 호스트 디바이스(500)는 서로 다른 음성 정보에 각각 포함된 키워드들이 충돌할 것으로 판단된 경우, 키워드 중요도 정보에 기초하여 서로 다른 음성 정보 중 먼저 출력할 하나의 음성 정보를 결정하고 결정한 결과를 서로 다른 디바이스(800)로 각각 전달할 수 있다.
디바이스(800)는 호스트 디바이스(500)에 음성 정보에 대한 메타 데이터를 전송하기 위해 아래와 같은 방법을 사용한다. 보다 구체적으로, 디바이스(800)가 호스트 디바이스(500)로 메타 데이터를 전송하려고 할 때 디바이스(800)외의 다른 디바이스가 먼저 호스트 디바이스(500)와 정보를 교환하고 있는 경우 아래와 같은 방법으로 메타 데이터를 전송할 수 있다.
상기 다른 디바이스와 호스트 디바이스(500)간의 정보 교환이 이루어 지고 있는 채널과는 다른 별도의 채널로 메타 데이터를 전달할 수 있다. 예를 들어, 디바이스(800)는 5G(geneation) / WiFi / Bluetooth / 유선과 같은 별도의 시그널로 메타 정보를 전달할 수 있다.
또한, 디바이스(800)는 비가청주파수 대역을 사용하여 메타 데이터를 호스트 디바이스(500)로 전달할 수 있다. 이러한 방법을 사용하는 경우, 비가청주파수의 출력이 가능한 스피커의 경우라면 별도 채널 등을 사용하기 위한 추가적인 비용이 요구되지 않아 비용 측면에서 장점이 있다. 비가청주파수 대역은 음성의 경우 20 hz ~ 20,000 hz 대역, 신호의 경우 25,000 hz가 있을 수 있다.
마지막으로, 디바이스(800)는 가청주파수로 메타 데이터를 전달할 수 있다. 이는 디바이스(800)가 전달하는 음성과 함께, 사전에 미리 설정된 방법으로 코딩된 신호를 함께 실어서 전송하는 방법이다. 이 방법은 디바이스(800)(예를 들어, 스피커)가 가청 주파수 밖의 소리를 출력하기 어려운 경우 사될 수 있다.
키워드의 충돌을 회피한 음성 정보 출력 방법
키워드의 충돌을 회피하여 음성 정보를 출력하는 방법은 다음과 같은 두 가지 Case에서 적용이 가능하다. 첫 번째로, 서로 다른 복수의 디바이스(800) 중 어떤 디바이스에게도 음성 출력 명령을 전송하기 전에 서로 다른 복수의 디바이스로부터 복수의 메타 데이터를 모두 수신하는 경우(Case 1)가 있고, 두 번째로 서로 다른 복수의 디바이스(800) 중 특정 디바이스에 디바이스의 음성 정보가 먼저 출력되고 있는 도중에, 상기 특정 디바이스 외의 다른 디바이스(800)로부터 메타 데이터를 수신하는 경우(Case 2)가 있다.
위의 두 가지 경우 모두, 서로 다른 복수의 디바이스(800)가 각각 출력하는 서로 다른 음성 정보의 키워드 간의 충돌이 발생하는 경우에만 키워드의 충돌 회피를 위한 음성 정보 제어 방법이 수행된다. 이 때, 호스트 디바이스가 디바이스(800)로 전송하는 음성 출력 정보는 키워드들의 충돌을 회피기 위한 회피 방법과 관련된 정보인 충돌 회피 정보가 포함될 수 있다. 또한, 키워드들의 충돌을 회피하기 위한 회피 방법 자체는 Case 1 및 Case 2에서 동일하게 적용될 수 있다.
다만, Case 1의 경우인지 또는 Case 2의 경우인지에 따라서, 호스트 디바이스(500)와 서로 다른 복수의 디바이스(800)들 사이에서 본 명세서에서 제공되는 음성 정보 제어 방법이 구현되는 양상은 차이점이 존재한다.
따라서, 먼저 Case 1 및 Case 2에 공통적으로 적용될 수 있는 키워드 충돌 회피방법에 대해서 설명하고, 본 명세서에서 제공되는 음성 정보 제어 방법이 Case 1 및 Case 2에서 구현되는 서로 다른 양상을 각각 설명하도록 한다.
키워드들 간의 충돌을 회피하는 방법: Case 1 및 Case 2에 공통으로 적용됨
본 방법은 도 14에서와 같이, 서로 다른 디바이스가 생성한 서로 다른 음성 정보가 나타내는 각각의 문장에서, 상기 각각의 문장에 포함된 키워드들이 충돌하는 경우에 적용될 수 있다. 이하에서, 서로 다른 음성 정보의 키워드들이 충돌하는 경우에, 키워드들의 충돌을 회피하기 위한 다양한 방법들에 대하여 살펴본다.
설명의 편의를 위해, 2개의 음성 정보간에 키워드 충돌을 회피하는 방법에 한정하여 살펴보도록한다. 서로 다른 음성 정보의 키워드 충돌을 회피하는 방법은 2개 이상의 서로 다른 음성 정보에 포함된 키워드들의 충돌을 회피하여 출력하는 경우에도 적용될 수 있음은 자명하다.
도 15는 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
보다 구체적으로, 도 15는 2 개의 서로 다른 음성 정보 중 하나의 음성 정보에 일정 오프셋(delay) 만큼 딜레이를 두어 출력되도록 하는 방법이다. 일정 오프셋 만큼 딜레이를 두어 하나의 음성 정보를 출력함으로써, 키워드의 충돌이 회피될 수 있다. 여기서, 서로 다른 음성 정보 중 더 높은 키워드 중요도 값을 갖는 키워드가 포함된 문장을 나타내는 음성 정보가 더 먼저 출력될 수 있다. 호스트 디바이스(500)는 상기 서로 다른 음성 정보 각각에 대한 메타 데이터에 포함된 키워드 중요도 정보들에 기초하여 먼저 출력할 음성 정보를 결정할 수 있다.
도 16은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
보다 구체적으로, 도 16은 2 개의 서로 다른 음성 정보 중 하나의 음성 정보를. 상기 하나의 음성 정보가 나타내는 문장의 문장 배치 순서를 변경하여 출력되도록 하는 방법이다. 상기 서로 다른 음성 정보 중 하나의 음성 정보가 나타내는 문장의 문장 배치 순서를 변경하여 출력함으로써, 키워드의 충돌이 회피될 수 있다. 여기서, 서로 다른 음성 정보 중 더 높은 키워드 중요도 값을 갖는 키워드가 포함된 문장을, 상기 문장에 포함된 키워드의 상기 문장 내에서의 위치를 상기 문장의 앞쪽으로 이동하여 출력할 수 있다. 또는, 서로 다른 음성 정보 중 더 낮은 키워드 중요도 값을 갖는 키워드가 포함된 문장을, 상기 문장에 포함된 키워드의 상기 문장 내에서의 위치를 상기 문장의 뒷쪽으로 이동하여 출력할 수 있다. 호스트 디바이스(500)는 상기 서로 다른 음성 정보 각각에 대한 메타 데이터 포함된 키워드 중요도 정보들에 기초하여 상기 서로 다른 음성 정보 각각이 나타내는 문장들 중 어떤 문장의 문장 배치 순서를 변경할 지를 결정할 수 있다.
도 17은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
보다 구체적으로, 도 17은 2 개의 서로 다른 음성 정보들이 서로 다른 볼륨 크기로 출력되도록 하는 방법이다. 상기 서로 다른 음성 정보들 각각을 서로 다른 크기로 출력함으로써, 키워드의 충돌이 완벽하게 회피될 수 있는 것은 아니지만, 상기 서로 다른 음성 정보들 각각이 나타내는 각각의 문장 중, 하나의 문장은 운전자에게 정확하게 전달될 수 있다. 여기서, 서로 다른 음성 정보 중 더 높은 키워드 중요도 값을 갖는 키워드가 포함된 문장이 더 큰 볼륨 크기로 출력될 수 있다. 호스트 디바이스(500)는 상기 서로 다른 음성 정보 각각에 대한 메타 데이터에 포함된 키워드 중요도 정보들에 각각에 기초하여 더 큰 볼륨으로 출력할 음성 정보를 결정할 수 있다. 또한, 상기 서로 다른 음성 정보 각각에 대한 메타 데이터에 포함된 키워드 중요도 키워드 중요도 값들의 차이가 클수록 상기 서로 다른 음성 정보 각각의 출력 볼륨 크기의 차이는 커질 수 있다. 추가적으로, 상기 서로 다른 음성 정보 각각의 키워드가 명확히 구분되어 전달되기 위해서, 키워드 주변의 문장 성분의 출력 볼륨 크기부터 단계적으로 조절될 수 있다.
도 18은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
보다 구체적으로, 도 18은 2 개의 서로 다른 음성 정보들을 각각 서로 다른 억양으로 출력되도록 하는 방법이다. 서로 다른 억양으로 상기 서로 다른 음성 정보들을 출력함으로써, 키워드가 운전자에게 명확하게 전달될 수 있다. 호스트 디바이스(500)는 상기 서로 다른 음성 정보 각각에 대한 메타 데이터에 포함된 키워드 중요도 정보들에 기초하여 상기 서로 다른 음성 정보 각각을 어떤 억양으로 출력할 지를 결정할 수 있다. 억양은 표준어, 방언(dialect) 등을 사용하여 차이를 발생시킬 수 있다. 또한, 운전자는 디바이스(800)별로 자신이 원하는 억양을 설정할 수도 있다.
도 19는 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
보다 구체적으로, 도 19는 2 개의 서로 다른 음성 정보의 키워드들이 서로 음절 단위로 구별되어 엇갈리게 출력되도록 하는 방법이다. 이 방법은 도 15에서 서로 다른 음성 정보 중 하나의 음성 정보에 일정 오프셋 만큼 딜레이(delay)를 두어 출력되도록 하는 방법의 확장으로 이해될 수 있다. 즉, 오프셋 만큼 딜레이를 주어 서로 다른 음성 정보들을 출력하되, 서로 다른 키워드들이 음절 단위로 엇갈리어 출력될 수 있는 정도로 상기 오프셋이 주어지는 경우에 해당한다. 본 방법은 한국어, 일본어, 중국어와 같이 같이 음절의 구분이 있는 경우에 사용 가능하며, 영어와 같이 음절의 구분이 없는 경우에는 키워드들 간의 엑센트가 겹치지 않도록 출력하는 방법으로 대체될 수 있다.
도 20은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다.
보다 구체적으로, 도 20은 2 개의 서로 다른 음성 정보들이 서로 다른 음 높이로 출력되도록 하는 방법이다. 상기 서로 다른 음성 정보들 각각을 서로 다른 음 높이로 출력함으로써, 키워드의 충돌이 완벽하게 회피될 수 있는 것은 아니지만, 상기 서로 다른 음성 정보들 각각이 나타내는 각각의 문장이 운전자에게 구별되어 각각 전달될 수 있다. 여기서, 서로 다른 음성 정보 중 더 높은 키워드 중요도 값을 갖는 키워드가 포함된 문장이 더 높은 음 높이로 출력될 수 있다. 호스트 디바이스(500)는 상기 서로 다른 음성 정보 각각에 대한 메타 데이터에 포함된 키워드 중요도 정보들에 기초하여 더 높은 음 높이로 출력할 음성 정보를 결정할 수 있다. 또한, 상기 서로 다른 음성 정보 각각에 대한 메타 데이터에 포함된 키워드 중요도 키워드 중요도 값들의 차이가 클수록 상기 서로 다른 음성 정보 각각의 음 높이의 차이는 커질 수 있다.
이하에서, Case 1 및 Case 2 각각의 경우에 대하여, 본 명세서에서 제공되는 음성 정보 제어 방법이 서로 다른 양상으로 수행되는 실시 예들에 대하여 설명한다. 설명의 편의를 위해 2개의 디바이스(800)와 호스트 디바이스(500) 사이에서 음성 정보 제어 방법이 수행되는 경우에 한정하여 설명하도록 한다. 본 명세서에서 제공되는 음성 정보 제어 방법은 더 많은 숫자의 디바이스와 호스트 디바이스(500)사이에서 본 방법이 수행되는 경우에도 적용될 수 있음은 자명하다. 이하에서, 상기 2개의 디바이스(800)를 각각 제 1 디바이스 및 제 2 디바이스로 표현하도록 한다.
Case 1에서의 호스트 디바이스(500)와 제 1, 제 2 디바이스의 동작
도 21은 본 명세서에서 제공되는 방법의 일 실시예에 따른 음성 정보 제어방법이 호스트 디바이스, 제 1 디바이스 및 제 2 디바이스 사이에서 수행되는 일 예를 나타낸 흐름도이다.
도 21에서, 호스트 디바이스(800)은 제 1 디바이스로부터 상기 제 1 디바이스가 생성한 제 1 음성 정보에 대한 제 1 메타 데이터를 수신한다(S2510).
다음, 호스트 디바이스(800)은 제 2 디바이스로부터 상기 제 2 디바이스가 생성한 제 2 음성 정보에 대한 제 2 메타 데이터를 수신한다(S2520). 상기 S2510 단계와 S2520 단계의 순서는 바뀔수도 있고, 또는 동시에 수행될 수도 있다.
도 21에 도시되어 있지는 않지만, 호스트 디바이스(800)는 상기 제 1 메타 데이터 및 제 2 메타 데이터에 각각 포함된 문장 성분 중요도 정보에 기초하여 상기 제 1 음성 정보가 나타내는 문장에 포함된 키워드와 상기 제 2 음성 정보가 나타내는 문장에 포함된 키워드간에 충돌이 발생하는 지 여부를 판단할 수 있다.
다음, 호스트 디바이스(500)는 상기 제 1 디바이스 및 상기 제 2 디바이스로 음성 출력 명령을 각각 전송한다(S2530). 만약, 호스트 디바이스(500)가 키워드간에 충돌이 발생하지 않는 것으로 판단한 경우, 상기 음성 출력 명령은 단순히 상기 제 1 디바이스 및 상기 제 2 디바이스 각각에게 상기 제 1 음성 정보 및 상기 제 2 음성 정보를 각각 출력하도록 지시하는 지시 정보만을 포함할 수 있다.
반대로, 호스트 디바이스(500)가 키워드간에 충돌이 발생하는 것으로 판단한 경우, 상기 음성 출력 명령은 상기 제 1 음성 정보의 키워드와 상기 제 2 음성 정보의 키워드 간의 충돌을 회피하기 위한 정보인 충돌 회피 정보를 포함할 수 있다. 상기 충돌 회피 정보는 앞서 도 14 내지 도 20에서 살펴본 키워드들 간의 충돌 회피 방법과 관련된 정보를 적어도 하나 이상 포함할 수 있다. 호스트 디바이스(500)는 충돌 회피 정보를 생성하기 위해서, 상기 제 1 메타 데이터 및 상기 제 2 메타 데이터 각각에 포함된 키워드 중요도 정보를 사용할 수 있다. 상기 제 1 디바이스 및 상기 제 2 디바이스는 호스트 디바이스(500)에 메타 데이터를 각각 전달한 후, 호스트 디바이스(500)의 판단에 따라 자신들이 생성한 음성 정보가 나타내는 문장의 구성이 변경될 수 있으므로, 호스트 디바이스(500)로부터 음성 출력 명령을 생성하기 전까지, 음성 정보를 출력하기 위한 음성 메시지를 미리 생성하지 않는다.
Case 2에서의 호스트 디바이스(500)와 제 1, 제 2 디바이스의 동작
도 22는 본 명세서에서 제공되는 방법이 적용되는 일 실시예에 따른 서로 다른 음성 정보 중 하나의 음성정보가 먼저 출력되는 도중에 다른 음성 정보가 출력되는 일 예를 나타낸 도이다.
도 22에서, "전방 10미터 앞에서 우회전하겠습니다."라는 문장이 먼저 출력되고 있는 도중에, "10미터 앞에서 사고발생으로 서행합니다."라는 문장이 출력되는 것을 알 수 있다. 이러한 경우도 키워드들 간의 충돌이 발생할 수 있다. 도 22에서는, 서로 다른 음성 정보의 키워드인 "우회전"과 "사고 발생"이 충돌한다.
나중에 출력되는 음성 정보에 포함된 키워드의 키워드 중요도가 먼저 출력되고 있는 음성 정보에 포함된 키워드의 키워드 중요도보다 더 크면, 호스트 디바이스(500)는 나중에 출력되는 음성 정보에 포함된 키워드가 먼저 출력된 음성 정보에 포함된 키워드보다 먼저 전달되도록 하는 등의 동작을 수행한다. 그 반대도 가능하다. 이러한 동작을 수행하기 위해서, 이미 재생되고 있는 음성의 어순을 바꾸거나 나중에 출력되는 음성 정보가 나타내는 문장의 문장 성분의 배치 순서를 변경할 수 있다.
도 23은 본 명세서에서 제공되는 방법의 일 실시예에 따른 음성 정보 제어방법이 호스트 디바이스에서 수행되는 일 예를 나타낸 흐름도이다.
호스트 디바이스(500)는 디바이스(800)로부터 디바이스(800)가 생성한 음성 정보에 대한 메타 데이터를 수신한다(S2710).
호스트 디바이스(500)는 현재 출력 중인 다른 디바이스의 음성 정보가 있는 지 여부를 판단한다(S2720). 만약 현재 출력 중인 다른 음성 정보가 없다면 디바이스(800)로부터 수신한 상기 음성 정보를 그대로 출력하도록 디바이스(800)에게 음성 출력 명령을 전송한다(S2732).
반대로, 현재 출력 중인 다른 음성 정보가 있다면, 디바이스(800)로부터 수신한 음성정보에 포함된 키워드와 현재 출력 중인 다른 음성정보에 포함된 키워드가 충돌하는 지 여부를 판단한다(S2731).
만약 호스트 디바이스(500)가 상기 키워드들 간의 충돌이 발생하지 않는것으로 판단한다면, 디바이스(800)로 디바이스(800)가 생성한 음성 정보를 출력하도록 지시하는 음성 출력 명령을 전송한다(S2732).
호스트 디바이스(500)가 상기 키워드들 간의 충돌이 발생하는 것으로 판단한다면, 호스트 디바이스는 현재 출력 중인 다른 음성 정보의 키워드 중요도가 디바이스(800)가 생성한 음성 정보에 포함된 키워드의 키워드 중요도보다 더 높은지 여부를 판단한다(S2741).
현재 출력 중인 다른 음성 정보의 키워드의 키워드 중요도가 디바이스(800)가 생성한 음성 정보에 포함된 키워드의 키워드 중요도보다 더 높은 경우, 호스트 디바이스(500)는 디바이스(800)로 메타 데이터를 재요청한다(S2751).
현재 출력 중인 다른 음성 정보의 키워드의 키워드 중요도가 디바이스(800)가 생성한 음성 정보에 포함된 키워드의 키워드 중요도보다 더 낮은 경우, 호스트 디바이스(500)는 상기 다른 디바이스로 메타 데이터를 재요청한다(S2752).
여기서, 호스트 디바이스(500)가 특정 디바이스에게 메타 데이터를 재요청하는 경우, 상기 메타 데이터 재요청을 수신하는 디바이스는, 메타 데이터 재요청에 기초하여, 상기 메타 데이터 재요청을 수신하지 않는 디바이스가 출력한 음성 정보의 키워드와 충돌을 발생시키지 않고 자신의 음성 정보를 출력하기 위해 필요한 메타 데이터를 생성할 수 있다. 즉, 상기 메타 데이터 재요청에는 상기 메타 데이터 재요청을 수신하는 디바이스가 출력하는 음성 정보가 다른 디바이스가 출력하는 음성 정보와 키워드 충돌을 일으키지 않기 위해서 요구되는 문장 구조에 대한 정보가 포함될 수 있다.
도 24는 본 명세서에서 제공되는 방법의 일 실시예에 따른 음성 정보 제어방법이 호스트 디바이스, 제 1 디바이스 및 제 2 디바이스 사이에서 수행되는 일 예를 나타낸 흐름도이다.
도 24는 제 1 디바이스가 먼저 음성 정보를 출력하고, 제 2 디바이스가 나중에 자신이 생성한 제 1 음성 정보에 대한 제 2 메타 데이터를 호스트 디바이스(500)로 전송하는 경우를 나타낸다. 도 24에서, 제 1 디바이스의 제 1 음성 정보의 키워드 중요도가 제 2 디바이스의 제 2 음성 정보의 키워드 중요도보다 더 높고, 제 1 음성 정보의 키워드와 제 2 음성 정보의 키워드 간에 충돌이 발생하는 것을 가정한다.
도 24에서, 호스트 디바이스(500)은 제 1 디바이스 음성 출력 명령을 전송한다 (S2810).
다음, 호스트 디바이스(500)은 제 2 디바이스로부터 상기 제 2 디바이스가 생성한 제 2 음성 정보에 대한 제 2 메타 데이터를 수신한다(S2820).
도 24에 도시되어 있지는 않지만, 호스트 디바이스(500)는 상기 제 1 디바이스의 제 1 메타 데이터 및 제 2 메타 데이터에 각각 포함된 문장 성분 중요도 정보에 기초하여 상기 제 1 음성 정보가 나타내는 문장에 포함된 키워드와 상기 제 2 음성 정보가 나타내는 문장에 포함된 키워드간에 충돌이 발생하는 지 여부를 판단할 수 있다.
호스트 디바이스(500)가 판단한 결과, 상기 키워드들 간에 충돌이 발생하고, 제 2 음성 정보의 키워드 중요도가 제 1 음성 정보의 키워드 중요도보다 더 낮으므로, 호스트 디바이스(500)는 제 2 디바이스로 메타 데이터 재전송을 요청한다(S2830).
상기 제 2 디바이스는 상기 메타 데이터 재전송 요청에 기초하여, 상기 제 2 메타 데이터가 재구성된 메타 데이터인 제 3 메타 데이터를 생성한다.
다음, 호스트 디바이스(500)는 상기 제 2 디바이스로부터 상기 제 3 메타 데이터를 수신한다(S2840).
호스트 디바이스(500)는 상기 제 3 메타 데이터에 기초하여 음성 출력 명령을 생성하고, 상기 음성 출력 명령을 상기 제 2 디바이스로 전송한다(S2850). 상기 음성 출력 명령은 충돌 회피 정보를 포함할 수 있고, 상기 충돌 회피 정보는 앞서 도 14 내지 도 20에서 살펴본 키워드들 간의 충돌 회피 방법과 관련된 정보를 적어도 하나 이상 포함할 수 있다. 호스트 디바이스(500)는 충돌 회피 정보를 생성하기 위해서, 상기 제 1 메타 데이터 및 상기 제 2 메타 데이터 각각에 포함된 키워드 중요도 정보를 사용할 수 있다. 상기 제 2 디바이스는 호스트 디바이스(500)에 메타 데이터를 전달한 후, 호스트 디바이스(500)의 판단에 따라 자신이 생성한 음성 정보가 나타내는 문장의 구성이 변경될 수 있으므로, 호스트 디바이스(500)로부터 음성 출력 명령을 생성하기 전까지, 음성 정보를 출력하기 위한 음성 메시지를 미리 생성하지 않는다.
도 25는 제 1 디바이스가 먼저 음성 정보를 출력하고, 제 2 디바이스가 나중에 자신이 생성한 제 1 음성 정보에 대한 제 2 메타 데이터를 호스트 디바이스(500)로 전송하는 경우를 나타낸다. 도 25에서, 제 1 디바이스의 제 1 음성 정보의 키워드 중요도가 제 2 디바이스의 제 2 음성 정보의 키워드 중요도보다 더 낮고, 제 1 음성 정보의 키워드와 제 2 음성 정보의 키워드 간에 충돌이 발생하는 것을 가정한다.
도 25에서, 호스트 디바이스(500)은 제 1 디바이스 음성 출력 명령을 전송한다 (S2910).
다음, 호스트 디바이스(500)은 제 2 디바이스로부터 상기 제 2 디바이스가 생성한 제 2 음성 정보에 대한 제 2 메타 데이터를 수신한다(S2920).
도 25에 도시되어 있지는 않지만, 호스트 디바이스(500)는 상기 제 1 디바이스의 제 1 메타 데이터 및 제 2 메타 데이터에 각각 포함된 문장 성분 중요도 정보에 기초하여 상기 제 1 음성 정보가 나타내는 문장에 포함된 키워드와 상기 제 2 음성 정보가 나타내는 문장에 포함된 키워드간에 충돌이 발생하는 지 여부를 판단할 수 있다.
호스트 디바이스(500)가 판단한 결과, 상기 키워드들 간에 충돌이 발생하고, 제 1 음성 정보의 키워드 중요도가 제 2 음성 정보의 키워드 중요도보다 더 낮으므로, 호스트 디바이스(500)는 상기 제 2 디바이스로 음성 출력 명령을 전송하고(S2930), 상기 제 1 디바이스로 메타 데이터 재전송을 요청한다(S2940).
상기 제 1 디바이스는 상기 메타 데이터 재전송 요청에 기초하여, 상기 제 1 메타 데이터가 재구성된 메타 데이터인 제 3 메타 데이터를 생성한다.
다음, 호스트 디바이스(500)는 상기 제 1 디바이스로부터 상기 제 3 메타 데이터를 수신한다(S2950).
호스트 디바이스(500)는 상기 제 3 메타 데이터에 기초하여 음성 출력 명령을 생성하고, 상기 음성 출력 명령을 상기 제 2 디바이스로 전송한다(S2960). 상기 음성 출력 명령은 충돌 회피 정보를 포함할 수 있고, 상기 충돌 회피 정보는 앞서 도 14 내지 도 20에서 살펴본 키워드들 간의 충돌 회피 방법과 관련된 정보를 적어도 하나 이상 포함할 수 있다. 호스트 디바이스(500)는 충돌 회피 정보를 생성하기 위해서, 상기 제 1 메타 데이터 및 상기 제 2 메타 데이터 각각에 포함된 키워드 중요도 정보를 사용할 수 있다.
상기 제 2 디바이스는 호스트 디바이스(500)에 메타 데이터를 전달한 후, 호스트 디바이스(500)의 판단에 따라 자신이 생성한 음성 정보가 나타내는 문장의 구성이 변경될 수 있으므로, 호스트 디바이스(500)로부터 음성 출력 명령을 수신하기 전까지, 음성 정보를 출력하기 위한 음성 메시지를 미리 생성하지 않는다.
도 26은 본 명세서에서 제공되는 음성 정보 제어 방법의 일 실시예에 따른 키워드들 간의 충돌을 회피하는 방법의 일 예를 나타낸 도이다. 도 26에 나타난 방법은 Case 2에만 적용될 수 있는 키워드들 간의 충돌 회피 방법이다.
보다 구체적으로, 도 26은 2 개의 서로 다른 음성 정보 중 하나의 음성 정보에 아무런 의미를 갖지 않는 무의미한 문장 성분인 Dummy 단어를 삽입하여 출력되도록 하는 방법이다. 이와 같은 방법을 통해서, 서로 다른 음성 정보에 포함된 키워드들 간의 충돌이 회피될 수 있다. 여기서, 서로 다른 음성 정보 중 더 낮은 키워드 중요도 값을 갖는 키워드가 포함된 문장을 나타내는 음성 정보에 Dummy 단어가 삽입될 수 있다. 호스트 디바이스(500)는 상기 서로 다른 음성 정보 각각에 대한 메타 데이터에 포함된 키워드 중요도 정보들에 기초하여 Dummy 단어를 삽입할 음성 정보를 결정할 수 있다.
추가적으로, 도 27 및 32를 참조하여, 본 명세서의 추가적인 실시 예들에 대해서 살펴보도록 한다.
도 27은 본 명세서가 제공하는 방법의 일 실시예에 따른 문장 성분 중요도가 일정 값 이상인 문장 성분만을 선별하여 운전자에게 전달하는 방법의 일 예를 나타낸 도이다.
자율 주행 차량에 탑승 중인 탑승자 중, 특정한 탑승자는 특정한 음성 정보 외의 다른 음성 정보에 대해서는, 상기 다른 음성 정보의 내용 중 문장 성분 중요도가 일정 값 이상인 문장 성분들만을 전달 받길 원할 수 있다. 예를 들어, 상기 특정한 탑승자가 이어폰 등을 통해 뉴스를 청취하거나 플레이 중인 게임의 사운드를 청취하는 경우, 상기 특정한 탑승자는 경고 안내음과 관련된 음성 정보를 최소화 해서 듣고 싶을 수 있고, 이 경우 경고 안내음과 관련된 음성 정보에 포함된 문장 성분들 중 개별 문장 성분 중요도가 특정 값 이상인 문장 성분만 음성만 전달되도록 설정할 수 있다. 보다 구체적으로, 이어폰을 착용하고 있는 상기 특정한 탑승자에게는, 경고 안내음과 관련된 음성 정보가 출력되는 경우, 상기 경고 안내음과 관련된 음성 정보에 포함되는 문장 성분들 중 개별 문장 성분 중요도가 3 이상인(키워드)“사고발생” 만 강조되어 전달 될 수 있다. 이와 같이, 탑승자는 특정한 음성 정보가 나타내는 문장의 개별 문장 성분 중요도가 일정 값 이상인 문장 성분들만 중요도로 필터링하여 전달받을 수 있다. 개별 문장 성분 중요도로 음성 정보를 필터링하여 전달 받기를 원하는 탑승자를 제외한 다른 탑승자들에게는 음성 정보의 전체 문장이 모두 전달될 수 있다.
만약 차량 내에 지향성 스피커가 음성 출력 디바이스로 구비된 경우에는, 상기 지향성 스피커가 탑승자들 각각에 대한 개별적인 필터링 설정 정보를 저장하고 있고, 저장된 개인별 필터링 설정 정보에 기초하여 탑승자들에게 동일한 음성 정보를 서로 다른 기준에 따라 필터링해서 전달할 수 있다.
도 28은 본 명세서가 제공하는 방법의 일 실시예에 따른 자율 주행 차량의 운전 모드에 따라서 운전자에게 전달되는 정보의 양을 조절하는 방법의 일 예를 나타낸 도이다.
자율 주행 차량은 비자동, 운전자 지원, 부분 자동화, 조건부 자동화, 고도 자동화, 완전 자동화 모드 등 다양한 운전 모드에서 주행할 수 있다. 자율 주행 차량의 운전 모드에 따라서 운전자에게 전달되어야하는 정보의 양이 달라질 수 있다. 이러한 경우, 운전자는 운전 모드에 따라 자신이 필요한 정보의 양을 조절할 수 있다. 보다 구체적으로, 운전자는 운전자의 개인적인 특성, 자율 차량이 주행 중인 상황에 따른 특성, 운전 모드 등에 기초하여 자신의 원하는 정보 양을 설정할 수 있다. 운전자의 설정에 따라서 또는 자율 주행 차량에 사전에 정의된 설정 값에 따라서, 음성 정보에 포함된 키워드의 키워드 중요도 기준으로 중요한 음성은 최대한 빠르게 전달하고, 키워드 중요도가 낮은 음성 정보는 전달하지 않거나 또는 늦게 전달될 수 있다. 도 28에서, 정보량이 많다는 것은 중요도가 낮은 음성까지 운전자에게 전달된다는 것을 의미하고, 정보량이 적다는 것은 중요도가 높은 음성만 운전자에게 전달된다는 것을 의미한다.
도 29는 음성 정보의 키워드 중요도가 시간에 따라 변화할 수 있음을 보여주는 일 예를 나타낸 도이다.
가장 먼저, 3310에서 "사고 발생"이 키워드에 해당하지만, 사고 발생 지역과 거리가 점점 가까워 짐에 따라, 사고 발생지역과의 가까워 지고 있음을 나타내는 거리 정보와 관련된 "500 미터"가 키워드가 되고(3320), 마지막으로, 사고 발생 지역과 가까운 거리로 근접한 경우에는 사고 발생에 따른 위험을 피해 "서행"하는 것이 키워드가 될 수 있다(3330).
도 31는 본 명세서에서 제공되는 방법이 적용되는 일 실시예에 따른 음성 정보 제어 방법이 수행되는 일 예를 나타낸 흐름도이다.
자율 차량의 음성 정보 제어 시스템에서 자율 차량의 음성 정보 제어 방법에 있어서, 호스트 디바이스(500)에 의하여 수행되는 방법에 있어서,
호스트 디바이스(500)는 제 1 디바이스 및 제 2 디바이스로부터 상기 제 1 디바이스 및 상기 제 2 디바이스가 각각 생성한 서로 다른 메타 데이터(Meta data)를 수신한다(S3510).
다음, 호스트 디바이스(500)는 상기 서로 다른 메타 데이터에 기초하여 음성 정보의 출력을 지시하는 음성 출력 명령을 생성한다(S3520).
다음, 호스트 디바이스(500)는 상기 제 1 디바이스 및 상기 제 2 디바이스로 상기 음성 출력 명령을 각각 전송한다.
여기서, 상기 서로 다른 메타 데이터는 상기 서로 다른 메타 데이터 각각에 포함된 서로 다른 음성 정보의 중요도와 관련된 중요도 정보를 각각 포함하고, 상기 제 1 디바이스 및 상기 제 2 디바이스는 상기 서로 다른 음성 정보를 각각 출력하되, 상기 서로 다른 음성 정보에 각각 포함된 서로 다른 키워드(Keyword)들은 상기 음성 출력 정보에 기초하여 서로간의 충돌을 회피하여 출력된다.
본 명세서에서 제공되는 방법이 적용될 수 있는 실시 예들
실시예 1: 본 명세서에서 제공되는 자율 차량의 음성 정보 제어 방법은 자율 차량의 주행 중에 발생한 제1 이벤트에 대한 제1 음성 정보와 관련된 제1 메타 데이터가 제1 디바이스로부터 발생되는 단계; 상기 자율 차량의 주행 중에 발생한 제2 이벤트에 대한 제2 음성 정보와 관련된 제2 메타 데이터가 제2 디바이스로부터 발생되는 단계; 호스트 디바이스가 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 상기 제1 디바이스 및 제2 디바이스로부터 각각 수신하는 단계; 음성 정보의 출력을 지시하는 음성 출력 명령이 상기 제1 메타 데이터 및 상기 제2 메타 데이터에 기초하여 상기 호스트 디바이스로부터 발생되는 단계; 및 상기 호스트 디바이스에 의하여 상기 음성 출력 명령이 상기 제1 디바이스 및 상기 제2 디바이스로 각각 전송되는 단계를 포함하되, 상기 제1 메타 데이터는 상기 제1 음성 정보의 제1 중요도 정보를 포함하고, 상기 제2 메타 데이터는 상기 제2 음성 정보의 제2 중요도 정보를 포함하고, 상기 제1 디바이스 및 상기 제2 디바이스는 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하되, 상기 제1 음성 정보 및 상기 제2 음성정보에 각각 포함된 키워드(Keyword)는 상기 음성 출력 명령에 기초하여 서로 간의 충돌이 회피되어 출력된다.
실시예 2: 실시예 1에 있어서, 상기 제1 디바이스에 의하여 상기 제1 이벤트와 관련된 적어도 하나의 제1 후보 문장들이 결정되는 단계, 상기 제1 후보 문장들은 상기 제1 이벤트를 각각 서로 다른 어순으로 나타내는 문장들이고; 상기 제2 디바이스에 의하여 상기 제2 이벤트와 관련된 적어도 하나의 제2 후보 문장들이 결정되는 단계, 상기 제2 후보 문장들은 상기 제2 이벤트를 각각 서로 다른 어순으로 나타내는 문장들이고; 상기 제1 디바이스에 의하여 상기 제1 후보 문장들 중 상기 제1 음성 정보 생성에 사용되는 하나의 특정 문장이 결정되는 단계; 및 상기 제2 디바이스에 의하여 상기 제2 후보 문장들 중 상기 제2 음성 정보 생성에 사용되는 하나의 특정 문장이 결정되는 단계를 더 포함할 수 있다.
실시예 3: 실시예 2에 있어서, 상기 제1 중요도 정보는 제1 문장 성분 중요도 정보 및 제1 키워드 중요도 정보를 포함하고, 상기 제2 중요도 정보는 제2 문장 성분 중요도 정보 및 제2 키워드 중요도 정보를 포함하고, 상기 제1 문장 성분 중요도 정보는 상기 제1 이벤트와 관련된 제1 문장의 문장 성분들 각각이 상기 제1 문장 내에서 갖는 중요도를 나타내는 정보이고, 상기 제2 문장 성분 중요도 정보는 상기 제2 이벤트와 관련된 제2 문장의 문장 성분들 각각이 상기 제2 문장 내에서 갖는 중요도를 나타내는 정보이고, 상기 제1 키워드 중요도 정보는 상기 제1 문장의 문장 성분들 중 가장 높은 중요도를 갖는 문장 성분인 제1 키워드의 중요도를 나타내는 정보이고, 상기 제2 키워드 중요도 정보는 상기 제2 문장의 문장 성분들 중 가장 높은 중요도를 갖는 문장 성분인 제2 키워드의 중요도를 나타내는 정보일 수 있다.
실시예 4: 실시예 1에 있어서, 상기 제1 디바이스에 의하여 상기 제1 음성 정보가 나타내는 제1 문장의 문장 성분들이 추출되는 단계; 및 상기 제2 디바이스에 의하여 상기 제2 음성 정보가 나타내는 제2 문장의 문장 성분들이 추출되는 단계를 포함하되, 상기 추출된 특정 문장 성분들에 기초하여 상기 제1 중요도 정보 및 상기 제2 중요도 정보가 생성될 수 있다.
실시예 5: 실시예 3에 있어서, 상기 제1 메타 데이터 및 상기 제2 메타 데이터에 기초하여 상기 호스트 디바이스가 상기 제1 키워드의 출력시점 및 상기 제2 키워드의 출력시점을 판단하는 단계를 더 포함할 수 있다.
실시 예6: 실시예 5에 있어서, 상기 제1 키워드 및 상기 제2 키워드가 동일한 시점에 상기 제1 디바이스 및 상기 제2 디바이스에 의하여 출력되는 것으로 판단된 경우, 상기 제1 음성 정보 및 상기 제2 음성 정보가 상기 제1 디바이스 및 상기 제2 디바이스 각각에 의하여 동일한 시점에 출력되면 상기 음성 출력 명령은 상기 충돌을 회피하기 위해 사용되는 충돌 회피 정보를 포함할 수 있다.
실시예 7: 실시예 6에 있어서, 상기 충돌 회피 정보는 (i)상기 제1 키워드 및 상기 제2 키워드가 서로 다른 시점에 출력되도록 하는 출력 방식과 관련된 제1 정보 또는 (ii)상기 제1 키워드 및 상기 제2 키워드가 서로 다른 방식으로 동일한 시점에 출력되도록 하는 출력 방식과 관련된 제2 정보 중 적어도 하나를 포함하는 자율 차량의 음성 제어 방법.
실시예 8: 실시예 7에 있어서, 상기 제 1 정보는 (i)상기 제1 음성 정보 및 상기 제2 음성 정보 중 하나를 일정한 시간 오프셋(offset)만큼 딜레이(delay) 하여 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하는 제 1 방식 또는 (ii)상기 제1 문장 및 상기 제2 문장 중 하나의 문장의 문장 배치 순서를 변경하여 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하는 제2 방식 중 적어도 하나의 방식을 포함할 수 있다.
실시예 9: 실시예 7에 있어서, 상기 제2 정보는 (i) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 볼륨(Volume) 크기를 다르게 하는 제1 방식, (ii) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 음의 높이(Pitch)를 다르게 하는 제2 방식 또는 (iii) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 억양(Accent)를 다르게 하는 제3 방식 중 적어도 하나의 방식을 포함할 수 있다.
실시예 10: 실시예 9에 있어서, 상기 제1 방식은 상기 제1 음성 정보 및 상기 제2 음성 정보 중에서 키워드 중요도 정보가 갖는 값이 더 큰 음성 정보가 더 큰 볼륨 크기로 출력되는 방식이고, 상기 제1 음성 정보가 출력되는 제1 볼륨 크기와 상기 제2 음성 정보가 출력되는 제2 볼륨 크기 차이의 ??대값은 상기 제1 키워드 중요도 정보가 갖는 값과 상기 상기 제2 키워드 중요도 정보가 갖는 값의 크기 차이에 비례할 수 있다.
실시예 11: 실시예 9에 있어서, 상기 제2 방식은 상기 서로 다른 음성 정보 중에서 상기 제1 음성 정보 및 상기 제2 음성 정보 중에서 키워드 중요도 정보가 갖는 값이 더 큰 음성 정보가 더 높은 음의 높이로 출력되는 방식이고, 상기 제1 음성 정보가 출력되는 제1 음의 높이와 상기 제2 음성 정보가 출력되는 제2 음의 높이 차이의 ??대값은 상기 상기 제1 키워드 중요도 정보가 갖는 값과 상기 제2 키워드 중요도 정보가 갖는 값의 크기 차이에 비례할 수 있다.
실시예 12: 실시예 5에 있어서, 상기 판단 결과 상기 서로 다른 키워드들이 상기 제 1 디바이스 및 상기 제 2 디바이스에 의하여 동일한 시점에 각각 출력되는 것으로 판단된 경우, 상기 제1 음성 정보 및 상기 제2 음성 정보 중 특정 음성 정보가 먼저 출력되면, 상기 호스트 디바이스가 상기 제1 디바이스 또는 상기 제2 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함할 수 있다.
실시예 13: 실시예 12에 있어서, 상기 특정 음성 정보가 상기 제 1 음성 정보인 경우, 상기 제1 키워드 중요도 정보 값이 상기 제2 키워드 중요도 정보 값보다 크면, 상기 호스트 디바이스가 상기 제2 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함할 수 있다.
실시예 14: 실시예 12에 있어서, 상기 특정 음성 정보가 상기 제 1 음성 정보인 경우, 상기 제1 키워드 중요도 정보 값이 상기 제2 키워드 중요도 정보 값보다 작으면, 상기 호스트 디바이스가 상기 제1 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함할 수 있다.
실시예 15: 자율 차량의 음성 정보 제어 방법을 수행하는 호스트 디바이스는 통신부; 및 제어부;를 포함하되, 상기 제어부는 호스트 디바이스가 제1 메타 데이터 및 제2 메타 데이터를 제1 디바이스 및 제2 디바이스로부터 각각 수신하도록 상기 통신부를 제어하고, 자율 차량의 주행 중에 발생한 제1 이벤트에 대한 제1 음성 정보와 관련된 상기 제1 메타 데이터는 제1 디바이스로부터 발생되고, 자율 차량의 주행 중에 발생한 제2 이벤트에 대한 제2 음성 정보와 관련된 상기 제2 메타 데이터는 제2 디바이스로부터 발생되고, 상기 제어부는 상기 음성 출력 명령을 상기 제1 디바이스 및 상기 제2 디바이스로 각각 전송하도록 상기 통신부를 제어하고, 상기 제1 메타 데이터는 상기 제1 음성 정보의 제1 중요도 정보를 포함하고, 상기 제2 메타 데이터는 상기 제2 음성 정보의 제2 중요도 정보를 포함하고, 상기 제1 음성 정보 및 상기 제2 음성 정보는 상기 제1 디바이스 및 상기 제2 디바이스에 의하여 각각 출력되되, 상기 제1 음성 정보 및 상기 제2 음성정보에 각각 포함된 키워드(Keyword)는 상기 음성 출력 명령에 기초하여 서로 간의 충돌이 회피되어 출력된다.
전술한 본 명세서는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다.

Claims (15)

  1. 자율 차량의 주행 중에 발생한 제1 이벤트에 대한 제1 음성 정보와 관련된 제1 메타 데이터가 제1 디바이스로부터 발생되는 단계;
    상기 자율 차량의 주행 중에 발생한 제2 이벤트에 대한 제2 음성 정보와 관련된 제2 메타 데이터가 제2 디바이스로부터 발생되는 단계;
    호스트 디바이스가 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 상기 제1 디바이스 및 제2 디바이스로부터 각각 수신하는 단계;
    음성 정보의 출력을 지시하는 음성 출력 명령이 상기 제1 메타 데이터 및 상기 제2 메타 데이터에 기초하여 상기 호스트 디바이스로부터 발생되는 단계; 및
    상기 호스트 디바이스에 의하여 상기 음성 출력 명령이 상기 제1 디바이스 및 상기 제2 디바이스로 각각 전송되는 단계를 포함하되,
    상기 제1 메타 데이터는 상기 제1 음성 정보의 제1 중요도 정보를 포함하고,
    상기 제2 메타 데이터는 상기 제2 음성 정보의 제2 중요도 정보를 포함하고,
    상기 제1 디바이스 및 상기 제2 디바이스는 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하되,
    상기 제1 음성 정보 및 상기 제2 음성정보에 각각 포함된 키워드(Keyword)는 상기 음성 출력 명령에 기초하여 서로 간의 충돌이 회피되어 출력되는 자율 차량의 음성 제어방법.
  2. 제 1 항에 있어서,
    상기 제1 디바이스에 의하여 상기 제1 이벤트와 관련된 적어도 하나의 제1 후보 문장들이 결정되는 단계,
    상기 제1 후보 문장들은 상기 제1 이벤트를 각각 서로 다른 어순으로 나타내는 문장들이고;
    상기 제2 디바이스에 의하여 상기 제2 이벤트와 관련된 적어도 하나의 제2 후보 문장들이 결정되는 단계,
    상기 제2 후보 문장들은 상기 제2 이벤트를 각각 서로 다른 어순으로 나타내는 문장들이고;
    상기 제1 디바이스에 의하여 상기 제1 후보 문장들 중 상기 제1 음성 정보 생성에 사용되는 하나의 특정 문장이 결정되는 단계; 및
    상기 제2 디바이스에 의하여 상기 제2 후보 문장들 중 상기 제2 음성 정보 생성에 사용되는 하나의 특정 문장이 결정되는 단계를 포함하는 자율 차량의 음성 제어방법.
  3. 제 2 항에 있어서,
    상기 제1 중요도 정보는 제1 문장 성분 중요도 정보 및 제1 키워드 중요도 정보를 포함하고,
    상기 제2 중요도 정보는 제2 문장 성분 중요도 정보 및 제2 키워드 중요도 정보를 포함하고,
    상기 제1 문장 성분 중요도 정보는 상기 제1 이벤트와 관련된 제1 문장의 문장 성분들 각각이 상기 제1 문장 내에서 갖는 중요도를 나타내는 정보이고,
    상기 제2 문장 성분 중요도 정보는 상기 제2 이벤트와 관련된 제2 문장의 문장 성분들 각각이 상기 제2 문장 내에서 갖는 중요도를 나타내는 정보이고,
    상기 제1 키워드 중요도 정보는 상기 제1 문장의 문장 성분들 중 가장 높은 중요도를 갖는 문장 성분인 제1 키워드의 중요도를 나타내는 정보이고,
    상기 제2 키워드 중요도 정보는 상기 제2 문장의 문장 성분들 중 가장 높은 중요도를 갖는 문장 성분인 제2 키워드의 중요도를 나타내는 정보인 자율 차량의 음성 제어방법.
  4. 제 1 항에 있어서,
    상기 제1 디바이스에 의하여 상기 제1 음성 정보가 나타내는 제1 문장의 문장 성분들이 추출되는 단계; 및
    상기 제2 디바이스에 의하여 상기 제2 음성 정보가 나타내는 제2 문장의 문장 성분들이 추출되는 단계를 포함하되,
    상기 추출된 특정 문장 성분들에 기초하여 상기 제1 중요도 정보 및 상기 제2 중요도 정보가 생성되는 자율 차량의 음성 제어방법.
  5. 제 3 항에 있어서,
    상기 제1 메타 데이터 및 상기 제2 메타 데이터에 기초하여 상기 호스트 디바이스가 상기 제1 키워드의 출력시점 및 상기 제2 키워드의 출력시점을 판단하는 단계를 더 포함하는 자율 차량의 음성 제어 방법.
  6. 제 5 항에 있어서,
    상기 제1 키워드 및 상기 제2 키워드가 동일한 시점에 상기 제1 디바이스 및 상기 제2 디바이스에 의하여 출력되는 것으로 판단된 경우,
    상기 제1 음성 정보 및 상기 제2 음성 정보가 상기 제1 디바이스 및 상기 제2 디바이스 각각에 의하여 동일한 시점에 출력되면 상기 음성 출력 명령은 상기 충돌을 회피하기 위해 사용되는 충돌 회피 정보를 포함하는 자율 차량의 음성 제어 방법.
  7. 제 6 항에 있어서,
    상기 충돌 회피 정보는 (i)상기 제1 키워드 및 상기 제2 키워드가 서로 다른 시점에 출력되도록 하는 출력 방식과 관련된 제1 정보 또는 (ii)상기 제1 키워드 및 상기 제2 키워드가 서로 다른 방식으로 동일한 시점에 출력되도록 하는 출력 방식과 관련된 제2 정보 중 적어도 하나를 포함하는 자율 차량의 음성 제어 방법.
  8. 제 7 항에 있어서,
    상기 제 1 정보는 (i)상기 제1 음성 정보 및 상기 제2 음성 정보 중 하나를 일정한 시간 오프셋(offset)만큼 딜레이(delay) 하여 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하는 제 1 방식 또는 (ii)상기 제1 문장 및 상기 제2 문장 중 하나의 문장의 문장 배치 순서를 변경하여 상기 제1 음성 정보 및 상기 제2 음성 정보를 각각 출력하는 제2 방식 중 적어도 하나의 방식을 포함하는 자율 차량의 음성 제어 방법.
  9. 제 7 항에 있어서,
    상기 제2 정보는 (i) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 볼륨(Volume) 크기를 다르게 하는 제1 방식, (ii) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 음의 높이(Pitch)를 다르게 하는 제2 방식 또는 (iii) 상기 제1 음성 정보 및 상기 제2 음성 정보 각각이 출력되는 억양(Accent)를 다르게 하는 제3 방식 중 적어도 하나의 방식을 포함하는 자율 차량의 음성 제어 방법.
  10. 제 9 항에 있어서,
    상기 제1 방식은 상기 제1 음성 정보 및 상기 제2 음성 정보 중에서 키워드 중요도 정보가 갖는 값이 더 큰 음성 정보가 더 큰 볼륨 크기로 출력되는 방식이고,
    상기 제1 음성 정보가 출력되는 제1 볼륨 크기와 상기 제2 음성 정보가 출력되는 제2 볼륨 크기 차이의 ??대값은 상기 제1 키워드 중요도 정보가 갖는 값과 상기 상기 제2 키워드 중요도 정보가 갖는 값의 크기 차이에 비례하는 자율 차량의 음성 제어 방법.
  11. 제 9 항에 있어서,
    상기 제2 방식은 상기 서로 다른 음성 정보 중에서 상기 제1 음성 정보 및 상기 제2 음성 정보 중에서 키워드 중요도 정보가 갖는 값이 더 큰 음성 정보가 더 높은 음의 높이로 출력되는 방식이고,
    상기 제1 음성 정보가 출력되는 제1 음의 높이와 상기 제2 음성 정보가 출력되는 제2 음의 높이 차이의 ??대값은 상기 상기 제1 키워드 중요도 정보가 갖는 값과 상기 제2 키워드 중요도 정보가 갖는 값의 크기 차이에 비례하는 자율 차량의 음성 제어 방법.
  12. 제 5 항에 있어서,
    상기 판단 결과 상기 서로 다른 키워드들이 상기 제 1 디바이스 및 상기 제 2 디바이스에 의하여 동일한 시점에 각각 출력되는 것으로 판단된 경우,
    상기 제1 음성 정보 및 상기 제2 음성 정보 중 특정 음성 정보가 먼저 출력되면, 상기 호스트 디바이스가 상기 제1 디바이스 또는 상기 제2 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함하는 자율 차량의 음성 제어 방법.
  13. 제 12 항에 있어서,
    상기 특정 음성 정보가 상기 제 1 음성 정보인 경우,
    상기 제1 키워드 중요도 정보 값이 상기 제2 키워드 중요도 정보 값보다 크면, 상기 호스트 디바이스가 상기 제2 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함하는 자율 차량의 음성 제어 방법.
  14. 제 12 항에 있어서,
    상기 특정 음성 정보가 상기 제 1 음성 정보인 경우,
    상기 제1 키워드 중요도 정보 값이 상기 제2 키워드 중요도 정보 값보다 작으면, 상기 호스트 디바이스가 상기 제1 디바이스로 메타 데이터 재전송 요청 메시지를 전송하는 단계를 더 포함하는 자율 차량의 음성 제어 방법.
  15. 통신부; 및
    제어부;를 포함하되,
    상기 제어부는 호스트 디바이스가 제1 메타 데이터 및 제2 메타 데이터를 제1 디바이스 및 제2 디바이스로부터 각각 수신하도록 상기 통신부를 제어하고,
    자율 차량의 주행 중에 발생한 제1 이벤트에 대한 제1 음성 정보와 관련된 상기 제1 메타 데이터는 제1 디바이스로부터 발생되고,
    자율 차량의 주행 중에 발생한 제2 이벤트에 대한 제2 음성 정보와 관련된 상기 제2 메타 데이터는 제2 디바이스로부터 발생되고,
    상기 제어부는 상기 음성 출력 명령을 상기 제1 디바이스 및 상기 제2 디바이스로 각각 전송하도록 상기 통신부를 제어하고,
    상기 제1 메타 데이터는 상기 제1 음성 정보의 제1 중요도 정보를 포함하고,
    상기 제2 메타 데이터는 상기 제2 음성 정보의 제2 중요도 정보를 포함하고,
    상기 제1 음성 정보 및 상기 제2 음성 정보는 상기 제1 디바이스 및 상기 제2 디바이스에 의하여 각각 출력되되,
    상기 제1 음성 정보 및 상기 제2 음성정보에 각각 포함된 키워드(Keyword)는 상기 음성 출력 명령에 기초하여 서로 간의 충돌이 회피되어 출력되는 호스트 디바이스.
KR1020200003532A 2020-01-10 2020-01-10 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치 KR20210090378A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003532A KR20210090378A (ko) 2020-01-10 2020-01-10 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003532A KR20210090378A (ko) 2020-01-10 2020-01-10 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20210090378A true KR20210090378A (ko) 2021-07-20

Family

ID=77127453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003532A KR20210090378A (ko) 2020-01-10 2020-01-10 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR20210090378A (ko)

Similar Documents

Publication Publication Date Title
JP7371671B2 (ja) 車両に安全に追い付けるように運転を支援するシステムおよび方法
KR101984922B1 (ko) 차량의 군집 주행 방법 및 차량
JP6773046B2 (ja) 運転支援装置及び運転支援方法、並びに移動体
EP3598781B1 (en) Vehicle having vehicle control device and vehicle control method
KR20190007286A (ko) 차량용 주행 시스템 및 차량
US20200184827A1 (en) Electronic control device and vehicle comprising the same
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
KR102431044B1 (ko) 차량용 통신 장치 및 차량
KR101910385B1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
US20220408212A1 (en) Electronic device, method and computer program
KR20190104273A (ko) 운전자 휴게 패턴에 따른 휴게 정보 제공 방법 및 이를 위한 장치
KR20210068571A (ko) 전자 제어 장치 및 통신 장치
KR20190100895A (ko) 자율주행시스템에서 장난감 장치를 활용한 차량 제어 방법 및 이를 위한 장치
KR20210017897A (ko) 차량용 전자 장치 및 그의 동작 방법
WO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US11285941B2 (en) Electronic device for vehicle and operating method thereof
JP2019036862A (ja) サーバ装置、記録方法、およびプログラム、並びに情報処理装置
KR102669129B1 (ko) 자율 주행 차량의 제어 권한 이양 장치 및 방법
KR102053201B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
WO2019117104A1 (ja) 情報処理装置および情報処理方法
KR20210090378A (ko) 자율 차량의 음성 정보 제어 방법 및 이를 위한 장치
KR102023995B1 (ko) 차량 제어 방법
KR20220119640A (ko) 멀티 모달 입력 기반의 서비스 제공 장치 및 서비스 제공 방법
EP3901934A1 (en) Moving body control device, moving body control method, moving body, information processing device, information processing method, and program