KR102561458B1 - 음성인식 기반 차량제어 방법 및 그 시스템 - Google Patents

음성인식 기반 차량제어 방법 및 그 시스템 Download PDF

Info

Publication number
KR102561458B1
KR102561458B1 KR1020210007176A KR20210007176A KR102561458B1 KR 102561458 B1 KR102561458 B1 KR 102561458B1 KR 1020210007176 A KR1020210007176 A KR 1020210007176A KR 20210007176 A KR20210007176 A KR 20210007176A KR 102561458 B1 KR102561458 B1 KR 102561458B1
Authority
KR
South Korea
Prior art keywords
avn
portable terminal
voice data
vehicle
server
Prior art date
Application number
KR1020210007176A
Other languages
English (en)
Other versions
KR20220104869A (ko
Inventor
김진형
이형근
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210007176A priority Critical patent/KR102561458B1/ko
Publication of KR20220104869A publication Critical patent/KR20220104869A/ko
Application granted granted Critical
Publication of KR102561458B1 publication Critical patent/KR102561458B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B60R25/257—Voice recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34—Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/10—Communication protocols, communication systems of vehicle anti-theft devices
    • B60R2325/101—Bluetooth

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

음성인식 기반 차량제어 방법 및 그 시스템이 개시된다. 본 발명의 일 실시예에 따른 차량제어 방법은, 차량이 마이크를 통해 발화를 수신하는 단계, 휴대 단말로부터 이전에 수신된 기동어 정보에 기반하여 상기 수신된 발화의 제1 음성 데이터(voice data)로부터 기동어가 검출되면, AVN이 블루투스 모듈을 통해 제1 음성 데이터를 휴대 단말로 전달하는 단계, 휴대 단말이 AVN으로부터 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는 단계, AI 서버가 제1 음성인식 모델을 이용하여 휴대 단말로부터 수신된 제2 음성 데이터로부터 결과 데이터를 얻는 단계, AI 서버가 결과 데이터를 휴대 단말로 전달하면, 휴대 단말이 AVN 으로 상기 결과 데이터를 전달하는 단계 및 AVN이 수신된 결과 데이터에 대응되는 제어 명령을 차량의 적어도 하나의 구성요소로 전달하는 단계를 포함한다.

Description

음성인식 기반 차량제어 방법 및 그 시스템{VOICE RECOGNITION BASED VEHICLE CONTROL METHOD AND SYSTEM THEREFOR}
본 발명은 음성인식 기반 차량제어 방법 및 그 시스템에 관한 것이다.
최근 통신 모듈이 내재된 커넥티드 카는 AI 음성인식을 통해 사용자의 발화를 분석 및 처리할 수 있다. 통신 모듈이 내재된 차량의 경우 다양한 명령어들을 이용하여 학습된 음성인식 모델이 저장된 AI 서버와 연동되어 있으며, 차량은 AI 서버로 발화문에 연관된 정보들과 함께 음성인식 처리에 대한 요청을 전송하고, 상기 요청에 대한 응답으로서 음성인식 처리 결과를 수신할 수 있다. 이를 통해 차량은 발화에 따라 공조, AVN, 차량내부 제어 등의 기능을 수행할 수 있다.
통신 모듈이 없는 기존의 차량들도 스티어링 휠에 있는 마이크 버튼에 대한 사용자 입력이 수신되면, 규칙 기반의 음성인식 처리를 수행할 수 있으나, AI 서버에 의한 음성인식 처리와 달리, 미리 학습된 명령어의 유사어가 입력되면 정확한 음성인식 처리 결과를 도출할 수 없는 한계가 있다.
본 발명은 전술한 필요성 및/또는 문제점을 해결하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 차량제어 방법은 차량, 휴대 단말 및 AI 서버를 포함하는 량제어 시스템에 의한 차량제어 방법으로서, 차량이 마이크를 통해 발화를 수신하는 단계; 휴대 단말로부터 이전에 수신된 기동어 정보에 기반하여 상기 수신된 발화의 제1 음성 데이터(voice data)로부터 기동어가 검출되면, AVN이 블루투스 모듈을 통해 제1 음성 데이터를 휴대 단말로 전달하는 단계; 휴대 단말이 AVN으로부터 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는 단계; AI 서버가 제1 음성인식 모델을 이용하여 휴대 단말로부터 수신된 제2 음성 데이터로부터 결과 데이터를 얻는 단계; AI 서버가 결과 데이터를 휴대 단말로 전달하면, 휴대 단말이 AVN 으로 상기 결과 데이터를 전달하는 단계; 및 AVN이 수신된 결과 데이터에 대응되는 제어 명령을 차량의 적어도 하나의 구성요소로 전달하는 단계를 포함한다.
또한, 차량제어 방법은 AVN이 부팅되면 휴대 단말이 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하는 단계; 및 블루투스 페어링이 형성되면, 휴대 단말이 AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하는 단계를 더 포함할 수 있다.
바람직한 실시예에서, 블루투스 페어링을 형성하는 단계는, 휴대 단말이 AVN의 부팅을 감지하는 단계; 휴대 단말이 AVN의 정보가 확인되면, 상기 AVN을 위한 클라이언트 소켓을 생성하는 단계; 및 상기 클라이언트 소켓을 통해 휴대 단말과 AVN이 서로 연결되도록, 휴대 단말이 AVN 으로 접속 요청을 전달하고, 그에 대한 응답을 수신하는 단계를 포함할 수 있다.
바람직한 실시예에서, 기동어 정보는 사용자의 설정에 따라 휴대 단말에 미리 저장될 수 있다.
바람직한 실시예에서,제2 음성 데이터는 제1 음성 데이터에서 기동어가 제외된 나머지 데이터일 수 있다.
바람직한 실시예에서, 제1 음성 데이터는, 기동어, 제어 객체, 및 제어 동작을 포함하고, 제2 음성 데이터는, 제어 객체 및 제어 동작을 포함할 수 있다.
바람직한 실시예에서, 차량제어 방법은 제1 음성 데이터로부터 기동어가 검출되지 않으면, AVN이 내장된 제2 음성인식 모델을 이용하여 제1 음성 데이터로부터 결과 데이터를 얻는 단계; 상기 제1 음성 데이터로부터 얻은 결과 데이터에 대응되는 제어 명령을 차량의 적어도 하나의 구성요소로 전달하는 단계를 더 포함할 수 있다.
바람직한 실시예에서, 차량의 적어도 하나의 구성요소는, 프로세서, 블루투스 모듈, 공조기, 창문, 문, 또는 트렁크를 포함할 수 있다.
바람직한 실시예에서, 휴대 단말은 기지국을 통해 AI 서버와 신호, 정보 또는 데이터를 송수신할 수 있다.
본 발명의 다른 실시예에 따른 차량제어 방법은 차량, 휴대 단말 및 AI 서버를 포함하는 제어 시스템에 의한 차량제어 방법으로서, 휴대 단말이 AVN이 부팅되면 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하는 단계; 블루투스 페어링이 형성되면, 휴대 단말이 AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하는 단계; 블루투스 모듈을 통해 AVN으로부터 제1 음성 데이터를 수신하면, 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는 단계; AI 서버가 제1 음성인식 모델을 이용하여 휴대 단말로부터 수신된 제2 음성 데이터로부터 결과 데이터를 얻는 단계를 포함하며, 상기 AI 서버가 결과 데이터를 휴대 단말로 전달하면, 상기 휴대 단말은 차량으로 상기 결과 데이터를 전달한다.
본 발명의 또 다른 실시예에 따른 차량제어 방법은 차량, 휴대 단말 및 AI 서버를 포함하는 제어 시스템에서 휴대 단말에 의한 차량제어 방법으로서, AVN이 부팅되면 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하는 단계; 블루투스 페어링이 형성되면, AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하는 단계; 블루투스 모듈을 통해 AVN으로부터 제1 음성 데이터를 수신하면, 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는 단계를 포함하며, AI 서버로부터 제2 음성 데이터에 기반하여 도출된 음성인식 결과 데이터를 수신하면, 상기 음성인식 결과 데이터를 차량으로 전달한다.
본 발명의 또 다른 실시예에 따른 제어 시스템은 AVN이 부팅되면 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하고, 블루투스 페어링이 형성되면, 휴대 단말이 AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하고, 상기 페어링이 유지되는 동안 AVN으로부터 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는, 휴대 단말; 마이크를 통해 발화를 수신하고, 휴대 단말로부터 수신된 기동어 정보에 기반하여 상기 수신된 발화의 제1 음성 데이터(voice data)로부터 기동어가 검출되면, AVN이 블루투스 모듈을 통해 제1 음성 데이터를 휴대 단말로 전달하는 차량; 및 제1 음성인식 모델을 이용하여 제2 음성 데이터로부터 결과 데이터를 얻는 AI 서버를 포함하고, 상기 AI 서버가 결과 데이터를 휴대 단말로 전달하면, 상기 휴대 단말은 AVN으로 상기 결과 데이터를 전달하고, 상기 AVN은 휴대 단말로부터 수신된 결과 데이터에 대응되는 제어 명령을 차량의 적어도 하나의 구성요소로 전달한다.
본 발명의 일 실시예에 따른 음성인식 기반 차량제어 방법 및 그 시스템의 효과에 대해 설명하면 다음과 같다.
본 발명은 통신 모듈이 없는 기존의 차량에서 스마트폰을 연동함으로써, 차량에 저장된 음성인식 모델에 기반한 음성인식 결과가 아닌, AI 서버에 저장된 음성인식 모델에 기반한 음성인식 결과를 얻음으로써 보다 정확한 음성인식 서비스를 제공할 수 있다.
또한, 본 발명은 통신 모듈이 없는 일반 차량들에서도 커넥티드 카와 유사한 음성인식 기반의 차량제어 서비스를 제공할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 음성인식 기반 차량제어 시스템의 블록도이고,
도 2는 본 발명의 일 실시예에 따른 음성인식 기반 차량제어 방법의 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 발명에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 음성인식 기반 차량제어 시스템 및 그 방법에 관한 것으로, 특히 통신 모듈이 구비되지 않은 차량에 대한 것이다. 여기서, 통신 모듈은 외부 네트워크와 통신하기 위한 것으로서, AI 서버(300)와 연동되기 위한 통신 모듈을 말한다. 통신 모듈이 없는 차량(100)은 네트워크를 통해 다른 전자 디바이스, 바람직하게는 서버로 고연산을 요구하는 정보 처리를 요청할 수 없다.
도 1은 본 발명의 일 실시예에 따른 음성인식 기반 차량제어 시스템의 블록도이다.
도 1을 참조하면, 본 발명의 차량(100)은 프로세서(110), AVN(Audio Video Navigation), 마이크(130), 블루투스 모듈(140) 및 차량(100)의 추가 구성요소(150)를 포함할 수 있다.
AVN(120) 은 음성인식 서비스를 제공하기 위한 내부 음성인식 엔진(125)을 포함할 수 있다. 내부 음성인식 엔진(125)은 차량(100)의 메모리에 저장된 것으로, 소정의 명령어들을 포함하는 학습 데이터에 기반하여 미리 학습된 기계학습 모델을 포함할 수 있다. 내부 음성인식 엔진(125)에 포함된 기계학습 모델은 기 학습되어 추가적인 학습이 이루어지기 어렵고, 최초 학습 과정에서 이용한 학습 데이터와 다른 명령어에 대해서는 정확한 음성인식 결과를 도출할 수 없다.
마이크(130)는 사용자의 발화를 음성 신호로 수신할 수 있다. 차량(100)에서 상기 마이크(130)는 복수의 마이크(130) 유닛들을 포함하는 마이크(130) 어레이 형태로 구성될 수 있다. 일 예로, 마이크(130) 어레이는 복수의 방향들로부터 발화를 수신하기 위해서 원형의 패턴으로 배치될 수 있다. 마이크(130)는 무지향성 마이크(130), 방향성 마이크(130)를 포함할 수 있다.
AVN(120)은 마이크(130)를 통해 입력되는 음성 신호에 대응되는 발화에 따라 서로 다른 차량(100)의 제어동작이 수행되도록 제어 신호를 제어부로 전달한다. 제어부는 제어 신호에 포함된 제어동작에 대한 정보에 기반하여 차량(100)의 구성요소들을 제어할 수 있다. 예를 들어, '전화'라는 명령어를 마이크(130)를 통해 수신하면, AVN(120)은 내부 음성인식 엔진(125)을 이용하여 전화 애플리캐이션의 실행에 연관된 제어 신호를 생성하여 제어부로 전달한다. 그리고, 전화 애플리캐이션의 실행에 연관된 제어 신호를 수신한 제어부는 전화 애플리캐이션을 실행한다. 다른 예를 들어, '히터, 1도 올려줘', '에어컨, 풍량 2만큼 세게 해줘', '창문, 열어줘', '앞좌석, 오른쪽문 열어줘'와 같이 차량(100)의 구성요소와 그에 연관된 제어 동작으로 결합된 발화에 대한 음성 신호를 수신하면, AVN(120)은 각각에 따른 음성인식 처리 결과를 도출하여, 대응되는 제어 신호를 제어부로 전달할 수 있다.
일 실시예에 따른 시스템에서, AVN(120)은 내부 음성인식 엔진(125) 뿐만 아니라 AI 서버(300)에 저장된 외부 음성인식 엔진(125)을 함께 이용할 수 있다. 다만, 본 발명의 일 실시예에 따른 차량(100)은 AI 서버(300)와 통신 가능한 통신 모듈(예를 들어, LTE 통신 모듈, NR 통신 모듈)을 구비하고 있지 않으므로, 이를 위한 수단이 문제된다. 상기 문제를 해결하기 위해 블루투스 모듈(140)을 통해 연결된 휴대 단말(200)을 통해 AI 서버(300)로 음성인식 동작을 요청하는 과정을 이하에서 설명한다.
차량(100), 예를 들어 AVN(120)은 블루투스 모듈(140)을 통해 휴대 단말(200), 예를 들어 스마트폰과 블루투스 통신할 수 있다. AVN(120)은 블루투스 모듈(140)을 통해 휴대 단말(200)과 블루투스 통신을 위한 페어링 동작을 수행할 수 있으며, 페어링된 휴대 단말(200)을 거쳐 AI 서버(300)로 음성인식 동작을 요청할 수 있다. 블루투스 모듈(140)을 통한 휴대 단말(200)과의 통신 방법은 기지국을 통해 통신하는 방법과 구별된다. 휴대 단말(200)은 기지국을 통해 AI 서버(300)와 신호, 정보 또는 데이터를 송수신할 수 있다. 휴대 단말(200)은 블루투스 모듈(140)을 통해 차량(100)과 통신하고, LTE 모듈(260)을 통해 AI 서버(300)와 통신한다. 여기서, LTE 모듈(260)은 경우에 따라, 5G 통신을 지원하는 NR 모듈로 대체될 수도 있다.
AVN(120)이 부팅되면, 휴대 단말(200)은 블루투스 모듈(140)을 통해 AVN(120)과 블루투스 페어링을 형성할 수 있다. 보다 상세하게, 휴대 단말(200)은 AVN(120)이 부팅되면, 그 부팅을 감지할 수 있으며, 부팅된 AVN(120)의 정보가 확인되면 상기 AVN(120)을 위한 클라이언트 소켓을 생성할 수 있다. 이후에, 휴대 단말(200)은 생성된 클라이언트 소켓을 통해 휴대 단말(200)과 AVN(120)이 서로 연결되도록 AVN(120)으로 블루투스 접속 요청을 전달하고, AVN(120)으로부터 그에 대한 응답을 수신하여 블루투스 페어링을 형성한다.
블루투스 페어링이 형성되면, 휴대 단말(200)은 AVN(120)으로 페어링된 휴대 단말(200)의 식별을 위한 정보, 및 기동어 정보를 전달할 수 있다. 식별을 위한 정보는 휴대 단말(200)의 다비이스를 나타내는 식별 정보 및/또는 휴대 단말(200)에 등록된 사용자 정보를 포함할 수 있다. 기동어 정보는 하나 이상의 기동어를 포함하거나, 둘 이상의 기동어를 포함하는 군집일 수 있다. 기동어는 휴대 단말(200)로 음성 데이터를 전달하고 상기 휴대 단말(200)과 연결된 AI 서버(300)를 통해 음성인식 동작을 수행하는 제1 서비스 경로, AVN(120)에 내장된 음성인식 모델을 통해 음성인식 동작을 수행하는 제2 서비스 경로 중 어느 하나로 서비스 경로를 결정하기 위한 음성 데이터를 말한다. 예를 들어, 발화에 기동어(예를 들어, HI LG)가 포함되면, AVN(120)은 내장된 음성인식 모델을 이용하여 상기 기동어를 검출할 수 있다. 이때, 기동어가 검출되면 AVN(120)은 휴대 단말(200)로 음성 데이터를 전송하나, 기동어가 검출되지 않으면 AVN(120)은 내장된 음성인식 모델만을 이용하여 음성인식 동작을 수행한다. 한편, 기동어 정보에 포함되는 하나 이상의 기동어는 사용자 설정에 따라 휴대 단말(200)에 미리 저장될 수 있다.
블루투스 페어링이 형성된 이후에, 상기 페어링이 유지되는 동안 차량(100)은 마이크(130)를 통해 사용자(또는 탑승자)의 발화를 수신하거나 획득할 수 있다. 이때, 발화는 차량(100)의 스티어링휠에 구비된 버튼에 대한 사용자 입력이 인가되는 동안에만 수신되는 것으로 제한될 수도 있다. 마이크(130)를 통해 수신된 발화는 음성 데이터의 형태로 차량(100)의 메모리에 저장된다. 여기서 음성 데이터는, 경우에 따라 소리에 대한 데이터뿐만 아니라 STT(speech to text) 모듈에 의해 텍스트로 변환된 데이터를 포함할 수 있는 것이다.
발화는 기동어 및 명령어를 포함할 수 있다. 기동어는 상술한 설명과 같으며, 명령어는 제어 명령에 관한 것으로 제어 객체 및 제어 동작을 포함할 수 있다. 제어 객체는 제어 동작의 대상이 되는 객체로서, 예를 들어 차량(100)을 구성하는 구성요소인 프로세서(110), 블루투스 모듈(140), 공조기, 창문, 문, 또는 트렁크를 포함할 수 있다. 제어 동작은 각각의 차량(100)의 구성요소에 대한 동작으로서, 일 예로, 블루투스 모듈(140)을 활성화 시키는 동작, 히터의 온도를 조절하는 동작, 창문을 올리거나 내리는 동작, 문을 열거나 닫는 동작, 또는 트렁크를 열거나 닫는 동작을 포함할 수 있다.
일 실시예에서, 휴대 단말(200)로부터 이전에 수신된 기동어 정보에 기반하여 상기 수신된 발화의 제1 음성 데이터(voice data)로부터 기동어가 검출되면, AVN(120)은 블루투스 모듈(140)을 통해 제1 음성 데이터를 휴대 단말(200)로 전달할 수 있다.
일 실시예에서, 휴대 단말(200)은 AVN(120)으로부터 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버(300)로 전달할 수 있다. 여기서 제2 음성 데이터는 제1 음성 데이터에서 기동어가 제외된, 즉 기동어에 해당하는 부분이 제외된 나머지 데이터를 말한다. 이에 따라, 제1 음성 데이터는 기동어, 제어 객체 및 제어 동작에 연관된 데이터를 포함하고, 제2 음성 데이터는 제어 객체 및 제어 동작에 연관된 데이터만을 포함한다. 예를 들어, '엘지야 창문 열어줘'라는 발화가 AVN(120)으로 수신되면, AVN(120)은 상기 발화에서 기동어를 검출하여 '엘지야 창문 열어줘'에 대응되는 제1 음성 데이터를 휴대 단말(200)로 전송한다. 이때, 휴대 단말(200)은 '엘지야 창문 열어줘'에서 기동어인 '엘지'를 포함하는 구인 '엘지야'를 삭제하고, 그 뒤의 문장들에 대응되는 제2 음성 데이터만을 AI 서버(300)로 전송한다.
일 실시예에서, AI 서버(300)는 제1 음성인식 모델을 이용하여 휴대 단말(200)로부터 수신된 제2 음성 데이터로부터 결과 데이터를 얻을 수 있다. 일 예로, 휴대 단말(200)로부터 수신된 '창문 열어줘'와 같은 제2 음성 데이터는 프로세서(310)에 의해 제1 음성인식 모델의 입력 레이어에 입력된다. AI 서버(300)의 프로세서(310)는 제1 음성인식 모델의 출력 레이어로 출력되는 값들에 기반하여 인식 결과를 도출할 수 있으며, 예를 들어, '창문 열어줘'의 경우, item=window, action=open 과 같은 인식 결과가 도출될 수 있다. 결과 데이터는 이처럼 item (제어 객체에 대한 결과)과 action (제어 동작에 대한 결과)으로 구성될 수 있다.
한편, 일 실시예에서, 제1 음성인식 모델은 차량(100)에 내장된 제2 음성인식 모델과 구별되는 것으로서, AI 서버(300)의 메모리에 저장된다. 제1 음성인식 모델은 AI 서버(300)로 수집되는 임의의 학습 데이터에 의해 지속적으로 그리고 실시간으로 파라미터의 업데이트가 가능하나, 제2 음성인식 모델은 그러하지 아니하다. 또한, AI 서버(300)는 AVN(120) 보다 더 고성능을 갖는 프로세서(310), 예를 들어 GPU를 가지므로, AVN(120) 보다 더욱 복잡하고 어려운 연산을 수행할 수 있다.
일 실시예에서, AI 서버(300)가 결과 데이터를 휴대 단말(200)로 전달하면, 휴대 단말(200)은 AVN(120)으로 상기 결과 데이터를 전달할 수 있다. AVN(120)은 수신된 결과 데이터에 대응되는 제어 명령을 차량(100)의 적어도 하나의 구성요소로 전달할 수 있다. 여기서, 차량(100)의 적어도 하나의 구성요소는 프로세서(110), 블루투스 모듈(140), 공조기, 창문, 문, 또는 트렁크를 포함할 수 있다.
다른 실시예에서, 제1 음성 데이터로부터 기동어가 검출되지 않으면, AVN(120)은 내장도니 제2 음성인식 모델을 이용하여 제1 음성 데이터로부터 결과 데이터를 얻을 수 있고, 상기 결과 데이터에 대응되는 제어 명령을 차량(100)의 적어도 하나의 구성요소로 전달할 수 있다.
도 2는 본 발명의 일 실시예에 따른 음성인식 기반 차량제어 방법의 순서도이다.
도 2를 참조하면, 음성인식 기반 차량제어 방법은 AVN(120)이 부팅되면 휴대 단말(200)이 블루투스 모듈(140)을 통해 AVN(120)과 블루투스 페어링을 형성하는 단계(S110), 블루투스 페어링이 형성되면, 휴대 단말(200)이 AVN(120)으로 페어링된 휴대 단말(200)의 식별을 위한 정보 및 기동어 정보를 전달하는 단계(S120), 상기 페어링이 유지되는 동안 차량(100)이 마이크(130)를 통해 발화를 수신하는 단계(S130), 휴대 단말(200)로부터 이전에 수신된 기동어 정보에 기반하여 상기 수신된 발화의 제1 음성 데이터(voice data)로부터 기동어가 검출되면, AVN(120)이 블루투스 모듈(140)을 통해 제1 음성 데이터를 휴대 단말(200)로 전달하는 단계(S140), 휴대 단말(200)이 AVN(120)으로부터 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버(300)로 전달하는 단계(S150), AI 서버(300)가 제1 음성인식 모델을 이용하여 휴대 단말(200)로부터 수신된 제2 음성 데이터로부터 결과 데이터를 얻는 단계(S160), AI 서버(300)가 결과 데이터를 휴대 단말(200)로 전달하면, 휴대 단말(200)이 AVN(120) 으로 상기 결과 데이터를 전달하는 단계(S170) 및 AVN(120)이 수신된 결과 데이터에 대응되는 제어 명령을 차량(100)의 적어도 하나의 구성요소로 전달하는 단계(S180)를 포함한다.
여기서, S110은 휴대 단말(200)이 AVN(120)의 부팅을 감지하는 단계, 휴대 단말(200)이 AVN(120)의 정보가 확인되면, 상기 AVN(120)을 위한 클라이언트 소켓을 생성하는 단계 및 상기 클라이언트 소켓을 통해 휴대 단말(200)과 AVN(120)이 서로 연결되도록, 휴대 단말(200)이 AVN(120) 으로 접속 요청을 전달하고, 그에 대한 응답을 수신하는 단계를 포함할 수 있다.
기동어 정보는 사용자의 설정에 따라 휴대 단말(200)에 미리 저장될 수 있으며, 제2 음성 데이터는 제1 음성데이터에서 기동어가 제외된 나머지 데이터를 말한다. 이에 따라, 제1 음성 데이터는 기동어, 제어 객체 및 제어 동작에 관한 데이터를 포함할 수 있으나, 제2 음성 데이터는 제어 객체와 제어 동작에 관한 데이터를 포함한다.
한편, 도시되지는 않으나, S130에서 제1 음성 데이터로부터 기동어가 검출되지 않으면, AVN(120)은 내장된 제2 음성인식 모델을 제1 음성 데이터로부터 결과 데이터를 얻고, 상기 제1 음성 데이터로부터 얻은 결과 데이터에 대응되는 제어 명령을 차량(100)의 적어도 하나의 구성요소로 전달할 수 있다.
차량(100)의 적어도 하나의 구성요소는 프로세서(110), 블루투스 모듈(140), 공조기, 창문, 문 또는 트렁크를 포함할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (13)

  1. 차량, 휴대 단말 및 AI 서버를 포함하는 제어 시스템에 의한 차량제어 방법에 있어서,
    차량이 마이크를 통해 발화를 수신하는 단계;
    휴대 단말로부터 이전에 수신된 기동어 정보에 기반하여 상기 수신된 발화의 제1 음성 데이터(voice data)로부터 기동어가 검출되면, AVN이 블루투스 모듈을 통해 제1 음성 데이터를 휴대 단말로 전달하는 단계;
    휴대 단말이 AVN으로부터 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는 단계;
    AI 서버가 제1 음성인식 모델을 이용하여 휴대 단말로부터 수신된 제2 음성 데이터로부터 결과 데이터를 얻는 단계;
    AI 서버가 결과 데이터를 휴대 단말로 전달하면, 휴대 단말이 AVN 으로 상기 결과 데이터를 전달하는 단계; 및
    AVN이 수신된 결과 데이터에 대응되는 제어 명령을 차량의 적어도 하나의 구성요소로 전달하는 단계;
    를 포함하고,
    제1 음성 데이터는, 기동어, 제어 객체, 및 제어 동작을 포함하고, 제2 음성 데이터는, 제어 객체 및 제어 동작을 포함하는, 차량제어 방법.
  2. 제1항에 있어서,
    AVN이 부팅되면 휴대 단말이 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하는 단계; 및
    블루투스 페어링이 형성되면, 휴대 단말이 AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하는 단계;
    를 더 포함하는, 차량제어 방법.
  3. 제2항에 있어서,
    블루투스 페어링을 형성하는 단계는,
    휴대 단말이 AVN의 부팅을 감지하는 단계;
    휴대 단말이 AVN의 정보가 확인되면, 상기 AVN을 위한 클라이언트 소켓을 생성하는 단계; 및
    상기 클라이언트 소켓을 통해 휴대 단말과 AVN이 서로 연결되도록, 휴대 단말이 AVN 으로 접속 요청을 전달하고, 그에 대한 응답을 수신하는 단계;
    를 포함하는, 차량제어 방법.
  4. 제1항에 있어서,
    기동어 정보는 사용자의 설정에 따라 휴대 단말에 미리 저장되는, 차량제어 방법.
  5. 제1항에 있어서,
    제2 음성 데이터는 제1 음성 데이터에서 기동어가 제외된 나머지 데이터인, 차량제어 방법.
  6. 삭제
  7. 제1항에 있어서,
    제1 음성 데이터로부터 기동어가 검출되지 않으면, AVN이 내장된 제2 음성인식 모델을 이용하여 제1 음성 데이터로부터 결과 데이터를 얻는 단계;
    상기 제1 음성 데이터로부터 얻은 결과 데이터에 대응되는 제어 명령을 차량의 적어도 하나의 구성요소로 전달하는 단계;
    를 더 포함하는, 차량제어 방법.
  8. 제1항에 있어서,
    차량의 적어도 하나의 구성요소는, 프로세서, 블루투스 모듈, 공조기, 창문, 문, 또는 트렁크를 포함하는, 차량제어 방법.
  9. 제1항에 있어서,
    휴대 단말은 기지국을 통해 AI 서버와 신호, 정보 또는 데이터를 송수신하는, 차량제어 방법.
  10. 차량, 휴대 단말 및 AI 서버를 포함하는 제어 시스템에 의한 차량제어 방법에 있어서,
    휴대 단말이 AVN이 부팅되면 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하는 단계;
    블루투스 페어링이 형성되면, 휴대 단말이 AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하는 단계;
    블루투스 모듈을 통해 AVN으로부터 제1 음성 데이터를 수신하면, 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는 단계;
    AI 서버가 제1 음성인식 모델을 이용하여 휴대 단말로부터 수신된 제2 음성 데이터로부터 결과 데이터를 얻는 단계;
    를 포함하며,
    상기 AI 서버가 결과 데이터를 휴대 단말로 전달하면, 상기 휴대 단말은 차량으로 상기 결과 데이터를 전달하고,
    제1 음성 데이터는, 기동어, 제어 객체, 및 제어 동작을 포함하고, 제2 음성 데이터는, 제어 객체 및 제어 동작을 포함하는, 차량제어 방법.
  11. 차량, 휴대 단말 및 AI 서버를 포함하는 제어 시스템에서 휴대 단말에 의한 차량제어 방법에 있어서,
    AVN이 부팅되면 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하는 단계;
    블루투스 페어링이 형성되면, AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하는 단계;
    블루투스 모듈을 통해 AVN으로부터 제1 음성 데이터를 수신하면, 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는 단계;
    를 포함하며,
    AI 서버로부터 제2 음성 데이터에 기반하여 도출된 음성인식 결과 데이터를 수신하면, 상기 음성인식 결과 데이터를 차량으로 전달하고,
    제1 음성 데이터는, 기동어, 제어 객체, 및 제어 동작을 포함하고, 제2 음성 데이터는, 제어 객체 및 제어 동작을 포함하는, 차량제어 방법.
  12. 제1항, 제10항 또는 제11항의 방법을 컴퓨터 시스템에서 실행하기 위한 애플리캐이션이 저장된 컴퓨터 시스템이 판독 가능한 기록매체.
  13. AVN이 부팅되면 블루투스 모듈을 통해 AVN과 블루투스 페어링을 형성하고, 블루투스 페어링이 형성되면, 휴대 단말이 AVN으로 페어링된 휴대 단말의 식별을 위한 정보 및 기동어 정보를 전달하고, 상기 페어링이 유지되는 동안 AVN으로부터 수신된 제1 음성 데이터의 적어도 일부를 포함하는 제2 음성 데이터를 AI 서버로 전달하는, 휴대 단말;
    마이크를 통해 발화를 수신하고, 휴대 단말로부터 수신된 기동어 정보에 기반하여 상기 수신된 발화의 제1 음성 데이터(voice data)로부터 기동어가 검출되면, AVN이 블루투스 모듈을 통해 제1 음성 데이터를 휴대 단말로 전달하는 차량; 및
    제1 음성인식 모델을 이용하여 제2 음성 데이터로부터 결과 데이터를 얻는 AI 서버;
    을 포함하고,
    상기 AI 서버가 결과 데이터를 휴대 단말로 전달하면, 상기 휴대 단말은 AVN으로 상기 결과 데이터를 전달하고, 상기 AVN은 휴대 단말로부터 수신된 결과 데이터에 대응되는 제어 명령을 차량의 적어도 하나의 구성요소로 전달하며,
    제1 음성 데이터는, 기동어, 제어 객체, 및 제어 동작을 포함하고, 제2 음성 데이터는, 제어 객체 및 제어 동작을 포함하는, 제어 시스템.
KR1020210007176A 2021-01-19 2021-01-19 음성인식 기반 차량제어 방법 및 그 시스템 KR102561458B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210007176A KR102561458B1 (ko) 2021-01-19 2021-01-19 음성인식 기반 차량제어 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210007176A KR102561458B1 (ko) 2021-01-19 2021-01-19 음성인식 기반 차량제어 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20220104869A KR20220104869A (ko) 2022-07-26
KR102561458B1 true KR102561458B1 (ko) 2023-07-28

Family

ID=82609696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007176A KR102561458B1 (ko) 2021-01-19 2021-01-19 음성인식 기반 차량제어 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102561458B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086535A (ja) * 2017-11-01 2019-06-06 ソフトバンク株式会社 送信制御装置及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150053276A (ko) * 2013-10-29 2015-05-18 현대자동차주식회사 이동통신단말기와 차량 헤드유닛이 연계된 음성 처리 방법과 그 시스템
KR101657654B1 (ko) * 2015-02-09 2016-09-19 현대자동차주식회사 Avn 단말, 이를 포함하는 차량, 사용자 단말, 및 차량의 제어방법
KR20200141687A (ko) * 2019-06-11 2020-12-21 주식회사 오투오 음성 인식 액세서리를 이용한 서비스 제공 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019086535A (ja) * 2017-11-01 2019-06-06 ソフトバンク株式会社 送信制御装置及びプログラム

Also Published As

Publication number Publication date
KR20220104869A (ko) 2022-07-26

Similar Documents

Publication Publication Date Title
CN111465933B (zh) 利用音频信号认证用户的电子装置及其方法
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
CN110288987B (zh) 用于处理声音数据的系统和控制该系统的方法
US20140357248A1 (en) Apparatus and System for Interacting with a Vehicle and a Device in a Vehicle
WO2016183825A1 (zh) 一种定位声音发出位置的方法和终端设备
JP2017521724A (ja) 単一音響モデルと自動アクセント検出を用いたテキスト規則ベースの複数アクセントの音声認識
TW200412730A (en) Improving speech recognition of mobile devices
CN112470217A (zh) 用于确定要执行语音识别的电子装置的方法及电子装置
CN111421557B (zh) 电子装置及其控制方法
US10451710B1 (en) User identification method and user identification apparatus
KR102475989B1 (ko) 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
US10916249B2 (en) Method of processing a speech signal for speaker recognition and electronic apparatus implementing same
US11366890B1 (en) Input/output privacy tool
US11250870B2 (en) Electronic device for supporting audio enhancement and method for the same
KR20190041710A (ko) 음성 인식 기반의 자동차 제어 방법
CN111477225A (zh) 语音控制方法、装置、电子设备及存储介质
US20210383806A1 (en) User input processing method and electronic device supporting same
EP3654170A1 (en) Electronic apparatus and wifi connecting method thereof
KR102561458B1 (ko) 음성인식 기반 차량제어 방법 및 그 시스템
JP7340943B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
US20220343921A1 (en) Device for training speaker verification of registered user for speech recognition service and method thereof
EP3945706A1 (en) Systems and methods for bluetooth authentication using communication fingerprinting
JP5376072B1 (ja) 車載情報システムおよび音声認識適応方法
CN113016212B (en) Electronic device and WiFi connection method thereof
CN111557030A (zh) 用于处理语音输入的方法、设备和具有指令的计算机可读存储介质、具有语音处理的机动车和用户终端设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant