KR102592833B1 - 차량의 음성 인식 기능 연동 제어 시스템 및 방법 - Google Patents

차량의 음성 인식 기능 연동 제어 시스템 및 방법 Download PDF

Info

Publication number
KR102592833B1
KR102592833B1 KR1020180161541A KR20180161541A KR102592833B1 KR 102592833 B1 KR102592833 B1 KR 102592833B1 KR 1020180161541 A KR1020180161541 A KR 1020180161541A KR 20180161541 A KR20180161541 A KR 20180161541A KR 102592833 B1 KR102592833 B1 KR 102592833B1
Authority
KR
South Korea
Prior art keywords
vehicle
smart speaker
user
system server
seat
Prior art date
Application number
KR1020180161541A
Other languages
English (en)
Other versions
KR20200073420A (ko
Inventor
김동욱
이정원
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180161541A priority Critical patent/KR102592833B1/ko
Priority to US16/534,219 priority patent/US11498501B2/en
Priority to CN201910843542.8A priority patent/CN111319566A/zh
Publication of KR20200073420A publication Critical patent/KR20200073420A/ko
Application granted granted Critical
Publication of KR102592833B1 publication Critical patent/KR102592833B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0247—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3661—Guidance output on an external device, e.g. car radio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G06Q50/40—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0007—Mid-console
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0012—Seats or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019—Side or rear panels
    • B60R2011/0021—Doors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/0043—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means for integrated articles, i.e. not substantially protruding from the surrounding parts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Abstract

가정이나 사무실에서 사용하는 스마트 스피커를 차량에 장착하고, 스마트 스피커와 차량의 인포테인먼트 시스템과 연동하여 사용할 수 있는 차량의 음성 인식 기능 연동 제어 시스템 및 방법이 개시된다. 본 발명의 일 실시 예에 따른 차량의 음성 인식 기능 연동 제어 시스템은, 교통관리시스템 서버(100)와, 인포테인먼트 시스템(200)과, 부가 사업자 시스템 서버(300)와, 임의의 사용자의 음성명령을 수신하여 상기 부가 사업자 시스템 서버(300)로 전송하며, 상기 부가 사업자 시스템 서버(300)에서 전송되는 특정 컨텐츠를 수신하고, 수신된 상기 특정 컨텐츠를 출력하는 스마트 스피커(400)로 구성된다.

Description

차량의 음성 인식 기능 연동 제어 시스템 및 방법{Control system and method of interlocking control system of voice recognition function of vehicle}
본 발명은 차량의 음성 인식 기능 연동 제어 시스템 및 방법에 관한 것으로, 더욱 상세하게는 가정이나 사무실에서 사용하는 스마트 스피커를 차량에 장착 및 연동하여 사용할 수 있는 차량의 음성 인식 기능 연동 제어 시스템 및 방법에 관한 것이다.
일반적으로 도로 교통 관리 시스템(Advanced Traffic Management System)은 지능형 교통 체계(ITS)의 일환으로 정보 수집 장치를 활용하여 교통 정보를 수집한 후, 스마트 폰, 내비게이션과 같은 매체에 교통 정보를 제공하는 시스템이다. 특히, 고속도로·국도와 연계되는 도시 간선도로에도 교통 정보 서비스를 제공하기 위해 ATMS가 도입되었다. ATMS는 도로의 차량 검지기, 감시 카메라 등을 통해 교통 정보를 수집하여, 가변 전광 표지판(VMS: Variable Message Sign), 운전자의 네비게이션, 스마트 폰 등에 수집한 다양한 정보(행사, 교통사고, 소통량 등)를 제공한다. 이를 통해 운전자는 최적의 노선을 선택할 수 있다.
한편, 음악 감상이나 라디오 청취에 활용되던 스피커가 음성인식 기술과 만나 진화하고 있다. 스마트 폰에서 쉽게 만나볼 수 있는 음성인식 기술과 클라우드, 인공지능(AI) 기술을 활용해 단순하게 소리를 전달하는 도구에서 생각하고 관리하는 스마트 스피커(AI 스피커)로 변신 중이다. 이미 아마존(알렉사), 구글(오케이 구글), 애플 등 글로벌 IT 기업뿐만 아니라 국내에서도 SK텔레콤(누구), KT(기가지니), 네이버, 삼성전자 등도 이 시장에 해당 상품을 서비스하고 있는 중이다.
그러나, 현재의 기술로는 스마트 스피커 또는 AI 스피커는 인터넷 망이 제공되는 가정이나 사무실에서만 사용하였기 때문에 임의의 사용자가 스마트 스피커를 차량에 탑재시키는 경우에는 사용자의 스마트 폰의 근거리 통신기능(WiFi 핫스팟)을 사용하여 일부 컨텐츠나 서비스를 이용하는 한계를 갖고 있었다. 또한 사용자가 차량에 탑재한 스마트 스피커와 차량에 장착된 스피커 간 역할 분배가 정의되어 있지 않아서 차량에서 효율적으로 스마트 스피커를 활용할 수 없는 한계가 있었다.
본 발명은, 이상에서 설명한 종래기술의 문제점을 해소하기 위한 것으로서, 가정이나 사무실에서 사용하는 스마트 스피커를 차량에 장착하고, 스마트 스피커와 차량의 인포테인먼트 시스템과 연동하여 사용할 수 있는 차량의 음성 인식 기능 연동 제어 시스템 및 방법을 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따른 차량의 음성 인식 기능 연동 제어 시스템은, 적어도 하나 이상의 정보 수집 장치를 통하여 교통 정보를 수집 및 데이터베이스화하여 관리하고, 미리 등록된 사용자의 요청 또는 상기 사용자의 미리 설정된 상기 교통정보 제공명령에 따라 미리 등록된 차량에 상기 교통 정보를 전송하는 교통관리시스템 서버(100)와; 상기 교통관리시스템 서버(100)에서 제공되는 상기 교통정보를 수신하여, 상기 교통정보의 내용(contents)에 따라 해당 차량의 내부에 오디오신호로 출력되도록 제어하거나, 상기 교통정보를 오디오신호 및 영상신호로 출력되도록 제어하는 인포테인먼트 시스템(200)과; 인공신경망을 적용한 적어도 하나 이상의 인공지능 패키지(모델)가 설치된 상태에서 미리 설정된 기계학습 기법을 통해 각각의 인공지능 패키지에 상응하는 다양한 컨텐츠를 데이터베이스화하여 관리하고, 미리 등록된 사용자의 음성명령이나 미리 설정된 하나 이상의 서비스 옵션에 따라 상기 저장된 다양한 컨텐츠 중에서 특정 컨텐츠를 제공하거나, 상기 저장된 다양한 컨텐츠 중에서 교통 정보와 관련된 컨텐츠를 상기 교통관리시스템 서버(100)로 전송하거나, 상기 교통관리시스템 서버(100)에서 전송하는 컨텐츠를 수신하는 부가 사업자 시스템 서버(300)와; 임의의 사용자의 음성명령을 수신하여 상기 부가 사업자 시스템 서버(300)로 전송하며, 상기 부가 사업자 시스템 서버(300)에서 전송되는 특정 컨텐츠를 수신하고, 수신된 상기 특정 컨텐츠를 출력하는 스마트 스피커(400)를 포함하며, 상기 인포테인먼트 시스템(200)가 상기 사용자의 음성명령이 차량의 후석에 위치하고 있지 않거나, 상기 스마트 스피커의 거치가 상기 차량의 전석에 위치하는 것으로 판단하면, 상기 스마트 스피커(400)는 상기 사용자의 음성명령에 대한 발화 음성을 추출하고, 상기 사용자가 요청한 상기 특정 컨텐츠나 서비스를 인지하는 것을 특징으로 한다.
또한, 본 발명에 따른 차량의 음성 인식 기능 연동 제어 방법은, 차량의 내부에 위치한 임의의 사용자가 특정 컨텐츠나 서비스를 요청하는 단계(S101); 상기 차량의 내부에 거치하는 스마트 스피커의 거치가 상기 차량의 전석에 위치하는 지를 판단하는 단계(S103); 상기 스마트 스피커의 거취가 상기 차량의 전석에 위치하지 않는 것으로 판단되면, 상기 특정 컨텐츠나 서비스를 요청한 발화자가 상기 차량의 후석에 위치하는지를 판단하는 단계(S105); 상기 발화자가 차량의 후석에 위치하는 것으로 판단되면, 상기 발화자가 상기 차량의 후석 좌측시트 또는 우측 시트에 위치하는지를 판단하는 단계(S107); 상기 발화자가 차량의 후석 좌측 또는 우측에 위치하고 있는 경우, 상기 차량에 구비된 인포테인먼트 시스템은 현재 사운드 피드백 모드를 미리 설정된 복수개의 조건 중에서 선택하여 결정하는 단계(S121~S133); 상기 발화자가 차량의 후석에 위치하고 있지 않거나, 상기 스마트 스피커의 거치가 상기 차량의 전석에 위치하는 것으로 판단되면, 상기 스마트 스피커는 현재 모드상태가 네비/미디어/통화 모드 중 임의의 하나의 모드 인지를 판단하는 단계(S109); 상기 현재 모드상태가 네비/미디어/통화 모드 중 임의의 하나인 것으로 판단되면, 상기 차량의 전석 및 후석에 각각 설치된 일반 스피커 중 하나가 재생 가능한지를 판단하는 단계(S111); 상기 차량의 전석 및 후석에 각각 설치된 일반 스피커 중 임의의 하나가 재생 가능한 경우, 상기 스마트 스피커는 상기 사용자의 요청사항에 대한 발화 음성을 추출하는 단계; 상기 현재 모드상태가 네비/미디어/통화 모드 이외의 다른 모드인 것으로 판단되거나, 상기 차량의 전석 및 후석에 각각 설치된 일반 스피커 중 임의의 하나가 재생 가능하지 않은 경우에는 상기 사용자가 요청한 상기 특정 컨텐츠나 서비스를 인지하는 단계(S115)를 포함하여 이루어지는 것을 특징으로 한다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 따른 차량의 음성 인식 기능 연동 제어 시스템 및 방법에 따르면, 가정이나 사무실에서 사용하는 스마트 스피커를 차량에 장착하고, 스마트 스피커와 차량의 인포테인먼트 시스템과 연동하여 사용할 수 있어, 사용자의 입장에서는 필요한 기능을 선택적으로 다양하게 사용할 수 있다.
또한, 차량의 전석 및 후석의 위치에 따른 고객의 사용 특성, 탑승자 인원 및 특성 등을 고려하여 상황에 맞는 사운드 모드를 제공할 뿐만 아니라 사용자의 사용 패턴 방식 등을 통해 적합한 모드를 추천할 수 도 있을 것이다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차량의 음성 인식 기능 연동 제어 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 음성 인식 기능 연동 제어 시스템에서 구성요소간의 데이터 흐름을 설명하기 위한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 차량의 음성 인식 기능 연동 제어 절차를 설명하기 위한 플로우 차트다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 차량의 음성 인식 기능 연동 제어 시스템을 이용하는 실시 예를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
이하, 도 1 내지 도 4을 참조하여 본 발명의 실시 예들에 적용될 수 있는 차량의 음성 인식 기능 연동 제어 시스템의 구성과 동작을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량의 음성 인식 기능 연동 제어 시스템의 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 음성 인식 기능 연동 제어 시스템에서 구성요소간의 데이터 흐름을 설명하기 위한 도면이다.
도 1을 참조하면, 차량의 음성 인식 기능 연동 제어 시스템은, 적어도 하나 이상의 정보 수집 장치를 통하여 교통 정보를 수집 및 데이터베이스화하여 관리하고, 미리 등록된 사용자의 요청 또는 사용자의 미리 설정된 교통정보 제공명령에 따라 미리 등록된 차량에 교통 정보를 전송하는 교통관리시스템 서버(100)와; 교통관리시스템 서버(100)에서 제공되는 교통정보를 수신하여, 교통정보의 내용(contents)에 따라 해당 차량의 내부에 오디오신호로 출력되도록 제어하거나, 교통정보를 오디오신호 및 영상신호로 출력되도록 제어하는 인포테인먼트 시스템(200)과; 인공신경망을 적용한 적어도 하나 이상의 인공지능 패키지(모델)가 설치된 상태에서 미리 설정된 기계학습 기법을 통해 각각의 인공지능 패키지에 상응하는 다양한 컨텐츠를 데이터베이스화하여 관리하고, 미리 등록된 사용자의 음성명령이나 미리 설정된 하나 이상의 서비스 옵션에 따라 저장된 다양한 컨텐츠 중에서 특정 컨텐츠를 제공하거나, 저장된 다양한 컨텐츠 중에서 교통 정보와 관련된 컨텐츠를 교통관리시스템 서버(100)로 전송하거나, 교통관리시스템 서버(100)에서 전송하는 컨텐츠를 수신하는 부가 사업자 시스템 서버(300)와; 임의의 사용자의 음성명령을 수신하여 부가 사업자 시스템 서버(300)로 전송하며, 부가 사업자 시스템 서버(300)에서 전송되는 특정 컨텐츠를 수신하고, 수신된 특정 컨텐츠를 출력하는 스마트 스피커(400)로 구성된다.
스마트 스피커(400)는 차량의 실내에 착탈방식으로 설치되며, 차량의 내부에 설치되는 경우, 인포테인먼트 시스템(200)과 스마트 스피커(400)간에 블루투스 또는 NFC 중에서 선택되는 근거리 무선 통신기술을 사용하여 서로 연결되는 것이 바람직하다.
또한, 인포테인먼트 시스템(200)은, 교통관리시스템 서버(100) 또는 스마트 스피커(400)에서 전송하는 특정 컨텐츠에 따라 오디오 신호 만을 출력하는 오디오 모드와, 오디오 신호와 영상 신호를 동시에 출력하는 영상 모드 중 하나의 모드를 선택하여 실행되는 것이 바람직하다.
여기서, 특정 컨텐츠가 오디오 신호 만을 출력하는 경우, 인포테인먼트 시스템(200)의 모드상태, 차량의 전석 및 후석에 각각 설치된 일반 스피커의 재생가능상태, 사용자의 요청사항에 대한 발화 위치, 요청사항과 인포테인먼트 시스템(200)에 요청에 의한 차량기능간의 우선순위에 따라 사운드 피드백을 제어하는 것이 바람직하다.
또한, 스마트 스피커(400)의 설치위치는 차량의 전석 및 후석에 각각 설치된 제1 내지 제4 스피커를 통하여 미리 설정된 시간 동안 출력된 오디오 신호에 대한 반사음을 이용하여 차량의 전석의 운전자석, 전석의 동승석, 후석의 좌측시트, 후석의 우측 시트 중 하나로 판단하는 것이 바람직하다.
또한, 스마트 스피커(400)에 USIM 카드가 설치되지 않은 경우, 스마트 스피커(400)와 인포테인먼트 시스템(200) 간에는 차량에 위치한 임의의 스마트 폰의 와이파이(WI-Fi) 핫스팟 기능을 이용하여 서로 연결될 수 있다.
또한, 스마트 스피커(400)는 차량의 전석에 형성된 컵 홀더나 수납함에 설치된 별도의 거치대에 착탈방식으로 설치되거나, 차량의 전석에 형성된 컵 홀더, 수납함, 암레스트, 센터 콘솔이나, 차량의 후석에 형성된 리어센터 콘솔이나 후석의 양측면에 각각 형성된 좌측 및 우측 도어부 중에서 선택적으로 내장되도록 설치되는 것이 바람직하다.
또한, 인포테인먼트 시스템(200)과 스마트 스피커(400)간에 연결은 미디어모드를 블루투스(BT) 모드로 설정된 상태에서 차량에 설치된 모뎀을 이용하여 연결하거나, 차량의 내부에 위치한 임의의 스마트 폰의 WiFi 핫스팟 기능을 통하여 연결하는 것이 가능하다.
도 2는 본 발명의 일 실시예에 따른 차량의 음성 인식 기능 연동 제어 시스템에서 구성요소간의 데이터 흐름을 설명하기 위한 도면이다.
도 2를 참조하면, 교통관리시스템 서버(100)와 인포테인먼트 시스템(200) 그리고 부가 사업자 시스템 서버(300)와 스마트 스피커(400)는 이미 기존의 무선통신 서비스망을 통하여 미리 연결된 상태이다(S11,S12).
이때, 사용자가 가정이나 사무실에서 사용하던 스마트 스피커(400)를 차량에 착탈방식으로 위치시킨 상태에서 인포테인먼트 시스템(200)과 물리적으로 연결시키면, 인포테인먼트 시스템(200)과 스마트 스피커(400)간에 근거리 무선통신 방식 중 하나인 블루투스 기능을 이용하여 서로 데이터 통신이 가능하도록 연결된다(S13).
이때, 인포테인먼트 시스템(200)은 수신되는 컨텐츠 또는 서비스 내용에 따라 사운드 피드백 모드를 결정하고(S17), 결정된 사운드 피드백 모드에 따라 스마트 스피커(400)는 데이터 통신이 가능하도록 인포테인먼트 시스템(200)에 연결시킨다(S19).
이때, 웨이크업 명령을 통하여 사용자의 요청사항을 요구하면, 스마트 스피커(400)는 발화 내용을 인식하고(S21), 부가 사업자 시스템 서버(300)로 인식된 내용을 요청하고, 부가 사업자 시스템 서버(300)는 스마트 스피커(400)의 요청에 상응하는 컨텐츠나 서비스를 제공한다(S23).
이에 따라 스마트 스피커(400)는 부가 사업자 시스템 서버(300)에서 전송한 특정 컨텐츠나 서비스를 해당 차량의 인포테인먼트 시스템(200)으로 전송하여(S25), 인포테인먼트 시스템(200)의 제어에 따라 차량의 내부에 장착된 스피커나 디스플레이어를 통하여 재생할 수 있다(S27).
이하에서 첨부된 도 3 및 도 4를 참조하여 본 발명의 바람직한 실시 예에 따른 차량의 음성 인식 기능 연동 제어 시스템의 제어절차를 설명한다.
먼저, 도 3을 참조하면, 차량의 내부에 위치한 운전자 또는 동승자가 미리 설정된 특정 웨이크업 명령어(wake-up command)를 부르면서, 특정 컨텐츠나 통신 또는 부가 서비스를 요청한다(S101).
이때, 인포테인먼트 시스템(200)은 일정 시간 출력된 오디오 신호에 대한 반사음을 통하여 스마트 스피커(400)의 거치위치가 차량의 전석에 위치하는 지를 판단한다(S103).
S103 판단단계의 결과로써, 스마트 스피커(400)의 거취가 차량의 전석에 위치하지 않는 것으로 판단되면, 특정 컨텐츠나 통신 또는 부가 서비스를 요청한 발화자가 차량의 후석에 위치하는지를 판단한다(S105).
S105 판단단계의 결과로써, 발화자가 차량의 후석에 위치하는 것으로 판단되면, 발화자가 차량의 후석 좌측시트 또는 우측 시트에 위치하는지를 결정한다(S107).
S107 단계의 결정 결과에 따라, 인포테인먼트 시스템(200)은 현재 사운드 피드백 모드를 미리 설정된 복수개의 조건(S127 내지 S133) 중에서 선택하여 결정한다(S123).
즉, 도 3에 도시된 바와 같이, 인포테인먼트 시스템(200)은 내부에 탑재된 모드 결정 알고리즘(Algorithm)을 이용하여 스마트 스피커(400)의 사운드 피드백 모드를 결정하고(S123), 스마트 스피커(400)는 부가 사업자 시스템 서버(300)로 사용자에게 결정된 사운드 피드백 모드에 대한 실행을 요청할 수 있으며(S125), 이때 스마트 스피커(400)는 과거 사용자에 의해 제공되는 상황 학습 데이터베이스(미도시)에 피드백 결과를 데이터베이스화하여 관리시킬 수 있다(S121).
이때, 스마트 스피커(400)는 내부에 장착된 자체 스피커를 통하여 해당 컨텐츠나 서비스를 피드백하여 제공하거나(S127), 스마트 스피커(400)과 인포테인먼트 시스템(200) 간의 데이터 통신을 통하여 차량의 전석 및 후석에 각각 설치된 제1 내지 제4 일반 스피커를 통하여 해당 컨텐츠나 서비스를 피드백하여 제공하거나(S129), 스마트 스피커(400)와 인포테인먼트 시스템(200) 간의 데이터 통신을 통하여 차량의 내부에 설치된 일반 스피커를 통하여 제1 독립음장제어 모드로 해당 컨텐츠나 서비스를 피드백하여 제공하거나(S131), 스마트 스피커(400)와 인포테인먼트 시스템(200) 간의 데이터 통신을 통하여 차량의 내부에 설치된 일반 스피커를 통하여 제2 독립음장제어 모드로 해당 컨텐츠나 서비스를 피드백하여 제공할 수 있다(S133).
한편, 도 3에 도시된 바와 같이, S103 판단단계의 결과로써, 스마트 스피커(400)가 차량의 전석에 위치하고 있거나, S105 판단단계의 결과로써, 발화 위치가 전석인 것으로 판단되면, 스마트 스피커(400)는 현재 모드상태가 네비/미디어/통화 모드 중 임의의 하나의 모드인지를 판단한다(S109).
S109 판단단계의 결과로써, 현재 모드상태가 네비/미디어/통화 모드 중 임의의 하나의 모드인 것으로 판단되면, 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커(미도시)중 하나가 재생 가능한지를 판단한다(S111).
S111 판단단계의 결과로써, 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커 중 임의의 하나가 재생 가능한 경우에는 스마트 스피커(400)는 요청사항에 대한 발화 음성을 추출하는데(S113), 이때 스마트 스피커(400)는 발화 음성과 외부 음향(내비게이션 안내음, 자동차 소음, 차량의 외부 소음)을 서로 구분하여 발화자의 음성신호만을 추출하는 것이 바람직하다.
이어, 스마트 스피커(400)는 음성신호를 추출하거나, S109 판단단계의 결과로써, 현재 모드상태가 네비/미디어/통화 모드 이외의 다른 모드인 것으로 판단되거나, S111 판단단계의 결과로써, 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커 중 임의의 하나가 재생 가능하지 않은 경우에는 S101단계에서 요청한 특정 컨텐츠나 통신 또는 부가 서비스를 인지한다(S115).
이어, 스마트 스피커(400)는 S101단계에서 요청한 특정 컨텐츠나 통신 또는 부가 서비스 이외에 인포테인먼트 시스템(200) 또는 부가 사업자 시스템 서버(300)로부터 요청하는 차량기능이 있는 경우에 사용자의 요청사항과 차량기능 간에 우선순위를 비교하고(S117), 비교결과에 따라 S123 단계인 스마트 스피커(400)는 내부에 탑재된 모드 결정 알고리즘(Algorithm)을 이용하여 스마트 스피커(400)의 사운드 피드백 모드의 결정을 실행한다.
또한, 도 4를 참조하면, 차량의 내부에 위치한 운전자 또는 동승자가 미리 설정된 특정 웨이크업 명령어(wake-up command)를 부르면서, 특정 컨텐츠나 통신 또는 부가 서비스를 요청한다(S141).
이때, 인포테인먼트 시스템(200)은 일정 시간 출력된 오디오 신호에 대한 반사음을 통하여 스마트 스피커(400)가 차량의 전석에 위치하는지를 판단한다(S143).
S143 판단단계의 결과로써, 스마트 스피커(400)가 차량의 전석에 위치하는 것으로 판단되면, 인포테인먼트 시스템(200)은 현재 사운드 피드백 모드상태가 내비/미디어/통화 모드 중 하나인지를 판단한다(S145).
S145 판단단계의 결과로써, 현재 모드상태가 네비/미디어/통화 모드 중 하나인 것으로 판단되면, 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커(미도시)중 하나가 재생 가능한지를 판단한다(S147).
S147 판단단계의 결과로써, 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커 중 임의의 하나가 재생 가능한 경우에는 스마트 스피커(400)는 내부에 장착된 자체 스피커를 통하여 부가 사업자 시스템 서버(300)에서 제공되는 특정 컨텐츠나 서비스의 피드백을 제공한다(S155).
그러나, S145 판단단계의 결과로써, 현재 사운드 피드백 모드상태가 네비/미디어/통화 모드 이외의 다른 모드이거나, S147 판단단계의 결과로써, 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커 중 임의의 하나가 재생 가능하지 않은 것으로 판단되면, 스마트 스피커(400)과 인포테인먼트 시스템(200) 간의 데이터 통신을 통하여 차량의 전석 및 후석에 각각 설치된 제1 내지 제4 일반 스피커(미도시)를 통하여 특정 컨텐츠나 서비스의 피드백을 제공한다(S157).
그러나, S143 판단단계의 결과로써, 스마트 스피커(400)가 차량의 전석에 위치하지 않은 것으로 판단되면, 스마트 스피커(400)는 특정 웨이크업 명령어에 대한 발화 위치가 차량의 전석인지를 판단한다(S149).
S149 판단단계의 결과로써, 특정 웨이크업 명령어에 대한 발화 위치가 차량의 전석에 위치하는 것으로 판단되면, 스마트 스피커(400)는 사용자의 요청사항의 우선순위가 차량 기능의 우선순위 보다 높은지를 판단한다(S151).
S151 판단단계의 결과로써, 사용자의 요청사항의 우선순위가 차량 기능의 우선순위 보다 높은 것으로 판단되면, 스마트 스피커(400)와 인포테인먼트 시스템(200) 간의 데이터 통신을 통하여 차량의 전석 및 후석에 각각 설치된 제1 내지 제4 일반 스피커를 통하여 특정 컨텐츠나 서비스의 피드백을 제공하는 S157 단계를 실행한다.
그러나, S151 판단단계의 결과로써, 사용자의 요청사항의 우선순위가 차량 기능의 우선순위 보다 낮은 것으로 판단되면, 스마트 스피커(400)와 인포테인먼트 시스템(200) 간의 데이터 통신을 통하여 차량의 내부에 설치된 일반 스피커를 통하여 제1 독립음장제어 모드로 특정 컨텐츠나 서비스의 피드백을 제공한다(S159).
그러나 S149 판단단계의 결과로써, 특정 웨이크업 명령어에 대한 발화 위치가 차량의 후석에 위치하는 것으로 판단되면, 특정 웨이크업 명령어에 대한 상세 발화 위치가 후석의 좌측좌석인지 우측좌석인지를 판단하고(S153), 판단결과에 따라 스마트 스피커(400)와 인포테인먼트 시스템(200) 간의 데이터 통신을 통하여 차량의 내부에 설치된 일반 스피커를 통하여 제2 독립음장제어 모드로 특정 컨텐츠나 서비스의 피드백을 제공한다(S161).
이상에서 설명한 본 발명의 바람직한 실시 예에 따른 차량의 음성 인식 기능 연동 제어절차에 있어서, 사용자의 요청사항이 발생한 경우, 아래의 표1에 정리된 바와 같이, 인포테인먼트 시스템(200)이 내비/미디어/통화 모드 상태이고, 차량의 내부에 설치된 일반 스피커가 재생 가능한 상태인 경우에만 스마트 스피커(400)를 이용하여 사용자의 요청사항에 대한 피드백을 재생할 수 있다.
구분 스피커 위치 인포테인먼트 상태 차량 사운드 스피커 사운드 비고
전석 주행보조 전석 내비+미디어 미디어 재생 알림음/내비음 차량 마이크로 통합하여 사용가능
전석 동승자 전석 내비+미디어 알림음/내비음(미디어) 별도 미디어 스피커별 사운드 자동조절
아이캐어 - 내비+미디어 무음 알림음/내비음(미디어)
후석 전용 제어 후석 내비+미디어 일반 일반 또는 알림음/내비음 후석에서의 명령을 인포테인먼트로 전송
후석 미디어 후석 내비+미디어 일반 별도 미디어 스피커별 사운드 자동 조절
이상에서 설명한 본 발명의 바람직한 실시 예에 따른 차량의 음성 인식 기능 연동 제어 시스템 및 방법에 따르면, 도 5 및 도 6에 도시된 바와 같이, 사용자가 가정이나 사무실에서 사용하던 스마트 스피커(400)를 특정 차량에 가져와서 차량의 내부에 거치시킨 후, 차량의 인포테인먼트 시스템(200)과 연동시킨 상태에서 부가 사업자 시스템 서버(300)에서 제공하는 외부 컨텐츠나 서비스를 동일하게 사용하거나 서비스 받을 수 있는 것을 보이고 있다. 도 5에서는 차량의 내부에서 스마트 스피커(400)가 차량의 내부에 거치된 상태에서 차량의 시동이 걸리면 자동으로 페이링되는 것을 보인 것이며, 도 6은 스피커 음성인식기능을 활용하여 사용자들이 부가 사업자 시스템 서버(300)으로 원하는 컨텐츠나 서비스를 요청하는 것을 보인 것이다.
본 발명의 바람직한 실시 예에서, 부가 사업자 시스템 서버(300)와 스마트 스피커(400)로 이루어지는 인공지능 서비스는 크게 13가지의 기본 기능(개인 일정 관리, 소셜 서비스 관리, 외국어 번역, 특정 앱과 서비스 실행하기, 쇼핑하기, 이메일 관리, 메신저 관리, 음악 관리, 날씨 정보 제공, 여행 정보 제공, 스포츠 경기 알림, 궁금한 것 알려주기 및 잡담하기, 사물인터넷 제어 등)과, 음성인식기기 사용시 피드백을 오디오신호 뿐만 아니라 차량 내부에 설치된 디스플레이를 통해서도 제공하는 인터테인먼트 시스템의 화면 활용 기능, 블루투스(BT) 멀티커넥션 방식으로 별도의 연동 모드를 가능하게 하는 차량과 스피커간에 기본 연동기능, 차량의 내부에 출력되는 사운드를 통해 스피커의 피드백과 특정 컨텐츠를 재생하는 차량 사운드 시스템 연동기능, 차량에 설치된 마이크를 통해 스피커 음성인식을 사용하는 차량 마이크 연동 기능, 음성제어에 대해 스피커가 명령 받을 시, 차량 시스템으로 전달하는 차량 제어 연동기능, Wifi 핫스팟 등을 이용하여 차량의 모뎀을 활용하는 차량 데이터 플랜 연동기능으로 정리할 수 있다.
여기서, 개인 일정 관리기능은 인공지능 알고리즘이 캘린더 앱과 서비스에 입력된 정보를 바탕으로 스마트 폰 등의 기기에 알람을 띄워 일정을 차질 없이 진행할 수 있게 도와주는 기능이다. 또, 약속 장소로 이동하는 최적의 방법까지 제시해 약속 시간에 늦지 않도록 돕는 서비스도 함께 제공한다. 최근에는 인공지능이 사용자의 행동 패턴을 분석한 후 사용자가 실수로 캘린더에 기입하지 않은 일정까지 찾아내서 알려주는 서비스도 도입되었다.
또한, 소셜 서비스 관리기능은 인공지능이 사용자의 페이스북, 트위터, 인스타그램에 올라온 글, 사진, 동영상 등을 한 군데 모아서 보여준다. 또, 소셜 서비스 상에서 화제가 되고 있는 글, 사진, 동영상을 찾아주는 기능도 제공한다. 최근에는 인공지능이 사용자의 관심사를 분석한 후 사용자가 흥미로워할 내용을 알아서 찾아주는 기능도 추가되었다.
또한, 외국어 번역기능은 모르는 외국어를 입력하면 이를 사용자가 이용하는 언어로 자동 번역하는 기능을 제공한다. 인공지능 알고리즘이 외국인과 대화할 때 중간에 껴들어 동시 번역을 제공하기도 한다.
또한, 특정 앱과 서비스를 실행하기 기능은 사용자가 음성으로 특정 앱과 서비스를 실행하라고 명령하면 이를 기기 속에서 찾아서 자동으로 실행하는 기능을 제공한다. 최근에는 앱과 서비스의 실행뿐만 아니라 앱과 서비스의 모든 기능을 음성으로 조작할 수 있는 능력도 갖춰 나가고 있다.
또한, 쇼핑기능은 인공지능 알고리즘은 사용자가 원하는 물건을 최대한 저렴하게 구매할 수 있도록 쇼핑몰 사이트를 검색해서 최저가를 찾아주는 기능을 제공한다. 또, 음성으로 사용자가 원하는 제품을 찾고 이를 결제해주는 기능도 제공하고 있다.
또한, 이메일 관리기능은 최신 이메일 알람, 이메일 보관함 열람 등 기초적인 기능부터 특정 이메일을 음성으로 읽어주는 기능과 음성으로 이메일을 작성해서 발송하는 고급 기능까지 다양한 이메일 관리 기능을 제공한다. 또, 인공지능이 사용자의 이메일 내용을 분석해 간단한 답장을 자동으로 보내주는 자동 답장 기능도 연구 중이다.
또한, 메신저 관리기능은 카카오톡, 라인, 페이스북 메신저 등 인스턴트 메신저의 내용을 확인하고 이에 대한 답장을 음성으로 보낼 수 있다. 사용자와 친분이 깊은 상대방이 보낸 메시지를 사용자가 바로 인식할 수 있도록 지속적으로 알림을 보내는 기능도 갖추고 있다. 상대방이 사용자와 친분이 얼마나 깊은지는 인공지능이 메시지 분석을 통해 알아서 판단한다.
음악 관리기능은 인공지능 알고리즘이 사용자의 기기속에 담겨있는 음악 또는 가입한 서비스(예를 들어 스포티파이, 유튜브)에서 제공하는 음악을 통합 관리한다. 이렇게 관리 중인 음악을 음성으로 실행할 수 있고, 특정 시간에 특정 콘셉트의 음악이 자동으로 흘러나오도록 설정할 수도 있다. 예를 들어 아침 7시에는 기상 나팔 소리가, 오후 3시에는 나른한 클래식 음악이 흘러나오게 할 수 있다.
날씨 정보 제공기능은 사용자가 외출할 때 인공지능 알고리즘이 현재 날씨와 향후 날씨에 관한 정보를 알려준다. 또한 특정 일시에 특정 위치의 날씨가 어떨지 물어보면 이를 음성 또는 비주얼 데이터로 알려주는 기능도 있다.
여행 정보 제공기능은 인공지능 알고리즘은 여행에 앞서 사용자가 해당 여행지에 관한 정보를 물어보면 이를 찾아주는 기능을 갖추고 있다. 또한 해당 여행지에 빠르고 저렴하게 갈 수 있도록 최적의 교통편을 찾고, 이를 예약해주는 서비스도 제공한다.
스포츠 경기 알림 기능은 인공지능 알고리즘에게 특정 스포츠 팀을 좋아한다고 알려주면, 인공지능 알고리즘이 해당 팀의 경기 일정을 일목요연하게 알려주고 이를 시청할 수 있는 방법을 제안한다.
궁금한 것 알려주기 및 잡담기능은 인공지능 알고리즘은 사용자가 궁금해하는 것에 대한 답을 인터넷 검색으로 찾아서 알려주는 기능을 갖추고 있다. 또한 각종 상식, 유머, 화제의 UCC 등을 간추려서 보여준다. 또, 사용자와 소소한 잡담을 나눌 정도로 뛰어난 대화 능력을 갖추고 있다.
사물인터넷 제어기능은 최근 들어 인공지능 알고리즘은 사물인터넷 기기를 제어할 수 있는 기능을 적극적으로 품기 시작했다. 기존에는 사용자가 스마트 폰 앱 등을 통해 사물인터넷을 직접 제어했다면, 이제는 인공지능 알고리즘이 사용자의 행동 패턴을 분석해 스마트TV, 에어콘, 보일러, CCTV, 냉장고 등의 사물인터넷 기기를 알아서 조작해주고 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100 : 교통관리시스템 서버 200 : 인포테인먼트 시스템
300 : 부가 사업자 시스템 서버 400 : 스마트 스피커

Claims (13)

  1. 적어도 하나 이상의 정보 수집 장치를 통하여 교통 정보를 수집 및 데이터베이스화하여 관리하고, 미리 등록된 사용자의 요청 또는 상기 사용자의 미리 설정된 교통정보 제공명령에 따라 미리 등록된 차량에 상기 교통 정보를 전송하는 교통관리시스템 서버(100)와;
    상기 교통관리시스템 서버(100)에서 제공되는 상기 교통정보를 수신하여, 상기 교통정보의 내용(contents)에 따라 해당 차량의 내부에 오디오신호로 출력되도록 제어하거나, 상기 교통정보를 오디오신호 및 영상신호로 출력되도록 제어하는 인포테인먼트 시스템(200)과;
    인공신경망을 적용한 적어도 하나 이상의 인공지능 패키지(모델)가 설치된 상태에서 미리 설정된 기계학습 기법을 통해 각각의 인공지능 패키지에 상응하는 다양한 컨텐츠를 데이터베이스화하여 관리하고, 미리 등록된 사용자의 음성명령이나 미리 설정된 하나 이상의 서비스 옵션에 따라 상기 저장된 다양한 컨텐츠 중에서 특정 컨텐츠를 제공하거나, 상기 저장된 다양한 컨텐츠 중에서 교통 정보와 관련된 컨텐츠를 상기 교통관리시스템 서버(100)로 전송하거나, 상기 교통관리시스템 서버(100)에서 전송하는 컨텐츠를 수신하는 부가 사업자 시스템 서버(300)와;
    임의의 사용자의 음성명령을 수신하여 상기 부가 사업자 시스템 서버(300)로 전송하며, 상기 부가 사업자 시스템 서버(300)에서 전송되는 특정 컨텐츠를 수신하고, 수신된 상기 특정 컨텐츠를 출력하는 스마트 스피커(400)를 포함하고,
    상기 인포테인먼트 시스템(200)가 상기 사용자의 음성명령이 차량의 후석에 위치하고 있지 않거나, 상기 스마트 스피커의 거치가 상기 차량의 전석에 위치하는 것으로 판단하면, 상기 스마트 스피커(400)는 상기 사용자의 음성명령에 대한 발화 음성을 추출하고, 상기 사용자가 요청한 상기 특정 컨텐츠나 서비스를 인지하고,
    현재 모드상태가 네비/미디어/통화 모드 이외의 다른 모드인 것으로 판단되거나, 상기 차량의 전석 및 후석에 각각 설치된 일반 스피커 중 임의의 하나가 재생 가능하지 않은 경우에는 상기 스마트 스피커(400)은 상기 발화 음성을 추출하며,
    상기 현재 모드상태가 네비/미디어/통화 모드 중 임의의 하나의 모드인 경우, 상기 차량의 전석 및 후석에 각각 설치된 일반 스피커 중 하나가 재생 가능한 경우에 상기 특정 컨텐츠나 서비스를 인지하는,
    차량의 음성 인식 기능 연동 제어 시스템.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 스마트 스피커(400)는 상기 차량의 실내에 착탈방식으로 설치되며,
    상기 차량의 내부에 설치되는 경우, 상기 인포테인먼트 시스템(200)과 상기 스마트 스피커(400)간에 블루투스를 사용하여 서로 연결되는 것을 특징으로 하는 차량의 음성 인식 기능 연동 제어 시스템.
  5. 삭제
  6. 적어도 하나 이상의 정보 수집 장치를 통하여 교통 정보를 수집 및 데이터베이스화하여 관리하고, 미리 등록된 사용자의 요청 또는 상기 사용자의 미리 설정된 교통정보 제공명령에 따라 미리 등록된 차량에 상기 교통 정보를 전송하는 교통관리시스템 서버(100)와;
    상기 교통관리시스템 서버(100)에서 제공되는 상기 교통정보를 수신하여, 상기 교통정보의 내용(contents)에 따라 해당 차량의 내부에 오디오신호로 출력되도록 제어하거나, 상기 교통정보를 오디오신호 및 영상신호로 출력되도록 제어하는 인포테인먼트 시스템(200)과;
    인공신경망을 적용한 적어도 하나 이상의 인공지능 패키지(모델)가 설치된 상태에서 미리 설정된 기계학습 기법을 통해 각각의 인공지능 패키지에 상응하는 다양한 컨텐츠를 데이터베이스화하여 관리하고, 미리 등록된 사용자의 음성명령이나 미리 설정된 하나 이상의 서비스 옵션에 따라 상기 저장된 다양한 컨텐츠 중에서 특정 컨텐츠를 제공하거나, 상기 저장된 다양한 컨텐츠 중에서 교통 정보와 관련된 컨텐츠를 상기 교통관리시스템 서버(100)로 전송하거나, 상기 교통관리시스템 서버(100)에서 전송하는 컨텐츠를 수신하는 부가 사업자 시스템 서버(300)와;
    임의의 사용자의 음성명령을 수신하여 상기 부가 사업자 시스템 서버(300)로 전송하며, 상기 부가 사업자 시스템 서버(300)에서 전송되는 특정 컨텐츠를 수신하고, 수신된 상기 특정 컨텐츠를 출력하는 스마트 스피커(400)를 포함하고,
    상기 인포테인먼트 시스템(200)은, 상기 교통관리시스템 서버(100) 또는 상기 스마트 스피커(400)에서 전송하는 특정 컨텐츠에 따라 오디오 신호 만을 출력하는 오디오 모드와, 오디오 신호와 영상 신호를 동시에 출력하는 영상 모드 중 하나의 모드를 선택하여 실행하고,
    상기 특정 컨텐츠가 오디오 신호 만을 출력하는 경우, 상기 인포테인먼트 시스템(200)의 모드상태, 상기 차량의 전석 및 후석에 각각 설치된 일반 스피커의 재생가능상태, 사용자의 요청사항에 대한 발화 위치, 상기 요청사항과 상기 인포테인먼트 시스템(200)에 요청에 의한 차량기능간의 우선순위에 따라 사운드 피드백을 제어하는 것을 특징으로 하는 차량의 음성 인식 기능 연동 제어 시스템.
  7. 제6 항에 있어서
    상기 스마트 스피커(400)의 설치위치는 차량의 전석 및 후석에 각각 설치된 상기 제1 내지 제4 스피커를 통하여 미리 설정된 시간 동안 출력된 오디오 신호에 대한 반사음을 이용하여 상기 차량의 전석의 운전자석, 전석의 동승석, 후석의 좌측시트, 후석의 우측 시트 중 하나로 판단하는 것을 특징으로 하는 음성 인식 기능 연동 제어 시스템.
  8. 제1 항에 있어서,
    상기 스마트 스피커(400)에 USIM 카드가 설치되지 않은 경우, 상기 스마트 스피커(400)와 상기 인포테인먼트 시스템(200) 간에는 상기 차량에 위치한 임의의 스마트 폰의 와이파이(WI-Fi) 핫스팟 기능을 이용하여 서로 연결되는 것을 특징으로 하는 차량의 음성 인식 기능 연동 제어 시스템.
  9. 제1항에 있어서,
    상기 스마트 스피커(400)는 상기 차량의 전석에 형성된 컵 홀더나 수납함에 설치된 별도의 거치대에 착탈방식으로 설치되거나,
    상기 차량의 전석에 형성된 컵 홀더, 수납함, 암레스트, 센터 콘솔이나, 상기 차량의 후석에 형성된 리어센터 콘솔이나 상기 후석의 양측면에 각각 형성된 좌측 및 우측 도어부 중에서 선택적으로 내장되도록 설치되는 것을 특징으로 하는 차량의 음성 인식 기능 연동 제어 시스템.
  10. 제1항에 있어서,
    상기 인포테인먼트 시스템(200)과 상기 스마트 스피커(400)간에 연결은 미디어모드를 블루투스(BT) 모드로 설정된 상태에서 상기 차량에 설치된 모뎀을 이용하여 연결하거나,
    상기 차량의 내부에 위치한 임의의 스마트 폰의 WiFi 핫스팟 기능을 통하여 연결하는 것을 특징으로 하는 차량의 음성 인식 기능 연동 제어 시스템.
  11. 인포테인먼트 시스템(200)이 설치된 임의의 차량의 내부에 스마트 스피커(400)를 거치시킨 상태에서,
    상기 차량의 내부에 있는 사용자가 미리 설정된 특정 웨이크업 명령어(wake-up command)를 부르면서, 특정 컨텐츠나 통신 또는 부가 서비스를 요청하는 단계;
    일정 시간 출력된 오디오 신호에 대한 반사음을 통하여 상기 스마트 스피커(400)가 상기 차량의 전석에 위치하는지 후석에 위치하는지를 판단하는 단계;
    상기 스마트 스피커(400)가 상기 차량의 전석에 위치하는 경우, 상기 인포테인먼트 시스템(200)의 현재 모드상태가 네비/미디어/통화 모드인지를 판단하는 단계;
    상기 인포테인먼트 시스템(200)이 네비/미디어/통화 모드 중 임의의 하나인 것으로 판단되면, 상기 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커중 하나가 재생 가능한지를 판단하는 단계;
    상기 차량의 전석 및 후석에 각각 설치된 다수의 일반 스피커 중 임의의 하나가 재생 가능한 경우에는, 상기 스마트 스피커(400)는 상기 사용자의 요청사항에 대한 발화 음성을 추출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 차량의 음성 인식 기능 연동 제어 방법.
  12. 제11항에 있어서,
    상기 스마트 스피커(400)가 차량의 후석에 위치하는 것으로 판단되면, 상기 스마트 스피커(400)가 차량의 후석 좌측시트 또는 우측 시트에 위치하는지를 판단하는 단계와;
    상기 스마트 스피커(400)가 좌측 또는 우측에 위치하고 있는 경우, 상기 스마트 스피커(400)은 현재 사운드 피드백 모드를 결정하는 단계를 더 포함하는 것을 특징으로 하는 차량의 음성 인식 기능 연동 제어 방법.
  13. 제11 항 또는 제12 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180161541A 2018-12-14 2018-12-14 차량의 음성 인식 기능 연동 제어 시스템 및 방법 KR102592833B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180161541A KR102592833B1 (ko) 2018-12-14 2018-12-14 차량의 음성 인식 기능 연동 제어 시스템 및 방법
US16/534,219 US11498501B2 (en) 2018-12-14 2019-08-07 Voice recognition function link control system and method of vehicle
CN201910843542.8A CN111319566A (zh) 2018-12-14 2019-09-06 车辆的语音识别功能链接控制系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161541A KR102592833B1 (ko) 2018-12-14 2018-12-14 차량의 음성 인식 기능 연동 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200073420A KR20200073420A (ko) 2020-06-24
KR102592833B1 true KR102592833B1 (ko) 2023-10-23

Family

ID=71072288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161541A KR102592833B1 (ko) 2018-12-14 2018-12-14 차량의 음성 인식 기능 연동 제어 시스템 및 방법

Country Status (3)

Country Link
US (1) US11498501B2 (ko)
KR (1) KR102592833B1 (ko)
CN (1) CN111319566A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11407381B2 (en) * 2019-08-07 2022-08-09 Keep Technologies, Inc. Multi-device vehicle intrusion detection
CN112078498B (zh) * 2020-09-11 2022-03-18 广州小鹏汽车科技有限公司 一种车辆智能座舱的声音输出控制方法和智能座舱
CN115131100A (zh) * 2022-06-30 2022-09-30 北京龙驹代驾服务有限公司 一种出行服务下单方法、装置及电子设备
CN115635928A (zh) * 2022-09-09 2023-01-24 长城汽车股份有限公司 一种车辆控制方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117728A1 (en) * 1999-11-24 2003-06-26 Donnelly Corporation, A Corporation Of The State Of Michigan Interior rearview mirror system including a pendent accessory
US20140195110A1 (en) * 2013-01-10 2014-07-10 Lg Electronics Inc. Vehicle terminal and location-based content sharing system having the same
WO2018009897A1 (en) * 2016-07-07 2018-01-11 Harman International Industries, Incorporated Portable personalization
US20180335908A1 (en) * 2015-11-20 2018-11-22 Samsung Electronics Co., Ltd Electronic device and content output method of electronic device

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
DE10337852A1 (de) * 2003-08-18 2005-03-17 Robert Bosch Gmbh Fahrzeugsystem
JP4533897B2 (ja) * 2004-09-01 2010-09-01 パイオニア株式会社 処理制御装置、そのプログラム、および、そのプログラムを記録した記録媒体
KR20090001729A (ko) * 2007-05-15 2009-01-09 엘지전자 주식회사 디지털 미디어 재생기기에서의 인증코드 부여 장치 및 방법
EP2201553A4 (en) * 2007-08-16 2011-01-05 Google Inc COMBINED VEHICLE AND ROAD SENSOR TRAFFIC INFORMATION
US9852624B2 (en) * 2007-09-07 2017-12-26 Connected Signals, Inc. Network security system with application for driver safety system
KR101769353B1 (ko) * 2012-03-22 2017-08-18 한국전자통신연구원 증강 방송 스트림 송출 장치 및 방법, 및 증강 방송 서비스 제공 장치 및 방법
US20140323039A1 (en) * 2013-04-29 2014-10-30 Intellectual Discovery Co., Ltd. Method and apparatus for controlling vehicle communication
US20150094897A1 (en) * 2013-09-30 2015-04-02 Ford Global Technologies, Llc Autonomous vehicle entertainment system
US9984574B2 (en) * 2014-01-21 2018-05-29 Tribal Rides, Inc. Method and system for anticipatory deployment of autonomously controlled vehicles
KR20160031742A (ko) * 2014-09-15 2016-03-23 현대자동차주식회사 차량 및 그 제어방법과 네비게이션
EP3000651B1 (en) * 2014-09-24 2018-02-21 Volvo Car Corporation A system and method for seat retraction during an autonomous driving mode
KR101601500B1 (ko) * 2014-10-08 2016-03-09 현대자동차주식회사 스마트폰을 이용한 차량 운전 지원 시스템 및 방법
MY190923A (en) * 2015-07-27 2022-05-19 Tencent Tech Shenzhen Co Ltd Video sharing method and device, and video playing method and device
US9970780B2 (en) * 2015-11-19 2018-05-15 GM Global Technology Operations LLC Method and apparatus for fuel consumption prediction and cost estimation via crowd sensing in vehicle navigation system
EP3185566A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method for playing back a plurality of media titles, adapted media source device, media player device, media delegation device and configurable and adapted computer program
US20170214980A1 (en) * 2016-01-21 2017-07-27 Hashplay Inc. Method and system for presenting media content in environment
US20180160200A1 (en) * 2016-12-03 2018-06-07 Streamingo Solutions Private Limited Methods and systems for identifying, incorporating, streamlining viewer intent when consuming media
US10580405B1 (en) * 2016-12-27 2020-03-03 Amazon Technologies, Inc. Voice control of remote device
US20180234261A1 (en) * 2017-02-14 2018-08-16 Samsung Electronics Co., Ltd. Personalized service method and device
KR102414122B1 (ko) * 2017-04-19 2022-06-29 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
US10906506B2 (en) * 2017-12-28 2021-02-02 Micron Technology, Inc. Security of user data stored in shared vehicles
US20190268083A1 (en) * 2018-02-27 2019-08-29 Ad Connected, Inc. Apparatus and method for using connected vehicles as an advertisement platform
US10582351B2 (en) * 2018-03-02 2020-03-03 Ford Global Technologies, Llc Method and apparatus for vehicular communication
CN110869954A (zh) * 2018-03-08 2020-03-06 北京嘀嘀无限科技发展有限公司 用于监测交通工具使用的系统和方法
US10661173B2 (en) * 2018-06-26 2020-05-26 Sony Interactive Entertainment Inc. Systems and methods to provide audible output based on section of content being presented
WO2020006665A1 (en) * 2018-07-02 2020-01-09 Orange Method for connecting an electronic device to a target wireless access point
JP7124506B2 (ja) * 2018-07-17 2022-08-24 日本電信電話株式会社 集音拡声装置、その方法、およびプログラム
US11483785B2 (en) * 2018-07-25 2022-10-25 Trulli Engineering, Llc Bluetooth speaker configured to produce sound as well as simultaneously act as both sink and source
KR102136463B1 (ko) * 2018-07-27 2020-07-21 (주)휴맥스 스마트 디바이스 및 그 제어 방법
JP2020044879A (ja) * 2018-09-14 2020-03-26 トヨタ自動車株式会社 車両用音入出力装置
US11244373B2 (en) * 2018-09-24 2022-02-08 Cars.Com, Llc Method, system, and manufacture for personalized vehicle matching based upon user preferences
US10999358B2 (en) * 2018-10-31 2021-05-04 Twitter, Inc. Traffic mapping
CN109272133A (zh) * 2018-11-20 2019-01-25 百度在线网络技术（北京）有限公司 用于预约车辆的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117728A1 (en) * 1999-11-24 2003-06-26 Donnelly Corporation, A Corporation Of The State Of Michigan Interior rearview mirror system including a pendent accessory
US20140195110A1 (en) * 2013-01-10 2014-07-10 Lg Electronics Inc. Vehicle terminal and location-based content sharing system having the same
US20180335908A1 (en) * 2015-11-20 2018-11-22 Samsung Electronics Co., Ltd Electronic device and content output method of electronic device
WO2018009897A1 (en) * 2016-07-07 2018-01-11 Harman International Industries, Incorporated Portable personalization

Also Published As

Publication number Publication date
KR20200073420A (ko) 2020-06-24
US20200189501A1 (en) 2020-06-18
CN111319566A (zh) 2020-06-23
US11498501B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
KR102592833B1 (ko) 차량의 음성 인식 기능 연동 제어 시스템 및 방법
US11908445B2 (en) Conversation-aware proactive notifications for a voice interface device
US20200104962A1 (en) Opportunistic preference collection and application
CN104883382B (zh) 车载计算系统
US11836415B2 (en) Adaptive voice communication
US10636046B2 (en) System and method for conducting surveys inside vehicles
JP2021185664A (ja) 車両
US20120259951A1 (en) Systems and Methods for Delivering Content to Vehicles
US20150379568A1 (en) Dynamic embedded recognizer and preloading on client devices grammars for recognizing user inquiries and responses
US20130006769A1 (en) Criteria-Based Audio Messaging In Vehicles
CN103991419A (zh) 用于选择驾驶者偏好的方法和系统
CN103973767A (zh) 用于车辆社交网络的方法和设备
CN103038818A (zh) 在车载语音识别系统与车外语音识别系统之间的通信系统和方法
CN104050586A (zh) 用于车辆多媒体系统的广告管理器
US20110199180A1 (en) Consumer interactive music system
WO2019049491A1 (ja) 情報処理装置および情報処理方法
CN103098449A (zh) 用户设备，服务器和操作条件设定系统
US20060212300A1 (en) System and method for providing vehicle information from a telematics window sticker
CN105608095B (zh) 多媒体播放方法、装置及移动终端
US20210179139A1 (en) Vehicle and control method thereof
CN113450177A (zh) 信息提供系统、装置及其控制方法、服务器、记录介质
CN115428067A (zh) 用于提供个性化虚拟个人助理的系统和方法
CA2839259A1 (en) Systems and methods for delivering content to vehicles
US20220314800A1 (en) System and method for social media control in a vehicle computer system
JP2019105966A (ja) 情報処理方法及び情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant