KR20150060300A - System for command operation using speech recognition and method thereof - Google Patents

System for command operation using speech recognition and method thereof Download PDF

Info

Publication number
KR20150060300A
KR20150060300A KR1020130144544A KR20130144544A KR20150060300A KR 20150060300 A KR20150060300 A KR 20150060300A KR 1020130144544 A KR1020130144544 A KR 1020130144544A KR 20130144544 A KR20130144544 A KR 20130144544A KR 20150060300 A KR20150060300 A KR 20150060300A
Authority
KR
South Korea
Prior art keywords
terminal
voice data
voice
user
communication module
Prior art date
Application number
KR1020130144544A
Other languages
Korean (ko)
Other versions
KR102197143B1 (en
Inventor
김현태
한상일
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130144544A priority Critical patent/KR102197143B1/en
Priority to CN201410474844.XA priority patent/CN104681025B/en
Publication of KR20150060300A publication Critical patent/KR20150060300A/en
Application granted granted Critical
Publication of KR102197143B1 publication Critical patent/KR102197143B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R2011/0294—Apparatus with multi-functionalities, e.g. radio and telephone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Abstract

The present invention relates to a command operation system using voice recognition and an operation method thereof, comprising a communication module which performs short distance wireless communication; a first terminal which generates voice data by receiving a voice signal of a user, and transmits the voice data once a connection with the communication module is identified; and a second terminal which receives the voice data from the first terminal through the communication module, analyze the received voice data, and performs a command operation thereby.

Description

음성 인식을 이용한 명령 수행 시스템 및 그 동작 방법{System for command operation using speech recognition and method thereof}TECHNICAL FIELD [0001] The present invention relates to a command execution system using speech recognition,

본 발명은 음성 인식 기술에 관한 것으로, 특히 단말에서 획득된 음성을 전송하여 타 기기을 제어하는 기술에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a voice recognition technology, and more particularly, to a technique for controlling other devices by transmitting voice acquired from a terminal.

오늘날, 차량 운행 중 차량 운전자의 휴대전화 사용은 교통 안전을 위하여 법으로 금지되고 있다. 따라서, 운전 중 휴대전화 사용을 위해서 운전자는 핸즈프리 장치를 이용해야 한다. 최근에는, 핸즈프리 장치의 기능을 구비한 차량용 AVN 시스템과 휴대전화 간의 근거리 무선 통신 연결을 위한 연결 동작을 수행하여 휴대전화와 AVN 시스템을 연결할 수 있다. 구체적으로, AVN 시스템과 휴대전화는 블루투스 인터페이스를 통하여 페어링하여 휴대전화의 정보를 AVN 시스템에서도 확인이 가능하다.Today, the use of mobile phones by motorists while driving is prohibited by law for traffic safety. Therefore, in order to use the mobile phone while driving, the driver must use the hands-free device. In recent years, a mobile phone and an AVN system can be connected by performing a connection operation for a short distance wireless communication connection between a vehicle AVN system having a function of a hands-free device and a mobile phone. Specifically, the AVN system and the mobile phone are paired via the Bluetooth interface, so that the information of the mobile phone can be confirmed in the AVN system.

이 같은 블루투스 무선 통신 방법은 사용자가 원하는 기기에만 연결을 설정하고, 사용자가 연결을 원하지 않는 기기에 대해서 연결을 시도하지 않으므로 한정된 무선 자원을 효과적으로 사용할 수 있으며, 사용자가 원하는 기기와 빠르게 연결을 설정할 수 있다. 그러나 이러한 종래 기술은 사용자가 연결하기 원하는 기기는 물론, 주변의 연결 가능한 기기를 모두를 검색한 후 사용자에게 연결 가능한 기기 리스트를 제공함으로써, 연결 가능한 기기를 모두 검색하는데에 소정의 시간이 걸리게 된다.Such a Bluetooth wireless communication method sets a connection only to a device desired by the user and does not attempt to connect to a device that the user does not want to connect. Therefore, the limited wireless resources can be effectively used and the user can quickly establish a connection with a desired device. have. However, this conventional technique takes a predetermined time to search all the connectable devices by searching all of the peripheral connectable devices as well as the device to which the user wants to connect and providing a list of connectable devices to the user.

또한, AVN 시스템을 제어하기 위해 운전자는 휴대전화의 조작을 통해 AVN 시스템을 제어하거나, AVN 시스템을 직접 조작하여 제어할 수 있다. 예를 들어, ANV 시스템의 내비게이션을 통해 주소를 검색할 시 운전자는 직접 AVN 시스템의 내비게이션을 활성화하고, 터치스크린 등과 같은 키보드 자판을 이용하여 주소를 입력해야한다. 그러나, 이러한 동작은 운전자가 직접 타이핑을 해야하는 번거로움이 있으며, 차량 주행중에는 운전을 방해하는 위험한 행동으로 차량 사고를 일으킬 수도 있다.Further, in order to control the AVN system, the driver can control the AVN system through the operation of the cellular phone or directly manipulate the AVN system. For example, when searching for an address through the navigation of the ANV system, the driver must directly activate navigation of the AVN system and enter the address using a keyboard such as a touch screen. However, such an operation is troublesome for the driver to directly type, and may cause a car accident due to a dangerous action that interrupts driving while the vehicle is running.

본 발명은 단말에서 사용자의 음성을 인식하여 타 기기를 제어할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.An object of the present invention is to provide a technical solution for allowing a terminal to recognize a user's voice and to control other devices.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 음성 인식을 이용한 명령 수행 시스템은 근거리 무선 통신을 수행하는 통신 모듈, 사용자의 음성을 수신하여 음성 데이터를 생성하고, 상기 통신 모듈과의 연결이 확인되면 상기 음성 데이터를 전송하는 제1 단말, 및 상기 통신 모듈을 통해 상기 제1 단말로부터 상기 음성 데이터를 수신하고, 수신된 상기 음성 데이터를 분석하여 그에 대한 명령 동작을 수행하는 제2 단말을 포함한다.According to an aspect of the present invention, there is provided an instruction execution system using voice recognition, the system comprising: a communication module for performing short-range wireless communication; a voice module for receiving voice of a user to generate voice data, And a second terminal for receiving the voice data from the first terminal through the communication module and analyzing the received voice data and performing a command operation on the voice data when the voice data is confirmed do.

여기서, 상기 통신모듈을 NFC(Near Field Communication) 모듈이며, 상기 제1 단말은 상기 음성 신호를 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성한다.Here, the communication module is an NFC (Near Field Communication) module, and the first terminal performs at least one of sampling, noise cancellation, and feature extraction of the voice signal, and then transmits an NFC Data Exchange Format And generates the voice data.

또한, 상기 제2 단말은 상기 제1 단말로부터 수신된 상기 음성 데이터의 패턴을 분석하여 핵심어와 부가 정보를 추출하며, 추출된 상기 핵심어에 대한 동작을 수행하는 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하여 상기 핵심어에 해당하는 명령 동작을 수행하며, 상기 제2 단말은 상기 음성 데이터의 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송한다.The second terminal analyzes a pattern of the voice data received from the first terminal to extract key words and additional information, and transmits the key word and the additional information to an application that performs an operation on the extracted key word And the second terminal transmits an error message to the first terminal when it is determined that the meaning of the information included in the voice data is ambiguous at the time of analyzing the voice data.

나아가, 상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛이다.Further, the first terminal is the mobile communication terminal of the user, and the second terminal is the head unit of the vehicle.

한편, 전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 음성 인식을 이용한 명령 수행 시스템에 의한 명령 수행 방법은 제1 단말에서 사용자의 음성을 수신하여 음성 데이터를 생성하는 단계, NFC(Near Field Communication) 모듈과의 연결이 확인되면, 상기 음성 데이터를 제2 단말로 전송하는 단계, 수신된 상기 음성 데이터를 상기 제2 단말에서 분석하여 핵심어 및 부가 정보를 추출하는 단계, 및 추출된 상기 핵심어에 대한 명령 동작이 수행되도록 상기 제2 단말의 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for performing an instruction by an instruction execution system using speech recognition, the method comprising: receiving voice of a user at a first terminal to generate voice data; Transmitting the voice data to the second terminal when the connection with the communication module is confirmed, extracting key words and additional information by analyzing the received voice data at the second terminal, And transmitting the keyword and the additional information to an application of the second terminal so that a command operation for the second terminal is performed.

여기서, 상기 생성하는 단계는 상기 음성 신호를 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성하는 단계를 포함한다.Here, the generating may include at least one of sampling, noise cancellation, and feature extraction of the speech signal, and converting the speech signal into an NDEF (NFC Data Exchange Format) protocol to generate the speech data .

또한, 음성 인식을 이용한 명령 수행 시스템에 의한 명령 수행 방법은 상기 제2 단말에서 상기 음성 데이터를 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송하는 단계를 더 포함하며, 상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛이다.In addition, the method for performing an instruction by the command execution system using speech recognition may further comprise the steps of: when analyzing the voice data at the second terminal, if the meaning of the information included in the voice data is ambiguous, Wherein the first terminal is the mobile communication terminal of the user, and the second terminal is the head unit of the vehicle.

본 발명의 실시예에 따르면, 사용자의 휴대 단말기에서 획득되는 사용자의 음성 정보를 이용하여 헤드 유닛에 내장된 애플리케이션을 구동 및 해당 동작을 수행하며, 휴대 단말기와 헤드 유닛은 NFC의 근거리 무선 통신을 통해 정보를 송수신함으로써, 사용자가 정보를 직접 타이핑하는 번거로움이 없으며, 블루투스와 같이 기기 간의 별도 인증 과정이 생략되어 사용자의 편의성이 향상된다.According to an embodiment of the present invention, an application embedded in a head unit is operated and performed by using voice information of a user obtained from a user's portable terminal, and the portable terminal and the head unit are connected to each other through NFC short- By transmitting and receiving the information, there is no inconvenience that the user directly typing the information, and the convenience of the user is improved by omitting the separate authentication process between the devices such as Bluetooth.

도 1은 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 시스템 블록도.
도 2는 본 발명에 따른 단말 간의 근거리 무선 통신을 설명하기 위한 도면.
도 3은 본 발명에 따른 사용자의 음성을 데이터화하는 동작을 설명하기 위한 도면.
도 4는 본 발명에 따른 음성 데이터를 분석하는 동작을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 방법 흐름도.1 is a block diagram of an instruction execution system using speech recognition according to an embodiment of the present invention;
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001]
3 is a diagram for explaining an operation of converting a voice of a user according to the present invention into data.
4 is a diagram for explaining an operation of analyzing speech data according to the present invention;
5 is a flowchart illustrating a method of performing an instruction using speech recognition according to an embodiment of the present invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The foregoing and further aspects of the present invention will become more apparent from the following detailed description of preferred embodiments with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 시스템 블록도이다. 도시된 바와 같이,명령 수행 시스템(10)은 제1 단말(100), 통신 모듈(200) 및 제2 단말(300)을 포함한다.1 is a block diagram of an instruction execution system using speech recognition according to an embodiment of the present invention. As shown, the command execution system 10 includes a first terminal 100, a communication module 200, and a second terminal 300.

먼저, 통신 모듈(200)은 근거리 무선 통신을 수행하기 위한 모듈이다. 바람직하게, 통신 모듈(200)은 근거리 무선 통신 중 NFC(Near Field Communication)을 위한 NFC 통신 모듈이다. First, the communication module 200 is a module for performing short-range wireless communication. Preferably, the communication module 200 is an NFC communication module for NFC (Near Field Communication) during short-range wireless communication.

여기서, NFC 모듈은 전자태그(RFID)의 하나로 13.56MHz 주파수 대역을 사용하는 비접촉식 근거리 무선통신 모듈로, 10cm의 가까운 거리에서 단말기 간의 데이터를 전송하기 위한 모듈이다. NFC는 데이터 읽기와 쓰기 기능을 모두 사용할 수 있기 때문에 기존에 RFID 사용을 위해 필요했던 동글(리더)이 필요하지 않으며, 블루투스 등과 같은 기존의 근거리 통신처럼 기기 간 설정을 하지 않아도 된다.Here, the NFC module is a non-contact type short-range wireless communication module using a frequency band of 13.56 MHz as one of RFID tags, and is a module for transmitting data between terminals at a distance of 10 cm. Since NFC can use both data reading and writing functions, it does not need the dongle (reader) that was needed for RFID use and does not need to set between devices like conventional short distance communication such as Bluetooth.

덧붙여, NFC는 유도 전류의 원리를 이용하는데, 유도 전류의 원리는 영국의 물리학자 패러데이가 발견한 원리로 자기장을 코일을 가까이하면, 순간적으로 코일에 전류가 발생하는 원리로, 도 2의 (a)와 같이 제1코일에 자석을 왕복시키면 제2 코일에도 전류가 발생 되는 원리이다.In addition, the NFC utilizes the principle of induction current. The principle of induction current is the principle found by the British physicist Faraday. The principle is that a current is generated momentarily in the coil when the magnetic field is brought close to the coil. The current is also generated in the second coil when the magnet is reciprocated in the first coil.

이와 같은 유도 전류의 원리를 이용하여, 도 2의 (b)와 같이 NFC 모듈이 동작할 수 있다. 이때, NFC 모듈은 리더(reader)기(태그)와 카드를 이용하여 동작할 수 있다. 구체적으로, 리더기에 제1 코일 역할을 하는 안테나가 있어 전류를 인가하면 계속 변화하는 연속적 신호 발생 자기장이 발생한다. 그리고, 카드에는 카드 주위를 둘러싼 제2 코일이 있어, 리더기에 다가가면 코일에 전류가 발생한다. 이때 발생한 전류로 카드에 내장된 메모리칩을 동작하여 칩에 기억된 정보를 리더기가 읽어들일 수 있다.By using the principle of the induction current, the NFC module can operate as shown in FIG. 2 (b). At this time, the NFC module can operate using a reader (tag) and a card. Specifically, the reader has an antenna serving as a first coil, and a continuously changing signal generating magnetic field is generated when an electric current is applied. Then, the card has a second coil surrounding the card, and when it approaches the reader, a current is generated in the coil. At this time, the reader can read the information stored in the chip by operating the memory chip embedded in the card by the generated current.

즉, 통신 모듈(200)의 리더기에 카드를 포함한 제1 단말(100)이 다가오면, 전류가 발생하여 제1 단말(100)에 내장된 메모리에 기억된 정보를 통신 모듈(200)의 리더기가 읽어들일 수 있으며, 이렇게 읽어들인 정보는 제2 단말(300)로 전송될 수 있다.That is, when the first terminal 100 including the card approaches the reader of the communication module 200, a current is generated and the information stored in the memory built in the first terminal 100 is read by the reader of the communication module 200 And the read information can be transmitted to the second terminal 300. [

제1 단말(100)은 사용자의 음성 신호를 수신하여 음성 데이터로 생성하여 통신 모듈(200)을 통해 제2 단말(300)에 전송하는 구성이다. 바람직하게, 사용자의 음성 신호를 수신하기 위해 제1 단말(100)은 사용자의 음성을 획득하는 마이크를 포함한다. 또한, 마이크를 통해 수신되는 사용자의 음성 신호를 음성 데이터로 생성하기 위해 제1 단말(100)은 음성 처리 프로세서가 내장된다. 이를 위해, 제1 단말(100)은 음성 인식부(110), 샘플링부(120), 잡음제거부(130) 및 데이터화부(140)가 포함될 수 있다. 나아가, 제1 단말(100)은 생성된 음성 데이터를 저장(임시 저장)하기 위해 메모리를 포함하며, 음성 데이터를 제2 단말(300)로 전송하기 위한 통신 모듈(200)과의 연결을 위해 카드(NFC 카드)가 내장될 수 있다.The first terminal 100 receives the user's voice signal, generates voice data, and transmits the voice data to the second terminal 300 through the communication module 200. Preferably, the first terminal 100 includes a microphone for acquiring the user's voice to receive the user's voice signal. In addition, the first terminal 100 includes a voice processing processor for generating a voice signal of a user, which is received through a microphone, as voice data. The first terminal 100 may include a speech recognition unit 110, a sampling unit 120, a noise removing unit 130, and a data converting unit 140. [ In addition, the first terminal 100 includes a memory for storing (temporarily storing) the generated voice data, and for transmitting the voice data to the second terminal 300, (NFC card) can be built in.

일 예로, 제1 단말(100)은 최근에 보편적으로 사용자가 이용하고 있는 마이크가 내장된 이동통신 단말기(예를 들어, 스마트폰)일 수 있다. 다른 예로, 제1 단말(100)은 일반적인 녹음 장치(녹음기)일 수도 있다. 본 발명에서는 제1 단말(100)을 스마트폰을 예를 들어 설명한다.For example, the first terminal 100 may be a mobile communication terminal (for example, a smart phone) having a built-in microphone that is commonly used by a user in recent years. As another example, the first terminal 100 may be a general recording device (recording device). In the present invention, the first terminal 100 will be described as a smartphone as an example.

구체적으로, 제1 단말(100)은 마이크를 통해 사용자의 음성을 획득(인식)한다. 이때, 제1 단말(100)은 사용자가 제2 단말(300)로 데이터(음성 데이터)를 전달할 의향이 있어, 제1 단말(100)에 사용자에 의해 요청 신호가 입력되는 경우, 마이크를 통해 사용자의 음성을 획득한다. 바람직하게, 제1 단말(100)은 사용자에 의해 NFC 버튼이 선택된 경우에 마이크를 통해 사용자의 음성을 획득한다.Specifically, the first terminal 100 acquires (recognizes) the user's voice through the microphone. In this case, when the user intends to transmit data (voice data) to the second terminal 300 and the request signal is input by the user to the first terminal 100, . Preferably, the first terminal 100 acquires the user's voice through the microphone when the NFC button is selected by the user.

이때, 사용자는 제1 단말(100)의 마이크에 핵심어 및 부가 정보를 정확하게 발음한다. 여기서, 핵심어는 이후 제2 단말(300)에 포함된 애플리케이션(응용프로그램)에서 수행하는 동작에 대한 단어이며, 부가 정보는 애플리케이션에서 수행하는 동작에 대한 구체적인 정보이다. At this time, the user correctly pronounces the key word and the additional information in the microphone of the first terminal 100. Here, the keyword is a word related to an operation performed in an application (application program) included in the second terminal 300, and the additional information is specific information on an operation performed by the application.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 'POI'와 관련된 내비게이션 애플리케이션이 동작하며, '서울특별시 강남구 서초동 00번지'를 관심 지점으로 저장하는 동작을 수행할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 '번호 저장'과 관련된 연락처 애플리케이션이 동작하며, '010-0000-0000'를 연락처로 저장하는 동작을 수행할 수 있다.For example, when a voice such as "POI (or NAVI) " is obtained from the user, the navigation application related to 'POI' Quot; Seocho-dong 00 " as the point of interest. As another example, if a voice such as "010-0000-0000, number storage" is obtained from the user, then the second terminal 300 operates the contact application related to 'store number', '010-0000-0000' Can be stored as a contact.

마이크를 통해 음성 신호가 수신되면, 제1 단말(100)은 음성 처리 프로세서를 이용하여 음성 데이터를 생성한다. 구체적으로, 제1 단말(100)은 도 3의 (a)와 같이 사용자로부터 수신되는 음성 신호에 샘플링 과정, 잡음 제거 과정 및 특징 추출 과정 중 적어도 하나의 과정을 수행하여 음성 데이터로 생성한다. 바람직하게, 사용자로부터 수신되는 음성 신호(아날로그 신호)는 샘플링, 잡음 제거, 특징 추출 과정을 거쳐 음성 데이터(디지털 데이터)를 생성될 수 있다. 예를 들어, 음성 처리 프로세서의 동작은 도 3의 (b)와 같을 수 있다. When a voice signal is received via the microphone, the first terminal 100 generates voice data using the voice processing processor. Specifically, the first terminal 100 performs at least one of a sampling process, a noise removal process, and a feature extraction process on a voice signal received from a user as shown in FIG. 3A to generate voice data. Preferably, the voice signal (analog signal) received from the user may be subjected to sampling, noise cancellation and feature extraction to generate voice data (digital data). For example, the operation of the voice processing processor may be as shown in Fig. 3 (b).

또한, 제1 단말(100)은 생성된 음성 데이터화 여부를 확인하여, 음성 신호가 음성 데이터로 생성되지 않은 경우, 알림 정보를 출력하여 사용자에게 음성 재수신을 요청한다. 바람직하게, 제1 단말(100)은 음성 재수신(재인식) 요청 메시지를 디스플레이하여 사용자에게 음성 재수신을 요청할 수 있다.Also, the first terminal 100 checks whether the generated voice data is generated, and if the voice signal is not generated as voice data, the first terminal 100 outputs the notification information to request the user to re-receive voice. Preferably, the first terminal 100 may display a voice re-receipt (re-recognition) request message to request a voice re-receipt to the user.

나아가, 제1 단말(100)은 생성된 음성 데이터를 제2 단말(300)로 전송하기 위해, 통신 모듈(200)의 프로토콜의 데이터 형식에 따라 음성 데이터를 변환하는 과정을 수행한다. 구체적으로, 제1 단말(100)은 음성 데이터를 NDEF(NFC Data Exchange Format) 프로토콜의 형태로 변환할 수 있다.Further, the first terminal 100 performs a process of converting the voice data according to the data format of the protocol of the communication module 200, in order to transmit the generated voice data to the second terminal 300. Specifically, the first terminal 100 may convert the voice data into an NDEF (NFC Data Exchange Format) protocol.

이렇게 변환된 음성 데이터는 통신 모듈(200)(NFC 모듈)을 통해 제2 단말(300)로 전송될 수 있다. 이때, 변환된 음성 데이터는 제1 단말(100)과 통신 모듈(200) 간의 연결이 확인되면, 통신 모듈(200)을 통해 제2 단말(300)로 전송될 수 있다. 바람직하게, 제1 단말(100)이 통신 모듈(200)의 리더기(태그)에 태깅되면 제1 단말(100)과 통신 모듈(200)은 연결된 것으로 확인할 수 있다. 즉, 음성 데이터가 변환된 후, 사용자에 의해 제1 단말(100)이 통신 모듈(200)에 태깅되면 통신 모듈(200)과의 통신 연결을 확인할 수 있으며, 통신 연결이 확인되면 제1 단말(100)은 음성 데이터를 제2 단말(300)로 전송한다. The converted voice data may be transmitted to the second terminal 300 through the communication module 200 (NFC module). At this time, the converted voice data can be transmitted to the second terminal 300 through the communication module 200 when the connection between the first terminal 100 and the communication module 200 is confirmed. Preferably, when the first terminal 100 is tagged to a reader (tag) of the communication module 200, it can be confirmed that the first terminal 100 and the communication module 200 are connected. That is, after the voice data is converted, if the first terminal 100 is tagged to the communication module 200 by the user, the communication connection with the communication module 200 can be confirmed. If the communication connection is confirmed, 100 transmits the voice data to the second terminal 300.

만약, 음성 데이터가 변환된 후, 통신 모듈(200)과의 연결이 확인되지 않으면, 제1 단말(100)은 변환된 음성 데이터를 메모리에 저장한다. 또는, 제1 단말(100)은 통신 모듈(200)과의 연결에 관계없이 무조건 변환된 음성 데이터를 메모리에 저장할 수도 있다. 이후, 통신 모듈(200)과의 연결이 확인되어, 음성 데이터가 제2 단말(300)로 전송되면, 제1 단말(100)은 메모리에 저장한 음성 데이터를 삭제할 수 있다. If the connection with the communication module 200 is not confirmed after the voice data is converted, the first terminal 100 stores the converted voice data in the memory. Alternatively, the first terminal 100 may store the unconditionally converted voice data in the memory, regardless of the connection with the communication module 200. Thereafter, when the connection with the communication module 200 is confirmed and the voice data is transmitted to the second terminal 300, the first terminal 100 can delete the voice data stored in the memory.

제2 단말(300)은 수신된 음성 데이터를 분석하여 그에 대한 명령 동작을 수행하는 구성이다. 바람직하게, 제2 단말(300)은 차량의 AVN(Audio, Video, Navigation) 시스템을 제어하는 헤드 유닛일 수 있다. 또는, 제2 단말(300)은 차량의 핸즈프리 시스템의 전반을 제어하는 제어 유닛일 수 있다. 제2 단말(300)은 다수의 애플리케이션(응용프로그램)을 포함한 단말 기기일 수 있다. 본 발명에서 제2 단말(300)은 AVN 시스템과 핸즈프리 시스템 모두를 제어하는 헤드 유닛을 예로 들어 설명한다. 또한, 제2 단말(300)은 음성 데이터를 문자로 변환 처리하기 위한 음성 인식 프로세서(예를 들어, STT(Speech To Text))를 포함한다. 이를 위해, 제2 단말(300)은 데이터 파싱부(310), 패턴비교부(320), 정보추출부(330), 앱(App) 전달부(340) 및 앱 수행부(350)를 포함할 수 있다. The second terminal 300 analyzes the received voice data and performs a command operation on the received voice data. Preferably, the second terminal 300 may be a head unit that controls an AVN (Audio, Video, Navigation) system of the vehicle. Alternatively, the second terminal 300 may be a control unit that controls the first half of the hands-free system of the vehicle. The second terminal 300 may be a terminal device including a plurality of applications (application programs). In the present invention, the second terminal 300 explains a head unit controlling both the AVN system and the hands-free system as an example. In addition, the second terminal 300 includes a speech recognition processor (e.g., STT (Speech To Text)) for converting speech data into characters. To this end, the second terminal 300 includes a data parser 310, a pattern comparator 320, an information extractor 330, an application transmitter 340, and an app performer 350 .

제2 단말(300)은 통신 모듈(200)을 통해 제1 단말(100)로부터 수신된 음성 데이터를 분석 처리하여 핵심어 및 부가 정보를 추출한다. 이때, 제2 단말(300)은 음성 인식 프로세서를 통해 음성 데이터 분석 처리(파싱 및 패턴 비교)하여 핵심어 및 부가 정보를 추출할 수 있다. The second terminal 300 analyzes the voice data received from the first terminal 100 through the communication module 200 and extracts key words and additional information. At this time, the second terminal 300 can extract key words and additional information by performing speech data analysis processing (parsing and pattern comparison) through a speech recognition processor.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 추출할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어를 추출할 수 있다. 이때, 핵심어는 제2 단말(300)에 내장되어 동작 가능한 애플리케이션에서 수행하는 동작 또는 관련된 단어이며, 메모리(제2 단말의 메모리)에 기저장될 수 있다.For example, when a voice such as "POI (or NAVI) from the user, 00 in Seocho-dong, Gangnam-gu, Seoul, Korea is inputted and voice data is received, the second terminal 300 transmits a keyword " POI "Quot; 00 ". As another example, when a voice such as "010-0000-0000, number storage" is input from the user and voice data is received, the second terminal 300 transmits the additional information '010-0000-0000' Can be extracted. In this case, the key word is an operation or a related word performed by an application that is built in and operable in the second terminal 300, and may be stored in the memory (memory of the second terminal).

나아가. 제2 단말(300)은 추출된 핵심어 및 부가 정보를 통해 내장된 애플리케이션(앱, App)의 해당 명령을 수행한다.Furthermore. The second terminal 300 executes the corresponding command of the embedded application (app, App) through the extracted keyword and additional information.

일 예로, "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성 데이터로부터 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 내비게이션을 동작한다. 또한, 내비게이션의 기능 중 POI(관심 주소) 기능을 수행하여 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 관심 주소로 입력하는 동작을 수행한다. For example, if the keyword 'POI' and the additional information '00, Seocho-dong, Gangnam-gu, Gangnam-gu' are extracted from voice data such as' POI (or NAVI) Operates navigation among embedded applications. In addition, a POI (Interest Address) function is performed among the functions of the navigation, and the additional information called '00, Seocho-dong, Gangnam-gu, Seoul, Korea' is inputted to the interested address.

다른 예로, "010-0000-0000, 번호 저장"과 같은 음성 데이터로부터 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 연락처 애플리케이션을 동작한다. 또한, 제2 단말(300)은 연락처 애플리케이션의 기능 중 번호 저장 기능을 수행하여 '010-0000-0000'라는 부가 정보를 중 (연락처)번호로 저장할 수 있다.As another example, if the additional information "010-0000-0000" and the keyword "store number" are extracted from the voice data such as "010-0000-0000, number storage" Of your contacts. Also, the second terminal 300 can store the additional information '010-0000-0000' as a contact number by performing a number storage function among functions of the contact application.

한편, 제2 단말(300)은 핵심어 및 부가 정보를 추출하였으나, 추출된 핵심어만으로는 수행해야할 애플리케이션 및 그 동작을 특정할 수 없는 경우가 있다. 예를 들어, 획득된 핵심어와 관련된 애플리케이션이 제2 단말(300) 내에 내장되지 않은 경우 또는, 메모리에 해당 단어가 저장되지 않은 경우, 제2 단말(300)은 추출된 핵심어의 의미가 모호한 것으로 판단한다. 또한, 핵심어의 의미가 모호한 것으로 판단된 경우, 제2 단말(300)은 부가 정보의 의미 모호성을 추가로 판단한다. 만약, 핵심어의 의미는 모호한 것으로 판단되었으나, 부가 정보의 의미는 모호하지 않은 것으로 판단되면, 제2 단말(300)은 부가 정보를 이용하여 동작 가능한 애플리케이션을 추측할 수 있다. 이때, 제2 단말(300)의 부가 정보의 종류를 확인하여 그에 관련된 애플리케이션을 동작할 수 있다.Meanwhile, although the second terminal 300 extracts the keyword and the additional information, there are cases in which the extracted keyword can not specify an application to be performed and its operation. For example, if an application related to the acquired keyword is not embedded in the second terminal 300 or if the word is not stored in the memory, the second terminal 300 determines that the extracted keyword has ambiguous meaning do. Also, if it is determined that the meaning of the keyword is ambiguous, the second terminal 300 further determines the semantic ambiguity of the additional information. If it is determined that the meaning of the keyword is ambiguous, but the meaning of the additional information is not ambiguous, the second terminal 300 can guess an application that can operate using the additional information. At this time, the type of the additional information of the second terminal 300 can be confirmed and the related application can be operated.

구체적 예로서, 사용자의 발음의 영향, 또는 제1 단말(100)에서 음성 신호에 대한 음성 처리의 오류로 인해 사용자가 발음한 "주소 검색, 서울특별시 강남구 서초동 00번지" 가 "검색, 서울특별시 강남구 서초동 00번지"로 수신된 경우, 제2 단말(300)은 '검색'라는 핵심어만을 통해서는 어느 애플리케이션을 동작할지 판단할 수 없다. 이때, 제2 단말(300)은 부가 정보인 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 통해 음성 데이터가 주소에 관한 것으로 추측하여 주소에 관련된 내비게이션을 동작할 수 있다. As a specific example, "address search, 00 address in Seocho-dong, Gangnam-gu, Seoul" is searched due to the influence of the pronunciation of the user or the error in speech processing of the voice signal in the first terminal 100, 00 ", the second terminal 300 can not determine which application should be operated through only the keyword 'search'. At this time, the second terminal 300 may operate the navigation related to the address by guessing that the voice data is related to the address through the additional information '00, Seocho-dong, Gangnam-gu, Seoul.

또한, 해당 애플리케이션의 기본 동작이 기설정될 수 있어, 예를 들어, 내비게이션의 기본 동작이 '주소 검색' 동작인 경우, 제2 단말(300)은 부가 정보만을 이용하여 내비게이션을 동작시켜 부가 정보인 '서울특별시 강남구 서초동 00번지'의 주소를 검색할 수 있다. 만약, 내비게이션의 기본 동작이 '빠른 길 찾기' 동작인 경우, 제2 단말(300)은 부가 정보만을 이용하여 내비게이션을 동작시켜 현재 지점에서 부가 정보의 주소까지의 빠른 길을 찾을 수 있다.For example, when the basic operation of the navigation is the 'address search' operation, the second terminal 300 operates the navigation using only the additional information, You can search for the address of '00 Seocho-dong, Gangnam-gu, Seoul.' If the basic operation of the navigation is a 'fast route finding' operation, the second terminal 300 can operate the navigation using only the additional information to find a fast route from the current point to the address of the additional information.

다른 구체 예로서, 사용자의 발음의 영향, 또는 제1 단말(100)에서 음성 신호에 대한 음성 처리의 오류로 인해 사용자가 발음한 "010-0000-0000, 전화 걸기"가 '010-0000-0000, 전화'로 수신된 경우, 제2 단말(300)은 '전화'라는 핵심어를 통해 연락처 애플리케이션을 동작시킬 수 있으나, 연락처 애플리케이션에서 어느 동작을 수행해야할지 판단할 수 없다. 하지만, 이러한 경우에 만약 연락처 애플리케이션의 기본 동작이 '연락처 저장'으로 기설정된 경우, 제2 단말(300)은 부가 정보인'010-0000-0000'를 연락처에 저장하는 동작을 수행하도록 구성할 수 있다. 또는, 연락처 애플리케이션의 기본 동작이 '전화 걸기'인 경우 비록 핵심어가 정확하게 추출되지 못한 경우에도, 제2 단말(300)은 사용자의 의도와 같이 '010-0000-0000' 번호로 전화를 거는 동작을 수행할 수 있다. As another example, "010-0000-0000", "010-0000-0000" and "010-0000-0000", which are pronounced by the user due to the influence of the pronunciation of the user or the error in the voice processing for the voice signal in the first terminal 100, Phone ', the second terminal 300 can operate the contact application through the keyword' phone ', but can not determine what action to perform in the contact application. However, in this case, if the default operation of the contact application is pre-set as 'contact storage', the second terminal 300 can be configured to perform the operation of storing the additional information '010-0000-0000' in the contact have. Or, if the basic operation of the contact application is 'dialing', even if the key word can not be correctly extracted, the second terminal 300 may perform the operation of dialing '010-0000-0000' Can be performed.

즉, 제2 단말(300)은 핵심어의 일부만 추출이 된 경우(의미가 모호한 경우)에도, 사전에 지정된 하나 이상의 기본 동작이 있으면, 추출된 핵심어와 유사한 기본 동작(Default)을 수행하는 식으로 애플리케이션이 동작하도록 구성할 수도 있다.That is, even if only a part of the keyword is extracted (the meaning is ambiguous), the second terminal 300 can perform the basic operation similar to the extracted key word, May be configured to operate.

만약, 핵심어와 부가 정보 모두를 의미가 모호한 경우, 제2 단말(300)은 에러 메시지를 출력한다. 바람직하게, 제2 단말(300)에서 출력된 에러 메시지는 제1 단말(100)로 전송되어 사용자가 확인할 수 있다. 이때, 에러 메시지는 통신 모듈(200)을 통해 제1 단말(100)로 전달될 수 있다. If both the keyword and the additional information are ambiguous, the second terminal 300 outputs an error message. Preferably, the error message output from the second terminal 300 is transmitted to the first terminal 100 so that the user can confirm the error message. At this time, the error message may be transmitted to the first terminal 100 through the communication module 200.

이와 같이 본 발명의 실시예에 따르면, 사용자의 휴대 단말기에서 획득되는 사용자의 음성 정보를 이용하여 헤드 유닛에 내장된 애플리케이션을 구동 및 해당 동작을 수행하며, 휴대 단말기와 헤드 유닛은 NFC의 근거리 무선 통신을 통해 정보를 송수신함으로써, 사용자가 정보를 직접 타이핑하는 번거로움이 없으며, 블루투스와 같이 기기 간의 별도 인증 과정이 생략되어 사용자의 편의성이 향상된다.
According to the embodiment of the present invention, the application built in the head unit is operated using the voice information of the user obtained in the portable terminal of the user, and the portable terminal and the head unit are connected to each other through the NFC short- The user does not need to directly input the information, and the convenience of the user is improved by omitting a separate authentication process between the devices such as Bluetooth.

도 5는 본 발명의 실시예에 따른 음성 인식을 이용한 명령 수행 방법 흐름도이다.5 is a flowchart illustrating a method of performing an instruction using speech recognition according to an embodiment of the present invention.

먼저, 명령 수행 시스템(10)은 사용자에 의해 제1 단말(100)에서 획득된 정보를 제2 단말(300)에 전달할 의향이 있는지 확인한다(S100).First, the command execution system 10 determines whether the user intends to transmit information acquired from the first terminal 100 to the second terminal 300 (S100).

여기서, 제1 단말(100)은 사용자의 음성을 획득하기 위한 마이크가 내장된 단말이다. 일 예로, 제1 단말(100)은 최근에 보편적으로 사용자가 이용하고 있는 마이크가 내장된 이동통신 단말기(예를 들어, 스마트폰)일 수 있다. 다른 예로, 제1 단말(100)은 일반적인 녹음 장치(녹음기)일 수도 있다.Here, the first terminal 100 is a terminal having a built-in microphone for acquiring a voice of a user. For example, the first terminal 100 may be a mobile communication terminal (for example, a smart phone) having a built-in microphone that is commonly used by a user in recent years. As another example, the first terminal 100 may be a general recording device (recording device).

구체적으로, 사용자에 의한 제1 단말(100)의 조작 동작을 통해 사용자의 의향을 확인될 수 있다. 일 예로, 사용자의 조작 동작을 통해 제1 단말(100)의 녹음 기능이 활성화되면, 제1 단말(100)은 정보를 제2 단말(300)로 전달할 의향이 있는 것으로 확인한다. 다른 예로, 사용자의 조작 동작을 통해 제1 단말(100)의 근거리 무선 통신(예를 들어, NFC) 기능이 활성화되면 정보를 제2 단말(300)로 전달할 의향이 있는 것으로 확인한다.Specifically, the intention of the user can be confirmed through the operation of the first terminal 100 by the user. For example, when the recording function of the first terminal 100 is activated through the operation of the user, the first terminal 100 confirms that it intends to transmit information to the second terminal 300. As another example, if the short-range wireless communication (e.g., NFC) function of the first terminal 100 is activated through the operation of the user, it is confirmed that the second terminal 300 intends to transmit the information to the second terminal 300.

단계 S100에서 정보 전달 의향이 있는 것으로 확인되면, 명령 수행 시스템(10)은 제1 단말(100)에서 사용자의 음성 신호를 수신한다(S200).If it is determined in step S100 that there is an intention to transmit information, the command execution system 10 receives the user's voice signal from the first terminal 100 (S200).

이때, 사용자는 제1 단말(100)의 마이크에 핵심어 및 부가 정보를 정확하게 발음한다. 여기서, 핵심어는 이후 제2 단말(300)에 포함된 애플리케이션(응용프로그램)에서 수행하는 동작에 대한 단어이며, 부가 정보는 애플리케이션에서 수행하는 동작에 대한 구체적인 정보이다. At this time, the user correctly pronounces the key word and the additional information in the microphone of the first terminal 100. Here, the keyword is a word related to an operation performed in an application (application program) included in the second terminal 300, and the additional information is specific information on an operation performed by the application.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 'POI'와 관련된 내비게이션 애플리케이션이 동작하며, '서울특별시 강남구 서초동 00번지'를 관심 지점으로 저장하는 동작을 수행할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 획득되는 경우, 이후 제2 단말(300)에서는 '번호 저장'과 관련된 연락처 애플리케이션이 동작하며, '010-0000-0000'를 연락처로 저장하는 동작을 수행할 수 있다.For example, when a voice such as "POI (or NAVI) " is obtained from the user, the navigation application related to 'POI' Quot; Seocho-dong 00 " as the point of interest. As another example, if a voice such as "010-0000-0000, number storage" is obtained from the user, then the second terminal 300 operates the contact application related to 'store number', '010-0000-0000' Can be stored as a contact.

사용자 음성 신호가 수신되면, 명령 수행 시스템(10)은 제1 단말(100)에서 음성 처리 프로세서를 이용하여 음성 데이터를 생성한다(S300). When the user voice signal is received, the command execution system 10 generates voice data using the voice processing processor at the first terminal 100 (S300).

구체적으로, 제1 단말(100)은 사용자로부터 수신되는 음성 신호에 음성 처리 프로세서의 샘플링 과정, 잡음 제거 과정 및 특징 추출 과정 중 적어도 하나의 과정을 수행하여 음성 데이터를 생성한다. 바람직하게, 사용자로부터 수신되는 음성 신호(아날로그 신호)에 샘플링, 잡음 제거, 특징 추출 과정을 거쳐 음성 데이터(디지털 데이터)가 생성될 수 있다.Specifically, the first terminal 100 performs at least one of a sampling process, a noise removal process, and a feature extraction process for a voice signal received from a user to generate voice data. Preferably, voice data (digital data) may be generated through sampling, noise removal, and feature extraction on a voice signal (analog signal) received from a user.

또한, 제1 단말(100)은 생성된 음성 데이터화 여부를 확인하여, 음성 신호가 음성 데이터로 생성되지 않은 경우, 알림 정보를 출력하여 사용자에게 음성 재수신을 요청한다. 바람직하게, 제1 단말(100)은 음성 재수신 요청 메시지를 디스플레이하여 사용자에게 음성 재수신을 요청할 수 있다.Also, the first terminal 100 checks whether the generated voice data is generated, and if the voice signal is not generated as voice data, the first terminal 100 outputs the notification information to request the user to re-receive voice. Preferably, the first terminal 100 may display a voice re-receipt request message and request a voice re-receipt to the user.

나아가, 제1 단말(100)은 생성된 음성 데이터를 제2 단말(300)로 전송하기 위해, 통신 모듈(200)의 프로토콜의 데이터 형식에 따라 음성 데이터를 변환하는 과정을 수행한다. 구체적으로, 제1 단말(100)은 음성 데이터를 NDEF(NFC Data Exchange Format) 프로토콜의 형태로 변환할 수 있다. 또한, 제1 단말(100)은 NDEF 프로토콜의 형태로 변환된 음성 데이터를 메모리에 저장할 수 있다.Further, the first terminal 100 performs a process of converting the voice data according to the data format of the protocol of the communication module 200, in order to transmit the generated voice data to the second terminal 300. Specifically, the first terminal 100 may convert the voice data into an NDEF (NFC Data Exchange Format) protocol. Also, the first terminal 100 may store the voice data converted into the NDEF protocol format in the memory.

명령 수행 시스템(10)은 제1 단말(100)과 통신 모듈(200) 간의 통신 연결을 확인한다(S400).The command execution system 10 confirms the communication connection between the first terminal 100 and the communication module 200 (S400).

바람직하게, 명령 수행 시스템(10)은 제1 단말(100)이 통신 모듈(200)의 리더기(태그)에 태깅되면 제1 단말(100)과 통신 모듈(200)이 연결된 것으로 확인할 수 있다. 즉, 명령 수행 시스템(10)은 제1 단말(100)에서 음성 데이터가 변환된 후 사용자에 의해 제1 단말(100)이 통신 모듈(200)에 태깅되면, 제1 단말(100)과 통신 모듈(200) 간의 통신 연결을 확인할 수 있다.The command execution system 10 can confirm that the first terminal 100 and the communication module 200 are connected when the first terminal 100 is tagged to the reader of the communication module 200. [ That is, when the first terminal 100 is tagged to the communication module 200 by the user after the voice data is converted in the first terminal 100, the command execution system 10 transmits the voice data to the first terminal 100, It is possible to confirm the communication connection between the base station 200 and the base station.

통신 연결이 확인되면, 명령 수행 시스템(10)은 제1 단말(100)의 음성 데이터를 제2 단말(300)로 전송한다(S500).When the communication connection is confirmed, the command execution system 10 transmits the voice data of the first terminal 100 to the second terminal 300 (S500).

여기서, 제2 단말(300)은 차량의 AVN(Audio, Video, Navigation) 시스템을 제어하는 헤드 유닛일 수 있다. 또는, 제2 단말(300)은 차량의 핸즈프리 시스템의 전반을 제어하는 제어 유닛일 수 있다. 제2 단말(300)은 다수의 애플리케이션(응용 프로그램)을 포함한 단말 기기일 수 있다.Here, the second terminal 300 may be a head unit that controls an AVN (Audio, Video, Navigation) system of a vehicle. Alternatively, the second terminal 300 may be a control unit that controls the first half of the hands-free system of the vehicle. The second terminal 300 may be a terminal device including a plurality of applications (application programs).

명령 수행 시스템(10)은 제2 단말(300)에서 수신된 음성 데이터를 분석 처리하여 정보를 추출한다(S600).The command execution system 10 analyzes the voice data received from the second terminal 300 and extracts information (S600).

구체적으로, 제2 단말(300)은 음성 데이터를 문자로 변환 처리하기 위한 음성 인식 프로세서(예를 들어, STT(Speech To Text))를 이용하여 음성 데이터를 분석 처리(패턴 비교)하여 핵심어 및 부가 정보를 추출할 수 있다. Specifically, the second terminal 300 analyzes the speech data (pattern comparison) using a speech recognition processor (for example, STT (Speech To Text)) for converting speech data into characters, Information can be extracted.

일 예로, 사용자로부터 "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 추출할 수 있다. 다른 예로, 사용자로부터 "010-0000-0000, 번호 저장"과 같은 음성이 입력되어 음성 데이터가 수신된 경우, 제2 단말(300)은 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어를 추출할 수 있다. 이때, 핵심어는 제2 단말(300)에 내장되어 동작 가능한 애플리케이션에서 수행하는 동작 또는 관련된 단어이며, 메모리(제2 단말의 메모리)에 기저장될 수 있다.For example, when a voice such as "POI (or NAVI) from the user, 00 in Seocho-dong, Gangnam-gu, Seoul, Korea is inputted and voice data is received, the second terminal 300 transmits a keyword " POI "Quot; 00 ". As another example, when a voice such as "010-0000-0000, number storage" is input from the user and voice data is received, the second terminal 300 transmits the additional information '010-0000-0000' Can be extracted. In this case, the key word is an operation or a related word performed by an application that is built in and operable in the second terminal 300, and may be stored in the memory (memory of the second terminal).

명령 수행 시스템(10)은 추출된 정보를 이용하여 제2 단말(300)의 애플리케이션의 해당 동작을 수행한다(S700). The command execution system 10 performs the corresponding operation of the application of the second terminal 300 using the extracted information (S700).

일 예로, "POI(or NAVI), 서울특별시 강남구 서초동 00번지" 와 같은 음성 데이터로부터 'POI'라는 핵심어와 '서울특별시 강남구 서초동 00번지'라는 부가 정보가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 내비게이션을 동작한다. 또한, 내비게이션의 기능 중 POI(관심 주소) 기능을 수행하여 '서울특별시 강남구 서초동 00번지'라는 부가 정보를 관심 주소로 입력하는 동작을 수행한다. For example, if the keyword 'POI' and the additional information '00, Seocho-dong, Gangnam-gu, Gangnam-gu' are extracted from voice data such as' POI (or NAVI) Operates navigation among embedded applications. In addition, a POI (Interest Address) function is performed among the functions of the navigation, and the additional information called '00, Seocho-dong, Gangnam-gu, Seoul, Korea' is inputted to the interested address.

다른 예로, "010-0000-0000, 번호 저장"과 같은 음성 데이터로부터 '010-0000-0000'라는 부가 정보와 '번호 저장'이라는 핵심어가 추출된 경우, 제2 단말(300)은 내장된 애플리케이션 중 연락처 애플리케이션을 동작한다. 또한, 제2 단말(300)은 연락처 애플리케이션의 기능 중 번호 저장 기능을 수행하여 '010-0000-0000'라는 부가 정보를 중 (연락처)번호로 저장할 수 있다.As another example, if the additional information "010-0000-0000" and the keyword "store number" are extracted from the voice data such as "010-0000-0000, number storage" Of your contacts. Also, the second terminal 300 can store the additional information '010-0000-0000' as a contact number by performing a number storage function among functions of the contact application.

이와 같이 본 발명의 실시예에 따르면, 사용자의 휴대 단말기에서 획득되는 사용자의 음성 정보를 이용하여 헤드 유닛에 내장된 애플리케이션을 구동 및 해당 동작을 수행하며, 휴대 단말기와 헤드 유닛은 NFC의 근거리 무선 통신을 통해 정보를 송수신함으로써, 사용자가 정보를 직접 타이핑하는 번거로움이 없으며, 블루투스와 같이 기기 간의 별도 인증 과정이 생략되어 사용자의 편의성이 향상된다.
According to the embodiment of the present invention, the application built in the head unit is operated using the voice information of the user obtained in the portable terminal of the user, and the portable terminal and the head unit are connected to each other through the NFC short- The user does not need to directly input the information, and the convenience of the user is improved by omitting a separate authentication process between the devices such as Bluetooth.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

10 : 명령 수행 시스템 100 : 제1 단말
200 : 통신 모듈 300: 제2 단말10: command execution system 100: first terminal
200: communication module 300: second terminal

Claims (10)

근거리 무선 통신을 수행하는 통신 모듈;
사용자의 음성을 수신하여 음성 데이터를 생성하고, 상기 통신 모듈과의 연결이 확인되면 상기 음성 데이터를 전송하는 제1 단말; 및
상기 통신 모듈을 통해 상기 제1 단말로부터 상기 음성 데이터를 수신하고, 수신된 상기 음성 데이터를 분석하여 그에 대한 명령 동작을 수행하는 제2 단말;
을 포함하는 음성 인식을 이용한 명령 수행 시스템.A communication module for performing short-range wireless communication;
A first terminal for receiving voice of a user to generate voice data, and transmitting the voice data when a connection with the communication module is confirmed; And
A second terminal for receiving the voice data from the first terminal through the communication module, analyzing the received voice data and performing a command operation on the voice data;
And a speech recognition unit for recognizing speech. 제1항에 있어서,
상기 통신모듈을 NFC(Near Field Communication) 모듈인 것인 음성 인식을 이용한 명령 수행 시스템.The method according to claim 1,
Wherein the communication module is an NFC (Near Field Communication) module. 제2항에 있어서,
상기 제1 단말은 상기 음성 신호를 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성하는 것인 음성 인식을 이용한 명령 수행 시스템.3. The method of claim 2,
Wherein the first terminal performs at least one of sampling, noise cancellation, and feature extraction of the voice signal, and then converting the voice signal into an NDEF (NFC Data Exchange Format) protocol type to generate the voice data. Command execution system. 제1항에 있어서,
상기 제2 단말은 상기 제1 단말로부터 수신된 상기 음성 데이터의 패턴을 분석하여 핵심어와 부가 정보를 추출하며, 추출된 상기 핵심어에 대한 동작을 수행하는 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하여 상기 핵심어에 해당하는 명령 동작을 수행하는 것인 음성 인식을 이용한 명령 수행 시스템.The method according to claim 1,
The second terminal analyzes the pattern of the voice data received from the first terminal and extracts key words and additional information, transmits the key word and the additional information to an application that performs an operation on the extracted key word, Wherein the command execution unit performs a command operation corresponding to the keyword. 제1항에 있어서,
상기 제2 단말은 상기 음성 데이터의 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송하는 것인 음성 인식을 이용한 명령 수행 시스템.The method according to claim 1,
Wherein the second terminal transmits an error message to the first terminal when the meaning of the information included in the voice data is ambiguous when analyzing the voice data. 제1항에 있어서,
상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛인 것인 음성 인식을 이용한 명령 수행 시스템.The method according to claim 1,
Wherein the first terminal is the mobile communication terminal of the user and the second terminal is the head unit of the vehicle. 음성 인식을 이용한 명령 수행 시스템에 의한 명령 수행 방법으로서,
제1 단말에서 사용자의 음성을 수신하여 음성 데이터를 생성하는 단계;
NFC(Near Field Communication) 모듈과의 연결이 확인되면, 상기 음성 데이터를 제2 단말로 전송하는 단계;
수신된 상기 음성 데이터를 상기 제2 단말에서 분석하여 핵심어 및 부가 정보를 추출하는 단계; 및
추출된 상기 핵심어에 대한 명령 동작이 수행되도록 상기 제2 단말의 애플리케이션에 상기 핵심어와 상기 부가 정보를 전달하는 단계;
를 포함하는 음성 인식을 이용한 명령 수행 방법.A method of performing an instruction by an instruction execution system using speech recognition,
Receiving voice of a user at a first terminal and generating voice data;
Transmitting the voice data to a second terminal when the connection to the NFC (Near Field Communication) module is confirmed;
Analyzing the received voice data at the second terminal to extract key words and additional information; And
Transmitting the keyword and the additional information to an application of the second terminal so that a command operation on the extracted keyword is performed;
And performing a command using the speech recognition. 제7항에 있어서, 상기 생성하는 단계는 :
상기 음성 신호를 샘플링, 잡음 제거 및 특징 추출 중 적어도 하나의 동작을 수행한 후, NDEF(NFC Data Exchange Format) 프로토콜 형태로 변환하여 상기 음성 데이터를 생성하는 단계를 포함하는 것인 음성 인식을 이용한 명령 수행 방법.8. The method of claim 7, wherein generating comprises:
Performing at least one of sampling, noise elimination, and feature extraction of the speech signal, and converting the speech signal into an NDEF (NFC Data Exchange Format) protocol type to generate the speech data. How to do it. 제7항에 있어서,
상기 제2 단말에서 상기 음성 데이터를 분석 시, 상기 음성 데이터에 포함된 정보의 의미가 모호한 것으로 판단되면, 상기 제1 단말로 에러 메시지를 전송하는 단계;
를 더 포함하는 것인 음성 인식을 이용한 명령 수행 방법.8. The method of claim 7,
Transmitting an error message to the first terminal when it is determined that the meaning of the information included in the voice data is ambiguous when analyzing the voice data at the second terminal;
And further comprising the steps of: 제7항에 있어서,
상기 제1 단말은 상기 사용자의 이동통신 단말기이며, 상기 제2 단말은 차량용 헤드 유닛인 것인 음성 인식을 이용한 명령 수행 방법.8. The method of claim 7,
Wherein the first terminal is the mobile communication terminal of the user and the second terminal is the head unit of the vehicle.
KR1020130144544A 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof KR102197143B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130144544A KR102197143B1 (en) 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof
CN201410474844.XA CN104681025B (en) 2013-11-26 2014-09-17 Utilize the order execution system and its method of work of speech recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130144544A KR102197143B1 (en) 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof

Publications (2)

Publication Number Publication Date
KR20150060300A true KR20150060300A (en) 2015-06-03
KR102197143B1 KR102197143B1 (en) 2020-12-31

Family

ID=53315980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130144544A KR102197143B1 (en) 2013-11-26 2013-11-26 System for command operation using speech recognition and method thereof

Country Status (2)

Country Link
KR (1) KR102197143B1 (en)
CN (1) CN104681025B (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979083A (en) * 2016-04-29 2016-09-28 珠海市魅族科技有限公司 Method and device for displaying graph
CN106412315B (en) * 2016-10-31 2020-05-01 努比亚技术有限公司 NFC tag, method for setting NFC tag, NFC tag system and mobile terminal
CN107808670B (en) * 2017-10-25 2021-05-14 百度在线网络技术（北京）有限公司 Voice data processing method, device, equipment and storage medium
CN107819472B (en) * 2017-11-14 2020-04-17 安徽森力汽车电子有限公司 Vehicle radio
CN109830239B (en) * 2017-11-21 2021-07-06 群光电子股份有限公司 Speech processing device, speech recognition input system, and speech recognition input method
CN107919131A (en) * 2017-12-11 2018-04-17 广东小天才科技有限公司 A kind of method and system that user terminal is controlled by microphone apparatus
CN116030790A (en) * 2021-10-22 2023-04-28 华为技术有限公司 Distributed voice control method and electronic equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000025292A (en) * 1998-10-09 2000-05-06 김영환 Method for extracting voice characteristic suitable for core word detection in noise circumstance
KR20050015586A (en) * 2003-08-06 2005-02-21 삼성전자주식회사 Method and apparatus for handling speech recognition errors in spoken dialogue systems
WO2013134106A2 (en) * 2012-03-08 2013-09-12 Mobile Technologies, Llc Device for extracting information from a dialog
CN203301528U (en) * 2013-04-09 2013-11-20 上海禾未新能源科技有限公司 Information exchange system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604233B (en) * 2004-02-06 2011-08-10 刘新斌 Method for using voice virtual keyboard for interactive control
US8942985B2 (en) * 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
CN1828682A (en) * 2005-03-01 2006-09-06 峻扬实业股份有限公司 Phonetic identification shutter device
CN101499277B (en) * 2008-07-25 2011-05-04 中国科学院计算技术研究所 Service intelligent navigation method and system
JP5347403B2 (en) * 2008-09-22 2013-11-20 ソニー株式会社 Information processing apparatus and method, program, and information processing system
CN102006373B (en) * 2010-11-24 2015-01-28 深圳市车音网科技有限公司 Vehicle-mounted service system and method based on voice command control
CN102322866B (en) * 2011-07-04 2014-11-12 深圳市车音网科技有限公司 Navigation method and system based on natural speech recognition
KR101850825B1 (en) * 2011-07-20 2018-05-31 엘지전자 주식회사 Mobile terminal and control method therof
KR101797627B1 (en) * 2011-08-10 2017-11-15 엘지전자 주식회사 Mobile terminal and control method therof
CN103187059B (en) * 2011-12-28 2017-09-05 上海博泰悦臻电子设备制造有限公司 Speech processing system based on vehicular applications
CN103187079A (en) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 Vehicle-mounted information system
KR20130123613A (en) * 2012-05-03 2013-11-13 현대엠엔소프트 주식회사 Device and method for guiding course with voice recognition
CN102800178A (en) * 2012-07-12 2012-11-28 李凯 Control method of remote control toy
CN202906954U (en) * 2012-08-21 2013-04-24 无锡爱睿芯电子有限公司 Long-distance voice remote control system
CN103000173B (en) * 2012-12-11 2015-06-17 优视科技有限公司 Voice interaction method and device
CN103021403A (en) * 2012-12-31 2013-04-03 威盛电子股份有限公司 Voice recognition based selecting method and mobile terminal device and information system thereof
CN103209009B (en) * 2013-02-28 2015-04-01 山东大学 Server wireless input device adopting near field communication (NFC) matching and working method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000025292A (en) * 1998-10-09 2000-05-06 김영환 Method for extracting voice characteristic suitable for core word detection in noise circumstance
KR20050015586A (en) * 2003-08-06 2005-02-21 삼성전자주식회사 Method and apparatus for handling speech recognition errors in spoken dialogue systems
WO2013134106A2 (en) * 2012-03-08 2013-09-12 Mobile Technologies, Llc Device for extracting information from a dialog
CN203301528U (en) * 2013-04-09 2013-11-20 上海禾未新能源科技有限公司 Information exchange system

Also Published As

Publication number Publication date
KR102197143B1 (en) 2020-12-31
CN104681025B (en) 2018-04-20
CN104681025A (en) 2015-06-03

Similar Documents

Publication Publication Date Title
KR102197143B1 (en) System for command operation using speech recognition and method thereof
KR102245747B1 (en) Apparatus and method for registration of user command
KR101972955B1 (en) Method and apparatus for connecting service between user devices using voice
JP5234160B2 (en) Vehicle apparatus and information display system
KR20150010517A (en) Method and divece for communication
JP2018074366A (en) Electronic apparatus, control method, and program
CN108307069B (en) Navigation operation method, navigation operation device and mobile terminal
KR20160144665A (en) User equipment for recognizing object and displaying database matching result, control method thereof and computer readable medium having computer program recorded therefor
CN104834847A (en) Identity verification method and device
KR102552486B1 (en) Apparatus and method for recoginizing voice in vehicle
CN103366743A (en) Voice-command operation method and device
KR20110006994A (en) Voice processing apparatus for mobile terminal and method thereof
KR101594835B1 (en) Vehicle and head unit having voice recognizing function, and method for voice recognizning therefor
US9967700B2 (en) Content providing system based on location information recognition
CN110944056A (en) Interaction method, mobile terminal and readable storage medium
CN105224644A (en) Information classification approach and device
JP2012039282A (en) Electronic apparatus, information display program for the same, and information display method for the same
CN114691839A (en) Intention slot position identification method
US20230032366A1 (en) Method and apparatus for wireless connection between electronic devices
CN106650727B (en) Information display method and AR equipment
KR101400212B1 (en) An user terminal and a method voice ouputting for text information of a book
KR20190066719A (en) Electronic apparatus and controlling method of thereof
KR20120055833A (en) Mobile terminal and method for controlling thereof
CN111857636A (en) Voice operation system, voice operation device, voice operation control method, and recording medium
KR20190005304A (en) The second of multidimensional code information providing system accoding to terminal information and method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right