KR100819928B1 - Apparatus for speech recognition of wireless terminal and method of thereof - Google Patents

Apparatus for speech recognition of wireless terminal and method of thereof Download PDF

Info

Publication number
KR100819928B1
KR100819928B1 KR1020070040652A KR20070040652A KR100819928B1 KR 100819928 B1 KR100819928 B1 KR 100819928B1 KR 1020070040652 A KR1020070040652 A KR 1020070040652A KR 20070040652 A KR20070040652 A KR 20070040652A KR 100819928 B1 KR100819928 B1 KR 100819928B1
Authority
KR
South Korea
Prior art keywords
voice
unit
command
words
recognition
Prior art date
Application number
KR1020070040652A
Other languages
Korean (ko)
Inventor
이윤수
김세윤
Original Assignee
(주)부성큐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)부성큐 filed Critical (주)부성큐
Priority to KR1020070040652A priority Critical patent/KR100819928B1/en
Application granted granted Critical
Publication of KR100819928B1 publication Critical patent/KR100819928B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

A voice recognition device of a portable terminal and a method thereof are provided to increase a voice recognition rate of the terminal connected to a wireless network, thus a user can receive stock information, weather, news, a lot of daily information, and contents services by inputting voices without inputting buttons as well as confirm received messages(mail). A voice recognition device(200) comprises as follows. A word combiner(210) extracts a voice section by detecting starting and ending points of an inputted voice, and combines phonemes and syllables detected from the voice section to form the combined phonemes and syllables into words. A word recognizer(220) recognizes the combined words to configure the words as sentences. A voice recognizer(230) recognizes the configured sentences as voice commands. A code converter(240) converts the recognized voice commands into control codes by applying a Korean alphabet standard code table stored in a memory unit(190).

Description

휴대 단말기의 음성 인식장치 및 그 방법{APPARATUS FOR SPEECH RECOGNITION OF WIRELESS TERMINAL AND METHOD OF THEREOF}Speech recognition device of mobile terminal and its method {APPARATUS FOR SPEECH RECOGNITION OF WIRELESS TERMINAL AND METHOD OF THEREOF}

도 1은 본 발명의 실시예에 따른 휴대 단말기의 음성 인식장치를 도시한 도면이다.1 is a diagram illustrating a voice recognition apparatus of a portable terminal according to an embodiment of the present invention.

도 2는 도 1에 도시된 음성인식부 및 코드변환부의 상세 구성을 도시한 도면이다.FIG. 2 is a diagram illustrating a detailed configuration of a voice recognition unit and a code conversion unit shown in FIG. 1.

도 3은 본 발명의 실시예에 따른 휴대 단말기의 음성 인식과정을 도시한 흐름도이다.3 is a flowchart illustrating a voice recognition process of a mobile terminal according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 휴대 단말기의 음성 인식과정에서 음성 명령어의 인식과정을 도시한 흐름도이다. 4 is a flowchart illustrating a process of recognizing a voice command in a process of recognizing a voice of a mobile terminal according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

110 : 키 입력부 120 : 오디오 처리부110: key input unit 120: audio processing unit

130 : 제어부 140 : 변복조부130: control unit 140: variation demodulation unit

150 : 송수신부 160 : 영상입력부150: transceiver 160: video input unit

170 : 영상처리부 200 : 음성 인식장치170: image processor 200: voice recognition device

210 : 단어 조합부 220 : 단어 인식부210: word combination unit 220: word recognition unit

230 : 음성인식부 240 : 코드변환부230: speech recognition unit 240: code conversion unit

본 발명은 휴대 단말기의 음성 인식장치에 관한 것으로, 더 상세하게는 무선망에 접속되는 휴대 단말기의 음성 인식율을 높여 음성 명령어의 입력을 통해 제반 동작을 실행시키고, 인식된 음성 명령어를 제어코드로 변환한 다음 무선망을 통해 서비스 센터에 전송하여 다양한 정보 서비스를 키 버튼의 입력이 수반되지 않는 상태에서 음성 명령어의 입력으로 제공받을 수 있도록 하는 휴대 단말기의 음성 인식장치 및 방법에 관한 것이다.The present invention relates to a voice recognition device of a mobile terminal, and more particularly, to increase the voice recognition rate of a mobile terminal connected to a wireless network, to execute various operations through input of a voice command, and to convert the recognized voice command into a control code. Then, the present invention relates to a voice recognition device and method for transmitting a service center through a wireless network so that various information services can be provided as input of a voice command without input of a key button.

급속한 보급률을 보이고 있는 휴대 단말기는 고유의 음성 통화 서비스는 물론이고 데이터 전송 서비스와 메일, 증권, 뉴스, 날씨, 생활정보 등의 부가 서비스 및 상대방의 얼굴을 보면서 통화하는 영상 통화 서비스를 제공하는 멀티미디어 통신기기로 자리 매김을 하고 있다.The mobile terminal, which is rapidly spreading, provides not only a unique voice call service but also a data transmission service, additional services such as mail, securities, news, weather, and living information, and a multimedia communication service that provides a video call service while looking at the other party's face. It is positioning itself as a device.

이러한 휴대 단말기에는 MP3 파일, 사진 파일, 동영상 파일 및 수신되는 각종 데이터 파일을 저장할 수 있는 대용량의 메모리가 적용되고 있으며, 음성 인식기능이 적용되어 사용상에 편리성을 제공하고 있다.The portable terminal has a large-capacity memory capable of storing MP3 files, photo files, video files, and various data files received, and has a voice recognition function for convenience of use.

음성 인식기능은 사용자의 음성을 프로세서가 분석하여 이를 인식 또는 이해하는 것으로, 발음에 따라 입 모양과 혀의 위치 변화로 특정한 주파수를 갖는 인간의 발성 음성을 전기신호로 변환한 다음 음성의 주파수 특성을 추출하여 발음을 인식하는 기술이다. The speech recognition function recognizes or understands the user's voice by analyzing the user's voice.It converts the human voice having a specific frequency into an electric signal by changing the shape of the mouth and the position of the tongue depending on the pronunciation, and then converts the voice's frequency characteristics. It is a technique to recognize the pronunciation by extracting.

이와 같은 음성 인식기능은 전화기의 다이얼링, 장난감 제어, 어학 학습, 가전기기의 제어 등과 같은 다양한 분야에 응용되고 있으며, 휴대 단말기에서는 사용자의 음성 인식을 통해 다이얼링을 제공하는 수준에 그치고 있다.Such a voice recognition function is applied to various fields such as dialing of a phone, toy control, language learning, control of home appliances, and the like, and a portable terminal provides only dialing through voice recognition of a user.

음성 다이얼링은 음성으로 기 설정된 특정 단어를 입력하면 음성을 인식한 후 그 인식된 음성에 설정된 전화번호를 자동 다이얼링하는 기능으로서, 운전시와 같이 다른 일을 하고 있어 손을 쓰기가 불편한 경우에 이용된다.Voice dialing is a function of automatically dialing a phone number set in a recognized voice after recognizing a voice when a predetermined word is input by voice. It is used when a user is inconvenient to use his / her hand due to other tasks such as driving. .

이와 같은 음성 다이얼링은 단순하게 몇개의 전화번호를 각각 특정한 단어로 설정하여 저장시켜 놓은 후 해당 단어를 음성으로 말함으로서 자동 다이얼링을 제공하기 때문에 저장된 몇개의 전화번호에 대해서만 음성 인식 다이얼링이 가능하며, 그외 등록되지 않은 다른 전화번호에 대해서는 음성인식이 제공되지 못하는 문제점이 있다.This voice dialing provides automatic dialing by simply setting a few phone numbers to a specific word and saving them, and then speaking the word with a voice. Therefore, voice recognition dialing is possible for only a few stored phone numbers. There is a problem in that voice recognition is not provided for other unregistered phone numbers.

그리고, 메모리의 용량 문제로 음성 다이얼링을 등록할 수 있는 전화번호의 갯수에 한계가 있어 음성 다이얼링의 효용성이 크지 않은 단점이 있다.In addition, there is a limit in the number of phone numbers that can register voice dialing due to the memory capacity, so that the effectiveness of voice dialing is not large.

또한, 음성 인식기술은 주변 소음 등에 매우 열악하여 현재의 기술로는 아직 100%의 인식 성공율을 보장할 수 없기 때문에 음성인식에 의해 수행되는 작업에 빈번한 오류가 발생하고 있다.In addition, the voice recognition technology is very poor in the ambient noise and the current technology is not yet able to guarantee the 100% recognition success rate, so frequent errors occur in the work performed by the voice recognition.

이러한 작업의 오류 발생율을 줄이기 위한 방편으로서, 음성 인식의 결과에 대하여 사용자에게 확인을 요구하거나, 음성 인식의 결과에 따라서 복수개의 대안으로 이루어지는 목록을 사용자에게 제시함으로써, 사용자의 확인 또는 선택에 따라 최종 인식 단어를 결정하는 방법이 사용되고 있다.In order to reduce the error rate of such a task, the user may be asked to confirm the result of the speech recognition, or a list of a plurality of alternatives may be presented to the user according to the result of the speech recognition. The method of determining the recognition word is used.

상기한 사용자의 확인에 따른 음성 인식이나 사용자가 제시된 대안을 선택함에 따른 음성 인식은 휴대 단말기 자체의 완전한 음성 인식을 제공하지 못하며, 항상 사용자의 선택이 함께 이루어져야 하는 문제점이 있다.The voice recognition according to the user's confirmation or the voice recognition according to the user's selection of the proposed alternative does not provide complete voice recognition of the portable terminal itself, and there is a problem that the user's selection must be made at all times.

또한, 통신 서비스의 발달에 따라 휴대 단말기에 인터넷 접속을 제공하여 웹 사이트의 검색이나 컨텐츠의 검색, 전자우편, 주식거래, 게임 등을 이용할 수 있도록 하고 있으나, 현재의 휴대 단말기에 적용되어 있는 음성 인식기술은 인식율이 너무 낮아 모바일 환경에서 음성을 이용하여 인터넷을 통해 상기한 다양한 서비스를 제공받는데 많은 어려움이 있다.In addition, with the development of communication services, Internet access is provided to mobile terminals so that users can search web sites, search contents, e-mail, stock trading, games, etc. The technology has a low recognition rate so that it is difficult to provide the above various services through the Internet using voice in a mobile environment.

본 발명은 상기한 문제점을 해결하기 위하여 발명한 것으로, 그 목적은 무선망에 접속되는 휴대 단말기의 음성 인식율을 높여 수신된 메시지(메일)의 확인과 무선 인터넷망으로부터 증권정보, 날씨, 뉴스, 각종 생활정보, 컨텐츠 서비스를 버튼 입력없이 음성의 입력으로 제공받을 수 있도록 하는 것이다.The present invention has been invented to solve the above problems, the object of which is to increase the voice recognition rate of the mobile terminal connected to the wireless network to check the received message (mail) and the stock information, weather, news, various Life information, content services to be provided by the input of voice without button input.

또한, 본 발명의 다른 목적은 휴대 단말기의 제반적인 동작을 음성 명령어의 인식으로 실행시키고, 수신된 메시지(메일)의 확인과 전송하고자 하는 메시지(메일)의 편집 및 편집된 메시지(메일)의 전송을 음성 명령어의 입력으로 실행하도록 하는 것이다.In addition, another object of the present invention is to perform the overall operation of the mobile terminal by the recognition of the voice command, to check the received message (mail) and to edit the message (mail) to be transmitted and to send the edited message (mail) To be executed as the input of a voice command.

또한, 본 발명의 다른 목적은 사용자의 음성 명령어를 인식하여 제어코드로 변환한 다음 인터넷 망에 전송하여 필요로 하는 정보 서비스를 요청하고, 그에 따른 다양한 정보 서비스를 키 버튼의 입력이 수반되지 않는 상태에서 제공받을 수 있도록 하는 것이다.In addition, another object of the present invention is to recognize the user's voice command is converted to a control code and then transmitted to the Internet network to request the required information service, the state that does not involve the input of the key button according to the various information services accordingly Is to be provided by.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 휴대 단말기의 음성 인식장치는 휴대 단말기에 있어서,In the portable terminal, a voice recognition apparatus for a portable terminal according to a feature of the present invention for achieving the above object,

숫자 및 문자를 입력하기 위한 다수개의 키와 기능키로 구성되는 키 입력부;A key input unit including a plurality of keys and function keys for inputting numbers and characters;

마이크로 입력되는 아날로그 음성신호를 디지털 음성신호로 변환하고, 제어부에서 제공되는 디지털 음성신호를 아날로그 음성신호로 변환하여 스피커로 송출시키는 오디오 처리부;An audio processor converting the analog voice signal input into the microphone into a digital voice signal and converting the digital voice signal provided from the controller into an analog voice signal and outputting the analog voice signal to a speaker;

무선망을 통해 송수신되는 음성신호 및 데이터 패킷을 부호화 및 복호화하는 변복조부;A modulation / demodulator for encoding and decoding voice signals and data packets transmitted and received through a wireless network;

안테나를 통해 무선망과 접속하며, 상기 부호화된 음성신호 및 데이터 패킷의 주파수를 상승 변환 및 고조파 증폭하여 무선망으로 송출하고, 무선망에서 수신되는 신호를 저잡음 증폭 및 주파수 하강 변환하는 송수신부;A transceiver for connecting to a wireless network through an antenna, up-converting and harmonic-amplifying the encoded voice signals and data packets to be transmitted to the wireless network, and performing low-noise amplification and frequency down-conversion of the signal received from the wireless network;

주변의 영상을 입력하며, 내장되는 DSP를 통해 디지털 신호로 변환하는 영상 입력부;An image input unit which inputs a surrounding image and converts the image into a digital signal through a built-in DSP;

JPEG 코덱, MPEG 코덱, Wavelet 코덱 중 어느 하나 이상의 영상 코덱을 포함하며 영상 입력부에서 인가되는 영상신호를 프레임 단위로 처리하고 표시부의 특성 및 디스플레이 규격에 맞추에 출력하는 영상처리부;An image processor including one or more image codecs among a JPEG codec, an MPEG codec, and a wavelet codec and processing an image signal applied from an image input unit in units of frames, and outputting the image signal according to characteristics of a display unit and a display standard;

상기 영상 처리부에서 인가되는 프레임 단위의 영상과 제어부에서 인가되는 메시지(메일), 컨텐츠, 뉴스, 날씨, 생활정보 데이터를 문자나 텍스트로 표시하는 표시부를 포함하며,It includes a display unit for displaying the image of the frame unit applied by the image processing unit and the message (mail), content, news, weather, life information data that is applied by the control unit in a text or text,

마이크로 입력되는 사용자 음성에서 음성의 시작점과 끝점을 검출하여 음성구간을 추출하고, 음성구간의 음소 및 음절을 조합하여 단어로 형성하며 단어의 조합으로 구성되는 문장을 음성 명령어로 인식하는 음성 인식장치;A voice recognition device that detects a start point and an end point of a voice from a user's voice input into a microphone, extracts a voice section, forms a word by combining phonemes and syllables of the voice section, and recognizes a sentence composed of a combination of words as a voice command;

휴대 단말기의 운용 프로그램과 음성인식 명령어를 제어코드로 변환하기 위한 표준 코드 테이블, 휴대 단말기의 운용 과정에서 발생되는 데이터 패킷을 저장하는 메모리부;A standard code table for converting an operation program and a voice recognition command of the portable terminal into a control code, a memory unit for storing a data packet generated during an operation of the portable terminal;

설정된 운용 프로그램에 따라 휴대 단말기의 제반적인 동작을 제어하며, 음성 인식모드에서 음성 명령어의 인식 결과에 따라 해당 정보를 엑세스하여 음성 송출 및 표시를 제공하거나 무선망에 해당하는 서비스를 요청하고 수신되는 서비스 정보를 표시부 및 음성으로 송출시키는 제어부를 더 포함한다.Controls the overall operation of the mobile terminal according to the set operation program, and accesses the corresponding information according to the recognition result of the voice command in the voice recognition mode to provide voice transmission and display, or to request and receive a service corresponding to the wireless network. The apparatus further includes a display unit and a controller for transmitting information to the voice.

또한, 본 발명의 특징에 따른 휴대 단말기의 음성 인식방법은 (a) 휴대 단말기의 대기상태에서 음성입력이 검출되면 시스템을 초기화한 후 음성 인식모드를 활성화하는 과정;In addition, the voice recognition method of the mobile terminal according to an aspect of the present invention comprises the steps of: (a) activating the voice recognition mode after initializing the system when the voice input is detected in the standby state of the mobile terminal;

(b) 마이크로 입력되는 음성의 어절을 조합하여 단어로 생성하고, 단어의 속성과 어절간 의존관계를 분석하여 단어의 의미를 파악하는 과정;(b) combining words of a microphone input into words to generate words, and analyzing word attributes and dependencies between words to determine the meaning of words;

(c) 상기 (b) 과정에서 의미가 파악되어진 단어를 조합하여 문장으로 생성하는 과정;(c) generating a sentence by combining the words whose meaning is identified in the step (b);

(d) 상기 (c) 과정에서 단어의 조합으로 생성된 문장을 음성 명령어로 인식하고, 설정된 한글 표준 코드 테이블을 적용하여 음성 명령어의 실질적인 의미를 분석하는 과정;(d) recognizing a sentence generated by the combination of words in the step (c) as a voice command and analyzing the actual meaning of the voice command by applying a set Korean standard code table;

(e) 상기 (d) 과정에서 의미가 분석된 음성 명령어의 파일을 생성하고, 이를 제어코드로 변환하는 과정 및;(e) generating a file of the voice command whose meaning is analyzed in step (d) and converting the file into a control code;

(f) 상기 (e) 과정에서 변환된 제어코드에 따른 운용 프로그램의 작동으로 인식된 음성 명령에 매칭되는 정보를 엑세스하여 스피커를 통해 송출함과 동시에 표시부를 통해 표시하는 과정을 포함한다.(f) accessing information corresponding to the voice command recognized by the operation of the operation program according to the control code converted in the step (e), transmitting the information through the speaker, and simultaneously displaying the information through the display unit.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.

그리고, 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the drawings, parts irrelevant to the description are omitted for simplicity of explanation, and like reference numerals designate like parts throughout the specification.

또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. In addition, when a part is said to "include" a certain component, this means that it may further include other components, except to exclude other components unless otherwise stated.

이제 본 발명의 실시예에 따른 휴대 단말기의 음성 인식장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.Now, a voice recognition apparatus and method for a portable terminal according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 휴대 단말기의 음성 인식장치를 도시한 도 면이다.1 is a diagram illustrating a voice recognition apparatus of a portable terminal according to an embodiment of the present invention.

도시된 바와 같이, 본 발명은 키 입력부(110)와 오디오 처리부(120), 제어부(130), 변복조부(140), 송수신부(150), 영상 입력부(160), 영상 처리부(170), 표시부(180), 메모리부(190) 및 음성 인식장치(200)를 포함한다.As shown, the present invention, the key input unit 110, the audio processor 120, the controller 130, the modulation and demodulation unit 140, the transceiver 150, the image input unit 160, the image processor 170, the display unit 180, a memory unit 190, and a voice recognition device 200.

키 입력부(110)는 숫자 및 문자를 입력하기 위한 다수개의 키와 휴대 단말기의 사용상 특정의 기능을 설정하기 위한 기능키를 포함하며, 상기 기능키에는 휴대 단말기를 음성 인식모드로 진입시키는 기능키가 더 포함될 수 있다.The key input unit 110 includes a plurality of keys for inputting numbers and letters and a function key for setting a specific function in use of the mobile terminal, and the function key includes a function key for entering the mobile terminal into a voice recognition mode. It may be further included.

오디오 처리부(120)는 패킷 데이터를 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 포함하며, 마이크(Mic)로 입력되는 사용자의 아날로그 음성신호를 오디오 코덱을 통해 디지털 신호로 변환하여 제어부(130)가 인식할 수 있도록 하고, 제어부(130)에서 제공되는 디지털 음성신호를 아날로그 음성신호로 변환하여 스피커(Spk)를 통해 송출한다.The audio processor 120 includes a data codec for processing packet data and an audio codec for processing an audio signal such as voice. The audio processor 120 converts an analog voice signal input by a microphone into a digital signal through an audio codec. The controller 130 can recognize the signal, and converts the digital voice signal provided from the controller 130 into an analog voice signal and transmits the same through the speaker Spk.

또한, 무선망을 통해 수신되는 메시지(메일) 등의 데이터 패킷이 사용자에게 정보 제공을 위한 데이터 패킷인 경우 제어부(130)에서 제공되는 데이터 패킷을 데이터 코덱을 통해 아날로그 신호로 변환하여 스피커(Spk)를 통해 음성 안내로 제공한다.In addition, when a data packet such as a message (mail) received through a wireless network is a data packet for providing information to a user, the speaker (Spk) by converting the data packet provided from the controller 130 into an analog signal through a data codec Provided with voice guidance through.

제어부(110)는 설정된 운용 프로그램에 따라 휴대 단말기의 제반적인 동작을 제어하며, 사용자의 음성 명령의 인식 혹은 키 입력부(110)에 구비된 기능키에 의해 음성 인식모드로 진입하여 음성 명령어의 인식에 따라 수신 메시지(메일)를 표시부(180)를 통해 표시하고, 필요에 따라 스피커(Spk)를 통해 음성으로 송출하며, 무선망에 필요로 하는 서비스를 요청하고 그에 따라 수신되는 증권정보, 뉴스, 날씨, 생활정보 등을 수신하여 표시부(180)를 통해 표시하고 동시에 스피커(Spk)를 통해 음성으로 송출한다.The controller 110 controls the overall operation of the portable terminal according to the set operation program, and enters the voice recognition mode by recognizing the voice command of the user or by using a function key included in the key input unit 110 to recognize the voice command. According to the received message (mail) through the display unit 180, and transmits the voice through the speaker (Spk) as necessary, requests for the services required for the wireless network, and accordingly received stock information, news, weather , And receives the living information and the like through the display unit 180 and at the same time transmits the voice through the speaker (Spk).

변복조부(140)는 무선망으로 송신되는 음성신호 및 데이터 패킷을 부호화하여 송수신부(150)에 인가하고, 송수신부(150)를 통해 수신되는 음성신호 및 데이터 패킷을 복호화하여 제어부(130)에 제공한다.The modulation and demodulation unit 140 encodes a voice signal and a data packet transmitted to the wireless network to the transceiver unit 150, decodes the voice signal and data packet received through the transceiver unit 150 to the controller 130. to provide.

송수신부(150)는 안테나(ANT)를 통해 무선망과 접속하며, 변복조부(140)에서 부호화된 음성신호 및 데이터 패킷의 주파수를 상승 변환 및 고조파 증폭하여 안테나(ANT)를 통해 송출하고, 무선망으로부터 안테나(ANT)를 통해 수신되는 신호를 저잡음 증폭 및 주파수를 하강 변환하여 변복조부(140)에 제공한다.The transceiver 150 is connected to the wireless network through the antenna ANT, and up-converts and harmonic-amplifies the frequencies of the voice signal and data packet encoded by the modulator 140, and transmits the same through the antenna ANT. The low-noise amplification and the frequency down-conversion of the signal received from the network via the antenna ANT is provided to the demodulation unit 140.

영상 입력부(160)는 예를 들어 CCD 촬상소자 혹은 카메라로, 제어부(130)에서 인가되는 제어신호에 따라 주변사물이나 인물 등 피사체의 영상을 입력하며, 입력되는 아날로그 영상신호를 내장되는 DSP(Digital Signal Processor)를 통해 디지털 신호로 변환한다.The image input unit 160 is, for example, a CCD image pickup device or a camera. The image input unit 160 inputs an image of a subject, such as a peripheral object or a person, according to a control signal applied from the controller 130, and has a DSP (Digital) in which an analog image signal is input. Signal Processor) converts to a digital signal.

영상처리부(170)는 제어부(130)의 제어신호에 따라 상기 영상 입력부(160)에서 인가되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 단위의 영상신호를 표시부(180)의 특성 및 디스플레이 규격에 맞추에 출력한다.The image processor 170 processes the image signal applied from the image input unit 160 in units of frames according to the control signal of the controller 130, and converts the image signal of the frame unit into the characteristics and display standards of the display unit 180. Output to fit.

상기 영상처리부(170)는 JPEG 코덱이나 MPEG 코덱 혹은 Wavelet 코덱 중 어느 하나 이상의 영상 코덱을 포함하며, 상기 표시부(180)에 표시되는 프레임 단위의 영상 데이터를 설정된 방식으로 압축하거나 압축된 프레임 단위의 영상 데이터 를 복원하는 기능을 실행한다.The image processing unit 170 may include any one or more image codecs of a JPEG codec, an MPEG codec, or a wavelet codec, and compress or compress the image data of frame units displayed on the display unit 180 in a set manner. Execute the function to restore the data.

표시부(180)는 상기 영상 처리부(170)에서 인가되는 프레임 단위의 영상을 표시하며, 제어부(130)에서 인가되는 메시지(메일), 컨텐츠 정보, 뉴스, 날씨, 생활정보 등 데이터를 문자나 텍스트 혹은 그래프의 형식으로 표시한다.The display unit 180 displays an image in a frame unit applied by the image processing unit 170, and displays data such as a message (mail), content information, news, weather, living information, etc., which is applied by the controller 130. Display in graph format.

상기 표시부(180)는 터치 스크린 방식으로 구현되어 키 입력부(110)를 대신하여 입력부로 동작할 수 있다.The display unit 180 may be implemented as a touch screen to operate as an input unit instead of the key input unit 110.

메모리부(190)는 휴대 단말기를 운용하는 프로그램과 음성 명령어 인식을 위한 데이터 및 인식된 음성 명령어를 제어코드로 변환하기 위한 한글 표준 코드 테이블, 휴대 단말기의 운용 과정에서 발생되는 데이터 패킷을 저장한다.The memory unit 190 stores a program for operating the mobile terminal, data for voice command recognition, a Korean standard code table for converting the recognized voice command into a control code, and a data packet generated during the operation of the mobile terminal.

음성 인식장치(200)는 마이크(Mic)로 입력되는 사용자의 음성에서 음성의 시작점과 끝점을 검출하여 음성구간을 추출하고, 음성구간에서 검출되는 음소 및 음절을 조합하여 단어로 형성한 다음 이를 인식하고, 인식된 단어의 조합으로 구성되는 문장을 음성 명령어로 인식하며, 메모리부(190)에 저장되어 있는 한글 표준 코드 테이블을 적용하여 인식된 음성 명령어를 제어 코드로 변환한다.The voice recognition device 200 detects a voice point from a voice of a user input through a microphone, extracts a voice section, forms a word by combining phonemes and syllables detected from the voice section, and recognizes the word. A sentence composed of a combination of recognized words is recognized as a voice command, and the recognized voice command is converted into a control code by applying a Korean standard code table stored in the memory 190.

상기 음성 인식장치(200)는 추출된 음성구간에서 검출되는 음소 및 음절을 조합하여 단어로 형성하는 단어 조합부(210)와, 조합된 단어를 인식하여 문장으로 구성하는 단어 인식부(220), 단어의 조합을 통해 구성된 문장을 인식하여 음성 명령어로 인식하는 음성 인식부(230), 인식된 음성 명령어를 상기 메모리부(190)에 저장된 한글 표준 코드 테이블을 적용하여 제어 코드로 변환하는 코드 변환부(240)를 포함한다.The speech recognition apparatus 200 may include a word combiner 210 configured to form a word by combining phonemes and syllables detected in the extracted voice interval, a word recognizer 220 configured to recognize a combined word and form a sentence. The speech recognition unit 230 recognizes a sentence composed of a combination of words and recognizes it as a voice command, and a code conversion unit converting the recognized voice command into a control code by applying a Korean standard code table stored in the memory 190. 240.

상기 음성 인식부(230) 및 코드 변환부(240)에 대하여 도 2를 참조하여 그 구성을 좀 더 구체적으로 설명하면 다음과 같다.The speech recognition unit 230 and the code conversion unit 240 will be described in more detail with reference to FIG. 2 as follows.

도시된 바와 같이, 음성 인식부(230)는 구문 분석기(231)와 구문 해석기(232)를 포함하고, 코드 변환부(240)는 구문 분석기(241)와 구문 해석기(242), 음절 변환기(243) 및 파일 생성기(244)를 포함한다.As shown, the speech recognizer 230 includes a parser 231 and a parser 232, and the code converter 240 includes a parser 241, a parser 242, and a syllable converter 243. And file generator 244.

상기 음성 인식부(230)에 포함되는 구문 분석기(231)는 입력되는 음성을 분석하여 속성 파악한 다음 어절간 의존관계를 분석하여 음성 명령어의 문장으로 생성한다.The parser 231 included in the speech recognizer 230 analyzes the input voice to identify attributes and then analyzes the dependency relationship between words to generate sentences of the voice command.

음성 인식부(230)에 포함되는 구문 해석기(232)는 상기 생성된 음성 명령어의 문장을 메모리부(190)에 저장된 한글 표준 코드 테이블을 적용하여 명령어의 실질적인 의미를 분석한다.The parser 232 included in the speech recognizer 230 analyzes the actual meaning of the command by applying the Hangul standard code table stored in the memory 190 to the sentence of the generated voice command.

코드 변환기(240)에 포함되는 구문 분석기(241)는 상기 음성 인식부(230)에서 명령어의 실질적인 의미가 분석되어 인가되는 음성 명령어의 명사구 등 속성을 파악하고 어절간 의존관계를 분석한다.The parser 241 included in the code converter 240 analyzes the actual meaning of the command in the speech recognizer 230 to identify attributes such as noun phrases of the applied voice command and analyzes the dependency relations between words.

상기 코드 변환기(240)에 포함되는 구문 해석기(242)는 구문 분석기(241)에서 분석되어진 음성 명령어를 메모리부(190)에 저장된 한글 표준 코드 테이블을 적용하여 명령어의 실질적인 의미를 파악한다.The syntax interpreter 242 included in the code converter 240 may apply a Korean standard code table stored in the memory unit 190 to the voice command analyzed by the parser 241 to determine the actual meaning of the command.

상기 코드 변환기(240)에 포함되는 음절 변환기(243)는 상기 의미가 파악되어진 음성 명령어를 음절 변환한다.The syllable converter 243 included in the code converter 240 syllable converts the voice command whose meaning is known.

상기 코드 변환기(240)에 포함되는 파일 생성기(244)는 음절 변환된 음성 명 령어를 파일로 생성하여 출력한다.The file generator 244 included in the code converter 240 generates and outputs a syllable-converted voice command word as a file.

상기한 기능을 포함하여 구성되는 본 발명의 실시예에 따른 휴대 단말기의 음성 인식장치의 음성 명령어 인식과 그에 따른 동작에 대하여 설명한다.The voice command recognition and the operation thereof of the voice recognition apparatus of the mobile terminal according to the embodiment of the present invention including the above functions will be described.

휴대 단말기에서 키 입력에 따른 음성 통화나 영상 입력, 메시지(메일)의 송수신, 각종 컨텐츠 및 정보의 수신 등에 대한 동작은 통상적인 휴대 단말기의 동작과 동일 내지 유사하므로, 이에 대한 구체적인 설명은 생략한다.Since operations on a voice call or video input, transmission and reception of a message (mail), and reception of various contents and information according to key input in the portable terminal are the same as or similar to those of a typical portable terminal, detailed description thereof will be omitted.

본 발명은 음성 명령어를 인식하여 그에 따른 동작을 수행하는 것이므로, 이에 대하여 도 3 및 도 4를 참조하여 설명한다.Since the present invention recognizes a voice command and performs an operation according to it, this will be described with reference to FIGS. 3 and 4.

휴대 단말기가 전원 온을 유지하는 대기상태에서(S101) 제어부(130)는 마이크(Mic)를 통해 입력되는 사용자의 음성 명령어가 검출되는지 판단한다(S102).In the standby state in which the portable terminal maintains power on (S101), the controller 130 determines whether a voice command of a user input through the microphone Mic is detected (S102).

사용자가 특정의 음성 명령어를 마이크(Mic)에 입력하면, 오디오 처리부(120)는 입력되는 사용자의 아날로그 음성신호를 오디오 코덱을 통해 디지털 신호로 변환하여 제어부(130)에 제공하므로, 제어부(130)는 동작 대기의 상태에서 음성 명령어가 입력되었는지의 여부를 판단할 수 있게 된다.When the user inputs a specific voice command to the microphone (Mic), the audio processor 120 converts the analog voice signal of the user to a digital signal through the audio codec to provide to the controller 130, the controller 130 It is possible to determine whether or not a voice command is input in a state of waiting for operation.

상기 S102의 판단에서 특정의 음성 명령어의 입력이 검출되면 음성 인식 모드의 진입 요구로 판단하여 시스템을 초기화하고(S103), 음성 변환모드를 활성화 한다(S104).If it is determined in S102 that an input of a specific voice command is detected, it is determined as an entry request of the voice recognition mode to initialize the system (S103), and the voice conversion mode is activated (S104).

상기에서 음성 인식모드의 진입을 대기상태에서 특정 음성 명령어의 입력으로 진입하는 것으로 하였으나, 이에 한정하지 않고 키 입력부(110)에 구비되어 있는 특정 키의 입력을 통해 음성 인식모드로 진입되는 기능도 본 발명의 범위에 포 함된다.In the above, the voice recognition mode is entered into the input of a specific voice command in the standby state, but the present invention is not limited thereto, and the function of entering the voice recognition mode through the input of a specific key provided in the key input unit 110 is also described. It is included in the scope of the invention.

상기 S104에서 음성 변환모드가 활성화되면 음성 인식장치(200)에 포함되는 단어 조합부(210)는 제어부(130)를 통해 인가되는 사용자의 음성신호에서 음성의 시작점과 끝점을 검출하여 음성구간을 추출하고 음성구간에서 검출되는 음소 및 음절을 조합하여 단어로 형성하며 단어 인식부(220)는 조합된 단어를 인식하여 문장으로 구성한다(S105)(S106).When the voice conversion mode is activated in S104, the word combination unit 210 included in the speech recognition apparatus 200 detects a start point and an end point of the voice from a user's voice signal applied through the controller 130 to extract a voice section. Then, the phoneme and syllables detected in the speech section are combined to form a word, and the word recognition unit 220 recognizes the combined word and configures the sentence (S105) (S106).

이후, 음성 인식부(230)는 단어의 조합으로 구성되는 문장에서 각 단어의 의존관계를 분석 및 해석하여(S107) 음성 명령어를 인식한다(S108).Thereafter, the speech recognizer 230 analyzes and interprets the dependency of each word in a sentence composed of a combination of words (S107) to recognize a voice command (S108).

상기 음성 명령어의 인식 절차에 대하여 도 4를 참조하여 설명한다.A recognition procedure of the voice command will be described with reference to FIG. 4.

문장을 구성하는 각 단어의 의존관계 분석 및 해석 결과 음성 명령어로 인식할 수 있도록 사전에 정의된 단어로 구성되어 있는지를 판단한다(S201)(S202).As a result of dependency analysis and analysis of each word constituting the sentence, it is determined whether the word is composed of a word defined in advance so as to be recognized as a voice command (S201) (S202).

상기의 판단 결과 사전에 정의된 단어로 구성되어 있으면 단어를 구성하는 각 음절을 검사하고(S203), 메모리부(190)에 저장되어 있는 한글 표준 코드 테이블을 검색하여(S204) 매칭되는 코드가 존재하는지를 판단한다(S205).As a result of the determination, if it is composed of the words defined in the dictionary, each syllable constituting the word is examined (S203), and the Korean standard code table stored in the memory unit 190 is searched (S204) and a matching code exists. It is determined whether or not (S205).

상기 S205의 판단 결과 메칭되는 코드가 존재하면 해당 매칭 코드를 적용하여 음성 명령어로 인식한다(S206)(S207).If there is a matching code as a result of the determination in S205, the corresponding matching code is applied and recognized as a voice command (S206) (S207).

상기한 절차를 통해 음성 명령어를 인식하게 되면 이를 음성 명령어 파일로 생성하고(S109), 코드 변환부(240)를 통해 메모리부(190)에 저장되어 있는 한글 표준 코드 테이블을 적용하여 인식된 음성 명령어를 제어 코드로 변환하여 제어부(130)에 인가한다(S110).When the voice command is recognized through the above procedure, the voice command is generated as a voice command file (S109), and the voice command recognized by applying the Korean standard code table stored in the memory unit 190 through the code converter 240 is applied. Is converted into a control code and applied to the control unit 130 (S110).

따라서, 제어부(130)는 음성 인식장치(200)에서 제어코드로 인가되는 음성 인식 명령에 따라 운용 프로그램을 실행시켜 인식된 명령을 실행하게 되며(S111), 실행 결과를 오디오 처리부(120)를 통해 아날로그 음성 신호로 변환하여 스피커(Spk)를 통해 송출함과 동시에 표시부(180)를 통해 표시하여 준다(S112).Therefore, the controller 130 executes the operation command according to the voice recognition command applied as the control code from the voice recognition apparatus 200 to execute the recognized command (S111), and the execution result is transmitted through the audio processor 120. It converts into an analog voice signal and transmits it through the speaker Spk and simultaneously displays it on the display unit 180 (S112).

일 예를 들어, 인식된 음성 명령어가 수신된 메시지(메일)의 출력이면 제어부(130)는 메모리부(190)에 저장되어 있는 데이터 패킷중에서 출력이 요청된 메시지(메일)을 엑세스하여 표시부(180)를 통해 출력한다.For example, if the recognized voice command is output of the received message (mail), the controller 130 accesses the message (mail) which is requested to be output from the data packet stored in the memory 190 and displays the display unit 180. )

또한, 필요에 따라 오디오 처리부(120)에 포함되는 오디오 코덱을 통해 수신된 메시지를 아날로그 음성신호로 변환한 다음 스피커(Spk)를 통해 송출하여 준다.In addition, if necessary, a message received through an audio codec included in the audio processor 120 is converted into an analog voice signal and then transmitted through a speaker Spk.

상기에서 인식된 음성 명령어가 무선 인터넷망으로부터 증권정보, 뉴스,날씨, 생활정보, 각종 컨텐츠 등의 서비스 요청이면 명령어의 제어코드에 따라 송수신부(150)를 통해 무선 인터넷망을 접속한다.If the voice command recognized above is a service request of stock information, news, weather, living information, and various contents from the wireless internet network, the wireless internet network is connected through the transceiver 150 according to the control code of the command.

이후, 음성 인식되는 서비스의 요청을 해당하는 웹 서버에 전송하고, 그에 따라 제공되는 서비스의 데이터 패킷을 수신하여 표시부(180)를 통해 사용자에게 표시하여 준다.Thereafter, a request for a voice-recognized service is transmitted to a corresponding web server, and a data packet of a service provided accordingly is received and displayed to the user through the display unit 180.

그리고, 필요에 따라 오디오 처리부(120)의 오디오 코덱을 통해 음성으로 변환한 다음 스피커(Spk)를 통해 송출하여 준다.Then, if necessary, the audio codec of the audio processor 120 converts the voice and then outputs it through the speaker Spk.

이외에 메시지(메일)를 음성 명령의 입력으로 편집하여 상대방에게 전송하고, 상대방으로부터 수신되는 메시지를 표시부(180)에 표시하거나 음성으로 변환하여 스피커(Spk)를 통해 송출하여 준다.In addition, the message (mail) is edited as an input of a voice command and transmitted to the counterpart, and the message received from the counterpart is displayed on the display unit 180 or converted into voice and transmitted through the speaker Spk.

본 발명은 이동통신 서비스 업체, 인터넷 서비스 업체, 컨텐츠 제공업체 등 음성인식 합성기술을 접목할 수 있는 환경이면 모드 적용할 수 있다.The present invention can be applied to a mode in which an environment such as a mobile communication service company, an Internet service company, a content provider, and the like can be combined with voice recognition synthesis technology.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiments of the present invention described above are not implemented only through the apparatus and the method, but may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded. Implementation may be easily implemented by those skilled in the art from the description of the above-described embodiments.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

전술한 구성에 의하여 본 발명은 와이브로(Wibro),WCDMA, HSPA(HSDPA+HSUPA)의 무선망 환경에서 음성 명령의 인식과 제어 코드의 변환을 통해 메시지(메일), 각종 생활정보, 개인 일정관리 데이터를 제공하고, 화자 기술을 적용시켜 동화상 및 음성으로 변환하여 서비스 제공할 수 있으며, 기존의 음성전화, 텍스트, 팩스뿐만 아니라 데이터 통신 기능에 화상전화, 동영상 멀티미디어 서비스, 게시판, 신문기사, 상품광고, 게시물, 경제, 오락, 나의 정보 등 인터넷 상에서 게시되는 모든 정보들의 제공받을 수 있다.According to the above-described configuration, the present invention provides a message (mail), various life information, and personal schedule data through the recognition of voice commands and conversion of control codes in a wireless network environment of Wibro, WCDMA, and HSPA (HSDPA + HSUPA). By applying the speaker technology to convert the video and voice to provide services, video telephony, video multimedia services, bulletin boards, newspaper articles, product advertising, You will be provided with all the information posted on the Internet, including posts, economics, entertainment and my information.

Claims (9)

숫자 및 문자를 입력하기 위한 다수개의 키와 기능키로 구성되는 키 입력부; 마이크로 입력되는 아날로그 음성신호를 디지털 음성신호로 변환하고, 제어부에서 제공되는 디지털 음성신호를 아날로그 음성신호로 변환하여 스피커로 송출시키는 오디오 처리부; 무선망을 통해 송수신되는 음성신호 및 데이터 패킷을 부호화 및 복호화하는 변복조부; 안테나를 통해 무선망과 접속하며, 상기 부호화된 음성신호 및 데이터 패킷의 주파수를 상승 변환 및 고조파 증폭하여 무선망으로 송출하고, 무선망에서 수신되는 신호를 저잡음 증폭 및 주파수 하강 변환하는 송수신부; 주변의 영상을 입력하며, 내장되는 DSP를 통해 디지털 신호로 변환하는 영상 입력부; JPEG 코덱, MPEG 코덱, Wavelet 코덱 중 어느 하나 이상의 영상 코덱을 포함하며 영상 입력부에서 인가되는 영상신호를 프레임 단위로 처리하고 표시부의 특성 및 디스플레이 규격에 맞추에 출력하는 영상처리부; 상기 영상 처리부에서 인가되는 프레임 단위의 영상과 제어부에서 인가되는 메시지(메일), 컨텐츠, 뉴스, 날씨, 생활정보 데이터를 문자나 텍스트로 표시하는 표시부를 포함하며,A key input unit including a plurality of keys and function keys for inputting numbers and characters; An audio processor converting the analog voice signal input into the microphone into a digital voice signal and converting the digital voice signal provided from the controller into an analog voice signal and outputting the analog voice signal to a speaker; A modulation / demodulator for encoding and decoding voice signals and data packets transmitted and received through a wireless network; A transceiver for connecting to a wireless network through an antenna, up-converting and harmonic-amplifying the encoded voice signals and data packets to be transmitted to the wireless network, and performing low-noise amplification and frequency down-conversion of the signal received from the wireless network; An image input unit which inputs a surrounding image and converts the image into a digital signal through a built-in DSP; An image processor including one or more image codecs among a JPEG codec, an MPEG codec, and a wavelet codec and processing an image signal applied from an image input unit in units of frames, and outputting the image signal according to characteristics of a display unit and a display standard; It includes a display unit for displaying the image of the frame unit applied by the image processing unit and the message (mail), content, news, weather, life information data that is applied by the control unit in a text or text, 마이크로 입력되는 사용자 음성에서 음성의 시작점과 끝점을 검출하여 음성구간을 추출하고, 음성구간에서 추출되는 음소 및 음절을 조합하여 단어로 형성하며 단어의 조합으로 구성되는 문장을 음성 명령어로 인식하는 음성 인식장치; 휴대 단말기의 운용 프로그램과 음성인식 명령어를 제어코드로 변환하기 위한 표준 코드 테이블, 휴대 단말기의 운용 과정에서 발생되는 데이터 패킷을 저장하는 메모리부; 설정된 운용 프로그램에 따라 휴대 단말기의 제반적인 동작을 제어하며, 음성 인식모드에서 음성 명령어의 인식 결과에 따라 해당 정보를 엑세스하여 음성 송출 및 표시를 제공하거나 무선망에 해당하는 서비스를 요청하고 수신되는 서비스 정보를 표시부 및 음성으로 송출시키는 제어부를 더 포함하는 휴대 단말기의 음성 인식장치에 있어서,Speech recognition is performed by detecting the start and end points of the voice from the user's voice input into the microphone, extracting the speech section, forming a word by combining the phonemes and syllables extracted from the speech section, and recognizing a sentence composed of the combination of words as a voice command. Device; A standard code table for converting an operation program and a voice recognition command of the portable terminal into a control code, a memory unit for storing a data packet generated during an operation of the portable terminal; Controls the overall operation of the mobile terminal according to the set operation program, and accesses the corresponding information according to the recognition result of the voice command in the voice recognition mode to provide voice transmission and display, or to request and receive a service corresponding to the wireless network. In the voice recognition device of a portable terminal further comprising a control unit for transmitting information to the display unit and the voice, 상기 음성 인식장치는 입력 음성의 시작점과 끝점을 검출하여 음성구간을 추출하고, 음성구간에서 검출되는 음소 및 음절을 조합하여 단어로 형성하는 단어 조합부;The speech recognition apparatus includes: a word combination unit configured to detect a start point and an end point of an input speech, extract a speech section, and form a word by combining phonemes and syllables detected in the speech section; 조합된 단어를 인식하여 문장으로 구성하는 단어 인식부;A word recognition unit recognizing the combined words and constructing sentences; 단어의 조합으로 구성된 문장을 음성 명령어로 인식하는 음성 인식부;A voice recognition unit recognizing a sentence composed of a combination of words as a voice command; 인식된 음성 명령어를 메모리부에 저장된 한글 표준 코드 테이블을 적용하여 제어 코드로 변환하는 코드 변환부를 포함하는 휴대 단말기의 음성 인식장치.And a code conversion unit for converting the recognized voice command into a control code by applying a Hangul standard code table stored in a memory unit. 삭제delete 삭제delete 삭제delete 제1항에 있어서,The method of claim 1, 상기 음성 인식부는 입력 음성을 분석하여 속성을 파악하고 어절간 의존관계를 분석하여 음성 명령어의 문장으로 생성하는 구문 분석기;The speech recognition unit parses the input voice to identify attributes and analyze the dependency between words to generate a sentence of the speech command sentence; 상기 구문 분석기에서 생성된 음성 명령어의 문장을 메모리부에 저장된 한글 표준 코드 테이블을 적용하여 명령어의 실질적인 의미를 분석하는 구문 해석기를 포함하는 휴대 단말기의 음성 인식장치.And a parser that analyzes the actual meaning of the command by applying a Hangul standard code table stored in a memory unit to a sentence of the voice command generated by the parser. 제1항에 있어서,The method of claim 1, 상기 코드 변환부는 상기 음성 인식부에서 명령어의 실질적인 의미가 분석된 음성 명령어의 속성을 파악하고 어절간 의존관계를 분석하는 구문 분석기;The code conversion unit parses the syntax of the speech recognition command to analyze the actual meaning of the command in the speech recognition unit and analyzes the dependencies between words; 상기 분석된 음성 명령어를 한글 표준 코드 테이블을 적용하여 명령어의 실질적인 의미를 파악하는 구문 해석기;A syntax interpreter configured to determine a practical meaning of the command by applying a Korean standard code table to the analyzed voice command; 상기 구문 해석기에 의해 의미가 파악되어진 음성 명령어를 음절 변환하는 음절 변환기;A syllable converter for syllable conversion of a voice command whose meaning is grasped by the parser; 상기 음절 변환된 음성 명령어를 파일로 생성하는 파일 생성기를 포함하는 휴대 단말기의 음성 인식장치.And a file generator for generating the syllable-converted voice command into a file. (a) 휴대 단말기의 대기상태에서 음성입력이 검출되면 시스템을 초기화한 후 음성 인식모드를 활성화하는 과정;(a) initializing the system and activating a voice recognition mode when a voice input is detected in a standby state of the portable terminal; (b) 마이크로 입력되는 음성의 어절을 조합하여 단어로 생성하고, 단어의 속성과 어절간 의존관계를 분석하여 단어의 의미를 파악하는 과정;(b) combining words of a microphone input into words to generate words, and analyzing word attributes and dependencies between words to determine the meaning of words; (c) 상기 (b) 과정에서 의미가 파악되어진 단어를 조합하여 문장으로 생성하는 과정;(c) generating a sentence by combining the words whose meaning is identified in the step (b); (d) 상기 (c) 과정에서 단어의 조합으로 생성된 문장을 음성 명령어로 인식하고, 설정된 한글 표준 코드 테이블을 적용하여 음성 명령어의 실질적인 의미를 분석하는 과정;(d) recognizing a sentence generated by the combination of words in the step (c) as a voice command and analyzing the actual meaning of the voice command by applying a set Korean standard code table; (e) 상기 (d) 과정에서 의미가 분석된 음성 명령어의 파일을 생성하고, 이를 제어코드로 변환하는 과정 및;(e) generating a file of the voice command whose meaning is analyzed in step (d) and converting the file into a control code; (f) 상기 (e) 과정에서 변환된 제어코드에 따른 운용 프로그램의 작동으로 인식된 음성 명령에 매칭되는 정보를 엑세스하여 스피커를 통해 송출함과 동시에 표시부를 통해 표시하는 과정을 포함하는 휴대 단말기의 음성 인식방법.(f) accessing information corresponding to the voice command recognized by the operation of the operation program according to the control code converted in step (e), transmitting the signal through a speaker, and simultaneously displaying the information on the display unit. Speech recognition method. 제7항에 있어서,The method of claim 7, wherein 상기 (e) 과정에서 인식된 음성 명령에 매칭되는 정보는 수신 저장된 메시지(메일)의 표시 및 청취, 무선망으로부터 증권, 뉴스, 날씨, 생활정보, 컨텐츠 정보의 서비스 요청이며, 서비스 요청에 따라 수신되는 정보를 표시 및 음성 송출하는 것을 더 포함하는 휴대 단말기의 음성 인식방법.The information matching the voice command recognized in the step (e) is the display and listening of the received and stored message (mail), the service request of the securities, news, weather, living information, content information from the wireless network, received according to the service request A voice recognition method of a portable terminal further comprising displaying and transmitting the voice information. 제7항에 있어서,The method of claim 7, wherein 상기 (a) 과정의 음성 인식모드에서 음성의 입력으로 메시지(메일)의 편집 및 전송과 수신 메시지(메일)의 출력을 제공하는 것을 더 포함하는 휴대 단말기의 음성 인식방법.In the voice recognition mode of the step (a), the voice recognition method of a mobile terminal further comprising providing a voice (edit) of the message (mail) and the output of the received message (mail).
KR1020070040652A 2007-04-26 2007-04-26 Apparatus for speech recognition of wireless terminal and method of thereof KR100819928B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070040652A KR100819928B1 (en) 2007-04-26 2007-04-26 Apparatus for speech recognition of wireless terminal and method of thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070040652A KR100819928B1 (en) 2007-04-26 2007-04-26 Apparatus for speech recognition of wireless terminal and method of thereof

Publications (1)

Publication Number Publication Date
KR100819928B1 true KR100819928B1 (en) 2008-04-08

Family

ID=39533957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070040652A KR100819928B1 (en) 2007-04-26 2007-04-26 Apparatus for speech recognition of wireless terminal and method of thereof

Country Status (1)

Country Link
KR (1) KR100819928B1 (en)

Cited By (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101352695B1 (en) 2012-02-24 2014-01-17 주식회사 비엔에스웍스 Method for Displaying Contents by using Sound
WO2015005927A1 (en) * 2013-07-11 2015-01-15 Intel Corporation Device wake and speaker verification using the same audio input
KR101642918B1 (en) * 2015-08-03 2016-07-27 서치콘주식회사 Method for controlling network connection using codename protocol, network connection control server performing the same, and storage medium storing the same
KR20160127911A (en) * 2015-04-28 2016-11-07 주식회사 디오티스 Method for Providing Phone Banking based on Sentence Structure Recognition by using Linkage of Different Network
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
KR101834624B1 (en) * 2013-06-08 2018-03-05 애플 인크. Automatically adapting user interfaces for hands-free interaction
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
WO2022158633A1 (en) * 2021-01-25 2022-07-28 박상래 Wireless communication device using voice recognition and voice synthesis
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050122604A (en) * 2004-06-25 2005-12-29 삼성전자주식회사 Method for initiating voice recognition in wireless terminal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050122604A (en) * 2004-06-25 2005-12-29 삼성전자주식회사 Method for initiating voice recognition in wireless terminal

Cited By (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318871B2 (en) 2005-09-08 2019-06-11 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10795541B2 (en) 2009-06-05 2020-10-06 Apple Inc. Intelligent organization of tasks items
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
KR101352695B1 (en) 2012-02-24 2014-01-17 주식회사 비엔에스웍스 Method for Displaying Contents by using Sound
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
KR101834624B1 (en) * 2013-06-08 2018-03-05 애플 인크. Automatically adapting user interfaces for hands-free interaction
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US9445209B2 (en) 2013-07-11 2016-09-13 Intel Corporation Mechanism and apparatus for seamless voice wake and speaker verification
US9852731B2 (en) 2013-07-11 2017-12-26 Intel Corporation Mechanism and apparatus for seamless voice wake and speaker verification
WO2015005927A1 (en) * 2013-07-11 2015-01-15 Intel Corporation Device wake and speaker verification using the same audio input
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
KR101707086B1 (en) * 2015-04-28 2017-02-15 주식회사 디오티스 Method for Providing Phone Banking based on Sentence Structure Recognition by using Linkage of Different Network
KR20160127911A (en) * 2015-04-28 2016-11-07 주식회사 디오티스 Method for Providing Phone Banking based on Sentence Structure Recognition by using Linkage of Different Network
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
KR101642918B1 (en) * 2015-08-03 2016-07-27 서치콘주식회사 Method for controlling network connection using codename protocol, network connection control server performing the same, and storage medium storing the same
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10354011B2 (en) 2016-06-09 2019-07-16 Apple Inc. Intelligent automated assistant in a home environment
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10269345B2 (en) 2016-06-11 2019-04-23 Apple Inc. Intelligent task discovery
US10521466B2 (en) 2016-06-11 2019-12-31 Apple Inc. Data driven natural language event detection and classification
US10297253B2 (en) 2016-06-11 2019-05-21 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
WO2022158633A1 (en) * 2021-01-25 2022-07-28 박상래 Wireless communication device using voice recognition and voice synthesis

Similar Documents

Publication Publication Date Title
KR100819928B1 (en) Apparatus for speech recognition of wireless terminal and method of thereof
US10614803B2 (en) Wake-on-voice method, terminal and storage medium
CN107895578B (en) Voice interaction method and device
KR102108500B1 (en) Supporting Method And System For communication Service, and Electronic Device supporting the same
US8824641B2 (en) Real time automatic caller speech profiling
KR101861006B1 (en) Device and method of translating a language into another language
RU2352979C2 (en) Synchronous comprehension of semantic objects for highly active interface
CN102117614A (en) Personalized text-to-speech synthesis and personalized speech feature extraction
WO2004036939A1 (en) Portable digital mobile communication apparatus, method for controlling speech and system
JP2002125047A (en) Method and device for interpretation service
JP2002125050A5 (en)
CN111325039B (en) Language translation method, system, program and handheld terminal based on real-time call
CN110493123B (en) Instant messaging method, device, equipment and storage medium
CN101211335A (en) Mobile communication terminal with translation function, translation system and translation method
KR100617711B1 (en) Method for initiating voice recognition in wireless terminal
JP2019175426A (en) Translation system, translation method, translation device, and voice input/output device
US20060182236A1 (en) Speech conversion for text messaging
JP2010026686A (en) Interactive communication terminal with integrative interface, and communication system using the same
JP6457706B1 (en) Translation system, translation method, and translation apparatus
WO2008118038A1 (en) Message exchange method and devices for carrying out said method
US20080147409A1 (en) System, apparatus and method for providing global communications
US20200285815A1 (en) Speech translation terminal, mobile terminal, translation system, translation method, and translation device
JP2018045675A (en) Information presentation method, information presentation program and information presentation system
JP2004015478A (en) Speech communication terminal device
KR101454254B1 (en) Question answering method using speech recognition by radio wire communication and portable apparatus thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110331

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee