KR20150015703A - Apparatus and method for recognizing voice - Google Patents

Apparatus and method for recognizing voice Download PDF

Info

Publication number
KR20150015703A
KR20150015703A KR1020130091393A KR20130091393A KR20150015703A KR 20150015703 A KR20150015703 A KR 20150015703A KR 1020130091393 A KR1020130091393 A KR 1020130091393A KR 20130091393 A KR20130091393 A KR 20130091393A KR 20150015703 A KR20150015703 A KR 20150015703A
Authority
KR
South Korea
Prior art keywords
keyword
correction
speech recognition
voice
input
Prior art date
Application number
KR1020130091393A
Other languages
Korean (ko)
Other versions
KR102229972B1 (en
Inventor
최민석
전혜정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130091393A priority Critical patent/KR102229972B1/en
Publication of KR20150015703A publication Critical patent/KR20150015703A/en
Application granted granted Critical
Publication of KR102229972B1 publication Critical patent/KR102229972B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase

Abstract

The present invention relates to a device for recognizing a voice and a method thereof to minimize a process for modifying a voice command by pending voice recognition while the voice recognition is being performed. A method of the present invention includes: a step of receiving a voice recognition command; a step of starting voice recognition based on the received voice recognition command; a step of determining whether a keyword for pending the voice recognition while the voice recognition is being performed after starting the voice recognition is inputted or not; and a step of pending the voice recognition if the keyword for pending is determined to be inputted.

Description

음성 인식 장치 및 그 방법{APPARATUS AND METHOD FOR RECOGNIZING VOICE}[0001] APPARATUS AND METHOD FOR RECOGNIZING VOICE [0002]

본 발명은 음성 인식 장치 및 그 방법에 관한 것으로, 보다 상세하게는, 음성 인식 도중 소정의 보류키워드로 음성을 보류시키기 위한 음성 인식 장치 및 그 방법에 관한 것이다.The present invention relates to a speech recognition apparatus and a method thereof, and more particularly, to a speech recognition apparatus and method for holding a speech with a predetermined reserved keyword during speech recognition.

근래 들어 가정 또는 업무를 위한 사무실 등에는 급속한 산업의 발달에 힘입어 유/무선 단말기와 각종 가정용 기기들인 TV, VCR, 오디오, 전자렌지, 세탁기, 냉장고, 네비게이션, 로봇 청소기 등 각종 전자기기들이 널리 사용되고 있다.Recently, various electronic devices such as TV, VCR, audio, microwave oven, washing machine, refrigerator, navigation system, robot cleaner and the like are widely used due to the rapid industrial development in the home or business office have.

그리고 사용자들의 편의를 위하여, 사용자가 별도로 터치/자판 입력을 하지 않아도 단순히 사용자의 음성만으로 전자기기에 데이터를 입력하고 실행시킬 수 있는 음성 인식 기능을 갖는 전자기기들이 널리 사용되고 있다. 이러한 음성 인식 기능은 사용자가 음성을 발화 하면, 전자기기에서 사용자의 음성을 인식하고 전기적 신호로 변환한 후 고유의 주파수 특정을 분석하여 어떤 말을 한 것인지 인식하는 것이다.Also, for convenience of users, electronic devices having a voice recognition function capable of inputting and executing data to and from an electronic device using only a voice of a user without using a touch / keyboard input are widely used. When a user utteres a voice, the voice recognition function recognizes the voice of the user in the electronic device, converts the voice into an electrical signal, and analyzes the inherent frequency specification to recognize the speech.

이러한 음성 인식 기능을 갖는 전자기기가 널리 사용됨으로써, 음성 인식의 정확도를 높이고 사용자가 용이하게 사용하게 하기 위하여 음성 인식 기능에 대한 개선이 꾸준히 이루어지고 있다.Since the electronic device having the voice recognition function is widely used, the voice recognition function has been continuously improved in order to improve the accuracy of the voice recognition and to enable the user to use it easily.

본 발명은 전술한 필요성을 충족하기 위해 제안되는 것으로서, 음성 인식이 수행 되는 동안 음성 인식을 보류하여 음성 명령을 변경하기 위한 과정을 최소화하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been proposed in order to satisfy the above-mentioned needs, and it is an object of the present invention to minimize the process for suspending speech recognition while voice recognition is performed to change a voice command.

본 발명은 음성 인식이 수행되고 있는 상황에서 인식되고 있는 음성의 내용을 언제라도 수정할 수 있는 것을 그 목적으로 한다.It is an object of the present invention to be able to modify the contents of a recognized speech at any time in a situation where speech recognition is being performed.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 음성 인식 방법은, 음성 인식 명령이 수신되는 단계와; 상기 수신된 음성 인식 명령에 기초하여 음성 인식을 시작하는 단계와; 상기 음성 인식이 시작된 후 상기 음성 인식을 수행하는 도중 상기 음성 인식을 보류시키기 위한 보류키워드가 입력되는지 여부를 판단하는 단계와; 상기 보류키워드가 입력된다고 판단되는 경우 상기 음성 인식을 보류하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a speech recognition method including receiving a speech recognition command; Starting speech recognition based on the received speech recognition command; Determining whether a pending keyword for holding the speech recognition is input during performing the speech recognition after the speech recognition is started; And suspending the speech recognition when it is determined that the pending keyword is input.

본 발명의 일 실시예에 따르는 경우, 상기 보류키워드는 종료키워드를 포함하고, 상기 음성 인식을 보류하는 단계는, 상기 종료키워드가 입력된다고 판단되는 경우 상기 음성 인식을 종료할 수 있다. 상기 음성 인식이 종료되는 경우, 새로운 음성 인식 명령이 수신될 때까지 상기 음성 인식을 중단할 수 있다.According to an embodiment of the present invention, the pending keyword includes an end keyword, and the step of suspending speech recognition may terminate the speech recognition when it is determined that the end keyword is input. When the speech recognition ends, the speech recognition can be stopped until a new speech recognition command is received.

한편, 본 발명의 다른 일 실시예에 따르는 경우, 상기 보류키워드는 수정키워드를 포함하고, 상기 음성 인식을 보류하는 단계는, 상기 수정키워드가 수정을 위한 키워드인지 여부를 판단할 수 있다. 상기 수정키워드가 입력되는 경우, 상기 음성 인식을 보류하는 단계는, 상기 수정키워드 및 상기 수정키워드에 연속한 음성신호를 인식할 수 있다.Meanwhile, according to another embodiment of the present invention, the pending keyword includes a correction keyword, and the step of holding the speech recognition may determine whether the correction keyword is a keyword for correction. In the case where the correction keyword is input, the step of holding the speech recognition can recognize the speech signal continuous to the correction keyword and the correction keyword.

여기서, 상기 수정키워드가 수정을 위한 키워드인지 여부를 판단하는 단계는, 상기 수정키워드 이전에 입력된 음성신호와 상기 수정키워드 이후에 입력된 상기 연속한 음성신호를 비교한다. 구체적으로, 상기 수정키워드 및 입력된 음성신호의 단어 간의 유사도, 오타여부, 문법 및 단어의 의미 중 적어도 하나에 기초하여 상기 수정키워드가 수정을 위한 키워드인지 여부를 판단할 수 있다.Here, the step of determining whether the correction keyword is a keyword for correction may include comparing a voice signal inputted before the correction keyword with the continuous voice signal inputted after the correction keyword. Specifically, it is possible to determine whether the corrected keyword is a keyword for correction based on at least one of the corrected keyword and the similarity between the words of the input voice signal, the presence or absence of the error, the grammar, and the meaning of the word.

상기 수정키워드가 수정을 위한 키워드라고 판단되는 경우, 상기 수정키워드 이후에 입력된 상기 연속한 음성신호 중 적어도 하나의 단어로 상기 수정키워드 이전에 입력된 음성신호 중 대응하는 단어를 대체할 수 있다.If the correction keyword is determined to be a keyword for correction, a corresponding word of the speech signal input before the correction keyword may be substituted into at least one word of the continuous speech signal input after the correction keyword.

상기 수정키워드가 수정을 위한 키워드가 아니라고 판단되는 경우, 상기 수정키워드 및 상기 연속한 음성신호는 상기 수정키워드 이전에 입력된 음성신호에 연속하여 인식된다.If it is determined that the correction keyword is not a keyword for correction, the correction keyword and the continuous voice signal are consecutively recognized to the voice signal inputted before the correction keyword.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 음성 인식 장치는 음성신호를 수신하는 음성 입력부와; 음성 인식 명령이 수신되는 경우 수신된 상기 음성신호의 음성 인식을 시작하며, 상기 음성 인식이 시작된 후 상기 음성 인식을 수행하는 도중 상기 음성 인식을 보류시키기 위한 보류키워드가 입력되는지 여부를 판단하고, 상기 보류키워드가 입력된다고 판단되는 경우 상기 음성 인식을 보류하는 음성 인식부를 포함한다.According to another aspect of the present invention, there is provided a speech recognition apparatus comprising: a speech input unit for receiving a speech signal; The method comprising: starting speech recognition of the received speech signal when a speech recognition command is received; determining whether a pending keyword for holding the speech recognition is input during performing the speech recognition after the speech recognition is started; And a voice recognition unit for holding the voice recognition when it is determined that a pending keyword is input.

본 발명의 일 실시예를 따르는 경우, 상기 보류키워드는 종료키워드를 포함하고, 상기 음성 인식부는 상기 종료키워드가 입력된다고 판단되는 경우 상기 음성 인식을 종료한다. 상기 음성 인식부는 상기 음성 인식이 종료되는 경우, 새로운 음성 인식 명령이 수신될 때까지 상기 음성 인식을 중단한다.According to an embodiment of the present invention, the pending keyword includes an end keyword, and the voice recognition unit ends the voice recognition when it is determined that the end keyword is input. When the speech recognition ends, the speech recognition unit stops the speech recognition until a new speech recognition command is received.

본 발명의 다른 실시예를 따르는 경우, 상기 보류키워드는 수정키워드를 포함하고, 상기 음성 인식부는 상기 수정키워드가 입력되는 경우 상기 수정키워드 및 상기 수정키워드에 연속한 음성신호를 인식할 수 있다.According to another embodiment of the present invention, the pending keyword includes a correction keyword, and the voice recognition unit can recognize a voice signal continuous to the correction keyword and the correction keyword when the correction keyword is input.

상기 수정키워드가 입력되는 경우, 상기 음성 인식부는 상기 수정키워드가 수정을 위한 키워드인지 여부를 판단한다. 상기 음성 인식부는 상기 수정키워드 이전에 입력된 음성신호와 상기 수정키워드 이후에 입력된 상기 연속한 음성신호를 비교한다.When the correction keyword is input, the speech recognition unit determines whether the correction keyword is a keyword for correction. The speech recognition unit compares the speech signal inputted before the correction keyword with the continuous speech signal inputted after the correction keyword.

상기 음성 인식부는 상기 수정키워드가 수정을 위한 키워드라고 판단되는 경우, 상기 수정키워드 이후에 입력된 상기 연속한 음성신호 중 적어도 하나의 단어로 상기 수정키워드 이전에 입력된 음성신호 중 대응하는 단어를 대체한다.Wherein the speech recognition unit replaces a corresponding word of the speech signal input before the correction keyword with at least one word of the continuous speech signals input after the correction keyword, when the correction keyword is determined to be a correction keyword do.

상기 음성 인식부는 상기 수정키워드가 수정을 위한 키워드가 아니라고 판단되는 경우, 상기 수정키워드 및 상기 연속한 음성신호는 상기 수정키워드 이전에 입력된 음성신호에 연속하여 인식한다.Wherein the voice recognition unit consecutively recognizes the corrected keyword and the continuous voice signal to the voice signal inputted before the modified keyword when it is determined that the corrected keyword is not a keyword for correction.

본 발명의 실시예들 중 적어도 하나에 의하면, 음성 인식 장치 및 그 방법은 음성 인식이 진행되는 동안 소정의 종료키워드에 의해 음성 인식을 언제라도 중단시키고 새로운 음성인식을 시작할 수 있는 효과가 있다.According to at least one of the embodiments of the present invention, the speech recognition apparatus and method thereof have the effect of stopping speech recognition at any time and starting new speech recognition by a predetermined termination keyword while speech recognition is in progress.

또한, 본 발명은 음성 인식이 진행되는 동안 소정의 수정키워드에 의해 언제라도 음성 인식을 수정할 수 있다. 따라서, 음성 인식을 다시 수행해야 하는 번거로움을 줄이고 사용자가 원하는 음성 인식 결과를 조속하게 얻을 수 있다.In addition, the present invention can correct the voice recognition at any time by a predetermined correction keyword while the voice recognition is proceeding. Therefore, it is possible to reduce the hassle of performing voice recognition again, and obtain the desired voice recognition result quickly.

또한, 음성 인식이 진행되는 동안, 음성 인식에 오류가 있는 경우에 음성 인식이 완료되기 전이라도 사용자가 음성 인식에 오류가 있음을 인식하면 수정키워드에 의해 음성 인식을 수정할 수 있으므로 사용자에게 편의성을 제공할 수 있다.In addition, if the user recognizes that there is an error in the speech recognition even if the speech recognition is not completed in the case where there is an error in the speech recognition while the speech recognition is proceeding, the speech recognition can be corrected by the correction keyword, can do.

음성 인식이 진행되는 동안 음성 인식을 언제라도 중단 및/또는 수정 시킬 수 있으므로 명령을 변경하는데 필요한 사용자의 조작 횟수 및 시간이 감소됨으로써 인식을 위한 사용자의 편의성이 증대될 수 있다.Since the speech recognition can be stopped and / or modified at any time during the speech recognition, the number of times and time of the user's operation required to change the command can be reduced, thereby enhancing the user's convenience for recognition.

도 1은 본 발명의 일 실시예와 관련된 음성 인식 장치의 블럭 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 음성 인식 장치가 이동 단말기인 경우, 이동 단말기의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 음성 인식 장치가 디스플레이기기인 경우, 디스플레이기기의 블록 구성도이다.
도 4는 보류키워드가 종료키워드에 해당하는 경우, 음성 인식 장치의 제어흐름도이다.
도 5 및 도 6은 본 발명에 따른 보류키워드가 종료키워드에 해당하는 경우 각각의 실시예를 도시한 도면이다.
도 7은 보류키워드가 수정키워드에 해당하는 경우, 음성 인식 장치의 제어흐름도이다.
도 8 내지 도 11은 본 발명에 따른 보류키워드가 수정키워드에 해당하는 경우 각각의 실시예를 도시한 도면이다.1 is a block diagram of a speech recognition apparatus according to an embodiment of the present invention.
2 is a block diagram of a mobile terminal when the voice recognition apparatus according to an embodiment of the present invention is a mobile terminal.
3 is a block diagram of a display device when the speech recognition device according to an embodiment of the present invention is a display device.
4 is a control flowchart of the speech recognition apparatus when the pending keyword corresponds to the end keyword.
FIG. 5 and FIG. 6 are views showing respective embodiments when the reserved keyword according to the present invention corresponds to the termination keyword.
7 is a control flowchart of the speech recognition apparatus when the pending keyword corresponds to a correction keyword.
FIGS. 8 to 11 are views showing respective embodiments when the pending keyword according to the present invention corresponds to a correction keyword.

이하 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 서술되는 실시 예에 한정되는 것은 아니다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. However, the following embodiments of the present invention may be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below.

이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffix 'module' and the 'suffix' for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

이하, 도 1을 참조하여 본 발명이 구현될 수 있는 음성인식부를 갖는 음성인식 장치의 구성요소들을 설명한다.Hereinafter, components of a speech recognition apparatus having a speech recognition unit in which the present invention can be implemented will be described with reference to FIG.

본 발명에 따른 음성 인식 장치는 이동 단말기, 텔레비전등의 디스플레이기기, 냉장고, 세탁기, 네비게이션 등 음성 인식 기능을 갖는 전자장치를 포함한다.The speech recognition apparatus according to the present invention includes a mobile terminal, a display device such as a television, an electronic device having a voice recognition function such as a refrigerator, a washing machine, and navigation.

본 발명에 다른 음성 인식 장치는 음성을 수신하기 위한 음성 입력부(35) 및 음성 입력부(35)를 통해 수신된 음성을 인식하고 처리하기 위한 음성 인식부(15)를 포함한다. 그리고, 본 발명에 따른 음성 인식 장치는 음성을 출력하기 위한 음성 출력부(33), 음성 인식부(15)를 포함하여 비디오신호 등 각종 신호를 처리하기 위한 신호 처리부(10) 및 사용자에게 이미지를 표시하기 위한 표시부(50) 중 적어도 하나를 더 포함할 수 있다.The speech recognition apparatus according to the present invention includes a speech input unit 35 for receiving speech and a speech recognition unit 15 for recognizing and processing speech received through the speech input unit 35. [ The speech recognition apparatus according to the present invention includes a speech output unit 33 for outputting speech, a speech recognition unit 15, a signal processing unit 10 for processing various signals such as a video signal, And a display unit 50 for displaying the image.

음성 입력부(35)는 사용자의 음성 등 외부 음향 신호를 입력 받아 전기신호로 변환하며, 마이크를 포함한다. 음성 출력부(33)는 신호 처리부(10)에서 처리된 음성신호를 출력하기 위한 스피커를 포함한다.The sound input unit 35 receives an external sound signal such as a user's voice, converts the sound signal into an electric signal, and includes a microphone. The voice output unit 33 includes a speaker for outputting the voice signal processed by the signal processing unit 10. [

신호 처리부(10)는 음성 인식부(15)를 포함하며, 음성 인식 장치에서 처리 가능한 각종 신호를 처리한다. 예들 들어, 음성 인식 장치의 음성 인식부(15)에서 처리한 음성 신호를 사용자에게 알려주기 위하여 소정의 음성신호 관련 정보가 표시부(50)에 표시되는 경우, 신호 처리부(10)는 해당 음성 신호를 표시부(50)에서 표시 가능한 신호로 변환한다. 또한, 음성 인식부(15)에서 처리한 음성 신호가 음성 출력부(33)를 통해 외부에 출력되는 경우, 신호 처리부(10)는 음성 출력부(33)에서 출력 가능한 신호로 변환한다.The signal processing unit 10 includes a voice recognition unit 15 and processes various signals that can be processed by the voice recognition apparatus. For example, when predetermined voice signal related information is displayed on the display unit 50 in order to notify the user of the voice signal processed by the voice recognition unit 15 of the voice recognition apparatus, the signal processing unit 10 transmits the voice signal And converts it into a signal that can be displayed on the display unit 50. When the voice signal processed by the voice recognition unit 15 is output to the outside via the voice output unit 33, the signal processing unit 10 converts the voice signal output from the voice output unit 33 into a signal outputable by the voice output unit 33.

음성 인식부(15)는 자연어 처리기술에 의하여 음성을 인식하게 된다. 음성 인식부(15)는 사용자의 음성을 수신받는 단계와 수신된 음성, 즉 자연어를 처리하기 위한 자연어 처리 단계를 거쳐서 음성을 인식하게 된다.The voice recognition unit 15 recognizes the voice by the natural language processing technique. The voice recognition unit 15 recognizes the voice through the step of receiving the user's voice and the natural language processing step for processing the received voice, that is, the natural language.

구체적으로, 음성 인식부(15)는 마이크를 통해 사용자가 발성한 음성을 입력하고, 입력된 음성의 시작과 종료시점을 검출하여, 입력된 음성 음성 구간에서 특징 데이터를 추출한 후, 실시간으로 벡터 양자화할 수 있다. 이후, 특징 데이터를 이용하여 미도시된 메모리에 등록된 음성 데이터에 대하여 유사도가 가장 유사한 음성 데이터를 검색하여 선택한다. 그 후, 신호 처리부(10) 내의 미도시된 제어부는 선택된 음성 데이터에 대응하는 음성명령에 따른 기능을 수행하도록 음성 명령 장치의 각 구성요소를 제어할 수 있다. 예를 들어, 음성 명령을 통해 인터넷, 채널 등의 각종 검색기능, 음성 인식 기능을 갖는 음성인식 장치, 즉 각종 전자기기를 제어하는 것은 물론이고, 메모 등의 기록 등을 수행할 수 있다. 음성 인식부(15)의 기능에 대한 자세한 설명은 후술한다.Specifically, the voice recognition unit 15 inputs the voice uttered by the user through the microphone, detects the start and end points of the input voice, extracts the feature data from the inputted voice voice interval, and then performs vector quantization can do. Then, voice data most similar to the voice data registered in the memory, which is not shown, is searched and selected using the feature data. Then, the control unit (not shown) in the signal processing unit 10 can control each component of the voice command apparatus to perform a function according to the voice command corresponding to the selected voice data. For example, it is possible to perform various search functions such as the Internet, channels, and the like, voice recognition devices having voice recognition functions, that is, not only to control various electronic devices, but also to record memos and the like through voice commands. The function of the voice recognition unit 15 will be described later in detail.

이하, 도 2를 참조하여 본 발명에 따른 음성 인식 장치가 이동 단말기 안에 포함되는 경우, 이동 단말기의 구성요소들을 설명한다. 본 발명이 구현될 수 있는 이동 단말기는 도 2에 도시된 구성요소 중 적어도 하나를 포함하되, 필요에 따라 도 2에 도시된 구성요소보다 더 많은 구성요소를 포함할 수도 있고, 더 적은 구성요소를 포함할 수도 있다.Hereinafter, components of the mobile terminal will be described with reference to FIG. 2 when the voice recognition apparatus according to the present invention is included in the mobile terminal. A mobile terminal in which the present invention can be implemented includes at least one of the components shown in Figure 2, but may include more components than the components shown in Figure 2 as needed, and fewer components .

도 2는 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.2 is a block diagram of a mobile terminal according to an embodiment of the present invention.

이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 신호 처리부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.The mobile terminal 100 includes a wireless communication unit 110, an audio / video input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, a memory 160, A signal processing unit 180, a power supply unit 190, and the like. The components shown in FIG. 2 are not essential, and a mobile terminal having more or fewer components may be implemented.

이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.The wireless communication unit 110 may include one or more modules for enabling wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and the network in which the mobile terminal 100 is located. For example, the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short range communication module 114, and a location information module 115 .

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.The broadcast receiving module 111 receives broadcast signals and / or broadcast-related information from an external broadcast management server through a broadcast channel.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.The broadcast channel may include a satellite channel and a terrestrial channel. The broadcast management server may refer to a server for generating and transmitting broadcast signals and / or broadcast related information, or a server for receiving broadcast signals and / or broadcast related information generated by the broadcast management server and transmitting the generated broadcast signals and / or broadcast related information. The broadcast signal may include a TV broadcast signal, a radio broadcast signal, a data broadcast signal, and a broadcast signal in which a data broadcast signal is combined with a TV broadcast signal or a radio broadcast signal.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.The broadcast-related information may refer to a broadcast channel, a broadcast program, or information related to a broadcast service provider. The broadcast-related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.The broadcast-related information may exist in various forms. For example, an EPG (Electronic Program Guide) of DMB (Digital Multimedia Broadcasting) or an ESG (Electronic Service Guide) of Digital Video Broadcast-Handheld (DVB-H).

상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.For example, the broadcast receiving module 111 may be a Digital Multimedia Broadcasting-Terrestrial (DMB-T), a Digital Multimedia Broadcasting-Satellite (DMB-S), a Media Forward Link Only And a Digital Broadcasting System (ISDB-T) (Integrated Services Digital Broadcast-Terrestrial). Of course, the broadcast receiving module 111 may be adapted to other broadcasting systems as well as the digital broadcasting system described above.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication module 112 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data depending on a voice call signal, a video call signal or a text / multimedia message transmission / reception.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.The wireless Internet module 113 is a module for wireless Internet access, and may be built in or externally attached to the mobile terminal 100. WLAN (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) and the like can be used as wireless Internet technologies.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.The short-range communication module 114 refers to a module for short-range communication. Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, and the like can be used as a short range communication technology.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.The position information module 115 is a module for obtaining the position of the mobile terminal, and a representative example thereof is a Global Position System (GPS) module.

도 2를 참조하면, A/V(Audio/Video) 입력모듈(120)은 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이모듈(151)에 표시될 수 있다.2, the A / V (Audio / Video) input module 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video communication mode or the photographing mode. The processed image frame can be displayed on the display module 151. [

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 121 may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110. [ Two or more cameras 121 may be provided depending on the use environment.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The microphone 122 receives an external sound signal through a microphone in a communication mode, a recording mode, a voice recognition mode, or the like, and processes it as electrical voice data. The processed voice data can be converted into a form that can be transmitted to the mobile communication base station through the mobile communication module 112 when the voice data is in the call mode, and output. Various noise reduction algorithms may be implemented in the microphone 122 to remove noise generated in receiving an external sound signal.

사용자 입력모듈(130)은 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력모듈(130)은 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.The user input module 130 generates input data for a user to control operation of the terminal. The user input module 130 may include a key pad dome switch, a touch pad (static / static), a jog wheel, a jog switch, and the like.

센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스모듈(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.The sensing unit 140 senses the current state of the mobile terminal 100 such as the open / close state of the mobile terminal 100, the position of the mobile terminal 100, the presence or absence of user contact, the orientation of the mobile terminal, And generates a sensing signal for controlling the operation of the mobile terminal 100. For example, when the mobile terminal 100 is in the form of a slide phone, it is possible to sense whether the slide phone is opened or closed. It is also possible to sense whether the power supply unit 190 is powered on, whether the interface module 170 is connected to an external device, and the like. Meanwhile, the sensing unit 140 may include a proximity sensor 141.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이모듈(151), 음향 출력 모듈(152), 알람모듈(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다. 여기서, 음향 출력 모듈(152)은 도 1의 음성 출력부(33)에 대응하는 구성이며, 디스플레이모듈(151)은 표시부(50)에 대응하는 구성이다. 또한, 출력부(150)는 도 1의 음성 입력부(35)에 대응하는 미도시된 음성 입력모듈을 더 포함할 수 있다.The output unit 150 is for generating an output related to visual, auditory or tactile sense and includes a display module 151, an acoustic output module 152, an alarm module 153, a haptic module 154, 155, and the like. Here, the sound output module 152 corresponds to the sound output unit 33 of FIG. 1, and the display module 151 corresponds to the display unit 50. The output unit 150 may further include a voice input module (not shown) corresponding to the voice input unit 35 of FIG.

디스플레이모듈(151)은 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.The display module 151 displays (outputs) information processed by the mobile terminal 100. For example, when the mobile terminal is in the call mode, a UI (User Interface) or a GUI (Graphic User Interface) associated with a call is displayed. When the mobile terminal 100 is in the video communication mode or the photographing mode, the photographed and / or received video or UI and GUI are displayed.

디스플레이모듈(151)은 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.The display module 151 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display display, and a 3D display.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이모듈(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이모듈(151)이 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.Some of these displays may be transparent or light transmissive so that they can be seen through. This can be referred to as a transparent display, and a typical example of the transparent display is TOLED (Transparent OLED) and the like. The rear structure of the display module 151 may also be of a light transmission type. With this structure, the user can see an object located behind the terminal body through the area occupied by the display module 151 of the terminal body.

이동 단말기(100)의 구현 형태에 따라 디스플레이모듈(151)이 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.There may be two or more display modules 151 according to the embodiment of the mobile terminal 100. For example, in the mobile terminal 100, a plurality of display portions may be spaced apart from one another, or may be disposed integrally with one another, and may be disposed on different surfaces, respectively.

디스플레이모듈(151)과 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이모듈(151)은 출력 장치 이외에 입력 장치로도 사용될 수 있다. 즉, 디스플레이모듈(151)은 사용자 입력모듈(130)으로 사용될 수도 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.(Hereinafter, referred to as a 'touch screen') in which the display module 151 and the sensor for sensing the touch operation (hereinafter, referred to as 'touch sensor') have a mutual layer structure, It can also be used as an input device. That is, the display module 151 may be used as the user input module 130. The touch sensor may have the form of, for example, a touch film, a touch sheet, a touch pad, or the like.

터치 센서는 디스플레이모듈(151)의 특정 부위에 가해진 압력 또는 디스플레이모듈(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.The touch sensor may be configured to convert a change in a pressure applied to a specific portion of the display module 151 or a capacitance generated in a specific portion of the display module 151 into an electrical input signal. The touch sensor can be configured to detect not only the position and area to be touched but also the pressure at the time of touch.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 신호 처리부(180)로 전송한다. 이로써, 신호 처리부(180)는 디스플레이모듈(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다.　 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.If there is a touch input to the touch sensor, the corresponding signal (s) is sent to the touch controller. The touch controller processes the signal (s) and then transmits the corresponding data to the signal processing unit 180. Thus, the signal processor 180 can know which area of the display module 151 is touched or the like. The proximity sensor 141 may be disposed within an interior region of the mobile terminal or proximate to the touch screen that is enclosed by the touch screen. The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or a nearby object without mechanical contact using the force of an electromagnetic field or infrared rays. The proximity sensor has a longer life span than the contact sensor and its utilization is also high.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치　스크린(터치 센서)은 근접 센서로 분류될 수도 있다.Examples of the proximity sensor include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. And to detect the proximity of the pointer by the change of the electric field along the proximity of the pointer when the touch screen is electrostatic. In this case, the touch screen (touch sensor) may be classified as a proximity sensor.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.Hereinafter, for convenience of explanation, the act of recognizing that the pointer is positioned on the touch screen while the pointer is not in contact with the touch screen is referred to as "proximity touch & The act of actually touching the pointer on the screen is called "contact touch. &Quot; The position where the pointer is proximately touched on the touch screen means a position where the pointer is vertically corresponding to the touch screen when the pointer is touched.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접　 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.The proximity sensor detects a proximity touch and a proximity touch pattern (e.g., a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, a proximity touch movement state, and the like). Information corresponding to the detected proximity touch operation and the proximity touch pattern may be output on the touch screen.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output module 152 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, The sound output module 152 also outputs sound signals related to functions (e.g., call signal reception sound, message reception sound, etc.) performed in the mobile terminal 100. [ The audio output module 152 may include a receiver, a speaker, a buzzer, and the like.

알람모듈(153)은 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(100)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람모듈(153)은 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이모듈(151)이나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람모듈(153)의 일부로 분류될 수도 있다.The alarm module 153 outputs a signal for notifying the occurrence of an event of the mobile terminal 100. Examples of events generated in the mobile terminal 100 include call signal reception, message reception, key signal input, touch input, and the like. The alarm module 153 may output a signal for informing occurrence of an event in a form other than a video signal or an audio signal, for example, vibration. The video signal or the audio signal may be output through the display module 151 or the audio output module 152 so that they may be classified as a part of the alarm module 153.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다.　 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는　진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.The haptic module 154 generates various tactile effects that the user can feel. A typical example of the haptic effect generated by the haptic module 154 is vibration. The intensity and pattern of the vibration generated by the hit module 154 can be controlled. For example, different vibrations may be synthesized and output or sequentially output.

햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.In addition to the vibration, the haptic module 154 may include a pin arrangement vertically moving with respect to the contact skin surface, a spraying force or suction force of the air through the injection port or the suction port, a touch on the skin surface, contact with an electrode, And various tactile effects such as an effect of reproducing a cold sensation using an endothermic or exothermic element can be generated.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.The haptic module 154 can be implemented not only to transmit the tactile effect through the direct contact but also to allow the user to feel the tactile effect through the muscular sensation of the finger or arm. The haptic module 154 may include two or more haptic modules 154 according to the configuration of the portable terminal 100.

프로젝터 모듈(155)은, 이동 단말기(100)를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 신호 처리부(180)의 제어 신호에 따라 디스플레이모듈(151) 상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.The projector module 155 is a component for performing an image project function using the mobile terminal 100 and includes an image displayed on the display module 151 in accordance with a control signal of the signal processing unit 180, Images that are the same or at least partially different can be displayed on an external screen or on a wall.

메모리부(160)는 신호 처리부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory unit 160 may store a program for processing and controlling the signal processing unit 180 and may temporarily store the input / output data (e.g., telephone directory, message, audio, And may perform functions for storage. The memory unit 160 may also store the frequency of use of each of the data (for example, each telephone number, each message, and frequency of use for each multimedia). In addition, the memory unit 160 may store data on vibration and sound of various patterns output when the touch is input on the touch screen.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), a RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM A disk, and / or an optical disk. The mobile terminal 100 may operate in association with a web storage that performs a storage function of the memory 160 on the Internet.

또한, 메모리(160)에는 음성 인식에 사용되기 위한 보류 키워드 값이 저장될 수 있다.In addition, the memory 160 may store a pending keyword value for use in speech recognition.

인터페이스모듈(170)은 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스모듈(170)은 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스모듈(170)에 포함될 수 있다.The interface module 170 serves as a path for communication with all external devices connected to the mobile terminal 100. The interface module 170 receives data from an external device or supplies power to each component in the mobile terminal 100 or transmits data in the mobile terminal 100 to an external device. For example, a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device having an identification module, an audio I / O port, A video input / output (I / O) port, an earphone port, and the like may be included in the interface module 170.

식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.The identification module is a chip for storing various information for authenticating the use right of the mobile terminal 100 and includes a user identification module (UIM), a subscriber identity module (SIM), a general user authentication module A Universal Subscriber Identity Module (USIM), and the like. Devices with identification modules (hereinafter referred to as "identification devices") can be manufactured in a smart card format. Accordingly, the identification device can be connected to the terminal 100 through the port.

인터페이스모듈(170)은 이동 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 이동 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.The interface module 170 may be a path through which power from the cradle is supplied to the mobile terminal 100 when the mobile terminal 100 is connected to an external cradle, May be a path through which the mobile terminal 100 is transmitted. Various command signals input from the cradle or the power source may be operated as a signal for recognizing that the mobile terminal 100 is correctly mounted on the cradle.

신호 처리부(180)는 이동 단말기(100)의 각 구성요소를 제어하기 위한 제어모듈을 포함한다. 따라서, 신호 처리부(180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 신호 처리부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 또한, 사용자가 그래픽 사용자 인터페이스를 설정함에 따라 디스플레이모듈(151)의 대기화면 상에 나타나는 그래픽 도구 또는 대기화면상에 디스플레이될 수 있는 그래픽 효과를 제어하는 그래픽 모듈(182)을 구비할 수도 있다. 또한, 그래픽 사용자 인터페이스간에 상호작용에 따라 다른 그래픽 사용자 인터페이스가 연동되거나 상태 변경되도록 제어하는 그래픽 사용자 인터페이스 모듈(183)을 구비할 수도 있다.The signal processing unit 180 includes a control module for controlling each component of the mobile terminal 100. Accordingly, the signal processing unit 180 typically controls the overall operation of the mobile terminal. For example, voice communication, data communication, video communication, and the like. The signal processing unit 180 may include a multimedia module 181 for multimedia playback. In addition, the user may have a graphic module 182 for controlling a graphic tool displayed on the idle screen of the display module 151 or a graphic effect that can be displayed on the idle screen as the user sets the graphic user interface. In addition, a graphical user interface module 183 may be provided for controlling other graphical user interfaces to be interlocked or changed in accordance with the interaction between the graphic user interfaces.

여기서, 멀티미디어 모듈(181), 그래픽 모듈(182) 및 그래픽 사용자 인터페이스 모듈(183)은 신호 처리부(180) 내에 구현될 수도 있고, 신호 처리부(180)와 별도로 구현될 수도 있다.The multimedia module 181, the graphic module 182 and the graphic user interface module 183 may be implemented in the signal processing unit 180 or separately from the signal processing unit 180.

신호 처리부(180)는 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.The signal processing unit 180 can perform pattern recognition processing that can recognize the handwriting input or drawing input performed on the touch screen as characters and images, respectively.

신호 처리부(180)는 음성 인식부(185)를 포함할 수 있다. 여기서, 도 2의 음성 인식부(185)는 도 1에 도시된 음성 인식부(15)에 대응하는 구성요소로서 음성 입력부(185)을 통해 사용자의 음성이 입력되면, 이를 인식하고 처리할 수 있다.The signal processing unit 180 may include a voice recognition unit 185. Here, the voice recognition unit 185 of FIG. 2 recognizes and processes the voice of the user through the voice input unit 185 as a component corresponding to the voice recognition unit 15 shown in FIG. 1 .

전원 공급부(190)는 신호 처리부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 190 receives external power and internal power under the control of the signal processing unit 180 and supplies power required for operation of the respective components.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.The various embodiments described herein may be embodied in a recording medium readable by a computer or similar device using, for example, software, hardware, or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 신호 처리부(180) 자체로 구현될 수 있다.According to a hardware implementation, the embodiments described herein may be implemented as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays May be implemented using at least one of a processor, controllers, micro-controllers, microprocessors, and other electronic units for performing other functions. In some cases, The embodiments described may be implemented by the signal processing unit 180 itself.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.　 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 신호 처리부(180)에 의해 실행될 수 있다.According to a software implementation, embodiments such as the procedures and functions described herein may be implemented with separate software modules. Each of the software modules may perform one or more of the functions and operations described herein. Software code can be implemented in a software application written in a suitable programming language. The software code is stored in the memory 160 and can be executed by the signal processing unit 180. [

다음으로, 본 발명에 따른 이동 단말기(100)의 신호 처리부(180)는 디스플레이모듈(151)을 통해 입력된 터치 입력이 외부 디스플레이기기(200)에 출력 되도록 터치 입력에 대응하는 터치 표시 명령을 인터페이스모듈(170)을 통해 출력할 수 있다. 또한, 신호 처리부(180)는 외부 디스플레이기기(200)가 연결된 경우, 외부스피커출력모드가 선택되면, 외부 디스플레이기기(200)를 통해 오디오신호가 출력되도록 오디오신호를 이동 단말기(200)의 인터페이스모듈(170)을 통해 외부 디스플레이기기(200)로 출력하도록 인터페이스모듈(170)을 제어할 수 있다.The signal processing unit 180 of the mobile terminal 100 according to the present invention transmits a touch display command corresponding to the touch input to the external display device 200 so that the touch input input through the display module 151 is output to the external display device 200. [ Module 170. In this way, When the external display device 200 is connected and the external speaker output mode is selected, the signal processor 180 outputs an audio signal to the interface module 200 of the mobile terminal 200 so that an audio signal is output through the external display device 200. [ The interface module 170 can be controlled to output the image data to the external display device 200 through the interface 170.

도 3은 본 발명에 따르는 음성 인식 장치가 디스플레이기기(200)에 해당하는 경우, 디스플레이기기(200)의 블록 구성도(block diagram)이다.FIG. 3 is a block diagram of the display device 200 when the speech recognition device according to the present invention corresponds to the display device 200. FIG.

도 3을 참조하면, 본 발명의 실시예에 의한 디스플레이기기(200)는 영상/음성 처리부(201), 디스플레이부(270) 및 음성 입력부(293) 및 음성 출력부(291) 중 적어도 하나를 포함할 수 있다.3, the display device 200 according to the embodiment of the present invention includes at least one of a video / audio processing unit 201, a display unit 270, a voice input unit 293, and a voice output unit 291 can do.

인터페이스부(250), 저장부(260), 디스플레이부(270), 음성입출력부(290) 및 제어부(280)를 포함할 수 있다.An interface unit 250, a storage unit 260, a display unit 270, a voice input / output unit 290, and a control unit 280.

영상/음성 처리부(201)는 디스플레이기기(200)의 디스플레이부(270) 및 음성출력부(291)로, 영상 또는 음성이 출력될 수 있도록 입력된 영상 신호 또는 음성 신호를 처리한다. 이를 위하여 영상/음성 처리부(201)는 신호입력부(210), 복조부(220), 신호처리부(230)를 포함할 수 있다. 또한, 신호입력부(210)는 튜너부(211), A/V 입력부(212), USB 입력부(213), 무선신호 입력부(214) 중 적어도 하나를 포함할 수 있다.The video / audio processing unit 201 processes the input video signal or audio signal to output the video or audio to the display unit 270 and the audio output unit 291 of the display device 200. To this end, the video / audio processing unit 201 may include a signal input unit 210, a demodulation unit 220, and a signal processing unit 230. The signal input unit 210 may include at least one of a tuner unit 211, an A / V input unit 212, a USB input unit 213, and a wireless signal input unit 214.

튜너부(211)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음향 신호로 변환한다. 튜너부(211)에서 출력되는 아날로그 베이스 밴드 영상 또는 음향 신호(CVBS SIF)는 신호처리부(230)로 직접 입력될 수 있다.The tuner unit 211 selects an RF broadcast signal corresponding to a channel selected by a user from among RF (Radio Frequency) broadcast signals received through an antenna, converts the selected RF broadcast signal into an intermediate frequency signal, a baseband image, or an acoustic signal Conversion. The analog base band image or the sound signal CVBS SIF output from the tuner unit 211 may be directly input to the signal processing unit 230. [

복조부(220)는 튜너부(211)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 복조부(220)는 복조를 수행한 후 스트림 신호(TS)를 출력한다. 그리고, 복조부(220)에서 출력된 스트림 신호는 신호 처리부(230)로 입력될 수 있다.The demodulation unit 220 receives the digital IF signal DIF converted by the tuner unit 211 and performs a demodulation operation. The demodulator 220 performs demodulation and outputs a stream signal TS. The stream signal output from the demodulation unit 220 may be input to the signal processing unit 230.

신호 처리부(230)는 역다중화 및 신호 처리 등을 수행한 후, 디스플레이부(270)에 영상을 출력하고, 음성 출력부(291)로 음성을 출력한다. 음성 출력부(29)는 스피커 등 음성을 출력할 수 있는 구성을 포함할 수 있다. 또한, 신호 처리부(230)는 마이크 등 음성 입력부(293)를 통해 입력된 음성 신호를 처리할 수 있다.The signal processing unit 230 performs demultiplexing, signal processing, and the like, and then outputs an image to the display unit 270 and outputs a voice to the voice output unit 291. The audio output unit 29 may include a configuration capable of outputting audio such as a speaker. In addition, the signal processing unit 230 can process a voice signal input through a voice input unit 293 such as a microphone.

또한, 신호입력부(210)는 외부 장치와 디스플레이기기(200)를 연결할 수 있다. 신호입력부(210)는 DVD(Digital Versatile Disk), 블루레이(Blu-ray), 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 연결되어 외부 입력 영상 신호, 외부 입력 음성 신호, 및 외부 입력 데이터 신호를 디스플레이기기(200) 내의 신호처리부(230)로 전달한다. 또한, 디스플레이기기(200) 내에서 처리된 영상 신호, 음성 신호, 및 데이터 신호를 다른 외부 장치로 출력할 수 있다.Also, the signal input unit 210 can connect an external device and the display device 200. [ The signal input unit 210 is connected to an external device such as a DVD (Digital Versatile Disk), a Blu-ray, a game device, a camcorder, And transmits the data signal to the signal processing unit 230 in the display device 200. In addition, the video signal, audio signal, and data signal processed in the display device 200 can be output to another external device.

신호입력부(210)의 A/V 입력부(212)는, 외부 장치의 영상 및 음성 신호를 디스플레이기기(200)로 입력할 수 있도록, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다. CVBS 단자, 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 디지털 신호로 변환되어 신호 처리부(230)로 입력될 수 있다. 그 외의 다른 입력단자를 통해 입력되는 디지털 신호는 아날로그/디지털 변환 과정 없이 신호 처리부(230)로 입력될 수 있다.The A / V input unit 212 of the signal input unit 210 includes a CVBS (Composite Video Banking Sync) terminal, a component terminal, and an S-video terminal (not shown) so that the video and audio signals of the external apparatus can be input to the display device 200. [ (DVI) terminal, an HDMI (High Definition Multimedia Interface) terminal, an RGB terminal, a D-SUB terminal, an IEEE 1394 terminal, a SPDIF terminal, and a Liquid HD terminal. The CVBS terminal, and the S-video terminal may be converted into a digital signal and input to the signal processing unit 230. [ The digital signal input through the other input terminal may be input to the signal processing unit 230 without the analog / digital conversion process.

USB 입력부(213)는, USB 단자를 통해 영상 및 음성 신호를 입력할 수 있다.The USB input unit 213 can input video and audio signals through the USB terminal.

무선신호 입력부(214)는, 디스플레이기기(200)를 무선 네트워크망에 연결할 수 있다. 디스플레이기기(200)는 무선신호 입력부(214)를 통해 무선 인터넷 접속될 수 있다. 그리고, 무선신호 입력부(214)는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다.The wireless signal input unit 214 may connect the display device 200 to a wireless network. The display device 200 may be connected to the wireless Internet through the wireless signal input unit 214. [ The wireless signal input unit 214 can perform short-range wireless communication with other electronic devices.

또한, 신호입력부(210)는 디스플레이기기(200)와 셋탑 박스를 연결할 수 있다. 예를 들어, 셋탑 박스가 IP(internet Protocol) TV용 셋탑 박스인 경우, 양방향 통신이 가능하도록, IP TV용 셋탑 박스의 영상, 음성 또는 데이터 신호를 신호 처리부로 전달할 수 있으며, 신호처리부(230)에서 처리된 신호들을 IP TV용 셋탑 박스로 전달할 수 있다. 한편, 전술한 IPTV는, 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 포함하는 의미일 수도 있다.Also, the signal input unit 210 can connect the display device 200 and the set-top box. For example, if the set-top box is a set-top box for an IP (Internet Protocol) TV, the video, audio or data signals of the IP TV set-top box can be transmitted to the signal processor, To the IP TV set-top box. Meanwhile, the above-mentioned IPTV may mean an Internet TV capable of accessing the Internet, and a full browsing TV.

신호처리부(230)는 수신되는 스트림 신호, 예를 들어 MPEG-2 TS를 역다중화하여, 각각 영상 신호, 음향 신호 및 데이터 신호로 분리할 수 있다. 또한, 신호처리부(230)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 예를 들어, 역다중화된 영상 신호가 부호화된 영상 신호인 경우, 이를 복호화할 수 있다. 구체적으로, 역다중화된 영상 신호가 MPEG-2 규격의 부호화된 영상 신호인 경우, MPEG-2 디코더에 의해 복호화될 수 있다.The signal processing unit 230 demultiplexes the received stream signal, for example, an MPEG-2 TS, into a video signal, an audio signal, and a data signal, respectively. Also, the signal processing unit 230 can perform image processing of the demultiplexed video signal. For example, if the demultiplexed video signal is a coded video signal, it can be decoded. Specifically, when the demultiplexed video signal is an MPEG-2 standard-coded video signal, it can be decoded by an MPEG-2 decoder.

신호처리부(230)에서 영상 처리된 영상신호는 디스플레이부(270)를 통해 디스플레이 된다. 또한, 신호처리부(230)는 역다중화된 음성 신호의 음성 처리를 수행할 수 있다.The video signal processed by the signal processing unit 230 is displayed through the display unit 270. In addition, the signal processing unit 230 can perform the voice processing of the demultiplexed voice signal.

또한, 신호처리부(230)는 OSD(On Screen Display) 처리를 수행할 수 있다. 구체적으로 신호 처리부(230)는, 영상 처리된 영상 신호와, 데이터 처리된 데이터 신호 중 적어도 하나 및 이동 단말기(100)를 통하여 입력되는 입력 신호에 기초하여, 디스플레이부(270)의 화면상에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 출력할 수 있다.In addition, the signal processing unit 230 may perform an OSD (On Screen Display) process. Specifically, the signal processing unit 230 displays various types of data on the screen of the display unit 270 based on at least one of the image-processed video signal and the data-processed data signal and the input signal input through the mobile terminal 100 Information can be output as graphic or text.

한편, 신호처리부(230)는 디스플레이기기(200)의 각 구성요소를 제어하기 위한 제어모듈 및 음성을 인식하기 위한 음성 인식부(235)를 포함할 수 있다. 여기서, 도 3의 음성 인식부(235)는 도 1에 도시된 음성 인식부(15)에 대응하는 구성요소로서 음성 입력부(235)을 통해 사용자의 음성이 입력되면, 이를 인식하고 처리할 수 있다.The signal processing unit 230 may include a control module for controlling each component of the display device 200 and a voice recognition unit 235 for recognizing the voice. Here, the voice recognition unit 235 of FIG. 3 recognizes and processes the voice of the user through the voice input unit 235 as a component corresponding to the voice recognition unit 15 shown in FIG. 1 .

저장부(260)는, 신호처리부(280) 내의 각 신호 처리 및 제어를 위한 애플리케이션이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 또는 데이터 신호를 저장할 수도 있다. 또한, 저장부(260)는 신호입력부(210)로 입력되는 영상, 음성 또는 데이터신호의 임시 저장을 위한 기능을 수행할 수도 있다.The storage unit 260 may store an application for each signal processing and control in the signal processing unit 280 or may store a video signal, a voice signal, or a data signal that has undergone signal processing. In addition, the storage unit 260 may perform a function for temporarily storing video, audio, or data signals input to the signal input unit 210.

저장부(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 디스플레이기기(200)는, 저장부(260) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수 있으며, 저장부(260) 내에 저장되어 있는 애플리케이션을 실행하여 사용자에게 제공할 수 있다.The storage unit 260 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) RAM, ROM (EEPROM, etc.), and the like. The display device 200 can reproduce files (moving picture files, still picture files, music files, document files, etc.) stored in the storage unit 260 and provide them to the user and stored in the storage unit 260 The application can be executed and presented to the user.

또한, 저장부(260)에는 음성 인식에 사용되기 위한 보류 키워드 값이 저장될 수 있다.In addition, the storage unit 260 may store a pending keyword value for use in speech recognition.

본 발명에 따른 음성 인식 장치는 음성 입력부(35)를 통해 음성 인식 명령을 수신하고, 음성 인식부(15)가 수신된 음성 인식 명령에 기초하여 음성 인식을 수행한다. 특히, 음성 인식부(15)는 음성 인식이 시작된 후, 음성 인식을 수행하는 동안 소정의 음성이 음성 입력부(35)를 통해 입력되는지 여부를 판단할 수 있다. 특히, 음성 인식부(15)는 음성 인식을 보류시키기 위한 보류키워드가 입력된다고 판단되는 경우, 음성 인식을 보류할 수 있다. 한편, 음성 인식부(15)는 보류키워드가 입력되지 않는 경우, 음성 인식을 완료하고, 신호처리부(10)는 음성 인식 결과에 기초하여, 동작을 수행한다. 여기서, 보류 키워드는 음성 인식을 일시 중단 또는 영구 중단시키기 위한 종료키워드와 수신된 음성신호를 수정하기 위한 수정 키워드 중 적어도 하나를 포함할 수 있다.The speech recognition apparatus according to the present invention receives a speech recognition command through the speech input unit 35, and the speech recognition unit 15 performs speech recognition based on the received speech recognition command. In particular, the voice recognition unit 15 may determine whether a predetermined voice is input through the voice input unit 35 during voice recognition after voice recognition is started. In particular, when the voice recognition unit 15 determines that the pending keyword for pending voice recognition is input, the voice recognition unit 15 can suspend the voice recognition. On the other hand, when the pending keyword is not input, the voice recognition unit 15 completes the voice recognition, and the signal processing unit 10 performs the operation based on the voice recognition result. Here, the pending keyword may include at least one of an end keyword for suspending or permanently stopping speech recognition and a correction keyword for correcting the received speech signal.

도 4는 보류키워드가 종료키워드에 해당하는 경우, 음성 인식 장치의 제어흐름도이다.4 is a control flowchart of the speech recognition apparatus when the pending keyword corresponds to the end keyword.

본 발명에 따른 음성 인식부(15)는 음성 인식 모드인지 여부를 판단할 수 있다(S410). 본 발명의 일 실시예에 따르는 경우, 음성 입력부(35)를 통하여 음성 인식 모드로 진입하라는 특정 음성 인식 명령 키워드가 입력되는 경우, 음성 인식부(15)는 음성 인식 모드라고 판단할 수 있다. 이때, 특정 음성 인식 명령 키워드는 "음성 인식 시작", "시작"과 같은 음성키워드, 음성 인식 장치에 해당하는 전자기기가 TV인 경우 "TV, 냉장고인경우 "냉장고" 등과 같은 음성 키워드 중 적어도 하나를 포함할 수 있다. 한편, 본 발명의 다른 실시예에 따르는 경우, 음성 인식 장치의 특정 키버튼을 선택하거나 어플이 실행되는 경우, 음성 인식부(15)는 음성 인식 모드가 선택되었다고 판단할 수 있다. 이때, 특헝 키버튼의 입력 또는 어플 시작 명령이 음성 인식 명령에 대응한다고 볼 수 있다.The voice recognition unit 15 according to the present invention can determine whether it is in the voice recognition mode (S410). According to an embodiment of the present invention, when a specific speech recognition command keyword to enter the speech recognition mode through the speech input unit 35 is inputted, the speech recognition unit 15 can determine that the speech recognition mode is selected. At this time, the specific speech recognition command keywords include at least one of speech keywords such as " start speech recognition ", "start ", a case where the electronic device corresponding to the speech recognition apparatus is a TV, The speech recognition unit 15 may determine that the speech recognition mode has been selected. In this case, the speech recognition unit 15 may select the speech recognition mode At this time, it can be seen that the input of the special key button or the application start command corresponds to the voice recognition command.

음성 인식 모드에 진입한 경우, 음성 인식부(15)는 음성 입력부(35)를 통해 소정 음성이 입력되는지 여부를 판단할 수 있다. 그리고, 소정 음성이 입력되는 경우, 음성 인식부(15)는 소정 음성을 인식하기 위한 음성 인식 동작을 시작하게 된다 (S430). 여기서, 음성 인식 동작을 시작한 후, 특정 보류키워드가 입력되지 않는 경우, 음성인식을 수행 및 완료(S470)하게 된다. 한편, 음성 인식 동작을 시작한 후 특정 종료키워드가 입력되는 경우(S450), 음성 인식부(15)는 음성 인식을 종료한다(S490). 그리고, 음성 인식부(15)는 새로운 음성이 음성 입력부(35)를 통해서 입력되는지 여부를 판단하는 대기상태로 돌아갈 수 있다. 이때, 소정 시간 동안 새로운 음성이 입력되지 않거나 음성 인식 모드 종료 신호가 입력되면 음성 인식부(15)는 음성 인식 모드를 종료할 수 있다. 그러나, 대기상태에서 소정 음성이 입력되는 경우, 음성 인식부(15)는 다시 음성 인식을 시작할 수 있다(S430).When the user enters the voice recognition mode, the voice recognition unit 15 can determine whether a predetermined voice is input through the voice input unit 35. When a predetermined voice is input, the voice recognition unit 15 starts a voice recognition operation for recognizing the predetermined voice (S430). Here, if the specific pending keyword is not inputted after starting the speech recognition operation, speech recognition is performed and completed (S470). On the other hand, if a specific end keyword is input after starting the speech recognition operation (S450), the speech recognition unit 15 terminates the speech recognition (S490). The voice recognition unit 15 can return to a standby state for determining whether a new voice is input through the voice input unit 35. [ At this time, if a new voice is not input for a predetermined time or a voice recognition mode end signal is input, the voice recognition unit 15 can end the voice recognition mode. However, if a predetermined voice is input in the standby state, the voice recognition unit 15 can start voice recognition again (S430).

도 5 및 도 6은 본 발명에 따른 보류키워드가 종료키워드에 해당하는 경우 각각의 실시예를 도시한 도면이다.FIG. 5 and FIG. 6 are views showing respective embodiments when the reserved keyword according to the present invention corresponds to the termination keyword.

도 5를 보면, 본 발명에 따른 음성 인식 장치가 음성 인식 모드에 진입한 경우, 음성 인식 장치의 표시부(50)에 "무엇을 도와드릴까요" 같은 음성 인식 대기상태임을 알리는 상태키워드를 표시할 수 있다. 이 때, 사용자가 소정의 음성 명령을 내리는 경우, 음성 인식부(15)는 해당 음성 명령을 인식할 수 있다. 이때, 음성의 인식이 시작되고 음성 인식이 완료 되기 전에 표시부(50)에 인식중임을 알리는 소정의 알림 메시지가 표시될 수 있다.5, when a speech recognition apparatus according to the present invention enters a speech recognition mode, a status keyword indicating a speech recognition wait state such as "what can I do?" Can be displayed on the display unit 50 of the speech recognition apparatus have. At this time, when the user issues a predetermined voice command, the voice recognition section 15 can recognize the voice command. At this time, before the voice recognition is started and the voice recognition is completed, a predetermined notification message indicating that recognition is being performed can be displayed on the display unit 50. [

즉, 사용자는 음성 인식 모드에 소정의 음성 명령, 예를 들어 "가까운 전철역이 어디야?" 라는 음성을 발화할 수 있으며, 이 음성은 음성 입력부(35)를 통해 음성 인식부(15)에서 인식되게 된다. 이때, 음성 인식부(15)가 해당 음성을 인식하는 동안 사용자가 소정의 종료키워드, 예를 들어 "잠깐", "그만", "정지", "종료" 등 기설정된 종료키워드를 발화하는 경우, 음성 인식부(15)는 해당 종료 키워드가 입력된다고 판단되면 수행하던 음성 명령에 대한 인식과정을 종료하게 된다.That is, the user inputs a predetermined voice command in the voice recognition mode, for example, "Where is the near station?" And the voice is recognized by the voice recognizing unit 15 through the voice input unit 35. [0033] FIG. At this time, when the user utters a predetermined end keyword such as "wait", "stop", "stop", "end", etc. while the speech recognition unit 15 recognizes the speech, The voice recognition unit 15 ends the recognition process for the voice command that is performed when it is determined that the corresponding end keyword is input.

도 6은 본 발명에 따른 음성 인식 장치가 TV인 것을 일 실시예로 도시하고 있다. 도 6에서는 음성 인식 모드에 진입하기 위한 음성 인식 명령이 "TV" 인 것을 일 예로 도시하고 있다. 즉, 사용자가 "TV" 라고 말하는 경우, 음성 인식 장치는 "TV" 라는 음성에 의하여 음성 인식 모드로 진입하게 된다. 음성 인식 모드에 진입한 후, 음성 인식부(15)는 사용자로부터 소정의 음성이 발화되는지 여부를 판단하게 된다. 사용자로부터 소정의 음성명령이 발화되고, 음성 입력부(35)를 통해 소정의 음성 명령, 예를 들어 "최근 인기있는 영화 검색해줘" 라는 음성이 입력될 수 있으며, 이 음성은 음성 입력부(35)를 통해 음성 인식부(15)에서 인식되게 된다. 이때, 음성 인식부(15)가 해당 음성을 인식하는 동안 음성 입력부(35)를 통해 소정의 종료키워드가 입력되는 경우, 음성 인식부(15)는 음성 인식을 종료하게 된다. 그리고, 사용자로부터 새로운 음성이 발화되어 음성 입력부(35)를 통해 새로운 음성 명령, 예를 들어, "뉴스 보여줘" 와 같은 음성이 수신되는 경우, 음성 인식부(15)는 새로운 음성에 기초하여 음성 인식을 수행하게 된다. 따라서, 음성 인식부(15)는 "뉴스 보여줘" 라는 새로운 음성 명령을 인식하고, 인식된 음성 명령에 대응하는 기능을 수행한다. 즉, TV의 채널을 뉴스를 방영하는 채널로 변경시키거나, 복수의 뉴스 채널을 사용자에게 보여준 후 사용자가 이를 고를 수 있도록 할 수 있다.FIG. 6 illustrates an example in which the speech recognition apparatus according to the present invention is a TV. In Fig. 6, the voice recognition command for entering the voice recognition mode is "TV ". That is, when the user speaks "TV", the voice recognition apparatus enters the voice recognition mode by the voice "TV". After entering the voice recognition mode, the voice recognition unit 15 determines whether or not a predetermined voice is uttered by the user. A predetermined voice command is uttered from the user and a predetermined voice command, for example, "retrieve the latest popular movie" can be input through the voice input unit 35, and this voice is input to the voice input unit 35 The speech recognition unit 15 recognizes the speech recognition result. At this time, when a predetermined end keyword is inputted through the voice input unit 35 while the voice recognition unit 15 recognizes the voice, the voice recognition unit 15 ends the voice recognition. Then, when a new voice is uttered by the user and a new voice command such as "show news" is received through the voice input unit 35, the voice recognition unit 15 acquires voice recognition . Accordingly, the voice recognition unit 15 recognizes a new voice command "Show News" and performs a function corresponding to the recognized voice command. That is, the TV channel can be changed to a channel for broadcasting news, or a plurality of news channels can be displayed to the user so that the user can select the channel.

도 7은 보류키워드가 수정키워드에 해당하는 경우, 음성 인식 장치의 제어흐름도이다.7 is a control flowchart of the speech recognition apparatus when the pending keyword corresponds to a correction keyword.

본 발명에 따른 음성 인식부(15)는 음성 인식 모드인지 여부를 판단할 수 있다(S710). 음성 인식 모드에 진입한 경우, 음성 인식부(15)는 음성 입력부(35)를 통해 소정 음성이 입력되는지 여부를 판단할 수 있다. 그리고, 소정 음성이 입력되는 경우, 음성 인식부(15)는 소정 음성을 인식하기 위한 음성 인식 동작을 시작하게 된다 (S730). 여기에서, 음성 인식 모드인지 여부를 판단하는 단계와 음성 인식을 시작하는 단계는 각각 도 4의 S410 및 S710 단계에 대응한다.The speech recognition unit 15 according to the present invention can determine whether it is in the speech recognition mode (S710). When the user enters the voice recognition mode, the voice recognition unit 15 can determine whether a predetermined voice is input through the voice input unit 35. When a predetermined voice is input, the voice recognition unit 15 starts a voice recognition operation for recognizing the predetermined voice (S730). Here, the step of determining whether or not the speech recognition mode is in operation and the step of starting speech recognition correspond to steps S410 and S710 in Fig. 4, respectively.

음성 인식 동작을 시작한 후, 특정 보류키워드가 입력되지 않는 경우, 음성 인식부(15)는 음성인식을 수행 및 완료(S770)하게 된다. 한편, 음성 인식 동작을 시작한 후 음성 인식부(15)는 기설정된 특정 수정키워드가 입력되는지 여부를 판단할 수 있다(S750). 이때, 음성 인식부(15)는 특정 수정키워드가 입력된다고 판단되는 경우, 입력된 수정키워드가 수정의도를 갖는 수정키워드인지 여부를 판단한다(S760).If a specific pending keyword is not input after the speech recognition operation is started, the speech recognition unit 15 performs speech recognition and completes the speech recognition (S770). On the other hand, after starting the speech recognition operation, the speech recognition unit 15 may determine whether a predetermined specific correction keyword is input (S750). At this time, if it is determined that the specific correction keyword is input, the voice recognition unit 15 determines whether the input correction keyword is a correction keyword having the correction intention (S760).

본 발명의 일 실시예에 따르는 경우 음성 인식부(15)는 수정키워드가 입력되기 이전의 음성신호, 수정키워드 및 수정키워드에 연속한 음성신호를 인식한다. 그리고, 수정 키워드 이전에 입력된 음성신호와 수정키워드 이후에 입력된 음성신호를 서로 비교하여 수정키워드가 수정의도를 갖는지 여부를 판단할 수 있다. 예를 들어, 만약 수정 키워드 이전에 입력된 단어와 수정키워드 이후에 입력된 단어가 서로 대응되는 지 여부를 판단할 수 있다. 또는, 수정 키워드 이전에 입력된 단어와 이후에 입력된 단어 간의 유사도를 비교하거나 이전에 입력된 단어의 의미를 파악하거나 오타가 있는지 여부를 판단하거나 음성신호를 인식한 후 문법상 잘못이 있는지 여부를 판단하는 방법으로 수정키워드가 수정의도를 갖는지 여부를 판단할 수 있다.According to an embodiment of the present invention, the speech recognition unit 15 recognizes a speech signal continuous to the speech signal, the correction keyword, and the correction keyword before the correction keyword is input. The voice signal inputted before the correction keyword and the voice signal inputted after the correction keyword may be compared with each other to judge whether the correction keyword has the correction intention. For example, it is possible to judge whether or not a word inputted before a correction keyword and a word inputted after a correction keyword correspond to each other. Alternatively, it is possible to compare the similarity degree between the word inputted previously and the word inputted after the correction keyword, to grasp the meaning of the previously inputted word, to judge whether or not there is an error, or to check whether there is a grammatical error after recognizing the speech signal It is possible to judge whether or not the correction keyword has a correction intention by the judging method.

음성 인식부(15)는 입력된 수정키워드가 수정의도를 갖지 않는다고 판단되는 경우, 수정키워드를 수정의미가 아니라 키워드 자체의 의미로 해석하여 음성 인식을 진행 및 완료한다(S770).If it is determined that the input modified keyword does not have a correction intention, the speech recognition unit 15 interprets the modified keyword as a meaning of the keyword itself rather than correcting it, and proceeds to and completes the speech recognition in operation S770.

한편, 음성 인식부(15)는 입력된 수정키워드가 수정의도를 갖는다고 판단되는 경우, 수정될 단어와 수정할 단어를 사용하여 입력된 음성신호를 수정하고(S780) 수정된 음성신호에 기초하여 음성 인식을 진행 및 완료한다(S770).On the other hand, if it is determined that the inputted correction keyword has the correction intention, the speech recognition unit 15 corrects the inputted speech signal using the word to be corrected and the word to be corrected (S780) The speech recognition is proceeded and completed (S770).

도 8 내지 도 11은 본 발명에 따른 보류키워드가 수정키워드에 해당하는 경우 각각의 실시예를 도시한 도면이다.FIGS. 8 to 11 are views showing respective embodiments when the pending keyword according to the present invention corresponds to a correction keyword.

도 8을 보면, 본 발명에 따른 음성 인식 장치가 음성 인식 모드에 진입한 경우, 음성 인식 장치의 표시부(50)에 "무엇을 도와드릴까요?" 같은 음성 인식 대기상태임을 알리는 상태키워드를 표시할 수 있다(S710). 즉, 사용자는 음성 인식 모드에 소정의 음성 명령, 예를 들어 "홍길동한테 여섯시..." 라는 음성을 발화할 수 있으며, 이 음성은 음성 입력부(35)를 통해 음성 인식부(15)에서 인식되게 된다. 이때, 음성 인식부(15)가 해당 음성을 인식하는 동안 사용자가 소정의 수정키워드, 예를 들어 아니, 다시, 수정 등 기설정된 수정키워드를 발화하는 경우, 음성 인식부(15)는 해당 수정 키워드가 입력된다고 판단되면 수행하던 음성 명령에 대한 인식과정을 보류하고 수정 키워드가 수정의도로 사용되었는지 여부를 판단하게 된다.Referring to FIG. 8, when the speech recognition apparatus according to the present invention enters the speech recognition mode, the display unit 50 of the speech recognition apparatus displays "What can I do?" It is possible to display a state keyword indicating that the same voice recognition waiting state is present (S710). That is, the user can utter a predetermined voice command in the voice recognition mode, for example, "six degrees to Hong Gil Dong ... ", and the voice is recognized by the voice recognition unit 15 through the voice input unit 35 . At this time, if the user utters a predetermined correction keyword, for example, a correction keyword such as no, again, or modified while the voice recognition unit 15 recognizes the voice, the voice recognition unit 15 recognizes the correction keyword It is determined whether the modified keyword is used for correction or not.

즉, 음성 인식 대기상태에서 사용자가 "홍길동한테 여섯시..." 라는 음성을 발화하면 음성 인식부(15)는 음성 인식을 시작하게 된다(S730). 이때, 사용자가 이어서 "아니 네시에 만나자고 해" 라고 음성을 발화할 수 있다. 여기서, "아니" 라는 음성이 기설정된 수정키워드인 경우, 음성 인식부(15)는 "아니" 라는 음성이 입력된다고 판단되면, "아니" 이후에 입력되는 음성도 이어서 수신한다. 그리고, "아니라는 음성 전후의 음성신호를 비교하여 아니에 해당하는 수정키워드가 수정의도로 쓰인 키워드인지 여부를 판단하게 된다(S760). 이때, 음성 인식부(15)는 수정키워드 이전의 단어와 이후의 단어를 비교할 수 있다. 즉, 도 8에 대한 실시예에서 사용자에 의해 발화된 음성은 "홍길동한테 여섯시 아니 네시에 만나자고 해" 이고, 수정키워드 전후의 음성신호를 비교한 결과 음성 인식부(15)는 여섯시와 네시에 해당하는 단어가 서로 대응하거 수정 가능한 관계임을 알 수 있다. 따라서, 음성 인식부(15)는 네시로 여섯시를 대체하는 수정을 할 수 있으며, 결과적으로 "홍길동한테 네시에 만나자고 해" 로 입력된 음성신호를 인식할 수 있다(S780).In other words, if the user utters the voice of "6:00 to Hong Gil Dong ..." in the voice recognition standby state, the voice recognition unit 15 starts voice recognition (S730). At this time, the user can subsequently utter a voice saying "No, I want to meet you." Here, when the voice of "NO" is a predetermined correction keyword, the voice recognition unit 15 also receives the voice inputted after "NO" if it is judged that the voice "NO" is inputted. The voice recognition unit 15 compares the word before the correction keyword with the word before the correction keyword, and determines whether or not the correction word corresponding to the keyword is not a correction keyword (S760). In this case, The voice uttered by the user in the embodiment shown in Fig. 8 is "Let's meet at six o'clock or not at six o'clock in Hong Gil Dong. &Quot; ) Can recognize that the words corresponding to the six o'clock and the nose are in correspondence with each other and can be modified. Accordingly, the voice recognition unit 15 can modify the six o'clock as a nessie, and as a result, (Step S780). ≪ / RTI >

도 9에 따르는 실시예를 보면, 본 발명에 따른 음성 인식 장치는 음성 인식 대기상태에서(S710), 사용자로부터 소정의 음성신호를 입력 받을 수 있다(S730). 즉, 사용자는 음성 인식 모드에 소정의 음성 명령, 예를 들어 "홍길동한테 오늘은 만나기로 한 날이 아니라고 해" 음성을 발화할 수 있으며, 이 음성은 음성 입력부(35)를 통해 음성 인식부(15)에서 인식되게 된다. 이때, 음성 인식부(15)는 소정의 수정키워드 "아니" 가 입력되므로(S750), 수정키워드가 수정의도로 사용되었는지 여부를 판단하고(S760) 수정의도로 사용되지 않았으며 수정키워드의 그 의미 자체로 사용되었다고 판단되는 경우, 별도의 수정 없이 입력된 음성신호 그 자체에 대한 인식 과정을 수행하고 완료하게 된다(S770).Referring to FIG. 9, the speech recognition apparatus according to the present invention can receive a predetermined speech signal from a user in a speech recognition standby state (S710) (S730). That is, the user can utter a predetermined voice command in the voice recognition mode, for example, "Do not say day to meet today ". The voice is input through the voice input unit 35 to the voice recognition unit 15 ). At this time, since the predetermined correction keyword "NO" is input (S750), the speech recognition unit 15 determines whether the correction keyword is used for correction (S760) If it is determined that the voice signal is used by itself, the voice signal itself is recognized and completed without any modification (S770).

도 10은 본 발명에 따르는 음성 인식 장치가 디스플레이기기인 것을 일 실시예로 도시하였다.FIG. 10 shows an embodiment in which the speech recognition device according to the present invention is a display device.

도 10은 도 6과 같이 음성 인식 모드에 진입하기 위한 음성 인식 명령이 "TV"인 것을 일 예로 도시하고 있다. 즉, 사용자가 "TV" 라고 말하는 경우, 음성 인식 장치는 "TV"라는 음성에 의하여 음성 인식 모드로 진입하게 된다(S710). 음성 인식 모드에 진입한 후, 음성 인식부(15)는 사용자로부터 소정의 음성이 발화되는지 여부를 판단하게 된다. 사용자로부터 소정의 음성, 예를 들어 "채널 3" 이라는 음성이 발화되는 경우, 음성 인식부(15)는 입력된 음성에 기초하여 음성 인식을 시작한다(S730). 그리고, 음성 인식이 진행되는 동안 사용자에 의해 "아니, 채널 7" 이라는 음성이 더 입력될 수 있다. 음성 인식부(15)는 수정키워드에 해당하는 "아니" 라는 음성이 인식되면, "아니" 라는 수정키워드가 수정의 의도로 쓰였는지 여부를 판단한다(S760). 판단 결과, 수정의도로 사용되었다면 음성 인식부(15)는 채널 3 대신 채널 7을 인식하고, 인식 결과에 따라 채널 7로 TV의 채널을 변경할 수 있다(S770).Fig. 10 shows an example in which the voice recognition command for entering the voice recognition mode is "TV" as shown in Fig. That is, when the user speaks "TV", the speech recognition apparatus enters the speech recognition mode by the voice "TV" (S710). After entering the voice recognition mode, the voice recognition unit 15 determines whether or not a predetermined voice is uttered by the user. When a predetermined voice, for example, a voice of "channel 3" is uttered from the user, the voice recognition unit 15 starts voice recognition based on the inputted voice (S730). Then, during speech recognition, the user can input a voice of "no channel 7 ". If the speech recognition unit 15 recognizes a voice of "NO" corresponding to the correction keyword, it is determined whether or not the correction keyword "NO" is used for correction purpose (S760). As a result of the determination, if the speech recognition unit 15 has been used for correction, the speech recognition unit 15 recognizes the channel 7 instead of the channel 3 and changes the channel of the TV to the channel 7 according to the recognition result (S770).

도 11은 본 발명에 따른 음성 인식 장치가 이동 모바일 등 메모 기능이 있는 전자장치인 경우를 예로 본 발명의 일 실시예를 도시한 도면이다.11 is a diagram showing an embodiment of the present invention as an example of a case where the speech recognition apparatus according to the present invention is an electronic apparatus having a memo function such as a mobile mobile.

사용자가 "오늘은 2013년 2월 21일..." 이라는 음성을 발화한 경우, 음성 인식부(15)는 입력된 음성에 따라 음성 인식을 시작하고(S730), 인식된 음성을 표시부(50)의 일 영역에 표시할 수 있다. 이때, 이미 음성 인식이 시작되어 음성이 표시부(50)에 표시된 후에도 사용자에 의해 수정키워드가 입력된 경우(S750), 음성 인식부(15)는 수정키워드 및 이후에 입력된 음성신호를 기초로 수정키워드가 수정의도의 키워드인지 여부를 판단할 수 있다(S760).If the user has uttered a voice "Today is February 21, 2013 ...", the voice recognition unit 15 starts voice recognition in accordance with the input voice (S730), and displays the recognized voice on the display unit 50 ). ≪ / RTI > At this time, if the correction keyword is inputted by the user even after the voice recognition is started and the voice is displayed on the display unit 50 (S750), the voice recognition unit 15 corrects the correction keyword and the voice signal inputted thereafter It can be determined whether the keyword is a keyword of the correction intention (S760).

즉, 도면과 같이, 사용자가 "오늘은 2013년 2월 21..." 이라고 발화했는데, 음성 인식부에서 "21"을 "22"로 인식하는 오류가 발생한 경우, 음성 입력부(35)를 통해 다시 "아니, 오늘은 2013년 2월 21일.."이라고 음성이 입력되면, 음성 인식부(15)는 "아니" 전후의 음성을 다시 비교한 후, 수정 키워드에 연이어서 입력된 음성신호를 다시 인식하여 수정된 음성신호에 기초하여 음성 인식을 완료할 수 있다(S780, S770).That is, as shown in the drawing, when the user utters "Today is February 21, 2013 ..." and an error of recognizing "21" as "22" occurs in the speech recognition section, the speech input section If the voice is input again as "NO, today is February 21, 2013 ", the voice recognition unit 15 compares again the voice before and after" NO " The speech recognition can be completed again based on the modified speech signal (S780, S770).

종래에는 음성 인식이 시작된 후에는 음성 인식이 완료될 때까지 음성 인식을 보류시킬 수 없었다. 그러나, 본 발명에 따르는 경우, 음성 인식이 완료 되기 전에 음성 인식을 보류 시킴으로써 음성 명령을 변경하기 위한 프로세스를 최소화할 수 있다.Conventionally, after speech recognition is started, speech recognition can not be held until speech recognition is completed. However, according to the present invention, it is possible to minimize the process for changing the voice command by holding the voice recognition before the voice recognition is completed.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적인 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims (17)

음성 인식 명령이 수신되는 단계와;
상기 수신된 음성 인식 명령에 기초하여 음성 인식을 시작하는 단계와;
상기 음성 인식이 시작된 후 상기 음성 인식을 수행하는 도중 상기 음성 인식을 보류시키기 위한 보류키워드가 입력되는지 여부를 판단하는 단계와;
상기 보류키워드가 입력된다고 판단되는 경우 상기 음성 인식을 보류하는 단계를 포함하는 것을 특징으로 하는 음성 인식 방법.Receiving a voice recognition command;
Starting speech recognition based on the received speech recognition command;
Determining whether a pending keyword for holding the speech recognition is input during performing the speech recognition after the speech recognition is started;
And holding the speech recognition if it is determined that the pending keyword is input. 제 1항에 있어서,
상기 보류키워드는 종료키워드를 포함하고,
상기 음성 인식을 보류하는 단계는, 상기 종료키워드가 입력된다고 판단되는 경우 상기 음성 인식을 종료하는 것을 특징으로 하는 음성 인식 방법.The method according to claim 1,
Wherein the pending keyword includes an end keyword,
Wherein the step of suspending speech recognition terminates the speech recognition when it is determined that the end keyword is input. 제 2항에 있어서,
상기 음성 인식이 종료되는 경우, 새로운 음성 인식 명령이 수신될 때까지 상기 음성 인식을 중단하는 것을 특징으로 하는 음성 인식 방법.3. The method of claim 2,
And when the speech recognition ends, the speech recognition is stopped until a new speech recognition command is received. 제 1항에 있어서,
상기 보류키워드는 수정키워드를 포함하고,
상기 음성 인식을 보류하는 단계는, 상기 수정키워드가 수정을 위한 키워드인지 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 음성 인식 방법.The method according to claim 1,
Wherein the pending keyword includes a correction keyword,
Wherein the step of holding the speech recognition further comprises a step of determining whether the correction keyword is a keyword for correction. 제 4항에 있어서,
상기 수정키워드가 입력되는 경우, 상기 음성 인식을 보류하는 단계는, 상기 수정키워드 및 상기 수정키워드에 연속한 음성신호를 인식하는 것을 특징으로 하는 음성 인식 방법.5. The method of claim 4,
Wherein when the correction keyword is inputted, the step of holding the speech recognition recognizes a speech signal continuous to the correction keyword and the correction keyword. 제 5항에 있어서,
상기 수정키워드가 수정을 위한 키워드인지 여부를 판단하는 단계는, 상기 수정키워드 이전에 입력된 음성신호와 상기 수정키워드 이후에 입력된 상기 연속한 음성신호를 비교하는 단계를 포함하는 것을 특징으로 하는 음성 인식 방법.6. The method of claim 5,
Wherein the step of determining whether the correction keyword is a keyword for correction includes the step of comparing the voice signal inputted before the correction keyword with the continuous voice signal inputted after the correction keyword Recognition method. 제 5항에 있어서,
상기 수정키워드가 수정을 위한 키워드인지 여부를 판단하는 단계는, 상기 수정키워드 및 입력된 음성신호의 단어 간의 유사도, 오타여부, 문법 및 단어의 의미 중 적어도 하나에 기초하여 상기 수정키워드가 수정을 위한 키워드인지 여부를 판단하는 것을 특징으로 하는 음성 인식 방법.6. The method of claim 5,
Wherein the step of determining whether the correction keyword is a keyword for correction includes the step of determining whether the correction keyword is a correction keyword based on at least one of the corrected keyword and the meaning of the inputted voice signal, Whether the keyword is a keyword or not. 제 5항에 있어서,
상기 수정키워드가 수정을 위한 키워드라고 판단되는 경우, 상기 수정키워드 이후에 입력된 상기 연속한 음성신호 중 적어도 하나의 단어로 상기 수정키워드 이전에 입력된 음성신호 중 대응하는 단어를 대체하는 단계를 더 포함하는 것을 특징으로 하는 음성 인식 방법.6. The method of claim 5,
And replacing the corresponding word of the speech signal inputted before the correction keyword with at least one word of the continuous speech signal input after the correction keyword, when it is determined that the correction keyword is a keyword for correction The speech recognition method comprising the steps of: 제 5항에 있어서,
상기 수정키워드가 수정을 위한 키워드가 아니라고 판단되는 경우, 상기 수정키워드 및 상기 연속한 음성신호는 상기 수정키워드 이전에 입력된 음성신호에 연속하여 인식되는 단계를 더 포함하는 것을 특징으로 하는 음성 인식 방법.6. The method of claim 5,
Further comprising the step of, when it is determined that the modified keyword is not a keyword for modification, the modified keyword and the consecutive speech signal are consecutively recognized to the speech signal inputted before the corrected keyword . 음성신호를 수신하는 음력 입력부와;
음성 인식 명령이 수신되는 경우 수신된 상기 음성신호의 음성 인식을 시작하며, 상기 음성 인식이 시작된 후 상기 음성 인식을 수행하는 도중 상기 음성 인식을 보류시키기 위한 보류키워드가 입력되는지 여부를 판단하고, 상기 보류키워드가 입력된다고 판단되는 경우 상기 음성 인식을 보류하는 음성 인식부를 포함하는 것을 특징으로 하는 음성 인식 장치.A lunar power input unit for receiving a voice signal;
The method comprising: starting speech recognition of the received speech signal when a speech recognition command is received; determining whether a pending keyword for holding the speech recognition is input during performing the speech recognition after the speech recognition is started; And a voice recognition unit for holding the voice recognition when it is determined that a pending keyword is input. 제 10항에 있어서,
상기 보류키워드는 종료키워드를 포함하고,
상기 음성 인식부는 상기 종료키워드가 입력된다고 판단되는 경우 상기 음성 인식을 종료하는 것을 특징으로 하는 음성 인식 장치.11. The method of claim 10,
Wherein the pending keyword includes an end keyword,
Wherein the speech recognition unit terminates the speech recognition when it is determined that the end keyword is input. 제 11항에 있어서,
상기 음성 인식부는 상기 음성 인식이 종료되는 경우, 새로운 음성 인식 명령이 수신될 때까지 상기 음성 인식을 중단하는 것을 특징으로 하는 음성 인식 장치.12. The method of claim 11,
Wherein the speech recognition unit stops the speech recognition until a new speech recognition command is received when the speech recognition ends. 제 10항에 있어서,
상기 보류키워드는 수정키워드를 포함하고,
상기 음성 인식부는 상기 수정키워드가 입력되는 경우 상기 수정키워드 및 상기 수정키워드에 연속한 음성신호를 인식하는 것을 특징으로 하는 음성 인식 장치.11. The method of claim 10,
Wherein the pending keyword includes a correction keyword,
Wherein the speech recognition unit recognizes a speech signal continuous to the correction keyword and the correction keyword when the correction keyword is input. 제 13항에 있어서,
상기 수정키워드가 입력되는 경우, 상기 음성 인식부는 상기 수정키워드가 수정을 위한 키워드인지 여부를 판단하는 것을 특징으로 하는 음성 인식 장치.14. The method of claim 13,
Wherein when the correction keyword is input, the voice recognition unit determines whether the correction keyword is a keyword for correction. 제 14항에 있어서,
상기 음성 인식부는 상기 수정키워드 이전에 입력된 음성신호와 상기 수정키워드 이후에 입력된 상기 연속한 음성신호를 비교하는 것을 특징으로 하는 음성 인식 장치.15. The method of claim 14,
Wherein the speech recognition unit compares the speech signal inputted before the correction keyword with the continuous speech signal inputted after the correction keyword. 제 14항에 있어서,
상기 음성 인식부는 상기 수정키워드가 수정을 위한 키워드라고 판단되는 경우, 상기 수정키워드 이후에 입력된 상기 연속한 음성신호 중 적어도 하나의 단어로 상기 수정키워드 이전에 입력된 음성신호 중 대응하는 단어를 대체하는 것을 특징으로 하는 음성 인식 장치.15. The method of claim 14,
Wherein the speech recognition unit replaces a corresponding word of the speech signal inputted before the correction keyword with at least one word of the continuous speech signal input after the correction keyword, when the correction keyword is determined to be a keyword for correction And the speech recognition apparatus. 제 14항에 있어서,
상기 음성 인식부는 상기 수정키워드가 수정을 위한 키워드가 아니라고 판단되는 경우, 상기 수정키워드 및 상기 연속한 음성신호는 상기 수정키워드 이전에 입력된 음성신호에 연속하여 인식하는 것을 특징으로 하는 음성 인식 장치.15. The method of claim 14,
Wherein the voice recognition unit consecutively recognizes the modified keyword and the continuous voice signal to the voice signal inputted before the modified keyword when it is determined that the corrected keyword is not a keyword for correction.
KR1020130091393A 2013-08-01 2013-08-01 Apparatus and method for recognizing voice KR102229972B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130091393A KR102229972B1 (en) 2013-08-01 2013-08-01 Apparatus and method for recognizing voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130091393A KR102229972B1 (en) 2013-08-01 2013-08-01 Apparatus and method for recognizing voice

Publications (2)

Publication Number Publication Date
KR20150015703A true KR20150015703A (en) 2015-02-11
KR102229972B1 KR102229972B1 (en) 2021-03-19

Family

ID=52572889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130091393A KR102229972B1 (en) 2013-08-01 2013-08-01 Apparatus and method for recognizing voice

Country Status (1)

Country Link
KR (1) KR102229972B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074563A (en) * 2016-11-09 2018-05-25 珠海格力电器股份有限公司 The control method and device of clock application
WO2018135743A1 (en) * 2017-01-17 2018-07-26 삼성전자주식회사 Method for sensing end of speech, and electronic apparatus implementing same
KR20190108472A (en) * 2018-03-14 2019-09-24 주식회사 산타 Lecture voice file text conversion system based on lecture-related keywords
WO2019235858A1 (en) * 2018-06-05 2019-12-12 Samsung Electronics Co., Ltd. A voice assistant device and method thereof
WO2020091187A1 (en) * 2018-10-31 2020-05-07 삼성전자주식회사 Electronic apparatus and controlling method therefor
WO2023163489A1 (en) * 2022-02-25 2023-08-31 삼성전자 주식회사 Method for processing user's audio input and apparatus therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004061754A (en) * 2002-07-26 2004-02-26 Denso Corp Voice controlled unit
JP2006146008A (en) * 2004-11-22 2006-06-08 National Institute Of Advanced Industrial & Technology Speech recognition device and method, and program
KR20090123697A (en) * 2008-05-28 2009-12-02 엘지전자 주식회사 Mobile terminal and text correction method
KR20120110751A (en) * 2011-03-30 2012-10-10 포항공과대학교 산학협력단 Speech processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004061754A (en) * 2002-07-26 2004-02-26 Denso Corp Voice controlled unit
JP2006146008A (en) * 2004-11-22 2006-06-08 National Institute Of Advanced Industrial & Technology Speech recognition device and method, and program
KR20090123697A (en) * 2008-05-28 2009-12-02 엘지전자 주식회사 Mobile terminal and text correction method
KR20120110751A (en) * 2011-03-30 2012-10-10 포항공과대학교 산학협력단 Speech processing apparatus and method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074563A (en) * 2016-11-09 2018-05-25 珠海格力电器股份有限公司 The control method and device of clock application
WO2018135743A1 (en) * 2017-01-17 2018-07-26 삼성전자주식회사 Method for sensing end of speech, and electronic apparatus implementing same
US11211048B2 (en) 2017-01-17 2021-12-28 Samsung Electronics Co., Ltd. Method for sensing end of speech, and electronic apparatus implementing same
KR20190108472A (en) * 2018-03-14 2019-09-24 주식회사 산타 Lecture voice file text conversion system based on lecture-related keywords
WO2019235858A1 (en) * 2018-06-05 2019-12-12 Samsung Electronics Co., Ltd. A voice assistant device and method thereof
CN112243526A (en) * 2018-06-05 2021-01-19 三星电子株式会社 Voice assisting apparatus and method thereof
US11100935B2 (en) 2018-06-05 2021-08-24 Samsung Electronics Co., Ltd. Voice assistant device and method thereof
WO2020091187A1 (en) * 2018-10-31 2020-05-07 삼성전자주식회사 Electronic apparatus and controlling method therefor
US11893982B2 (en) 2018-10-31 2024-02-06 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method therefor
WO2023163489A1 (en) * 2022-02-25 2023-08-31 삼성전자 주식회사 Method for processing user's audio input and apparatus therefor

Also Published As

Publication number Publication date
KR102229972B1 (en) 2021-03-19

Similar Documents

Publication Publication Date Title
RU2677396C2 (en) Display apparatus, voice acquiring apparatus and voice recognition method thereof
KR101919792B1 (en) Terminal and method for controlling the same
KR101911253B1 (en) System for controlling electronic tag, mobile device and display apparatus, mobile device for controlling the same and display apparatus for controlling the same
KR101775001B1 (en) Mobile/portable terminal, device for displaying and method for controlling same
US9467626B2 (en) Automatic recognition and capture of an object
US11435974B2 (en) Display device, mobile device, screen mirroring method of display device, and screen mirroring method of mobile device
US20130104172A1 (en) Searching method and mobile device using the method
US20130041665A1 (en) Electronic Device and Method of Controlling the Same
US20130072251A1 (en) Mobile terminal, method for controlling of the mobile terminal and system
US20140136213A1 (en) Mobile terminal and control method thereof
KR102229972B1 (en) Apparatus and method for recognizing voice
AU2012293060A1 (en) Electronic apparatus and method for providing user interface thereof
KR101890626B1 (en) Mobile terminal, image display device and user interface providing method using the same
JP7210745B2 (en) Display device control method and display device thereby
US10553211B2 (en) Mobile terminal and method for controlling the same
US8737819B2 (en) Electronic device and media contents reproducing method thereof
KR20170008040A (en) Terminal and sysytem comprsing thereof
KR20160026382A (en) Digital device and method for controlling the same
US11240466B2 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
KR101712666B1 (en) Electronic device and contents sharing method for electronic device
US10298873B2 (en) Image display apparatus and method of displaying image
KR101802753B1 (en) Mobile terminal and method for controlling of television using the mobile terminal
KR101973641B1 (en) Mobile terminal and control method for mobile terminal
KR20150012495A (en) Mobile terminal
KR101701845B1 (en) Mobile terminal and method for synchronizing media

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant