KR101133620B1 - Mobile communication terminal enable to search data and its operating method - Google Patents

Mobile communication terminal enable to search data and its operating method Download PDF

Info

Publication number
KR101133620B1
KR101133620B1 KR1020050085817A KR20050085817A KR101133620B1 KR 101133620 B1 KR101133620 B1 KR 101133620B1 KR 1020050085817 A KR1020050085817 A KR 1020050085817A KR 20050085817 A KR20050085817 A KR 20050085817A KR 101133620 B1 KR101133620 B1 KR 101133620B1
Authority
KR
South Korea
Prior art keywords
data
voice
call
mobile communication
communication terminal
Prior art date
Application number
KR1020050085817A
Other languages
Korean (ko)
Other versions
KR20070031117A (en
Inventor
선필원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050085817A priority Critical patent/KR101133620B1/en
Publication of KR20070031117A publication Critical patent/KR20070031117A/en
Application granted granted Critical
Publication of KR101133620B1 publication Critical patent/KR101133620B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Abstract

본 발명은 데이터 검색기능이 구비된 이동통신 단말기 및 그 동작방법에 관한 것으로서, 입력되는 음석을 인식하는 음성인식부와, 통화중, 상기 인식된 음성에 대한 데이터를 자동 검색하고, 검색된 데이터가 전송되도록 하는 제어부와, 상기 검색된 데이터가 화면에 출력되는 표시부를 포함하여 구성되어, 통화중 음성인식을 통해 데이터를 검색함으로서, 데이터 검색이 용이하고 데이터의 접근성이 향상되며, 검색된 데이터를 통화중 또는 통화완료시 메시지로 전송함으로서 저장된 데이터의 공유가 용이하여 사용자의 편의성이 향상되는 효과가 있다.The present invention relates to a mobile communication terminal having a data retrieval function and a method of operating the same, a voice recognition unit for recognizing an input voice, and automatically searching data for the recognized voice during a call and transmitting the retrieved data. And a display unit for outputting the searched data on the screen, and by searching the data through voice recognition during a call, it is easy to search for data and improves the accessibility of the data. By sending a message upon completion, it is easy to share the stored data, thereby improving user convenience.

음성인식, 정보검색, 메시지, 이동통신 단말기 Voice recognition, information search, message, mobile communication terminal

Description

데이터 검색기능이 구비된 이동통신 단말기 및 그 동작방법{Mobile communication terminal enable to search data and its operating method}Mobile communication terminal with a data retrieval function and its operation method {Mobile communication terminal enable to search data and its operating method}

도 1 은 본 발명에 따른 데이터 검색기능이 구비된 이동통신 단말기의 구성이 도시된 블록도,1 is a block diagram showing the configuration of a mobile communication terminal with a data search function according to the present invention;

도 2 는 본 발명에 따른 이동통신 단말기의 음성인식에 따른 데이터 검색의 실시예가 도시된 예시도,2 is an exemplary view showing an embodiment of data retrieval according to voice recognition of a mobile communication terminal according to the present invention;

도 3 은 본 발명에 따른 이동통신 단말기의 음성인식에 따른 데이터 검색의 제 2 실시예가 도시된 예시도,3 is an exemplary diagram illustrating a second embodiment of data retrieval based on voice recognition of a mobile communication terminal according to the present invention;

도 4 는 본 발명에 따른 이동통신 단말기의 음성인식에 따른 데이터 검색방법이 도시된 순서도이다.4 is a flowchart illustrating a data retrieval method according to voice recognition of a mobile communication terminal according to the present invention.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

10: 제어부 11: 입출력제어부10: control unit 11: input and output control unit

12: 데이터 처리부 20: 음성인식부12: data processing unit 20: voice recognition unit

30: 음성처리부 40: 마이크30: voice processing unit 40: microphone

50: 스피커 60: 키입력부50: speaker 60: key input unit

70: 표시부 80: 메모리70: display unit 80: memory

90: 통신모듈90: communication module

본 발명은 데이터 검색기능이 구비된 이동통신 단말기 및 그 동작방법에 관한 것으로서, 특히 통화중 음성을 인식하고 그에 따라 저장된 데이터를 검색하여, 검색결과를 전송하는 데이터 검색기능이 구비된 이동통신 단말기 및 그 동작방법에 관한 것이다.The present invention relates to a mobile communication terminal having a data retrieval function and a method of operating the same, and more particularly, to a mobile communication terminal having a data retrieval function for recognizing a voice during a call and retrieving the stored data accordingly, and transmitting a search result; It relates to the operation method.

일반적으로 이동통신 단말기는 사용자가 통화중 통화 상대방으로 부터 특정 데이터에 대해 요청받거나 저장된 데이터를 검색하고자 하는 경우, 통화중 사용자에 의해 조작되는 키버튼 입력에 따라 검색을 수행하게 된다. In general, when a user receives a request for specific data from a call counterpart during a call or wants to search for stored data, the mobile terminal performs a search according to a key button input operated by the user during a call.

이때, 상기 이동통신 단말기는 통화중 데이터를 검색함에 있어서, 다단계에 걸쳐 사용자의 키버튼 조작이 요구되므로, 데이터 검색이 용이하지 못하다는 문제점이 있다. In this case, the mobile communication terminal has a problem in that it is not easy to search for data because the user's key button manipulation is required in a multi-step of searching for data during a call.

또한, 상기 이동통신 단말기는 상기와 같이 키버튼을 조작하여 저장된 데이터를 검색하는 동안에는 통화 연결된 상대방과의 음성 통화가 불가능 하다는 문제점이 있으며, 특히, 상기 이동통신 단말기는 데이터를 검색하는 동안 통화 상태가 유지되므로 그에 따른 통화요금과, 시간이 낭비되는 문제가 발생하게 된다. In addition, the mobile communication terminal has a problem that it is impossible to make a voice call with the other party connected to the call while retrieving the stored data by operating a key button as described above. As a result, call charges and time are wasted accordingly.

또한, 상기 이동통신 단말기는 통화 종료 후 데이터를 검색하는 경우, 검색 후 재 통화를 시도하거나 상대방의 전화번호를 찾아 메시지로 데이터를 전송해야하므로 편의성이 저하되는 문제점이 있다.In addition, when the mobile terminal searches for data after the call is terminated, there is a problem in that the convenience is deteriorated since it is necessary to retry a call after searching or to find the phone number of the other party and transmit the data in a message.

본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 통화중 데이터 검색시 별도의 키입력 없이도, 통화중 입력되는 음성을 인식하여 인식되는 음성에 따라 자동으로 데이터를 검색하고, 검색결과를 출력하거나 메시지로 전송함으로서, 편의성이 향상되는 데이터 검색기능이 구비된 이동통신 단말기 및 그 동작방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above-described problems of the prior art, without recognizing a separate key input during data search during a call, automatically recognizes the voice input during the call and automatically retrieves the data according to the recognized voice, search results It is an object of the present invention to provide a mobile communication terminal and a method of operating the same with a data retrieval function for improving convenience by outputting or transmitting the message.

상기한 과제를 해결하기 위한 본 발명에 따른 데이터 검색기능이 구비된 이동통신 단말기는 입력되는 음성을 인식하는 음성인식부와, 통화중, 상기 음성인식부를 통해 인식된 음성에 대한 데이터를 자동 검색하여 검색된 데이터가 전송되도록 하는 제어부와, 상기 검색된 데이터가 화면에 출력되는 표시부를 포함하여 구성되는 것을 특징으로 한다. The mobile communication terminal with a data search function according to the present invention for solving the above problems is the voice recognition unit for recognizing the input voice, and during the call, by automatically searching the data for the voice recognized through the voice recognition unit And a control unit for transmitting the retrieved data and a display unit for outputting the retrieved data on the screen.

또한, 본 발명에 따른 데이터 검색기능이 구비된 이동통신 단말기의 동작방법은 통화중 입력되는 음성을 인식하는 제 1 단계와, 상기 음성 인식된 데이터에 따라 저장된 데이터를 자동 검색하는 제 2 단계와, 검색된 데이터가 화면에 출력되고, 상대방 이동통신 단말기로 전송되는 제 3 단계를 포함하여 이루어지는 것을 특징으로 한다. In addition, a method of operating a mobile communication terminal equipped with a data search function according to the present invention includes a first step of recognizing a voice input during a call, a second step of automatically retrieving stored data according to the voice recognized data; And a third step of outputting the retrieved data on the screen and transmitting the same to the counterpart mobile communication terminal.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다. 도 1은 본 발명에 따른 데이터 검색기능이 구비된 이동통신 단말기의 구성이 도시된 블록도이고, 도 2는 본 발명에 따른 이동통신 단말기의 음성인식에 따른 데이터 검색의 실시예가 도시된 예시도이고, 도 3은 본 발명에 따른 이동통신 단말기의 음성인식에 따른 데이터 검색의 제 2실시예가 도시된 예시도이다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. 1 is a block diagram showing the configuration of a mobile communication terminal with a data search function according to the present invention, Figure 2 is an exemplary view showing an embodiment of a data search according to the voice recognition of the mobile communication terminal according to the present invention 3 is an exemplary view illustrating a second embodiment of data retrieval based on voice recognition of a mobile communication terminal according to the present invention.

본 발명에 따른 이동통신 단말기는 도 1에 도시된 바와 같이, 일정 소리를 출력하는 스피커(50)와, 음성 또는 주변의 소리를 수집하여 입력하는 마이크(40)와, 상기 스피커(50) 또는 마이크(40)로 입출력되는 소리를 압축 또는 복원하고 변환하는 음성처리부(30)와, 상기 마이크(40)를 통해 입력되는 음성 또는 통화중 수신되는 음성을 인식하는 음성인식부(20)와, 상기 음성인식부(20)로부터 인식된 음성에 따른 데이터를 검색하는 제어부(10)를 포함하여 구성된다.As shown in FIG. 1, the mobile communication terminal according to the present invention includes a speaker 50 for outputting a predetermined sound, a microphone 40 for collecting and inputting voice or surrounding sounds, and the speaker 50 or a microphone. And a voice processing unit 30 for compressing, restoring, and converting the sound inputted and outputted to the 40, a voice recognition unit 20 for recognizing a voice input through the microphone 40 or a voice received during a call, and the voice. It includes a control unit 10 for searching for data according to the voice recognized from the recognition unit 20.

또한, 상기 이동통신 단말기는 이동통신 망을 통해 음성신호 또는 데이터를 송수신하는 통신모듈(90)과, 다수의 전화번호, 이미지 또는 동영상이 저장되는 메모리(80)와, 상기 이동통신 단말기의 동작상태가 출력되는 표시부(70)와, 다수의 키버튼이 구비되어 데이터를 입력받는 키입력부(60)를 포함하여 구성된다.In addition, the mobile communication terminal includes a communication module 90 for transmitting and receiving voice signals or data through a mobile communication network, a memory 80 for storing a plurality of phone numbers, images or videos, and an operating state of the mobile communication terminal. The display unit 70 is outputted, and a plurality of key buttons are provided to include a key input unit 60 for receiving data.

상기 메모리(80)는 전화번호, 이름, 이메일, 주소 등의 데이터가 저장되는 전화번호부(81)와, 카메라(미도시)를 통해 촬영되거나, 상기 통신모듈(90)을 통해 수신된 이미지, 동영상 등의 멀티미디어 데이터가 저장되는 데이터부(82)를 포함하여 구성된다. The memory 80 includes a phone book 81 in which data such as a phone number, name, e-mail, and address are stored, and an image and a video captured by a camera (not shown) or received through the communication module 90. And a data unit 82 in which multimedia data such as the above is stored.

상기 데이터부(82)는 이미지, 동영상 이외에도 상기 마이크(40)를 통해 입력되는 사용자 음성 또는 수신되는 벨소리, 음악 등의 멀티미디어 데이터를 저장한다. The data unit 82 stores multimedia data such as a user voice input through the microphone 40 or a ring tone or music received in addition to an image and a video.

또한, 상기 메모리(80)는 상기 음성인식부(20)의 음성인식을 위한 다수의 음성샘플 데이터와, 상기 음성샘플에 대한 문자변환데이터가 저장되는 음성인식 데이터부(미도시)를 더 포함하여 구성된다. In addition, the memory 80 further includes a plurality of voice sample data for voice recognition of the voice recognition unit 20 and a voice recognition data unit (not shown) in which text conversion data for the voice sample is stored. It is composed.

여기서, 상기 키입력부(60)는 다수의 키버튼 중 음성인식 버튼으로 설정된 특정 키버튼 또는 별도의 음성인식버튼이 구비될 수 있으며, 상기 음성인식버튼은 통화 중 입력되는 음성 중 선택된 특정 음성이 상기 음성인식부(20)에 의해 인식되도록 한다. The key input unit 60 may include a specific key button or a separate voice recognition button set as a voice recognition button among a plurality of key buttons, and the voice recognition button may include a specific voice selected from voices input during a call. To be recognized by the voice recognition unit 20.

상기 음성인식부(20)는 상기 마이크(30)를 통해 입력되는 음성이 상기 음성처리부(30)를 통해 변환되면, 변환된 음성을 입력받아 음성인식을 수행한다. 또한 상기 음성인식부(20)는 상기 통신모듈(90)을 통해 타 이동통신 단말기와 음성통화가 수행되는 경우, 통화중 수신되는 음성을 입력받아 그에 따른 음성인식을 수행한다.When the voice input through the microphone 30 is converted through the voice processing unit 30, the voice recognition unit 20 receives the converted voice and performs voice recognition. In addition, when the voice call with the other mobile communication terminal is performed through the communication module 90, the voice recognition unit 20 receives the voice received during the call and performs voice recognition accordingly.

이때, 상기 음성인식부(20)는 음성인식 알고리즘이 구비되어, 입력되는 음성의 특징을 추출하고 분석하며 상기 음성인식 데이터부에 저장된 음성샘플데이터를 바탕으로 음성을 인식한다. In this case, the speech recognition unit 20 is provided with a speech recognition algorithm, extracts and analyzes the features of the input speech and recognizes the speech based on the speech sample data stored in the speech recognition data section.

또한, 상기 음성인식부(20)는 상기 음성인식 데이터부의 문자변환데이터에 따라 상기와 같이 인식된 음성을 문자 데이터로 변환한다. In addition, the voice recognition unit 20 converts the recognized voice into text data according to the text conversion data of the voice recognition data unit.

상기 제어부(10)는 상기 음성인식부(20)로부터 음성 인식되어 문자로 변환된 데이터를 입력받아, 상기 메모리(80)로부터 저장된 데이터를 검색한다. 또한, 상기 제어부(10)는 상기 검색된 데이터가 표시부(70)를 통해 출력되도록 하며, 상기 통신모듈(90)을 통해 통화 상대방의 이동통신 단말기로 상기 검색된 데이터가 전송되도록 한다. The control unit 10 receives data recognized by the voice recognition unit 20 and converted into text, and searches for data stored in the memory 80. In addition, the controller 10 outputs the retrieved data through the display unit 70 and transmits the retrieved data to the mobile communication terminal of the call counterpart through the communication module 90.

특히, 상기 제어부(10)는 통화중 상기 마이크(40)를 통해 입력되는 음성 또는 통화중 수신되는 음성이 상기 음성인식부(20)를 통해 인식되면, 음성인식된 데이터에 따라 상기 메모리(80)에 저장된 데이터를 검색한다.In particular, when the voice inputted through the microphone 40 or the voice received during the call is recognized through the voice recognition unit 20, the controller 10 may perform the memory 80 according to voice recognized data. Retrieve data stored in.

상기 제어부(10)는 상기 음성인식부(20)로부터 음성 인식된 데이터에 대하여 상기 메모리(80)에 저장된 데이터를 검색하고, 데이터를 메시지로 변환하는 데이터처리부(12)와, 상기 검색된 데이터가 상기 표시부(70)를 통해 출력되도록 하고, 이를 상기 통신모듈(90)을 통해 전송하는 입출력제어부(11)를 포함하여 구성된다. The control unit 10 retrieves data stored in the memory 80 with respect to data recognized by the voice recognition unit 20, and converts the data into a message. It is configured to include an input and output control unit 11 to be output through the display unit 70, and transmitted through the communication module 90.

상기 데이터 처리부(12)는 통화 중, 상기 음성인식부(20)로부터 음성 인식된 데이터 즉, 인식데이터를 입력받아, 상기 메모리(80)의 전화번호부(81)와, 데이터부(82)로부터 상기 인식데이터를 자동으로 검색한다. The data processing unit 12 receives voice recognized data, that is, recognition data, from the voice recognition unit 20 during a call, and receives the data from the phone book 81 and the data unit 82 of the memory 80. Retrieve recognition data automatically.

즉, 상기 데이터 처리부(12)는 상기 전화번호부(81)로부터 상기 인식데이터가 포함되는 전화번호, 이름, 주소, 이메일 등의 전화번호 데이터를 검색하고, 또 한, 상기 데이터부(82)로부터 상기 인식데이터가 포함되는 이미지, 동영상, 음악데이터 등의 멀티미디어 데이터를 검색한다. That is, the data processor 12 retrieves telephone number data such as a telephone number, a name, an address, an e-mail, and the like, which includes the recognition data, from the telephone directory 81, and further, from the data portion 82. Search for multimedia data such as image, video, and music data including recognition data.

이때, 상기 데이터 처리부(12)는 상기 인식데이터의 일부 또는 전체가 포함되는 모든 데이터를 검색하며, 송수신 되는 메시지 및 메시지에 첨부되는 파일명을 포함하여 검색한다.At this time, the data processing unit 12 searches all data including some or all of the recognition data, and includes a message transmitted and received and a file name attached to the message.

또한, 상기 데이터처리부(12)는 상기와 같이 검색되는 데이터를 메시지로 변환한다. In addition, the data processing unit 12 converts the data retrieved as described above into a message.

이때, 상기 데이터 처리부(12)는 상기 검색된 데이터의 형식에 따라 상기 데이터를 단문메시지(SMS), 장문메시지(LMS), 멀티미디어메시지(MMS) 중 적어도 하나 이상의 메시지 형태로 변환한다. In this case, the data processor 12 converts the data into at least one message form of a short message (SMS), a long message (LMS), and a multimedia message (MMS) according to the format of the retrieved data.

즉, 상기 데이터 처리부(12)는 상기 검색된 데이터가 전화번호, 이름, 주소, 이메일 등과 같이 문자데이터인 경우, 단문메시지(SMS) 형태로 변환하고, 문자 데이터의 크기가 큰 경우에는 장문메시지(LMS) 형태로 변환한다. That is, the data processing unit 12 converts the searched data into a short message (SMS) form when the searched data is text data such as a phone number, name, address, email, etc., and when the size of the text data is large, a long message (LMS). ) Into the form.

또한, 상기 데이터 처리부(12)는 상기 검색된 데이터가 문자데이터 이외의 음성데이터, 이미지, 동영상 등의 멀티미디어 데이터이거나, 멀티미디어 데이터를 포함하는 경우에는 멀티미디어메시지(MMS) 형태로 변환한다. In addition, the data processing unit 12 converts the searched data into multimedia data (MMS) in the case that the searched data is multimedia data such as voice data, images, video, etc., or multimedia data.

여기서, 상기 데이터처리부(12)는 상기 인식데이터가 포함되는 데이터 이외에도 그와 관련된 데이터를 모두 메시지로 변환한다. Here, the data processing unit 12 converts all data related to the message in addition to the data including the recognition data.

예를 들어, 상기 데이터 처리부(12)는 인식데이터가 '홍길동'인 경우, '홍길동'을 키워드로 검색하여 상기 전화번호부(81)로부터 검색된 이름 '홍길동'과, 상 기 이름과 함께 저장되는 전화번호, 이메일, 주소 등의 전화번호 데이터가 모두 포함되도록 메시지로 변환한다. For example, when the recognition data is 'Hong Gil-Dong', the data processor 12 searches for 'Hong Gil-Dong' as a keyword and stores the name 'Hong-Gil-Dong' retrieved from the phone book 81 and the name. Convert phone number data such as numbers, emails, addresses, etc. into a message.

또한, 상기 '홍길동'의 전화번호 데이터에 이미지 또는 아이콘이 포함되는 경우에는 상기 이미지 또는 아이콘이 포함되는 멀티미디어 메시지(MMS)로 변환한다. In addition, when the image or icon is included in the phone number data of the 'Hong Gil-dong', the image or icon is converted into a multimedia message (MMS).

한편, 상기 입출력제어부(11)는 상기 통신모듈(90)을 통해 수신되는 음성신호가 상기 음성처리부(30)를 통해 복원, 변환되어 상기 스피커(50)로 출력되도록 하고, 상기 마이크(40)로부터 입력된 음성데이터가 상기 음성처리부(30)를 통해 압축, 변환되어 상기 통신모듈(90)을 통해 통화 상대방의 이동통신 단말기로 전송되도록 한다. On the other hand, the input and output control unit 11 so that the voice signal received through the communication module 90 is restored and converted through the voice processing unit 30 is output to the speaker 50, from the microphone 40 The input voice data is compressed and converted by the voice processing unit 30 and transmitted to the mobile communication terminal of the call counterpart via the communication module 90.

특히, 상기 입출력제어부(11)는 상기 마이크(40)를 통해 입력된 음성데이터가 상기 음성처리부(30)에 의해 변환된 후 상기 음성인식부(20)로 입력되도록 하고, 상기 통신모듈(90)을 통해 수신되는 음성신호가 상기 음성인식부(20)로 입력되도록 한다. In particular, the input / output control unit 11 allows the voice data input through the microphone 40 to be converted by the voice processing unit 30 and then input to the voice recognition unit 20, and the communication module 90 The voice signal received through the input to the voice recognition unit 20.

여기서, 상기 입출력제어부(11)는 상기 키입력부(60)에 음성인식 버튼이 구비되는 경우, 상기 음성인식 버튼이 조작되는 경우에만 상기 마이크(40)로부터 입력되는 음성데이터 또는 수신되는 음성데이터가 상기 음석인식부(20)로 입력되어 음성인식이 수행되도록 한다. Here, the input / output control unit 11 is provided with a voice recognition button in the key input unit 60, the voice data input from the microphone 40 or received voice data only when the voice recognition button is operated It is input to the speech recognition unit 20 to perform speech recognition.

또한, 상기 입출력제어부(11)는 상기 데이터 처리부(12)에 의해 검색된 상기 인식데이터에 대한 검색결과가 상기 표시부(70)를 통해 목록으로 출력되도록 한다. In addition, the input / output control unit 11 allows the search results for the recognition data searched by the data processing unit 12 to be output as a list through the display unit 70.

여기서, 상기 입출력제어부(11)는 설정에 따라 통화 중 또는 통화 완료 후에 상기 검색결과 데이터를 상기 표시부(70)를 통해 출력하며, 검색결과 데이터의 목록 중 상기 키입력부(60)의 입력에 따라 선택된 특정 데이터에 대한 정보를 상기 데이터 처리부(12)에 전달한다.Here, the input / output control unit 11 outputs the search result data through the display unit 70 during a call or after a call is completed according to a setting, and selected according to an input of the key input unit 60 from a list of search result data. Information about specific data is transmitted to the data processor 12.

이때, 상기 입출력제어부(11)는 상기 데이터처리부(12)에 의해 검색된 검색결과데이터가 다수 인 경우 이를 목록으로 생성하여 상기 표시부(70)를 통해 출력한다.At this time, the input / output control unit 11 generates a list of the search result data searched by the data processing unit 12 and outputs the list through the display unit 70.

또한, 상기 입출력제어부(11)는 통화 중 또는 통화 완료 후, 상기 데이터 처리부(12)에 의해 변환된 메시지가 키입력에 따라, 상기 통신모듈(90)을 통해 상기 통화 상대방의 이동통신 단말기로 전송되도록 한다. In addition, the input / output control unit 11 transmits the message converted by the data processing unit 12 to the mobile communication terminal of the call counterpart via the communication module 90 according to a key input during or during a call. Be sure to

상기 이동통신 단말기의 음성인식에 따른 데이터 검색의 실시예는 도 2 및 도 3에 도시된 바와 같이, 상기 데이터 처리부(12)에 의한 검색결과가 상기 표시부(70)를 통해 출력된다. In the embodiment of the data search according to the voice recognition of the mobile communication terminal, as shown in FIGS. 2 and 3, the search result by the data processor 12 is output through the display unit 70.

상기 이동통신 단말기는 '홍길동'음성이 상기 마이크(40)로부터 입력되거나 또는 통화중 수신되어 입력되는 경우, 음성을 인식하여 문자로 변환하고 저장된 데이터로부터 검색하여 도 2a 에 도시된 바와 같이, '홍길동'에 대한 검색결과를 출력한다. 이때, 상기 이동통신 단말기는 '홍길동' 이름과 함께 저장된 전화번호, 이메일 등이 함께 검색되어, 통화 중 또는 통화 완료 후 화면에 표시된다. When the 'hong gil dong' voice is input from the microphone 40 or received during a call, the mobile terminal recognizes the voice, converts it into a text, and retrieves it from the stored data, as shown in FIG. 2A. Print the search results for '. In this case, the mobile communication terminal is searched with the stored phone number, email, etc. together with the name 'hong gil dong' and displayed on the screen during or after the call is completed.

또한, 도 2b에 도시된 바와 같이, 상기 검색된 결과를 통화 상대방의 이동통신 단말기로 메시지로 전송할지 여부를 선택 입력받아, 상기 검색결과를 메시지로 전송하게 된다. 이때, 설정에 따라 통화 중 또는 통화 완료 후 메시지를 전송한다.In addition, as shown in Figure 2b, and receives the selection whether or not to send the search results to the mobile communication terminal of the call partner in the message, and transmits the search results in the message. At this time, the message is transmitted during the call or after the call is completed according to the setting.

도 3에 도시된 바와 같이, 상기 이동통신 단말기는 '홍길동'을 포함하는 이미지 파일이 검색되는 경우에는, 이를 목록으로 출력하며 상기 다수의 목록 중 선택된 하나 이상의 데이터를 멀티미디어 메시지(MMS)로 변환하여 전송하게 된다.As shown in FIG. 3, when the image file including 'Hong Gil-dong' is searched, the mobile terminal outputs it as a list and converts one or more data selected from the plurality of lists into a multimedia message (MMS). Will be sent.

상기와 같이 구성된 본 발명의 동작을 살펴보면 다음과 같다. 도 4 는 본 발명에 따른 이동통신 단말기의 음성인식에 따른 데이터 검색방법이 도시된 순서도이다.Looking at the operation of the present invention configured as described above are as follows. 4 is a flowchart illustrating a data retrieval method according to voice recognition of a mobile communication terminal according to the present invention.

통화가 발신 또는 착신되어 음성통화가 수행되면, 통화 중 입력되는 음성을 인식한다. (S1 내지 S3)When a call is made or received and a voice call is performed, the voice that is input during the call is recognized. (S1 to S3)

여기서, 이동통신 단말기는 구비되는 다수의 키버튼 중 특정 키버튼이 음성인식 버튼으로 설정되거나 별도로 구비되는 경우에는, 상기 음성인식 버튼 조작시 입력되는 음성을 인식하도록 한다. Here, when a specific key button is set as a voice recognition button or separately provided among a plurality of key buttons provided, the mobile communication terminal recognizes a voice input when the voice recognition button is operated.

즉, 상기 이동통신 단말기는 통화중 입출력되는 다수의 음성 중 음성인식 하고자 하는 음성만을 상기 음성인식 버튼을 통해 선택하여 입력할 수 있으며, 특히 구비되는 마이크를 통해 입력되는 사용자의 음성 또는 통화중 수신되는 통화 상대방의 음성을 선택적으로 인식하게 된다.That is, the mobile communication terminal may select and input only a voice to be recognized by a voice recognition button among a plurality of voices inputted and outputted during a call, and in particular, a user's voice inputted through a microphone provided or received during a call. The voice of the call counterpart is selectively recognized.

이때, 상기와 같이 선택 입력되는 음성데이터를 음성인식알고리즘에 따라 저장된 음성샘플데이터를 이용하여 음성 인식을 수행한다. 또한, 저장된 문자변환데이터를 바탕으로 상기 음성인식 된 음성데이터를 문자 데이터로 변환한다. (S4)In this case, the voice recognition is performed using the voice sample data stored according to the voice recognition algorithm. The voice recognition voice data is converted into text data based on the stored text conversion data. (S4)

상기 음성인식되어 변환된 인식데이터를 상기 이동통신 단말기에 저장된 데이터로 부터 자동으로 검색한다. (S5)The voice recognition and converted recognition data is automatically retrieved from the data stored in the mobile communication terminal. (S5)

이때, 상기 인식데이터의 일부 또는 전체가 포함되는 모든 데이터를 검색한다. 즉, 전화번호부의 이름, 전화번호, 주소, 이메일 등의 전화번호 데이터로부터 상기 인식데이터가 포함되는 데이터를 검색하고, 이미지, 동영상, 음악데이터 등의 멀티미디어 데이터의 파일 명을 검색한다. At this time, all data including some or all of the recognition data are searched. That is, data including the recognition data is retrieved from telephone number data such as names, telephone numbers, addresses, and e-mails in the telephone book, and file names of multimedia data such as images, videos, and music data are retrieved.

또한, 송수신되는 메시지의 내용 또는 제목을 검색하여 상기 인식데이터가 포함되는 메시지를 검색할 수 있다. In addition, the message including the recognition data may be searched by searching the contents or the title of the message to be transmitted and received.

설정에 따라 통화 중 또는 통화 완료 후, 검색된 데이터를 화면상에 출력한다. (S6)Depending on the setting, the retrieved data is output on the screen during or during a call. (S6)

이때, 상기 인식데이터가 포함되는 데이터 이외에도 상기 데이터와 관련된 모든 데이터가 함께 출력되며, 검색결과가 다수인 경우에는 이를 목록으로 출력한다. In this case, in addition to the data including the recognition data, all data related to the data are output together, and when there are a plurality of search results, the data is output as a list.

예를 들어, 인식데이터가 '홍길동'인 경우 상기 '홍길동'으로 검색된 이름, 이름과 함께 저장되는 전화번호, 이메일, 주소 등의 전화번호 데이터를 함께 출력한다. For example, when the recognition data is 'Hong Gil-Dong', the phone number data such as a name searched for the 'Hong Gil-Dong', a phone number stored with the name, an e-mail, an address, etc. are output together.

또한, '홍길동'에 등록된 이미지 또는 아이콘이 검색되는 경우 상기 전화번호 데이터와 함께 이미지를 출력하며, 별도의 이미지, 동영상, 또는 음악데이터가 존재하는 경우 이를 목록으로 출력한다.In addition, when the image or icon registered in 'Hong Gil-dong' is searched, an image is output along with the phone number data, and if there is a separate image, video, or music data, the image is output as a list.

다수의 검색결과 중 선택되는 하나 이상의 데이터를 데이터 형식에 따라 메 시지로 변환한다. One or more data selected from a plurality of search results are converted into messages according to the data format.

여기서, 상기 검색된 데이터는 단문메시지(SMS), 장문메시지(LMS), 멀티미디어 메시지(MMS) 중 어느 하나의 메시지 형태로 변환된다. In this case, the retrieved data is converted into any one of a short message (SMS), a long message (LMS), and a multimedia message (MMS).

예를 들어, '홍길동'에 대한 검색결과가 이름과 전화번호인 경우, 짧은 문자 데이터이므로 단문메시지(SMS)로 변환하고, '홍길동'에 대한 이름, 전화번호, 주소, 이메일, 생일이 포함된 전화번호 데이터가 검색된 경우에는 문자 데이터의 크기가 크므로 장문메시지(LMS) 또는 멀티미디어메시지(MMS)로 변환한다. For example, if your search results for "Hong Gil-dong" are names and phone numbers, convert them to short messages (SMS) because they are short text data, and include names, phone numbers, addresses, emails, and birthdays for "Hong Gil-dong." If the phone number data is retrieved, the text data is large and converted into a long message (LMS) or a multimedia message (MMS).

또한, 상기 '홍길동' 전화번호 데이터에 이미지가 포함되는 경우에는 멀티미디어 메시지(MMS)로 변환한다. In addition, when an image is included in the 'hong gil dong' telephone number data, it is converted into a multimedia message (MMS).

설정에 따라 통화 중 또는 통화 완료 후, 상기 변환된 메시지를 통화 상대방의 이동통신 단말기로 전송한다. (S7)Depending on the setting, during the call or after the call is completed, the converted message is transmitted to the mobile communication terminal of the call counterpart. (S7)

따라서, 본 발명에 따른 상기 이동통신 단말기 및 그 동작방법은 통화중에도 음성인식을 통해 저장된 데이터를 자동으로 검색할 수 있으며, 검색결과를 화면에 출력하여 확인하여 음성통화를 통해 통화 상대방에게 바로 전달하거나, 상기 검색결과를 통화 상대방의 이동통신 단말기로 메시지로 전송함으로서, 통화중 데이터 검색 및 저장된 데이터의 공유가 용이하게 된다.Therefore, the mobile communication terminal and its operation method according to the present invention can automatically search stored data through voice recognition during a call, and output the search results on the screen to confirm and deliver the result directly to the call counterpart via a voice call. By transmitting the search result as a message to the mobile communication terminal of the call counterpart, it is easy to search for data during the call and share the stored data.

이상과 같이 본 발명에 의한 데이터 검색기능이 구비된 이동통신 단말기 및 그 동작방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다. As described above, the mobile communication terminal equipped with a data retrieval function according to the present invention and its operation method have been described with reference to the illustrated drawings, but the present invention is not limited by the embodiments and drawings disclosed herein, It can be applied within the scope of protection.

상기와 같이 구성되는 본 발명에 따른 데이터 검색기능이 구비된 이동통신 단말기 및 그 동작방법은 통화 중 데이터 검색을 요청받거나, 검색하고자 하는 데이터가 존재하는 경우, 별도의 키조작 없이도 입력되는 음성 또는 수신되는 상대방의 음성을 인식하여 데이터를 자동으로 검색하고 결과를 출력함으로서, 통화중에도 데이터 검색이 용이하고 데이터의 접근성이 향상되며, 검색된 데이터를 통화중 또는 통화완료시 메시지로 전송함으로서, 저장된 데이터의 공유가 용이하여 사용자의 편의성이 향상되는 효과가 있다.The mobile communication terminal and its operation method equipped with a data search function according to the present invention configured as described above are requested to search for data during a call or, if there is data to be searched, a voice or a received signal is input without a separate key operation. By recognizing the voice of the other party and automatically retrieving the data and outputting the results, it is easy to retrieve the data and improves the accessibility of the data during the call, and the stored data is shared by transmitting the retrieved data as a message during the call or when the call is completed. It is easy to improve the user's convenience.

Claims (15)

다수의 음성 중 특정 음성만을 선택하기 위한 음성인식 버튼;A voice recognition button for selecting only a specific voice among a plurality of voices; 마이크를 통해 입력되는 음성 또는 통화중 수신되는 음성을 인식하여 문자로 변환하는 음성인식부;A voice recognition unit for recognizing a voice input through a microphone or a voice received during a call and converting the voice into a text; 통화중, 상기 음성인식 버튼 조작 시 입력되는 음성 또는 수신되는 음성에 대하여 상기 음성인식부에 의해 음성인식이 수행되도록 하고, 상기 음성인식부를 통해 음성 인식된 데이터를 자동 검색하여 검색된 데이터가 전송되도록 하는 제어부; 및During a call, voice recognition is performed by the voice recognition unit on the input voice or the received voice during the voice recognition button operation, and the voice recognition unit is automatically searched to transmit the retrieved data. Control unit; And 상기 검색된 데이터를 화면에 출력하는 표시부를 포함하는 데이터 검색기능이 구비된 이동통신 단말기. A mobile communication terminal having a data search function comprising a display unit for outputting the retrieved data on the screen. 삭제delete 제 1 항에 있어서, The method of claim 1, 상기 제어부는 상기 음성 인식된 데이터를 바탕으로, 저장된 데이터 중 상기 음성 인식된 데이터의 일부 또는 전체가 포함되는 데이터를 검색하고, 검색된 데이터를 메시지로 변환하는 데이터 처리부와;The controller may further include: a data processor configured to search for data including some or all of the voice recognized data based on the voice recognized data and convert the retrieved data into a message; 통화 중 또는 통화 완료 후, 상기 검색된 데이터가 상기 표시부를 통해 출력되도록 하는 입출력 제어부를 포함하여 구성되는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기.And an input / output control unit configured to output the searched data through the display unit during a call or after a call is completed. 제 3 항에 있어서, The method of claim 3, wherein 상기 데이터 처리부는 검색된 데이터를 형식에 따라 단문메시지(SMS), 장문메시지(LMS), 멀티미디어메시지(MMS) 중 적어도 하나 이상의 메시지 형태로 변환하는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기.The data processor is a mobile communication terminal having a data retrieval function, characterized in that for converting the retrieved data into at least one or more of the message type of short message (SMS), palm print (LMS), multimedia message (MMS). 제 3 항에 있어서, The method of claim 3, wherein 상기 데이터 처리부는 저장된 이미지, 동영상, 벨소리, 음성파일로부터 상기 음성 인식된 데이터를 검색하는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기.The data processor is a mobile communication terminal having a data retrieval function, characterized in that for retrieving the voice recognition data from the stored image, video, ringtone, voice file. 제 3 항에 있어서, The method of claim 3, wherein 상기 데이터 처리부는 저장된 전화번호부의 이름, 주소, 이메일, 전화번호로부터 상기 음성 인식된 데이터를 검색하는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기.And the data processor retrieves the voice-recognized data from the name, address, e-mail, and phone number of the stored phone book. 제 3 항에 있어서, The method of claim 3, wherein 상기 입출력 제어부는 통화 중 또는 통화완료 후, 상기 데이터 처리부에 의해 변환되는 메시지가 통화 상대방의 이동통신 단말기로 전송되도록 하는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기.The input / output controller is a mobile communication terminal having a data retrieval function, characterized in that the message converted by the data processing unit is transmitted to the mobile communication terminal of the call counterpart during or after the call is completed. 삭제delete 삭제delete 통화중, 음성인식버튼 조작 시 마이크를 통해 입력되는 음성 또는 수신되는 음성을 인식하는 제 1 단계;A first step of recognizing a voice input or a voice received through a microphone during a voice recognition button operation during a call; 음성 인식된 데이터에 따라 저장된 데이터를 자동 검색하는 제 2 단계; 및A second step of automatically retrieving the stored data according to the voice recognized data; And 검색된 데이터가 화면에 출력되고, 상대방 이동통신 단말기로 전송되는 제 3 단계를 포함하는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기의 동작방법.And a third step of outputting the retrieved data on the screen and transmitting the data to the counterpart mobile communication terminal. 제 10 항에 있어서, 11. The method of claim 10, 상기 제 1 단계는 음성을 인식하여, 인식된 음성을 문자로 변환하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기의 동작방법.The first step is a method of operating a mobile communication terminal equipped with a data search function, characterized in that further comprising the step of recognizing a voice, converting the recognized voice into a text. 삭제delete 삭제delete 제 10 항에 있어서, 11. The method of claim 10, 상기 제 2 단계는 상기 음성 인식된 데이터의 일부 또는 전체가 포함되는 전화번호, 이름, 이메일, 주소를 포함하는 전화번호데이터 및 이미지, 동영상, 메시지, 음악성파일을 포함하는 멀티미디어 데이터를 검색하는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기의 동작방법.The second step is to search the phone number data including the phone number, name, e-mail, address including a part or all of the voice recognized data and multimedia data including images, videos, messages, music files Method of operation of a mobile communication terminal equipped with a data retrieval function. 제 10 항에 있어서, 11. The method of claim 10, 상기 제 3 단계는 검색된 데이터가 화면에 출력되는 제 1 과정과;The third step may include a first process of outputting searched data on a screen; 상기 검색된 데이터의 형식에 따라 메시지로 변환하는 제 2 과정과;A second step of converting the message into a message according to a format of the retrieved data; 통화 중 또는 통화완료 후, 상기 변환된 메시지가 상대방 이동통신 단말기로 전송되는 제 3 과정을 포함하여 이루어지는 것을 특징으로 하는 데이터 검색기능이 구비된 이동통신 단말기의 동작방법.And a third process of transmitting the converted message to a counterpart mobile communication terminal during a call or after a call is completed.
KR1020050085817A 2005-09-14 2005-09-14 Mobile communication terminal enable to search data and its operating method KR101133620B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050085817A KR101133620B1 (en) 2005-09-14 2005-09-14 Mobile communication terminal enable to search data and its operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050085817A KR101133620B1 (en) 2005-09-14 2005-09-14 Mobile communication terminal enable to search data and its operating method

Publications (2)

Publication Number Publication Date
KR20070031117A KR20070031117A (en) 2007-03-19
KR101133620B1 true KR101133620B1 (en) 2012-04-10

Family

ID=43655544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050085817A KR101133620B1 (en) 2005-09-14 2005-09-14 Mobile communication terminal enable to search data and its operating method

Country Status (1)

Country Link
KR (1) KR101133620B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140122558A (en) * 2013-04-10 2014-10-20 엘지전자 주식회사 Information providing apparatus and method thereof
KR101763227B1 (en) 2013-03-15 2017-07-31 엘지전자 주식회사 Mobile terminal and method for controlling the same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677630B1 (en) * 2010-06-14 2016-11-18 엘지전자 주식회사 Apparatus for displaying information by using voice recognition
KR101771013B1 (en) 2011-06-09 2017-08-24 삼성전자 주식회사 Information providing method and mobile telecommunication terminal therefor
KR101984094B1 (en) * 2012-11-13 2019-05-30 엘지전자 주식회사 Mobile terminal and control method thereof
KR20140078258A (en) 2012-12-17 2014-06-25 한국전자통신연구원 Apparatus and method for controlling mobile device by conversation recognition, and apparatus for providing information by conversation recognition during a meeting

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020066805A (en) * 2001-02-14 2002-08-21 삼성전자 주식회사 Apparatus for transferring short message using speech recognition in portable telephone system and method thereof
KR20030018729A (en) * 2001-08-31 2003-03-06 아시아먼 주식회사 Method for information search/send on line of mobile phone
KR20030024006A (en) * 2001-09-14 2003-03-26 엘지전자 주식회사 Method for sharing the phone number captured in mobile phone
KR20040089232A (en) * 2003-04-11 2004-10-21 엘지전자 주식회사 method for sending phone number on line

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020066805A (en) * 2001-02-14 2002-08-21 삼성전자 주식회사 Apparatus for transferring short message using speech recognition in portable telephone system and method thereof
KR20030018729A (en) * 2001-08-31 2003-03-06 아시아먼 주식회사 Method for information search/send on line of mobile phone
KR20030024006A (en) * 2001-09-14 2003-03-26 엘지전자 주식회사 Method for sharing the phone number captured in mobile phone
KR20040089232A (en) * 2003-04-11 2004-10-21 엘지전자 주식회사 method for sending phone number on line

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101763227B1 (en) 2013-03-15 2017-07-31 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20140122558A (en) * 2013-04-10 2014-10-20 엘지전자 주식회사 Information providing apparatus and method thereof
KR102010297B1 (en) * 2013-04-10 2019-08-13 엘지전자 주식회사 Information providing apparatus and method thereof

Also Published As

Publication number Publication date
KR20070031117A (en) 2007-03-19

Similar Documents

Publication Publication Date Title
JP5431645B2 (en) Privacy protection device with hands-free function
KR100800663B1 (en) Method for transmitting and receipt message in mobile communication terminal
KR100689396B1 (en) Apparatus and method of managing call history using speech recognition
US20070101296A1 (en) Method for displaying menus in a portable terminal
JP2008544629A (en) Mobile communication terminal and method for providing a hyperlink function to a telephone number included in a text message
KR100365860B1 (en) Method for transmitting message in mobile terminal
US7809392B2 (en) Text and voice capable mobile communication device
US20110117941A1 (en) Information sharing during calling
WO2003015383A2 (en) Communication recording and playback in a communication device
WO2009088455A1 (en) Systems, methods and apparatus for providing unread message alerts
KR101133620B1 (en) Mobile communication terminal enable to search data and its operating method
KR20070106162A (en) Method and device for image displaying in wireless terminal
KR20070106524A (en) Mobile terminal
US20070173241A1 (en) Transmission of database records between mobile communication terminals
KR20040089232A (en) method for sending phone number on line
US8069189B2 (en) Portable terminal
JP3863537B2 (en) Network terminal
JP4493617B2 (en) Telephone
US8385523B2 (en) System and method to facilitate voice message retrieval
JP5119813B2 (en) Telephone device that can operate the phone book function during a call
KR20050101099A (en) Wireless telecommunication terminal and method for unified messaging service
KR100645765B1 (en) Method for automatic updating a phone-call details
KR100630201B1 (en) Method for selecting and forwarding the data in wireless terminal
KR101211000B1 (en) Mobile communication system enable to transmit of message and its operating method
KR100506282B1 (en) Telephone number editing method using the short message

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180223

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee