KR100829583B1 - Method and apparatus to memo for call contents automatically, and method and apparatus to display call list - Google Patents

Method and apparatus to memo for call contents automatically, and method and apparatus to display call list Download PDF

Info

Publication number
KR100829583B1
KR100829583B1 KR1020060124107A KR20060124107A KR100829583B1 KR 100829583 B1 KR100829583 B1 KR 100829583B1 KR 1020060124107 A KR1020060124107 A KR 1020060124107A KR 20060124107 A KR20060124107 A KR 20060124107A KR 100829583 B1 KR100829583 B1 KR 100829583B1
Authority
KR
South Korea
Prior art keywords
call
voice
received
voice signal
control signal
Prior art date
Application number
KR1020060124107A
Other languages
Korean (ko)
Inventor
정소영
고상철
조정미
김정수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060124107A priority Critical patent/KR100829583B1/en
Application granted granted Critical
Publication of KR100829583B1 publication Critical patent/KR100829583B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/64Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/65Recording arrangements for recording a message from the calling party
    • H04M1/6505Recording arrangements for recording a message from the calling party storing speech in digital form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Abstract

A method and device for automatically noting down telephone call contents, a call list display method, and a device therefor are provided to display stored memo information for a user in case a call list is inquired about after a call is terminated, thus the user can confirm call contents together with call details through displayed core word text memos. Call zones for interpreting a voice signal are set(102-110). The voice signal transceived in the set call zones is interpreted to extract core words included in the transceived voice signal(112). The extracted core words are set to memos, so that the set memos are stored(114). When a call is terminated, the stored memos are displayed(116,118). It is determined whether the displayed memos are tagged(120). The displayed memos are modified by a user(122).

Description

전화 통화 내용을 자동으로 메모하는 방법 및 장치, 통화 목록 표시 방법 및 장치{Method and apparatus to memo for call contents automatically, and method and apparatus to display call list}Method and apparatus to memo for call contents automatically, and method and apparatus to display call list}

도 1은 본 발명의 바람직한 일 실시예에 따라 전화 통화 내용을 자동으로 메모하는 방법을 나타낸 도면이다. 1 is a diagram illustrating a method for automatically memoizing the contents of a telephone call according to an exemplary embodiment of the present invention.

도 2는 본 발명의 바람직한 일 실시예에 따라 휴대폰에서 음성 메모가 저장되는 것을 표시한 도면이다. 2 is a view showing that the voice memo is stored in the mobile phone according to an embodiment of the present invention.

도 3은 본 발명의 바람직한 일 실시예에 따라 핵심어를 추출하는 방법을 나타낸 도면이다. 3 is a diagram illustrating a method of extracting a key word according to an exemplary embodiment of the present invention.

도 4는 본 발명의 바람직한 일 실시예에 따라 화면에 표시되는 핵심어를 나타낸 도면이다. 4 illustrates key words displayed on a screen according to an exemplary embodiment of the present invention.

도 5는 본 발명의 바람직한 일 실시예에 따라 통화 목록을 표시하는 방법을 나타낸 도면이다. 5 is a diagram illustrating a method of displaying a call list according to an exemplary embodiment of the present invention.

도 6a는 본 발명의 바람직한 일 실시예에 따라 화면에 표시되는 통화 목록을 나타낸 도면이다. 6A is a diagram illustrating a call list displayed on a screen according to an exemplary embodiment of the present invention.

도 6b는 본 발명의 바람직한 일 실시예에 따라 화면에 표시되는 통화 내역을 나타낸 도면이다. 6B is a diagram illustrating a call history displayed on a screen according to an exemplary embodiment of the present invention.

도 7은 본 발명의 바람직한 일 실시예에 따라 전화 통화 내용을 자동으로 메모하는 장치를 나타낸 도면이다. 7 is a diagram illustrating an apparatus for automatically memorizing the contents of a phone call according to an exemplary embodiment of the present invention.

도 8은 본 발명의 바람직한 일 실시예에 따라 통화 목록을 표시하는 장치를 나타낸 도면이다. 8 is a diagram illustrating an apparatus for displaying a call list according to an exemplary embodiment of the present invention.

본 발명은 전화 통화 내용을 자동으로 메모하는 방법 및 장치, 통화 목록 표시 방법 및 장치에 관한 것으로, 보다 상세하게는 전화 통화 중 사용자가 원하는 핵심어를 텍스트 메모 형태로 저장하고, 사용자가 통화 목록을 조회하는 경우 통화 기록과 함께 저장된 메모를 표시해주는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for automatically memorizing the contents of a phone call, a method and a device for displaying a call list, and more particularly, to store key words desired by a user in a text memo form during a phone call, and the user inquires a call list. The present invention relates to a method and an apparatus for displaying a memo stored together with a call log.

휴대폰의 보급이 늘어나고, 시간과 장소를 가리지 않고 상대방과 통화하는 것이 가능해짐에 따라 통화 내용을 저장하려는 기술들이 발전하고 있다. 종래에는 통화 내용을 메모하기 위해서는 펜과 종이가 필요했었는데, 이를 개선하여 펜과 종이를 구비하지 않고도 통화 내용을 메모하는 많은 방법들이 개시되었다. 이러한 방법 중의 하나로 특정 버튼을 누름으로써, 통화 내용이 음성화일로 저장되는 방법이 개시되었다. 또한, 자동차 환경에서 사용자가 통화 하는 경우, 상대방과의 통화 내용을 자동으로 저장하고, 자동차의 카 스테레오를 통해 보이스(Voice) 메모를 재생하는 방법도 개시되었다. 한편, 걷거나 운전 중 휴대폰 통화 시 중요한 내용을 메모하기 위한 방법으로, 특정한 버튼들(삭제, 재생, 저장 등)을 장착하여, 이 버튼 을 통해 특정 구간의 음성 내용을 저장하고, 나중에 필요시 재생하거나 삭제할 수 있도록 하는 방법이 개시되었다. 그러나, 상기와 같은 종래 기술들은 사용자가 통화 시 중요한 통화 내용을 음성 메모 버튼을 통해 저장하고, 이후에 검색할 수 있는 방법과 시스템을 제시하고 있지만, 통화 목록 조회 시 직접 사용자가 저장된 음성 메모를 스피커를 통해 들어봐야만 통화 내용이 무엇인지 파악할 수 있는 문제점이 있었다. As the popularity of mobile phones increases and it becomes possible to talk to the other party anytime and anywhere, technologies for storing call contents are being developed. In the past, a pen and paper were required to memoize the contents of the call. Thus, many methods for recording the contents of the call without having a pen and paper have been disclosed. By pressing a specific button in one of these methods, a method of storing a call content as a voice file has been disclosed. In addition, when a user makes a call in an automobile environment, a method of automatically storing a conversation with a counterpart and playing a voice memo through a car stereo of a vehicle has also been disclosed. On the other hand, as a way to take note of important information when talking on the mobile phone while walking or driving, it is equipped with specific buttons (delete, play, save, etc.) to save the voice content of a certain section through this button, and to play it later if necessary Disclosed is a method for enabling deletion. However, the above-described prior arts suggest a method and a system in which a user can store important call contents in a call through a voice memo button and retrieve the call, but the user can directly store a stored voice memo in a call list inquiry. There was a problem that you can hear through to hear what the call is.

한편, 음성 통화시 음성 신호에 포함된 숫자음을 음성 인식을 통하여 검출하여, 표시 창에 전화번호나 주민번호 등 중요한 숫자를 저장하는 번호 표시 방법도 개시되었다. 이 방법은 음성 통화에서 숫자를 기억하기 어려운 점과, 인식 대상 어휘를 숫자로 한정함으로써 숫자와 관련된 음성 메모가 자동적으로 수행되도록 할 수 있다. 또한, 이 방법은 음성 통화 시 숫자 관련된 통화 내용을 자동으로 음성 인식을 통해 텍스트로 저장하고, 이후 쉽게 검색할 수 있는 방법을 제시하고 있다. 그러나, 숫자 이외에 중요한 통화 내용이 있을 경우, 자동적으로 메모하고, 통화 종료 후 확인하고자 할 때에는 이용할 수 없다는 문제점이 있었다. Meanwhile, a number display method for detecting a number sound included in a voice signal during a voice call through voice recognition and storing important numbers such as a phone number or a social security number in a display window is also disclosed. In this method, it is difficult to memorize a number in a voice call, and the voice memo associated with the number can be automatically performed by limiting the recognition target vocabulary to the number. In addition, this method suggests a method of automatically storing texts related to numbers during voice calls as texts through voice recognition, and for easy retrieval afterwards. However, if there are important call contents other than numbers, there is a problem that can not be used when you want to automatically note and confirm after the call.

본 발명이 이루고자 하는 기술적 과제는 음성 인식 기술, 핵심어 추출 기술을 이용하여, 사용자가 텍스트 정보로 저장하기를 원하는 통화 내용을 자동으로 메모할 수 있는 방법 및 장치를 제공하는데 있다. An object of the present invention is to provide a method and apparatus for automatically memoizing a call content that a user wants to save as text information by using a voice recognition technology and a keyword extraction technology.

또한, 통화 종료 후, 통화 목록 조회 시 사용자에게 저장된 메모 정보를 디스플레이(Display)함으로서, 사용자에게 발신자 전화 번호, 통화 시간 등의 통화 내역과 함께 통화 내용이 무엇인지를 표시된 핵심어 텍스트 메모를 통해 확인할 수있도록 하는 방법 및 장치를 제공하는데 있다. In addition, by displaying the memo information stored to the user when the call list is viewed after the call is terminated, the user can check the call details such as the caller's phone number and the call time, and the key word text memo indicating the contents of the call. To provide a method and an apparatus.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다. Further, the present invention provides a computer-readable recording medium having recorded thereon a program for executing the above method on a computer.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. Technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art to which the present invention pertains. .

상기 문제점을 해결하기 위한 본 발명에 따른 전화 통화 내용을 자동으로 저장하는 방법은 음성 신호를 해석하기 위한 통화 구간을 설정하는 단계; 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 단계; 및 상기 추출된 핵심어들을 메모로 설정하여 저장하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method of automatically storing a telephone call content, the method comprising: setting a call interval for interpreting a voice signal; Extracting key words included in the transmitted / received voice signal by analyzing voice signals transmitted and received in the set call period; And setting and extracting the extracted key words as a memo.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 전화 통화 내용을 자동으로 저장하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. In order to solve the above other technical problem, there is provided a computer-readable recording medium having recorded thereon a program for executing a method for automatically storing the phone call content according to the present invention.

상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 통화 목록을 표시하는 방법은 음성 신호를 해석하기 위한 통화 구간을 설정하는 단계; 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 단계; 상기 추출된 핵심어들을 메모로 설정하여 저 장하는 단계; 및 상기 저장된 메모와 대응되는 통화 내역에 상기 저장된 메모를 각각 부가하여 통화 목록으로 표시하는 단계를 포함한다. In order to solve the another technical problem, the method for displaying a call list according to the present invention comprises the steps of setting a call interval for interpreting a voice signal; Extracting key words included in the transmitted / received voice signal by analyzing voice signals transmitted and received in the set call period; Storing the extracted key words as memos; And adding each of the stored memos to the call history corresponding to the stored memos and displaying the call list.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 통화 목록을 표시하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. In order to solve the other technical problem, there is provided a computer-readable recording medium recording a program for executing a method for displaying a call list according to the present invention on a computer.

상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 전화 통화 내용을 자동으로 저장하는 장치는 음성 신호를 해석하기 위한 통화 구간을 설정하는 통화 구간 설정부; 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 핵심어 추출부; 및 상기 추출된 핵심어들을 메모로 저장하는 저장부를 포함한다. In order to solve the another technical problem, the apparatus for automatically storing the telephone call content according to the present invention comprises a call section setting unit for setting a call section for interpreting a voice signal; A key word extracting unit for extracting key words included in the transmitted and received voice signals by analyzing voice signals transmitted and received in the set call period; And a storage unit for storing the extracted key words as a memo.

상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 통화 목록을 표시하는 장치는 음성 신호를 해석하기 위한 통화 구간을 설정하는 통화 구간 설정부; 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 핵심어 추출부; 상기 추출된 핵심어들을 메모로 설정하여 저장하는 저장부; 및 상기 저장된 메모와 대응되는 통화 내역에 상기 저장된 메모를 각각 부가하여 통화 목록으로 표시하는 화면 제어부를 포함한다. In order to solve the another technical problem, the apparatus for displaying a call list according to the present invention includes a call section setting unit for setting a call section for interpreting a voice signal; A key word extracting unit for extracting key words included in the transmitted and received voice signals by analyzing voice signals transmitted and received in the set call period; A storage unit configured to store the extracted key words as memos; And a screen controller configured to add the stored memos to the call history corresponding to the stored memos and display them in a call list.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 일 실시예에 따라 전화 통화 내용을 자동으로 메모하는 방법을 나타낸 도면이다. 1 is a diagram illustrating a method for automatically memoizing the contents of a telephone call according to an exemplary embodiment of the present invention.

사용자가 전화 통화를 시작하면, 제 102 단계에서 전화 통화가 진행된다. When the user starts a phone call, the phone call proceeds in step 102.

사용자는 전화 통화 중에 메모할 내용이라는 판단이 들면, 제 104 단계에서 메모 저장 버튼을 누른다. 즉, 사용자는 전화 통화 중에 중요한 전화 통화 내용이어서 메모로 저장할 필요가 있다는 판단이 들면, 메모 저장 버튼을 누른다. If the user determines that the content is to be memorized during a phone call, the user presses the save memo button in step 104. That is, when the user determines that the phone call is important during the phone call and needs to be saved as a memo, the user presses the memo save button.

제 106 단계에서 메모 저장 버튼을 누른 시점 이후, 전화 통화 시 송수신되는 음성 신호를 녹음한다. After the point in time at which the memo storage button is pressed in step 106, a voice signal transmitted and received during a phone call is recorded.

도 2는 본 발명의 바람직한 일 실시예에 따라 휴대폰에서 음성 메모가 저장되는 것을 표시한 도면이다. 2 is a view showing that the voice memo is stored in the mobile phone according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 휴대폰의 측면에 메모 저장 버튼(200)이 존재하고, 사용자가 제 104 단계에서 메모 저장 버튼(200)을 누르면, 도 2의 화면(210)에 표시된 바와 같이, 사용자가 통화한 내용이 녹음된다. 본 발명의 일 실시예에서는 메모 저장 버튼을 누를 때, 통화 내용이 녹음되는 것으로 설정하였으나, 메모 저장 버튼에 대응하지 않고, 별도의 버튼에 의해서 녹음되도록 설정할 수도 있다. As shown in FIG. 2, when the memo save button 200 exists on the side of the mobile phone and the user presses the memo save button 200 in step 104, the user may display the screen 210 of FIG. 2. The call is recorded. In an embodiment of the present invention, when the memo save button is pressed, the contents of the call are set to be recorded. However, the memo save button may be set to be recorded by a separate button.

제 108 단계에서 사용자가 누른 메모 저장 버튼을 해제하면, 전화 통화 시 송수신되는 음성 신호의 녹음을 중단한다. 즉, 전화 통화 시 송수신되는 음성 신호는 사용자가 메모 저장 버튼을 누른 시점부터, 사용자가 누른 메모 저장 버튼을 해제할 때 까지 녹음된다. 본 발명의 일 실시예에서는 메모 저장 버튼을 누르고, 누른 버튼을 해제할 때까지 송수신되는 음선 신호가 녹음되는 것으로 설정하였으나, 반드시 이와 같은 방법에 한정하지는 않는다. 즉, 메모 저장 버튼이 아니라 다른 버튼을 사용하여도 된다. 또한, 메모 저장 버튼을 한번 누르면, 녹음을 시작하고, 메모 저장 버튼을 다시 한번 누르면, 녹음을 중단하는 방법을 사용할 수도 있다.In operation 108, when the user presses the memo storing button pressed, recording of a voice signal transmitted and received during a phone call is stopped. That is, the voice signal transmitted and received during a phone call is recorded from the time when the user presses the memo save button until the user releases the memo save button pressed. In an embodiment of the present invention, the memo storage button is pressed and the sound signal transmitted / received until the pressed button is released is recorded, but the present invention is not limited thereto. In other words, a button other than the save memo button may be used. You can also press the Save Memo button once to start recording, and press the Save Memo button again to stop recording.

즉, 시작하는 시점을 나타내는 제어 신호와 종료하는 시점을 나타내는 제어 신호를 생성한다면, 어떤 방식을 사용하여도 무방하다. 본 발명의 일 실시예에서는 이러한 제어 신호를 생성하는데, 메모 저장 버튼을 누르고, 누른 버튼을 해제하는 방법을 사용하였다. That is, any method may be used as long as a control signal indicating the starting point and a control signal indicating the ending point are generated. In an embodiment of the present invention, a method of generating such a control signal by pressing a memo storage button and releasing the pressed button is used.

제 110 단계에서는 음성 인식할 구간 설정을 전처리한다. 본 발명의 일 실시예에서는 일반적으로 제 104 단계의 메모 저장 버튼을 누른 시점부터 제 106 단계의 메모 저장 버튼을 해제하는 시점까지를 모두 음성 인식할 구간으로 설정하여, 설정된 구간에서 송수신되는 음성 신호를 해석한다. 그러나, 제 104 단계의 메모 저장 버튼을 누른 순간 이전에 중요한 내용을 통화할 수도 있다. 이러한 경우에는 메모 저장 버튼을 누른 순간 이전의 부분까지 포함하여 음성 인식할 구간으로 설정하여야 한다. 이때에는 대화의 처음 부분을 찾거나, 이전의 짧은 시간의 통화 구간을 버러링(Buffering)하여 음성 인식을 한다. 대화의 처음을 찾는 방법으로는 음성-비음성 구간(speech-silence detection) 판별 알고리즘이나 화자 천이 구간 판별법(speaker turn detection)을 이용할 수 있다. 따라서, 음성-비음성 구간 판별 알고리즘이나 화자 천이 구간 판별법을 이용하여, 대화의 처음 부분까지도 모두 포함하여 음성 인식하는 구간으로 설정한다. 본 발명의 일 실시예에서는 제 106 단계에서 음성 신호를 녹음하고, 녹음한 음성 파일에서 음성 인식할 구간을 설정하였으나, 음성 신호를 녹음하지 않고, 음성 인식할 구간을 설정하여도 된다. 즉, 전화 통화 내용을 자동으로 메모하는 본 발명의 다른 실시예에서는 음성 신호를 녹음하 지 않고, 음성 인식할 구간을 설정한 후, 설정한 구간에서 음성 인식을 수행할 수 있다. In step 110, the section setting for speech recognition is preprocessed. In an exemplary embodiment of the present invention, a voice signal transmitted / received in a set section is set by setting a period for recognizing speech from a time point at which the memo save button of step 104 is released to a point at which the memo save button of step 106 is released. Interpret However, it is also possible to call important contents prior to the moment when the memo save button of step 104 is pressed. In this case, it is necessary to set the section to recognize the voice including the previous part when the memo storage button is pressed. At this time, the first part of the conversation is searched or the previous short time call section is buffered to perform voice recognition. As a method of finding the beginning of the conversation, a speech-silence detection algorithm or speaker turn detection may be used. Therefore, the voice-non-speech section discrimination algorithm or the speaker transition section discrimination method is used to set the speech recognition section including all the first parts of the conversation. In an embodiment of the present invention, in step 106, the voice signal is recorded and a section for recognizing the voice is recorded from the recorded voice file. However, the section for recognizing the voice may be set without recording the voice signal. That is, in another embodiment of the present invention for automatically memorizing the contents of a phone call, after recognizing a voice signal after setting a section for recognizing a voice without recording a voice signal, voice recognition may be performed in the set section.

제 112 단계에서는 설정된 구간의 음성을 인식하여 핵심어들을 추출한다. 즉, 제 110 단계에서 설정한 음성 인식 구간에서 송수신되는 음성 신호를 해석하여 송수신되는 음성신호에 포함된 핵심어를 추출한다. In operation 112, the keywords are extracted by recognizing the voice of the set section. That is, the key word included in the transmitted and received voice signal is extracted by analyzing the voice signal transmitted and received in the voice recognition section set in step 110.

도 3은 본 발명의 바람직한 일 실시예에 따라 핵심어를 추출하는 방법을 나타낸 도면이다. 본 발명의 일 실시예에서는 "수학 보강이 내일 3시반으로 잡혔어요"라는 A 문장과 "너 지난번에 갔던 피부과 위치가 어디야"라는 B 문장에서 핵심어를 추출하는 방법을 살펴본다. 3 is a diagram illustrating a method of extracting a key word according to an exemplary embodiment of the present invention. In an embodiment of the present invention looks at the method of extracting the key words from sentence A "the mathematical reinforcement was caught at 3:30 tomorrow" and sentence B "where is the dermatology you went last time".

제 300 단계에서는 '형태 분석(Morphological analysis)'을 수행한다. 즉, 사전을 이용하여 음성 신호에서 각 단어의 품사를 결정한다. A 문장에 대해서는 도 3의 301에 도시된 바와 같이 각 단어의 품사를 결정하고, B 문장에 대해서는 도 3의 302에 도시된 바와 같이 각 단어의 품사를 결정한다. In the 300th step, 'Morphological analysis' is performed. That is, the part of speech of each word is determined from the speech signal using the dictionary. For sentence A, the parts of speech of each word are determined as shown at 301 of FIG. 3, and for the sentence B, the parts of speech of each word are determined as shown at 302 of FIG. 3.

제 310 단계에서는 '구 단위로 분류(Phrase Chunking)'를 수행한다. 즉, 어휘와 품사에 기반하여 텍스트를 구 단위로 분석한다. 도 311에 도시된 바와 같이 A 문장은 3개의 구 단위로 분류하여 분석하고, B 문장 또한 도 312에 도시된 바와 같이 3개의 구 단위로 분류하여 분석한다. 분석된 텍스트의 품사와 구(phrase) 정보를 이용하여, 텍스트의 의미를 담고 있는 의미 단어(content word)와 단순히 문법적 역할을 표시하기 위한 기능 단어(functional word), 의미 전달에 꼭 필요한 핵심 구절 및 의미를 보강하기 위한 관형 구절 등을 구별할 수 있다. 따라서, 조사, 어미를 이용하여 텍스트 내 구(phrase)를 찾아내고, 찾아낸 구로부터 의미 전달에 핵심이되는 핵심 구(key phrase)를 추출한다. 문장 A에서 핵심 구는 '수학 보강 이' 및 '내일 3 시 반 으로'이고, 핵심어는 '수학', '보강', '내일', '3','시' 및 '반'이다. 문장 B에서 핵심 구는 '피부과 위치 가' 및 '어디 이 야'이고, 핵심어는 '피부과','위치' 및 '어디'이다. In step 310, 'Phrase Chunking' is performed. That is, text is analyzed in units of words based on vocabulary and parts of speech. As shown in FIG. 311, sentence A is classified and analyzed in three phrase units, and sentence B is also classified and analyzed in three phrase units as illustrated in FIG. 312. By using the part-of-speech and phrase information of the analyzed text, a content word containing the meaning of the text, a functional word to simply indicate the grammatical role, a key phrase essential for the meaning transfer, and You can distinguish tubular passages to reinforce meaning. Therefore, the phrases in the text are searched using the survey and the ending, and the key phrases that are the key to the conveyance of meanings are extracted from the found phrases. In sentence A, the key phrases are 'reinforce math' and 'to 3:30 tomorrow', and the key words are 'math', 'reinforcement', 'tomorrow', '3', 'poetry' and 'half'. In sentence B, the key phrases are 'dermatological position' and 'where are you', and the key words are 'dermatology', 'position' and 'where'.

제 320 단계에서는 '핵심어 추출(Keywords Extraction)'를 수행한다. 즉, '핵심 구'를 추출한 후, '핵심 구'내의 핵심어를 추출한다. 추출된 핵심구로부터 키워드 익스트랙션 템플릿(keyword extraction template)을 이용하여 실질 의미를 반영하는 핵심어를 추출한다. 도 321에 도시된 바와 같이, A 문장에서 추출한 핵심어들은 '수학', '보강', '내일' 및 '3시 반'이 된다. B 문장에서 추출한 핵심어들은 도 322에 도시된 바와 같이, '피부과', '위치' 및 '어디'가 된다. In operation 320, 'keywords extraction' is performed. That is, after extracting the 'core phrase', the key word in the 'core phrase' is extracted. From the extracted key phrases, the keyword extraction template is used to extract key words that reflect the actual meaning. As shown in FIG. 321, the key words extracted from the sentence A are 'math', 'reinforcement', 'tomorrow' and '30: 30 '. Key words extracted from the sentence B are 'dermatology', 'position' and 'where' as shown in FIG.

다시 도 1을 참조하면, 제 114 단계에서 추출한 핵심어들을 전화 통화의 메모로 설정하여 저장한다. 제 112 단계에서 추출한 핵심어들은 사용자가 중요한 통화 내용이라고 판단한 구간에서 송수신되는 음성 신호에 포함된 단어들이다. 즉, 제 112 단계에서 추출한 핵심어들은 전화 통화에서 중요한 내용들이므로, 제 112 단계에서 추출한 핵심어들을 전화 통화 내용의 메모로 설정하여 저장한다. Referring back to FIG. 1, key words extracted in step 114 are set as a memo of a phone call and stored. The key words extracted in step 112 are words included in a voice signal transmitted and received in a section in which the user determines that the call is important. That is, since the key words extracted in step 112 are important contents in the phone call, the key words extracted in step 112 are set as a memo of the phone call contents and stored.

제 116 단계에서는 전화 통화가 종료되었는지 확인한다. 전화 통화가 종료되었으면, 제 118 단계를 수행하고, 전화 통화가 종료되지 않았으면, 다시 제 102 단계를 수행한다. 전화 통화 종료 여부에 대한 판단은 통화 종료 신호의 수신 여부로 판단한다. 즉, 통화 종료 신호를 수신하면, 전화 통화가 종료된 것으로 판단하고, 통화 종료 신호를 수신하지 않으면, 전화 통화는 계속 중인 것으로 판단한다. 통화 종료 신호는 '사용자가 종료 버튼을 누르는 경우' 또는 '상대방에 의해 전화 통화가 종료된 경우'에 생성된다. In step 116, it is checked whether the telephone call is terminated. If the telephone call has ended, step 118 is performed; if the telephone call has not ended, step 102 is performed again. The determination of whether or not to terminate the telephone call is determined based on whether or not a call termination signal is received. That is, when the call termination signal is received, it is determined that the telephone call is terminated. If the call termination signal is not received, the telephone call is determined to be in progress. The call termination signal is generated when the user presses the end button or when the telephone call is terminated by the other party.

제 118 단계에서는 전화 통화의 '메모'로 저장된 핵심어를 화면에 표시한다. 이와 같이, 전화 통화가 종료되면, 저장된 핵심어를 화면에 표시함으로서, 사용자는 통화 종료 후, 중요 내용을 바로 확인할 수 있다. In step 118, the key word stored as the 'note' of the phone call is displayed on the screen. As such, when the phone call is ended, by displaying the stored key words on the screen, the user can immediately check the important contents after the call.

도 4는 본 발명의 바람직한 일 실시예에 따라 화면에 표시되는 핵심어를 나타낸 도면이다. 4 illustrates key words displayed on a screen according to an exemplary embodiment of the present invention.

도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따라 추출한 핵심어는 텍스트로 통화 내역(400)과 함께 표시된다. 본 발명의 일 실시예에서 추출한 핵심어는 '수학 보강 내일 3시 반'(410)이므로, 이는 화면에 표시된다. As shown in FIG. 4, the keywords extracted according to an embodiment of the present invention are displayed together with the call history 400 in text. Since the key word extracted in the embodiment of the present invention is '30: 30 for the mathematical reinforcement tomorrow ', it is displayed on the screen.

다시 도 1을 참조하면, 제 120 단계에서는 화면에 표시된 메모에 수정할 사항이 있거나, 태깅(Tagging)할 사항이 있는지 확인한다. 확인 결과, 화면에 표시된 메모에 수정할 사항이나 태깅할 사항이 있으면, 제 122 단계를 수행하고, 화면에 표시된 메모에 수정할 사항이나 태깅할 사항이 없으면, 종료한다. Referring back to FIG. 1, in step 120, a memo displayed on the screen checks whether there are items to be modified or whether there are items to be tagged. As a result of the check, if there are items to be modified or tagged in the memo displayed on the screen, step 122 is performed. If there are no items to be modified or tagged in the memo displayed on the screen, the process ends.

제 122 단계에서는 화면에 표시된 메모에 수정할 사항이 있으면, 이를 수정하고, 메모를 더욱 정확히 기억하기 위해 태깅할 사항이 있으면, 태깅하고, 이를 표시하고 종료한다. In step 122, if there is an item to be corrected in the memo displayed on the screen, the item is corrected.

도 5는 본 발명의 바람직한 일 실시예에 따라 통화 목록을 표시하는 방법을 나타낸 도면이다. 5 is a diagram illustrating a method of displaying a call list according to an exemplary embodiment of the present invention.

본 발명의 바람직한 일 실시예에 따라 통화 목록을 표시하는 방법은 도 1에 개시된 통화의 중요 전화 통화 내용을 자동으로 메모하는 방법에 의해 통화 내용이 메모된 장치에서 수행된다. According to a preferred embodiment of the present invention, the method for displaying a call list is performed in an apparatus in which the call contents are memoized by a method of automatically memorizing important telephone call contents of the call disclosed in FIG. 1.

제 500 단계에서는 화면에 통화 목록이 표시된다. 제 500 단계에 의해 통화 목록이 표시되면, 도 6a에 도시된 바와 같이, 사용자가 통화한 통화 번호 목록(601, 602, 603)이 화면에 표시된다. In step 500, a call list is displayed on the screen. When the call list is displayed by the 500 th step, as shown in FIG. 6A, the call number list 601, 602, 603 to which the user calls is displayed on the screen.

다시 도 5를 참조하면, 제 510 단계에서는 화면에 표시된 통화 목록 중에서 통화 기록을 검색한다. 검색한 통화 기록은 통화 시간, 발신자, 전화 번호 등의 통화 내역에 저장된 핵심어 메모 내용이 표시된다. 도 6a의 통화 번호 목록에서 602를 검색하면, 도 6b와 같이 표시된다. Referring back to FIG. 5, in step 510, a call log is searched from a call list displayed on the screen. The searched call log shows key word memo contents stored in call history such as call time, caller, and phone number. If 602 is searched in the call number list of FIG. 6A, it is displayed as shown in FIG. 6B.

도 6b는 본 발명의 바람직한 일 실시예에 따라 화면에 표시되는 통화 내역을 나타낸 도면이다. 도 6a의 표시된 통화 목록에서 사용자가 검색한 전화 번호가 "02-466-2465"이면, 도 6b에 도시된 바와 같이 화면에 통화 내역(610, 612, 614)과 함께 저장된 메모(616)가 표시된다. 6B is a diagram illustrating a call history displayed on a screen according to an exemplary embodiment of the present invention. If the telephone number searched by the user in the displayed call list of FIG. 6A is "02-466-2465", the memo 616 stored with the call history 610, 612, and 614 is displayed on the screen as shown in FIG. 6B. do.

즉, 사용자가 검색한 전화 번호(610) "02-465-2465", 발신자(612) "김철수", 통화 일시(614) "2006.4.4 10:00 PM"와 같은 통화 내역에 통화 내용의 핵심어인"내일, 강남, 12시, 순이, 연락"등이 메모(616)로 표시된다. That is, the key words of the contents of the call in the call history, such as the telephone number 610 "02-465-2465", the caller 612 "Kim Chul-soo", the call date and time (614) "2006.4.4 10:00 PM" searched by the user. "Tomorrow, Gangnam, 12 o'clock, Sun Yi, contact" and the like are displayed in the memo 616.

제 520 단계에서는 표시된 통화 목록에서 특정 통화 기록을 선택하여, 저장된 음성을 재생시킨다. 즉, 사용자가 특정 통화 기록을 선택하면, 선택한 통화 기록에 대응하여 녹음된 음성이 재생된다. 본 발명의 바람직한 일 실시예에서는 특정 통화 기록을 선택하면, 선택한 통화 기록에 대응하여 녹음된 음성이 재생된다. 그러나, 사용자가 도 6에 표시된 통화 목록에서 검색하고자 하는 특정 번호를 선택하고, 선택한 특정 번호에서 별도의 음성 재생 버튼을 누르면, 검색한 특정 번호에 대응하는 음성 통화 내용이 스피커를 통해 재생하는 방법을 사용할 수도 있다. 본 발명의 일 실시예에 의한 화면 표시 방법에서는 핵심어뿐만 아니라 녹음된 음성도 재생할 수 있다는 것에 특징이 있으므로, 특정 번호를 선택 시에 음성이 재생되도록 설정하여도 되고, 특정 번호를 선택한 후에, 별도의 음성 재생 버튼을 눌러야 음성이 재생되도록 설정하여도 된다. In step 520, a specific call record is selected from the displayed call list to reproduce the stored voice. That is, when the user selects a specific call record, the recorded voice corresponding to the selected call record is played. In a preferred embodiment of the present invention, when a specific call record is selected, the recorded voice corresponding to the selected call record is played. However, when the user selects a specific number to search from the call list shown in FIG. 6 and presses a separate voice play button on the selected specific number, the voice call content corresponding to the searched specific number is played through the speaker. Can also be used. Since the screen display method according to an embodiment of the present invention is characterized in that not only a key word but also a recorded voice may be reproduced, the voice may be set to be played back when a specific number is selected. It is also possible to set the voice to be played only after pressing the voice play button.

도 7은 본 발명의 바람직한 일 실시예에 따라 전화 통화 내용을 자동으로 메모하는 장치를 나타낸 도면이다. 7 is a diagram illustrating an apparatus for automatically memorizing the contents of a phone call according to an exemplary embodiment of the present invention.

본 발명의 바람직한 일 실시예에 따라, 전화 통화 내용을 자동으로 메모하는 장치는 통화 구간 설정부(700), 핵심어 추출부(710) 및 저장부(720)를 포함한다. According to a preferred embodiment of the present invention, an apparatus for automatically memoizing a phone call content includes a call section setting unit 700, a key word extracting unit 710, and a storage unit 720.

통화 구간 설정부(700)는 제어 신호를 입력 받는 신호 입력부(702)를 포함한다. 신호 입력부(702)는 사용자가 누른 버튼에 의해 생성되는 제 1 제어 신호 및 제 2 제어 신호를 입력 단자 IN 1을 통해 입력 받고, 통화 구간 설정부(700)는 입력 받은 제 1 제어 신호 및 제 2 제어 신호에 의해 통화 구간을 설정한다. 즉, 전화 통화가 시작되고, 사용자는 전화 통화 중에 통화할 내용이 중요한 내용이어서 메모로 저장할 필요가 있다는 판단이 들면, 메모 저장 버튼을 누른다. 사용자가 메모 저장 버튼 번호를 누를 때, 제 1 제어 신호가 생성된다. 사용자는 중요한 내용에 대한 통화를 모두 하였다고 판단하면, 눌렀던 메모 저장 버튼을 해제한다. 이 때, 제 2 제어 신호가 생성된다. 신호 입력부(702)는 입력 단자 IN 1을 통해 제 1 제어 신호 및 제 2 제어 신호를 입력 받고, 통화 구간 설정부는 입력 단자 IN 2를 통해 입력되는 음성 신호에 대해, 제 1 제어 신호를 입력 받은 시점부터 제 2 제어 신호를 입력 받은 시점까지를 음성 신호를 해석하기 위한 통화 구간으로 설정한다. The call section setting unit 700 includes a signal input unit 702 for receiving a control signal. The signal input unit 702 receives the first control signal and the second control signal generated by the button pressed by the user through the input terminal IN 1, and the call section setting unit 700 receives the input first control signal and the second control signal. The call section is set by the control signal. That is, when the telephone call is started, and the user determines that the contents to be called during the telephone conversation is important and needs to be stored as a memo, the user presses the memo save button. When the user presses the memo save button number, a first control signal is generated. When the user determines that all the important content calls have been made, the user releases the memo button. At this time, a second control signal is generated. The signal input unit 702 receives the first control signal and the second control signal through the input terminal IN 1, and the call section setting unit receives a first control signal with respect to the audio signal input through the input terminal IN 2. To the time point at which the second control signal is inputted is set as a call section for interpreting the voice signal.

그러나, 사용자가 메모 저장 버튼을 누르기 전에 이미 중요한 통화 내용이 진행 중인 경우에는 사용자가 메모 저장 버튼을 누르기 전의 통화 내용도 음성 신호를 해석하기 위한 통화 구간으로 설정할 필요가 있다. 따라서, 제 1 제어 신호를 입력 받기 전에 전화 통화가 이미 진행 중인 경우에는 제 1 제어 신호가 입력 받은 후, 송수신되는 음성 신호가 최초로 송수신되는 시점부터 제 2 제어 신호를 입력받은 시점까지를 음성 신호를 해석하기 위한 통화 구간으로 설정한다. However, if important call content is already in progress before the user presses the memo save button, the call content before the user presses the memo save button needs to be set as a call section for interpreting the voice signal. Therefore, if a phone call is already in progress before receiving the first control signal, the voice signal is transmitted from the time when the first control signal is received and the first time the voice signal is transmitted and received to the time when the second control signal is received. Set to call interval to interpret.

즉, 화자가 메모 저장 버튼을 누른 후, 진행되는 대화가 처음으로 시작되는 시점을 찾아, 그 지점부터 메모 저장 버튼을 해제하는 시점까지를 음성 신호를 해석하기 위한 통화 구간으로 설정한다. 대화의 처음을 찾는 방법으로는 음성-비음성 구간(speech-silence detection) 판별 알고리즘이나 화자 천이 구간 판별법(speaker turn detection)을 이용할 수 있다. That is, after the talker presses the memo save button, the speaker finds a point in time when the ongoing conversation is started for the first time, and sets a call interval for interpreting the voice signal from the point to the time when the memo save button is released. As a method of finding the beginning of the conversation, a speech-silence detection algorithm or speaker turn detection may be used.

핵심어 추출부(710)는 통화 구간 설정부(700)에서 설정한 통화 구간에서 송수신되는 음성 신호를 해석하여 핵심어를 추출한다. 핵심어를 추출한 과정은 도 3에 도시된 바와 같다. The keyword extractor 710 extracts a keyword by analyzing a voice signal transmitted and received in the call section set by the call section setting unit 700. The process of extracting the key words is shown in FIG. 3.

핵심어 추출부(710)는 통화 구간 설정부(700)에서 설정한 통화 구간에서 송수신되는 음성 신호를 녹음하여 음성 파일로 저장하는 음성 신호 녹음부(712)를 더 포함할 수 도 있다. 즉, 핵심어 추출부(710)는 통화 구간 설정부(700)에 설정한 통화 구간에서 송수신되는 통화를 직접적으로 음성 인식하여 핵심어를 추출할 수도 있으나, 음성 신호 녹음부(712)를 통해 핵심어를 추출할 수도 있다. 즉, 핵심어 추출부(710)는 음성 신호 녹음부(712)를 구비하고, 통화 구간 설정부(700)에서 설정한 통화 구간에서 송수신되는 음성 신호를 녹음하여, 음성 파일로 저장한 후, 저장된 음성 파일을 음성 인식하여 핵심어를 추출할 수도 있다. The keyword extractor 710 may further include a voice signal recording unit 712 for recording and storing the voice signal transmitted and received in the call section set by the call section setting unit 700 as a voice file. That is, the key word extractor 710 may extract a key word by directly recognizing a call transmitted and received in the call section set in the call section setting unit 700, but extracts a key word through the voice signal recording unit 712. You may. That is, the key word extracting unit 710 includes a voice signal recording unit 712, records a voice signal transmitted / received in the call section set by the call section setting unit 700, stores it as a voice file, and stores the stored voice. You can also use speech recognition to extract keywords.

저장부(720)는 핵심어 추출부에서 추출한 핵심어들을 통화 내용의 메모로 설정하여 메모로 저장한다. 또한, 저장부(720)는 음성 신호 녹음부(712)를 통해 생성된 음성 파일을 저장한다. The storage unit 720 sets the keywords extracted by the keyword extraction unit as memos of the contents of the call and stores them as memos. In addition, the storage unit 720 stores the voice file generated through the voice signal recording unit 712.

표시부(730)는 '사용자가 종료 버튼을 누르는 경우' 또는 '상대방에 의해 전화 통화가 종료된 경우'와 같이 통화가 종료되면, 이에 대응하여 저장부(720)에 저장된 메모를 화면에 표시한다. 화면에 표시되는 메모는 도 4에 도시된 바와 같다. The display unit 730 displays a memo stored in the storage unit 720 on the screen when the call ends, such as when the user presses the end button or when the phone call is terminated by the other party. The memo displayed on the screen is as shown in FIG. 4.

화면에 표시되는 메모에 수정할 사항이 있으면, 사용자에 의해 입력되는 신호에 의해 수정되고, 화면에 표시되는 메모를 더욱 기억하기 위해 태깅할 사항이 있으면, 사용자에 의해 입력되는 신호에 의해 화면에 표시된 메모를 음성 또는 텍스트로 태깅한다. 화면에 표시되는 메모를 수정 또는 태깅하기 위해 입력되는 신호는 사용자가 선택한 버튼에 의해 입력된다. If the memo displayed on the screen has something to be corrected, it is corrected by the signal input by the user, and if there is something to be tagged to memorize the memo displayed on the screen, the memo displayed on the screen by the signal input by the user Tag your voice or text. The input signal for modifying or tagging the memo displayed on the screen is input by a button selected by the user.

도 8은 본 발명의 바람직한 일 실시예에 따라 통화 목록을 표시하는 장치를 나타낸 도면이다. 8 is a diagram illustrating an apparatus for displaying a call list according to an exemplary embodiment of the present invention.

본 발명의 바람직한 일 실시예에 따라 통화 목록을 표시하는 장치는 통화 구 간 설정부(800), 핵심어 추출부(810), 저장부(820), 화면 제어부(830) 및 표시부(840)를 포함한다. According to an exemplary embodiment of the present invention, a device for displaying a call list includes a call section setting unit 800, a key word extraction unit 810, a storage unit 820, a screen control unit 830, and a display unit 840. do.

본 발명의 바람직한 일 실시예에 의한 도 8의 통화 목록을 표시하는 장치의 통화 구간 설정부(800), 핵심어 추출부(810) 및 저장부(820)는 본 발명의 바람직한 일 실시예에 의한 도 7의 전화 통화 내용을 자동으로 메모하는 장치와 동일하다. 따라서, 통화 구간 설정부(800)는 신호 입력부(802)를 포함하고, 핵심어 추출부(810)는 음성 신호 녹음부(812)를 포함하며, 통화 구간 설정부(800), 핵심어 추출부(810) 및 저장부(820)에서 수행되는 과정은 도 7의 전화 통화 내용을 자동으로 메모하는 장치와 동일하다. 따라서, 저장부(820)에는 핵심어 추출부(810)에서 추출한 핵심어가 통화 내용의 메모로 저장되어 있고, 음성 신호 녹음부(812)에서 녹음한 음성 파일도 저장되어 있다. According to an exemplary embodiment of the present invention, the call section setting unit 800, the key word extraction unit 810, and the storage unit 820 of the apparatus for displaying the call list of FIG. 8 are illustrated according to an exemplary embodiment of the present invention. 7 is the same device that automatically notes the phone call. Accordingly, the call section setting unit 800 includes a signal input unit 802, and the keyword extraction unit 810 includes a voice signal recording unit 812, and the call section setting unit 800 and the keyword extraction unit 810. And the process performed by the storage unit 820 is the same as the device for automatically memorizing the contents of the phone call of FIG. 7. Therefore, the storage unit 820 stores the keywords extracted by the keyword extracting unit 810 as a memo of the contents of the call, and also stores the voice file recorded by the voice signal recording unit 812.

다만, 본 발명의 바람직한 일 실시예에 따라 도 8의 통화 목록을 표시하는 장치는 화면 제어부(830)를 포함한다. 표시부(840)에 표시되는 통화 목록에서 사용자가 통화 기록을 검색하면, 검색한 통화 기록에 대한 제어 신호는 입력 단자 IN 4를 통해 화면 제어부(830)에 입력된다. 그리고, 화면 제어부(830)는 이에 대응하여 검색한 통화 기록에 대해, 저장부(820)에 저장된 메모를 대응되는 통화 내역에 각각 부가하여 통화 목록으로 표시부(840)에 표시한다. 통화 내역에는 통화 일시, 발신자 이름 및 발신 번호 등이 있는데, 표시부(840)에는 이러한 통화 내역에 저장부(820)에 저장된 메모가 부가되어 표시된다. 이 때 표시되는 내용은 도 6b에 도시된 바와 같다. 또한, 표시부(840)에 표시되는 통화 목록에서 사용자가 특정 통화 기록을 선택하고, 음성 재생 버튼을 누르면 화면 제어부(830)는 입력 단자 4를 통해 제어 신호를 입력 받고, 이에 대응하는 명령을 생성하여 음성 파일을 재생시킨다. 이와 같이, 사용자가 선택한 통화 기록에 대해, 메모뿐만 아니라 녹음된 음성까지 재생함으로서 통화 내용을 더욱 정확하게 기억할 수 있다. However, according to an exemplary embodiment of the present invention, the apparatus for displaying the call list of FIG. 8 includes a screen controller 830. When the user searches a call log in the call list displayed on the display unit 840, a control signal for the searched call log is input to the screen controller 830 through the input terminal IN 4. The screen controller 830 adds the memo stored in the storage unit 820 to the corresponding call history, and displays the memo recorded in the call list on the display unit 840. The call history includes a call date, a caller's name, a caller's name, and the like. The display unit 840 displays a memo stored in the storage unit 820 in the call history. The content displayed at this time is as shown in FIG. 6B. In addition, when the user selects a specific call record from the call list displayed on the display unit 840 and presses the voice play button, the screen controller 830 receives a control signal through the input terminal 4 and generates a command corresponding thereto. Play the audio file. In this way, the contents of the call can be stored more accurately by reproducing not only the memo but also the recorded voice on the call record selected by the user.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

또한 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다.In addition, the structure of the data used in the above-described embodiment of the present invention can be recorded on the computer-readable recording medium through various means.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

본 발명에 의한 전화 통화 내용을 자동으로 메모하는 방법 및 장치에 따르면, 음성 신호를 해석하기 위한 통화 구간을 설정하고, 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출한 후, 상기 추출된 핵심어들을 메모로 설정하여 저장하므로, 중요한 통화 내용 후에 사용자가 텍스트 정보로 저장하기를 원하는 통화 내용을 자동으로 메모할 수 있는 효과가 있다. According to the method and apparatus for automatically memorizing the contents of a phone call according to the present invention, a call section for interpreting a voice signal is set, and the voice signal transmitted and received in the set call section is interpreted to be included in the received and received voice signal. After extracting the key words, the extracted key words are set and stored as a memo, so that after the important call contents, the user can automatically memoize the call contents that the user wants to save as text information.

또한, 본 발명에 의한 통화 목록 표시 방법 및 장치에 의하면, 음성 신호를 해석하기 위한 통화 구간을 설정하고, 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하고, 상기 추출된 핵심어들을 메모로 설정하여 저장한 후, 상기 저장된 메모와 대응되는 통화 내역에 상기 저장된 메모를 각각 부가하여 통화 목록으로 표시하므로 사용자는 통화 목록 조회 시 발신자 전화 번호, 통화 시간뿐만 아니라, 통화 내용을 연상할 수 있는 핵심어 메모 정보도 함께 확인하여 저장된 음성 내용을 모두 들어보지 않고도 통화 내용의 확인 및 추측이 가능할 수 있는 효과가 있다. In addition, according to the method and apparatus for displaying a call list according to the present invention, a call section for interpreting a voice signal is set, a voice signal transmitted and received in the set call section is interpreted, and key words included in the transmitted / received voice signal are extracted. After setting and storing the extracted key words as a memo, the stored memo is added to the call history corresponding to the stored memo and displayed as a call list. Also, by checking the key word memo information that can be associated with the call contents, it is possible to check and guess the call contents without listening to all the stored voice contents.

Claims (28)

(a) 음성 신호를 해석하기 위한 통화 구간을 설정하는 단계; (a) setting a call interval for interpreting a voice signal; (b) 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 단계; 및 (b) extracting key words included in the transmitted / received voice signal by analyzing a voice signal transmitted and received in the set call period; And (c) 상기 추출된 핵심어들을 메모로 설정하여 저장하는 단계를 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법. and (c) setting and extracting the extracted key words as a memo. 제 1 항에 있어서, 상기 (a) 단계는 The method of claim 1, wherein step (a) (a1) 제 1 제어 신호를 입력받는 단계; (a1) receiving a first control signal; (a2) 제 2 제어 신호를 입력받는 단계; 및 (a2) receiving a second control signal; And (a3) 상기 제 1 제어 신호를 입력받은 후, 송수신되는 음성 신호가 최초로 송수신되는 시점부터 상기 제 2 제어 신호를 입력받은 시점까지를 상기 음성 신호를 해석하기 위한 통화 구간으로 설정하는 단계를 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법.(a3) after receiving the first control signal, setting a call interval for interpreting the voice signal from a time point at which the voice signal to be transmitted and received is first transmitted and received to a time point at which the second control signal is received; How to automatically note the contents of the phone call, characterized in that. 제 2 항에 있어서, 상기 제 1 제어 신호 및 상기 제 2 제어 신호는 The method of claim 2, wherein the first control signal and the second control signal is 소정의 버튼에 의해 입력되는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법.A method of automatically memorizing the contents of a telephone call, which is input by a predetermined button. 제 1 항에 있어서, 상기 (a) 단계는 The method of claim 1, wherein step (a) (a1) 제 3 제어 신호를 입력받는 단계; (a1) receiving a third control signal; (a2) 제 4 제어 신호를 입력받는 단계; 및 (a2) receiving a fourth control signal; And (a3) 상기 제 3 제어 신호를 입력 받은 시점부터 상기 제 4 제어 신호를 입력 받은 시점까지를 상기 음성 신호를 해석하기 위한 통화 구간으로 설정하는 단계를 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법.(a3) automatically setting a telephone call content from a time point at which the third control signal is input to a time point at which the fourth control signal is received as a call section for interpreting the voice signal. How to take notes. 제 4 항에 있어서, 상기 제 3 제어 신호 및 상기 제 4 제어 신호는 The method of claim 4, wherein the third control signal and the fourth control signal is 소정의 버튼에 의해 입력되는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법.A method of automatically memorizing the contents of a telephone call, which is input by a predetermined button. 제 1 항에 있어서, 상기 (b) 단계는 The method of claim 1, wherein step (b) (b1) 상기 설정된 통화 구간에서 송수신되는 음성 신호를 녹음하여 음성 파일로 저장하는 단계; 및 (b1) recording and transmitting a voice signal transmitted and received in the set call interval and storing the voice signal as a voice file; And (b2) 상기 저장된 음성 파일의 음성 신호를 해석하여 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 단계를 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법.(b2) analyzing the voice signal of the stored voice file and extracting key words included in the voice signal transmitted and received. 제 1 항에 있어서, The method of claim 1, 통화가 종료되면, 이에 대응하여 상기 저장된 메모를 표시하는 단계를 더 포 함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법.And when the call ends, displaying the stored memo in response to the call. 제 7 항에 있어서, The method of claim 7, wherein 상기 표시된 메모에 음성 또는 텍스트로 태깅하는 단계를 더 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법.And automatically tagging the displayed memo by voice or text. 제 7 항에 있어서, The method of claim 7, wherein 상기 표시된 메모가 사용자에 의해 수정되는 단계를 더 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 방법. And a step of modifying the displayed memo by a user. 제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 1 to 9. (a) 음성 신호를 해석하기 위한 통화 구간을 설정하는 단계; (a) setting a call interval for interpreting a voice signal; (b) 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 단계; (b) extracting key words included in the transmitted / received voice signal by analyzing a voice signal transmitted and received in the set call period; (c) 상기 추출된 핵심어들을 메모로 설정하여 저장하는 단계; 및 (c) setting and storing the extracted keywords as a memo; And (d) 상기 저장된 메모와 대응되는 통화 내역에 상기 저장된 메모를 각각 부가하여 통화 목록으로 표시하는 단계를 포함하는 것을 특징으로 하는 통화 목록 표시 방법. and displaying the call list by adding the stored memos to the call history corresponding to the stored memos. 제 11 항에 있어서, 상기 통화 내역은 The method of claim 11, wherein the call history 상기 통화 일시, 발신자 이름, 발신번호 중 적어도 하나 이상을 포함함을 특징으로 하는 통화 목록 표시 방법. Call list display method characterized in that it comprises at least one or more of the call date, caller name, call number. 제 12 항에 있어서, 상기 (b) 단계는 The method of claim 12, wherein step (b) (b1) 상기 설정된 통화 구간에서 송수신되는 음성 신호를 녹음하여 음성 파일로 저장하는 단계; 및 (b1) recording and transmitting a voice signal transmitted and received in the set call interval and storing the voice signal as a voice file; And (b2) 상기 저장된 음성 파일의 음성 신호를 해석하여 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 단계를 포함하는 것을 특징으로 하는 통화 목록 표시 방법. and (b2) extracting key words included in a voice signal transmitted and received by interpreting a voice signal of the stored voice file. 제 13 항에 있어서, The method of claim 13, 상기 표시된 통화 목록에서 소정의 통화 내역을 선택하면, 상기 저장된 음성 파일 중에서 상기 선택된 통화 내역에 대응되는 음성 파일을 재생하는 단계를 더 포함하는 것을 특징으로 하는 통화 목록 표시 방법. And when a predetermined call history is selected from the displayed call list, reproducing a voice file corresponding to the selected call history from the stored voice files. 제 11 항 내지 제 14 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A non-transitory computer-readable recording medium having recorded thereon a program for executing the method of claim 11. 음성 신호를 해석하기 위한 통화 구간을 설정하는 통화 구간 설정부; A call section setting unit for setting a call section for interpreting a voice signal; 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 핵심어 추출부; 및 A key word extracting unit for extracting key words included in the transmitted and received voice signals by analyzing voice signals transmitted and received in the set call period; And 상기 추출된 핵심어들을 메모로 저장하는 저장부를 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. And a storage unit for storing the extracted key words as a memo. 제 16 항에 있어서, 상기 통화 구간 설정부는 The method of claim 16, wherein the call interval setting unit 제 1 제어 신호 및 제 2 제어 신호를 입력받는 신호 입력부를 포함하고, A signal input unit configured to receive a first control signal and a second control signal, 상기 제 1 제어 신호를 입력받은 후, 송수신되는 음성 신호가 최초로 송수신되는 시점부터 상기 제 2 제어 신호를 입력받은 시점까지를 상기 음성 신호를 해석하기 위한 통화 구간으로 설정하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. After receiving the first control signal, the telephone call content, characterized in that for setting the call interval for interpreting the voice signal from the time of the first transmission and reception of the voice signal transmitted and received to the second control signal input; A device that automatically notes. 제 17 항에 있어서, 상기 제 1 제어 신호 및 상기 제 2 제어 신호는 The method of claim 17, wherein the first control signal and the second control signal is 소정의 버튼에 의해 입력되는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. A device for automatically memorizing the contents of a telephone call, which is input by a predetermined button. 제 16 항에 있어서, 상기 통화 구간 설정부는 The method of claim 16, wherein the call interval setting unit 제 3 제어 신호 및 제 4 제어 신호를 입력받는 신호 입력부를 포함하고, A signal input unit configured to receive a third control signal and a fourth control signal, 상기 제 3 제어 신호를 입력 받은 시점부터 상기 제 4 제어 신호를 입력 받 은 시점까지를 상기 음성 신호를 해석하기 위한 통화 구간으로 설정하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. And a time point for receiving the third control signal to a time point for receiving the fourth control signal as a call section for interpreting the voice signal. 제 19 항에 있어서, 상기 제 3 제어 신호 및 상기 제 4 제어 신호는 The method of claim 19, wherein the third control signal and the fourth control signal is 소정의 버튼에 의해 입력되는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. A device for automatically memorizing the contents of a telephone call, which is input by a predetermined button. 제 16 항에 있어서, 상기 핵심어 추출부는 The method of claim 16, wherein the keyword extraction unit 상기 설정된 통화 구간에서 송수신되는 음성 신호를 녹음하여 음성 파일로 저장하는 음성 신호 녹음부를 더 포함하고, A voice signal recording unit for recording and transmitting the voice signal transmitted and received in the set call interval further comprises a voice file, 상기 저장된 음성 파일의 음성 신호를 해석하여 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. And a key word included in the voice signal transmitted / received by analyzing the voice signal of the stored voice file. 제 16 항에 있어서, The method of claim 16, 통화가 종료되면, 이에 대응하여 상기 저장된 메모를 표시하는 표시부를 더 포함하는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. And ending the call, the apparatus further comprising a display unit for displaying the stored memo in response to the call. 제 22 항에 있어서, The method of claim 22, 상기 표시부에 표시된 메모는 사용자에 의해 음성 또는 텍스트로 태깅 되는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. Memo displayed on the display unit is a device for automatically memorizing the contents of the phone call, characterized in that tagged by the user by voice or text. 제 22 항에 있어서, The method of claim 22, 상기 표시부에 표시된 메모는 사용자에 의해 수정되는 것을 특징으로 하는 전화 통화 내용을 자동으로 메모하는 장치. And a memo displayed on the display unit is automatically modified by the user. 음성 신호를 해석하기 위한 통화 구간을 설정하는 통화 구간 설정부; A call section setting unit for setting a call section for interpreting a voice signal; 상기 설정된 통화 구간에서 송수신되는 음성 신호를 해석하여 상기 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 핵심어 추출부; A key word extracting unit for extracting key words included in the transmitted and received voice signals by analyzing voice signals transmitted and received in the set call period; 상기 추출된 핵심어들을 메모로 설정하여 저장하는 저장부; 및 A storage unit configured to store the extracted key words as memos; And 상기 저장된 메모와 대응되는 통화 내역에 상기 저장된 메모를 각각 부가하여 통화 목록으로 표시하는 화면 제어부를 포함하는 것을 특징으로 하는 통화 목록 표시 장치. And a screen controller which adds the stored memos to the call history corresponding to the stored memos and displays them as a call list. 제 25 항에 있어서, 상기 통화 내역은 26. The method of claim 25, wherein the call history 상기 통화 일시, 발신자 이름, 발신번호 중 적어도 하나 이상을 포함함을 특징으로 하는 통화 목록 표시 장치. And at least one of the call date, caller's name, and caller's number. 제 26 항에 있어서, 상기 핵심어 추출부는 The method of claim 26, wherein the keyword extraction unit 상기 설정된 통화 구간에서 송수신되는 음성 신호를 녹음하여 음성 파일로 저장하는 음성 신호 녹음부를 더 포함하고, A voice signal recording unit for recording and transmitting the voice signal transmitted and received in the set call interval further comprises a voice file, 상기 저장된 음성 파일의 음성 신호를 해석하여 송수신되는 음성 신호에 포함된 핵심어들을 추출하는 것을 특징으로 하는 통화 목록 표시 장치. And a key word included in a voice signal transmitted and received by analyzing a voice signal of the stored voice file. 제 27 항에 있어서, The method of claim 27, 상기 표시된 통화 목록에서 소정의 통화 내역을 선택하면, 상기 저장된 음성 파일 중에서 상기 선택된 통화 내역에 대응되는 음성 파일을 함께 재생하는 것을 특징으로 하는 통화 목록 표시 장치. And when a predetermined call history is selected from the displayed call list, a voice file corresponding to the selected call history is played together from the stored voice files.
KR1020060124107A 2006-12-07 2006-12-07 Method and apparatus to memo for call contents automatically, and method and apparatus to display call list KR100829583B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060124107A KR100829583B1 (en) 2006-12-07 2006-12-07 Method and apparatus to memo for call contents automatically, and method and apparatus to display call list

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060124107A KR100829583B1 (en) 2006-12-07 2006-12-07 Method and apparatus to memo for call contents automatically, and method and apparatus to display call list

Publications (1)

Publication Number Publication Date
KR100829583B1 true KR100829583B1 (en) 2008-05-14

Family

ID=39650412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060124107A KR100829583B1 (en) 2006-12-07 2006-12-07 Method and apparatus to memo for call contents automatically, and method and apparatus to display call list

Country Status (1)

Country Link
KR (1) KR100829583B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140077287A (en) * 2012-12-14 2014-06-24 주식회사 엘지유플러스 Terminal apparatus and method for controlling record file
KR101413627B1 (en) * 2011-11-30 2014-07-11 주식회사 제노웰 Mobile terminal having phone call management function and system thereof
KR101578346B1 (en) 2015-11-04 2015-12-17 에스케이텔레콤 주식회사 Method for generating and managing of call memo, computer readable medium for implementing the method
KR101727927B1 (en) * 2011-02-11 2017-04-18 삼성전자 주식회사 Operation Method For Memo Function And Portable Device supporting the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000043364A (en) * 1998-12-29 2000-07-15 전주범 Device and method for recording/regenerating in cellular phone
KR20030000314A (en) * 2001-06-23 2003-01-06 박인표 Telephone Message Memo System Using Automatic Speech Recognition
KR20060075839A (en) * 2004-12-29 2006-07-04 엘지엔시스(주) Device, method and system that records specific section of conversation
KR20060101600A (en) * 2005-03-21 2006-09-26 엘지전자 주식회사 Method for recording voice signals and mobile phone using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000043364A (en) * 1998-12-29 2000-07-15 전주범 Device and method for recording/regenerating in cellular phone
KR20030000314A (en) * 2001-06-23 2003-01-06 박인표 Telephone Message Memo System Using Automatic Speech Recognition
KR20060075839A (en) * 2004-12-29 2006-07-04 엘지엔시스(주) Device, method and system that records specific section of conversation
KR20060101600A (en) * 2005-03-21 2006-09-26 엘지전자 주식회사 Method for recording voice signals and mobile phone using the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한국과학기술원석사논문

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101727927B1 (en) * 2011-02-11 2017-04-18 삼성전자 주식회사 Operation Method For Memo Function And Portable Device supporting the same
KR101413627B1 (en) * 2011-11-30 2014-07-11 주식회사 제노웰 Mobile terminal having phone call management function and system thereof
KR20140077287A (en) * 2012-12-14 2014-06-24 주식회사 엘지유플러스 Terminal apparatus and method for controlling record file
KR102066750B1 (en) * 2012-12-14 2020-01-15 주식회사 엘지유플러스 Terminal apparatus and method for controlling record file
KR101578346B1 (en) 2015-11-04 2015-12-17 에스케이텔레콤 주식회사 Method for generating and managing of call memo, computer readable medium for implementing the method

Similar Documents

Publication Publication Date Title
US8731914B2 (en) System and method for winding audio content using a voice activity detection algorithm
US5983187A (en) Speech data storage organizing system using form field indicators
US9378739B2 (en) Identifying corresponding positions in different representations of a textual work
US11238854B2 (en) Facilitating creation and playback of user-recorded audio
KR101149135B1 (en) Method and apparatus for voice interactive messaging
KR100996212B1 (en) Methods, systems, and programming for performing speech recognition
US7092496B1 (en) Method and apparatus for processing information signals based on content
US20090327272A1 (en) Method and System for Searching Multiple Data Types
US11640832B2 (en) Emotion-based voice interaction method, storage medium and terminal device using pitch, fluctuation and tone
KR102144868B1 (en) Apparatus and method for providing call record
EP2682931B1 (en) Method and apparatus for recording and playing user voice in mobile terminal
US9613641B2 (en) Identifying corresponding positions in different representations of a textual work
CN102984666A (en) Contact list speech information processing method and system during communication
KR100829583B1 (en) Method and apparatus to memo for call contents automatically, and method and apparatus to display call list
CN103430523B (en) Telephone call assistance device and call householder method
CN104756181A (en) Playback apparatus, setting apparatus, playback method, and program
KR20080083290A (en) A method and apparatus for accessing a digital file from a collection of digital files
US9368115B2 (en) Identifying corresponding positions in different representations of a textual work
CN101825953A (en) Chinese character input product with combined voice input and Chinese phonetic alphabet input functions
KR101590078B1 (en) Apparatus and method for voice archiving
US7610202B1 (en) Integrated system and method for mobile audio playback and dictation
KR20230125284A (en) Audio processing method, device and electronic device
KR20170005590A (en) Voice Call Recording Method And Terminal Threof
KR102274275B1 (en) Application and method for generating text link
EP2806364B1 (en) Method and apparatus for managing audio data in electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee