KR20050098187A - Apparatus and method for changing personalization function in handheld terminal - Google Patents
Apparatus and method for changing personalization function in handheld terminal Download PDFInfo
- Publication number
- KR20050098187A KR20050098187A KR1020040023523A KR20040023523A KR20050098187A KR 20050098187 A KR20050098187 A KR 20050098187A KR 1020040023523 A KR1020040023523 A KR 1020040023523A KR 20040023523 A KR20040023523 A KR 20040023523A KR 20050098187 A KR20050098187 A KR 20050098187A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- voice
- psychological state
- state
- ringtone
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
- H04M2201/405—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition involving speaker-dependent recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Abstract
본 발명은 이동통신단말기의 개인화기능 변경 장치 및 방법에 관한 것으로 특히, 사용자의 감정에 따른 음성톤을 학습하고 사용자의 감정 변화에 따라 벨소리 또는 대기화면을 변경하도록 함에 목적이 있다. 이러한 목적의 본 발명은 심리상태에 따른 사용자 음성, 각각의 심리상태에 따른 벨소리 및 바탕화면 등의 정보를 저장하는 메모리(160)와, 심리상태 학습이 설정되면 마이크(MIC)(150)로 입력되는 사용자 음성을 상기 메모리(160)에 할당된 해당 심리상태 영역에 저장된 사용자 음성과 평균하여 그 평균된 사용자 음성을 해당 심리상태 영역에 저장하며 통화 등으로 사용자 음성이 입력되면 상기 메모리(150)에 저장되어 있는 각각의 학습된 사용자 음성과 비교하여 현재의 사용자 심리상태를 판정하는 감정인식 칩(170)과, 키패드(120)를 이용하여 심리상태 학습 메뉴 중 해당 심리상태가 선택되면 이를 상기 감정인식 칩(170)에 알리고 통화 등의 일반 모드에서 상기 감정인식 칩(170)에서 판단한 현재의 사용자 심리상태를 전달받아 해당 심리상태에 따른 벨소리 및 바탕화면 정보를 상기 메모리(160)에서 확인한 후 호출의 경우 상기 확인된 벨소리를 발생시키도록 음 발생부(140)를 제어하고 폴더 열림의 경우 상기 확인된 바탕화면을 표시하도록 엘씨디(LCD)(130)를 제어하는 마이크로 컴퓨터(110)를 포함하여 구성함을 특징으로 하는 한다. The present invention relates to an apparatus and method for changing a personalization function of a mobile communication terminal. In particular, an object of the present invention is to learn a voice tone according to a user's emotion and to change a ring tone or a standby screen according to a user's emotion change. The present invention for this purpose is a memory 160 for storing information such as the user voice according to the psychological state, ringtones and wallpaper according to each psychological state, and input to the microphone (MIC) 150 when the psychological state learning is set The user's voice is averaged with the user's voice stored in the mental state area allocated to the memory 160, and the average user's voice is stored in the mental state area. Emotion recognition chip 170 for determining the current user psychological state compared to each of the learned user voice stored, and when the corresponding psychological state is selected from the mental state learning menu using the keypad 120, the emotion recognition Informing the chip 170 and receiving the current user psychological state determined by the emotion recognition chip 170 in a normal mode such as a call ringtone according to the psychological state After the desktop information is checked in the memory 160, the sound generator 140 is controlled to generate the checked ringtone in the case of a call, and the LCD 130 is displayed to display the checked desktop in the case of a folder opening. It comprises a microcomputer 110 for controlling the configuration.
Description
본 발명은 이동통신단말기에 관한 것으로 특히, 개인화기능 변경 장치 및 방법에 관한 것이다. The present invention relates to a mobile communication terminal, and more particularly, to an apparatus and method for changing personalization functions.
휴대 단말기 특히, 이동통신단말기(이하 "휴대폰"이라 약칭함)는 통신 기술의 발달로 소형화, 경량화가 이루어지면서 급격하게 확산되었다. Mobile terminals, in particular mobile communication terminals (hereinafter, abbreviated as "mobile phones") have rapidly spread as miniaturization and light weight have been achieved due to the development of communication technology.
현재 휴대폰은 소비자의 다양한 욕구를 충족시키기 위해 다양한 서비스 예로, 벨소리, 바탕화면 등을 제공하고 있다. Currently, mobile phones provide various services such as ringtones and wallpapers to satisfy various needs of consumers.
그런데, 통상적으로 사람들은 기분 상태에 따라 음성이 변한다. 즉, 대부분의 사람들은 기쁠 때, 화가 났을 때, 우울할 때에는 평상시와 다르게 음성이 변화된다. By the way, people usually change their voice according to their mood. That is, most people change their voice when they are happy, angry, or depressed.
그러나, 현재 휴대폰은 통화자의 감정에 상관없이 사용자가 설정한 벨소리 및 대기화면을 고정적으로 제공한다. However, the current mobile phone fixedly provides the ringtone and standby screen set by the user regardless of the caller's emotion.
따라서, 종래에는 사용자의 심리 상태가 불안정한 경우 고정된 벨소리 또는 바탕화면으로 인해 사용자의 현재 심리 상태를 더욱 악화시키는 문제점이 있다. Therefore, in the related art, when the mental state of the user is unstable, there is a problem of worsening the current mental state of the user due to the fixed ringtone or the wallpaper.
이에, 본 발명은 종래의 문제점을 개선하기 위하여 사용자의 감정 변화에 따라 벨소리 또는 대기화면을 변경하도록 창안한 이동통신단말기의 개인화기능 변경 장치 및 방법을 제공함에 그 목적이 있다. Accordingly, an object of the present invention is to provide an apparatus and method for changing a personalization function of a mobile communication terminal, which is designed to change a ring tone or a standby screen according to a change of a user's emotion in order to improve the conventional problem.
특히, 본 발명은 사용자가 스트레스를 받았을 때, 우울할 때, 흥분했을 때 등과 같이 심리 상태가 불안정할 때 심리 상태가 안정되도록 벨소리 또는 대기 화면을 변경하도록 함에 목적이 있는 것이다. In particular, an object of the present invention is to change the ringtone or standby screen so that the mental state is stable when the mental state is unstable, such as when the user is stressed, depressed, excited.
본 발명은 상기의 목적을 달성하기 위하여 이동통신단말기에 있어서, 사용자 심리상태에 따른 음성톤을 학습하여 해당 음성톤을 저장하고 통화 등으로 사용자 음성이 입력되면 상기 저장된 각 심리상태에 따른 음성톤과 비교하여 현재의 사용자 심리상태를 판단하는 감정인식 칩과, 이 감정인식 칩에서 파악한 사용자 심리상태에 따라 벨소리, 바탕화면 등의 개인화 기능을 변경시키는 마이크로 컴퓨터를 구비하여 구성함을 특징으로 한다. The present invention, in order to achieve the above object, in the mobile communication terminal, by learning the voice tone according to the user's psychological state to store the voice tone and the user's voice is input through a call, etc. And a microcomputer for changing a personalization function such as a ringtone or a wallpaper according to the user's psychological state identified by the emotion recognition chip.
또한, 본 발명은 상기의 목적을 달성하기 위하여 이동통신단말기의 기능 변경 방법에 있어서, 흥분한 경우, 기쁜 경우, 우울한 경우 등의 심리 상태에 따른 사용자 음성톤을 학습하는 단계와, 각각의 심리 상태에 따라 변경할 대기화면 및 벨소리를 설정하는 단계와, 사용자 음성과 상기 학습된 음성을 비교하여 그 비교 결과로 확인된 사용자 심리 상태에 따라 대기화면 또는 벨소리를 변경하는 단계를 수행하도록 구성함을 특징으로 한다. In addition, the present invention provides a method for changing a function of a mobile communication terminal in order to achieve the above object, the step of learning a user voice tone according to the psychological state such as excited, happy, depressed, and each psychological state And setting a standby screen and a ringtone to change according to the user's voice and the learned voice by comparing the user's voice with the learned voice and changing the idle screen or the ringtone according to the user's psychological state as a result of the comparison. .
즉, 본 발명은 이동통신단말기의 개인화(personalization) 기능을 제공하기 위한 것으로, 개인화는 사람들은 감정의 변화(기쁨, 화남, 슬픔)에 따라 음성이 달라지게 되는데 그 감정의 변화 즉, 기쁘거나 화가 났거나 하는 감정의 상태에 따라 단말기의 벨 소리 또는 바탕화면을 변경시키는 것을 의미한다. That is, the present invention is to provide a personalization (personalization) function of the mobile communication terminal, the personalization of the voice is changed according to the change of emotion (joy, anger, sadness), the change of the emotion, that is, happy or angry It means to change the ringtone or the desktop of the terminal according to the state of emotion or wake up.
이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다. Hereinafter, the present invention will be described in detail with reference to the drawings.
본 발명의 실시 예에서도 이동통신단말기는 휴대폰으로 약칭하기로 한다. In the embodiment of the present invention, the mobile communication terminal will be abbreviated as a mobile phone.
도1은 본 발명의 실시 예를 위한 장치의 블록도로서 이에 도시한 바와 같이, 심리상태에 따른 사용자 음성, 각각의 심리상태에 따른 벨소리 및 바탕화면 등의 정보를 저장하는 메모리(160)와, 심리상태 학습이 설정되면 마이크(MIC)(150)로 입력되는 사용자 음성을 상기 메모리(160)에 할당된 해당 심리상태 영역에 저장된 사용자 음성과 평균하여 그 평균된 사용자 음성을 해당 심리상태 영역에 저장하며 통화 등으로 사용자 음성이 입력되면 상기 메모리(150)에 저장되어 있는 각각의 학습된 사용자 음성과 비교하여 현재의 사용자 심리상태를 판정하는 감정인식 칩(170)과, 키패드(120)를 이용하여 심리상태 학습 메뉴 중 해당 심리상태가 선택되면 이를 상기 감정인식 칩(170)에 알리고 통화 등의 일반 모드에서 상기 감정인식 칩(170)에서 판단한 현재의 사용자 심리상태를 전달받아 해당 심리상태에 따른 벨소리 및 바탕화면 정보를 상기 메모리(160)에서 확인한 후 호출의 경우 상기 확인된 벨소리를 발생시키도록 음 발생부(140)를 제어하고 폴더 열림의 경우 상기 확인된 바탕화면을 표시하도록 엘씨디(LCD)(130)를 제어하는 마이크로 컴퓨터(110)를 포함하여 구성한다. 1 is a block diagram of an apparatus for an embodiment of the present invention, as shown therein, a memory 160 for storing information such as a user voice according to a mental state, a ringtone and a wallpaper according to each mental state, and When the mental state learning is set, the user's voice input through the microphone (MIC) 150 is averaged with the user's voice stored in the mental state area allocated to the memory 160, and the average user's voice is stored in the mental state area. When the user's voice is input through a call or the like, the emotion recognition chip 170 determines the current user's psychological state by comparing with the learned user's voice stored in the memory 150 and the keypad 120. When the corresponding psychological state is selected from the psychological state learning menu, it is notified to the emotion recognition chip 170 and the current user's mind determined by the emotion recognition chip 170 in a normal mode such as a call. Receives the status and the ringtone and the desktop information according to the psychological state in the memory 160 after checking the sound generating unit 140 to generate the checked ringtone in the case of a call and in the case of folder open And a microcomputer 110 that controls the LCD 130 to display the displayed desktop.
이와 같이 구성한 본 발명의 실시 예에 대한 동작 및 작용 효과를 도2의 신호 흐름도를 참조하여 설명하면 다음과 같다. The operation and the effect of the embodiment of the present invention configured as described above will be described with reference to the signal flow diagram of FIG. 2.
도2는 사용자 심리상태가 기쁜 경우의 음성학습 및 기능변경 과정을 보인 신호 흐름도이다. 2 is a signal flow diagram illustrating a voice learning and function change process when a user mental state is happy.
본 발명의 실시 예에서 화난 경우, 우울한 경우 등의 심리상태에 대해 음성 학습 및 기능변경 과정은 도2와 동일한 과정으로 이루어진다. In the embodiment of the present invention, the voice learning and the function changing process for the psychological state such as the case of anger or depression are performed in the same process as in FIG. 2.
우선, 단말기에 사용자의 감정에 따른 음성 변화를 학습시키는 단계를 실행한다. First, the step of learning the voice change according to the user's emotion in the terminal.
단말기를 구입한 사용자는 자신의 감정 변화에 따른 음성 변화를 단말기에 학습시키게 된다. A user who purchases a terminal learns a voice change caused by a change of his or her emotion to the terminal.
예를 들어, 사용자는 현재 감정이 기쁜 상태인 경우 키패드(120)를 이용하여 심리상태 학습 메뉴에서 "기쁜 경우"라는 항목을 선택하면 마이크로 컴퓨터(110)가 기쁜 경우의 심리상태 학습을 감정인식 칩(170)에 명령하게 된다. For example, when the user selects an item of "happy" from the mental state learning menu using the keypad 120 when the current emotion is happy, the microcomputer 110 is happy to learn the mental state when the emotional chip is recognized. Command 170.
이때, 사용자가 통화 등으로 자신의 음성을 마이크(150)로 입력하면 감정인식 칩(170)은 상기 마이크(150)로 입력된 사용자 음성톤을 메모리(160)에 할당된 기쁜 경우의 저장영역에 저장하는데, 이전에 입력된 사용자 음성톤이 저장되어 있다면 현재 입력된 사용자 음성톤과 평균하여 그 평균된 사용자 음성톤을 저장하게 된다. At this time, when the user inputs his or her voice through the microphone 150 through a call or the like, the emotion recognition chip 170 transmits the user's voice tone input through the microphone 150 to the memory 160. If the previously input user voice tone is stored, the averaged user voice tone is stored by averaging with the currently input user voice tone.
만일, 사용자가 심리상태 학습 메뉴에서 "화난 경우"의 항목을 선택한 후 마이크(150)로 음성을 입력하면 감정인식 칩(170)은 현재 입력된 음성톤과 메모리(160)에 저장되어 있는 화난 경우의 사용자 음성톤을 평균하여 그 평균된 음성톤을 저장하게 된다. If the user selects an item of "when angry" in the mental state learning menu and inputs a voice to the microphone 150, the emotion recognition chip 170 is angry when the voice tone currently stored in the memory 160 is stored. The user's voice tones are averaged to store the averaged voice tones.
상기의 과정은 사용자가 심리상태 학습을 설정할 때마다 반복적으로 수행하여 사용자의 감정 상태에 따른 음성톤을 보다 정확히 기록하게 된다. The above process is repeatedly performed whenever the user sets up the psychological state learning to more accurately record the voice tone according to the emotional state of the user.
한편, 상기와 같은 과정으로 사용자의 감정에 따른 음성톤이 학습되면 통화 등으로 사용자 음성이 입력될 때 현재 사용자의 심리상태를 확인하여 그 확인된 심리상태에 대응하는 벨소리 및 바탕화면으로 변경하는데, 이를 상세히 설명하면 다음과 같다. On the other hand, if the voice tone is learned according to the user's emotion in the process as described above, when the user's voice is input through a call, etc. to check the current state of the user's psychological state and to change the ringtone and wallpaper corresponding to the confirmed psychological state, This will be described in detail as follows.
마이크(150)로 사용자 음성이 입력되면 감정인식 칩(170)은 현재의 사용자 음성톤과 메모리(160)에 저장되어 있는 각각의 심리상태에 따른 사용자 음성톤을 비교하여 현재 사용자의 심리상태를 확인하게 된다. When the user's voice is input to the microphone 150, the emotion recognition chip 170 checks the current user's psychological state by comparing the current user's voice tone with the user's voice tone according to each mental state stored in the memory 160. Done.
예를 들어, 사용자의 심리상태가 기쁜 것으로 확인되면 감정인식 칩(170)은 이를 마이크로 컴퓨터(120)로 알리게 된다. For example, when the user's psychological state is confirmed to be happy, the emotion recognition chip 170 notifies the microcomputer 120 of this.
이에 따라, 마이크로 컴퓨터(120)는 감정인식 칩(170)에서 확인한 기쁜 경우에 해당하는 벨소리와 바탕화면을 메모리(160)에서 확인하고 이후, 호출 또는 발신 등으로 벨소리 발생이 필요한 경우 상기에서 확인된 벨소리를 발생시키도록 음 발생부(140)를 제어하며 바탕화면 표시가 필요한 경우 상기에서 확인된 바탕화면을 엘씨디(130)에 표시하게 된다. Accordingly, the microcomputer 120 checks the ringtone and the desktop corresponding to the happy case confirmed by the emotion recognition chip 170 in the memory 160, and after that, when the ringtone is generated by calling or making a call, it is checked above. The sound generating unit 140 is controlled to generate a ring tone, and when the desktop display is required, the checked desktop is displayed on the LCD 130.
따라서, 스트레스를 받은 경우, 우울한 경우, 흥분한 경우에 따라 사용자가 설정한 벨소리를 발생시키거나 바탕화면을 표시함으로써 현재의 사용자 감정을 안정화시키게 된다. Thus, when stressed, depressed or excited, the user's emotion is stabilized by generating a ring tone set by the user or displaying a desktop.
상기와 같은 과정으로 변경된 벨소리 및 바탕화면은 사용자의 심리상태가 변화되기 전까지는 계속 유지된다. The ringtone and the background screen changed as described above are maintained until the mental state of the user is changed.
또한, 상기에서 감정인식 칩(170)와 별도로 메모리(160)을 구비하는 것으로 설명하였으나, 감정에 따른 음성톤을 저장하기 위한 메모리를 상기 감정인식 칩(170)에 내장하여 구성할 수 있다. In addition, although the memory 160 is described separately from the emotion recognition chip 170, the memory for storing the voice tone according to the emotion may be built in the emotion recognition chip 170.
상기에서 상세히 설명한 바와 같이 본 발명은 사용자의 심리변화에 따라 벨소리 또는 바탕화면을 변경함으로써 사용자의 심리 상태를 안정화시킬 수 있는 효과가 있다. As described in detail above, the present invention has an effect of stabilizing the psychological state of the user by changing the ringtone or the wallpaper according to the psychological change of the user.
도1은 본 발명의 실시 예에서 개인화기능 변경 장치의 블록도. 1 is a block diagram of a personalization function change apparatus in an embodiment of the present invention.
도2는 본 발명의 실시 예에서 사용자 음성 학습 및 개인화기능 변경을 위한 신호 흐름도. 2 is a signal flow diagram for changing a user voice learning and personalization function in an embodiment of the present invention.
* 도면의 주요부분에 대한 부호 설명 * Explanation of symbols on the main parts of the drawings
110 : 마이크로 컴퓨터 120 : 캐패드 110: microcomputer 120: cappad
130 : 엘씨디(LCD) 140 : 음 발생부 130: LCD 140: sound generating unit
150 : 마이크(MIC) 160 : 메모리 150: microphone (MIC) 160: memory
170 : 감정인식 칩 170: Emotion Recognition Chip
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040023523A KR100619848B1 (en) | 2004-04-06 | 2004-04-06 | Apparatus and method for changing personalization function in handheld terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040023523A KR100619848B1 (en) | 2004-04-06 | 2004-04-06 | Apparatus and method for changing personalization function in handheld terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050098187A true KR20050098187A (en) | 2005-10-11 |
| KR100619848B1 KR100619848B1 (en) | 2006-09-13 |
Family
ID=37277751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040023523A KR100619848B1 (en) | 2004-04-06 | 2004-04-06 | Apparatus and method for changing personalization function in handheld terminal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100619848B1 (en) |
-
2004
- 2004-04-06 KR KR1020040023523A patent/KR100619848B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR100619848B1 (en) | 2006-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7881708B2 (en) | Mobile terminal, and an associated method, with means for modifying a behavior pattern of a multi-medial user interface | |
| CN1419230A (en) | Method for controlling information display method in electronic equipment and electronic equipment | |
| JP5003655B2 (en) | Mobile terminal device | |
| JP3132494B2 (en) | Ringtone generation information terminal | |
| RU2366113C2 (en) | Configuration of functional kets | |
| EP2068539B1 (en) | Communication device, communication method, and information recording medium | |
| JP3730859B2 (en) | Foldable mobile phone | |
| KR20100081022A (en) | Method for updating phonebook and mobile terminal using the same | |
| KR100408563B1 (en) | Method for preferential incoming call alarm in the mobile phone and mobile phone implementing the same | |
| CN106686245A (en) | Working mode adjusting method and device | |
| KR100619848B1 (en) | Apparatus and method for changing personalization function in handheld terminal | |
| KR100524746B1 (en) | Mobile terminal mode change method considering purposes | |
| US20090005124A1 (en) | Methods and devices for message alert management | |
| KR100531869B1 (en) | Method for morning call in a mobile phone | |
| KR100712925B1 (en) | Mobile communication terminal changeing bell according to a distinguished voice and its operating method | |
| KR100389829B1 (en) | Method for controling prescribed function of mobile phone by adjusting volume key | |
| KR20040019627A (en) | Setting alteration method by bio rhythm for mobile communication terminal | |
| KR101039935B1 (en) | Apparatus and method for changing function in handheld terminal | |
| KR100469688B1 (en) | Method for controlling the receiving bell sound of mobile phone | |
| JP2003152826A (en) | Sound volume adjustment method for mobile telephone and mobile telephone provided with sound volume setting function | |
| JP2002244986A (en) | Communications system, terminal unit, and program | |
| JP2005236429A (en) | Mobile wireless apparatus and call termination operating method thereof | |
| CN101262660A (en) | Information prompt method for mobile communication terminal and mobile communication terminal | |
| JP5228357B2 (en) | Mobile phone, incoming call notification control method, and program | |
| KR100587956B1 (en) | A method and system to produce customized ring-tone and ring-back-tone of mobile telephone device by using text and voice |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120727 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20130724 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20140724 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20150724 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20160722 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20170724 Year of fee payment: 12 |
|
| LAPS | Lapse due to unpaid annual fee |