KR20010056900A - A digital television receiver having the speaker recognition module and a speaker recognition method thereof - Google Patents
A digital television receiver having the speaker recognition module and a speaker recognition method thereof Download PDFInfo
- Publication number
- KR20010056900A KR20010056900A KR1019990058569A KR19990058569A KR20010056900A KR 20010056900 A KR20010056900 A KR 20010056900A KR 1019990058569 A KR1019990058569 A KR 1019990058569A KR 19990058569 A KR19990058569 A KR 19990058569A KR 20010056900 A KR20010056900 A KR 20010056900A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- speaker
- audio
- voice
- speaker recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 32
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 abstract description 12
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Circuits Of Receivers In General (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Receiver Circuits (AREA)
Abstract
Description
본 발명은 조작자의 불편없이 조작자의 신분을 디지털 티비이에 인식시킬 수 있도록 한 디지털 티브이 수신기의 화자인식 장치 및 방법에 관한 것으로, 특히 화자인식을 이용하여 허가된 사용자에게만 선별적으로 티브이를 접근할 수 있도록 한 디지털 티브이 수신기의 화자인식 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for speaker recognition of a digital TV receiver, which enables an operator to recognize a user's identity on a digital TV. In particular, the present invention can selectively access a TV only to an authorized user using speaker recognition. The present invention relates to a speaker recognition apparatus and method of a digital TV receiver.
현재 디지털 티브이 방송으로는 위성을 통한 디지털 위성 방송과 지상파를 이용한 지상파 디지털 방송이 있고, 케이블 디지털 방송도 시행될 예정이다.Currently, digital TV broadcasting includes digital satellite broadcasting through satellites and terrestrial digital broadcasting using terrestrial waves, and cable digital broadcasting will also be implemented.
이러한 3가지 방송 방식에서, 전송매체(위성, 지상파, 케이블)는 확연하게 다르지만 영상/음성 압축과 패킷 구성 등 나머지 부분은 거의 같다.In these three broadcasting schemes, the transmission media (satellite, terrestrial, cable) are distinctly different, but the remainder is almost the same, including video / audio compression and packet composition.
따라서, 이들 방송 수신기의 구성도 전송 방식에 관련된 부분만 다르고, 나머지 부분은 거의 유사하다.Therefore, the configuration of these broadcast receivers also differs only in the parts related to the transmission scheme, and the remaining parts are almost similar.
현재 디지털 방송에서 기본이 되는 전송 포맷은 국제 규격으로 정해진 MPEG-2로서, ISO/IEC 13818-1(시스템), ISO/IEC 13818-2(비디오), ISO/IEC 13818-3(오디오) 규격에 규정되어 있다.Currently, the basic transmission format of digital broadcasting is MPEG-2, which is defined as an international standard.It is based on ISO / IEC 13818-1 (system), ISO / IEC 13818-2 (video), and ISO / IEC 13818-3 (audio) standards. It is prescribed.
그러나, 미국향과 한국향 디지털 티브이 수신기에서는 오디오 규격에서 엠펙 오디오를 사용하지 않고, 돌비 AC-3 오디오 규격을 따르고 있다.However, US and Korean digital TV receivers do not use MPEG audio in the audio standard, but follow the Dolby AC-3 audio standard.
시스템 규격은 트랜스포트 스트림 패킷(TSP)이라고 불리는 시간 다중화된(time-multiplexed) 신호열에 관해 규정하며 비디오 규격, 오디오 규격은압축된 영상, 음성 신호열에 관해 규정한다.The system specification defines a time-multiplexed signal sequence called Transport Stream Packet (TSP), and the video specification and audio specification define a compressed video and audio signal sequence.
패킷의 시작 부분의 헤더내에는 PID(Packet IDdentifier) 번호가 들어있다.The header at the beginning of the packet contains a PID (Packet IDdentifier) number.
상기 PID번호는 시간 다중화된 신호를 역다중할 수 있는 정보를 제공한다.The PID number provides information for demultiplexing a time multiplexed signal.
그리고 PID번호는 현재의 패킷이 비디오 패킷인지, 오디오 패킷인지, 부가정보(Program Specific Information)인지를 나타내 주는 식별 번호이다.The PID number is an identification number indicating whether the current packet is a video packet, an audio packet, or additional information (Program Specific Information).
영상, 음성 기타 부가정보는 시간 다중화되어 여러개의 트랜스포트 스트림 패킷에 실려서 전송되며, 이들 신호열은 PID번호로 구별된다.Video, audio and other additional information are time-multiplexed and carried in several transport stream packets, and these signal sequences are distinguished by PID numbers.
상기에서와 같이 시간 다중화된 여러개의 트랜스포트 스트림 패킷에 실려 디지털 티브이 수신기에 전송되면, 상기 디지털 티브이 수신기는 원하는 채널을 선국하여 원래의 영상/음성 신호를 복원함으로써 시청자는 화면에 표시되는 영상을 보면서 스피커로 출력되는 영상에 대응하는 음성을 청취하게 된다.As described above, when multiplexed transport stream packets are transmitted to a digital TV receiver, the digital TV receiver tunes a desired channel to restore the original video / audio signal so that the viewer can watch the video displayed on the screen. The voice corresponding to the image output to the speaker is heard.
이와같이 동작하는 디지털 티브이 수신기에 대하여 도 1에 의거하여 살펴보면 다음과 같다.A digital TV receiver operating as described above will be described with reference to FIG. 1.
도 1은 일반적인 디지털 티브이 수신기의 블럭 구성도로서, 이에 도시된 바와같이, 안테나로 부터 원하는 채널의 신호를 입력받고, 그 신호를 검파 및 오류 정정을 행한 트랜스포트 신호열을 출력하는 튜너(1)와, 상기에서 출력된 트랜스포트 신호열을 받아 영상 신호열, 음성 신호열, 부가정보 신호열로 각각 분리하는 패킷 분리기(2)와, 상기 패킷 분리기(2)에서 출력되는 음성 신호열을 신장시켜 출력하는 오디오 디코더(3)와, 상기 패킷 분리기(2)에서 출력되는 영상 신호열을 신장시켜 출력하는 비디오 디코더(4)와, 상기 오디오 디코더(3)에서 출력되는 디지털의음성신호를 아날로그의 음성신호로 변환시켜 스피커의 L,R에 전달하는 오디오 디지털/아날로그 변환기(11)와, 시스템 전체를 제어하기 위한 마이크로 컴퓨터(8)와, 상기 마이크로 컴퓨터(8)의 프로그램을 저장하고 있는 롬(9)과, 수행과정에 필요한 부가정보 저장 장소로 쓰이는 램(10)과, 사용자가 원하는 명령을 마이크로 컴퓨터(8)로 전달하는 사용자 인터페이스(12)와, 상기 사용자 인터페이스(12)로 부터 키 입력에 대해 대응하는 OSD정보를 롬으로 부터 전달받아 OSD영상을 출력하는 OSD 처리기(7)와, 상기 비디오 디코더(4)와 OSD 처리기(7)의 출력을 스위칭하는 스위치(5)와, 상기 스위치(5)를 통해 전달되는 영상신호를 일반 티브이나 모니터(CRT)로 디스플레이할 수 있도록 휘도신호(Y)와 색신호(C)로 출력하는 엔티에스씨 엔코더(6)로 구성된다.1 is a block diagram of a general digital TV receiver. As shown therein, a tuner 1 for receiving a signal of a desired channel from an antenna, and outputting a transport signal sequence for detecting and error-correcting the signal; A packet separator 2 for receiving the transport signal sequence outputted from the video signal sequence, an audio signal sequence, and an additional information signal sequence, and an audio decoder for extending and outputting the audio signal sequence output from the packet separator 2; ), A video decoder 4 which expands and outputs a video signal sequence output from the packet separator 2, and converts a digital audio signal output from the audio decoder 3 into an analog audio signal to convert the L signal of the speaker. , Audio-digital-to-analog converter 11 to be transmitted to R, a microcomputer 8 for controlling the whole system, and a program of the microcomputer 8 A ROM (9) storing a gram, a RAM (10) used as a storage location for additional information necessary for the execution process, a user interface (12) for transmitting a user's desired command to the microcomputer (8), and the user interface An OSD processor (7) for receiving OSD information corresponding to a key input from the ROM (12) and outputting an OSD image, and a switch for switching the outputs of the video decoder (4) and the OSD processor (7); 5) and an NTC encoder 6 which outputs a luminance signal Y and a color signal C so that the video signal transmitted through the switch 5 can be displayed on a general TV or monitor CRT. do.
이와같이 구성된 종래 기술에 대하여 상세히 살펴보면 다음과 같다.Looking at the prior art configured in this way in detail as follows.
튜너(1)는 안테나로 부터 VSB(Vestigial SideBand) 또는 QAM(Quadrature Amplitude Modulation) 신호를 입력으로 받고, 이 신호를 검파하고 오류를 정정하여 얻은 트랜스포트 신호열을 패킷 분리기(2)로 출력시킨다.The tuner 1 receives a VSB (Vestigial SideBand) or QAM (Quadrature Amplitude Modulation) signal from an antenna, detects the signal, and outputs a transport signal sequence obtained by correcting an error to the packet separator 2.
그러면 상기 패킷 분리기(2)는 트랜스포트 신호열을 입력으로 받아서 역다중화를 수행하여 영상 신호열, 음성 신호열, 부가정보 신호열을 각각 분리한다.The packet separator 2 receives the transport signal sequence and demultiplexes the video signal sequence, the audio signal sequence, and the additional information signal sequence.
이렇게 분리한 신호열중 음성 신호열은 오디오 디코더(3)로 제공하고, 영상 신호열은 비디오 디코더(4)로 제공하고, 부가정보 신호열은 마이크로 컴퓨터(8)로 제공한다.The audio signal sequence of the separated signal sequence is provided to the audio decoder 3, the video signal sequence is provided to the video decoder 4, and the additional information signal sequence is provided to the microcomputer 8.
그러면 상기 오디오 디코더(3)는 돌비 AC3로 압축된 음성 신호열을 원래의신호로 신장시켜서 오디오 디지털/아날로그 변환기(11)로 출력하면, 상기 오디오 디지털/아날로그 변환기(11)는 디지탈 음성신호를 아날로그 음성신호로 변환시켜 스피커의 L,R로 제공하여 음성을 출력한다.Then, the audio decoder 3 expands the voice signal sequence compressed with Dolby AC3 to the original signal and outputs the audio signal to the audio digital / analog converter 11. The audio digital / analog converter 11 converts the digital voice signal into an analog voice. It converts the signal into L and R of the speaker and outputs the sound.
그리고 비디오 디코더(4)는 MPEG-2로 압축된 영상 신호열을 원래의 크기로 신장시켜서 엔티에스씨 엔코더(6)로 출력한다.The video decoder 4 then decompresses the MPEG-2 compressed video signal string to its original size and outputs it to the NTC encoder 6.
이때 마이크로 컴퓨터(8)는 패킷 분리기(2)에서 분리된 부가정보를 읽어와 분석 및 조합 과정을 거쳐 시청자에게 제공될 수 정보로 데이터 베이스화한 후 램(10)에 저장해두고 필요할 때 읽어들여 사용한다.At this time, the microcomputer 8 reads the additional information separated from the packet separator 2, analyzes and combines it into information that can be provided to the viewer, and stores the data in the RAM 10 for use as needed. .
그리고, 상기 마이크로 컴퓨터(8)는 리모콘, 조작 키와 같은 사용자 인터페이스(12)를 통해 기능 키가 입력되면, 그 기능을 수행시키기 위한 동작을 행한다.When the function key is input through the user interface 12 such as a remote controller and an operation key, the microcomputer 8 performs an operation for performing the function.
마이크로 컴퓨터(8)는 사용자 인터페이스(12)로 부터 키 입력에 대해서 대응하는 OSD정보를 롬(9)으로 읽어들여 OSD 처리기(7)로 전송한다.The microcomputer 8 reads the OSD information corresponding to the key input from the user interface 12 into the ROM 9 and transmits it to the OSD processor 7.
이에 상기 OSD 처리기(7)는 OSD 정보를 OSD 영상으로 처리하여 스위치(5)로 출력한다.The OSD processor 7 processes the OSD information into an OSD image and outputs the OSD information to the switch 5.
이때 마이크로 컴퓨터(8)는 스위치(5)가 비디오 디코더(4)와 OSD 처리기(7)를 번갈아가면서 스위칭하도록 제어한다.At this time, the microcomputer 8 controls the switch 5 to switch between the video decoder 4 and the OSD processor 7 alternately.
상기 비디오 디코더(4)와 OSD 처리기(7)에서 영상과 OSD를 엔티에스씨 엔코더(6)에서 입력으로 받아 일반 티브이나 모니터로 디스플레이 할 수 있도록 휘도신호(Y)와 색신호(C)로 처리하여 출력한다.The video decoder (4) and the OSD processor (7) receive an image and OSD as input from the NTC encoder (6) to process the luminance signal (Y) and color signal (C) to display on a general TV or monitor Output
이 출력된 신호는 CRT에 입력되어 영상을 보여준다.This output signal is input to the CRT to show an image.
미국향, 한국향 디지털 티브이의 부가정보 중에는 PSIP(Program and System Information Protocol)이 포함되어 있다.Among the additional information for the US and Korean digital TVs, the PSIP (Program and System Information Protocol) is included.
PSIP는 다음과 같은 테이블의 조합으로 구성되며, 그 테이블의 기본구조는 도 2에 도시된 바와같다.The PSIP consists of a combination of the following tables, the basic structure of which is shown in FIG.
MGT(Master Guide Table) : 모든 테이블의 버전 관장MGT (Master Guide Table): Version control of all tables
TVCT(Terrestrial Virtual Channel Table) : 채널에 대한 정보를 저장TVRES (Terrestrial Virtual Channel Table): Stores information about channels
RRT(Rating Region Table): 각 프로그램의 지역별 등급표를 저장RRT (Rating Region Table): Stores regional rating tables for each program
EIT(Event Information Table) : 현재 프로그램과 미래 프로그램의 정보Event Information Table (EIT): Information about current and future programs
ETT(Extend Text Table) : 현재 프로그램과 미래 프로그램의 상세 정보Extended Text Table (ETT): Details of current and future programs
STT(System Time Table) : 현재 시간을 전송STT (System Time Table): Send current time
방송국에서는 RRT에 각 지역별 프로그램의 등급에 대한 정의를 표기하며, EIT의 content advisory descriptor안에 해당 프로그램의 등급정보를 실어 보낸다.The broadcasting station indicates the definition of the program rating for each region on the RRT, and sends the program rating information in the content advisory descriptor of the EIT.
디지털 방송 수신에서는 content advisory descriptor를 해독해 사용자의 프로그램 접근을 허용할지 안할지를 결정한다.In digital broadcast reception, the content advisory descriptor is decoded to determine whether to allow a user to access a program.
이러한 시청자의 등급에 관한 기술로는 록(LOCK) 메뉴를 설정하여 등급에 관한 정보를 구체적으로 설정할 수 있게 하고 있으며, 사용자 인터페이스(12)를 통해 비밀번호 입력방식을 사용하여 록 메뉴에 접근하도록 하고 있다.As a technology related to the rating of the viewer, it is possible to specifically set the information on the rating by setting the lock menu, and access the lock menu using a password input method through the user interface 12. .
여기서 록 메뉴는 미성년자들이 시청해서는 안되고, 성인들만이 시청가능한 프로그램의 종류이다.Here, the rock menu is a kind of program that should not be viewed by minors but only by adults.
그러나, 상기에서와 같은 종래기술에 있어서, 시청자가 록(Lock) 메뉴에 접근하고자 할 경우 비밀번호 입력방식을 사용하고 있는데, 비밀번호 유출시의 위험성이 있고, 비밀번호를 바꾸어야 하는 사용상의 불편함이 있으며, 비밀번호를 잊어버린 경우 비밀번호를 알아낼 때 까지 사용할 수 없는 등의 문제점이 있다.However, in the prior art as described above, when a viewer wants to access a lock menu, a password input method is used. There is a risk of password leakage, and there is inconvenience in using a password. If you forget your password, you will not be able to use it until you find it.
따라서 상기에서와 같은 종래의 문제점을 해결하기 위한 본 발명의 목적은 디지털 티브이의 부가정보인 PSIP(Program and System Information Protocol)에 포함되어 있는 RRT(Rating Region Table)의 내용을 효과적으로 구현할 수 있도록 한 디지털 티브이 수신기의 화자인식 장치 및 방법을 제공함에 있다.Accordingly, an object of the present invention for solving the conventional problems as described above is to digitally implement the contents of the RRT (Rating Region Table) included in the PSIP (Program and System Information Protocol), which is additional information of the digital TV. The present invention provides a speaker recognition apparatus and method for a TV receiver.
본 발명의 다른 목적은 조작자의 불편없이 조작자의 신분을 디지털 티브이에 인식시킬 수 있도록 한 디지털 티브이 수신기의 화자인식 장치 및 방법을 제공함에 있다.Another object of the present invention is to provide an apparatus and method for speaker recognition of a digital TV receiver capable of recognizing an operator's identity on a digital TV without the inconvenience of the operator.
본 발명의 또 다른 목적은 화자인식을 이용하여 허가된 사용자에게만 선별적으로 티브이를 시청할 수 있도록 한 디지털 티브이 수신기의 화자인식 장치 및 방법을 제공함에 있다.It is still another object of the present invention to provide a speaker recognition apparatus and method for a digital TV receiver, which enables a user to selectively watch TV only by an authorized user using speaker recognition.
도 1은 일반적인 디지털 티브이 수신기의 블럭 구성도.1 is a block diagram of a general digital TV receiver.
도 2는 도 1에서, PSIP(Program and System Information Protocol) 테이블의 기본 구조도.2 is a basic structural diagram of a program and system information protocol (PSIP) table in FIG. 1;
도 3은 본 발명 화자인식 모듈을 구비한 디지털 티브이 수신기의 블럭 구성도.Figure 3 is a block diagram of a digital TV receiver having a speaker recognition module of the present invention.
도 4는 도 3에서, 화자인식 모듈에 의한 화자인식 과정도.4 is a speaker recognition process by the speaker recognition module in FIG.
도 5는 본 발명 화자인식 모듈을 구비한 디지털 티브이 수신기의 초기출하시 사용자 등록방법에 대한 동작 흐름도.5 is a flowchart illustrating a method for registering a user upon initial shipment of a digital TV receiver having a speaker recognition module of the present invention.
도 6은 도 5에서, 사용자 등록시 사용자 특징추출방법에 대한 동작 흐름도.FIG. 6 is a flowchart illustrating a method for extracting user features when registering a user in FIG. 5.
도 7은 본 발명 디지털 티브이 수신기의 화자인식 방법에 대한 제1실시예.Figure 7 is a first embodiment of the speaker recognition method of the present invention digital TV receiver.
도 8은 본 발명은 디지털 티브이 수신기의 화자인식 방법에 대한 제2실시예.8 is a second embodiment of a speaker recognition method of a digital TV receiver.
***** 도면의 주요 부분에 대한 부호의 설명 ********** Explanation of symbols for the main parts of the drawing *****
101 : 튜너 102 : 패킷 분리기101: tuner 102: packet separator
103 : 오디오 디코더 104 : 비디오 디코더103: Audio Decoder 104: Video Decoder
105 : 스위치 106 : 엔티에스씨 엔코더105: switch 106: NTS encoder
107 : OSD 처리기 108 : 마이크로 컴퓨터107: OSD Processor 108: Microcomputer
109 : 롬 110 : 램109: Rom 110: Ram
111 : 오디오 디지털/아날로그 변환기111: Audio Digital / Analog Converter
112 : 사용자 인터페이스 113 : 음성 입력부112: user interface 113: voice input unit
114 : 화자인식 모듈114: speaker recognition module
상기 목적을 달성하기 위한 본 발명은 사용자가 록(LOCK) 메뉴 접근시 오디오를 뮤트시키는 제1단계와, 오디오 뮤트 후 사용자 음성을 받아들이는 제2단계와, 상기에서 사용자 음성을 받아들인 후 오디오를 뮤트시킨 후 화자인식 모듈을 통해 사용자가 등록된 화자인지를 검색하는 제3단계와, 상기에서 등록된 화자이면 록 메뉴의 접근을 허가하고 등록된 화자가 아니면 록 메뉴 접근을 허가하지 않도록 하는제4단계로 이루어진 것을 특징으로 한다.In order to achieve the above object, the present invention provides a first step of muting audio when a user accesses a lock menu, a second step of accepting a user voice after audio muting, and receiving audio after receiving a user voice. A third step of searching whether the user is a registered speaker through the speaker recognition module after muting; and a fourth step of allowing the access to the lock menu if the speaker is registered above and not to access the lock menu unless the speaker is registered. Characterized in consisting of steps.
또한 본 발명은 사용자에 의한 채널 절환 또는 새로운 프로그램 전송시 EIT에 의한 해당 프로그램에 대한 등급정보와 록 메뉴를 비교하는 제1단계와, 상기에서 새로운 프로그램이 록(LOCK)이 걸려있지 않으면 그대로 프로그램을 출력하고, 록이 걸려 있게 되면 비디오와 오디오 출력을 중지시키는 제2단계와, 상기에서 비디오 및 오디오 출력 중지 후 사용자 음성을 받아들여 등록된 사용자인지를 판단하는 제3단계와, 상기에서 등록된 사용자이면 중지시킨 비디오와 오디오를 출력해주고, 등록된 사용자가 아니면 비디오와 오디오 출력을 정지시키는 제4단계로 이루어진다.In addition, the present invention is a first step of comparing the rating information and the lock menu for the corresponding program by the EIT during channel switching or transmission of a new program by the user, and if the new program is not locked (lock) in the program as it is A second step of stopping the output of video and audio when the lock is engaged; and a third step of determining whether the user is a registered user by accepting the user's voice after stopping the output of the video and audio, and the registered user. In this case, the stopped video and audio are output. If the user is not a registered user, the video and audio output is stopped.
이하, 첨부한 도면에 의거하여 상세히 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings in detail as follows.
도 3은 본 발명 화자인식 모듈을 구비한 디지털 티브이 수신기의 블럭 구성도로서, 이에 도시한 바와같이, 안테나로 부터 원하는 채널의 신호를 입력받고, 그 신호를 검파 및 오류 정정을 행한 트랜스포트 신호열을 출력하는 튜너(101)와, 상기 트랜스포트 신호열을 받아 영상 신호열, 음성 신호열, 부가정보 신호열로 각각 분리하는 패킷 분리기(102)와, 상기에서 분리된 음성 및 영상 신호열을 신장시켜 오디오는 스피커(L,R)로, 영상은 CRT로 각각 출력하는 오디오/비디오 디코더(103)(104)와, 상기 부가정보 신호열을 입력받아 시청자에게 제공될 수 있는 정보로 데이터 베이스화하고, 화자인식을 수행하기 위한 동작을 제어하는 마이크로 컴퓨터(108)와, 사용자의 명령을 전달하는 사용자 인터페이스(112)와, 상기 사용자 인터페이스(112)로 부터 키 입력에 대해 대응하는 OSD정보를 롬으로 부터 전달받아OSD영상을 출력하는 OSD 처리기(107)와, 상기 비디오 디코더(104)와 OSD 처리기(107)의 출력을 스위칭하는 스위치(105)와, 상기 스위치(105)를 통해 전달되는 영상신호를 일반 티브이나 모니터(CRT)로 디스플레이할 수 있도록 휘도신호(Y)와 색신호(C)로 출력하는 엔티에스씨 엔코더(106)와, 사용자의 음성을 입력하기 위한 음성 입력부(113)와, 상기 음성 입력부(113)를 통해 입력되는 사용자의 음성 특징을 추출하여 미리 등록되어 있는 사용자와 비교하여 유사정도가 가장 큰 모델을 찾고, 이를 드레쉬홀드값과 비교하여 등록된 사용자인지를 여부를 판단하여 마이크로 컴퓨터(108)로 전달하는 화자인식 모듈(114)로 구성한다.3 is a block diagram of a digital TV receiver having a speaker recognition module according to an embodiment of the present invention. As shown in this figure, a signal of a desired channel is input from an antenna, and a transport signal sequence obtained by detecting and error correcting the signal is shown. An output tuner 101, a packet separator 102 that receives the transport signal sequence, and separates the image signal sequence, an audio signal sequence, and an additional information signal sequence; (R), the video is an audio / video decoder 103 and 104 respectively output to the CRT, and receiving the additional information signal sequence and the database to the information that can be provided to the viewer to perform the speaker recognition A microcomputer 108 for controlling the computer, a user interface 112 for transmitting a user command, and a key input from the user interface 112. An OSD processor 107 for receiving OSD information from the ROM and outputting an OSD image, a switch 105 for switching the outputs of the video decoder 104 and the OSD processor 107, and the switch 105 An NTS encoder 106 for outputting the luminance signal (Y) and the color signal (C) so that the video signal transmitted through the general TV or monitor (CRT), and an audio input unit for inputting the user's voice And the user's voice feature extracted through the voice input unit 113 to find a model having the highest degree of similarity by comparing with a user who is registered in advance, and comparing it with a threshold value. It is composed of a speaker recognition module 114 to determine whether or not the recognition and deliver to the microcomputer (108).
도 7은 본 발명 화자인식 모듈을 구비한 디지털 티브이 수신기의 화자인식 방법에 대한 제1실시예로서, 이에 도시한 바와같이, 사용자가 록(LOCK) 메뉴 접근시 오디오를 뮤트시키는 제1단계(S42)와, 상기에서 오디오 뮤트 후 사용자 음성의 입력을 요구한 후 그 사용자 음성을 받아들이는 제2단계(S43)와, 상기에서 사용자 음성을 받아들인 후 오디오 뮤트를 해제하는 제3단계(S44)와, 상기 제2단계에서 받아들인 사용자 음성의 특징을 이용하여 화자를 인식하는 제4단계(S45)와, 상기에서 인식한 화자가 등록되어 있는 화자인지를 검색하는 제5단계(S46)와, 상기에서 등록되어 있는 화자이면 록 메뉴의 접근을 허가하고, 등록된 화자가 아니면 록 메뉴 접근을 허가하지 않도록 하는 제6단계(S46,S47)로 이루어진다.FIG. 7 is a first embodiment of a speaker recognition method of a digital TV receiver having a speaker recognition module according to the present invention. As shown therein, a first step of muting audio when a user approaches a lock menu (S42) And a second step (S43) of accepting the user's voice after requesting the input of the user's voice after the audio mute, and a third step (S44) of canceling the audio mute after the user's voice is accepted. A fourth step (S45) of recognizing the speaker by using the characteristics of the user's voice received in the second step; a fifth step (S46) of searching whether the recognized speaker is a registered speaker; If the speaker is registered in the (6) (S46, S47) to allow the access to the lock menu, and not to access the lock menu unless the registered speaker.
또한 도 8은 본 발명 화자인식 모듈을 구비한 디지털 티브이 수신기의 화자인식 방법에 대한 제2실시예로서, 이에 도시한 바와같이, 사용자에 의한 채널 절환 또는 새로운 프로그램 전송시 EIT에 의한 해당 프로그램에 대한 등급정보와 록메뉴를 비교하는 제1단계(S51,S52)와, 상기에서 새로운 프로그램이 록(LOCK)이 걸려있지 않으면 그대로 프로그램을 출력하고, 록이 걸려 있게 되면 비디오와 오디오를 뮤트시키는 제2단계(S53,S54)와, 상기에서 비디오 및 오디오 뮤트 후 사용자 음성을 받아들여 화자 인식을 수행하는 제3단계(S56)와, 상기에서 수행하여 인식한 화자가 등록된 화자이면 비디오 및 오디오 뮤트를 해제시켜 출력해주고, 등록된 화자가 아니면 비디오와 오디오 출력을 정지시키는 제4단계(S58)로 이루어진다.FIG. 8 is a second embodiment of a speaker recognition method of a digital TV receiver having a speaker recognition module according to the present invention. As shown in FIG. 8, when a channel is switched by a user or a new program is transmitted, A first step (S51, S52) of comparing the rating information and the lock menu, and outputting the program as it is if the new program is not locked, and a second of muting video and audio if the lock is locked. Steps S53 and S54, a third step S56 of receiving a user's voice after performing video and audio muting and performing speaker recognition, and a video and audio mute if the recognized speaker is a registered speaker. In operation S58, the controller outputs the canceled output and stops output of video and audio unless the speaker is registered.
이와같이 구성된 본 발명의 동작 및 작용 효과에 대하여 상세히 설명하면 다음과 같다.Referring to the operation and effect of the present invention configured as described in detail as follows.
튜너(101)는 안테나로 부터 신호를 입력받아 검파 및 오류정정한 트랜스포트 신호열을 패킷 분리기(102)로 제공하면, 상기 그러면 상기 패킷 분리기(102)는 트랜스포트 신호열을 역다중화시켜 영상 신호열, 음성 신호열, 부가정보 신호열로 분리한 후 출력한다.When the tuner 101 receives a signal from an antenna and provides a detected and error-corrected transport signal sequence to the packet separator 102, the packet separator 102 demultiplexes the transport signal sequence to thereby transmit a video signal sequence and an audio signal. The signal string and the additional information signal string are separated and output.
이에 상기 음성 신호열은 오디오 디코더(103)에 의해 신장된 후 오디오 디지털/아날로그 변환기(111)를 거쳐 아날로그 음성신호로 변환되어 스피커의 L,R로 제공하여 음성을 출력한다.Accordingly, the voice signal string is extended by the audio decoder 103 and then converted into an analog voice signal through an audio digital / analog converter 111 and provided to L and R of a speaker to output voice.
그리고 영상 신호열은 비디오 디코더(104)에 의해 신장된 후 엔티에스씨 엔코더(106)로 출력한다.The video signal sequence is extended by the video decoder 104 and then output to the NTC encoder 106.
이때 마이크로 컴퓨터(108)는 패킷 분리기(102)에서 분리된 부가정보를 읽어와 분석 및 조합 과정을 거쳐 시청자에게 제공될 수 정보로 데이터 베이스화한 후 램(110)에 저장해두고 필요할 때 읽어들여 사용한다.At this time, the microcomputer 108 reads the additional information separated by the packet separator 102, analyzes and combines the data into information that can be provided to the viewers, and stores the data in the RAM 110 and uses it when necessary. .
그리고, 마이크로 컴퓨터(108)는 사용자 인터페이스(112)로 부터 키 입력에 대해서 대응하는 OSD정보를 롬(109)으로 읽어들여 OSD 처리기(107)로 전송하면, 상기 OSD 처리기(107)는 OSD 정보를 OSD 영상으로 처리하여 스위치(105)로 출력한다.When the microcomputer 108 reads the OSD information corresponding to the key input from the user interface 112 into the ROM 109 and transmits the OSD information to the OSD processor 107, the OSD processor 107 transmits the OSD information. The image is processed as an OSD image and output to the switch 105.
이와같은 동작을 수행하는 디지털 티브이 수신기에서 현재 일반저으로 사용되는 비밀번호 입력방식 대신 화자인식으로 대체하여 사용하고자 하는데, 이에 대하여 살펴보면 다음과 같다.In the digital TV receiver performing such an operation, the present invention intends to use speaker recognition instead of the password input method currently used as a general low.
사용자가 음성 입력부(113)를 통해 음성을 입력하면, 이를 화자인식 모듈(114)에서 음성을 입력받아 도 4에 도시한 과정을 수행한다.When a user inputs a voice through the voice input unit 113, the speaker recognition module 114 receives the voice and performs the process illustrated in FIG. 4.
즉, 먼저 사용자의 음성을 입력받는다.(S11)That is, first, the user's voice is input.
상기 사용자의 음성이 들어오면, 그 음성의 크기를 줄이면서 사용자의 음성특성을 잘 나타낼 수 있는 특징으로 추출한다.(S12)When the user's voice comes in, it is extracted as a feature that can well represent the user's voice characteristics while reducing the size of the voice.
이렇게 추출한 사용자의 음성특징과 미리 등록되어 있는 사용자들의 모델(파라미터)을 비교한다.(S13)The extracted voice features of the user and the models (parameters) of the registered users are compared.
비교시 사용자와 미리 등록되어 있는 사용자들의 모델의 유사성을 계산하여 가장 일치하는 모델을 하나 찾아 선택한다.(S14)In comparison, the similarity between the model of the user and the users registered in advance is calculated to find and select the most matching model (S14).
그런다음 상기에서 선택한 모델의 값과 미리 정해진 드레쉬홀드(Threshold)를 비교하여(S15), 상기 드레쉬홀드 보다 높게되면 이는 인식이 제대로 되었음을 허가하고(S16), 상기 드레쉬홀드 보다 낮게되면 이는 인식이 제대로 되지 않았다고 판단하여 불가판정을 내린다.(S17)Then, by comparing the value of the model selected above with a predetermined threshold (S15), if it is higher than the threshold, it is recognized that the recognition is correct (S16), if it is lower than the threshold It is judged that the recognition is not correct, and makes an impossible decision (S17).
이렇게 허가 및 불가판정을 마이크로 컴퓨터(108)로 제공하면, 상기 마이크로 컴퓨터(108)는 그에따른 동작을 수행하는데 이에 대하여는 뒤에서 살펴보기로 한다.When the permission and non-determination is provided to the microcomputer 108, the microcomputer 108 performs the corresponding operation, which will be described later.
상기에서와 같이 동작하는 화자인식 모듈이 구비된 디지털 티브이 수신기를 출하할 경우 사용자가 등록할 수 있도록 있도록 하는데, 이에 대하여 도 5에 의거하여 살펴보자.When shipping a digital TV receiver equipped with a speaker recognition module operating as described above to enable the user to register, this will be described based on FIG.
초기 출하시에는 록 오프(Lock off)시켜 출력하여 화자인식기능을 사용할 초기 사용자들을 등록할 수 있도록 한 후(S21) 초기 사용자의 음성을 입력받는다. (S22)At the time of initial shipment, the lock is outputted so that the initial users who use the speaker recognition function can be registered (S21) and receive the voice of the initial user. (S22)
이렇게 사용자의 음성을 받아 화자인식 알고리즘에 따라 사용자의 특성을 잘 나타내면서 크기를 최소화할 수 있는 파라미터(모델)를 뽑게 되며, 이를 저장하게 된다.(S23)In response to the user's voice, according to the speaker recognition algorithm, the user's characteristics are well represented and a parameter (model) that can minimize the size is extracted and stored.
이와같이 파라미터(모델)를 뽑는 과정을 도 6에 상세히 나타내고 있는데, 모델을 추정하기 위해서 사용하는 방법은 통계적인 램덤 과정(Random Process)에 기초를 둔 패턴 매칭방법(Pattern Matching Method)을 사용한다.As described above, a process of extracting a parameter (model) is shown in FIG. 6. The method used for estimating the model uses a pattern matching method based on a statistical random process.
즉, 초기에 모델을 초기화(S31)한 후 특징추출되어 들어온 입력값에 좀더 일치하는 모델을 찾아가는 과정인 REESTIMATION 과정을 거치게 된다. 통계적인 재추정방법으로 대표적인 방법의 예로는 Baum-welch 알고리듬과 Segmental k-means 알고리듬이 있다. 특정 기준에 맞추어 재추정 과정을 종료시키게 되면 모델을 저장하게 된다.(S33)In other words, after initializing the model (S31), the REESTIMATION process is performed, which is a process of searching for a model that more closely matches the input value extracted from the feature. Examples of statistical re-estimation methods include the Baum-welch algorithm and the Segmental k-means algorithm. If the re-estimation process is terminated according to a specific criterion, the model is saved (S33).
다시 도 5에서 사용자의 음성으로 부터 특징을 나타내는 파라미터를 추정하여 저장(S23)한 후 록을 건다(Lock on).(S24)In FIG. 5, the parameter representing the characteristic from the user's voice is estimated and stored (S23), and then locked (Lock on). (S24)
이후부터는 화자인식 모듈(114)을 거쳐 프로그램에 따라 사용자를 선별하면 된다.Thereafter, the user may be selected according to a program through the speaker recognition module 114.
출하모드에서 출하시 초기 세팅에만 적용되는 모드이므로, 모든 처리가 끝나면 일반 사용자 모드로 전환한다.(S25)Since the mode is applied only to the initial setting at the time of shipment from the factory mode, when all processing is completed, the mode is switched to the normal user mode.
이후에 일반 사용자 모드에 대하여 본 발명에서 두가지 방법으로 화자인식을 수행하는데, 먼저 도 7에 의거하여 화자를 인식하고 그 인식여부에 따라 록 메뉴(LOCK MENU)의 접근여부를 판단하는 과정에 대하여 살펴보자.Thereafter, speaker recognition is performed in two ways in the present invention with respect to the general user mode. First, a process of recognizing a speaker based on FIG. 7 and determining whether a lock menu is accessed according to whether the speaker is recognized will be described. Let's see.
먼저, 사용자가 사용자 인터페이스(112)를 통해 록 메뉴에 접근하기 위한 키를 선택하면, 이를 인식한 마이크로 컴퓨터(108)는 부가정보를 저장해 둔 롬(109)으로 읽어들여 OSD처리기(107)로 출력하여 엔티에스씨 엔코더(106)를 통해 CRT로 디스플레이되도록 한다.First, when the user selects a key for accessing the lock menu through the user interface 112, the microcomputer 108 recognizing this is read into the ROM 109 storing the additional information and output to the OSD processor 107. To be displayed on the CRT through the NTC encoder 106.
그러면 상기 마이크로 컴퓨터(108)는 티브이 스피커 출력에 의한 사용자 음성입력의 오염을 막기위해 오디오를 뮤트시킨다.(S42)Then, the microcomputer 108 mutes the audio to prevent contamination of the user's voice input by the TV speaker output (S42).
이후에 OSD나 스피커를 통해 사용자에게 음성을 입력하라고 요구한다.Afterwards, the user is asked to input voice through OSD or speaker.
이렇게 하여 사용자가 음성 입력부(113)를 통해 음성을 입력하면, 마이크로 컴퓨터(108)는 그 음성을 화자인식 모듈(114)로 전송한다.(S43)When the user inputs the voice through the voice input unit 113 in this way, the microcomputer 108 transmits the voice to the speaker recognition module 114. (S43)
음성을 입력받은 다음 뮤트시켰던 오디오 뮤트를 해제시킨다(S44)The audio is muted after receiving a voice input (S44).
상기 화자인식 모듈(114)은 앞에서 설명한 도 4의 과정을 거쳐 등록된 화자인지 아닌지를 검색(S45)하여, 마이크로 컴퓨터(108)로 전송하여 주면, 상기 마이크로 컴퓨터(108)는 등록된 화자인지 아닌지를 판단한다.(S46)The speaker recognition module 114 searches whether the speaker is registered through the process of FIG. 4 described above (S45), and transmits it to the microcomputer 108, and whether the microcomputer 108 is the registered speaker. (S46)
판단 결과, 등록된 화자인 경우 록 메뉴에 접근할 수 있도록 허가를 내주고(S47), 등록된 화자가 아닌 경우 록 메뉴에 접근할 수 없도록 허가를 내주지 않는다.(S48)As a result of the determination, the registered speaker is granted permission to access the lock menu (S47), and if the registered speaker is not registered, the permission is not granted to access the lock menu.
그런데, 도 7의 동작만으로는 사용자가 불편을 느끼게 된다.However, only the operation of FIG. 7 makes the user feel uncomfortable.
예를 들어 미성년자 보호를 위해서는 록 메뉴를 자주 변경해야 되고, 사용자가 실수로 메뉴 변경을 잊어버려 미성년자들이 시청해서는 안될 프로그램에 접근가능할 수 있다.For example, minor protection may require frequent changes to the lock menu, and the user may accidentally forget to change the menu, making it accessible to programs that minors should not watch.
메뉴의 잦은 변경에 부담을 느끼는 사용자들을 위해 메뉴에서는 대부분의 등급값을 오프시키고 도 8에 도시한 동작을 사용할 수 있다.For users who are burdened with frequent changes of the menu, the menu can turn off most grade values and use the operation shown in FIG. 8.
즉, 기존 채널에서 프로그램이 새로 시작하거나 사용자에 의해 채널이 절환도리 경우(S51), EIT에 의한 해당 프로그램에 대한 등급정보와 록 메뉴에 설정된 값을 비교한다.(S52)That is, when a program is newly started on an existing channel or the channel is switched by the user (S51), the rating information for the corresponding program by the EIT is compared with the value set in the lock menu (S52).
비교 결과, 록이 걸려있으면 이는 미성년자들이 시청해서는 안되는 프로그램이므로 화자를 알아보기 위하여 오디오 및 비디오를 출력을 뮤트시키고, 사용자의 음성을 요구한다.(S54)As a result of the comparison, if there is a lock, this is a program that should not be watched by minors. Therefore, the audio and video are muted to recognize the speaker, and the user's voice is requested (S54).
사용자가 음성 입력부(113)를 통해 음성을 입력하면, 그 음성을 화자인식 모듈(114)이 입력받는다.(S55)When the user inputs a voice through the voice input unit 113, the speaker recognition module 114 receives the voice. (S55)
이에 상기 화자인식 모듈(114)이 화자를 인식하여 등록된 화자인지 아닌지를 검색하여 마이크로 컴퓨터(108)로 알려준다.(S56)Thus, the speaker recognition module 114 recognizes the speaker and searches whether the speaker is registered or not and informs the microcomputer 108 (S56).
그러면 상기 마이크로 컴퓨터(108)는 등록된 화자이면 오디오와 비디오 신호를 출력해주고(S58), 등록된 화자가 아닌 경우에는 오디오와 비디오 신호의 출력을 내보내지 않도록 한다.Then, the microcomputer 108 outputs audio and video signals if the speaker is registered (S58), and outputs audio and video signals if the speaker is not a registered speaker.
이상에서와 같은 방법을 사용하게 되면 불편없이 미성년자들이 시청해서는 안되는 프로그램을 시청할 수 없게 해준다.Using the same method as described above can prevent minors from watching programs that they should not watch.
이상에서 상세히 설명한 바와같이 본 발명은 디지털 티브이 수신기에서 록 메뉴를 선택하기 위한 방법으로 기존의 비밀번호 설정기능 대신 화자인식으로 대체함으로써, 좀더 안전하고 관리하기 편하며, 사용하기 용이하도록 한 효고가 있다.As described in detail above, the present invention provides a method for selecting a lock menu in a digital TV receiver by replacing speaker recognition with an existing password setting function, thereby making it safer, easier to manage, and easier to use.
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990058569A KR100311414B1 (en) | 1999-12-17 | 1999-12-17 | A digital television receiver having the speaker recognition module and a speaker recognition method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019990058569A KR100311414B1 (en) | 1999-12-17 | 1999-12-17 | A digital television receiver having the speaker recognition module and a speaker recognition method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20010056900A true KR20010056900A (en) | 2001-07-04 |
KR100311414B1 KR100311414B1 (en) | 2001-10-12 |
Family
ID=19626580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019990058569A KR100311414B1 (en) | 1999-12-17 | 1999-12-17 | A digital television receiver having the speaker recognition module and a speaker recognition method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100311414B1 (en) |
-
1999
- 1999-12-17 KR KR1019990058569A patent/KR100311414B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR100311414B1 (en) | 2001-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100311479B1 (en) | Method and apparatus for controlling channel of digital TV | |
KR100601739B1 (en) | Apparatus and method for receiving television broadcast, and television broadcasting method | |
US7469413B1 (en) | Receiving apparatus, method therefor, signal processing apparatus, method therefor and memory medium | |
US8477243B2 (en) | Program guide apparatus acquiring program guide information and/or providing for program guide navigation using same | |
KR20070013602A (en) | Broadcasting signal receiving device and control method thereof | |
US20100060786A1 (en) | Method and apparatus for scanning channel | |
US20040183947A1 (en) | Apparatus and method for displaying signal strengths of every channel of digital broadcast receiver | |
US20080127243A1 (en) | Broadcast receiving apparatus | |
US20090044247A1 (en) | Digital broadcasting receiving apparatus | |
US7068322B2 (en) | Broadcasting receiver | |
US20090013371A1 (en) | Digital broadcasting receiving apparatus | |
US20090195696A1 (en) | Channel system and method | |
KR100311414B1 (en) | A digital television receiver having the speaker recognition module and a speaker recognition method thereof | |
US7733427B2 (en) | Television receiving tuner and television receiver | |
US20090201422A1 (en) | Automatic input change based on remote control mode change | |
KR100653093B1 (en) | Display device for displaying compensated program guide and method thereof | |
JP4666099B2 (en) | Information processing apparatus and information processing method | |
KR100467633B1 (en) | Method for controlling program guide display and apparatus for receiving digital broadcasting | |
KR100647365B1 (en) | The audio signal controlling method of digital television | |
KR100822436B1 (en) | Method for controlling displaying time of genre in Digital Broadcasting Receiver | |
KR100662142B1 (en) | Method of auto-setting channel and television receiver thereof | |
KR20060007162A (en) | Auto channel searching method in cable digital tv | |
JP4554624B2 (en) | Information processing apparatus and information processing method | |
KR100257532B1 (en) | Method for macro function control in tv of the bs receiver interior | |
KR20110029043A (en) | Method for channel controlling in mage displa device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120827 Year of fee payment: 12 |
|
FPAY | Annual fee payment |
Payment date: 20130823 Year of fee payment: 13 |
|
FPAY | Annual fee payment |
Payment date: 20140822 Year of fee payment: 14 |
|
LAPS | Lapse due to unpaid annual fee |