KR100273411B1 - Apparatus and method for controlling closed caption display in korean closed caption broadcasting - Google Patents

Apparatus and method for controlling closed caption display in korean closed caption broadcasting Download PDF

Info

Publication number
KR100273411B1
KR100273411B1 KR1019980013818A KR19980013818A KR100273411B1 KR 100273411 B1 KR100273411 B1 KR 100273411B1 KR 1019980013818 A KR1019980013818 A KR 1019980013818A KR 19980013818 A KR19980013818 A KR 19980013818A KR 100273411 B1 KR100273411 B1 KR 100273411B1
Authority
KR
South Korea
Prior art keywords
subtitle
display
caption
code
korean
Prior art date
Application number
KR1019980013818A
Other languages
Korean (ko)
Other versions
KR19990080501A (en
Inventor
임성수
Original Assignee
구자홍
엘지전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자주식회사 filed Critical 구자홍
Priority to KR1019980013818A priority Critical patent/KR100273411B1/en
Publication of KR19990080501A publication Critical patent/KR19990080501A/en
Application granted granted Critical
Publication of KR100273411B1 publication Critical patent/KR100273411B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42692Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams

Abstract

PURPOSE: A device for controlling caption display of a Korean character caption broadcasting is provided to select one of four caption display methods according to a caption display control code, and to display captions in a corresponding mode, then to display captions corresponding to a video, so as to improve caption readability. CONSTITUTION: If a Korean character caption code receiver(121) separately receives a Korean character caption code from video signals, a caption display selector(122) decides a corresponding mode in accordance with the Korean character caption code, among 4 caption display modes, to decode corresponding data to output the decoded data to a caption editor(123). The caption editor(123) edits the data according to the corresponding caption display mode, and outputs a character code and a control code to a caption display(124). The caption display(124) modulates the character code and the control code according to a corresponding signal, and outputs the modulated codes to a video synthesizer. The character code and the control code are synthesized with the video data.

Description

한글 자막 방송의 자막 표시 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING CLOSED CAPTION DISPLAY IN KOREAN CLOSED CAPTION BROADCASTING}Subtitle display control device and method for Korean subtitle broadcasting {APPARATUS AND METHOD FOR CONTROLLING CLOSED CAPTION DISPLAY IN KOREAN CLOSED CAPTION BROADCASTING}

본 발명은 한글 자막 방송에 관한 것으로 특히, 자막 표시 제어 장치 및 방법에 관한 것이다.The present invention relates to Korean subtitle broadcasting, and more particularly, to an apparatus and method for controlling subtitle display.

통상적으로 영문 자막 표시 방법에는 순간 자막(Pop-On), 연속 자막(Paint-On), 올림 자막(Roll-Up)의 3가지 모드가 있으며 각각의 모드는 화면 표시 방식에서 차이가 있다.In general, there are three modes of displaying English subtitles: pop-on, continuous subtitles, paint-on subtitles, and roll-up subtitles.

따라서, 자막 표시 동작은 송신측에서 3가지 모드중 1가지를 선택하여 제어 송출하면 수신측에서 그 제어 코드를 복호하여 미리 정해진 타입에 맞게 자막을 화면에 표시한다.Therefore, in the subtitle display operation, when a transmission side selects and transmits one of three modes, the reception side decodes the control code and displays the subtitle on the screen according to a predetermined type.

그러나, 순간 자막, 연속 자막 모드, 올림 자막 외에도 내림 자막이 포함되어 4가지 모드가 존재하는 한글 자막 모드 표시 방법은 종래의 영문 자막 모드 표시 방법을 적용하는 경우 제어 코드, 문자 코드 형태, 디스플레이 방법 등이 일치하지 않아 한글 자막을 표시하지 못하는 문제점이 있다.However, the Korean subtitle mode display method including four sub modes in addition to the instant subtitles, the continuous subtitle mode, and the subtitle subtitles is included in the control code, character code form, display method, etc. when the conventional English subtitle mode display method is applied. There is a problem that can not display the Korean subtitles because it does not match.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 순간 자막, 연속 자막, 올림 자막 및 내림 자막의 4가지 한글 자막 표시 모드를 제안함은 물론 자막 표시 모드에 따른 해당 제어 코드를 송출하여 그 제어 코드를 수신측에서 판독함에 따라 해당 자막 표시 방법을 편집함으로써 자막을 영상과 일치되게 표시하여 자막의 가독성를 향상시킬 수 있는 한글 자막 방송의 자막 모드 표시 장치 및 방법을 제공함에 목적이 있다.Accordingly, the present invention proposes four Korean subtitle display modes of instant subtitles, continuous subtitles, rounded subtitles, and rounded-down subtitles to solve the conventional problems, as well as transmitting corresponding control codes according to the subtitle display modes. It is an object of the present invention to provide a caption mode display apparatus and method for Korean subtitle broadcasting that can improve the readability of a subtitle by displaying the subtitle consistent with an image by editing the corresponding subtitle display method as read by the receiving side.

즉, 본 발명은 한글 자막 방송을 수신할 때 순간 자막, 올림 자막, 내림 자막, 연속 자막의 4가지 모드를 제어 코드에 따라 표시하도록 한 것이다.That is, according to the present invention, four modes of instant caption, up-close caption, down-caption caption, and continuous caption are displayed according to a control code when receiving Korean caption broadcasting.

도 1은 본 발명의 자막 방송 송출을 위한 시스템의 블럭도.1 is a block diagram of a system for transmitting closed caption broadcasting of the present invention.

도 2는 본 발명의 자막 방송 수신을 위한 시스템의 기능적 블럭도.2 is a functional block diagram of a system for caption broadcasting reception of the present invention.

도 3은 본 발명의 실시예에 따른 자막신호 수신부의 블럭도.3 is a block diagram of a caption signal receiver according to an embodiment of the present invention;

도 4는 본 발명의 실시예를 위한 전체 신호 흐름도.4 is an overall signal flow diagram for an embodiment of the present invention.

도 5는 도 4에서 순간 자막 표시를 위한 신호 흐름도.FIG. 5 is a signal flow diagram for instant caption display in FIG. 4; FIG.

도 6은 도 4에서 연속 자막 표시를 위한 신호 흐름도.FIG. 6 is a signal flow diagram for continuous caption display in FIG. 4; FIG.

도 7은 도 4에서 올림/내림 자막 표시를 위한 신호 흐름도.FIG. 7 is a signal flow diagram for displaying up / down subtitles in FIG. 4; FIG.

도 8은 도 3에 대한 실제 회로 구성시의 블럭도.8 is a block diagram of the actual circuit configuration of FIG.

* 도면의 주요부분에 대한 부호 설명 *Explanation of symbols on the main parts of the drawings

101 : 영상 편집부 102 : 자막모드 선택부101: video editing unit 102: caption mode selection unit

103 : 자막 편집부 104,114 : 영상 합성부103: subtitle editing unit 104,114: video synthesis unit

105 : 영상/음성 합성부 106 : 음성 편집부105: video / audio synthesizer 106: voice editing unit

107 : 송출부 111 : 영상신호 수신부107: transmitting unit 111: video signal receiving unit

112 : 영상 처리부 113 : 자막신호 수신부112: image processing unit 113: caption signal receiving unit

115 : 표시부 116 : 음성신호 수신부115: display unit 116: audio signal receiving unit

117 : 음성 처리부 118 : 스피커117: voice processing unit 118: speaker

121 : 한글 자막코드 수신기 122 : 자막 표시 선택기121: Korean subtitle code receiver 122: Subtitle display selector

123 : 자막 편집기 124 : 자막 표시기123: Subtitle Editor 124: Subtitle Indicator

810 : 마이크로 컴퓨터 811 : 속성 레지스터810: Microcomputer 811: Property Register

820 : 메모리 블럭 821,823 : 제어코드 메모리820: Memory block 821,823: Control code memory

822,824 : 문자코드 메모리822,824: character code memory

본 발명은 상기의 목적을 달성하기 위하여 자막 방송을 수신하여 자막신호 수신부에서 해당 자막을 위한 제어 코드에 따라 자막을 편집하여 표시하는 장치에 있어서, 상기 자막신호 수신부는 수신된 영상 신호중에서 한글 자막 코드를 분리, 수신하는 한글 자막 코드 수신기와, 상기 한글자막코드에 따른 자막 표시 모드를 판단하여 그 모드에 해당하는 문자 코드 및 제어 코드를 복호하는 자막표시 선택기와, 상기 자막 표시 모드에 맞게 문자 코드 및 제어 코드를 편집하는 자막 편집기와, 상기에서 편집된 문자 코드와 제어 코드를 영상 합성부로 출력하는 자막 표시기로 구성함을 특징으로 한다.In accordance with an aspect of the present invention, there is provided an apparatus for receiving a caption broadcast and editing the caption in accordance with a control code for the caption in the caption signal receiver, wherein the caption signal receiver is a Korean caption code in the received video signal. A subtitle display receiver for separating and receiving a subtitle, a subtitle display selector for determining a subtitle display mode according to the subtitle code, and for decoding a character code and a control code corresponding to the mode; And a caption editor for editing the control code, and a caption display for outputting the edited character code and control code to the image synthesizer.

또한, 본 발명은 상기의 목적을 달성하기 위하여 한글 자막 방송을 수신하여 영상과 함께 자막을 표시하는 방법에 있어서, 수신된 영상 신호에서 한글 자막 코드의 유무를 검출하는 단계와, 상기에서 한글 자막 코드를 검출하는 경우 순간 자막, 연속 자막, 올림 자막 및 내림 자막의 4가지 모드중 해당 모드를 판독하는 단계와, 상기에서 판독한 모드에 따른 제어 코드와 문자 코드를 복호하는 단계와, 상기에서 복호된 문자 코드를 해당 모드에 적합하게 편집하여 표시하는 단계를 수행함을 특징으로 한다.In addition, in order to achieve the above object, the present invention provides a method for displaying a subtitle with a video by receiving a Korean subtitle broadcast, the method comprising: detecting the presence or absence of a Korean subtitle code in a received video signal; Detecting a corresponding mode among the four modes of instant caption, continuous caption, round caption, and round caption, decoding the control code and the character code according to the read mode; And editing and displaying the character code appropriately for the mode.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.Hereinafter, the present invention will be described in detail with reference to the drawings.

본 발명의 실시를 위한 송신측 및 수신측의 블럭도는 도1 및 도2에 도시된 바와 같이 동일하게 이루어진다.The block diagram of the transmitting side and the receiving side for the implementation of the present invention is made the same as shown in Figs.

도1 은 송신 장치의 블럭도로서 이에 도시한 바와 같이, 촬영된 영상을 소정 포맷으로 편집하는 영상 편집부(101)와, 자막 표시 모드를 선택하는 자막 모드 선택부(102)와, 이 자막 모드 선택부(102)의 표시 모드 선택에 따라 미리 정해진 제어 코드를 출력하는 자막 편집부(103)와, 상기 영상 편집부(101)에서 출력되는 영상 신호에 상기 자막 편집부(103)에서 출력되는 제어 코드를 합성하는 영상 합성부(104)와, 상기 영상 편집부(101)에서 출력되는 영상에 동기된 음성을 소정 포맷으로 편집하는 음성 편집부(106)와, 이 음성 편집부(106)에서의 음성 신호와 상기 영상 합성부(104)에서의 영상 신호를 합성하는 영상/음성 합성부(105)와, 이 영상/음성 합성부(105)의 출력 신호를 안테나를 통해 송출하는 송출부(107)로 구성한다.Fig. 1 is a block diagram of a transmitting apparatus, as shown therein, an image editing unit 101 for editing a captured image in a predetermined format, a caption mode selecting unit 102 for selecting a caption display mode, and the caption mode selection. A subtitle editing unit 103 for outputting a predetermined control code according to the display mode selection of the unit 102, and a control code output from the subtitle editing unit 103 to a video signal output from the image editing unit 101; An image synthesizing unit 104, an audio editing unit 106 for editing a voice synchronized with the image output from the image editing unit 101 into a predetermined format, an audio signal and the image synthesizing unit from the audio editing unit 106; A video / audio synthesizing section 105 for synthesizing the video signal at 104 and a transmitter 107 for transmitting the output signal of the video / audio synthesizing section 105 via an antenna.

도2 는 수신 장치의 블럭도로서 이에 도시한 바와 같이, 안테나로 수신되는 방송 신호중에서 영상 신호를 분리하는 영상신호 수신부(111)와, 이 영상신호 수신부(111)의 출력 신호중 영상 신호만을 분리하여 처리하는 영상 처리부(112)와, 상기 영상신호 수신부(111)의 출력 신호중 자막 신호만을 분리, 복호하는 자막신호 수신부(113)와, 이 자막신호 수신부(113)에서의 자막 데이터를 상기 영상 처리부(112)에서의 영상 데이터에 합성하는 영상 합성부(114)와, 이 영상 합성부(114)의 출력 신호를 입력받아 화면에 영상 및 자막을 표시하는 표시부(115)와, 안테나로 수신되는 방송 신호중에서 음성 신호를 분리하는 음성신호 수신부(116)와, 이 음성신호 수신부(116)에서의 출력신호를 원래의 음성 데이터로 복호하여 스피커(118)로 출력하는 음성 처리부(117)로 구성한다.2 is a block diagram of a receiving apparatus, and as shown therein, a video signal receiver 111 that separates a video signal from a broadcast signal received by an antenna, and separates only a video signal from an output signal of the video signal receiver 111. The image processing unit 112 to process, the caption signal receiving unit 113 for separating and decoding only the caption signal among the output signals of the video signal receiving unit 111, and the caption data from the caption signal receiving unit 113 to the image processing unit ( A video synthesizing unit 114 for synthesizing the video data at 112, a display unit 115 for receiving an output signal from the video synthesizing unit 114 and displaying images and captions on a screen, and a broadcast signal received through an antenna; The voice signal receiver 116 which separates a voice signal from the voice signal, and the voice signal processor 117 which decodes the output signal from the voice signal receiver 116 into original voice data and outputs it to the speaker 118.

본 발명의 실시예에 따른 상기 자막신호 수신부(113)는 도3 의 블럭도에 도시한 바와 같이, 영상신호 수신부(111)에서의 영상신호중에서 한글자막 신호를 분리, 수신하는 한글 자막 코드 수신기(121)와, 상기 한글자막 신호에 따른 자막 표시 모드를 판단하여 그 모드에 해당하는 문자 코드 및 제어 코드를 복호하는 자막표시 선택기(122)와, 상기 자막 표시 모드에 맞게 문자 코드를 저장하고 제어 코드에 의해 편집하는 자막 편집기(123)와, 상기에서 편집된 문자 코드와 제어 코드를 가지고 영상 신호에 맞게 변조하여 영상 합성부(114)로 출력하는 자막 표시기(124)로 구성한다.As shown in the block diagram of FIG. 3, the caption signal receiver 113 according to an exemplary embodiment of the present invention separates and receives a Hangul subtitle signal among video signals received from the video signal receiver 111 ( 121) and a caption display selector 122 that determines a caption display mode according to the Hangul subtitle signal and decodes a character code and a control code corresponding to the mode, and stores a character code in accordance with the caption display mode and stores a control code. A caption editor 123 to be edited by using a subtitle editor 123, and a caption display 124 which is modulated according to the video signal with the character code and control code edited above and output to the video synthesizing unit 114.

이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 설명하면 다음과 같다.Referring to the operation and effect of the embodiment of the present invention configured as described above are as follows.

먼저, 송신측의 자막 표시 모드 송출 동작을 설명하면 다음과 같다.First, the caption display mode delivery operation of the transmitting side will be described.

방송 프로그램을 제작하기 위하여 촬영된 영상을 영상 편집부(101)에서 소정 포맷으로 편집하고 그 영상에 동기된 음성을 음성 편집부(106)에서 소정 포맷으로 편집할 때 자막을 삽입하는 경우 자막 모드 선택부(102)에서 순간 자막, 연속 자막, 올림 자막, 내림 자막의 4가지 모드중 하나를 선택하게 된다.When the caption is inserted when the captured image is edited in the predetermined format by the image editing unit 101 and the voice synchronized with the image is edited in the predetermined format to produce a broadcast program, the caption mode selection unit ( In step 102, one of four modes of instant caption, continuous caption, round caption, and round caption is selected.

이때, 자막 편집부(103)는 자막 모드 선택부(102)의 표시 모드 선택에 따라 미리 정해진 제어 코드를 출력하며 영상 합성부(104)는 영상 편집부(101)에서 출력되는 영상 신호에 상기 제어 코드를 합성하여 영상/음성 합성부(105)에 출력한다.At this time, the subtitle editing unit 103 outputs a predetermined control code according to the display mode selection of the subtitle mode selecting unit 102, and the image synthesizing unit 104 applies the control code to the image signal output from the image editing unit 101. The synthesizer is output to the video / audio synthesizer 105.

이에 따라, 영상/음성 합성부(105)가 음성 편집부(106)에서의 음성 신호와 영상 합성부(104)에서의 영상 신호를 합성하면 송출부(107)는 안테나를 통해 그 합성된 신호를 송출하게 된다.Accordingly, when the video / audio synthesis unit 105 synthesizes the audio signal from the audio editing unit 106 and the video signal from the video synthesis unit 104, the transmitter 107 transmits the synthesized signal through the antenna. Done.

그리고, 상기와 같은 동작으로 송출되는 자막 신호가 포함된 방송 신호를 수신하는 수신측의 자막 표시 동작을 설명하면 다음과 같다.Subsequently, a caption display operation of a receiver that receives a broadcast signal including a caption signal transmitted through the above operation will be described as follows.

안테나에서 방송 신호를 수신할 때 영상신호 수신부(111)는 자막 신호를 포함하고 있는 영상 신호를 분리하고 음성신호 수신부(116)는 음성신호를 분리하게 된다.When the antenna receives the broadcast signal, the video signal receiver 111 separates the video signal including the subtitle signal, and the audio signal receiver 116 separates the audio signal.

이때, 영상 처리부(112)는 영상신호 수신부(111)의 출력신호에서 영상신호만을 분리하여 원래의 영상신호로 복호하며 자막신호 수신부(113)는 자막신호만을 분리하여 해당 자막 표시 모드의 제어 코드와 문자 코드를 복호하게 된다.At this time, the image processing unit 112 separates only the video signal from the output signal of the video signal receiving unit 111 and decodes the original video signal, and the subtitle signal receiving unit 113 separates only the subtitle signal and the control code of the corresponding subtitle display mode. The character code is decoded.

이에 따라, 영상 합성부(114)가 자막신호 수신부(113)에서의 문자 코드 및 제어 코드를 영상 처리부(112)에서의 영상 데이터의 해당 위치에 합성하여 표시부(115)에 전송하면 상기 표시부(115)는 화면에 영상과 자막을 표시하게 된다.Accordingly, when the image synthesizing unit 114 synthesizes the character code and the control code of the caption signal receiving unit 113 to the corresponding position of the image data in the image processing unit 112 and transmits the image code to the display unit 115, the display unit 115. ) Will display video and subtitles on the screen.

또한, 수신측에서 상기와 같은 동작으로 영상과 자막을 표시할 때 음성 처리부(117)는 음성신호 수신부(116)에서의 출력신호를 원래의 음성 데이터로 복호하여 스피커(118)로 출력하게 된다.In addition, when the receiving side displays the image and the caption by the above operation, the audio processing unit 117 decodes the output signal from the audio signal receiving unit 116 into the original audio data and outputs it to the speaker 118.

따라서, 상기와 같은 동작을 수행함에 의해 표시부(115)의 화면에 영상을 표시함과 아울러 그 영상에 동기된 음성신호를 스피커(118)로 출력하고 그때 상기 표시부(115)의 화면에는 음성 신호에 동기된 자막을 표시하게 된다.Accordingly, by performing the above-described operation, an image is displayed on the screen of the display unit 115 and an audio signal synchronized with the image is output to the speaker 118, and then an audio signal is displayed on the screen of the display unit 115. Synchronized subtitles are displayed.

한편, 상기에서 해당 자막 표시 모드를 판단하여 자막을 표시할 때 도3 과 같은 자막신호 수신부(113)는 도4 와 같은 과정을 수행하며 그때의 각각의 모드에 따른 동작은 도5 내지 도7 의 신호 흐름도와 동일한 과정으로 수행된다.On the other hand, when the caption display mode is determined by displaying the caption display mode as described above, the caption signal receiving unit 113 as shown in FIG. 3 performs the process as shown in FIG. 4, and the operation according to each mode is shown in FIGS. It is performed in the same process as the signal flowchart.

도4 와 동일한 과정의 자막신호 수신부(113)의 동작을 설명하면 다음과 같다.Referring to the operation of the caption signal receiving unit 113 in the same process as in Figure 4 as follows.

먼저, 한글 자막코드 수신기(121)가 영상신호 수신부(111)의 영상신호중에서 한글 자막코드를 분리, 수신하면 자막 표시 선택기(122)는 상기 한글 자막 코드에 따른 순간자막, 연속 자막, 올림 자막, 내림 자막의 4가지 자막 표시 모드중 해당 모드를 판단함에 의해 해당 데이터(= 제어 코드 + 문자 코드)를 복호하여 자막 편집기(123)로 출력한다.First, when the Korean subtitle code receiver 121 separates and receives a Korean subtitle code from the image signal of the image signal receiving unit 111, the subtitle display selector 122 performs the instantaneous subtitles, the continuous subtitles, the uploaded subtitles, The corresponding data (= control code + character code) is decoded and outputted to the subtitle editor 123 by determining the corresponding mode among the four subtitle display modes of the subtitle.

이때, 자막 편집기(123)는 자막 표시 선택기(122)에서의 문자 코드 + 제어 코드를 비표시 메모리 또는 표시 메모리에 일시 저장함에 의해 해당 자막 표시 모드에 맞게 편집한 후 그 문자 코드와 제어 코드를 자막 표시기(124)에 출력한다.At this time, the subtitle editor 123 temporarily edits the character code + control code of the subtitle display selector 122 in the non-display memory or the display memory to fit the subtitle display mode, and then subtitles the character code and the control code. It outputs to the display unit 124.

이에 따라, 자막 표시기(124)는 자막 편집기(123)에서 편집된 문자 코드와 제어 코드를 가지고 해당 신호에 맞게 변조한 후 영상 합성부(114)로 출력한다.Accordingly, the caption display unit 124 modulates the character code and the control code edited by the caption editor 123 according to the corresponding signal and outputs the modulated signal to the image synthesizer 114.

따라서, 영상 합성부(114)를 통해 영상 데이터에 자막 코드 및 제어 코드가 합성되어 표시부(115)에 출력됨에 의해 화면에 영상과 자막이 표시되어진다.Accordingly, the caption code and the control code are combined with the image data through the image synthesizing unit 114 and output to the display unit 115 to display the image and the caption on the screen.

상기 동작에서 순간 자막 표시를 위한 과정은 도5 의 신호 흐름도와 동일하며, 이를 설명하면 다음과 같다.In the above operation, the process for displaying the instant caption is the same as the signal flowchart of FIG. 5.

여기서, 표시 메모리는 현재 화면상에 표시하는 자막 정보가 저장되어 있는 메모리이며 비표시 메모리는 다음에 표시할 자막 정보를 일시적으로 저장하는 메모리이다.Here, the display memory is a memory for storing caption information currently displayed on the screen, and the non-display memory is a memory for temporarily storing caption information to be displayed next.

먼저, 한글 자막코드 수신기(121)가 영상신호 수신부(111)의 출력 신호에서 분리, 수신한 한글 자막 코드를 자막 표시 선택기(122)에서 복호하여 순간 자막 모드의 제어 코드(= 순간 자막 시작 명령어)를 자막 편집기(123)에 출력한다.First, the Korean subtitle code receiver 121 separates the received Korean subtitle code from the output signal of the image signal receiving unit 111 and decodes the received Korean subtitle code in the subtitle display selector 122 (= instant subtitle start command). Is output to the subtitle editor 123.

이때, 자막 편집기(123)는 자막 표시 선택기(122)에서 순간 자막의 시작 명령어가 입력되는 순간부터 순간 자막의 표시 명령어가 입력될 때까지 순간 자막 시작 명령어의 뒤에 입력되는 데이터(= 문자 코드 + 제어 코드)를 비표시 메모리에 저장하는데, 순간 자막 시작 명령이 입력되면 비표시 메모리를 지운 후 제어 코드와 문자 코드를 디코딩하여 저장하게 된다.At this time, the subtitle editor 123 inputs the data (= character code + control) that is input after the moment subtitle start command from the moment when the moment subtitle start command is input in the subtitle display selector 122 until the moment command is displayed. Code) is stored in the non-display memory, and when the instant caption start command is input, the non-display memory is erased and then the control code and the character code are decoded and stored.

이 후, 순간 자막의 표시 명령어가 입력되면 자막 편집기(123)는 비표시 메모리를 표시 메모리로 전환시켜 그 전환된 표시 메모리에 저장되어 있는 데이터를 자막 표시기(124)로 출력한다.Subsequently, when a display instruction of the instant caption is input, the caption editor 123 converts the non-display memory into the display memory and outputs data stored in the converted display memory to the caption display 124.

이에 따라, 순간 자막의 표시를 위해 자막 표시기(124)는 자막 편집기(123)에서 출력되는 데이터를 영상 합성부(114)로 출력한다.Accordingly, the caption display 124 outputs the data output from the caption editor 123 to the image synthesizing unit 114 to display the instant caption.

따라서, 표시부(115)의 화면에 영상이 표시되면서 순간 자막이 표시된다.Accordingly, the caption is displayed while the image is displayed on the screen of the display unit 115.

상기에서 자막 편집기(123)는 비표시 메모리를 표시 메모리로 전환시켜 저장된 데이터를 영상 합성부(114)로 출력하는 시점에서 이전의 표시 메모리를 비표시 메모리로 전환시켜 도5 와 같은 과정을 반복 수행함에 의해 자막 표시 선택기(122)에서의 데이터를 저장하게 된다.In the above description, the subtitle editor 123 converts the non-display memory into the display memory and converts the previous display memory into the non-display memory at the time of outputting the stored data to the image synthesizing unit 114 to repeat the process as shown in FIG. 5. The data in the subtitle display selector 122 is stored.

상기에서 연속 자막 표시를 위한 과정은 도6 의 신호 흐름도와 동일하며, 이를 설명하면 다음과 같다.The process for displaying continuous captions is the same as the signal flow diagram of FIG. 6, which will be described below.

먼저, 한글 자막코드 수신기(121)가 영상신호 수신부(111)의 출력 신호에서 분리, 수신한 한글 자막 코드를 자막 표시 선택기(122)에서 복호하여 연속 자막 모드의 제어 코드(= 연속 자막 시작 명령어)를 자막 편집기(123)에 출력한다.First, the Korean subtitle code receiver 121 separates the received Korean subtitle code from the output signal of the video signal receiver 111 and decodes the received Korean subtitle code in the subtitle display selector 122 to control the continuous subtitle mode (= continuous subtitle start command). Is output to the subtitle editor 123.

이때, 자막 편집기(123)는 자막 표시 선택기(122)에서 연속 자막의 시작 명령어가 입력되는 순간부터 표시 메모리에 그 연속 자막 시작 명령어의 뒤에 입력되는 데이터(= 문자 코드 + 제어 코드)를 저장한 후 바로 자막 편집기(123)로 바로 출력한다.At this time, the subtitle editor 123 stores the data (= character code + control code) input after the continuous subtitle start command in the display memory from the moment when the subtitle start selector 122 inputs the start command of the continuous subtitle. Immediately output to the subtitle editor 123.

따라서, 연속 자막의 표시를 위해 자막 표시기(124)는 자막 편집기(123)에서 출력되는 데이터를 영상 합성부(114)로 출력함으로써 표시부(115)의 화면에는 영상이 표시되면서 연속 자막이 표시된다.Accordingly, in order to display the continuous captions, the caption displayer 124 outputs the data output from the caption editor 123 to the image synthesizing unit 114 so that the continuous captions are displayed while the image is displayed on the screen of the display 115.

즉, 연속 자막 표시의 경우에는 연속 자막 시작 명령어를 수신하는 순간부터 이 후에 입력되는 데이터들은 바로 표시 메모리에 저장되어 화면에 표시된다.That is, in the case of continuous caption display, data input immediately after receiving the continuous caption start command are immediately stored in the display memory and displayed on the screen.

또한, 상기에서 올림 또는 내림 자막 표시를 위한 과정은 도7 의 신호 흐름도와 동일하며, 이를 설명하면 다음과 같다.In addition, the process for displaying the up or down subtitles is the same as the signal flow diagram of FIG. 7, which will be described below.

여기서, 올림 자막의 경우를 예를 들어 설명하기로 한다.Here, the case of rounding subtitles will be described by way of example.

먼저, 한글 자막코드 수신기(121)가 영상신호 수신부(111)의 출력 신호에서 분리, 수신한 한글 자막 코드를 자막 표시 선택기(122)에서 복호하여 올림 자막 모드의 제어 코드(= 올림 자막 시작 명령어)를 자막 편집기(123)에 출력한다.First, the Korean subtitle code receiver 121 separates the received Korean subtitle code from the output signal of the video signal receiver 111 and decodes the received Korean subtitle code in the subtitle display selector 122 (= a subtitle start command). Is output to the subtitle editor 123.

이때, 자막 편집기(123)는 자막 표시 선택기(122)에서 올림 자막의 시작 명령어에 뒤이어 입력되는 기본행과 열 위치를 지정하는 명령어에 따라 창을 설정하고 뒤이어 입력되는 데이터(문자 코드 + 제어 코드)를 표시 메모리에 저장하여 영상 합성부(114)로 출력한다.At this time, the subtitle editor 123 sets the window according to a command for designating a base line and a column position input following the start command of the subtitle in the subtitle display selector 122 and subsequently inputs the data (character code + control code). Is stored in the display memory and output to the image synthesizing unit 114.

상기에서 자막 표시를 위한 창은 기본행을 기준으로 화면의 윗방향으로 지정된 열까지 설정하게 된다.In the above description, the window for displaying the subtitles is set up to a column designated in an upward direction of the screen based on the basic line.

이 후, 줄바꿈 명령어가 입력되면 자막 편집기(123)는 표시 메모리에 저장된 데이터를 다음 열의 위치로 이동시켜 저장하면서 자막 표시 선택기(122)에서 입력되는 데이터를 기본행의 위치에 저장한다.Subsequently, when a line break command is input, the subtitle editor 123 stores the data input from the subtitle display selector 122 in the position of the basic row while moving and storing the data stored in the display memory to the position of the next column.

상기에서 표시 메모리에 데이터를 저장하는 동작은 줄바꿈 명령어가 입력될 때마다 반복적으로 수행된다.The operation of storing data in the display memory is repeatedly performed whenever a line break command is input.

따라서, 표시부(115)의 화면에는 소정 위치에 설정된 창내에 기본행을 기준으로 자막이 화면의 윗부분으로 이동하면서 표시되어진다.Therefore, the subtitle is displayed on the screen of the display unit 115 while moving to the upper part of the screen based on the base line in the window set at the predetermined position.

상기에서 줄바꿈 명령어가 입력되어 자막 편집기(123)가 표시 메모리에 현재 저장되어 있는 데이터들을 각기 다음 열로 이동시켜 저장할 때 창의 맨윗열에 해당하는 데이터를 소거함에 의해 표시부(115)의 화면에 표시되는 창의 맨윗열의 자막을 소거하게 된다.When the line break command is input and the caption editor 123 moves the data currently stored in the display memory to the next column, the window is displayed on the screen of the display unit 115 by erasing the data corresponding to the top column of the window. The caption in the top row is deleted.

상기에서 자막의 소거는 창의 끝으로 연속으로 이동함에 의해 사라지도록 구현할 수 있다.In the above, the erasing of the subtitles can be implemented to disappear by continuously moving to the end of the window.

반대로, 내림 자막 시작 명령어가 복호되어 내림 자막 표시 모드가 설정된 경우 기본행을 기준으로 화면의 아랫방향으로 지정된 열까지 창을 설정하여 자막을 화면의 아랫방향으로 이동시키면서 표시하게 된다.On the contrary, when the lower subtitle start command is decoded and the lower subtitle display mode is set, the window is set up to a column designated in the lower direction of the screen based on the basic line, and the subtitle is moved downward in the screen.

그 내림 자막 표시 동작은 올림 자막 표시의 경우와 동일하며 다만 자막의 이동 방향만이 다르다.The subtitle display operation is the same as that of the subtitle display, except that the moving direction of the subtitle is different.

한편, 상기에서 본원 발명의 실시예에 대하여 도3 과 같은 기능적인 블럭을 예를 들어 설명하였으나, 실제 회로 구성에 있어서는 도8 의 블럭도와 같이 구성하게 된다.On the other hand, the above-described embodiment of the present invention with respect to the functional block as shown in Figure 3 by way of example, in the actual circuit configuration is configured as shown in the block diagram of FIG.

즉, 마이크로 컴퓨터(810)가 자막 표시 선택기(122)와 자막 편집기(123)에서의 동작을 하드웨어 또는 소프트웨어적으로 수행하며 상기 마이크로 컴퓨터(810)의 외부에 표시 메모리 또는 비표시 메모리로 동작시키기 위한 메모리 블럭(820)을 장착하고 현재 표시할 자막의 속성, 표시 메모리 및 비표시 메모리의 속성을 저장하기 위한 속성 레지스터(811)를 상기 마이크로 컴퓨터(810)에 내장하여 구성한다.That is, the microcomputer 810 performs hardware or software operations in the subtitle display selector 122 and the subtitle editor 123, and operates the display memory or the non-display memory outside the microcomputer 810. The memory block 820 is equipped with an attribute register 811 for storing the attribute of the subtitle to be currently displayed, the attribute of the display memory and the non-display memory, in the microcomputer 810.

상기 메모리 블럭(820)는 제어코드 메모리(821)(823)와 문자코드 메모리(822)(824)로 구분할 수 있다.The memory block 820 may be divided into a control code memory 821 and 823 and a character code memory 822 and 824.

여기서, 제어코드 메모리와 문자코드 메모리(821,822)(823,824)는 각기 하나의 메모리를 구성하는데, 예를 들어 순간 자막 표시 모드의 경우 교대로 표시 메모리와 비표시 메모리로 속성을 전환하며 연속자막 또는 올림/내림 자막 표시의 경우 표시 메모리로 속성을 고정하게 된다.Here, the control code memory and the character code memory 821,822 (823,824) constitute one memory, for example, in the case of the instant caption display mode, the attribute is alternately switched between the display memory and the non-display memory, and the subtitles or roundings are made. In the case of subtitle display, the property is fixed to the display memory.

상기에서 상세히 설명한 바와 같이 본 발명은 자막 표시 제어 코드에 따라 4가지의 자막 표시 방법중 하나를 선택하여 해당 모드로 자막을 표시함에 있어서 영상과 일치되는 자막을 표시함으로써 자막의 가독성을 향상시킬 수 있는 효과가 있다.As described in detail above, the present invention can improve the readability of a subtitle by selecting one of four subtitle display methods according to the subtitle display control code and displaying a subtitle matched with an image in displaying the subtitle in a corresponding mode. It works.

Claims (8)

자막신호 수신부에서 한글 자막 방송 신호에 포함된 자막 표시 모드에 따라 해당 자막을 영상과 함께 표시하는 장치에 있어서, 상기 자막신호 수신부는 수신된 자막 방송 신호중에서 한글 자막 코드를 분리, 수신하는 한글 자막 코드 수신기와, 순간 자막, 연속 자막, 올림 자막 및 내림 자막의 4가지 자막 표시 모드중 상기 한글자막코드에 따른 자막 표시 모드를 판단하여 그 모드에 해당하는 문자 코드 및 제어 코드를 복호하는 자막표시 선택기와, 상기 자막 표시 모드에 맞게 문자 코드 및 제어 코드를 편집하는 자막 편집기와, 상기에서 편집된 문자 코드와 제어 코드를 영상 합성부로 출력하는 자막 표시기로 구성함을 특징으로 하는 한글 자막 방송의 자막 표시 제어 장치.An apparatus for displaying a corresponding subtitle together with an image according to a subtitle display mode included in a Korean subtitle broadcast signal by a subtitle signal receiver, wherein the subtitle signal receiver separates and receives a Korean subtitle code from a received subtitle broadcast signal. A subtitle display selector for judging a subtitle display mode according to the Korean subtitle code among four subtitle display modes of a subtitle, a continuous subtitle, a continuous subtitle, a round subtitle, and a subtitle, and decoding a character code and a control code corresponding to the mode; And a caption editor for editing a character code and a control code according to the caption display mode, and a caption indicator for outputting the edited character code and control code to an image synthesizer. Device. 제1항에 있어서, 자막 편집기는 현재 표시되는 자막의 문자 코드 및 제어 코드를 저장하는 표시 메모리와, 다음에 표시될 자막의 문자 코드 및 제어 코드를 저장하는 비표시 메모리를 포함하여 구성함을 특징으로 하는 한글 자막 방송의 자막 표시 제어 장치.The subtitle editor of claim 1, wherein the subtitle editor comprises a display memory for storing a character code and a control code of a currently displayed subtitle, and a non-display memory for storing a character code and a control code of a subtitle to be displayed next. Subtitle display control device for Korean subtitle broadcasting. 한글 자막 방송을 수신하여 자막 표시 모드에 따라 해당 자막을 영상과 함께 표시하는 방법에 있어서, 수신된 영상 신호에서 한글 자막 코드의 유무를 검출하는 제1 단계와, 상기에서 한글 자막 코드를 검출하는 경우 순간 자막, 연속 자막, 올림 자막 및 내림 자막의 4가지 모드중 해당 모드를 판독하는 제2 단계와, 상기에서 판독한 모드에 따른 제어 코드와 문자 코드를 복호하는 제3 단계와, 상기에서 복호된 문자 코드를 제어 코드에 따라 해당 모드에 적합하게 편집하여 표시하는 제4 단계를 수행함을 특징으로 하는 한글 자막 방송의 자막 표시 제어 방법.A method of receiving a Korean subtitle broadcast and displaying a corresponding subtitle with an image according to a subtitle display mode, the method comprising: detecting a presence or absence of a Korean subtitle code in a received video signal; A second step of reading the corresponding mode among the four modes of the instant caption, the continuous caption, the round caption, and the down caption; a third step of decoding the control code and the character code according to the mode read above; And a fourth step of editing and displaying the character code appropriately for the mode according to the control code. 제3항에 있어서, 순간 자막 표시 동작은 순간 자막 시작 명령어 또는 순간 자막 표시 명령어의 입력을 판단하는 제1 과정과, 상기에서 시작 명령어가 입력되면 비표시 메모리의 내용을 소거하는 제2 과정과, 상기 시작 명령어 이후에 입력되는 데이터(제어 코드 + 문자 코드)를 복호하는 제3 과정과, 상기에서 복호된 데이터를 화면에 표시하기 위한 포맷으로 변환하는 제4 과정과, 상기에서 변환된 데이터를 상기 비표시 메모리에 저장하는 제5 과정과, 상기에서 순간 자막 표시 명령어가 입력되면 상기 비표시 메모리를 표시 메모리로 전환시켜 자막을 표시하고 이전의 표시 메모리는 비표시 메모리로 전환시켜 상기와 동일한 과정으로 데이터를 저장하는 제6 과정을 반복적으로 수행함을 특징으로 하는 한글 자막 방송의 자막 표시 제어 방법.The method of claim 3, wherein the caption display operation comprises: a first process of determining an input of an instant caption start command or an instant caption display command; a second process of erasing contents of the non-display memory when the start command is input; A third process of decoding data (control code + character code) input after the start command, a fourth process of converting the decoded data into a format for displaying on the screen, and converting the converted data into the A fifth process of storing in the non-display memory, and when the instant caption display command is input, the non-display memory is converted to the display memory to display the subtitles, and the previous display memory is converted to the non-display memory to perform the same process as described above. A subtitle display control method of Korean subtitle broadcasting, characterized by repeatedly performing a sixth process of storing data. 제3항에 있어서, 연속 자막 표시 동작은 연속 자막 시작 명령어의 입력을 판단하는 제1 과정과, 상기에서 시작 명령어가 입력되면 그 시작 명령어 이후에 입력되는 데이터(제어 코드 + 문자 코드)를 복호하는 제2 과정과, 상기에서 복호된 데이터를 화면에 표시하기 위한 포맷으로 변환하는 과정과, 상기에서 변환된 자막 데이터를 표시 메모리에 저장하여 화면에 바로 표시하는 제4 과정을 반복적으로 수행함을 특징으로 하는 한글 자막 방송의 자막 표시 제어 방법.The method of claim 3, wherein the continuous caption display operation comprises: a first process of determining an input of a continuous caption start command; and decoding data (control code + character code) input after the start command when the start command is input. A second process, a process of converting the decoded data into a format for displaying on the screen, and a fourth process of storing the converted caption data in a display memory and immediately displaying it on the screen. A subtitle display control method of a Korean subtitle broadcast. 제3항에 있어서, 올림 자막 표시 동작은 올림 자막 시작 명령어 또는 줄 바꿈 명령어의 입력을 판단하는 제1 과정과, 상기에서 시작 명령어가 입력되면 그 명령어 이후에 입력되는 코드(기본행 및 열 정보)를 복호하는 제2 과정과, 상기에서 복호된 정보를 이용하여 화면에 표시될 기본행의 위치를 설정하고 그 기본행을 기준으로 화면의 상측 방향으로 지정된 열까지 창을 설정하는 제3 과정과, 상기에서 시작 명령어 이후에 입력되는 데이터(제어 코드 + 문자 코드)를 복호하는 제4 과정과, 상기에서 복호된 데이터를 화면에 표시하기 위한 포맷으로 변환하는 제5 과정과, 상기에서 변환된 데이터를 표시 메모리에 저장하여 화면에 자막을 표시하는 제6 과정과, 상기에서 줄바꿈 명령어가 입력되면 표시 메모리에 저장된 데이터를 다음 열의 영역으로 이동,저장하여 화면의 자막을 다음 열에 표시하는 제7 과정을 반복 수행함을 특징으로 하는 한글 자막 방송의 자막 표시 제어 방법.The method of claim 3, wherein the display of the rounding subtitle is performed by a first process of determining an input of a rounding subtitle start command or a line break command, and a code input after the command when the start command is input (base line and column information). A second process of decoding a second process, a third process of setting a position of a base line to be displayed on the screen using the information decoded above, and setting a window up to a column designated in an upper direction of the screen based on the base line; A fourth process of decoding data (control code + character code) input after the start command, a fifth process of converting the decoded data into a format for displaying on the screen, and converting the converted data A sixth process of displaying the subtitles on the screen by storing them in the display memory; and moving the data stored in the display memory to an area of the next column when the line break command is input. Chapter Hangul method subtitle display control of the closed captioning feature according to claim 7 for carrying out the repeated step of displaying the subtitles on the screen the next column. 제6항에 있어서, 창의 맨윗열에 표시된 자막은 줄바꿈 명령어가 입력될 때 표시 메모리의 영역에서 소거하여 자막을 소거하는 것을 특징으로 하는 한글 자막 방송의 자막 표시 제어 방법.7. The method for controlling subtitle display of Korean subtitle broadcasting according to claim 6, wherein the subtitle displayed in the top column of the window is erased by erasing the subtitle from the area of the display memory when a line break command is input. 제3항에 있어서, 내림 자막 표시 동작은 기본행을 기준으로 화면의 아래 방향으로 지정된 열까지 창을 설정하고 올림 자막 표시 동작과 동일하게 과정을 수행함을 특징으로 하는 한글 자막 방송의 자막 표시 제어 방법.4. The method of claim 3, wherein the display of the subtitles is performed by setting a window to a designated column in a downward direction of the screen with respect to the base line and performing the same process as the display of the subtitles. .
KR1019980013818A 1998-04-17 1998-04-17 Apparatus and method for controlling closed caption display in korean closed caption broadcasting KR100273411B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980013818A KR100273411B1 (en) 1998-04-17 1998-04-17 Apparatus and method for controlling closed caption display in korean closed caption broadcasting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980013818A KR100273411B1 (en) 1998-04-17 1998-04-17 Apparatus and method for controlling closed caption display in korean closed caption broadcasting

Publications (2)

Publication Number Publication Date
KR19990080501A KR19990080501A (en) 1999-11-15
KR100273411B1 true KR100273411B1 (en) 2001-01-15

Family

ID=40749383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980013818A KR100273411B1 (en) 1998-04-17 1998-04-17 Apparatus and method for controlling closed caption display in korean closed caption broadcasting

Country Status (1)

Country Link
KR (1) KR100273411B1 (en)

Also Published As

Publication number Publication date
KR19990080501A (en) 1999-11-15

Similar Documents

Publication Publication Date Title
KR970078600A (en) Soft-scroll method of viewer-selected subtitle display
JPH08107552A (en) Character broadcasting specal reproducing device and teletext specital reproducing device
KR100273411B1 (en) Apparatus and method for controlling closed caption display in korean closed caption broadcasting
KR20010001725A (en) Method for controlling display of a caption graphic signal
KR100242114B1 (en) Apparatus and method for receiving digtal tv cldsed caption data by osd function
KR100224093B1 (en) Searching method for caption broadcasting signal with web search
JP3311834B2 (en) Caption display control device and control method therefor
KR100242345B1 (en) Changing method for default color of caption data
KR100273413B1 (en) Method for controlling the position of closed cation in korean closed caption broadcasting
KR100565726B1 (en) Method of caption data transmission of caption broadcasting system
KR100273414B1 (en) Caption position designation apparatus and method for korean closed caption broadcasting
KR100296286B1 (en) Apparatus and method for processing closed caption error in korean closed cation broadcasting program
KR100539519B1 (en) Method for caption control of korean caption decoder in case cursor position is at 39th column or 40th column.
KR100224095B1 (en) Display method for translating data in dual caption broadcasting signal
KR100261819B1 (en) Method for controlling conversion of caption display
KR19990035602A (en) Audio signal output method of caption broadcasting receiver
KR970078579A (en) Method of transmitting additional information of viewer-selectable caption broadcasting and method of displaying icon
KR100292358B1 (en) Method for controlling displaying caption signal according to limitation condition
KR100188279B1 (en) Televiewer option caption broadcasting, receive apparatus & method with dual-words caption transmit function
KR19990035597A (en) Caption signal location information display method of caption broadcasting receiver
KR0164736B1 (en) Words code transmission and receiving apparatus, method using one channel for viewer selecting caption broadcasting
KR100307593B1 (en) Display Method of Caption Broadcast
KR100206115B1 (en) Method for displaying picture a moment stop additional information of televiewer option
JPH04373284A (en) Teletext decoder
KR19990035593A (en) Caption broadcasting receiver and receiving method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120827

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20130823

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee