KR20100060742A - Karaoke player, system and method thereof - Google Patents

Karaoke player, system and method thereof Download PDF

Info

Publication number
KR20100060742A
KR20100060742A KR1020080119471A KR20080119471A KR20100060742A KR 20100060742 A KR20100060742 A KR 20100060742A KR 1020080119471 A KR1020080119471 A KR 1020080119471A KR 20080119471 A KR20080119471 A KR 20080119471A KR 20100060742 A KR20100060742 A KR 20100060742A
Authority
KR
South Korea
Prior art keywords
signal
module
playback
server
video signal
Prior art date
Application number
KR1020080119471A
Other languages
Korean (ko)
Other versions
KR101003612B1 (en
Inventor
더블유. 첸 짐
Original Assignee
인벤테크 베스타 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인벤테크 베스타 컴퍼니 filed Critical 인벤테크 베스타 컴퍼니
Priority to KR1020080119471A priority Critical patent/KR101003612B1/en
Publication of KR20100060742A publication Critical patent/KR20100060742A/en
Application granted granted Critical
Publication of KR101003612B1 publication Critical patent/KR101003612B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/363Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems using optical disks, e.g. CD, CD-ROM, to store accompaniment information in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42661Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals

Abstract

PURPOSE: A karaoke player and a system and method thereof are provided to enable a user not to download a video signal of the accompaniment music by playing an audio signal, a caption signal, and a video signal in a play module of the transmission device through receiving the video signal, caption signal, and audio signal of a third transmission module of signal processing device in a fourth transmission module of the transmission device. CONSTITUTION: A second transmission module(220) of a signal processing unit(200) receives one of playback. A third transport module(250) of the signal processing unit transmits the video signal, the audio signal and one or more caption signal. A server(100) comprises a first transmission module(110) and a server module(120). The server module transmits the playback to the signal processor. A transmitting device(300) comprises a fourth transmission module(310) and a play module(320). The fourth transport module receives the video signal, the sound signal and one or more caption signal.

Description

가라오케 기기의 재생장치, 시스템 및 방법{KARAOKE PLAYER, SYSTEM AND METHOD THEREOF}KARAOKE PLAYER, SYSTEM AND METHOD THEREOF

본 발명은 일종의 가라오케 재생장치, 시스템 및 방법에 관한 것으로, 특히 일종의 서버측에 영상신호를 저장하지 않는 가라오케 기기 재생장치, 시스템 및 방법에 관한 것이다.The present invention relates to a kind of karaoke playback apparatus, system and method, and more particularly to a karaoke device playback apparatus, system and method that does not store a video signal on a server side.

노래를 부르는 것은 이미 현대인의 휴식활동 중 하나가 되었고 현재 노래방에 가서 노래를 부르는 것 외에도 점점 더 많은 가정에서 가라오케기기 설비를 구매하고 있다. 그러나 가정용 가라오케기기 설비의 최대 단점은 곡을 즉각적으로 업데이트할수 없거나 사용자가 수동으로 곡을 업데이트해야 하는 것으로 이러한 상황은 사용자에게는 이상적이지 못하다. Singing has become one of the relaxation activities of modern people, and now, in addition to singing in karaoke, more and more families are buying karaoke equipment. However, a major disadvantage of home karaoke equipment is that the song cannot be updated immediately or the user must manually update the song, which is not ideal for the user.

회선망의 급속한 발전에 따라 디지털TV(또는 셋톱박스)역시 가라오케기기와 유사한 서비스를 제공하기 시작했고 그것은 반주곡을 서버에 저장하여 디지털TV(또는 셋톱박스)에서 회선망을 통해 서버로 다운로드하여 사용자가 선택한 재생명령을 제공할 수 있으며 사용자가 재생목록상의 곡을 선택한 후 디지털TV(또는 셋톱박스)는 서버로 반주곡을 다운로드 한다.In line with the rapid development of circuit networks, digital TVs (or set-top boxes) have also begun to provide services similar to karaoke devices, which store accompaniment on the server and download them from the digital TV (or set-top boxes) to the server via the network. You can provide a play command, and after the user selects a song on the playlist, the digital TV (or set-top box) downloads the accompaniment to the server.

전통적인 가라오케기기에서 재생되는 반주곡은 모두 영상, 소리와 자막을 영상음향신호로 통합하며, 그래서 디지털TV(또는 셋톱박스)에서 제공하는 가라오케기기도 서버로 반주곡의 영상음향신호를 청구한 후 다시 재생되어 사용자가 따라 부르게 된다. 그러나 매번 반주곡을 재생할 때마다 회선망을 통해 반주곡의 영상신호, 소리신호 및 자막신호를 전송해야 하는데 그 중 영상신호는 파일크기가 매우 커서 반주곡 다운로드에 적지 않은 네트워크 유동량을 필요로 하고 대량의 대역폭을 사용하게 되어 전체 자료전송 효율에 영향을 주게 된다.Accompaniments played on traditional karaoke devices all integrate video, sound and subtitles into video sound signals, so karaoke devices provided by digital TVs (or set-top boxes) also request video sound signals from the accompaniment to the server and then back. It is played and you can sing along. However, each time the accompaniment is played, the video signal, sound signal, and subtitle signal of the accompaniment must be transmitted through the network. Among them, the video signal has a very large file size and requires a lot of network flow for accompaniment download. The use of bandwidth affects the overall data transfer efficiency.

본 발명은 상기 종래기술에서 제출된 현재 반주곡 다운로드에 대량의 유동량이 청구되는 현황에 입각하여, 일종의 가라오케기기 재생장치, 시스템 및 방법을 제공하여 다운로드하는 자료량을 감소시키려는데 그 목적이 있다. An object of the present invention is to reduce the amount of data to be downloaded by providing a kind of karaoke device reproducing apparatus, a system, and a method, based on a current situation in which a large amount of flow is charged for the current accompaniment download submitted by the prior art.

상기한 목적을 달성하기 위하여 본 발명의 가라오케기기 재생장치는 저장모듈, 청구생성모듈, 전송모듈, 신호해독모듈, 재생모듈을 포함하며, 주로 청구생성모듈을 통해 청구를 생성하고 전송모듈이 청구된 재생자료의 응답을 수신하고 신호해독모듈이 재생자료를 소리신호와 자막신호로 해독하고, 최종적으로 재생모듈이 저장모듈에서 저장된 영상음향신호, 소리신호 및 자막신호를 재생하는 바, 저장모듈에는 이미 자료량이 많은 영상음향신호를 저장하고 있기 때문에 반주곡 다운로드 시 대량의 유동량을 청구하는 문제를 해결할 수 있는 것이다.In order to achieve the above object, the karaoke device reproducing apparatus of the present invention includes a storage module, a claim generating module, a transmission module, a signal decoding module, and a reproducing module. Receiving the response of the playback data, the signal decoding module decodes the playback data into the sound signal and the caption signal, and finally the playback module plays the video sound signal, sound signal and the caption signal stored in the storage module. Since video and audio signals store a large amount of data, it is possible to solve the problem of charging a large amount of flow when accompaniment downloads.

상기한 바와 같이, 본 발명의 가라오케기기 재생시스템은 신호처리장치, 서버, 재생장치를 포함하며, 그중 신호처리장치는 또 저장모듈, 청구생성모듈, 제2전송모듈, 신호해독모듈, 제3전송모듈을 포함하며, 서버는 제1전송모듈, 서버모듈을 포함하며, 재생장치는 제4전송모듈, 재생모듈을 포함하는 바, 신호처리장치의 저장모듈을 통해 영상음향신호를 저장하고 청구생성모듈이 서버 상의 서버모듈에 재생자료를 청구하고, 다시 신호처리장치상의 신호해독모듈이 재생자료를 소리신호와 자막신호로 해독한 후, 재생장치의 재생모듈에서 영상음향신호, 소리신호, 자막신호를 재생하여 반주곡 다운로드 시 대량의 유동량이 청구되는 문제를 해결한다. As described above, the karaoke device reproducing system of the present invention includes a signal processing device, a server, and a reproducing device, wherein the signal processing device further includes a storage module, a claim generating module, a second transmission module, a signal decoding module, and a third transmission. And a server, wherein the server includes a first transmission module and a server module, and the playback apparatus includes a fourth transmission module and a playback module. The playback module is charged to the server module on the server, and the signal decoding module on the signal processing device decodes the playback data into sound signals and caption signals, and then the video sound signals, sound signals, and caption signals are received by the playback module of the playback apparatus. Resolves an issue where large amounts of flow are charged when playing back an accompaniment.

본 발명의 가라오케기기 재생방법은 신호처리장치에서 영상신호를 저장하고, 신호처리장치에서 청구를 생성하고, 신호처리장치에서 청구를 서버로 발송하며, 서버는 청구에 상응하는 재생자료를 신호처리장치로 전송하며, 신호처리장치는 재생자료를 하나의 소리신호와 최소 한 개의 자막신호로 해독하며, 신호처리장치가 영상신호, 소리신호와 자막신호를 재생장치로 전송하고, 재생장치에서 영상신호, 소리신호와 자막신호를 재생한다. 신호처리장치는 영상신호를 저장하고 서버로 재생자료를 청구한 후, 재생자료를 소리신호와 자막신호로 해독하고 영상신호, 소리신호와 자막신호를 재생하여 반주곡 다운로드 시 대량의 유동량이 청구되는 문제를 해결한다.The karaoke device reproducing method of the present invention stores a video signal in the signal processing device, generates a request in the signal processing device, sends a request to the server in the signal processing device, and the server transmits the playback data corresponding to the request. The signal processing device decodes the playback data into one sound signal and at least one caption signal, and the signal processing device transmits the video signal, the sound signal and the caption signal to the playback device, and the video signal, Plays sound and subtitle signals. The signal processing device stores the video signal, requests playback data from the server, decodes the playback data into sound signals and caption signals, and plays back video signals, sound signals, and caption signals. Solve the problem.

상기 종래기술에서 제출된 반주곡 다운로드 시 대량의 유동량이 청구되는 문제와 비교대조 시, 본 발명은 다운로드 자료량을 확실히 감소시켜 자료전송 효과를 달성하였고 이를 빌어 종래기술에서 제출된 문제를 해결하였다.In comparison with the problem that a large amount of flow is charged when downloading the accompaniment filed in the related art, the present invention clearly reduces the amount of download data to achieve a data transmission effect, thereby solving the problem submitted in the prior art.

이하 본 발명의 상세한 특징과 실시방법을 첨부한 도면에 의하여 구체적으로 설명하면 다음과 같다. 그러나 첨부된 도면은 본 발명의 기술적 사상을 보다 구체적으로 설명하기 위한 하나의 예를 도시한 것에 불과하므로 본 발명의 기술적 사상이 첨부된 도면에 한정되는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, the detailed features and methods of the present invention will be described in detail with reference to the accompanying drawings. However, the accompanying drawings are only one example for more specifically describing the technical idea of the present invention, and thus the technical idea of the present invention is not limited to the accompanying drawings.

본 발명에서 제출한 소리신호와 자막신호 간에는 예를 들어 반주곡과 함께 나오는 배경음악, 제시자막 등과 같은 시간 상의 대응관계를 가지고 있으나 본 발명의 소리신호와 자막신호는 반주곡과 함께 나오는 배경음악과 제시자막에만 국한되지는 않는다. Although the sound signal and the subtitle signal submitted by the present invention have a time-corresponding relationship such as background music, a presentation subtitle, etc., which accompany the accompaniment, the sound signal and the subtitle signal of the present invention have a background music that comes with the accompaniment. It is not limited to presenting subtitles.

이하 도1 본 발명의 가라오케기기 재생시스템의 구조도를 통해 본 발명의 시스템운영을 설명하고자 한다. 도면에서 예시하는 바와 같이, 본 발명의 시스템은 서버(100), 신호처리장치(200), 재생장치(300)를 포함하며, 그 중 서버(100)는 적어도 제1전송모듈(110), 서버모듈(120)을 포함하며, 신호처리장치(200)는 적어도 청구생성모듈(210), 제2전송모듈(220), 저장모듈(230), 신호해독모듈(240), 제3전송모듈(250)을 포함하며, 재생장치(300)는 적어도 제4전송모듈(310), 재생모듈(320)을 포함하고 있다.Hereinafter, the system operation of the present invention will be described through a structural diagram of a karaoke device reproducing system of the present invention. As illustrated in the drawings, the system of the present invention includes a server 100, a signal processing apparatus 200, and a playback apparatus 300, among which the server 100 includes at least a first transmission module 110 and a server. Module 120, the signal processing apparatus 200 includes at least the billing generation module 210, the second transmission module 220, storage module 230, signal decoding module 240, the third transmission module 250 The playback apparatus 300 includes at least a fourth transmission module 310 and a playback module 320.

제1전송모듈(110)은 신호처리장치(200)의 제2전송모듈(220)에서 전송되어 온 청구를 수신한 후, 청구와 대응하는 재생자료를 신호처리장치(200)의 제2전송모듈(220)로 전송한다. The first transmission module 110 receives the request transmitted from the second transmission module 220 of the signal processing apparatus 200, and then reproduces the reproduction data corresponding to the request, the second transmission module of the signal processing apparatus 200. Send to 220.

그중 재생자료는 엔코더처리를 거쳐 소리신호, 자막신호가 동시에 재생자료에 저장되도록 하는데 예를 들어 맞춤화된(customized) 미디(Musical Instrument Digital Interface; MIDI)형식으로 소리신호와 자막신호를 각기 다른 채널(channel)에 저장하나, 본 발명의 재생자료는 MIDI형식에만 국한되지는 않으며, 기타 동시에 소리신호와 자막신호의 형식으로 저장할 수 있는 형식이면 모두 본 발명에 사용 가능하며 별도로 자막신호가 두 조 이상인 경우, 즉 특히 각기 다른 채널을 사용하여 두 조 이상의 자막신호를 저장할 수 있다. Among them, the reproduced data is encoded and processed so that the sound signal and the subtitle signal can be simultaneously stored in the reproduced data. For example, a customized Musical Instrument Digital Interface (MIDI) format allows the sound and subtitle signals to be separated from each other. channel), but the playback material of the present invention is not limited to the MIDI format, and other formats can be used in the present invention as long as they can be stored in the form of a sound signal and a caption signal. In other words, two or more sets of caption signals can be stored using different channels.

서버모듈(120)은 제1전송모듈(110)이 신호처리장치(200)의 제2전송모듈(220)에서 전송되어 온 청구를 수신한 후, 청구와 대응하는 재생자료를 신호처리장치(200)의 제2전송모듈(220)로 전송한다.The server module 120 receives the request transmitted from the second transmission module 220 of the signal processing device 200 by the first transmission module 110, and then outputs playback data corresponding to the request. Is transmitted to the second transmission module 220.

청구생성모듈(210)은 다운로드하려는 재생자료에 관한 청구를 생성한다. The billing generation module 210 generates a bill for the playback material to be downloaded.

제2전송모듈(220)은 청구생성모듈(210)에서 생성한 청구의 서버(100)의 제1전송모듈(110)로의 전송을 담당하고, 서버(100)의 제1전송모듈(110)에서 전송해온 전송 청구에 대응하는 재생자료를 수신하는 역할을 담당한다.The second transmission module 220 is responsible for the transmission of the server 100 of the claim generated by the claim generation module 210 to the first transmission module 110, in the first transmission module 110 of the server 100 It is responsible for receiving the playback material corresponding to the transmission request that has been transmitted.

저장모듈(230)은 영상신호의 저장을 담당하는 바, 저장된 영상신호는 사전에 신호처리장치(200)의 저장모듈(230)에 저장한 신호이다.The storage module 230 is responsible for storing the video signal, and the stored video signal is a signal stored in the storage module 230 of the signal processing apparatus 200 in advance.

신호해독모듈(240)은 제2전송모듈(220)이 수신한 재생자료를 소리신호와 최소 한 조의 자막신호로 해독하는 역할을 담당한다. The signal decoding module 240 decodes the reproduction data received by the second transmission module 220 into a sound signal and at least one set of caption signals.

제3전송모듈(250)은 저장모듈(230)에 전송하여 저장된 영상신호, 신호해독모듈(240)에서 생성한 소리신호와 자막신호를 재생장치(300)의 제4전송모듈(310)로 전송하는 역할을 담당한다.The third transmission module 250 transmits the video signal stored in the storage module 230 and the sound signal and the caption signal generated by the signal decoding module 240 to the fourth transmission module 310 of the playback device 300. It plays a role.

제4전송모듈(310)은 신호처리장치(200)의 제3전송모듈(250)이 전송한 영상신호, 소리신호와 자막신호의 수신을 담당한다.The fourth transmission module 310 is responsible for receiving the image signal, the sound signal and the subtitle signal transmitted by the third transmission module 250 of the signal processing apparatus 200.

재생모듈(320)은 제4전송모듈(310)에서 수신한 영상신호와 소리신호의 동시 재생을 담당하고, 동시에 각 조 자막신호 중 각 구간의 자막을 그에 대응하는 시간태그(Tag)에 기록된 시간과 재생한 영상신호가 경과한 시간을 서로 동시화시키고 재생모듈(320)에서 해당 구간의 자막을 표시를 담당한다.The playback module 320 is responsible for the simultaneous playback of the video signal and the audio signal received from the fourth transmission module 310, and at the same time recorded the caption of each section of each set of caption signals in a time tag corresponding thereto. The time and the elapsed time of the reproduced video signal are synchronized with each other, and the playback module 320 is responsible for displaying subtitles of the corresponding section.

하드웨어 실현에 있어 신호처리장치(200)와 재생장치(300)는 각각 전송선을 통해 제3전송모듈(250)과 제4전송모듈(310)과 연결된 것 외에도 디지털 TV의 역할도 가능하며 디지털TV에서 회로로 직접 제3전송모듈(250)과 제4전송모듈(310)과 연결된다. In the hardware realization, the signal processing device 200 and the reproducing device 300 are each connected to the third transmission module 250 and the fourth transmission module 310 through transmission lines, and may also serve as digital TVs. The circuit is directly connected to the third transmission module 250 and the fourth transmission module 310.

이하 도2 본 발명의 가라오케기기 재생방법의 방법도와 결부하여, 하나의 실시예를 통해 본 발명의 운영시스템과 방법을 설명하려 한다. Hereinafter, the operating system and method of the present invention will be described with reference to FIG. 2 in connection with the method of the method for reproducing a karaoke device of the present invention.

본 실시예에서 서버(100)는 웹페이지 서버이지만 본 발명에서는 이에만 국한되지는 않으며 재생자료를 신호처리장치(200)의 서버에 전송가능한 다른 것도 본 발명에 사용될수 있으며, 신호처리장치(200)는 셋톱박스이지만 본 발명에서는 이에 국한되지 않으며 수신된 영상신호, 소리신호와 자막신호를 통합하여 재생장치(300)에 제공하여 재생가능한 영상음향신호는 모두 본 발명에 사용될수 있으며, 본 실시예에서 제출한 재생장치(300)는 TV이지만 본 발명에서는 이에 국한되지 않으며 신호처리장치(200)에서 전송되는 영상음향신호를 전송하는 기타 재생장치는 모두 본 발명에 사용될수 있다. 본 실시예에서 재생자료는 반주곡의 소리신호와 자막신호를 예로 하지만 본 발명에서 제출한 재생자료는 반주곡에만 국한되지 않으며 동시에 본 실시예의 재생자료는 MIDI양식을 사용하여 소리신호와 자막신호를 저장하지만 본 발명의 재생자료는 상기 MIDI형식에 국한되지는 않는다. In the present embodiment, the server 100 is a web page server, but the present invention is not limited thereto, and another method capable of transmitting playback data to a server of the signal processing apparatus 200 may be used in the present invention, and the signal processing apparatus 200 may be used. ) Is a set-top box, but the present invention is not limited thereto, and any video sound signal that can be reproduced by integrating the received video signal, sound signal, and caption signal to the playback device 300 may be used in the present invention. The playback device 300 submitted by is a TV, but the present invention is not limited thereto, and any other playback device for transmitting a video sound signal transmitted from the signal processing device 200 may be used in the present invention. In this embodiment, the playback material is an example of the sound signal and subtitle signal of the accompaniment, but the playback material submitted by the present invention is not limited to the accompaniment. Although stored in the present invention, the reproduction data of the present invention is not limited to the above MIDI format.

셋톱박스(신호처리장치(200))의 경우, 공장출하 시 저장모듈(230)에 반주곡의 영상신호(절차400)가 저장되어 있으며 이외에도 저장모듈(230)은 반주곡에 사용되는 영상신호의 정보도 저장하게 된다. In the case of the set-top box (signal processing apparatus 200), the video signal (procedure 400) of the accompaniment is stored in the storage module 230 at the factory, and the storage module 230 is a It also stores information.

따라서, 사용자가 반주곡을 재생하여 노래를 부르려고할 때, 셋톱박스의 청구생성모듈(210)은 하나의 청구(절차 410)를 생성하게 된다. 이어서, 셋톱박스 상의 제2전송모듈(220)은 청구생성모듈(210)이 생성한 청구를 본 발명의 웹페이지 서버(서버100)로 전송하게 된다.Therefore, when the user attempts to sing a song by playing the accompaniment, the billing generation module 210 of the set-top box generates one bill (procedure 410). Subsequently, the second transmission module 220 on the set top box transmits the charge generated by the charge generation module 210 to the web page server (server 100) of the present invention.

웹페이지 서버 상의 제1전송모듈(110)이 청구를 수신(절차 420)한 후, 웹페이지 서버 상의 서버모듈(120)은 수신된 청구와 대응하는 재생자료(절차430)를 취득하게 된다. 그중 서버모듈(120)이 재생자료를 취득하는 방법은 서버(100)(웹페이지 서버)의 저장모듈(도면에는 표시 안됨)에서 읽어 올 수 있으며, 또한 서버(100)와 연결된 저장설비(도면에는 표시 안됨)에서 다운로드할 수도 있지만 서버모듈(120)에서 본 발명에서 제출한 재생자료를 취득하는 방법은 상기 두 종류에만 국한되지는 않는다. After the first transmission module 110 on the webpage server receives the request (procedure 420), the server module 120 on the webpage server acquires the playback material (procedure 430) corresponding to the received claim. Among them, the server module 120 may acquire the playback data from a storage module (not shown) of the server 100 (web page server), and may be read from a storage device connected to the server 100 (not shown). May be downloaded from the present invention in the server module 120, but not limited to the above two types.

서버모듈(120)에서 반주곡의 소리신호와 자막신호를 취득한 후, 서버모듈(120)은 제1전송모듈(110)을 통해 MIDI형식의 재생자료를 셋톱박스 상의 제2전송모듈(220)로 다시 전송한다. After acquiring the sound signal and the caption signal of the accompaniment from the server module 120, the server module 120 transfers the playback data in the MIDI format to the second transmission module 220 on the set-top box through the first transmission module 110. Send again.

제2전송모듈(220)이 웹페이지 서버 상의 제1전송모듈(110)이 전송한 재생자료(절차440)를 수신한 후, 셋톱박스 상의 신호해독모듈(240)은 재생자료 중 각기 다른 채널에 저장된 소리신호와 최소 한 조의 자막신호를 추출하게 되는데 즉, 재생자료를 소리신호와 최소 한 조의 자막신호(절차 450)로 해독하게 되는데 만약 자막신호가 한 조만 있으면 소리신호와 자막신호는 각각 하나의 채널을 사용하게 되고, 자막신호가 두 조이면 소리신호가 하나의 채널을 사용하게 되고 두 조의 자막 신호가 각각 하나의 채널을 사용하게 되며, 수가 늘어날수록 이를 근거하여 유추할 수 있다.After the second transmission module 220 receives the playback data (procedure 440) transmitted by the first transmission module 110 on the webpage server, the signal decoding module 240 on the set-top box is provided to different channels of the playback data. The stored sound signal and at least one set of caption signals are extracted, that is, the playback data is decoded into a sound signal and at least one set of caption signals (procedure 450). If two subtitle signals are used, a sound signal uses one channel, and two sets of subtitle signals use one channel, and the number can be inferred based on the number.

신호해독모듈(240)이 재생자료를 소리신호와 최소 한 조의 자막신호(절차 450)로 해독한 후, 셋톱박스 상의 제2전송모듈(250)은 신호해독모듈(240)의 해독으로 생성된 소리신호, 자막신호와 저장모듈(230)에서 저장된 영상신호를 TV(재생장치 300)상의 제4전송모듈(310)(절차 460)로 전송하게 된다.After the signal decoding module 240 decodes the playback data into a sound signal and at least one set of caption signals (procedure 450), the second transmission module 250 on the set top box generates the sound generated by the decoding of the signal decoding module 240. The signal, the caption signal, and the video signal stored in the storage module 230 are transmitted to the fourth transmission module 310 (procedure 460) on the TV (playback device 300).

TV의 제4전송모듈(310)이 셋톱박스의 제3전송모듈(250)에서 전송된 소리신호, 자막신호와 영상신호를 수신한 후, TV의 재생모듈(320)은 제4전송모듈(310)에서 수신한 소리신호, 자막신호와 영상신호(절차 470)을 재생하는 바, 이로서 본 발명은 반주곡의 영상신호를 다운로드할 필요가 없어 다운로드 자료량을 감소시켜 종래기술에서 제출된 다운로드 유동량이 과도하게 큰 문제를 해결할 수 있게 된다. After the fourth transmission module 310 of the TV receives the sound signal, the caption signal and the video signal transmitted from the third transmission module 250 of the set-top box, the playback module 320 of the TV is the fourth transmission module 310. Reproduces a sound signal, a caption signal, and a video signal (procedure 470). Thus, the present invention does not need to download a video signal of an accompaniment, thereby reducing the amount of download data, and thus the amount of download flow submitted in the prior art is excessive. This can solve big problems.

또한, 본 발명의 웹페이지 서버(서버 100)는 암호모듈(170)을 포함할 수 있고, 셋톱박스(신호처리장치 200)는 암호해제모듈(270)을 포함할 수 있어 웹페이지 서버 제1전송모듈(110)이 재생자료를 셋톱박스로 전송하기 전에 암호모듈(180)은 재생자료를 암호화(절차480)하고 셋톱박스가 웹페이지 서버가 다시 전송한 재생자료(절차 440)를 수신한 후, 우선 재생자료를 암호해제(절차 490)하고 나서 다시 재생자료를 소리신호와 자막신호로 해독하여(절차450) 재생자료의 전송과정 중 절취를 방지한다. In addition, the web page server (server 100) of the present invention may include a cryptographic module 170, the set-top box (signal processing apparatus 200) may include a cryptographic release module 270 to transmit the first web page server Before the module 110 transmits the playback data to the set-top box, the encryption module 180 encrypts the playback data (procedure 480) and after the set-top box receives the playback data (procedure 440) transmitted by the webpage server again. First, the playback data is decrypted (procedure 490), and then the playback data is decoded into a sound signal and a caption signal (procedure 450) to prevent the cutting of the playback data.

이외에, 웹페이지 서버(서버 100)는 직류방식으로 제1전송모듈(110)을 통해 영상신호를 셋톱박스(신호처리장치200)상의 제2전송모듈(220)로 전송하여 제2전송 모듈이 수신한 영상신호를 저장모듈(230)로 보내 저장하고 이로써 저장모듈(230)에 저장하는 영상신호가 증가된다.In addition, the web page server (server 100) transmits an image signal to the second transmission module 220 on the set-top box (signal processing apparatus 200) through the first transmission module 110 in a direct current manner, thereby receiving the second transmission module. One video signal is sent to the storage module 230 and stored, thereby increasing the video signal stored in the storage module 230.

상기 실시예는 셋톱박스(신호처리장치200)를 사용하여 재생자료를 다운로드하고 소리신호와 자막신호로 해독한 후, TV(재생자료 300)로 영상신호, 소리신호와 자막신호를 재생하는 바, 사실상 신호처리장치(200)와 재생장치(300)는 신호를 처리하고 재생을 진행하는 디지털TV와 같이 하나의 노래방기기 재생장치(500)로 통합가능하다.The embodiment uses a set-top box (signal processing apparatus 200) to download the playback material and decode the sound signal and caption signal, and then play the video signal, sound signal and caption signal to the TV (playback material 300), In fact, the signal processing apparatus 200 and the reproducing apparatus 300 can be integrated into a single karaoke apparatus reproducing apparatus 500 such as a digital TV that processes signals and proceeds with reproduction.

도3 본 발명의 가라오케기기 재생장치의 부품 예시도로부터 알수 있는 바와 같이, 본 발명의 가라오케기기 재생장치(500)은 청구생성모듈(510), 전송모듈(520), 저장모듈(530), 신호해독모듈(540), 재생모듈(550)이 포함된다.As can be seen from the example of the parts of the karaoke device reproducing apparatus of the present invention, the karaoke device reproducing apparatus 500 of the present invention is the claim generating module 510, the transmission module 520, the storage module 530, the signal Decryption module 540 and playback module 550 are included.

청구생성모듈(510), 전송모듈(520), 저장모듈(530), 신호통합모듈(540)은 실상 도1 본 발명의 가라오케기기 재생시스템의 신호처리장치(200)중의 청구생성모듈(210), 제2전송모듈(220), 저장모듈(230), 신호해독모듈(240)과 완전히 일치하며, 재생모듈(550)은 신호해독모듈(540)의 해독으로 생성된 소리신호, 자막신호, 저장모듈(530)에서 저장된 영상신호의 재생을 담당한다.The claim generation module 510, the transmission module 520, the storage module 530, the signal integration module 540 is actually a claim generation module 210 in the signal processing device 200 of the karaoke device regeneration system of the present invention. , The second transmission module 220, the storage module 230, the signal decoding module 240 is completely matched, the playback module 550 is a sound signal generated by the decoding of the signal decoding module 540, subtitle signal, storage The module 530 is responsible for playing back the stored video signal.

이외에, 가라오케기기 재생장치(500)는 암호해제모듈(570)을 포함할 수 있으며, 전송모듈(520)이 수신한 재생자료가 암호화되었을 경우 암호해제모듈(570)이 상기 암호화된 재생자료의 암호를 해제하며, 신호통합모듈(540)이 암호해제후의 재생자료와 영상신호를 영상음향신호로 통합할수 있게 한다. In addition, the karaoke device reproducing apparatus 500 may include a decryption module 570, and if the playback data received by the transmission module 520 is encrypted, the decryption module 570 encrypts the encrypted playback data. Then, the signal integration module 540 can integrate the playback data and the video signal after decryption into a video sound signal.

이외에, 가라오케기기 재생장치(500)의 전송모듈(520)이 서버(100)가 직류방 식으로 전해온 영상신호를 수신할 때, 저장모듈(230)은 전송모듈(520)이 수신한 영상신호를 저장하게 된다.In addition, when the transmission module 520 of the karaoke device reproducing apparatus 500 receives the image signal transmitted by the server 100 in a direct current method, the storage module 230 receives the image signal received by the transmission module 520. Will be saved.

이상에서 설명한 것은 본 발명의 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정하지 않고, 본 발명의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이며, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.What has been described above is only one embodiment of the present invention, and the present invention is not limited to the above-described embodiment, and as claimed in the claims of the present invention, without departing from the gist of the present invention, the present invention belongs. Anyone of ordinary skill in the art will be able to practice various changes, and such changes fall within the scope of the claims.

도1은 본 발명의 가라오케기기 재생시스템의 시스템구조도,1 is a system structural diagram of a karaoke device reproducing system of the present invention;

도2는 본 발명의 가라오케기기 재생방법의 방법흐름도2 is a method flow diagram of a method for reproducing karaoke apparatus of the present invention.

도3은 본 발명의 가라오케기기 장치의 부품 예시도 Figure 3 is an exemplary view of parts of the karaoke device apparatus of the present invention

<도면의 주요 부호에 대한 상세한 설명><Detailed Description of Major Symbols in Drawing>

100: 서버 110: 제1전송모듈100: server 110: the first transmission module

120: 서버모듈 200: 신호처리장치120: server module 200: signal processing device

220: 제2전송모듈 230: 저장모듈220: second transmission module 230: storage module

240: 신호해독모듈 250: 제3전송모듈240: signal decoding module 250: third transmission module

300: 재생장치 310: 제4전송모듈300: playback device 310: fourth transfer module

320: 재생모듈320: playback module

Claims (16)

최소 하나의 영상신호를 저장하는데 사용되는 저장모듈, 하나의 청구를 생성하는데 사용되는 청구생성모듈, 상기 청구를 발송하고 상기 청구와 서로 대응하는 하나의 재생자료를 수신하는데 사용되며 그 중 상기 재생자료는 하나의 소리신호와 최소 하나의 자막신호를 포함하는 제2전송모듈, 상기 재생자료를 상기 소리신호와 최소 하나의 자막신호로 해독하는데 사용되는 신호해독모듈, 상기 영상신호, 상기 소리신호 및 최소 하나의 자막신호를 전송하는데 사용되는 제3전송모듈을 포함하는 신호처리장치와, A storage module used to store at least one video signal, a charge generation module used to generate one claim, and used to send the claim and to receive one playback material corresponding to the claim, wherein the playback material A second transmission module including one sound signal and at least one subtitle signal, a signal decoding module used to decode the playback data into the sound signal and at least one subtitle signal, the video signal, the sound signal, and the minimum A signal processing apparatus including a third transmission module used to transmit one subtitle signal; 청구를 수신하는 제1전송모듈, 제1전송모듈이 청구를 수신한 후 상기 재생자료를 상기 신호처리기로 전송하는데 사용되는 서버모듈을 포함하는 서버와,A server comprising a first transmission module for receiving a claim, a server module for transmitting the reproduction data to the signal processor after the first transmission module receives the request; 상기 신호처리모듈이 전송한 상기 영상신호, 상기 소리신호 및 최소 하나의 자막신호를 수신하는데 사용되는 제4전송모듈, 상기 영상신호, 상기 소리신호를 전송하는데 사용되고, 상기 영상신호를 재생하는 시간에 따라 최소 하나의 자막신호를 표시하는데 사용되는 재생모듈을 포함하는 전송장치를 포함하는 것을 특징으로 하는 가라오케기기 재생시스템.A fourth transmission module used to receive the video signal, the sound signal, and at least one subtitle signal transmitted by the signal processing module, used to transmit the video signal, the sound signal, and at the time of reproducing the video signal. And a transmitting device including a reproducing module used to display at least one subtitle signal according to the present invention. 제1항에 있어서, The method of claim 1, 상기 신호처리장치는 셋톱박스(Set Box)인 것을 특징으로 하는 가라오케기기 재생시스템.The signal processing device is a karaoke device playback system, characterized in that the set-top box (Set Box). 제1항에 있어서, The method of claim 1, 상기 재생자료는 맞춤화된(Customized) 미디(Musical Instrument Digital Interface; MIDI)형식인 것을 특징으로 하는 가라오케기기 재생시스템.And the playback material is a customized Musical Instrument Digital Interface (MIDI) format. 제3항에 있어서, The method of claim 3, 상기 재생자료는 각기 다른 채널(channel)에 최소 하나의 소리신호와 자막신호를 저장하는 것을 특징으로 하는 가라오케기기 재생시스템.The reproduction material is a karaoke device playback system, characterized in that for storing at least one sound signal and a subtitle signal in different channels. 제1항에 있어서,The method of claim 1, 상기 서버에 설치하여 상기 재생자료를 암호화하는데 사용되는 암호화모듈, 상기 신호처리장치 상에 설치되여 상기 재생자료를 암호해제하는데 사용되는 암호해제모듈을 포함하는 것을 특징으로 하는 가라오케기기 재생시스템.And an encryption module installed on the server and used to encrypt the playback data, and an encryption module installed on the signal processing device and used to decrypt the playback data. 제1항에 있어서,The method of claim 1, 상기 제2전송모듈은 상기 제1전송모듈이 직류(stream)로 전송한 상기 영상신호를 수신하고 상기 저장모듈에 상기 영상신호를 저장하는 것을 특징으로 하는 가라오케기기 재생시스템.And the second transmission module receives the video signal transmitted by the first transmission module in a stream and stores the video signal in the storage module. 신호처리장치는 적어도 하나의 영상신호를 저장하고, 상기 신호처리장치는 하나의 청구를 생성하며, 상기 신호처리장치는 상기 청구를 하나의 서버로 발송하고, 상기 서버는 상기 청구에 대응하는 하나의 전송자료를 상기 신호처리장치로 전송하고 그중 상기 재생자료는 하나의 소리신호와 적어도 하나의 자막신호를 포함하고, 상기 신호처리장치는 상기 재생자료를 상기 소리신호와 적어도 하나의 자막신호로 해독하고, 상기 신호처리장치는 상기 영상신호, 상기 소리신호, 상기 음향신호 및 해당 최소 하나의 자막신호를 재생장치로 전송하고, 해당 재생장치는 해당 영상신호, 상기 소리신호를 재생하고 상기 영상신호를 재생하는 시간에 따라 최소 하나의 자막신호를 표시하는 절차를 포함하는 것을 특징으로 하는 가라오케기기의 재생방법.The signal processing apparatus stores at least one video signal, the signal processing apparatus generates one claim, the signal processing apparatus sends the claim to one server, and the server corresponds to the one corresponding to the claim. Transmit the transmission data to the signal processing apparatus, wherein the reproduction data includes one sound signal and at least one subtitle signal, and the signal processing apparatus decodes the reproduction data into the sound signal and at least one subtitle signal. And the signal processing device transmits the video signal, the sound signal, the sound signal and the at least one subtitle signal to a playback device, and the playback device plays back the video signal and the sound signal and plays back the video signal. And reproducing at least one subtitle signal according to the time. 제7항에 있어서, The method of claim 7, wherein 상기 서버가 상기 재생자료를 전송하는 절차는 상기 서버가 상기 소리신호와 상기 최소 하나의 자막신호를 상기 재생자료의 각기 다른 채널에 저장하는 것을 특징으로 하는 가라오케기기의 재생방법.And the server transmits the playback data to the server, wherein the server stores the sound signal and the at least one subtitle signal in different channels of the playback data. 제7항에 있어서,The method of claim 7, wherein 상기 서버와 상기 재생자료의 암호화 및 상기 신호처리장치의 재생자료 암호해제 절차를 포함하는 것을 특징으로 하는 가라오케기기의 재생방법.And a decryption procedure for encrypting the server and the playback data and decrypting the playback data of the signal processing apparatus. 제7항에 있어서 , The method of claim 7, wherein 상기 서버는 직류방식으로 상기 영상신호를 전송하고, 상기 신호처리장치는 상기 영상신호를 수신 및 저장하는 절차를 포함하는 것을 특징으로 하는 가라오케기기의 재생방법.The server transmits the video signal in a direct current mode, and the signal processing apparatus includes a procedure for receiving and storing the video signal. 최소 하나의 영상신호를 저장하는데 사용되는 저장모듈, 하나의 청구를 생성하는데 사용되는 청구생성모듈, 상기 청구를 발송하고 상기 청구와 서로 대응하는 하나의 재생자료를 수신하는데 사용되며 그 중 상기 재생자료는 하나의 소리신호와 최소 하나의 자막신호를 포함하는 전송모듈, 상기 재생자료를 상기 소리신호와 최소 하나의 자막신호로 해독하는데 사용되는 신호해독모듈, 상기 영상신호, 상기 소리신호를 전송하는데 사용되고, 상기 영상신호를 재생하는 시간에 따라 최소 하나의 자막신호를 표시하는데 사용되는 재생모듈을 포함하는 것을 특징으로 하는 가라오케기기 재생시스템.A storage module used to store at least one video signal, a charge generation module used to generate one claim, and used to send the claim and to receive one playback material corresponding to the claim, wherein the playback material Is a transmission module including one sound signal and at least one subtitle signal, a signal decoding module used to decode the playback data into the sound signal and at least one subtitle signal, and used to transmit the video signal and the sound signal. And a playback module for displaying at least one subtitle signal according to a time of playing the video signal. 제11항에 있어서, The method of claim 11, 상기 가라오케기기 재생장치는 디지털 TV인 것을 특징으로 하는 가라오케기기 재생시스템.And the karaoke device reproducing apparatus is a digital TV. 제11항에 있어서,The method of claim 11, 상기 재생자료는 미디형식인 것을 특징으로 하는 가라오케기기 재생시스템.And the playback material is in a MIDI format. 제13항에 있어서,The method of claim 13, 상기 재생자료는 각기 다른 채널에 저장된 상기 소리신호와 최소 하나의 자막신호인 것을 특징으로 하는 가라오케기기 재생시스템.And the playback material is the sound signal and at least one subtitle signal stored in different channels. 제11항에 있어서,The method of claim 11, 상기 전송모듈이 수신한 상기 전송자료가 암호화되었을 경우 상기 재생자료에 대해 암호를 해제하는 암호해제모듈을 포함하는 것을 특징으로 하는 가라오케기기 재생시스템.And a decryption module for decrypting the reproduction data when the transmission data received by the transmission module is encrypted. 제11항에 있어서,The method of claim 11, 상기 서버가 직류로 전송한 상기 영상신호를 수신하고 저장모듈에 상기 영상신호를 저장하는 전송모듈을 포함하는 것을 특징으로 하는 가라오케기기 재생시스템.And a transmission module for receiving the video signal transmitted by the server in direct current and storing the video signal in a storage module.
KR1020080119471A 2008-11-28 2008-11-28 Karaoke player, system and method thereof KR101003612B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080119471A KR101003612B1 (en) 2008-11-28 2008-11-28 Karaoke player, system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080119471A KR101003612B1 (en) 2008-11-28 2008-11-28 Karaoke player, system and method thereof

Publications (2)

Publication Number Publication Date
KR20100060742A true KR20100060742A (en) 2010-06-07
KR101003612B1 KR101003612B1 (en) 2010-12-23

Family

ID=42361620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080119471A KR101003612B1 (en) 2008-11-28 2008-11-28 Karaoke player, system and method thereof

Country Status (1)

Country Link
KR (1) KR101003612B1 (en)

Also Published As

Publication number Publication date
KR101003612B1 (en) 2010-12-23

Similar Documents

Publication Publication Date Title
KR101428875B1 (en) System and method for processing security based on http live streaming
JP5733321B2 (en) Automatic performance device
JP2004048687A (en) System and method for secure distribution of digital content via network
JP2009506475A (en) Integrated multimedia file format structure and multimedia service system and method based on the integrated multimedia file format structure
WO2002013451A1 (en) Classified data-containing data recording medium and method of recording/reproducing the data
JP4583924B2 (en) Audio / video / data stream trick play with conditional access
JP3932476B2 (en) Information providing system, information processing apparatus and method, recording medium, and program
US20080104632A1 (en) Method of controlling reproduction in broadcast recording device
JPWO2016027579A1 (en) Information processing apparatus, information recording medium, information processing method, and program
JP2012244445A (en) Content receiver and content information output method
JP2022107526A (en) Distributed media player for digital cinema
WO2007142064A1 (en) Text data reproducing device for reproducing composite sound signal where text data is embedded in music data
KR101003612B1 (en) Karaoke player, system and method thereof
KR100740883B1 (en) Apparatus and Method of Transmitting/Receiving Digital Contents for the Digital Right Management
US20100151429A1 (en) Karaoke player, system and method thereof
TW200534719A (en) Method and circuit for encrypting a data stream
JP2019201302A (en) Streaming data distribution device and method therefor
JP3670243B2 (en) Content distribution device and content reception device
JP7051923B2 (en) Video generator, video generation method, video generator, playback device, video distribution device, and video system
JP2006252713A (en) Recording and reproducing apparatus
JP2006148416A (en) Device and program for transmitting and receiving contents
JP6093789B2 (en) REPRODUCTION MANAGEMENT DEVICE, REPRODUCTION MANAGEMENT METHOD, REPRODUCTION MANAGEMENT PROGRAM, CONTENT RECEIVING SYSTEM, AND CONTENT DISTRIBUTION SYSTEM
WO2021084588A1 (en) Streaming data generation device, streaming data distribution system, and streaming data generation method
KR100959708B1 (en) Trick play for audio/video/data streams with conditional access
JP2012222480A (en) Content receiver

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee