KR101400617B1 - Broadcasting system for interoperating electronic devices - Google Patents
Broadcasting system for interoperating electronic devices Download PDFInfo
- Publication number
- KR101400617B1 KR101400617B1 KR1020100060557A KR20100060557A KR101400617B1 KR 101400617 B1 KR101400617 B1 KR 101400617B1 KR 1020100060557 A KR1020100060557 A KR 1020100060557A KR 20100060557 A KR20100060557 A KR 20100060557A KR 101400617 B1 KR101400617 B1 KR 101400617B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- control
- control signal
- voice
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 39
- 238000003786 synthesis reaction Methods 0.000 claims description 39
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 230000000873 masking effect Effects 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 241000282414 Homo sapiens Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000011835 investigation Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
- H04H60/13—Arrangements for device control affected by the broadcast information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
- H03H7/00—Multiple-port networks comprising only passive electrical elements as network components
- H03H7/01—Frequency selective two-port networks
- H03H7/12—Bandpass or bandstop filters with adjustable bandwidth and fixed centre frequency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
- H04H60/41—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas
- H04H60/43—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast space, i.e. broadcast channels, broadcast stations or broadcast areas for identifying broadcast channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/47815—Electronic shopping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
- H04N5/40—Modulation circuits
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
방송 시스템을 이용하여 전자 장치를 제어하는 기술이 개시된다. 제어 신호는 가청 주파수 대역으로 변조되고, 방송 시스템을 이용하여 전송 장치로부터 수신 장치로 전송된다. 수신 장치는 가청 주파수 대역의 제어 신호를 재생하고, 제어 장치는 제어 신호에 따른 동작을 수행한다.A technique for controlling an electronic device using a broadcast system is disclosed. The control signal is modulated into an audible frequency band and transmitted from the transmitting apparatus to the receiving apparatus using the broadcasting system. The receiving apparatus reproduces the control signal of the audible frequency band, and the control apparatus performs the operation in accordance with the control signal.
Description
본 발명은 전자 장치를 제어하는 기술에 관한 것으로, 좀더 상세하게는 방송 신호 중의 음성 신호에 전자 장치를 제어하는 제어 신호를 합성하는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for controlling an electronic device, and more particularly to a technique for synthesizing a control signal for controlling an electronic device in a voice signal in a broadcast signal.
종래의 방송 시스템에서 전송 장치는 영상 또는 음성을 수신 장치로 일방적으로 전송한다. 수신 장치는 영상 또는 음성을 수신하고, 이를 재생하여 시청자가 영상 또는 음성을 감상할 수 있도록 한다.In a conventional broadcasting system, a transmitting apparatus unilaterally transmits a video or a voice to a receiving apparatus. The receiving apparatus receives the video or audio and reproduces the video or audio so that the viewer can view the video or audio.
즉, 종래의 방송 시스템은 영상 또는 음성을 단순히 전송 장치로부터 수신 장치로 전송할 뿐, 수신 장치 주변의 전자 장치를 제어하기 위한 제어 채널을 포함하고 있지 않다. 따라서 수신 장치 주변의 전자 장치를 제어하기 위해서는 제어 채널을 새롭게 정의하거나, 별개의 제어 수단을 구비하는 등 방송 시스템 전반을 개선해야 하는 문제점이 있다.That is, the conventional broadcasting system does not include a control channel for controlling the electronic devices in the vicinity of the receiving apparatus, merely transmitting the video or audio from the transmitting apparatus to the receiving apparatus. Therefore, in order to control an electronic device in the vicinity of a receiving apparatus, there is a problem in that it is necessary to newly define a control channel or to improve the overall broadcasting system including a separate control means.
본 발명의 목적은 방송 시스템을 이용하여 전자 장치를 제어하는 것이다.An object of the present invention is to control an electronic device using a broadcasting system.
본 발명의 목적은 방송 시스템의 변경을 최소화하여 방송 시스템과 전자 장치를 연동 시키는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to minimize a change of a broadcasting system and to link a broadcasting system with an electronic apparatus.
본 발명은 상기의 문제점을 해결하기 위하여, 제어 신호를 가청 주파수 내의 주파수 대역으로 변조하는 변조부, 상기 변조된 제어 신호를 음성 신호와 합성하여 음성 합성 신호를 생성하는 합성부 및 상기 음성 합성 신호를 수신 장치로 전송하는 전송부를 포함하고, 상기 수신 장치는 상기 음성 합성 신호를 재생하고, 상기 제어 신호는 상기 재생된 음성 합성 신호로부터 추출되어 전자 장치를 제어하기 위하여 사용되는 전송 장치를 제공한다.In order to solve the above-described problems, the present invention provides a signal processing apparatus including a modulator for modulating a control signal into a frequency band within an audible frequency, a synthesizer for synthesizing the modulated control signal with a voice signal to generate a voice synthesized signal, And a transmitting unit for transmitting to the receiving apparatus, the receiving apparatus reproducing the voice synthesizing signal, and the control signal extracted from the reproduced voice synthesizing signal to be used for controlling the electronic apparatus.
본 발명의 일측에 따르면, 수신 장치가 재생하는 음성 합성 신호를 수신하는 마이크, 상기 음성 합성 신호로부터 가청 주파수 대역으로 변조된 제어 신호를 추출하는 필터부, 상기 제어 신호를 복조하는 복조부 및 상기 복조된 제어 신호에 따라서 동작을 수행하는 제어부를 포함하고, 상기 음성 합성 신호는 전송 장치로부터 상기 수신 장치로 전송된 전자 장치가 제공된다.According to an aspect of the present invention, there is provided a receiving apparatus comprising: a microphone for receiving a voice synthesizing signal reproduced by a receiving apparatus; a filter unit for extracting a control signal modulated in an audible frequency band from the voice synthesizing signal; a demodulating unit for demodulating the control signal; Wherein the voice synthesis signal is transmitted from the transmission device to the reception device.
본 발명의 또 다른 일측에 따르면, 전자 장치에 있어서, 음성 신호와 합성된 가청 주파수 대역의 제어 신호를 수신하는 마이크, 상기 음성 신호로부터 상기 제어 신호를 추출하는 제어 신호 추출부 및 제어부를 포함하고, 상기 제어 신호는 장치 식별자, 제어 커맨드 및 제어 데이터를 포함하고, 상기 장치 식별자와 상기 전자 장치의 식별자가 동일한 경우에, 상기 제어부는 상기 제어 데이터를 참조하여 상기 제어 커맨드에 따른 제어 동작을 수행하는 전자 장치가 제공된다.According to another aspect of the present invention, there is provided an electronic device comprising: a microphone for receiving a control signal of an audible frequency band synthesized with a voice signal; a control signal extracting unit for extracting the control signal from the voice signal; Wherein the control signal includes a device identifier, a control command, and control data, and when the device identifier and the identifier of the electronic device are the same, the control unit refers to the control data to perform the control operation in accordance with the control command Device is provided.
본 발명에 따르면 방송 시스템을 이용하여 전자 장치를 제어할 수 있다.According to the present invention, an electronic device can be controlled using a broadcasting system.
본 발명에 따르면 방송 시스템의 변경을 최소화하여 방송 시스템과 전자 장치를 연동할 수 있다.According to the present invention, the broadcasting system and the electronic apparatus can be interlinked by minimizing the change of the broadcasting system.
도 1은 본 발명에 따른 음성 합성 신호의 파형을 도시한 것이다.
도 2는 본 발명에 따른 음성 합성 신호의 스펙트럼을 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 전송 장치의 구조를 도시한 블록도이다.
도 4는 본 발명의 일실시예에 따른 전자 장치의 구조를 도시한 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 전자 장치의 구조를 도시한 블록도이다.1 shows a waveform of a speech synthesized signal according to the present invention.
2 shows a spectrum of a speech synthesized signal according to the present invention.
3 is a block diagram illustrating a structure of a transmission apparatus according to an embodiment of the present invention.
4 is a block diagram illustrating the structure of an electronic device according to an embodiment of the present invention.
5 is a block diagram showing the structure of an electronic device according to another embodiment of the present invention.
도 1은 본 발명에 따른 음성 합성 신호의 파형을 도시한 것이다.1 shows a waveform of a speech synthesized signal according to the present invention.
본 발명에 따른 전송 장치는 종래 방송 시스템이 전송하는 음성 신호와 전자 장치를 제어하기 위한 제어 신호를 합성하여 음성 합성 신호를 생성한다.A transmission apparatus according to the present invention synthesizes a voice signal transmitted by a conventional broadcasting system and a control signal for controlling an electronic apparatus to generate a voice synthesized signal.
방송국의 방송 시스템이 본 발명에서의 전송 장치로서 사용될 수 있고, 가정 내의 TV, 라디오 등이 본 발명에서의 수신 장치로서 사용될 수 있다.A broadcasting system of a broadcasting station can be used as a transmission device in the present invention, and TVs, radios and the like in a home can be used as a receiving device in the present invention.
음성 신호(101)는 아날로그 신호로서 인간이 들을 수 있는 가청 주파수의 신호이다. 예를 들어 TV 드라마의 대사, 음악, 대중 가요 등을 전달하는 TV의 오디오 신호, 라디오 신호 등이 본 발명의 음성 신호로서 사용될 수 있다. 음성 신호(101)는 음량의 고/저에 따라서 복잡한 파형을 보인다. 음성 신호(101)는 불규칙하며 특정 순간에서는 큰 파형, 다른 순간에서는 작은 파형을 보인다.The audio signal 101 is an audio signal of a human audible frequency as an analog signal. For example, an audio signal, a radio signal, or the like of a TV that transmits a television drama, music, popular songs, and the like can be used as a voice signal of the present invention. The audio signal 101 shows a complex waveform depending on the volume of the audio signal. The voice signal 101 is irregular and shows a large waveform at a specific moment and a small waveform at another moment.
반면, 제어 신호(110, 120, 130)는 디지털 신호로서 '0', '1'로 표현될 수 있다. 제어 신호(110, 120, 130)는 가청 주파수 대역으로 변조되어 음성 신호(101)과 합성될 수 있다.On the other hand, the control signals 110, 120, and 130 may be expressed as '0' and '1' as digital signals. The control signals 110, 120, and 130 may be modulated into an audible frequency band and combined with the speech signal 101.
음성 합성 신호는 음성 신호(101)와 제어 신호(110, 120, 130)를 합성하여 생성된다. 일실시예에 따르면 음성 합성 신호는 도 1에서와 같이 두 신호를 더하여 생성될 수 있다.The speech synthesis signal is generated by synthesizing the speech signal 101 and the control signals 110, 120, and 130. According to one embodiment, a speech synthesis signal may be generated by adding two signals as shown in FIG.
음성 합성 신호(140, 150, 160)는 음성 신호(101)의 파형과 유사한 파형을 보이고 있으나, 제어 신호(110, 120, 130)에 대응하는 부분(140, 150, 160)은 제어 신호(110, 120, 130)와의 합성으로 인하여 진폭이 증가한다.The speech synthesis signals 140, 150 and 160 have waveforms similar to those of the speech signal 101, but the
도 2는 본 발명에 따른 음성 합성 신호의 스펙트럼을 도시한 것이다.2 shows a spectrum of a speech synthesized signal according to the present invention.
음성 신호의 스펙트럼(210)과 제어 신호의 스펙트럼(220)은 모두 가청 주파수(250)내에 위치한다. 수신 장치는 가청 주파수 내의 특정 주파수 대역(230)의 신호만을 재생할 수 있으나, 음성 신호의 제어 신호의 스펙트럼(210, 220)은 모두 수신 장치가 재생할 수 있는 범위 내에 위치한다. 따라서 시청자 또는 청취자는 음성 신호와 제어 신호를 모두 들을 수 있다. 수신 장치의 스피커는 주파수 대역(230)내의 소리를 재생할 수 있다. 따라서 제어 신호는 수신 장치의 스피커를 이용하여 재생될 수 있다. 시청자 또는 청취자가 제어 신호를 듣는다면, 이를 잡음으로 느낄 수 있다.The
인간의 가청 주파수 내에서도, 인간은 특정 범위의 주파수 대역(240)내의 소리는 확실히 들을 수 있으나, 다른 주파수 대역의 소리는 잘 들을 수 없다. 본 명세서에서는 이 특정 범위의 주파수 대역을 간단히 관심 주파수 대역(240)이라고 한다. 제어 신호(220)는 가청 주파수 대역(250)내에는 위치하고 있으나, 관심 주파수 대역(240)에는 포함되어 있지 않다. 따라서 소리에 둔감한 일반인은 제어 신호(220)를 거의 들을 수 없고, 소리에 민감한 어린아이 등만이 제어 신호(220)를 미세하게 느낄 수 있다.Even within a human audible frequency, a human can certainly hear sounds within a certain range of
본 발명의 일실시에에 따르면 전송 장치는 마스킹을 이용하여 제어 신호(220)를 전송할 수 있다. 마스킹은 인간의 청각 지각 특성을 이용한 것으로, 음성 압축 기법 등에 널리 이용되고 있다. 마스킹을 이용한다면, 전송 장치는 음성 신호의 크기가 소정 레벨 이상인 경우에, 제어 신호를 삽입할 수 있다. 시청자 또는 청취자는 음성 신호에 집중하고 있기 때문에 제어 신호를 들을 수 없다.According to one embodiment of the present invention, the transmitting apparatus can transmit the
본 발명의 또 다른 실시예에 따르면 음성 신호의 크기가 소정 레벨 이상인 경우가 소정 시간이상 계속될 수 있다. 이 경우에도 제어 신호를 전송하지 않는다면, 전자 장치는 소정 시간 이상 계속하여 제어 신호를 수신할 수 없다. 따라서, 전송 장치는 음성 신호가 소정 레벨 이상인 경우가 소정 시간 이상 계속된다면, 음성 신호의 레벨에 관계없이 제어 신호를 전송할 수 있다.
According to another embodiment of the present invention, the case where the size of the voice signal is equal to or higher than the predetermined level may continue for a predetermined time or more. Even in this case, if the control signal is not transmitted, the electronic device can not receive the control signal continuously for a predetermined time or longer. Therefore, the transmission apparatus can transmit the control signal irrespective of the level of the voice signal if the voice signal continues for a predetermined time or longer when the voice signal is higher than the predetermined level.
도 3은 본 발명의 일실시예에 따른 전송 장치의 구조를 도시한 블록도이다.3 is a block diagram illustrating a structure of a transmission apparatus according to an embodiment of the present invention.
본 발명의 일실시예에 따른 전송 장치(300)는 변조부(310), 합성부(320) 및 전송부(330)를 포함한다.The transmitting
변조부(310)는 제어 신호(311)를 가청 주파수 내의 주파수 대역으로 변조한다. 일측에 따르면 변조부(310)는 제어 신호(311)를 FSK, ASK, QAM, PSK, CPM(Continuous Phase Modulation, 연속 위상 변조), TCM(Trellis Coded Modulation, 격자 부호 변조), OFDM(Orthogonal Frequency Division Multiplexing, 직교 주파수 분할 다중화) 및 확산 대역 방식 중에서 적어도 하나 이상의 변조 방식에 따라서 변조할 수 있다. 예를 들어 변조부(310)가 제어 신호(311)를 FSK 방식으로 변조하는 경우에, 제어 신호(311)의 값이 '0'이라면 변조부(310)는 제어 신호(311)를 제1 주파수로 변조하고, 제어 신호(311)의 값이 '1'이라면 변조부(310)는 제어 신호(311)를 제2 주파수로 변조할 수 있다.The
합성부(320)는 변조된 제어 신호(311)를 음성 신호(321)와 합성하여 음성 합성 신호를 생성한다. 일실시예에 따르면 합성부(320)는 마스킹 기법을 이용하여 변조된 제어 신호(311)와 음성 신호(321)를 합성할 수 있다. 마스킹 기법은 인간의 지각 특성을 이용한 합성 기법으로서, 사람이 듣기 힘든 주파수 대역에 제어 신호(311)를 삽입하거나, 음성 신호(321)의 음량이 큰 구간에 제어 신호(311)를 삽입하는 합성 기법이다.The combining
본 발명의 일측에 따르면, 합성부(320)는 음성 신호(321)의 레벨이 소정의 레벨 이상인 경우에, 변조된 제어 신호(311)를 음성 신호(321)와 합성할 수 있다.According to one aspect of the present invention, the combining
음성 신호(321)의 크기가 소정 레벨 이상인 경우가 소정 시간 이상 계속될 수 있다. 이 경우에도 제어 신호(311)를 전송하지 않는다면, 전자 장치는 소정 시간 이상 계속하여 제어 신호(311)를 수신할 수 없다. 따라서 본 발명의 다른 측면에 따르면, 합성부(320)는 음성 신호(321)가 소정 레벨 이상인 경우가 소정 시간 이상 계속된다면, 음성 신호(321)의 레벨에 관계없이 제어 신호(311)를 합성할 수 있다.The case where the size of the
본 발명의 또 다른 측면에 따르면, 합성부(320)는 인간의 가청 주파수 대역 중에서 인간이 쉽게 들을 수 없는 주파수 대역에 제어 신호를 삽입할 수 있다. 이 경우에, 제어 신호는 음성 신호 보다 높은 주파수 대역에 위치할 수 있다.According to another aspect of the present invention, the combining
전송부(330)는 음성 합성 신호를 네트워크(340)를 경유하여 수신 장치(350, 360)로 전송한다. 수신 장치(350, 360)는 음성 합성 신호를 재생한다. 청취자 또는 시청자는 음성 합성 신호에 포함된 음성 신호를 들을 수 있다. 일부 민감한 청취자 또는 민감한 시청자는 음성 합성 신호에 포함된 제어 신호를 잡음으로 들을 수 있다.The
전자 장치(370)는 수신 장치(350, 360)가 재생한 음성 합성 신호를 수신한다. 일실시예에 따르면 전자 장치(370)는 마이크를 이용하여 수신 장치(350, 360)가 재생한 음성 합성 신호를 수신할 수 있다.The
전자 장치(370)는 음성 합성 신호에서 제어 신호를 추출하고, 제어 신호에 따라서 소정의 제어 동작을 수행한다.The
일측에 따르면, 전송부(330)는 복수의 채널 중 어느 하나의 채널을 선택하여 음성 합성 신호를 수신 장치(350, 360)로 전송할 수 있다. 이 경우에, 제어 신호(311)는 음성 합성 장치가 전송되는 채널에 따라서 결정될 수 있다. 전자 장치(370)는 제어 신호를 이용하여 음성 합성 신호가 전송 되는 채널을 식별할 수 있다. 이 경우, 전자 장치는 음성 합성 신호가 전송된 채널에 대한 정보를 서버로 전송할 수 있다.According to one aspect, the transmitting
예를 들어 전자 장치(370)는 시청률 조사 장치일 수 있다. 이 경우 각 전송 장치는 특정 방송국에 할당된 채널을 이용하여 음성 합성 신호를 전송한다. 음성 합성 신호에 포함된 제어 신호는 특정 방송국에 할당된 채널에 따라서 전송된다. 시청률 조사 장치는 TV(350) 또는 라디오(360)에서 재생되는 음성 합성 신호를 수신하고, 음성 합성 신호에 포함된 제어 신호를 이용하여 TV(350) 또는 라디오(360)가 수신하는 방송의 채널을 식별한다. 시청률 조사 장치는 식별된 채널에 대한 정보를 시청률 조사 서버로 전송할 수 있다. 이 경우에, 전송부(330)는 제어 신호를 주기적으로 수신 장치(350, 360)로 전송할 수 있다.For example, the
다른 측면에 따르면 합성부(320)는 음성 합성 신호를 영상 신호(322)와 추가적으로 합성할 수 있다. 이 경우에, 제어 신호는 영상 신호의 특정 시점에서의 영상과 관련된 제어 정보를 포함할 수 있다.According to another aspect, the
또 다른 측면에 따르면, 영상 신호는 가수의 콘서트 영상일 수 있다. 이 경우에, 제어 신호는 가수가 특정 동작을 취하는 순간에 조명 장치가 동작하도록 제어 하는 제어 정보를 포함할 수 있다.According to another aspect, the video signal may be a concert image of a singer. In this case, the control signal may include control information for controlling the illuminator to operate at the moment when the singer takes a specific action.
또 다른 측면에 따르면, 영상 신호는 특정 물품에 대한 홈쇼핑 영상일 수 있다. 이 경우에, 제어 정보는 홈쇼핑의 대상이 되는 물품의 구매 정보일 수 있다. 전자 장치는 물품의 구매 정보를 참조하여 인터넷 상의 물품 구매 페이지에 접속할 수 있다.
According to another aspect, the video signal may be a home shopping video for a particular item. In this case, the control information may be the purchase information of the article to be the home shopping target. The electronic device can access the article purchase page on the Internet with reference to the purchase information of the article.
도 4는 본 발명의 일실시예에 따른 전자 장치의 구조를 도시한 블록도이다.4 is a block diagram illustrating the structure of an electronic device according to an embodiment of the present invention.
본 발명의 일실시예에 따른 전자 장치(400)는 마이크(410), 필터부(420), 복조부(430), 제어부(440) 및 전송부(450)를 포함할 수 있다.The
전송 장치(460)는 음성 합성 신호를 수신 장치(470, 480)로 전송한다. 음성 합성 신호는 음성 신호 및 제어 신호를 포함한다.The
마이크(410)는 수신 장치(470, 480)가 재생하는 음성 합성 신호를 수신한다.The
필터부(420)는 음성 합성 신호로부터 가청 주파수 대역으로 변조된 제어 신호를 추출한다. 일측에 따르면, 가청 주파수 대역으로 변조된 제어 신호는 음성 합성 신호 중에서 높은 주파수 대역에 위치하고, 음성 신호는 음성 합성 신호 중에서 낮은 주파수 대역에 위치할 수 있다. 이 경우에, 필터부(420)는 하이 패스 필터(high pass filter)를 이용하여 가청 주파수 대역으로 변조된 제어 신호를 추출할 수 있다.The
복조부(430)는 제어 신호를 복조한다. 일측에 따르면 복조부(430)는 FSK, ASK, QAM, PSK, CPM(Continuous Phase Modulation, 연속 위상 변조), TCM(Trellis Coded Modulation, 격자 부호 변조), OFDM(Orthogonal Frequency Division Multiplexing, 직교 주파수 분할 다중화) 및 확산 대역 방식 중에서 어느 하나의 변조 방식에 따라서 복조할 수 있다.The
제어부(440)는 복조된 제어 신호에 따라서 동작을 수행한다.The
일측에 따르면, 전자 장치(400)는 시청률 조사 장치일 수 있다. 이 경우, 전송 장치(460)는 복수의 채널 중에서 어느 하나의 채널을 선택하여 제어 신호를 전송하고, 제어 신호는 음성 합성 신호가 전송되는 채널에 따라서 결정될 수 있다. 제어부(440)는 제어 신호를 이용하여 음성 합성 신호가 전송되는 채널을 식별할 수 있다. 전송부(450)는 식별된 채널에 대한 정보를 네트워크(491)를 이용하여 시청률 조사 서버(490)로 전송할 수 있다.According to one aspect, the
다른 측면에 따르면, 수신 장치(470, 480)는 홈쇼핑 영상을 재생할 수 있다. 수신 장치(470, 480)는 홈쇼핑 영상과 관련된 음성 합성 신호에 포함된 제어 신호를 수신하고, 재생할 수 있다. 이 경우에, 제어 신호는 홈쇼핑 영상의 대상인 물품에 대한 물품 구매 정보를 포함할 수 있다. 제어부(440)는 물품의 구매 정보를 참조하여 인터넷 상의 물품 구매 페이지에 접속할 수 있다.
According to another aspect, the receiving
도 5는 본 발명의 다른 실시예에 따른 전자 장치의 구조를 도시한 블록도이다.5 is a block diagram showing the structure of an electronic device according to another embodiment of the present invention.
본 발명에 따른 전자 장치(500)는 마이크(510), 제어 신호 추출부(520), 제어부(530), 및 전송부(540)를 포함할 수 있다.The
전송 장치(560)는 제어 신호를 가청 주파수 대역으로 변조하고, 변조된 제어 신호를 음성 신호와 합성한다. 수신 장치(550)는 음성 합성 신호를 수신하고, 수신된 음성 합성 신호를 재생한다.The
마이크(510)는 음성 신호와 합성된 가청 주파수 대역의 제어 신호를 수신한다. 제어 신호는 가청 주파수 대역에 위치하므로 청취자 또는 시청자는 제어 신호를 들을 수 있다. 일측에 따르면 제어 신호는 마스킹 기법을 이용하여 음성 신호와 합성될 수 있다. 음성 신호의 크기가 소정의 레벨 이상인 경우에만 음성 신호와 제어 신호가 합성된다면, 시청자 또는 청취자는 제어 신호를 거의 느끼지 못할 수 있다.The
다른 측면에 따르면 제어 신호는 인간이 듣기 어려운 고주파 대역에 위치할 수 있다. 이 경우에, 여자 또는 어린 아이 등만이 제어 신호를 미세하게 느낄 수 있고, 일반인들은 제어 신호를 거의 느낄 수 없다.According to another aspect, the control signal may be located in a high frequency band that is difficult for human beings to hear. In this case, only the female or the child can feel the control signal finely, and the public can hardly feel the control signal.
제어 신호 추출부(520)는 음성 신호로부터 제어 신호를 추출한다. 일측에 따르면 제어 신호는 음성 신호보다 고주파 대역에 위치하고, 제어 신호 추출부(520)는 하이 패스 필터를 이용하여 음성 합성 신호 중에서 제어 신호를 추출할 수 있다.The
일실시예에 따르면 제어 신호는 장치 식별자, 제어 커맨드 및 제어 데이터를 포함할 수 있다. 제어부(530)는 제어 신호에 포함된 장치 식별자와 전자 장치(500)의 장치 식별자를 비교한다. 만약 제어 신호에 포함된 장치 식별자와 전자 장치(500)의 장치 식별자가 동일한 경우에, 제어부(530)는 제어 데이터를 참조하여 제어 커맨드에 따른 제어 동작을 수행할 수 있다.According to one embodiment, the control signal may comprise a device identifier, control command and control data. The
일측에 따르면 제어 신호에 포함된 장치 식별자는 인터넷 접속이 가능한 장치를 의미할 수 있다. 제어부(530)는 제어 신호에 포함된 장치 식별자와 전자 장치(500)의 장치 식별자를 비교한다. 만약 전자 장치(500)가 인터넷 접속이 가능하다면, 제어부(530)는 제어 신호에 포함된 장치 식별자와 전자 장치(500)의 장치 식별자가 동일하다고 판단할 수 있다. 제어 신호에 포함된 제어 데이터는 인터넷 주소이고, 제어 커멘드는 제어 데이터에 상응하는 인터넷 주소에 접속하는 커맨드일 수 있다. 이 경우에, 제어부(530)는 제어 데이터에 상응하는 인터넷 주소에 접속할 수 있다.According to one aspect, the device identifier included in the control signal may refer to a device capable of accessing the Internet. The
다른 측면에 따르면, 제어 신호에 포함된 장치 식별자는 정보를 디스플레이하는 장치를 의미할 수 있다. 제어부(530)는 제어 신호에 포함된 장치 식별자와 전자 장치(500)의 장치 식별자를 비교한다. 만약 전자 장치(500)가 제어 데이터를 디스플레이할 수 있다면, 제어부(530)는 제어 신호에 포함된 장치 식별자와 전자 장치(500)의 장치 식별자가 동일하다고 판단할 수 있다. 이 경우에, 제어부(530)는 물품에 대한 구매 정보인 제어 데이터를 디스플레이할 수 있다.According to another aspect, the device identifier included in the control signal may refer to a device that displays information. The
또 다른 측면에 따르면, 제어 신호에 포함된 장치 식별자는 시청률 조사 장치를 의미할 수 있다. 제어부(530)는 전자 장치(500)가 시청률 조사 기능을 구비하고 있는지 여부를 판단하고, 그 결과에 따라서 제어 신호에 포함된 장치 식별자와 전자 장치(500)의 장치 식별자가 동일하다고 판단할 수 있다. 이 경우에, 제어부(530)는 제어 신호에 기반하여 수신 장치(550)가 음성 합성 신호를 전송 장치(560)로부터 수신하는 채널을 식별한다. 전송부(540)는 채널에 대한 정보를 네트워크(570)를 이용하여 시청률 조사 서버(580)로 전송한다.According to another aspect, the device identifier included in the control signal may refer to an audience rating device. The
300: 전송 장치
310: 변조부
320: 합성부
330: 전송부
340: 네트워크
350: TV
360: 라디오
370: 전자 장치300: transmission device
310:
320:
330:
340: Network
350: TV
360: Radio
370: Electronic device
Claims (17)
음성 신호의 레벨이 소정의 레벨 이상인 경우, 마스킹을 이용하여 상기 변조된 제어 신호와 상기 음성 신호를 합성한 음성 합성 신호를 생성하는 합성부; 및
상기 음성 합성 신호를 수신 장치로 전송하는 전송부
를 포함하고,
상기 수신 장치는 상기 음성 합성 신호를 재생하고,
상기 제어 신호는 상기 재생된 음성 합성 신호로부터 추출되어 전자 장치를 제어하기 위하여 사용되는 전송 장치A modulating unit for modulating the control signal into a frequency band excluding an interested frequency band corresponding to a user's listening range in an audible frequency band;
A synthesizer for generating a speech synthesis signal in which the modulated control signal and the speech signal are synthesized using masking when the level of the speech signal is equal to or higher than a predetermined level; And
A transmission unit for transmitting the speech synthesis signal to a reception apparatus,
Lt; / RTI >
The receiving apparatus reproduces the speech synthesis signal,
The control signal is extracted from the reproduced speech synthesized signal and used to control the electronic device.
상기 합성부는 상기 음성 신호의 레벨이 소정의 시간이상 상기 소정의 레벨 이상인 경우에, 상기 변조된 제어 신호를 상기 음성 신호와 합성하는 전송 장치.The method according to claim 1,
And the synthesizing unit synthesizes the modulated control signal with the voice signal when the level of the voice signal is equal to or higher than the predetermined level for a predetermined time or longer.
상기 변조부는 상기 제어 신호를 FSK, ASK, QAM, PSK, CPM, TCM, OFDM 및 확산 대역 방식 중에서 적어도 하나 이상의 변조 방식에 따라서 변조하는 전송 장치.The method according to claim 1,
Wherein the modulator modulates the control signal according to at least one of a modulation scheme of FSK, ASK, QAM, PSK, CPM, TCM, OFDM, and spread spectrum.
상기 제어 신호는 상기 음성 합성 신호가 전송되는 채널에 따라서 결정되고,
상기 전자 장치는 상기 제어 신호를 이용하여 상기 채널을 식별하는 전송 장치.The method according to claim 1,
Wherein the control signal is determined according to a channel through which the speech synthesis signal is transmitted,
Wherein the electronic device identifies the channel using the control signal.
상기 합성부는 상기 음성 합성 신호를 영상 신호와 추가적으로 합성하고,
상기 제어 신호는 상기 영상 신호의 특정 시점에서의 영상과 관련된 제어 정보를 포함하는 전송 장치.The method according to claim 1,
Wherein the synthesizer further synthesizes the speech synthesis signal with a video signal,
Wherein the control signal includes control information associated with an image at a specific time point of the video signal.
상기 영상 신호는 특정 물품에 대한 홈쇼핑 영상이고,
상기 제어 정보는 상기 특정 물품에 대한 구매 정보인 전송 장치.The method according to claim 6,
The image signal is a home shopping image for a specific article,
And the control information is purchase information for the specific article.
상기 전송부는 상기 음성 합성 신호를 주기적으로 전송하는 전송 장치.The method according to claim 1,
Wherein the transmission unit periodically transmits the speech synthesis signal.
상기 음성 합성 신호로부터 가청 주파수 대역 중 사용자의 청취 대역에 해당하는 관심 주파수 대역을 제외한 주파수 대역으로 변조된 제어 신호를 추출하는 필터부;
상기 제어 신호를 복조하는 복조부; 및
상기 복조된 제어 신호에 따라서 동작을 수행하는 제어부
를 포함하고,
상기 음성 합성 신호는,
음성 신호의 레벨이 소정의 레벨 이상인 경우, 마스킹을 이용하여 상기 변조된 제어 신호와 상기 음성 신호를 합성하여 생성되고, 전송 장치로부터 상기 수신 장치로 전송된 전자 장치.A microphone for receiving a voice synthesized signal reproduced by the receiving device;
A filter unit for extracting a control signal modulated into a frequency band excluding an interest frequency band corresponding to a user's listening range from the audio synthesis signal;
A demodulator for demodulating the control signal; And
A control unit for performing an operation according to the demodulated control signal,
Lt; / RTI >
Wherein the speech synthesis signal comprises:
Wherein the modulation signal is generated by synthesizing the modulated control signal and the voice signal using masking when the level of the voice signal is equal to or higher than a predetermined level and is transmitted from the transmission device to the reception device.
상기 필터부는 하이패스필터를 이용하여 상기 제어 신호를 추출하는 전자 장치.10. The method of claim 9,
And the filter unit extracts the control signal using a high pass filter.
상기 복조부는 상기 제어 신호를 FSK, ASK, QAM, PSK, CPM, TCM, OFDM 및 확산 대역 방식 중에서 적어도 하나 이상의 변조 방식에 따라서 복조하는 전송 장치.10. The method of claim 9,
Wherein the demodulating unit demodulates the control signal according to at least one of modulation schemes among FSK, ASK, QAM, PSK, CPM, TCM, OFDM, and spread spectrum.
상기 수신 장치는 상기 음성 합성 신호와 관련된 홈쇼핑 영상을 재생하고, 상기 제어 신호는 상기 홈쇼핑 영상에 대응하는 물품 구매 정보를 포함하는 전자 장치.10. The method of claim 9,
Wherein the receiving apparatus reproduces a home shopping image related to the speech synthesis signal, and the control signal includes article purchase information corresponding to the home shopping image.
상기 수신 장치는 채널을 이용하여 상기 음성 합성 신호를 수신하고,
상기 제어 신호는 상기 채널에 따라서 결정되는 전자 장치.10. The method of claim 9,
The receiver receives the speech synthesis signal using a channel,
Wherein the control signal is determined according to the channel.
전송부
를 더 포함하고,
상기 제어부는 상기 제어 신호를 이용하여 상기 채널을 식별하고,
상기 전송부는 상기 식별된 채널에 대한 정보를 서버로 전송하는 전자 장치.14. The method of claim 13,
[0050]
Further comprising:
Wherein the control unit identifies the channel using the control signal,
And the transmitting unit transmits information on the identified channel to the server.
음성 신호의 레벨이 소정의 레벨 이상인 경우, 마스킹을 이용하여 제어 신호와 음성 신호를 합성한 음성 합성 신호를 수신하는 마이크;
상기 음성 합성 신호로부터 상기 제어 신호를 추출하는 제어 신호 추출부; 및
제어부
를 포함하고,
상기 제어 신호는,
가청 주파수 대역 중 사용자의 청취 대역에 해당하는 관심 주파수 대역을 제외한 주파수 대역으로 변조되고, 장치 식별자, 제어 커맨드 및 제어 데이터를 포함하고,
상기 장치 식별자와 상기 전자 장치의 식별자가 동일한 경우에, 상기 제어부는 상기 제어 데이터를 참조하여 상기 제어 커맨드에 따른 제어 동작을 수행하는 전자 장치.In an electronic device,
A microphone for receiving a voice synthesized signal obtained by synthesizing a control signal and a voice signal using masking when the level of the voice signal is higher than a predetermined level;
A control signal extractor for extracting the control signal from the speech synthesis signal; And
The control unit
Lt; / RTI >
Wherein the control signal comprises:
A control command and control data, modulated into a frequency band excluding an interested frequency band corresponding to a listening range of the user among the audio frequency bands,
And the control unit performs a control operation in accordance with the control command with reference to the control data when the device identifier and the identifier of the electronic device are the same.
상기 제어 데이터는 인터넷 주소이고, 상기 제어 커맨드는 상기 인터넷 주소에 접속하는 커맨드인 전자 장치.16. The method of claim 15,
Wherein the control data is an Internet address and the control command is a command to connect to the Internet address.
상기 제어 데이터는 물품에 대한 구매 정보이고, 상기 제어 커멘드는 상기 구매 정보를 디스플레이하는 커맨드인 전자 장치.16. The method of claim 15,
Wherein the control data is purchase information for an item and the control command is a command for displaying the purchase information.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/898,098 US20110082691A1 (en) | 2009-10-05 | 2010-10-05 | Broadcasting system interworking with electronic devices |
JP2010225894A JP2011082981A (en) | 2009-10-05 | 2010-10-05 | Broadcasting system cooperating with electronic device |
FR1058056A FR2951042A1 (en) | 2009-10-05 | 2010-10-05 | COOPERATING DIFFUSION SYSTEM WITH ELECTRONIC DEVICES |
CN2010102997539A CN102045587A (en) | 2009-10-05 | 2010-10-08 | Broadcasting system interworking with electronic devices |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20090094290 | 2009-10-05 | ||
KR1020090094290 | 2009-10-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110037825A KR20110037825A (en) | 2011-04-13 |
KR101400617B1 true KR101400617B1 (en) | 2014-05-28 |
Family
ID=44045244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100060557A KR101400617B1 (en) | 2009-10-05 | 2010-06-25 | Broadcasting system for interoperating electronic devices |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011082981A (en) |
KR (1) | KR101400617B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101419460B1 (en) * | 2012-10-30 | 2014-08-13 | 주식회사 케이티 | Apparatus and method for binding device by melody and, sever for binding device and device |
JP6112602B2 (en) * | 2013-02-15 | 2017-04-12 | Necプラットフォームズ株式会社 | Television broadcasting system and terminal device |
KR101860094B1 (en) * | 2018-01-12 | 2018-05-21 | (주)다우씨엔디테크 | Image Control System using HDMI Signal and Method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0798793A (en) * | 1993-09-29 | 1995-04-11 | Fujitsu Denso Ltd | Discharge warning system |
JPH088849A (en) * | 1994-06-17 | 1996-01-12 | Hitachi Ltd | Broadcast signal reception method, broadcast signal transmission method, broadcast signal receiver and broadcast signal transmitter |
KR100264152B1 (en) * | 1998-06-10 | 2000-08-16 | 김영환 | Data communication device and method in analog communication system |
JP2005064998A (en) * | 2003-08-18 | 2005-03-10 | Toshiba Corp | Broadcasting receiver and broadcast receiving method |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5480026A (en) * | 1977-12-09 | 1979-06-26 | Entetsukusu Kooporeishiyon Kk | Control device using audio signal |
JPH04127688A (en) * | 1990-09-18 | 1992-04-28 | Fujitsu General Ltd | Teletext broadcasting receiver |
US5630203A (en) * | 1993-01-12 | 1997-05-13 | Weinblatt; Lee S. | Technique for surveying a radio or a television audience |
JP3466682B2 (en) * | 1993-12-24 | 2003-11-17 | ソニー株式会社 | Method for restricting transmission of response information in bidirectional broadcasting and receiving device for bidirectional broadcasting |
JP3329351B2 (en) * | 1994-07-22 | 2002-09-30 | ソニー株式会社 | Interactive broadcast system and reply system |
GB9500285D0 (en) * | 1995-01-07 | 1995-03-01 | Central Research Lab Ltd | A method of labelling an audio signal |
JP2972547B2 (en) * | 1995-05-08 | 1999-11-08 | エス. ウエインブラット リー | Apparatus and method for surveying radio or television viewers |
JP3601552B2 (en) * | 1995-07-05 | 2004-12-15 | ソニー株式会社 | Interactive broadcast system, interactive broadcast method, and interactive broadcast receiving device |
JPH11110319A (en) * | 1997-10-08 | 1999-04-23 | Sony Corp | Transmitter, receiver, recording device and reproducing device |
JP3737614B2 (en) * | 1997-10-09 | 2006-01-18 | 株式会社ビデオリサーチ | Broadcast confirmation system using audio signal, and audio material production apparatus and broadcast confirmation apparatus used in this system |
JP2001148670A (en) * | 1999-11-19 | 2001-05-29 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for transmitting acoustic signal |
JP3808678B2 (en) * | 1999-12-22 | 2006-08-16 | 日本電信電話株式会社 | Information transmission method, information transmission apparatus, transmission apparatus, and reception apparatus |
JP2001320337A (en) * | 2000-05-10 | 2001-11-16 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for transmitting acoustic signal and storage medium |
JP2007150737A (en) * | 2005-11-28 | 2007-06-14 | Sony Corp | Sound-signal noise reducing device and method therefor |
-
2010
- 2010-06-25 KR KR1020100060557A patent/KR101400617B1/en not_active IP Right Cessation
- 2010-10-05 JP JP2010225894A patent/JP2011082981A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0798793A (en) * | 1993-09-29 | 1995-04-11 | Fujitsu Denso Ltd | Discharge warning system |
JPH088849A (en) * | 1994-06-17 | 1996-01-12 | Hitachi Ltd | Broadcast signal reception method, broadcast signal transmission method, broadcast signal receiver and broadcast signal transmitter |
KR100264152B1 (en) * | 1998-06-10 | 2000-08-16 | 김영환 | Data communication device and method in analog communication system |
JP2005064998A (en) * | 2003-08-18 | 2005-03-10 | Toshiba Corp | Broadcasting receiver and broadcast receiving method |
Also Published As
Publication number | Publication date |
---|---|
KR20110037825A (en) | 2011-04-13 |
JP2011082981A (en) | 2011-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102812651B (en) | Sending device | |
US8494176B2 (en) | Information providing system | |
Wang et al. | Messages behind the sound: real-time hidden acoustic signal capture with smartphones | |
CN108616800B (en) | Audio playing method and device, storage medium and electronic device | |
JP3834579B1 (en) | Information provision system | |
US9344802B2 (en) | Information providing system | |
JP2001320337A (en) | Method and device for transmitting acoustic signal and storage medium | |
US9438963B2 (en) | Wireless audio transmission method and device | |
KR101400617B1 (en) | Broadcasting system for interoperating electronic devices | |
KR101462427B1 (en) | System and method for delivering information in sound wave communication based on preserving of audio signal, and apparatus applied to the same | |
JP4545234B1 (en) | Transmitter | |
US20110082691A1 (en) | Broadcasting system interworking with electronic devices | |
JP6112602B2 (en) | Television broadcasting system and terminal device | |
JP3851069B2 (en) | Digital broadcast receiving system and recording apparatus used therefor | |
JP2017069705A (en) | Reception device, reception method, broadcast system, and program | |
KR101767518B1 (en) | Method and apparatus for sharing data using acoustic sound in wireless system | |
KR20160128118A (en) | Apparatus and method for prviding information | |
KR100609161B1 (en) | Method for using contents of digital multimedia broadcasting | |
KR200391084Y1 (en) | Apparatus for setting channel of stereo wireless headphone | |
JPH11127424A (en) | Television broadcasting method and device therefor and television receiver | |
JP2016116172A (en) | Reception device, reception method, program, and transmission device | |
KR20150142452A (en) | Encoding System of Sound Wave Code And Method Thereof | |
KR20160002319U (en) | Audio and Set-Top-Box All-in-One System | |
KR20060118699A (en) | Apparatus for setting channel of stereo wireless headphone | |
KR20040087555A (en) | 5.1 channel digital audio signal output apparatus of home theater |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170427 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |