KR100881371B1 - Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof - Google Patents
Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof Download PDFInfo
- Publication number
- KR100881371B1 KR100881371B1 KR1020070043398A KR20070043398A KR100881371B1 KR 100881371 B1 KR100881371 B1 KR 100881371B1 KR 1020070043398 A KR1020070043398 A KR 1020070043398A KR 20070043398 A KR20070043398 A KR 20070043398A KR 100881371 B1 KR100881371 B1 KR 100881371B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- unit
- multiple access
- real
- channels
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/76—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
- H04H60/81—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself
- H04H60/90—Wireless transmission systems
- H04H60/91—Mobile communication networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1867—Arrangements specially adapted for the transmitter end
- H04L1/187—Details of sliding window management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1867—Arrangements specially adapted for the transmitter end
- H04L1/1874—Buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
Abstract
무선 다중접속에 의한 실시간 동영상 전송장치는 동영상 인코딩부, 동영상 분할부 및 동영상 전송부를 포함한다. 동영상 인코딩부는 입력된 동영상 콘텐츠들을 인코딩한다. 동영상 분할부는 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하고 분할된 동영상 콘텐츠들을 패킷화하여 복수개의 분할 프레임들을 생성한다. 동영상 전송부는 각각의 분할 프레임을 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송한다. 따라서, 휴대용 기기를 사용함에도 불구하고 동종 또는 이종의 복수개의 채널을 이용하여 동영상을 송수신 함으로써, 비용을 절감시키고 전송 효율을 향상시키며 및 전송 안정성을 확보할 수 있다. 이는 방송사의 대형 SNG, ENG 장비를 사용하지 않고도 실시간 동영상의 송신이 가능하여 방송사등의 생방송 프로그램 편성에 매우 필요한 장치가 될 것이다.
The real-time video transmission apparatus by wireless multiple access includes a video encoding unit, a video segmentation unit and a video transmission unit. The video encoding unit encodes the input video contents. The video segmentation unit divides the encoded video contents in a time division and parallel manner, and packetizes the divided video contents to generate a plurality of divided frames. The video transmission unit sequentially transmits each divided frame in a parallel manner through a plurality of channels. Therefore, even when using a portable device, by transmitting and receiving video using a plurality of channels of the same type or different types, it is possible to reduce costs, improve transmission efficiency, and secure transmission stability. It will be able to transmit real-time video without using large SNG and ENG equipment of broadcasting company, so it will be a very necessary device for organizing live broadcasting programs of broadcasting companies.
Description
도 1은 본 발명의 일 실시예에 따른 무선 다중접속에 의한 실시간 동영상 송수신장치를 나타낸 개념도이다. 1 is a conceptual diagram illustrating a real-time video transmission and reception apparatus by wireless multiple access according to an embodiment of the present invention.
도 2는 도 1의 무선 다중접속에 의한 실시간 동영상 송수신장치를 간략하게 나타낸 블록도이다. FIG. 2 is a block diagram schematically illustrating an apparatus for transmitting and receiving a real time video by wireless multiple access of FIG. 1.
도 3은 도 1에 도시된 무선 다중접속에 의한 실시간 동영상 전송장치를 구체적으로 나타낸 블록도이다. FIG. 3 is a block diagram illustrating in detail a real-time video transmission apparatus by wireless multiple access shown in FIG. 1.
도 4는 도 1에 도시된 무선 다중접속에 의한 실시간 동영상 수신장치를 구체적으로 나타낸 블록도이다. FIG. 4 is a detailed block diagram illustrating an apparatus for receiving real time video by wireless multiple access shown in FIG. 1.
도 5는 본 발명의 다른 실시예에 따른 무선 다중접속에 의한 실시간 동영상 송수신장치를 나타내는 블록도이다.5 is a block diagram showing a real-time video transmission and reception apparatus by wireless multiple access according to another embodiment of the present invention.
도 6은 본 발명의 일 실시예에 의한 무선 다중접속에 의한 실시간 동영상 송신 방법을 설명하기 위한 순서도이다. 6 is a flowchart illustrating a real-time video transmission method by wireless multiple access according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 의한 무선 다중접속에 의한 실시간 동영상 수신 방법을 설명하기 위한 순서도이다. 7 is a flowchart illustrating a method for receiving real-time video by wireless multiple access according to an embodiment of the present invention.
* 도면의 주요부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
100 : 무선 다중접속에 의한 실시간 동영상 송수신장치100: real-time video transmission and reception device by wireless multiple access
200 : 무선 다중접속에 의한 실시간 동영상 전송장치200: Real-time video transmission device by wireless multiple access
210 : 동영상 인코딩부 220 : 동영상 분할부210: video encoding unit 220: video segmentation unit
230 : 동영상 전송부 240 : 입력 인터페이스230: video transmission unit 240: input interface
300 : 무선 다중접속에 의한 실시간 동영상 수신장치300: Real time video receiving device by wireless multiple access
310 : 동영상 수신부 320 : 동영상 집속부310: video receiving unit 320: video focusing unit
330 : 동영상 디코딩부 340 : 출력 인터페이스330: video decoding unit 340: output interface
본 발명은 무선 다중접속에 의한 실시간 동영상 전송장치, 무선 다중접속에 의한 실시간 동영상 수신장치, 무선 다중접속에 의한 실시간 동영상 송수신장치 및 무선 다중접속에 의한 실시간 동영상 송수신 방법에 관한 것으로, 보다 상세하게는 동영상 프레임들을 분할하여 복수개의 채널들을 통하여 병렬 방식에 의하여 전송하는 무선 다중접속에 의한 실시간 동영상 전송장치, 무선 다중접속에 의한 실시간 동영상 수신장치, 무선 다중접속에 의한 실시간 동영상 송수신장치 및 무선 다중접속에 의한 실시간 동영상 송수신 방법에 관한 것이다. The present invention relates to a real-time video transmission apparatus using a wireless multiple access, a real time video reception apparatus using a wireless multiple access, a real time video transmission and reception apparatus using a wireless multiple access, and a real time video transmission and reception method using a wireless multiple access. Real time video transmission device by wireless multiple access, real time video transmission device by wireless multiple access, real time video transmission and reception by wireless multiple access It relates to a real-time video transmission and reception method.
일반적으로, 방송사나 동영상 생중계가 필요한 곳에서는 마이크로웨이브 지상국을 이용한 전자적 뉴스 취재(Electronic News Gathering; ENG) 장비나 이것이 불가능한 지역은 위성 뉴스 취재(Satellite News Gathering; SNG) 장비를 이용하여 위성으로 동영상을 생중계를 하고 있다. 하지만 이들 장비들을 사용할 경우에는 비용이 증가하며, 크기가 커져 이동에 불편을 가져오며, 전력 소모가 커지는 등의 문제점이 있다. 또한, 마이크로웨이브 지상국이 확보되지 않거나 위성과 교신이 되지 않는 지역에서는 동영상의 생중계가 불가능하다. 나아가 이동 중인 사물을 동영상으로 생중계하는 데는 더욱 어려움이 발생한다. 이에, 이동 통신을 이용한 동영상을 송수신하는 방법에 관한 연구가 진행되었다.In general, where a broadcaster or a live video feed is needed, electronic news gathering (ENG) equipment using microwave ground stations or areas where this is not possible use satellite news gathering (SNG) equipment. Live broadcast. However, when using these equipments, there is a problem that the cost increases, the size increases, which causes inconvenience to move, and the power consumption increases. In addition, live broadcasts are not possible in areas where microwave ground stations are not available or where satellites cannot communicate. In addition, it is more difficult to broadcast a moving object as a video. Thus, a research into a method for transmitting and receiving video using mobile communication has been in progress.
최근에는 이동 통신 분야의 급격한 기술 발전으로, 휴대폰을 이용한 동영상, 멀티미디어 전송 등 차세대 무선 멀티미디어 서비스를 제공하게 되었다. 특히, 기존의 시디엠에이(Code Division Multiple Access; CDMA) X1 의 한계를 극복한 고속하향패킷접속(High Speed Donloading Packet Access; HSDPA)망이나 와이브로망 (이상 무선광대역망이라 함)을 이용하여 현장의 영상을 무선 통신으로 생중계하는 동영상 송수신 장치 및 동영상 송수신 장치의 필요성이 대두되고 있다. 여기서, 무선광대역망이란 이동 통신에서 웹 브라우징 등 인터넷 접속이 늘어남에 따라 기존의 CDMA-2000 1X로는 고속의 하향 링크 패킷 데이터 전송에 제약이 있기 때문에 이를 보완하기 위하여 전용의 고속 하향 링크 규격을 정의하여 고속, 고용량의 데이 터 전송에 최적화된 무선 접속 기술 표준을 말한다. Recently, due to the rapid development of technology in the mobile communication field, it has provided the next generation wireless multimedia service such as video and multimedia transmission using a mobile phone. In particular, the site uses a High Speed Donloading Packet Access (HSDPA) network or WiBro network (hereinafter referred to as a wireless broadband network) that overcomes the limitations of the existing Code Division Multiple Access (CDMA) X1. There is a need for a video transmission / reception apparatus and a video transmission / reception apparatus for live broadcasting of an image of a wireless communication. Here, the wireless broadband network is defined by a dedicated high speed downlink standard to compensate for the high speed downlink packet data transmission with the existing CDMA-2000 1X as the Internet connection such as web browsing increases in mobile communication. A wireless access technology standard optimized for high speed and high capacity data transmission.
무선광대역망의 하향(downlink)속도는 최고 2Mbps가 보장되어 동영상을 보거나, 인터넷 웹 검색등을 하는데 어려움이 발생하지 않는다. 그러나, 무선광대역망의 상향(uplink)속도는 230Kbps 이상의 속도를 확보하기 어려워 현장의 동영상이 끊기거나 중단되는 등의 문제점이 발생한다. 따라서, 동영상의 품질이 저하되어 TV등의 방송매체에 적용되지 못한다. The downlink speed of the wireless broadband network is guaranteed up to 2Mbps so that it is not difficult to watch a video or search the Internet. However, since the uplink speed of the wireless broadband network is difficult to secure a speed of 230 Kbps or more, problems such as interruption or interruption of the video in the field occur. As a result, the quality of the video is degraded and thus it is not applicable to a broadcasting medium such as a TV.
따라서, 본 발명은 이와 같은 종래의 문제점을 감안한 것으로써, 본 발명은 복수개의 채널을 이용하여 동영상을 송수신하여 전송 효율을 향상시키고 전송 안정성을 확보할 수 있는 무선 다중접속에 의한 실시간 동영상 전송장치를 제공한다.Accordingly, the present invention has been made in view of such a conventional problem, and the present invention provides a real-time video transmission apparatus using wireless multiple access, which can improve transmission efficiency and secure transmission stability by transmitting and receiving video using a plurality of channels. to provide.
또한, 본 발명은 상기 무선 다중접속에 의한 실시간 동영상 전송장치에 대응하는 무선 다중접속에 의한 실시간 동영상 수신장치를 제공한다. In addition, the present invention provides a real-time video reception apparatus by wireless multiple access corresponding to the real-time video transmission apparatus by the wireless multiple access.
또한, 본 발명은 상기한 무선 다중접속에 의한 실시간 동영상 전송장치 및 무선 다중접속에 의한 실시간 동영상 수신장치를 갖는 무선 다중접속에 의한 실시간 동영상 송수신장치를 제공한다. In addition, the present invention provides a real-time video transmission and reception apparatus by wireless multiple access having the above-mentioned real-time video transmission apparatus by wireless multiple access and the real-time video reception apparatus by wireless multiple access.
또한, 본 발명은 상기한 동영상 송수신장치를 이용하여 동영상을 송수신하는 무선 다중접속에 의한 실시간 동영상 전송방법을 제공한다.In addition, the present invention provides a real-time video transmission method by wireless multiple access for transmitting and receiving video using the video transmission and reception device.
상술한 본 발명의 일 특징에 따른 무선 다중접속에 의한 실시간 동영상 전송장치는 동영상 인코딩부, 동영상 분할부 및 동영상 전송부를 포함한다. 상기 동영 상 인코딩부는 입력된 동영상 콘텐츠들을 인코딩한다. 상기 동영상 분할부는 상기 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하고 상기 분할된 동영상 콘텐츠들을 패킷화하여 복수개의 분할 프레임들을 생성한다. 상기 동영상 전송부는 상기 각각의 분할 프레임을 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송한다. The apparatus for transmitting real time video by wireless multiple access according to the above-described aspect of the present invention includes a video encoding unit, a video segmentation unit, and a video transmission unit. The video encoding unit encodes input video contents. The video segmentation unit divides the encoded video contents by time division and parallel methods, and packetizes the divided video contents to generate a plurality of divided frames. The video transmission unit sequentially transmits each of the divided frames through a plurality of channels in a parallel manner.
상기 동영상 전송부는 상기 분할 프레임들을 무선 데이터 모뎀을 이용하며, 무선광대역망을 통하여 전송한다. 상기 동영상 전송부는 상기 분할 프레임들을 순차적으로 전송하는 슬라이딩 윈도우 버퍼를 포함한다. The video transmission unit transmits the divided frames through a wireless broadband network using a wireless data modem. The video transmission unit includes a sliding window buffer for sequentially transmitting the divided frames.
상기 복수개의 채널은 우선순위를 할당받으며, 최우선 채널은 제어채널로써 전송프레임의 순서제어, 실시간 동영상 전송을 위한 시각동기화 및 불량채널의 교체를 담당한다. 이후 복수개의 채널은 우선순위를 할당 받으며, 우선 순위는 초당 전송될 수 있는 최대 프레임들에 대해 실제로 전송할 프레임의 비율이다. 상기 동영상 전송부는 상기 분할 프레임들 중에서 제1 분할 프레임을 가장 우선순위를 할당받은 채널을 통하여 전송한다. The plurality of channels are assigned priority, and the highest priority channel is a control channel, which controls order of transmission frames, visual synchronization for real-time video transmission, and replacement of bad channels. Thereafter, the plurality of channels are assigned a priority, and the priority is the ratio of frames actually transmitted to the maximum frames that can be transmitted per second. The video transmission unit transmits a first divided frame among the divided frames through a channel to which the priority is assigned.
상기 복수개의 채널들 중에서 낮은 우선순위를 할당받은 하나 이상의 채널은 더미 채널로서 상기 프레임 전송 채널중 불량이 생겼을 경우 대체하는 백업 채널로 할당한다. One or more channels assigned a lower priority among the plurality of channels are dummy channels and are allocated as backup channels to replace when a failure occurs among the frame transmission channels.
상술한 본 발명의 일 특징에 따른 무선 다중접속에 의한 실시간 동영상 수신장치는 동영상 수신부, 동영상 집속부 및 동영상 디코딩부를 포함한다. 상기 동영상 수신부는 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송된 복 수개의 분할 프레임들을 수신한다. 상기 동영상 집속부는 상기 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠들을 생성한다. 상기 동영상 디코딩부는 상기 집속된 동영상 콘텐츠들을 디코딩한다. The apparatus for receiving real time video by wireless multiple access according to the above-described aspect of the present invention includes a video receiving unit, a video focusing unit, and a video decoding unit. The video receiver receives a plurality of divided frames sequentially transmitted in a parallel manner through a plurality of channels. The moving image focusing unit sequentially concentrates the received divided frames to generate moving image contents. The video decoding unit decodes the focused video contents.
상기 동영상 수신부는 수신한 분할 프레임들을 수신하여 순차적으로 전송하는 슬라이딩 윈도우 버퍼를 포함한다. The video receiver includes a sliding window buffer that sequentially receives the received divided frames and sequentially transmits the divided frames.
상술한 본 발명의 일 특징에 따른 무선 다중접속에 의한 실시간 동영상 송수신장치는 동영상 인코딩부, 동영상 분할부, 동영상 전송부, 동영상 수신부, 동영상 집속부 및 동영상 디코딩부를 포함한다. The apparatus for transmitting and receiving real-time video by wireless multiple access according to the above-described aspect of the present invention includes a video encoding unit, a video splitting unit, a video transmitting unit, a video receiving unit, a video focusing unit, and a video decoding unit.
상기 동영상 인코딩부는 입력된 동영상 콘텐츠들을 인코딩한다. 상기 동영상 분할부는 상기 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하고 상기 분할된 동영상 콘텐츠들을 패킷화하여 복수개의 분할 프레임들을 생성한다. 상기 동영상 전송부는 상기 각각의 분할 프레임을 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송한다. 상기 동영상 수신부는 상기 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송된 복수개의 분할 프레임들을 수신한다. 상기 동영상 집속부는 상기 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠들을 생성한다. 상기 동영상 디코딩부는 상기 집속된 동영상 콘텐츠들을 디코딩한다. The video encoding unit encodes input video contents. The video segmentation unit divides the encoded video contents by time division and parallel methods, and packetizes the divided video contents to generate a plurality of divided frames. The video transmission unit sequentially transmits each of the divided frames through a plurality of channels in a parallel manner. The video receiving unit receives a plurality of divided frames sequentially transmitted in a parallel manner through the plurality of channels. The moving image focusing unit sequentially concentrates the received divided frames to generate moving image contents. The video decoding unit decodes the focused video contents.
상기 동영상 전송부는 상기 분할 프레임들을 무선 데이터 모뎀을 이용하며, 무선광대역망을 통하여 전송한다. The video transmission unit transmits the divided frames through a wireless broadband network using a wireless data modem.
상술한 본 발명의 일 특징에 따른 무선 다중접속에 의한 실시간 동영상 송수 신 방법은 무선통신망을 통해 동영상 콘텐츠들을 송수신하는 시스템에 있어서, 입력된 동영상 콘텐츠들을 인코딩하는 단계, 상기 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하고 상기 분할된 멀티미디어 콘텐츠를 패킷화하여 복수개의 분할 프레임들을 생성하는 단계, 상기 각각의 분할 프레임을 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송하는 단계, 상기 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송된 복수개의 분할 프레임들을 수신하는 단계, 상기 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠들을 생성하는 단계 및 상기 집속된 동영상 콘텐츠들을 디코딩하는 단계를 포함한다. According to one or more embodiments of the present invention, a method for transmitting and receiving real-time video by wireless multiple access includes: encoding input video contents, time-dividing the encoded video contents, and transmitting and receiving video contents through a wireless communication network. Generating a plurality of divided frames by dividing by a parallel scheme and packetizing the divided multimedia contents, sequentially transmitting each divided frame through a plurality of channels by a parallel scheme, and transmitting the plurality of channels. Receiving a plurality of divided frames transmitted sequentially in a parallel manner through the step, by sequentially converging the received divided frames to generate video content and decoding the focused video content.
상기 분할 프레임을 전송하는 단계는 무선 데이터 모뎀을 이용하여 무선광대역망을 통하여 전송한다. The step of transmitting the divided frame transmits through the wireless broadband network using a wireless data modem.
상기 복수개의 채널은 우선순위를 할당받으며, 상기 우선순위는 초당 전송될 수 있는 최대 프레임들에 대하여 실제로 전송할 프레임의 비율로 하며, 상기 분할 프레임들 중에서 제1 분할 프레임을 가장 우선순위를 할당받은 채널을 통하여 전송한다.The plurality of channels are assigned a priority, and the priority is a ratio of a frame to be actually transmitted to the maximum frames that can be transmitted per second, and among the divided frames, a channel to which the first divided frame is assigned the highest priority. Send it through.
이러한 무선 다중접속에 의한 실시간 동영상 전송장치, 무선 다중접속에 의한 실시간 동영상 수신장치, 무선 다중접속에 의한 실시간 동영상 송수신장치 및 무선 다중접속에 의한 실시간 동영상 송수신 방법에 따르면, 복수개의 채널을 이용하여 동영상을 송수신 함으로써, 업링크속도가 높은 별도의 통신망을 구축하지 않고도, 동영상을 송신하는 것이 가능하다. 따라서, 통신비용을 절감시키고 전송 효율을 향상시키며 및 전송 안정성을 확보할 수 있다.According to such a real-time video transmission apparatus using a wireless multiple access, a real time video reception apparatus using a wireless multiple access, a real time video transmission and reception apparatus using a wireless multiple access, and a real time video transmission and reception method using a wireless multiple access, a video using a plurality of channels By transmitting and receiving the data, it is possible to transmit a video without establishing a separate communication network having a high uplink speed. Therefore, communication cost can be reduced, transmission efficiency can be improved, and transmission stability can be ensured.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.With respect to the embodiments of the present invention disclosed in the text, specific structural to functional descriptions are merely illustrated for the purpose of describing embodiments of the present invention, embodiments of the present invention may be implemented in various forms and It should not be construed as limited to the embodiments described in.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.On the other hand, when an embodiment is otherwise implemented, a function or operation specified in a specific block may occur out of the order specified in the flowchart. For example, two consecutive blocks may actually be performed substantially simultaneously, and the blocks may be performed upside down depending on the function or operation involved.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하 게 설명하고자 한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention.
도 1은 본 발명의 일 실시예에 따른 무선 다중접속에 의한 실시간 동영상 송수신장치를 나타낸 개념도이고, 도 2는 도 1의 무선 다중접속에 의한 실시간 동영상 송수신장치를 간략하게 나타낸 블록도이다. 1 is a conceptual diagram illustrating a real-time video transmission and reception apparatus by wireless multiple access according to an embodiment of the present invention, and FIG. 2 is a block diagram briefly showing a real-time video transmission and reception apparatus by wireless multiple access of FIG. 1.
도 1 및 도 2를 참조하면, 무선 다중접속에 의한 실시간 동영상 송수신장치(100)는 무선 다중접속에 의한 실시간 동영상 전송장치(200) 및 무선 다중접속에 의한 실시간 동영상 수신장치(300)를 포함한다. 1 and 2, the real-time video transmission and
무선 다중접속에 의한 실시간 동영상 전송장치(200)는 동영상 인코딩부(210), 동영상 분할부(220) 및 동영상 전송부(230)를 포함한다. The real-time
동영상 인코딩부(210)는 하나 이상의 외부 장치(250)로부터 입력된 동영상 콘텐츠를 인코딩한다. 즉, 동영상 인코딩부(210)는 외부 장치(250)로부터 입력된 아날로그 형태의 동영상 콘텐츠를 디지털 형태의 동영상 콘텐츠로 변화해주는 인코딩 동작을 수행한다. The
동영상 분할부(220)는 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할한다. 즉, 동영상 분할부(220)는 큰 용량의 동영상 콘텐츠들을 시분할 방식에 의해 복수개로 분할한다. 이에 동영상 분할부(220)는 분할된 동영상 콘텐츠들을 일정한 기준에 의해 패킷화하여 복수 개의 분할 프레임들을 생성한다. 상기 각 분할 프레임들은 다양한 방식의 데이터 패킷을 포함할 수 있다. 예를 들어, 상기 각 분할 프레임은 상기 분할 프레임의 번호에 관한 정보를 포함하는 헤더 및 상기 분할된 각 동영상 콘텐츠를 포함하는 페이로드를 포함할 수 있다.The
동영상 전송부(230)는 각각의 분할 프레임을 복수개의 채널들(CH1_1~CH1_10)을 통하여 병렬 방식에 의하여 순차적으로 전송한다. 동영상 전송부(230)는 분할 프레임들을 순차적으로 전송하는 슬라이딩 윈도우 버퍼를 포함한다. The
동영상 전송부(230)는 분할 프레임들을 무선 데이터 모뎀을 이용하여, 무선광대역망을 통하여 전송한다. 본 실시예에서, 동영상 전송부(230)는 휴대폰의 무선 통신망인 HSDPA를 이용하여 분할 프레임들을 전송한다. 이때, 동영상 전송부(230)가 HSDPA, 와이브로, 위성 등의 전송방식 중에서 둘 이상의 방식이 혼합된 복합전송방식으로 분할 프레임들을 전송할 수도 있다.The
동영상 전송부(230)는 복수개의 채널들(CH1_1~CH1_10)을 이용하여 분할 프레임들을 병렬 방식에 의하여 순차적으로 전송한다. 최우선 채널(CH1_1)은 제어채널로써 전송프레임의 순서제어, 실시간 동영상 전송을 위한 시각동기화 및 불량채널의 교체를 담당한다. 이하 복수개의 채널들(CH1_2~CH1_9)은 우선순위를 할당받으며, 상기 우선순위는 초당 전송될 수 있는 최대 프레임들에 대하여 실제로 전송할 프레임의 비율로 정의된다.The
한편, 상기 복수개의 채널들 중에서 낮은 우선순위를 할당받은 하나 이상의 채널을 더미 채널(CH1_10)로 사용할 수 있다. 더미 채널(CH1_10)은 복수개의 채널들(CH1_2~CH1_9) 중에서 불량이 발생한 경우에 대체하는 백업 채널로 할당한다.Meanwhile, one or more channels assigned a low priority among the plurality of channels may be used as the dummy channel CH1_10. The dummy channel CH1_10 is allocated as a backup channel to replace when a failure occurs among the plurality of channels CH1_2 to CH1_9.
이때, 제어채널 자체가 불량채널이 되는 경우, 제어채널이 일시적으로 높은 우선순위를 할당받은 채널(CH1_2) 또는 더미 채널(CH1_10)로 대체될 수도 있다.In this case, when the control channel itself becomes a bad channel, the control channel may be replaced with a channel CH1_2 or a dummy channel CH1_10 that is temporarily assigned a high priority.
무선 다중접속에 의한 실시간 동영상 수신장치(300)는 동영상 수신부(310), 동영상 집속부(320) 및 동영상 디코딩부(330)를 포함한다.The real-
동영상 수신부(310)는 복수개의 채널들(CH2_2~CH2_9)을 통하여 병렬 방식에 의하여 순차적으로 전송된 복수개의 분할 프레임들을 수신한다. 이때, 동영상 수신부(310)가 제어채널(CH2_1)을 통하여 전송된 제어신호 및 복수개의 채널들(CH2_2~CH2_9)을 통하여 전송된 분할 프레임들을 수신할 수도 있다. 예를 들어, 각 채널(CH2_1~CH2_9)은 전송포트(Port)를 포함할 수 있다. 동영상 수신부(310)는 무선 통신망을 통하여 복수개의 채널들(CH2_1~CH2_9)을 이용하여 동영상 전송부(230)로부터 전송된 복수개의 분할 프레임들을 수신한다. 이때, 동영상 수신부(310)는 수신한 분할 프레임들을 수신하여 순차적으로 전송하는 슬라이딩 윈도우 버퍼를 포함한다. The
동영상 집속부(320)는 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠들을 생성한다. 동영상 집속부(320)는 일정한 기준에 의해 패킷화된 복수개의 분할 프레임들을 집속하여 상대적으로 큰 용량의 동영상 콘텐츠들을 생성한다. 즉, 동영상 집속부(320)는 슬라이딩 윈도우 버퍼를 포함하는 동영상 수신부로부터 순차적으로 전송된 분할 프레임들을 동영상 콘텐츠들로 집속한다. The
동영상 디코딩부(330)는 집속된 동영상 콘텐츠들을 디코딩한다. 동영상 디코딩부(330)는 디지털 형태의 동영상 콘텐츠들을 동영상으로의 재생을 위하여 아날로그 형태의 동영상 콘텐츠들로 변환한다. The
다른 실시예로서, 동영상 전송장치(200)가 위치신호를 실시간으로 생성하는 위치신호생성부(도시되지 않음)를 더 포함하고, 상기 채널들(CH1_1~CH1_10)을 통하 여 상기 위치신호를 전송할 수도 있다. 따라서, 동영상 수신장치(300)는 동영상 전송장치(200)의 위치를 실시간으로 파악할 수 있다. 이때, 상기 위치신호생성부가 범용지구위치측정 시스템(Global Positioning System; GPS)을 이용하여 위치신호를 생성할 수 있다.In another embodiment, the
도 3은 도 1에 도시된 무선 다중접속에 의한 실시간 동영상 전송장치를 구체적으로 나타낸 블록도이다. FIG. 3 is a block diagram illustrating in detail a real-time video transmission apparatus by wireless multiple access shown in FIG. 1.
도 2 및 도3을 참조하면, 무선 다중접속에 의한 실시간 동영상 전송장치(200)는 동영상 인코딩부(210), 동영상 분할부(220) 및 동영상 전송부(230)를 포함한다.2 and 3, the
동영상 인코딩부(210)는 하나 이상의 외부 장치(250)로부터 입력된 동영상 콘텐츠를 인코딩한다. 즉, 동영상 인코딩부(210)는 외부 장치(250)로부터 입력된 아날로그 형태의 동영상 콘텐츠를 디지털 형태의 동영상 콘텐츠로 변화해주는 인코딩 동작을 수행한다. The
동영상 인코딩부(210)는 아날로그 형태의 동영상 콘텐츠를 컴퓨터에서 인식할 수 있는 디지털 형태의 동영상 파일 (MPEG2, MPEG4, H.264 포맷 등)로 변환한다. 구체적으로, 동영상 인코딩부(210)는 6m/m 캠코더나 일반 동영상 카메라에서 오는 아날로그 형태의 동영상 콘텐츠들을 필요한 크기 (HD화질, SD화질 또는 320ㅧ 240)에 맞게 동영상파일로 변환하여 동영상 분할부로 전송한다. The
동영상 콘텐츠들은 문자, 영상, 음성 신호 및 위치정보신호 중에서 선택된 어느 하나 이상을 포함한다. 즉, 동영상 콘텐츠들은 문자, 영상 및 음성 신호 중 어느 하나만으로 이루어 질 수 있다. 일반적으로, 동영상의 송수신과 관련된 동영상 콘텐츠들은 상기 문자, 영상, 음성 신호를 모두 포함하는 트리플 (triple)의 형식을 갖춘다. The video contents may include at least one selected from a text, a video, an audio signal, and a location information signal. That is, the video contents may be composed of only one of a text, a video, and an audio signal. In general, video contents related to transmission and reception of a video have a triple format including all the text, video, and audio signals.
한편, 무선 다중접속에 의한 실시간 동영상 전송장치(200)는 하나 이상의 외부 장치(250)로부터 아날로그 형태의 동영상 콘텐츠들을 입력받는 입력 인터페이스(240)를 더 포함한다. 즉, 외부 장치(250)로부터의 아날로그 형태의 동영상 콘텐츠들은 입력 인터페이스(240)를 통하여 동영상 인코딩부(210)로 입력된다. 본 발명에서 카메라, 캠코더, 휴대폰카메라 등이 외부 장치(250)로 사용될 수 있다. Meanwhile, the real-time
동영상 분할부(220)는 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하고, 분할된 동영상 콘텐츠들을 패킷화하여 복수개의 분할 프레임들을 생성한다. The
동영상 분할부(220)는 큰 용량의 동영상 콘텐츠들을 시분할 방식에 의해 복수개로 분할한다. 상기 시분할 방식의 분할 기준은 0.125초(1/8초)가 바람직하며 1채널당 4프레임을 전송하여 8채널의 경우 32프레임의 전송을 기준으로 한다, 분할 대상인 동영상 콘텐츠들에 따라 다양하게 변경될 수 있다. 이와 달리, 동영상 분할부(220)는 주파수 분할 등의 방식에 의해서도 동영상 콘텐츠들을 병렬로 분할할 수 있다.The
동영상 전송부(230)는 각각의 분할 프레임을 복수개의 채널들(CH1_2~CH1_9)을 통하여 병렬 방식에 의하여 순차적으로 전송한다. 동영상 전송부(230)는 분할 프레임들을 순차적으로 전송하는 슬라이딩 윈도우 버퍼를 포함한다. The
동영상 전송부(230)는 분할 프레임들을 무선 데이터 모뎀을 이용하여, 무선광대역망을 통하여 전송한다. 본 실시예에서, 동영상 전송부(230)는 휴대폰의 무선 통신망인 HSDPA를 이용하여 분할 프레임들을 전송한다. 이때, 동영상 전송부(230)는 USB허브에 다중 연결된 무선 데이터(HSDPA) 모뎀을 이용하여 병렬로 전송한다. 이와 달리, 동영상 전송부(230)는 위성 통신망을 이용하여 전송할 수 있다. 또한, 동영상 전송부(230)는 와이브로(Wireless Broadband Internet; Wibro)망을 이용하여 전송할 수도 있다. The
동영상 전송부(230)는 복수개의 채널들(CH1_2~CH1_9)을 이용하여 분할 프레임들을 병렬 방식에 의하여 순차적으로 전송한다. 본 실시예에서, 하나의 동영상 전송부(230)에는 10개의 채널이 할당된다. 이와 달리, 동영상 전송부(230)는 10개 이하 또는 그 이상의 채널을 이용하여 분할 프레임들을 전송할 수 있다. The
상기 복수개의 채널들(CH1_2~CH1_9)은 우선순위를 할당받으며, 상기 우선순위는 초당 전송될 수 있는 최대 프레임들에 대하여 실제로 전송할 프레임의 비율로 정의된다. 예를 들어, MPEG 시스템이 국제무선통신자문위원회의 CCIR 601 표준을 따를 경우, MPEG 시스템은 초당 30 프레임을 전송할 수 있는 속도를 지원한다. The plurality of channels CH1_2 to CH1_9 are assigned a priority, and the priority is defined as the ratio of frames actually transmitted to the maximum frames that can be transmitted per second. For example, if the MPEG system complies with the CCIR 601 standard of the International Radiocommunication Advisory Committee, the MPEG system supports a rate of 30 frames per second.
버퍼링 및 채널 우선순위는 무선 데이터망의 품질에 따라 결정된다. 이때, 동영상 전송부(230)는 분할 프레임들 중에서 제1 분할 프레임을 최우선 채널(CH1_1)을 제외한 가장 우선순위를 할당받은 채널(CH1_2)을 통하여 전송한다. 여기서 제1 분할 프레임은 분할 프레임들 중에서 가장 선두 프레임이 될 수 있다. 또한, 제1 분할 프레임은 분할 프레임들 중에서 가장 중요한 프레임이 될 수 있다. 따라서, 동영상 전송부(230)는 선두 프레임 내지 중요 프레임을 우선순위에 있는 채널(CH1_2)을 통하여 전송함으로써, 동영상 송신의 효율 및 안정성을 도모할 수 있다. 일반적으로, 채널의 개수가 증가할수록, 동영상의 해상도 등의 품질이 증가한다. 이와 달리, 채널의 개수와 동영상의 품질 간의 관계는 반드시 정비례하는 것은 아니라, 주위의 변수에 의해 영향을 받으므로 가변적이다. 이러한 일련의 과정은 미리 정해진 소프트웨어에 의해 처리될 수 있다. Buffering and channel priority are determined by the quality of the wireless data network. At this time, the
한편, 복수개의 채널들(CH1_1~CH1_10) 중에서 낮은 우선순위를 할당받은 하나 이상의 채널을 더미 채널(CH1_10)로 사용할 수 있다. 더미 채널(CH1_10)은 복수개의 채널 중에서 불량이 발생한 경우에 대체용 채널로 사용될 수 있다. 이와 달리, 복수개의 채널들(CH1_1~CH1_10) 중에서 어느 하나의 채널에 불량이 발생할 경우에는 더미 채널(CH1_10)을 사용하지 않고, 전송 속도가 빠른 우선순위가 높은 채널을 이용하여 둘 이상의 분할 프레임들을 전송할 수도 있다. Meanwhile, one or more channels assigned a low priority among the plurality of channels CH1_1 to CH1_10 may be used as the dummy channel CH1_10. The dummy channel CH1_10 may be used as a replacement channel when a failure occurs among a plurality of channels. On the contrary, when a failure occurs in any one of the plurality of channels CH1_1 to CH1_10, two or more divided frames are used by using a high-priority channel having a high transmission speed without using the dummy channel CH1_10. You can also send.
도 4는 도 1에 도시된 무선 다중접속에 의한 실시간 동영상 수신장치를 구체적으로 나타낸 블록도이다. FIG. 4 is a detailed block diagram illustrating an apparatus for receiving real time video by wireless multiple access shown in FIG. 1.
도2 및 도4를 참조하면, 무선 다중접속에 의한 실시간 동영상 수신장치(300)는 동영상 수신부(310), 동영상 집속부(320) 및 동영상 디코딩부(330)를 포함한다.2 and 4, the real-time
동영상 수신부(310)는 복수개의 채널들(CH2_1~CH2_10)을 통하여 병렬 방식에 의하여 순차적으로 전송된 복수개의 분할 프레임들을 수신한다. 동영상 수신부(310)는 무선 통신망을 통하여 동영상 전송부(230)의 복수개의 채널들(CH1_1~CH1_10)에 대응되는 복수개의 채널들(CH2_1~CH2_10)을 이용하여 전송한 복수개의 분할 프레임들을 수신한다. 이때, 상기 동영상 수신부(310)에 연결된 복수개의 채널들(CH2_1~CH2_10) 중에서, 최우선 채널(CH2_1)은 제어채널이고 낮은 우선순위를 할당받은 하나 이상의 채널(CH2_10)은 더미채널일 수도 있다. 이때, 동영상 수신부(310)는 수신한 분할 프레임들을 수신하여 순차적으로 전송하는 슬라이딩 윈도우 버퍼를 포함한다. The
동영상 수신부(310)는 무선 통신망의 품질에 따라 버퍼링 및 채널 우선순위를 결정한다. 이는 동영상 송신부(230)와 같은 방법으로 채널 우선순위를 결정한다. 예를 들어, MPEG 시스템이 국제무선통신자문위원회의 CCIR 601 표준을 따를 경우, MPEG 시스템은 초당 30 프레임을 전송할 수 있는 속도를 지원한다. The
동영상 집속부(320)는 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠들을 생성한다. 동영상 집속부(320)는 일정한 기준에 의해 패킷화된 복수개의 분할 프레임들을 집속하여 상대적으로 큰 용량의 동영상 콘텐츠들을 생성한다. 즉, 동영상 집속부(320)는 슬라이딩 윈도우 버퍼를 포함하는 동영상 수신부(310)로부터 순차적으로 전송된 분할 프레임들을 동영상 콘텐츠들로 집속한다. The
동영상 디코딩부(330)는 집속된 동영상 콘텐츠들을 디코딩한다. 동영상 디코딩부(330)는 디지털 형태의 동영상 콘텐츠들을 동영상으로의 재생을 위하여 아날로그 형태의 동영상 콘텐츠들로 변환한다. 즉, 컴퓨터에서 쉽게 인식하기 위해 인코딩된 동영상 콘텐츠들을 동영상 재생 장치를 통해 재생하기 위해 동영상 콘텐츠들을 디코딩, 즉 복호화한다. 이에, 동영상 디코딩부(330)는 디코딩된 동영상 콘텐츠들을 외부 재생 장치(350)로 전송한다. The
한편, 무선 다중접속에 의한 실시간 동영상 수신장치는 디코딩된 동영상 콘텐츠들을 외부 재생 장치(350)로 출력하는 출력 인터페이스(340)를 더 포함한다. 외부 재생 장치(350)는 모니터 및 아날로그 영상 신호단 등이 될 수 있다. 따라서, 외부 재생 장치(350)는 출력 인터페이스(340)를 통하여 입력된 동영상 콘텐츠들을 일정한 방식에 의해 동영상으로 재생한다. 외부 재생 장치(350)는 동영상 콘텐츠들을 모아 스크린 전체 화면 또는 일부 화면 크기 (Picture-in-Picutre : PIP )에 동영상을 재생하여 표시할 수 있다. 예를 들어, 외부 재생 장치(350)는 아날로그 신호로 변환된 동영상 콘텐츠들을 영상으로 재생한다. 이때, 외부 재생 장치(350)가 편집유닛(도시되지 않음)을 포함하고, 상기 편집유닛은 디지털 데이터 형태의 동영상 콘텐츠들을 입력받아, 광고, 자막 등의 처리를 통하여 다양한 형태의 편집작업을 수행할 수도 있다.On the other hand, the real-time video receiving apparatus by wireless multiple access further includes an
본 실시예에서, 상기 무선 다중접속에 의한 실시간 동영상 전송장치는 휴대폰의 무선통신망인 HSDPA망의 5개의 채널을 이용하여, TV방송용 동영상을 실시간으로 전송할 수 있다. 따라서, 방송중계차량 등의 대형 방송장비 없이도, 상기 무선 다중접속에 의한 실시간 동영상 송수신장치를 이용하여 현장에서 생방송을 실시간으로 중계하는 것이 가능하다.In the present embodiment, the real-time video transmission apparatus using the wireless multiple access can transmit the TV broadcast video in real time using five channels of the HSDPA network, which is a wireless communication network of the mobile phone. Therefore, it is possible to relay live broadcast in real time using the real-time video transmission / reception apparatus by wireless multiple access without large broadcast equipment such as a broadcast relay vehicle.
도 5는 본 발명의 다른 실시예에 따른 무선 다중접속에 의한 실시간 동영상 송수신장치를 나타내는 블록도이다.5 is a block diagram showing a real-time video transmission and reception apparatus by wireless multiple access according to another embodiment of the present invention.
도 5를 참조하면, 상기 무선 다중접속에 의한 실시간 동영상 송수신장치는 제1 외부장치(250), 제1 동영상 전송장치(200), 제2 외부장치(251), 제2 동영상 전 송장치(201), 제3 외부장치(252), 제3 동영상 전송장치(202), 제4 외부장치(253), 제4 동영상 전송장치(203), 무선통신망, 동영상 수신장치(301) 및 재생장치(351)를 포함한다.Referring to FIG. 5, the real-time video transmission / reception apparatus using wireless multiple access may include a first
상기 각 외부장치들(250, 251, 252, 253) 및 상기 각 동영상 전송장치들(200, 201, 202, 203)은 도 1 및 도 2에 도시된 외부장치 및 무선 다중접속에 의한 실시간 동영상 전송장치와 동일한 구조를 가지므로 상세한 설명은 생략한다.Each of the
본 실시예에서, 상기 각 동영상 전송장치들(200, 201, 202, 203)은 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하여 전송한다. 즉, 상기 각 동영상 전송장치들(200, 201, 202, 203)의 각 동영상 분할부는 각 동영상 콘텐츠를 시분할 방식에 의해 복수개로 분할하고, 분할된 동영상 콘텐츠들을 일정한 기준에 의해 패킷화하여 복수 개의 분할 프레임들을 생성한다. 예를 들어, 상기 각 분할 프레임은 상기 분할 프레임의 번호에 관한 정보 및 상기 각 동영상 전송장치들(200, 201, 202, 203)의 번호에 관한 정보를 포함하는 헤더 및 상기 분할된 각 동영상 콘텐츠를 포함하는 페이로드를 포함할 수 있다.In the present embodiment, each of the
상기 외부장치들(250, 251, 252, 253) 및 상기 동영상 전송장치들(200, 201, 202, 203)은 서로 다른 채널그룹들을 통하여 서로 이격된 다양한 현장들의 동영상을 송신한다. 이때, 상기 동영상 전송장치들(200, 201, 202, 203)을 교대로 구동시켜서 상기 현장들 중의 하나만의 영상을 교대로 송신할 수도 있고, 둘 이상의 동영상 전송장치들(200, 201, 202, 203)이 둘 이상의 현장들에 대응되는 영상들을 동시에 송신할 수도 있다.The
상기 동영상 수신장치(301)는 동영상 수신부(311), 동영상 집속부(321) 및 동영상 디코딩부(331)를 포함한다.The
상기 동영상 수신부(311)는 상기 각 채널그룹들을 통하여 병렬 방식에 의하여 순차적으로 전송된 복수개의 분할 프레임들을 수신한다. 상기 둘 이상의 동영상 전송장치들(200, 201, 202, 203)이 둘 이상의 현장들에 대응되는 영상들을 송신하는 경우, 상기 채널그룹들의 영상들은 상기 동영상 수신부(311)에 동시에 수신된다. 본 실시예에서, 상기 각 채널그룹내의 채널수는 5 내지 10이다. 예를 들어, 제1 및 제2 동영상 전송장치들(200, 201)이 영상을 송신하는 경우, 상기 2개의 영상을 송신하기 위한 전체 채널의 수는 10 내지 20일 수 있다.The
상기 동영상 집속부(321)는 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠를 생성한다. 이때, 상기 동영상 수신부(311)에 둘 이상의 영상들이 인가된 경우, 각 영상에 대응되는 분할 프레임들은 서로 독립적으로 순차집속되어 각각의 영상 콘텐츠들을 생성한다.The
상기 동영상 디코딩부(331)는 집속된 동영상 콘텐츠들을 디코딩한다. 이때, 상기 동영상 집속부(321)가 둘 이상의 영상 콘텐츠들을 생성한 경우, 상기 동영상 디코딩부(331)는 상기 영상 콘텐츠들을 동시에 디코딩한다.The
상기 디코딩된 동영상 콘텐츠는 외부 재생 장치(351)로 전송되어 영상이 표시된다.The decoded video content is transmitted to the external playback device 351 to display an image.
본 실시예에 따르면, 서로 이격된 다양한 현장들에서 실시간으로 발생하는 사건에 대해서, 동시에 동영상을 전송받을 수 있다. 따라서, 생방송의 공간적인 제 약을 극복할 수 있다.According to the present embodiment, a video may be transmitted at the same time with respect to an event occurring in real time in various sites spaced apart from each other. Thus, the spatial constraints of live broadcasting can be overcome.
도 6은 본 발명의 일 실시예에 의한 동영상 송신 방법을 설명하기 위한 순서도이고, 도 7은 본 발명의 일 실시예에 의한 동영상 수신 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating a video transmission method according to an embodiment of the present invention, and FIG. 7 is a flowchart illustrating a video reception method according to an embodiment of the present invention.
도 2, 도 6 및 도 7을 참조하면, 동영상 송수신 방법은 무선 통신망을 통해 동영상 콘텐츠들을 송수신하는 시스템에 있어서, 입력된 동영상 콘텐츠들을 인코딩하는 단계(S100), 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하고 분할된 멀티미디어 콘텐츠를 패킷화하여 복수개의 분할 프레임들을 생성하는 단계(S110), 각각의 분할 프레임을 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송하는 단계(S120), 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송된 복수개의 분할 프레임들을 수신하는 단계(S130), 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠들을 생성하는 단계(S140) 및 집속된 동영상 콘텐츠들을 디코딩하는 단계(S150)를 포함한다. Referring to FIGS. 2, 6, and 7, the video transmitting / receiving method includes a method of transmitting and receiving video contents through a wireless communication network, encoding the input video contents (S100), time-dividing and parallel encoding the encoded video contents. Generating a plurality of divided frames by packetizing the divided multimedia content by the plurality of divided multimedia contents (S110), sequentially transmitting each divided frame through a plurality of channels in a parallel manner (S120), and providing a plurality of channels. Receiving a plurality of divided frames sequentially transmitted in a parallel manner through the (S130), generating the video content by sequentially converging the received divided frames (S140) and decoding the focused video content ( S150).
동영상 인코딩부(210)는 하나 이상의 외부 장치(250)로부터 입력된 동영상 콘텐츠를 인코딩한다. 즉, 동영상 인코딩부(210)는 외부 장치(250)로부터 입력된 아날로그 형태의 동영상 콘텐츠를 디지털 형태의 동영상 콘텐츠로 변화해주는 인코딩 동작을 수행한다. The
동영상 분할부(220)는 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할한다. 이에 동영상 분할부(220)는 분할된 동영상 콘텐츠들을 일정한 기준에 의해 패킷화하여 복수 개의 분할 프레임들을 생성한다. The
동영상 전송부(230)는 각각의 분할 프레임을 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송한다. 동영상 전송부(230)는 분할 프레임들을 무선 데이터 모뎀을 이용하여, 무선광대역망을 통하여 전송한다. The
복수개의 채널은 우선순위를 할당받으며, 상기 우선순위는 초당 전송될 수 있는 최대 프레임들에 대하여 실제로 전송할 프레임의 비율로 정의된다. 최우선 순위를 할당받은 채널은 제어채널로써 전송프레임의 순서제어, 실시간 동영상 전송을 위한 시각동기화 및 불량채널의 교체를 담당한다. 분할 프레임들 중에서 제1 분할 프레임을 상기 제어채널을 제외한 가장 우선순위를 할당받은 채널을 통하여 전송한다. 예를 들어, 제1 분할 프레임은 분할 프레임들 중에서 가장 선두 프레임이 될 수 있다. A plurality of channels are assigned a priority, which is defined as the ratio of frames actually transmitted to the maximum frames that can be transmitted per second. The channel assigned the highest priority is the control channel, which is responsible for controlling the order of transmission frames, visual synchronization for real-time video transmission, and replacing defective channels. Among the divided frames, the first divided frame is transmitted through a channel to which the priority is allocated except for the control channel. For example, the first divided frame may be the first frame among the divided frames.
동영상 수신부(310)는 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송된 복수개의 분할 프레임들을 수신한다. 이때, 상기 동영상 수신부(310)에 연결된 채널들 중에서 최우선 순위를 할당받은 채널이 제어채널이고, 가장 후순위 채널이 더미채널일 수도 있다. 동영상 수신부(310)는 수신한 분할 프레임들을 수신하여 순차적으로 전송하는 슬라이딩 윈도우 버퍼를 포함한다. The
동영상 집속부(320)는 수신된 분할 프레임들을 순차적으로 집속하여 동영상 콘텐츠들을 생성한다. 동영상 집속부(320)는 일정한 기준에 의해 패킷화된 복수개의 분할 프레임들을 집속하여 상대적으로 큰 용량의 동영상 콘텐츠들을 생성한다. The
동영상 디코딩부(330)는 집속된 동영상 콘텐츠들을 디코딩한다. 동영상 디코딩부(330)는 디지털 형태의 동영상 콘텐츠들을 동영상으로의 재생을 위하여 아날로 그 형태의 동영상 콘텐츠들로 변환한다. The
따라서, 무선 다중접속에 의한 실시간 동영상 송수신장치(100)를 이용하여 동영상을 전송함에 있어서, 동영상 콘텐츠들을 분할 프레임들로 분할하고, 복수개의 채널을 이용하여 송수신함으로써, 전송 효율 및 속도를 향상시킬 수 있다. Therefore, in transmitting a video using the real-time video transmission and
이와 같은 무선 다중접속에 의한 실시간 동영상 전송장치, 무선 다중접속에 의한 실시간 동영상 수신장치, 무선 다중접속에 의한 실시간 동영상 송수신장치 및 무선 다중접속에 의한 실시간 동영상 송수신 방법에 따르면, 동영상 전송장치는 인코딩된 동영상 콘텐츠들을 시분할 및 병렬 방식에 의해 분할하고 분할된 동영상 콘텐츠들을 패킷화하여 복수개의 분할 프레임들을 생성하며, 각각의 분할 프레임을 복수개의 채널들을 통하여 병렬 방식에 의하여 순차적으로 전송한다.According to such a real-time video transmission apparatus using a wireless multiple access, a real time video reception apparatus using a wireless multiple access, a real time video transmission and reception apparatus using a wireless multiple access, and a real time video transmission and reception method using a wireless multiple access, the video transmission apparatus is encoded. The video contents are divided in a time division and parallel manner, and the divided video contents are packetized to generate a plurality of divided frames, and each divided frame is sequentially transmitted in a parallel manner through a plurality of channels.
또한, 업링크속도가 낮아서 동영상 송신이 어려운 휴대용 기기용 통신망을 사용함에도 불구하고, 복수개의 채널을 이용하여 동영상을 송수신할 수 있다. 따라서, 업링크속도가 높은 별도의 통신망을 구축하지 않고도, 동영상을 송신하는 것이 가능하여, 통신비용을 절감시키고 전송 효율을 향상시키며 및 전송 안정성을 확보할 수 있다.In addition, despite the use of a mobile device communication network having a low uplink speed, which makes video transmission difficult, it is possible to transmit and receive video using a plurality of channels. Therefore, it is possible to transmit a video without establishing a separate communication network having a high uplink speed, thereby reducing communication costs, improving transmission efficiency, and securing transmission stability.
특히, 방송중계차량 등의 대형 방송장비 없이도, 상기 무선 다중접속에 의한 실시간 동영상 송수신장치를 이용하여 현장에서 생방송으로 TV방송을 실시간으로 중계하는 것이 가능하다. 또한, 복수개의 동영상 송신장치들을 이용하여, 생방송의 시간, 공간적인 제약을 극복할 수 있다.In particular, it is possible to relay in real time the TV broadcast in real time using the real-time video transmission and reception apparatus by the wireless multiple access without a large broadcast equipment such as a broadcast relay vehicle. In addition, by using a plurality of video transmission apparatus, it is possible to overcome the time and space constraints of live broadcasting.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In the detailed description of the present invention described above with reference to a preferred embodiment of the present invention, those skilled in the art or those skilled in the art having ordinary knowledge in the scope of the invention described in the claims to be described later It will be understood that various modifications and variations can be made in the present invention without departing from the scope of the present invention.
Claims (17)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070043398A KR100881371B1 (en) | 2007-05-04 | 2007-05-04 | Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070043398A KR100881371B1 (en) | 2007-05-04 | 2007-05-04 | Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080114500A Division KR20080113325A (en) | 2008-11-18 | 2008-11-18 | Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080098119A KR20080098119A (en) | 2008-11-07 |
KR100881371B1 true KR100881371B1 (en) | 2009-02-02 |
Family
ID=40285702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070043398A KR100881371B1 (en) | 2007-05-04 | 2007-05-04 | Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100881371B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101233238B1 (en) | 2011-08-22 | 2013-02-14 | 에스케이텔레콤 주식회사 | Method for simultaneously transmitting data in heterogeneous network |
KR102067360B1 (en) | 2019-07-22 | 2020-01-16 | 이승건 | Method and apparatus for processing real-time group streaming contents |
KR102114457B1 (en) | 2019-10-21 | 2020-05-22 | (주)부즈 | Method and apparatus for processing real-time character streaming contents |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101230397B1 (en) | 2010-09-29 | 2013-02-07 | (주) 인텍플러스 | Method and Apparatus for Transmitting/Receiving Image Data with High Speed |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100579012B1 (en) * | 2004-04-28 | 2006-05-12 | 미디어코러스 주식회사 | A System for Transporting Moving Picture Stream Having Multi Bit Rates Support In Real Time |
KR100661679B1 (en) * | 1999-08-17 | 2006-12-26 | 루센트 테크놀러지스 인크 | Method of providing downlink transmit diversity |
-
2007
- 2007-05-04 KR KR1020070043398A patent/KR100881371B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100661679B1 (en) * | 1999-08-17 | 2006-12-26 | 루센트 테크놀러지스 인크 | Method of providing downlink transmit diversity |
KR100579012B1 (en) * | 2004-04-28 | 2006-05-12 | 미디어코러스 주식회사 | A System for Transporting Moving Picture Stream Having Multi Bit Rates Support In Real Time |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101233238B1 (en) | 2011-08-22 | 2013-02-14 | 에스케이텔레콤 주식회사 | Method for simultaneously transmitting data in heterogeneous network |
KR102067360B1 (en) | 2019-07-22 | 2020-01-16 | 이승건 | Method and apparatus for processing real-time group streaming contents |
KR102114457B1 (en) | 2019-10-21 | 2020-05-22 | (주)부즈 | Method and apparatus for processing real-time character streaming contents |
Also Published As
Publication number | Publication date |
---|---|
KR20080098119A (en) | 2008-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7310330B2 (en) | Apparatus for providing broadcasting channel information in internet protocol based digital broadcasting system and method thereof | |
US11343549B2 (en) | Reception apparatus, reception method, transmission apparatus, and transmission method | |
EP1761059A2 (en) | Method and apparatus for transmitting and receiving broadcast data and service information | |
CN107211200B (en) | Method and apparatus for transmitting/receiving media data | |
KR100890643B1 (en) | Method and System for providing Program Guide Service | |
JP2008236667A (en) | Digital broadcast receiver | |
KR20060040429A (en) | Apparatus for providing digital broadcasting data using wireless local area network and method the same | |
US20110145875A1 (en) | Mobile set-top box and method for providing internet protocol television service using the same | |
KR100881371B1 (en) | Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof | |
KR20080113325A (en) | Apparatus of transmitting real time moving picture using wireless multiple access, apparatus of receiving real time moving picture using wireless multiple access, apparatus of transmitting/receiving real time moving picture using wireless multiple access and method thereof | |
KR102281856B1 (en) | Apparatus for converting broadcasting signal method for using the same | |
CN113170219B (en) | Apparatus and method for tuner control through middleware | |
US10349118B2 (en) | Transmission arrangement for wirelessly transmitting an MPEG2-TS-compatible data stream | |
JP2011151566A (en) | Broadcast system, broadcasting signal transmitter-receiver, and broadcasting signal transmission method | |
KR20080111374A (en) | Method and apparatus for transporting mobile broadcasting service, and method and apparatus for receiving mobile broadcasting service | |
JP4538445B2 (en) | Transcoding system, transcoding method, transcoding program implementing the method, and storage medium storing the program | |
KR100681639B1 (en) | Apparatus and method for processing broadcasting data of digital multimedia broadcasting system | |
KR101745652B1 (en) | Broadcasting transmitter and receiver for rapid receiving of decoding information, and method thereof | |
JP2007329800A (en) | Receiving apparatus and receiving method for digital broadcast | |
KR20100134319A (en) | Method, transponder, server and system for providing mobile live-broadcasting service | |
JP2006303743A (en) | Retransmission system using satellite, and method executed thereby | |
US20170318315A1 (en) | Apparatus and method for transmitting content over network | |
KR100912236B1 (en) | Method and System for providing Digital Broadcasting Service capable of reducing of channel surfing time | |
KR100738405B1 (en) | Method and System for Managing Code Division Multiplex Channel for Use in Digital Multimedia Broadcasting Service | |
US7983251B2 (en) | Broadcasting service transmission/reception method and apparatus for providing fast access to broadcasting service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
A107 | Divisional application of patent | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
B701 | Decision to grant | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120223 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |