KR101303258B1 - Device and method for displaying multi-screen in digital broadcasting receiver - Google Patents
Device and method for displaying multi-screen in digital broadcasting receiver Download PDFInfo
- Publication number
- KR101303258B1 KR101303258B1 KR1020060064635A KR20060064635A KR101303258B1 KR 101303258 B1 KR101303258 B1 KR 101303258B1 KR 1020060064635 A KR1020060064635 A KR 1020060064635A KR 20060064635 A KR20060064635 A KR 20060064635A KR 101303258 B1 KR101303258 B1 KR 101303258B1
- Authority
- KR
- South Korea
- Prior art keywords
- service channel
- data
- frame
- screen
- video data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
- H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
- H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
Abstract
디지털 방송수신기의 다중화면 표시 장치가, 설정된 주 및 적어도 하나의 부서비스채널의 방송 데이터들을 수신하는 방송수신부와, 각 프레임 마다 프레임 주기를 시분할하여 주 서비스채널의 모든 프레임 비디오 데이터 및 부 서비스채널의 설정된 프레임의 비디오 데이터들을 복호하는 비디오복호기와, 미리 설정된 서비스채널의 오디오 데이터를 복호하는 오디오복호기로 구성되는 복호부와, 복호된 주 및 부 서비스채널의 비디오 데이터를 설정된 다중화면으로 표시될 수 있도록 다중화하여 출력하는 다중화면처리부와, 다중화면처리부에서 출력되는 비디오 데이터를 다중화면으로 표시하는 표시부와, 복호된 오디오 데이터를 재생하는 스피커로 구성된다.
디지털방송수신기, DVB, 다중화면, PIP
The multi-screen display device of the digital broadcast receiver includes a broadcast receiver that receives broadcast data of a set primary and at least one secondary service channel, and time-divisions a frame period for each frame to determine all the frame video data of the primary service channel and the secondary service channel. A decoder comprising a video decoder for decoding video data of a set frame, an audio decoder for decoding audio data of a preset service channel, and video data of a decoded primary and secondary service channel to be displayed in a set multi-screen. A multi-screen processing unit for multiplexing and outputting, a display unit for displaying video data output from the multi-screen processing unit in multiple screens, and a speaker for reproducing decoded audio data.
Digital Broadcast Receiver, DVB, Multi Screen, PIP
Description
도 1은 본 발명의 실시예에 따라 서비스채널을 변경하는 디지털 방송수신기의 구조를 도시하는 도면1 is a diagram showing the structure of a digital broadcast receiver for changing a service channel according to an embodiment of the present invention.
도 2는 상기 DVB-H 방식의 디지털 방송수신기의 방송수신부110의 구성을 도시하는 도면Fig. 2 is a diagram showing the configuration of the
도 3은 상기 DVB-H 방식의 디지털 방송수신기의 프로토콜처리부120의 구성을 도시하는 도면3 is a diagram showing the configuration of a
도 4a - 도 4f는 상기 DVB-H 방식의 디지털 방송수신기가 수신하는 IP 기반의 서비스채널 데이터 구조를 도시하는 도면4A to 4F are diagrams illustrating an IP-based service channel data structure received by the DVB-H digital broadcast receiver.
도 5a - 도 5d는 본 발명의 실시예에 따라 적어도 두 개의 서비스채널들의 데이터를 다중화면으로 처리하는 절차를 설명하기 위한 도면5A through 5D illustrate a procedure of processing data of at least two service channels into a multi-screen according to an embodiment of the present invention.
도 6은 본 발명의 실시예에서 다중화면으로 표시하기 위해 수신되는 주 및 부 서비스채널의 버스트 데이터를 복호하여 출력하는 절차를 설명하기 위한 도면FIG. 6 is a diagram for describing a procedure of decoding and outputting burst data of a primary and a secondary service channel received for display on a multi-screen according to an embodiment of the present invention; FIG.
도 7a - 도 7g는 상기 비디오복호기900에서 주 서비스채널 및 부 서비스채널의 데이터들을 복호하는 타이밍을 도시하는 도면7A to 7G show timings for decoding data of a primary service channel and a secondary service channel in the video decoder 900.
도 8a - 도 8c는 본 발명의 실시예에 따른 상기 다중화면처리부140의 구성을 도시하는 도면8A to 8C are diagrams showing the configuration of the
도 9는 본 발명의 실시예에 따라 디지털 방송수신기에서 주 서비스채널 및 적어도 하나의 부서비스 채널의 방송데이터를 다중화면으로 표시하는 절차를 도시하는 흐름도9 is a flowchart illustrating a procedure of displaying broadcast data of a main service channel and at least one sub service channel in a multi-screen by a digital broadcast receiver according to an embodiment of the present invention.
도 10은 상기 도 9의 복호 과정의 동작 절차를 도시하는 흐름도10 is a flowchart illustrating an operation procedure of the decoding process of FIG.
도 11a 및 도 11b는 본 발명의 실시예에 따른 비디오 데이터의 다중화면 처리 절차를 도시하는 흐름도11A and 11B are flowcharts illustrating a multi-screen processing procedure of video data according to an embodiment of the present invention.
도 12는 본 발명의 실시예에 따른 디지털 방송수신기를 구비하는 휴대단말기의 구성을 도시하는 도면12 is a diagram illustrating a configuration of a mobile terminal having a digital broadcast receiver according to an embodiment of the present invention.
본 발명은 디지털 방송수신기의 방송데이터 표시 장치 및 방법에 관한 것으로, 특히 적어도 두 개의 서비스채널 데이터를 다중화면으로 표시하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for displaying broadcast data of a digital broadcast receiver, and more particularly, to an apparatus and method for displaying at least two service channel data on a multi screen.
현재 디지털 방송수신기는 다양한 디지털 방송신호를 수신하여 표시하는 기능을 수행한다. 여기서 상기 디지털 방송신호는 디지털 방식으로 부호화 및 변조된 신호로써, 수신기에서는 이를 역으로 복조 및 복호화하여 하여야 한다. 따라서 상 기 디지털 방송수신기는 튜너, 방송데이터복조기 및 방송데이터복호기 등을 구비하여야 한다. 현재 상기 디지털 방송 방식은 크게 DMB(Digital Multimedia Broadcasting) 및 DVB(Digital Video Broadcasting) 방식으로 나눌 수 있다. 상기 디지털 방송은 하나의 주파수 채널에 복수의 서비스채널들을 서비스하는 방식을 사용하며, 상기 서비스채널들은 방송국들에서 방송되는 디지털 방송신호를 전송하는 채널들의 프로그램 정보 및(또는) 방송정보들을 전송하는 채널들로 구성될 수 있다.Currently, the digital broadcast receiver receives and displays various digital broadcast signals. The digital broadcast signal is a digitally encoded and modulated signal, and the receiver must demodulate and decode the data in reverse. Therefore, the digital broadcast receiver should have a tuner, broadcast data demodulator, and broadcast data decoder. Currently, the digital broadcasting method can be roughly divided into DMB (Digital Multimedia Broadcasting) and DVB (Digital Video Broadcasting). The digital broadcasting uses a method of serving a plurality of service channels in one frequency channel, and the service channels are channels for transmitting program information and / or broadcast information of channels for transmitting digital broadcast signals broadcast from broadcasting stations. It may consist of.
그리고 현재의 휴대단말기는 멀티미디어 전용 프로세서를 탑재하거나 멀티미디어 기능을 강화하는 추세이며, 상기 멀티미디어 기능들 중에서 상기와 같은 디지털 방송수신기를 탑재하는 추세이다. 여기서 상기 휴대단말기(wireless terminal)는 휴대전화기(mobile phone), 휴대용 컴퓨터(note-book computer), PDA(personal digital assistants), PMP(portable multimedia player) 등이 될 수 있다. 그리고 상기 휴대단말기는 무선 통신 기능을 수행하는 RF 통신부를 구비할 수 있다. In addition, current portable terminals have a trend of mounting a multimedia dedicated processor or reinforcing a multimedia function, and among the multimedia functions, a trend of mounting a digital broadcast receiver as described above. The wireless terminal may be a mobile phone, a notebook computer, a personal digital assistant, a portable multimedia player (PMP), or the like. The portable terminal may include an RF communication unit that performs a wireless communication function.
상기와 같이 디지털 방송수신기는 일반 방송수신기보다 많은 수의 서비스채널 데이터들을 수신하게 된다. 따라서 상기 디지털 방송수신기의 사용자는 다양한 장르의 서비스채널들을 시청할 수 있다. 이런 경우 디지털 방송수신기의 하나의 표시부에 다중 화면(multi-screen)들을 표시할 수 있으면, 사용자는 하나의 화면을 통해 다양한 장르의 방송들을 시청할 수 있다. As described above, the digital broadcast receiver receives a larger number of service channel data than a general broadcast receiver. Accordingly, the user of the digital broadcast receiver can watch service channels of various genres. In this case, if multi-screens can be displayed on one display unit of the digital broadcast receiver, the user can watch broadcasts of various genres through one screen.
따라서 본 발명의 목적은 디지털 방송수신기에서 하나의 표시부에 적어도 두 개 서비스채널들의 방송데이터를 다중화면을 표시할 수 있는 장치 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide an apparatus and method for displaying multiple screens of broadcast data of at least two service channels on one display unit in a digital broadcast receiver.
본 발명의 다른 목적은 디지털 방송수신기에서 선택된 주 서비스채널의 표시 화면에 적어도 하나의 부 서비스채널의 설정된 프레임의 방송데이터를 혼합하여 다중화면으로 표시할 수 있는 장치 및 방법을 제공함에 있다.Another object of the present invention is to provide an apparatus and method for displaying a multi-screen by mixing broadcast data of a set frame of at least one sub-service channel on a display screen of a main service channel selected by a digital broadcast receiver.
본 발명의 또 다른 목적은 디지털 방송수신기에서 주 서비스채널의 비디오 데이터와 적어도 하나의 부 서비스채널의 설정된 프레임의 비디오 데이터를 다중화면으로 표시하며, 상기 다중화면 표시시 상기 부 서비스채널의 비디오 데이터를 설정된 화면의 크기로 리사이징하고, 주 서비스채널의 데이터에 상기 리사이징된 부 서비스채널 데이터를 혼합하여 다중화면으로 표시할 수 있는 장치 및 방법을 제공함에 있다.Another object of the present invention is to display video data of a main service channel and video data of a set frame of at least one sub service channel in a multi-screen in a digital broadcast receiver, and display the video data of the sub service channel in the multi-screen display. The present invention provides a device and method for resizing to a set screen size and displaying the multi-screen by mixing the resized sub-service channel data with the data of the main service channel.
본 발명의 또 다른 목적은 디지털 방송수신기에서 주 서비스채널의 비디오 데이터와 적어도 하나의 부 서비스채널의 설정된 프레임의 비디오 데이터를 다중화면으로 표시하며, 상기 다중화면 표시시 상기 부 서비스채널의 비디오 데이터를 설정된 화면의 크기로 리사이징하고 표시 위치를 결정한 후, 주 서비스채널 데이터에 상기 리사이징된 부 서비스채널 데이터를 결정된 표시위치에 혼합하여 다중화면으로 표시할 수 있는 장치 및 방법을 제공함에 있다.Another object of the present invention is to display video data of a main service channel and video data of a set frame of at least one sub service channel in a multi-screen in a digital broadcast receiver, and display the video data of the sub service channel in the multi-screen display. After resizing to a set screen size and determining a display position, the present invention provides an apparatus and method for displaying a multi-screen by mixing the resized sub-service channel data in the main service channel data in the determined display position.
본 발명의 또 다른 목적은 타임슬라이싱 방식을 사용하는 디지털 방송수신기에서 주 서비스채널의 비디오 데이터와 적어도 하나의 부 서비스채널의 비디오 데 이터를 수신하고, 각 프레임 데이터 구간에서 상기 부 서비스채널의 비디오 데이터가 설정된 프레임의 비디오데이터이면 주 및 부 서비스채널의 프레임 데이터를 시분할하여 복호하고, 그렇지 않으면 상기 주 서비스채널의 비디오 데이터만 복호하며, 상기 복호된 주 및 부 서비스채널 데이터를 다중화면으로 표시할 수 있는 장치 및 방법을 제공함에 있다.It is still another object of the present invention to receive video data of a main service channel and video data of at least one sub service channel in a digital broadcast receiver using a time slicing scheme, and to receive video data of the sub service channel in each frame data section. If is the video data of the set frame, time division and decoding of the frame data of the main and sub service channels, otherwise only the video data of the main service channel is decoded, and the decoded main and sub service channel data can be displayed in multiple screens. The present invention provides an apparatus and method.
본 발명의 또 다른 목적은 타임 슬라이싱 방식을 사용하는 디지털 방송수신기를 구비하는 휴대단말기에서 사용자가 선택한 주 및 적어도 하나의 부 서비스채널의 방송데이터를 수신하고, 각 프레임 데이터 구간에서 상기 부 서비스채널의 비디오 데이터가 설정된 프레임의 비디오데이터이면 주 및 부 서비스채널의 프레임 데이터를 시분할하여 복호하고, 그렇지 않으면 상기 주 서비스채널의 비디오 데이터만 복호하며, 상기 복호된 주 및 부 서비스채널 데이터를 다중화면으로 표시할 수 있는 장치 및 방법을 제공함에 있다.It is still another object of the present invention to receive broadcast data of a primary and at least one secondary service channel selected by a user in a mobile terminal having a digital broadcast receiver using a time slicing scheme, and in each frame data section, If the video data is video data of a set frame, time division and decoding of the frame data of the main and sub service channels are performed. Otherwise, only the video data of the main service channel is decoded, and the decoded main and sub service channel data are displayed in multiple screens. It is to provide an apparatus and method that can be.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 디지털 방송수신기의 다중화면 표시 장치가, 설정된 주 및 적어도 하나의 부서비스채널의 방송 데이터들을 수신하는 방송수신부와, 각 프레임 마다 상기 프레임 주기를 시분할하여 상기 주 서비스채널의 모든 프레임 비디오 데이터 및 부 서비스채널의 설정된 프레임의 비디오 데이터들을 복호하는 비디오복호기와, 미리 설정된 서비스채널의 오디오 데이터를 복호하는 오디오복호기로 구성되는 복호부와, 상기 복호된 주 및 부 서비스채널의 비디오 데이터를 설정된 다중화면으로 표시될 수 있도록 다중화하여 출력하는 다중화면처리부와, 상기 다중화면처리부에서 출력되는 비디오 데이터를 다중화 면으로 표시하는 표시부와, 상기 복호된 오디오 데이터를 재생하는 스피커로 구성된 것을 특징으로 한다.A multi-screen display apparatus of a digital broadcast receiver according to an embodiment of the present invention for achieving the above object includes a broadcast receiver for receiving broadcast data of a set main and at least one sub service channel, and time division of the frame period for each frame. A decoder comprising: a video decoder for decoding all frame video data of the main service channel and video data of a set frame of a sub service channel, an audio decoder for decoding audio data of a preset service channel, and the decoded primary And a multi-screen processing unit for multiplexing and outputting video data of a sub-service channel so as to be displayed on a set multi-screen, a display unit for displaying video data output from the multi-screen processing unit on a multi-screen, and reproducing the decoded audio data. Characterized in that composed of speakers .
또한 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 디브이비_에이치 방식의 디지털 방송수신기의 다중화면 표시 장치가, 설정된 주 서비스채널 및 적어도 하나의 부서비스채널의 버스트 데이터들을 수신하는 방송수신부와, 상기 서비스채널들의 비디오 및 오디오 데이터들을 추출하는 프로토콜처리부와, 각 프레임 마다 상기 프레임 주기를 시분할하여 상기 주 서비스채널의 모든 프레임 비디오 데이터 및 부 서비스채널의 설정된 프레임의 비디오 데이터들을 복호하는 비디오복호기와, 미리 설정된 서비스채널의 오디오 데이터를 복호하는 오디오복호기로 구성되는 복호부와, 상기 복호된 주 및 부 서비스채널의 비디오 데이터를 설정된 다중화면으로 표시될 수 있도록 다중화하여 출력하는 다중화면처리부와, 상기 다중화면처리부에서 출력되는 비디오 데이터를 다중화면으로 표시하는 표시부와, 상기 복호된 오디오 데이터를 재생하는 스피커로 구성된 것을 특징으로 한다.In addition, the multi-screen display apparatus of the DVB H-type digital broadcast receiver according to an embodiment of the present invention for achieving the above object, and a broadcast receiver for receiving burst data of the set main service channel and at least one sub-service channel; A protocol processor for extracting video and audio data of the service channels, and a video decoder for time-dividing the frame period for each frame to decode all frame video data of the main service channel and video data of a set frame of the sub-service channel. A decoding unit comprising an audio decoder for decoding audio data of a preset service channel, a multiple screen processing unit for multiplexing and outputting the video data of the decoded primary and secondary service channels so as to be displayed in a set multiple screen; Output from multi screen processor It is characterized in that it consists of a display unit for displaying the video data in a multi-screen, for reproducing the decoded audio data to a speaker.
또한 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 디브이비_에이치 방식의 디지털 방송수신기를 구비하는 휴대단말기의 다중화면 표시 장치가, 설정된 주 서비스채널 및 적어도 하나의 부서비스채널의 버스트 데이터들을 수신하는 방송수신부와; 상기 서비스채널들의 비디오 및 오디오 데이터들을 추출하는 프로토콜처리부와; 각 프레임 마다 상기 프레임 주기를 시분할하여 상기 주 서비스채널의 모든 프레임 비디오 데이터 및 부 서비스채널의 설정된 프레임의 비디오 데이터들을 복호하는 비디오복호기와; 미리 설정된 서비스채널의 오디오 데이터를 복호하는 오디오복호기로 구성되는 복호부와; 상기 복호된 주 및 부 서비스채널의 비디오 데이터를 설정된 다중화면으로 표시될 수 있도록 다중화하여 출력하는 다중화면처리부로 구성되는 디지털 방송수신기와, 무선 통신 데이터를 처리하는 무선통신부와, 상기 다중화면 표시 모드시 상기 주 및 부 서비스채널의 다중화면 처리 동작을 제어하며, 상기 다중화면 표시모드에서 통신모드 발생시 상기 발생되는 호를 상기 무선통신부를 통해 처리하는 제어부와, 상기 다중화면처리부에서 출력되는 비디오 데이터를 다중화면으로 표시하며, 상기 다중화면 표시모드에서 발생되는 호 정보를 표시하는 표시부와, 상기 복호된 오디오 데이터를 재생하는 스피커로 구성된 것을 특징으로 한다.In addition, a multi-screen display device of a portable terminal having a DVB H-type digital broadcast receiver according to an embodiment of the present invention for achieving the above object, the burst data of the set main service channel and at least one sub-service channel A broadcast receiving unit; A protocol processor for extracting video and audio data of the service channels; A video decoder for time-dividing the frame period for each frame to decode all frame video data of the main service channel and video data of a set frame of a sub-service channel; A decoder comprising an audio decoder for decoding audio data of a preset service channel; A digital broadcast receiver comprising a multiple screen processing unit for multiplexing and outputting the video data of the decoded main and sub service channels in a set multi-screen, a wireless communication unit for processing wireless communication data, and the multi-screen display mode Control the multi-screen processing operation of the primary and secondary service channel, and process the generated call through the wireless communication unit when the communication mode occurs in the multi-screen display mode, and the video data output from the multi-screen processing unit. And a display unit for displaying the call information generated in the multi-screen display mode and a speaker for reproducing the decoded audio data.
또한 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 디지털 방송수신기의 다중화면 표시 방법이, 설정된 주 서비스채널 및 적어도 하나의 부서비스채널의 버스트 데이터들을 수신하는 과정과, 상기 수신된 서비스채널들의 버스트 데이터에서 비디오 및 오디오 데이터들을 추출하는 과정과, 매 프레임 복호시작시마다 상기 부 서비스채널의 프레임 비디오 데이터가 설정된 프레임 비디오 데이터이면 상기 프레임 주기를 시분할하여 상기 주 및 부 서비스채널들의 비디오 프레임 데이터를 복호하고, 그렇지 않으면 주 서비스채널의 비디오 프레임 데이터만을 복호하며, 미리 설정된 서비스채널의 오디오 데이터를 복호하는 과정과, 상기 복호된 주 및 부 서비스채널의 비디오 데이터를 설정된 다중화면으로 표시될 수 있도록 다중화하여 출력하는 과정과, 상기 다중화되는 비디오 데이터를 다중화면으로 표시하 고, 상기 복호된 오디오 데이터를 재생하는 과정으로 이루어짐을 특징으로 한다.In addition, the multi-screen display method of the digital broadcast receiver according to an embodiment of the present invention for achieving the above object, the process of receiving burst data of the set main service channel and at least one sub-service channel, and Extracting video and audio data from burst data; and decoding the video frame data of the primary and secondary service channels by time-dividing the frame period if the frame video data of the secondary service channel is set at every frame decoding start. Otherwise, decoding only the video frame data of the main service channel, decoding the audio data of the preset service channel, and multiplexing the video data of the decoded main and sub service channels to be displayed in a set multi-screen. Output Jung, displays the video data to be multiplexed in the multi-screen, and will be constituted by any of the processes for reproducing the decoded audio data characteristics.
또한 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 디지털 방송수신기를 구비하는 휴대단말기의 다중화면 표시 방법이, 상기 다중화면 표시 모드시 설정된 주 서비스채널 및 적어도 하나의 부서비스채널의 버스트 데이터들을 수신하는 과정과; 상기 수신된 서비스채널들의 버스트 데이터에서 비디오 및 오디오 데이터들을 추출하는 과정과; 매 프레임 복호시작시마다 상기 부 서비스채널의 프레임 비디오 데이터가 설정된 프레임 비디오 데이터이면 상기 프레임 주기를 시분할하여 상기 주 및 부 서비스채널들의 비디오 프레임 데이터를 복호하고, 그렇지 않으면 주 서비스채널의 비디오 프레임 데이터만을 복호하며, 미리 설정된 서비스채널의 오디오 데이터를 복호하는 과정과; 상기 복호된 주 및 부 서비스채널의 비디오 데이터를 설정된 다중화면으로 표시될 수 있도록 다중화하여 출력하는 과정과; 상기 다중화되는 비디오 데이터를 다중화면으로 표시하고, 상기 복호된 오디오 데이터를 재생하는 과정을 수행하면서 다중화면을 표시하는 과정과, 상기 다중화면 표시모드에서 착신호 발생시 상기 표시되는 다중화면에 착신 가입자 정보를 포함하는 착신경보를 표시하는 과정과, 상기 다중화면 표시모드에서 발신호 발생시 상기 선택된 서비스채널과 통신 채널을 형성한 후, 발신정보를 전송하는 과정으로 이루어짐을 특징으로 한다.In addition, the multi-screen display method of a mobile terminal having a digital broadcast receiver according to an embodiment of the present invention for achieving the above object, the burst data of the main service channel and at least one sub-service channel set in the multi-screen display mode Receiving; Extracting video and audio data from the burst data of the received service channels; If the frame video data of the sub-service channel is set frame video data at every frame decoding start, the video frame data of the main and sub-service channels are decoded by time-dividing the frame period, otherwise only the video frame data of the main service channel is decoded. Decoding audio data of a preset service channel; Multiplexing and outputting video data of the decoded primary and secondary service channels so that the decoded video data of the primary and secondary service channels can be displayed on a set multiple screen; Displaying the multiplexed video data on a multi-screen and playing the decoded audio data, displaying a multi-screen, and receiving subscriber information on the multi-screen displayed when an incoming call occurs in the multi-screen display mode. And displaying the incoming call alert, and forming a communication channel with the selected service channel when an outgoing signal is generated in the multi-screen display mode, and transmitting outgoing information.
상기와 같은 실시예들에서 상기 비디오 복호기에서 복호하는 부 서비스채널의 설정 프레임 비디오 데이터는 상기 프레임 비디오 데이터를 직접 부호화한 프레임 비디오 데이터를 포함할 있다. 여기서 상기 부 서비스채널의 설정 프레임 비디 오 데이터는 인트라 프레임 비디오 데이터가 될 수 있으며, 또한 상기 부 서비스채널의 설정 프레임 비디오 데이터는 인트라 프레임 비디오 데이터 및 상기 인트라 프레임 비디오 데이터를 참조하여 부호화된 프리비어스 프레임 비디오 데이터로 이루어질 수 있다.In the above embodiments, the set frame video data of the sub service channel decoded by the video decoder may include frame video data obtained by directly encoding the frame video data. Here, the set frame video data of the sub service channel may be intra frame video data, and the set frame video data of the sub service channel may be intra-frame video data and a pre-via frame encoded with reference to the intra frame video data. It may consist of video data.
이하 본 발명의 바람직한 실시예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. It should be noted that the same configurations of the drawings denote the same reference numerals as possible whenever possible.
하기 설명에서 DVB-H 디지털방송, 버스트채널의 시간 등과 같은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.In the following description, specific details such as DVB-H digital broadcasting, time of burst channel, etc. are shown to provide a more general understanding of the present invention. It will be apparent to those skilled in the art that the present invention may be readily practiced without these specific details and by modifications thereof.
본 발명의 실시예는 사용자에 의해 선택된 적어도 두 개의 서비스채널 데이터를 다중 화면으로 표시하는 디지털 방송수신기 또는 이런 디지털 방송수신기를 구비하는 휴대단말기에 대한 것이다. 여기서 상기 디지털 방송은 크게 DMB(Digital Multimedia Broadcasting ) 방식, DVB(Digital Video Broadcasting) 방식, 미디어플로(Media FLO(Forward Link Only)) 등이 있다. 여기서 상기 DMB, DVB, 미디어플로 방식은 모두 디지털 방송 방식을 사용하고 있다. 또한 상기 DVB 방식은 DVB_T 방식과 DVB_H 방식이 있으며, 상기 DVB_H 방식은 타임 슬라이싱 및 IP 기반의 방송 신호를 사용한다. 본 발명의 실시예에 따른 디지털 방송수신기는 상기 DVB_H의 방송신호를 수신하여 처리하는 것으로 예를들어 설명될 것이다. 그러나 본 발명의 실시예에 따른 디지털 방송수신기는 상기 DVB 방식,DMB 방식, 미디어플로 방식에 모두 적용할 수 있다.An embodiment of the present invention relates to a digital broadcast receiver for displaying at least two service channel data selected by a user on a multi-screen, or a portable terminal having such a digital broadcast receiver. The digital broadcasting may be classified into a digital multimedia broadcasting (DMB) method, a digital video broadcasting (DVB) method, a media flow (forward link only), or the like. The DMB, DVB, and media flow methods all use digital broadcasting. In addition, the DVB scheme includes a DVB_T scheme and a DVB_H scheme, and the DVB_H scheme uses time slicing and IP-based broadcast signals. The digital broadcast receiver according to the embodiment of the present invention will be described by way of example as receiving and processing the broadcast signal of the DVB_H. However, the digital broadcast receiver according to the embodiment of the present invention can be applied to both the DVB method, the DMB method, and the media flow method.
이하 본 발명의 실시예에서 사용하는 용어는 다음과 같이 정의한다. 먼저 "채널"(channel)은 튜너에서 선택되는 주파수 채널을 의미하며, "서비스"(service)는 선택된 채널 상에 전송되는 실제 방송국의 채널로써 PID(program identifier or product identifier) 등에 의해 구분되는 서비스채널을 의미하며, "이벤트"(event)는 각 서비스에서 제공되는 프로그램들을 의미한다. 본 발명의 실시예에서는 상기 용어들의 사용에 따른 혼란을 방지하기 위하여, 상기 채널은 "물리채널"(physical channel)로 사용하며, 서비스는 "서비스채널"(service channel)로 사용하기로 한다. 디지털 방송은 하나의 물리채널에서 다수의 서비스채널들이 전송되며, 물리채널은 튜너에 설정된 채널 주파수를 의미하고, 서비스채널은 상기 물리채널에서 방송국들을 의미한다. 상기 서비스채널은 DMB 및 DVB-T의 경우 상기 PID에 의해 구분될 수 있으며, DVB-H의 경우 PID, IP 어드레스, 및(또는) 포트 정보들의 조합에 의해 구분될 수 있다. "다중화면"(multi-screen)은 하나의 표시부에 두 개 이상의 서비스채널들의 데이터를 표시하는 것을 의미한다. 여기서 상기 다중화면은 PIP(Picture In Picture) 형태로 표현될 수도 있다. "주 서비스채널"(main service channel)은 상기 다중화면에서 표시부 전체에 표시되는 주 화면(main screen) 데이터를 전송하는 서비스채널을 의미하고, "부 서비스채널"(sub service channel)은 상기 다중화면에서 표시부의 일부 영역에 표시되는 부화면(slave(or sub) screen) 데이터를 전송하는 서비스채널을 의미한다. 그리고 본 발명의 실시예에서 상기 다중화면 표시시 주 서비스채널의 방송신호는 풀 프레임으로 표시되며, 부 서비스 채널의 방송신호는 특정 프레임의 방송신호들만 표시하는 것으로 가정한다. 여기서 상기 특정 프레임 비디오 데이터는 복호하기 위한 프레임 비디오 데이터로써, 다른 프레임 데이터의 참조 없이 단독으로 부호화된 프레임 비디오 데이터 또는 다른 프레임의 비디오 데이터를 한번 참조하여 부호화한 프레임 비디오 데이터가 될 수 있다. 여기서 상기 특정 프레임은 I 프레임 및(또는) P 프레임 방송신호라고 가정한다. 이하 설명되는 본 발명의 실시예에서는 상기 주 서비스채널은 비디오 및 오디오 데이터를 처리하며, 부 서비스채널은 비디오 데이터만을 처리하는 것으로 가정하여 설명될 것이다. Hereinafter, terms used in the embodiments of the present invention are defined as follows. First, a "channel" refers to a frequency channel selected by a tuner, and a "service" is a channel of an actual broadcasting station transmitted on the selected channel. The service channel is classified by a program identifier or product identifier (PID). "Event" refers to programs provided by each service. In an embodiment of the present invention, the channel is used as a "physical channel" and the service is used as a "service channel" in order to prevent confusion caused by the use of the terms. In digital broadcasting, a plurality of service channels are transmitted in one physical channel, a physical channel means a channel frequency set in a tuner, and a service channel means broadcasting stations in the physical channel. The service channel may be distinguished by the PID in the case of DMB and DVB-T, and may be distinguished by a combination of PID, IP address, and / or port information in the case of DVB-H. "Multi-screen" means displaying data of two or more service channels on one display unit. In this case, the multi-screen may be represented in the form of a picture in picture (PIP). The "main service channel" refers to a service channel for transmitting main screen data displayed on the entire display unit in the multi-screen, and the "sub service channel" refers to the multi-screen. Means a service channel for transmitting slave (or sub screen) data displayed on a portion of the display unit. In the embodiment of the present invention, it is assumed that the broadcast signal of the main service channel is displayed in full frame when the multi-screen is displayed, and the broadcast signal of the secondary service channel only displays broadcast signals of a specific frame. Here, the specific frame video data is frame video data for decoding and may be frame video data encoded alone without reference to other frame data or frame video data encoded with reference to video data of another frame once. In this case, it is assumed that the specific frame is an I frame and / or a P frame broadcast signal. In the embodiment of the present invention described below, the primary service channel processes video and audio data, and the secondary service channel will be described on the assumption that it processes only video data.
도 1은 본 발명의 실시예에 따라 서비스채널을 변경하는 디지털 방송수신기의 구조를 도시하는 도면이다.1 is a diagram illustrating a structure of a digital broadcast receiver for changing a service channel according to an embodiment of the present invention.
상기 도 1을 참조하면, 제어부100은 디지털 방송수신기의 전반적인 동작을 제어한다. 키입력부170은 사용자의 선택에 따른 키 데이터를 발생하여 상기 제어부100에 인가한다. 여기서 상기 키입력부170을 통해 발생하는 사용자의 명령은 상기 주 및 부 서비스채널들의 선택 및 재생 명령 등이 될 수 있다. 본 발명의 실시예에서 사용자는 방송 재생모드를 수행하기 전 또는 상기 방송재생모드를 수행하는 중에 다중화면으로 표시하기 위한 주 및 부 서비스채널들을 선택할 수 있다. 그리고 상기 주 및 부 서비스채널이 선택되면 상기 제어부100은 다중화면 표시임을 인식하 고 상기 선택된 주 및 부 서비스채널들의 데이터들을 처리하여 표시부150에 다중화면으로 표시한다. 따라서 상기 제어부100은 다중화면 표시제어부가 될 수 있다.Referring to FIG. 1, the
메모리160은 디지털 방송수신기의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 메모리 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리로 구성될 수 있다. 여기서 상기 메모리160의 프로그램 메모리는 본 발명의 실시예에 따른 적어도 두 개의 서비스채널들이 선택되면 다중화면 표시 동작을 수행하기 프로그램을 구비할 수 있다. The
방송수신부110은 상기 제어부100의 제어하에 사용자에 의해 선택된 적어도 두 개의 서비스채널들의 데이터를 수신한다. 프로토콜처리부120은 상기 서비스채널들의 데이터의 프로토콜을 처리하여 비디오 데이터, 오디오 데이터 및 방송정보 데이터들을 분리 출력한다. 여기서 DVB-H 방식인 경우 상기 프로토콜처리부120은 IP데이터 그램의 프로토콜들을 처리하여 오디오 데이터, 비디오 데이터 및 방송정보 데이터들을 추출하여 출력한다. 그리고 DMB나 DVB-H 방식인 경우 상기 프로토콜처리부120은 TS(Transport Stream)을 분석하여 오디오 및 비디오 데이터를 역다중화한다. 복호부130은 오디오 및 비디오 복호기를 구비한다. The
여기서 상기 오디오 복호기는 주 서비스채널의 부호화된 오디오 데이터를 복호하여 출력한다. 그리고 상기 비디오 복호기는 적어도 두 개의 서비스채널들의 비디오 데이터를 각각 복호하여 출력한다. 이때 상기 다중화면처리부140은 상기 복호된 비디오 데이터들을 혼합하여 상기 표시부150에 다중화면으로 표시되도록 다중화하여 출력한다. 상기 각각 복호된 비디오 및 오디오 데이터는 표시부150 및 스피커 155에 인가되어 재생된다. The audio decoder decodes and outputs encoded audio data of a main service channel. The video decoder decodes and outputs video data of at least two service channels, respectively. In this case, the
본 발명의 실시예에서, 사용자가 주 및 부 서비스채널을 선택하여 다중화면 표시 기능을 설정하면, 상기 제어부100은 상기 방송수신부110에 상기 선택된 주 및 부 서비스채널의 방송신호를 수신하기 위한 물리채널 주파수를 설정하는 동시에 상기 주 및 부 서비스채널의 식별자 PID를 설정한다. 그러면 상기 방송수신부110은 상기 설정된 물리채널 주파수의 방송신호를 수신하며, 또한 상기 설정된 물리채널 주파수의 방송신호들 중에서 설정된 주 및 부 서비스채널의 방송신호를 수신한다. 그러면 상기 프로토콜처리부120은 상기 수신되는 주 및 부 서비스채널의 방송데이터들의 프로토콜을 처리하고, 복호부130은 상기 프로토콜 처리된 상기 주 및 부 서비스채널의 방송데이터들을 복호하며, 다중화면처리부140은 상기 복호된 주 및 부 서비스채널의 방송데이터를 다중화면 처리하여 표시부150에 표시한다. In an embodiment of the present invention, when a user selects a primary and secondary service channel to set a multi-screen display function, the
본 발명의 실시예에서는 상기 부 서비스채널의 방송 데이터를 다중화면으로 표시할 때 설정된 비디오 프레임 데이터들만 표시한다. 즉, 예를들면 상기 비디오 프레임 레이트(frame rate)가 30 프레임인 경우, 상기 디지털 방송수신기는 1초에 30 프레임의 비디오 데이터 프레임을 수신하여 복호 처리한 후, 이를 표시부150에 표시한다. 이때 본 발명의 실시예에서는 상기 부 서비스채널의 방송 데이터를 다중화면으로 표시할 때 모든 프레임의 비디오 데이터를 처리하지 않고 이들 중 일부 프레임의 비디오 데이터들을 처리한다. 예를들면 1초에 하나의 비디오 데이터 프레임, 또는 매 10번째(또는 5번째) 비디오 데이터 프레임, 또는 홀수번째(또는 짝수번째) 비디오 데이터 프레임을 선택하여 표시할 수 있다. 따라서 본 발명의 실시예 에 따른 다중화면 표시 방법은 주 서비스채널의 방송데이터 표시는 모든 비디오 데이터 프레임들을 처리하여 표시하고, 부 서비스채널의 방송 데이터 표시는 일부 비디오 데이터 프레임들을 선택하여 표시한다. In the exemplary embodiment of the present invention, only video frame data set when displaying the broadcast data of the sub service channel on a multi screen is displayed. That is, for example, when the video frame rate is 30 frames, the digital broadcast receiver receives and decodes 30 frames of video data frames per second, and then displays them on the
이때 상기 서비스채널의 부호화된 비디오 데이터 프레임은 I 프레임(Infra frame), P 프레임(Previous or Predicted frame) 및 B 프레임(Bidirectional frame) 등으로 구성될 수 있다. 여기서 상기 I 프레임은 키 프레임으로써, JPEG와 같은 방식으로 소스로부터 직접 압축 부호화된 전체 비디오 데이터를 포함하는 비디오 데이터 프레임을 의미한다. 상기 P 프레임은 이전의 키 프레임(여기서는 상기 I 프레임)의 정보를 바탕으로 구성된 비디오 데이터 프레임을 의미한다. 상기 B 프레임은 전, 후의 I 또는 P 프레임의 정보를 바탕으로 구성된 비디오 데이터 프레임을 의미한다. 이런 경우, 상기 I 프레임은 복호시 해당 비디오 프레임 자체로 복호가 가능하며, P 프레임은 이전의 I 프레임을 이용하여 복호할 수 있고, B 프레임은 이전의 I 또는 P 프레임과 이후의 I 또는 P 프레임을 이용하여 복호할 수 있다. 따라서 상기 부호화된 비디오 데이터 프레임의 용량은 I>P>B 프레임의 순서를 가지며, 화질도 I>P>B 프레임의 순서를 가진다. 그리고 상기와 같은 I, P 및 B 프레임의 비디오 데이터들은 적절한 형태로 인터레이싱되어 전송된다. 예를들면 I B B P B B P B B P B B I B B P --- 식으로 I 프레임 사이에 P 프레임 들이 삽입되고, 상기 I/P 프레임들 사이에 B 프레임들이 삽입되는 방식으로 인터레이싱될 수 있다. 따라서 상기 다중화면 표시시 상기 부 서비스채널의 I 프레임 또는 상기 I 및 P 프레임의 비디오 프레임 데이터들을 선택하여 다중화면으로 표시할 수도 있다.In this case, the encoded video data frame of the service channel may include an I frame (Infra frame), a P frame (Previous or Predicted frame) and a B frame (Bidirectional frame). Here, the I frame is a key frame and means a video data frame including all video data compressed and coded directly from a source in the same manner as JPEG. The P frame means a video data frame configured based on information of a previous key frame (here, the I frame). The B frame refers to a video data frame configured based on information of an I or P frame before and after. In this case, the I frame can be decoded by the corresponding video frame itself when decoding, the P frame can be decoded using the previous I frame, and the B frame is the previous I or P frame and the subsequent I or P frame. Can be decoded. Therefore, the capacity of the encoded video data frame has the order of I> P> B frame, and the picture quality has the order of I> P> B frame. The video data of the I, P, and B frames as described above are interlaced and transmitted in an appropriate form. For example, P frames may be interposed between I frames in a manner of I B B P B B P B B P B B I B B P --- and interleaved in such a manner that B frames are inserted between I / P frames. Therefore, when displaying the multi-screen, I frame of the sub service channel or video frame data of the I and P frames may be selected and displayed on the multi-screen.
이하 본 발명의 실시예에서는 수신되는 비디오 프레임 데이터가 I, P 및 B 프레임 데이터들로 이루어지며, 다중화면 표시시 부 서비스채널의 표시 데이터는 I 프레임 비디오 데이터(또는 P 프레임 비디오 데이터를 포함할 수 있음)인 경우를 가정하여 설명하기로 한다.In the following embodiment of the present invention, the received video frame data is composed of I, P, and B frame data, and the display data of the sub service channel in the multi-screen display may include I frame video data (or P frame video data). Will be explained.
이하의 설명에서는 상기 부 서비스채널의 비디오 데이터는 I 프레임 비디오 데이터인 경우를 가정하여 설명하기로 한다. 그러나 상기한 바와 같이 I 및 P 프레임, 또는 특정 위치의 비디오 프레임(매 짝수번째, 매 홀수번째, 매 5번째, 매 10번째 등)들이 될 수도 있다.In the following description, it is assumed that video data of the sub service channel is I frame video data. However, as described above, it may be I and P frames or video frames of specific positions (every even, every odd, every fifth, every tenth, etc.).
이때 상기 프로토콜처리부120 및(또는) 복호부130은 상기 부 서비스채널의 방송데이터를 처리할 때 특정 프레임의 비디오 데이터들을 선택하여 처리한다. 즉, 상기 프로토콜처리부120은 상기 수신되는 비디오 데이터가 I, P 또는 B 프레임 데이터임을 구별할 수 있는 경우, 상기 복호부130은 부 서비스채널의 비디오 프레임 데이터를 복호할 때 상기 프로토콜처리부120에서 전달되는 I 프레임비디오 데이터만을 복호할 수 있다. 그러나 상기 프로토콜처리부120에서 상기 I, P 또는 B 프레임 데이터를 구별할 수 없는 경우, 상기 복호부130은 수신되는 비디오 프레임 데이터를 분석하여 I 프레임 데이터만을 복호한다. 따라서 상기 복호부130의 비디오 복호기는 주 서비스채널의 모든 비디오 프레임 데이터들 및 부 서비스채널의 I 프레임 비디오 데이터만을 복호하여 출력하며, 다중화면 처리부140은 상기 복호부130에서 복호되는 주 및 부 서비스채널의 비디오 데이터들을 다중화면으로 처리하여 상기 표시부150에 표시한다. In this case, the
상기 디지털 방송수신기는 방송 방식에 따라 다른 형태로 구성될 수 있다. 상기 디지털 방송수신기는 DMB 및 DVB 방식이 있으며, DVB 방식은 DVB-T 및 DVB_H 방식이 있다. 상기 DMB 및 DVB 방식의 디지털 방송수신기에서는 수신되는 방송데이터는 MPEG2-TS 구조를 가지며, 상기 MPEG2-TS 구조의 방송데이터는 패킷 스트림으로써, 각 패킷들은 패킷헤더와 페이로드로 구성된다. 그리고 상기 패킷 헤더는 서비스채널을 구별하기 위한 식별자인 PID 정보를 포함하고 있다. 따라서 상기 디지털 방송수신기는 상기 PID 정보를 이용하여 원하는 서비스채널을 선택할 수 있다. 이때 상기 DMB 및 DVB-T 방식의 디지털 방송수신기에서 MPEG2-TS 구조를 가지는 각 패킷의 페이로드는 방송 데이터들이 채워지며, 상기 DVB_H 방식의 디지털 방송수신기에서 MPEG2-TS 구조를 가지는 각 패킷들의 페이로드는 IP 정보 및 방송 데이터들로 채워진다. 따라서 상기 DVB_T 및 DMB 방식인 경우, 상기 방송데이터복조기는 서비스채널 데이터를 복조하여 MPEG-2 TS로 발생하는 복조기로 구성될 수 있으며, 이런 경우 상기 프로토콜처리부120은 상기 MPEG2-TS 스트림에서 서비스채널의 오디오, 및 비디오, 방송정보 데이터를 역다중화하는 역다중화기가 될 수 있고, 복호부130은 이를 각각 복호하는 비디오, 오디오 및 방송정보 디코더 등으로 구성할 수 있다. 그리고 상기 DVB-H 방식인 경우, 상기 방송데이터복조기는 수신된 서비스채널의 데이터를 복조하는 복조기 및 복조된 방송 데이터들 중에서 사용자에 의해 선택된 서비스채널의 데이터를 선택하는 PID필터, 그리고 상기 제어부100의 제어하여 상기 복조기 및 튜너의 동작을 제어하는 복조제어기들로 구성될 수 있으며, 프로토콜처리부120은 상기 복조제어기에서 출력되는 IP 데이터그램의 프로토콜을 처 리하여 오디오, 및 비디오 및 방송정보 데이터로 출력하며, 복호부130은 이를 각각 복호하는 비디오, 및 오디오 및 방송정보 디코더 등으로 구성할 수 있다. The digital broadcast receiver may be configured in other forms according to the broadcast method. The digital broadcast receiver has a DMB and DVB scheme, and the DVB scheme includes a DVB-T and DVB_H scheme. In the DMB and DVB digital broadcast receivers, the received broadcast data has an MPEG2-TS structure, and the broadcast data of the MPEG2-TS structure is a packet stream, and each packet includes a packet header and a payload. The packet header includes PID information that is an identifier for identifying a service channel. Accordingly, the digital broadcast receiver can select a desired service channel using the PID information. In this case, the payload of each packet having an MPEG2-TS structure in the DMB and DVB-T digital broadcast receivers is filled with broadcast data, and the payload of each packet having an MPEG2-TS structure in the DVB_H digital broadcast receiver. Is filled with IP information and broadcast data. Accordingly, in the DVB_T and DMB schemes, the broadcast data demodulator may be configured as a demodulator for demodulating the service channel data and generating the MPEG-2 TS. It may be a demultiplexer for demultiplexing audio, video, and broadcast information data, and the
여기서 상기한 바와 같이 상기 복호부130은 비디오, 오디오 및 방송정보 복호기들로 구성될 수 있다. 그러나 본 발명의 실시예에서 상기 방송정보 복호기는 제어부100에서 구비되는 것으로 가정하며, 이런 경우 상기 방송정보 복호기는 소프트웨어적으로 구현될 수 있다. 그리고 상기 방송정보는 방송 프로그램 정보, 방송에 관련된 다양한 이미지 정보들을 포함할 수 있으며, 또한 시청자들이 방송에 참여할 수 있는 인터렉티브 정보(interactive information) 등이 될 수 있다. 예를들면 상기 DMB 방식의 방송정보는 EPG(Electronic Program Guide)를 포함할 수 있으며, DVB-H 방식의 방송정보는 ESG(Electronic Service Guide)를 포함할 수 있다. As described above, the
이하 설명되는 본 발명의 실시예의 설명에서 상기 디지털 방송수신기는 DVB-H 방식을 사용한다고 가정한다. In the following description of the embodiment of the present invention, it is assumed that the digital broadcast receiver uses the DVB-H method.
도 2는 상기 DVB-H 방식의 디지털 방송수신기의 방송수신부110의 구성을 도시하는 도면이며, 도 3은 상기 DVB-H 방식의 디지털 방송수신기의 프로토콜처리부120의 구성을 도시하는 도면이고, 도 4a - 도 4f는 상기 DVB-H 방식의 디지털 방송수신기가 수신하는 IP 기반의 서비스채널 데이터 구조를 도시하는 도면이며, 도 5a - 도 5d는 본 발명의 실시예에 따라 적어도 두 개의 서비스채널들의 데이터를 다중화면으로 처리하는 절차를 설명하기 위한 도면이다.FIG. 2 is a diagram showing the configuration of the
먼저 상기 도 4a - 도 4f의 DVB_H 데이터 매핑 구성을 살펴보면, 상기 DVB_H 데이터는 MPEG2-TS 구조를 가진다. 도 4a는 각 TS 패킷은 188바이트를 크기를 가지 며, 4바트의 패킷헤더 및 184 바이트의 페이로드(payload)로 구성될 수 있다. 여기서 패킷 헤더는 패킷 동기(sync) 및 PID 정보들을 가진다. 여기서 상기 PID는 서비스 채널들을 식별하기 위한 정보 및 페이로드를 식별하기 위한 정보로 사용될 수 있다. 도 4b는 상기 도 4a의 페이로드에 실릴 수 있는 MPE 섹션의 구성으로써, 상기 MPE 섹션은 테이블식별자 (table_ID), 상기 수신된 데이터를 에러보정을 위한 정보(MPE-FEC) 및 수신 데이터를 타임 슬라이싱 하기 위한 정보들로 구성될 수 있다. 도 4c는 IP 데이터 그램의 구성으로써, IP V6를 사용하는 예를 도시하고 있다. 상기 IP 데이터그램은 IP 버전(IP V6 또는 IP V4 등) 및 발신측 IP 정보(source IP information), 착신측 IP정보(destination IP information) 등을 포함한다. 도 4d는 UDP로써, 발신 및 착신측의 포트 정보(Scr Prt, Dst Prt) 등을 포함한다. 도 4e는 FLUTE/ARC의 구성으로써, ESG(Electronic Service Guide) 및 파일(files) 등을 포함한다. 도 4f는 RTP 구성으로써, 오디오 및 비디오 데이터들이 포함된다. First, referring to the DVB_H data mapping configuration of FIGS. 4A to 4F, the DVB_H data has an MPEG2-TS structure. In FIG. 4A, each TS packet has a size of 188 bytes, and may include a packet header of 4 baht and a payload of 184 bytes. Here, the packet header has packet sync and PID information. The PID may be used as information for identifying service channels and information for identifying a payload. FIG. 4B is a configuration of an MPE section that can be carried in the payload of FIG. 4A, wherein the MPE section includes a table identifier (table_ID), information for error correction of the received data (MPE-FEC), and time slicing of received data. It may be composed of information for. 4C shows an example of using IP V6 as the configuration of the IP datagram. The IP datagram includes an IP version (such as IP V6 or IP V4), source IP information, destination IP information, and the like. 4D is UDP and includes port information (Scr Prt, Dst Prt) of the calling and called party. 4E is a configuration of FLUTE / ARC and includes an Electronic Service Guide (ESG), files, and the like. 4F is an RTP configuration, in which audio and video data are included.
두 번째로 상기 도 5a - 도 5d의 타임 슬라이싱 및 비디오 데이터의 복호 절차를 살펴보면, DVB-H는 상기한 바와 같이 하나의 물리채널에 다수의 서비스채널들이 전송되며, 각 서비스채널들은 도 5a에 도시된 바와 같이 시간 정렬 및 다중화되어 전송된다. 상기 도 5a는 하나의 물리채널에 10개의 서비스채널들(ch1-ch10)이 전송되며, ch3이 주 서비스채널로 선택되고 Ch8이 부 서비스채널로 선택된 경우를 가정하고 있다. 그리고 상기 ch1-ch10의 구간은 Δt라 칭하며, ch3 및 ch8 서비스채널에서 버스트 온되고, 나머지 서비스채널 버스트들은 오프 타임이 된다. 따라서 DVB-H는 도 5b와 같이 타임 슬라이싱 기법을 이용하여 선택된 서비스채널에서만 방 송수신부110이 동작할 수 있도록 전원을 공급한다. 그리고 상기 도 5b와 같이 수신되는 ch3 및 ch8의 버스트 데이터는 도 5c 및 도 5d와 같이 Δt 구간에서 동시에 복호된다. 여기서 상기 도 5c는 버스트 수신과 동시에 해당 버스트의 복호 동작을 수행하는 예를 도시하고 있으며, 도 5d는 버스트 데이터를 수신한 후 Δt 구간 동안 버퍼링하며, 상기 버퍼링된 버스트들을 Δt 구간 동안 동시에 복호하는 예를 도시하고 있다. 따라서 본 발명의 실시예에 따른 디지털 방송수신기는 Δt 구간에서 주 및 부 서비스채널의 데이터들을 동시에 복호하며, 상기 복호된 데이터들을 상기 표시부150에 다중화면으로 표시하게 된다.Secondly, referring to the time slicing and decoding process of video data of FIGS. 5A to 5D, as described above, in DVB-H, a plurality of service channels are transmitted on one physical channel, and each service channel is illustrated in FIG. 5A. As shown, time alignment, multiplexing, and transmission are performed. FIG. 5A assumes that 10 service channels ch1 to ch10 are transmitted to one physical channel, ch3 is selected as a primary service channel, and Ch8 is selected as a secondary service channel. The period of ch1-ch10 is called Δt, and is burst on ch3 and ch8 service channels, and the remaining service channel bursts are off time. Accordingly, the DVB-H supplies power so that the
상기 도 2를 참조하면, 각 물리채널의 방송수신110은 튜너200 및 방송데이터복조기로 구성되고, 상기 방송데이터복조기는 A/D변환기(Analog to Digital converter)210, 복조기220, PID필터230 및 복조제어기240 등으로 구성된다. 튜너200은 사용자가 선택한 서비스채널이 전송되는 물리채널 주파수로 세트되며, 상기 세트된 물리채널의 서비스채널들의 신호를 수신한다. 상기 튜너200은 물리채널을 설정하기 위한 주파수를 발생하는 PLL과, 수신되는 방송신호와 상기 PLL에서 발생되는 물리채널 주파수를 혼합하여 설정된 물리채널의 방송신호를 출력하는 혼합기와, 설정된 물리채널 주파수 대역의 신호를 여파 출력하는 대역 여파기 등을 포함할 수 있다. Referring to FIG. 2, the
복조제어기240은 상기 제어부100에 출력되는 채널 제어데이터에 의해 상기 튜너200을 제어하여 선택된 서비스채널의 물리채널 주파수를 세트하고, 상기 PID필터230에 선택된 주 및 부 서비스채널들의 PID를 세트하는 기능을 수행한다. 이때 상기 제어부100은 상기 방송수신부110에서 출력되는 PSI/SI 정보 및 프로토콜처리부120에서 출력되는 ESG(Electronin Service Guide)에 포함된 SDP 정보들을 분석하여 사용자가 선택한 서비스채널들의 PID, IP 및 포트 정보를 확인한다. 즉, 상기 제어부100은 상기 PID필터230에서 필터링되는 PID가 NIT(Network Information Table), SDT(Service Description Table), EIT(Event Information Table)이면, 상기 테이블(PSI/SI)로부터 물리채널 및 서비스채널들의 PID들을 확인할 수 있다. 또한 상기 제어부100은 상기 프로토콜처리부120에서 상기 도 4e와 같은 구조를 가지는 ESG 데이터에서 SDP를 추출 및 분석하여 각 서비스채널들 및 각 서비스채널들의 오디오 및 비디오 데이터들을 식별하기 위한 PID, IP 및 포트 정보들을 확인할 수 있다. 따라서 상기 제어부100은 상기 PSI/SI 및(또는) SDP 데이터들을 분석하여 각 서비스채널들 및 각 서비스채널의 오디오 및 비디오 데이터들을 구분하기 위한 PID, IP 및 포트 정보들을 결정하게 된다. 그리고 사용자가 서비스채널들을 선택하면, 상기 제어부100은 상기 복조제어기240에 선택된 서비스채널 데이터를 전송하는 물리채널 및 서비스채널의 PID를 필터링하기 위한 채널 데이터를 출력한다. 이때 사용자가 다중화면 표시를 위한 적어도 두 개의 서비스채널들을 선택하면, 상기 제어부100은 상기 서비스채널들의 PID를 포함하는 채널 제어데이터를 상기 복조제어기240에 출력한다. 이때 상기 적어도 두 개의 서비스채널들은 주 서비스채널 및 적어도 하나의 부 서비스채널이 될 수 있다. 본 발명의 실시예에서는 주 서비스채널과 하나의 부 서비스채널의 데이터들을 다중화면으로 표시하는 경우를 가정하여 설명하기로 한다. 이하의 설명에서는 주 서비스채널과 하나의 부 서비스채널이 선택 되어 다중화면으로 표시되는 예를 살펴본다.The
그러면 상기 복조제어기240은 상기 튜너200에 선택된 서비스채널을 수신하는 물리채널 주파수를 세트하고, 상기 PID필터230에 주 및 부 선택 서비스채널의 PID를 세트한다. 그러면 상기 튜너200은 수신되는 방송신호에서 상기 세트된 물리채널 주파수의 방송 신호를 수신한다. 그리고 상기 튜너200의 출력을 수신하는 A/D변환기210은 상기 튜너200의 출력신호를 디지털 데이터로 변환하며, 복조기220은 변조된 방송신호를 원래의 데이터로 복조한다. 여기서 상기 복조기220은 OFDM 또는 COFDM 복조기로 구성할 수 있다. 이때 상기 복조기220에서 복조된 데이터는 상기 도 4a와 같은 MPEG2-TS의 TS 패킷 스트림(stream)이 될 수 있으며, 상기 TS 패킷은 서비스채널의 구분하기 위한 식별자인 PID 정보를 포함하고 있다. 그리고 PID필터230은 상기 복조된 IP 데이터그램에서 상기 주 및 부 서비스채널의 PID를 가지는 도 4와 같은 데이터를 필터링하며, PSI/SI 정보는 상기 제어부100에 전달한다. 또한 상기 PID필터230에서 출력되는 도 4b와 같은 데이터는 MPE-FEC(MultiProtocol Encapsulation - Forward Error Correction) 및 타임 슬라이싱 정보를 포함할 수 있다. 그러면 상기 복조제어기240은 상기 도 4b와 같은 정보를 포함하는 데이터이면, 수신되는 버스트 데이터를 타임 슬라이싱(time slicing) 제어한다. 즉, 상기 복조제어기240은 도 4b의 타임 슬라이싱 정보를 이용하여 상기 튜너110 및 복조기220의 전원 공급을 제어한다. 이때 상기 타임 슬라이싱 정보는 상기 주 및 부 서비스채널의 버스트 온 시간(burst on time) 정보를 포함하고 있으며, 상기 복조제어기240은 상기 타임 슬라이싱 정보를 이용하여 상기 주 및 부 서비스 채널의 버스트 데이터 구간에서 상기 튜너200 및 복조기220에 전원을 공급하고, 그 이외의 구간에서는 전원 공급을 중단한다. 또한 상기 복조제어기240은 상기 도 4b와 같은 MPE 섹션 정보를 이용하여 상기 PID필터230에서 출력되는 주 및 부 서비스채널의 데이터를 MPE-FEC 기능을 수행한다. The
상기한 바와 같이 상기 복조제어기240은 상기 제어부100에 출력되는 채널 제어데이터에 의해 상기 튜너200을 제어하여 선택된 서비스채널의 물리채널 주파수를 세트하고, 상기 PID필터230에 주 및 부 서비스채널들의 PID를 세트하는 기능을 수행한다. 그리고 수신되는 도 4b와 같은 MPE 섹션 정보에 의해 디지털 방송수신기의 소비전력을 줄이기 위해 타임슬라이싱(time slicing)의 동작을 제어하며, 수신시 발생하는 에러를 보정하여 수신율을 향상시키기 위한 MPE-FEC 기능을 수행한다. 이때 상기 복조제어기240에서 출력되는 데이터는 도 4c와 같은 구조를 가지는 IP 데이터 그램이 될 수 있다.As described above, the
따라서 상기 방송수신부 100의 구성에서 상기 튜너200은 설정된 서비스채널의 물리채널의 방송신호들을 선택하며, 복조기220은 상기 튜너200의 출력을 디지털 데이터로 변환한 후, 복조(OFDM 또는 COFDM)한다. 이때 상기 복조된 데이터는 상기 도 4a와 같은 MPEG2 TS 구조이며, 상기 해당 물리채널의 서비스채널들을 구분하기 위한 PID 정보를 포함한다. 상기 PID필터230은 상기 복조된 데이터의 PID를 분석하여 상기 PSI/SI PID 및 주 및 부 서비스채널의 PID를 가지는 복조 데이터를 선택 출력(filtering)한다. 이때 상기 PSI/SI등의 PID 목록에 관련된 정보의 PID를 가지는 데이터들은 상기 제어부100에 전달되며, 상기 주 및 부 서비스채널의 데이터들 과 ESG를 포함하는 방송정보 데이터들은 상기 복조제어기240에 전달된다. 그러면 상기 복조제어기240은 도 4b와 같은 구조를 가지는 MPE 섹션 데이터를 분석하여 타임 슬라이싱을 제어하는 동시에 상기 PID 필터링된 서비스채널들의 데이터의 에러 보정을 수행한다.Accordingly, in the configuration of the
상기 도 3은 DVB_H 방식의 디지털 방송수신기의 프로토콜처리부120의 구성의 예를 도시하고 있다.3 shows an example of the configuration of the
상기 도 3을 참조하면, 프로토콜처리부120은 상기 수신되는 선택 서비스채널 데이터의 IP 및 프로토콜 정보들을 처리한 후, 비디오, 오디오 및 방송정보 데이터를 추출한다. 비디오 복호기500은 상기 프로토콜처리부410에서 출력되는 비디오 데이터를 복호하여 표시부150에 출력한다. 오디오복호기590은 상기 프로토콜처리부410에서 출력되는 오디오 데이터를 복호하여 스피커155에 출력한다. 그리고 상기 방송정보 데이터는 제어부100으로 전달되어 복호된다.Referring to FIG. 3, the
상기 프로토콜처리부120은 IP추출부310, UDP추출부320, FLUTE전달부330 및 RTP전달부340 등으로 구성될 수 있다. The
상기 프로토콜처리부120의 구성을 살펴보면, 상기 IP추출부(IP decapsule module)310에 입력되는 선택 서비스채널의 데이터는 상기 도 4c에 도시된 바와 같이 송신측 및 수신측의 IP 정보(source IP address, desination IP address)를 포함하고 있는 IP 데이터 그램이다. 상기 IP추출부310은 상기 IP 데이터그램을 디캡슐하여 IP 정보를 추출한다. 또한 상기 UDP추출부(UDP decapsule module)413은 도 4d에 도시된 바와 같이 포트 어드레스(source port address & destination port address; Scr Prt & Dst Prt)를 포함하는 UDP 정보를 수신한다. 상기 UDP추출부320은 상기 포트 정보를 추출한다. 이후 상기 UDP가 제거된 프로토콜데이터가 도 4e와 같은 FLUTE/ALC 프로토콜 데이터이면 상기 수신되는 데이터를 FLUTE전달부(file transport(FLUTE)module)330에 전달하며, RTP 프로토콜이면 RTP전달부(A/V transport(RTP/TRCP) module)340에 전달한다. 이때 상기 FLUTE/ALC 프로토콜인 경우, 상기 데이터는 ESG 또는 파일등으로 구성되는 데이터(XML, SDP, HTML, JPG, POL 등)가 될 수 있으며, 상기 ESG 및 파일 데이터들은 제어부100에 전달되어 복호된다. 또한 RTP 프로토콜인 경우, 상기 데이터는 오디오 및 비디오 데이터가 될 수 있다. 이때 상기 RTP전달부340은 상기 비디오 데이터를 구성하는 프레임들에서 I, P 및 B 프레임 데이터들을 분류할 수 있다. 상기 RTP 프로토콜 처리한 비디오 및 오디오 데이터들은 각각 대응되는 비디오복호기500 및 오디오복호기590에 전달되어 복호된다.Referring to the configuration of the
이때 상기 제어부100은 상기 프로토콜처리부120에서 처리되는 프로토콜들을 처리하여 한다. 즉, 상기 제어부100은 ESG엔진(XML engine 및 ESG 디코더), SDP 파서(parser), PSI/SI디코더 등을 구비할 수 있으며, 상기 프로토콜 정보의 제어기(controller) 및 관리기(manager)들을 구비하여 상기 프로토콜의 처리 제어 및 관리 기능을 수행할 수 있다. 그리고 상기 제어부100은 상기 프로토콜처리부120에서 추출 및 전달되는 각 프로토콜 정보 및 데이터들을 처리한다. 즉, 상기 제어부100은 상기 방송수신부110에서 추출되는 PSI/SI정보(NIT, SDT, EIT)를 분석하여 MPEG-2 및 DVB-SI 표준에 따른 PSI/SI를 확인할 수 있으며, 상기 프로토콜처리부 120에서 전달되는 ESG 데이터의 SDP(방송에 관한 메인 데이터 셋(main data set))를 파싱하여 디지털 방송수신기의 전반적인 동작을 제어한다. 이때 상기 서비스채널, 각 서비스채널의 ESG, 오디오 및 비디오 데이터들은 PID, IP 정보, 포트 정보들에 의해 확인된다. 즉, 상기 PSI/SI 및 SDP에는 상기 서비스채널의 식별자, 각 서비스채널의 오디오, 비디오 및 ESG 식별자 정보들을 정의하는 테이블들을 구비한다. 따라서 상기 제어부100은 상기 PSI/SI 디코딩 결과 및 SDT를 참조하여 서비스채널 및(또는), 오디오데이터 및(또는) 비디오데이터 및(또는) ESG 데이터들을 구분할 수 있다. 여기서 상기 제어부100은 프로토콜처리부120을 포함할 수 있다.In this case, the
또한 상기 제어부100은 상기 방송수신부110 및 프로토콜처리부120의 경로(path)를 제어한다. 상기 도 4a - 도 4f에 도시된 MPEG-TS 스트림 및 IP 데이터 그램의 대부분은 오디오 및 비디오 데이터로 이루어진다. 즉, 하나의 버스트 데이터가 수신되면, 버스트 데이터를 구성하는 대부분의 데이터가 비디오 및 오디오 데이터들이다. 따라서 상기 제어부100은 수신되는 서비스채널의 데이터를 분석한 후, 그 결과에 따라 해당하는 구성부를 구동하고 나머지 구성부들은 경로를 연결하도록 제어하는 경로 제어부 기능을 수행한다. 즉, 상기 수신 데이터가 도 4b와 같은 MPE섹션이면, 상기 제어부100은 상기 복조제어기240을 구동하여 버스트 정보를 수신하고, 상기 복조제어기240은 상기 MPE 섹션 데이터를 분석하여 타임슬라이싱 및 MPE-FEC 기능을 수행하도록 한다. 그리고 상기 수신 데이터가 IP V6이면 상기 제어부100은 IP추출부310을 구동하여 추출되는 IP 목록을 처리한다. 또한 상기 수신 데이터가 UDP이면 상기 제어부100은 UDP추출부320을 구동하여 추출되는 포트 목록을 처 리한다. 그리고 상기 수신 데이터가 FLUTE/ALC이면 상기 제어부100은 FLUTE전달부330을 구동하여 이후 수신되는 ESG 및(또는) 파일들을 처리한다. 그리고 수신 데이터가 RTP이면 상기 제어부100은 상기 RTP전달부340을 구동하여 RTP를 처리한 후 비디오 및 오디오 데이터를 각각 비디오복호기500 및 오디오복호기590에 전달한다. 따라서 상기 제어부100은 수신되는 데이터를 분석하여 해당하는 구성부를 인에이블시키고 나머지 구성부들은 단지 경로만 제공하도록 제어한다. 이때 상기 경로를 제공하는 구성부들은 수신되는 데이터를 바이패스시키는 기능을 수행하며, 따라서 수신되는 데이터를 신속하게 처리할 수 있도록 한다.In addition, the
상기 도 2의 복조제어기 및 도 3에 도시된 프로토콜처리부120은 직렬 연결의 구조로 도시되었지만 병렬 형태로 구성할 수 있다. 즉, 상기 각 구성부240, 310, 320, 330, 340 및 350을 병렬 구조로 연결하고, 상기 수신되는 데이터에 해당하는 구성부만 구동시키는 구조로 구현할 수 있다. 또한 상기 각 구성부들은 소프트웨어로 구현할 수 있다. 이런 경우 상기 제어부100은 해당하는 기능을 수행하는 타스크를 필요에 따라 구동하므로써, 상기 수신되는 데이터를 신속하게 처리할 수 있다. Although the demodulation controller of FIG. 2 and the
상기 프로토콜처리부120에서 비디오 데이터 및 오디오 데이터를 출력하면, 상기 비디오복호기500은 상기 비디오 데이터를 복호하여 표시부150에 표시하고, 상기 오디오복호기590은 상기 오디오 데이터를 복호하여 스피커155에 재생한다. 이때 상기 비디오복호비500은 상기 제어부100에서 다중화면 표시 기능 설정시, 상기 주 및 부 서비스채널의 비디오 데이터 처리를 다르게 복호한다. 즉, 상기 다중화면 표시 기능 설정시, 상기 비디오복호기500은 주 서비스채널의 모든 비디오 프레임 데 이터를 복호제어신호(VDTS 또는 VPTS)에 의해 복호하여 출력한다. 그러나 부 서비스채널의 비디오 프레임 데이터를 처리할 때, 상기 비디오복호기500은 설정된 비디오 프레임 데이터(여기서는 I 프레임 데이터)만을 복호하여 출력한다. 여기서 상기 비디오복호기500은 H.264 또는 MPEG 계열의 복호기를 사용할 수 있으며, 오디오복호기590은 AAC 복호기를 사용할 수 있다. When the
상기와 같은 구성을 가지는 본 발명의 실시예에 따른 디지털 방송수신기는 사용자가 주 및 부 방송서비스채널을 선택하여 다중화면 표시 기능을 설정하면, 하나의 Δt 구간에서 각각 선택된 주 및 부 서비스채널들의 버스트 데이터를 수신하고, 상기 수신된 데이터를 처리하여 표시부150에 다중화면으로 표시한다. 이때 오디오는 상기 주 서비스채널 및 부 서비스채널들 중의 한 서비스채널 오디오 데이터를 재생할 수 있으며, 본 발명의 실시예에서는 주 서비스채널의 오디오 데이터를 재생하는 것으로 가정한다. 상기와 같이 다중화면 표시 기능을 구비하면, 디지털 방송수신기는 상기 표시부150 상에 적어도 두 개의 서비스채널 화면을 표시할 수 있다. 그리고 상기와 같이 다중화면으로 표시되는 상태에서 사용자가 채널 변경을 요구하면(즉, 주 서비스채널 및 부 서비스채널의 기능 변경을 요구하면), 즉시 서비스채널을 변경할 수 있다. 이런 경우, 상기 복호부130의 비디오복호기500은 바뀐 주 서비스채널(이전의 부 서비스채널)의 모든 비디오 프레임 데이터 복호를 수행하며, 바뀐 부 서비스채널(이전의 주서비스채널)의 설정된 비디오 프레임 데이터 복호를 수행한다. 또한 사용자가 상기 부 서비스채널을 주 서비스채널로 변경하고 새로운 부 서비스채널을 설정하면, 디지털 방송수신기는 변경된 주 서비스채널 데이 터를 주 화면으로 재생하고, 새로 설정된 부 서비스채널의 버스트 데이터가 수신될 때 가지 대기하며, 부 서비스채널의 버스트 데이터가 수신되면 다중화면 표시 기능을 다시 수행할 수 있다. The digital broadcast receiver according to the embodiment of the present invention having the configuration as described above, when the user selects the primary and secondary broadcast service channels and sets the multi-screen display function, bursts of the selected primary and secondary service channels in one Δt interval, respectively Data is received and the received data is processed and displayed on the
도 5a - 도 5d는 디지털 방송수신기에서 본 발명의 실시예에 따라 사용자가 선택한 주 및 부 서비스채널의 데이터를 수신하여 처리하는 절차를 설명하기 위한 도면이다.5A through 5D are diagrams for explaining a procedure of receiving and processing data of a primary and secondary service channel selected by a user in a digital broadcast receiver according to an embodiment of the present invention.
상기 DVB_H 방식의 디지털 방송수신기는 방송 데이터가 수신되는 구간에서만 전원을 공급하고, 선택된 서비스채널의 방송데이터가 수신되지 않는 구간에서는 전원 공급을 오프시켜 소비전력을 줄이는 타임 슬라이싱(time slicing) 기법을 사용한다. 도 5a는 타임 슬라이싱 기법을 사용하는 서비스채널 데이터의 수신 예를 도시하는 도면이다. 상기 도 5a는 하나의 물리채널에 10개의 서비스채널(CH1-CH10)을 사용하고 있으며, 현재 사용자가 선택한 주 서비스채널이 CH3이고 부 서비스채널은 CH8인 경우를 도시하고 있다. 이런 경우, 상기 CH3 및 CH8 데이터가 수신되는 구간을 버스트 타임(burst time)이라고 하며, 나머지 구간(CH1-CH2, CH4-CH7, CH9-CH10)은 버스트 오프타임(burst off time)이라고 한다. 그리고 도 5a에 도시된 바와 같이 각 서비스채널들의 데이터는 정해진 순서대로(여기서는 CH1-CH10의 순서) 반복되어 전송된다. 그리고 상기 도 5a에 도시된 바와 같이 특정 서비스채널의 버스트가 수신되는 시점에서 다음 버스트가 수신될 때까지의 시간을 Δt라고 한다. 따라서 상기 Δt 구간에서 각 서비스채널은 하나의 버스트를 수신하게 된다. 여기서 상기 Δt는 버스트 수신주기라 칭한다.The DVB_H digital broadcast receiver uses a time slicing technique to reduce power consumption by supplying power only in a section in which broadcast data is received and in a section in which broadcast data of a selected service channel is not received. do. 5A is a diagram illustrating an example of receiving service channel data using a time slicing technique. FIG. 5A illustrates a case in which 10 service channels (CH1-CH10) are used for one physical channel, and the current user-selected primary service channel is CH3 and the secondary service channel is CH8. In this case, a section in which the CH3 and CH8 data are received is called a burst time, and the remaining sections CH1-CH2, CH4-CH7, and CH9-CH10 are called burst off times. As shown in FIG. 5A, data of each service channel is repeatedly transmitted in a predetermined order (here, CH1-CH10). As shown in FIG. 5A, the time from when a burst of a specific service channel is received until a next burst is called Δt. Accordingly, each service channel receives one burst in the Δt period. Δt is referred to as a burst reception period.
이때 상기 도 5a와 같이 CH3 및 CH8을 각각 주 서비스채널 및 부 서비스채널로 선택한 경우, 상기 복조제어기240은 상기 CH3 및 CH8의 버스트 데이터가 수신되는 시점에서 도 5b와 같이 상기 튜너200 및 복조기220에 전원을 공급한다. 그러면 상기 튜너110은 상기 CH3 및 CH8의 버스트 데이터를 수신하며, 상기 복조기220은 상기 수신되는 버스트 데이터를 복조하여 도 4a와 같은 TS 스트림으로 출력한다. 그리고 상기 PID필터230은 상기 TS 스트램의 패킷헤더를 분석하여 상기 CH3 및 CH8의 서비스채널 데이터들을 필터링 출력하며, 복조제어기240은 상기 CH3 및 CH8의 데이터를 에러 보정한다. 이후 상기 프로토콜처리부130은 상기 도 4c-도 4f와 같이 프로토콜 처리 동작을 수행하면서 오디오 및 비디오 데이터를 추출하여 각각 비디오복호기500 및 오디오복호기590에 복호된다. 이때 상기 오디오복호기590은 상기 주 서비스채널의 오디오 데이터를 복호하여 스피커155를 통해 재생하며, 비디오복호기500은 상기 Δt 구간에서 주 및 부 서비스채널의 버스트 데이터를 복호한다. 이때 상기 비디오복호기500은 도 5c와 같이 버스트 데이터가 수신된 시점에서 다음 버스트 데이터가 수신되는 시점 사이에서 각각 주 및 부 서비스채널의 데이터를 복호할 수 있으며, 도 5d와 같이 현재 Δt 구간에서 수신되는 버스트 데이터를 저장하며, 이전 Δt 구간에서 수신된 버스트 데이터를 복호할 수도 있다.In this case, when CH3 and CH8 are selected as the primary service channel and the secondary service channel as shown in FIG. 5A, the
도 6은 본 발명의 실시예에서 다중화면으로 표시하기 위해 수신되는 주 및 부 서비스채널의 버스트 데이터를 복호하여 출력하는 절차를 설명하기 위한 도면이다. 그리고 도 7a - 도 7g는 상기 비디오복호기900에서 주 서비스채널 및 부 서비 스채널의 데이터들을 복호하는 타이밍을 도시하는 도면이다. 여기서 상기 부 서비스채널의 비디오 데이터는 I 프레임 또는 I 프레임 및 P 프레임만 처리하는 것으로 가정한다.FIG. 6 is a diagram for describing a procedure of decoding and outputting burst data of a primary and a secondary service channel received for display on a multi-screen according to an embodiment of the present invention. 7A to 7G are diagrams illustrating timings of decoding data of a primary service channel and a secondary service channel in the video decoder 900. In this case, it is assumed that video data of the sub service channel processes only I frames or I frames and P frames.
상기 도 7a - 도 7e를 참조하면, 상기 비디오 복호기500은 프레임 주기에서 각 서비스채널들의 비디오 프레임 데이터들을 복호한다. 도 7a와 같은 프레임 주기에서 상기 비디오 복호기는 부 서비스채널의 I 프레임 데이터만 처리하는 경우에는 도 7b 및 도 7c와 같이 시분할되어 입력되는 주 및 부 서비스채널의 비디오 프레임 데이터들을 복호하며, I 및 P 프레임 데이터만 처리하는 경우에는 도 7d 및 도 7e와 같이 시분할되어 있는 주 및 부 서비스채널의 비디오 프레임 데이터를 복호한다. 여기서 상기 도 7b - 도 7e는 비디오디코더500이 수신되는 비디오 데이터를 분석하여 I 프레임 또는 I 및 P 프레임 비디오 데이터를 복호하여 다중화면으로 표시하는 예를 도시하고 있으며, 도 7f - 도 7g는 프로토콜처리부120에서 I, P 및 B 프레임을 분리하여 전달하는 예를 도시하고 있다. 상기 도 7b - 도 7g는 주 서비스채널과 하나의 부 서비스채널의 비디오 데이터를 프레임 주기에서 시분할하여 표시하는 예를 도시하고 있다.7A to 7E, the
먼저 상기 프로토콜처리부130에서 전달되는 비디오 데이터는 각각 주 서비스채널의 입력버퍼520 및 부 서비스채널의 입력버퍼525에 각각 저장된다. 이때 상기 입력버퍼520 및 525에 저장되는 주 및 부 서비스채널의 데이터는 프레임 단위로 저장될 수 있다. 여기서 MBF는 주 서비스채널의 부호화된 비디오 프레임 데이터를 의미하며, SBF는 부 서비스채널의 부호화된 비디오 프레임 데이터를 의미하고, MDBF 는 복호된 주 서비스채널의 프레임 데이터를 의미하며, SDBF는 복호된 부 서비스채널의 프레임 데이터를 의미한다. 그러므로 MBF 및 SBF는 부호화된 데이터이므로, 상기 MDBF 및 SDBF에 비해서 상대적으로 작은 크기를 가진다. 따라서 상기 입력버퍼520 및 525에 저장되는 부호화된 프레임 데이터는 상기 출력버퍼540 및 545에 저장되는 복호된 비디오 프레임 데이터에 비해 상대적으로 작은 크기를 가진다. 여기서 상기 부호화된 비디오 데이터는 I, P 또는 B 프레임 비디오 데이터가 될 수 있다. First, the video data transferred from the
여기서 상기 비디오 데이터의 복호 제어는 비디오 복호제어신호에 의해 이루어진다. 즉, 상기 복호제어신호는 DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp) 등이 있다. 상기 DTS는 상기한 바와 같이 비디오 복호기510에서 비디오 프레임 데이터의 복호하는 시점을 제어하는 신호(복호 개시신호)이며, 상기 PTS는 비디오 복호가 종료되어 출력버퍼에 저장하고 있는 비디오 데이터를 표시부150에 전달하는 시점을 제어하는 신호(표시 제어 신호)이다. 따라서 상기 DTS신호를 사용하는 경우, 상기 비디오 복호기510은 상기 DTS신호에 의해 입력버퍼520 및 525의 부호화된 비디오 프레임 데이터를 복호하며, 상기 복호된 비디오 프레임 데이터는 상기 출력버퍼540 및 545에서 표시부150에 표시된다. 이런 경우 상기 주 서비스채널의 부호화된 비디오 프레임 데이터를 저장하는 입력버퍼520은 다수의 비디오 프레임 데이터들을 저장할 수 있는 크기(최대 버스트 데이터 크기의 비디오 데이터)로 구성하여야 한다. 그리고 상기 부 서비스채널의 부호화된 비디오 프레임 데이터를 저장하는 입력버퍼525는 상기 프로토콜처리부120의 처리 결과에 따라 다른 크기를 가질 수 있다. 즉, 상기 프로토콜처리부120이 상기 비디오 데이터의 I, P 및 B 프레임을 분류하여 전달하지 않는 경우, 상기 입력버퍼525는 상기 도 7b 및 도 7d에 도시된 바와 같이 상기 입력버퍼520과 동일한 크기로 설정할 수 있다. 그러나 상기 프로토콜처리부120이 상기 비디오 데이터를 I, P 및 B 프레임을 분류하여 전달하는 경우, 상기 입력버퍼525는 다중화면으로 표시할 I 프레임 또는 I 및 P 프레임의 비디오 데이터들만 저장할 수 있는 크기로 설정하면 된다.The decoding control of the video data is performed by a video decoding control signal. That is, the decoding control signal includes a decoding time stamp (DTS) and a presentation time stamp (PTS). The DTS is a signal (decoding start signal) for controlling the time point at which video frame data is decoded by the
그리고 상기 출력버퍼540 및 545는 작은 크기의 비디오 데이터(최소 1프레임 크기)로 구성할 수 있다. 즉, 상기 복호기510은 비디오 프레임 크기로 복호된 비디오 데이터를 발생하며, 상기 복호는 1 프레임 구간에서 주 및 부 서비스채널의 비디오 데이터를 복호하거나 또는 주 서비스채널의 비디오 데이터만 복호한다. 이런 경우 상기 출력버퍼540은 매 비디오 프레임 구간에서 복호된 비디오 데이터를 버퍼링하게 되며, 출력버퍼545는 I 프레임 또는 I 및 P 프레임의 비디오 데이터가 복호되는 시점에서 복호된 비디오 데이터를 저장하게 된다. 이때 상기 표시부150은 상기 출력버퍼540 및 545에 저장된 복호된 비디오 데이터를 표시하는데, DTS신호를 사용하는 경우 상기 출력버퍼540 및 545에 저장된 복호된 비디오 프레임 데이터를 즉시 억세스하여 표시한다. 따라서 상기 출력버퍼540 및 545는 1프레임의 비디오 데이터를 저장할 수 있는 크기 이상으로 설정하면 된다.The output buffers 540 and 545 can be composed of small size video data (
또한 상기 PTS를 사용하는 경우, 상기 비디오 복호기510은 상기 입력버퍼520 및 525에 저장되는 부호화된 비디오 프레임 데이터를 복호하여 출력버퍼540 및 545에 출력하며, 출력버퍼540 및 545는 상기 PTS신호에 의해 버퍼링하고 있는 부호화 데이터를 표시부150에 전달한다. 이런 경우 상기 입력버퍼520 및 525는 작은 수의 비디오 프레임 데이터를 저장하는 크기로 구성할 수 있으며, 상기 출력버퍼540 및 545는 상기 PTS 신호에 따라 버퍼의 크기를 구성하여야 한다. 즉, 상기 PTS를 사용하는 경우, 상기 출력버퍼540 및 545는 복호된 비디오 프레임 데이터를 저장하며, 상기 PTS에 의해 상기 복호된 비디오 데이터를 상기 표시부150에 전달하여야 하므로, 상기 출력버퍼540 및 545는 상대적으로 큰 크기를 가지는 버퍼로 설정하여야 한다.In addition, when the PTS is used, the
본 발명의 실시예에서는 상기 DTS신호를 사용하는 경우로 가정하며, 상기 출력버퍼540 및 545는 복호된 비디오 프레임 데이터를 저장하는 크기를 가진다고 가정한다. 그리고 상기 프로토콜처리부120은 상기 주 및 부 서비스채널의 모든 비디오 프레임 데이터를 상기 비디오복호기500에 전달하는 경우를 가정한다.In the embodiment of the present invention, it is assumed that the DTS signal is used, and it is assumed that the output buffers 540 and 545 have a size for storing decoded video frame data. In addition, it is assumed that the
상기 다중화기530의 선택신호 Sel1은 상기 DTS신호에 동기되는 신호로써, 1프레임을 주기로 주 서비스채널 및 부 서비스채널의 비디오 프레임 데이터를 선택하기 위한 신호이다. 이때 상기 선택신호 Sel1은 다중화면의 수가 2개이면 1비트 신호로 구성할 수 있으며, 4개 이하이면 2비트 신호로 구성할 수 있고, 8개 이하이면 3비트 신호로 구성할 수 있다. 그리고 선택신호 Sel1은 상기 프로토콜처리부120이 I, P 및 B 프레임 비디오 데이터를 분류하여 전달하는 경우와 그렇지 않은 경우에 따라 다른 형태로 생성될 수 있다. 즉, 상기 프로토콜전달부120이 I, P 및 B 프레임 비디오 데이터를 분류하여 전달하지 않는 경우, 상기 다중화기530은 주 및 부 서비스채널의 모든 프레임의 비디오데이터들을 다중화하여 복호기510에 전달하여야 한다. 그러나 상기 프로토콜전달부120이 I, P 및 B 프레임 비디오 데이터를 분류하여 전달하는 경우, 상기 다중화기530은 상기 주 서비스채널의 모든 프레임의 비디오 프레임 데이터들을 복호기510에 전달하여야 하며, 부 서비스채널의 I 프레임 또는 I 및 P 프레임의 비디오 데이터들을 복호기510에 전달하여야 한다. 따라서 상기 전자의 경우 상기 선택신호 Sel1은 7b 및 7d와 같이 매 프레임 구간에서 주 및 부 서비스채널의 비디오 데이터를 다중화하기 위한 제어신호로 발생된다. 그리고 상기 후자의 경우 상기 선택신호 Sel1은 7g와 같이 부 서비스채널의 비디오 데이터를 복호하는 프레임(여기서는 I프레임 또는 I 및 P 프레임) 주기에서는 주 및 부 서비스채널의 비디오 데이터를 다중화하기 위한 제어신호 발생되며, 부 서비스채널의 비디오 데이터를 복호하지 않는 프레임(여기서는 B 및 P 프레임 또는 B 프레임) 주기에서는 상기 주 서비스채널의 비디오 데이터를 선택하는 신호로 발생된다. 상기 도 7a - 도 7g는 주 서비스채널과 하나의 부 서비스채널의 비디오 데이터를 다중화면으로 표시하는 경우의 예를 도시하고 있다. 이런 경우 상기 다중화 선택신호 Sel1은 1비트 신호로 생성된다.The selection signal Sel1 of the
먼저 상기 도 7a - 도 7e를 참조하여 본 발명의 실시예에 따른 비디오 데이터의 복호 동작을 살펴보면, 상기 다중화기530은 상기 다중화선택신호 Sel1에 의해 7b 및 7d와 같이 1 프레임 구간의 전반주기 구간에서는 상기 입력버퍼520에 버퍼링된 주 서비스채널의 비디오 데이터를 선택하여 복호기510에 전달하고, 후반주기 구간에서는 상기 입력버퍼525에 버퍼링된 부 서비스채널의 비디오 데이터를 선택하여 복호기510에 전달한다. 이때 역다중화기535의 선택신호 Sel2는 상기 다중화기530의 선택신호 Sel1과 대응되는 신호로써, 상기 다중화기530에서 주 서비스채널 비디오 데이터를 선택하면 상기 복호기510에서 복호된 부 서비스채널의 데이터를 선택하여 출력버퍼545에 전달하고, 상기 다중화기530에서 부 서비스채널 비디오 데이터를 선택하면 상기 복호기510에서 복호된 주 서비스채널의 데이터를 선택하여 출력버퍼540에 전달하도록 상기 역다중화기535를 제어한다.First, referring to FIGS. 7A to 7E, a decoding operation of video data according to an exemplary embodiment of the present invention will be described. The
상기한 바와 같이 상기 다중화기530은 도 7a와 같은 프레임 구간에서 도 7b 및 7d와 같이 주 및 부 서비스채널의 프레임 데이터를 시분할 다중화하여 출력하며, 복호기510은 상기 다중화기530에 각각 시분할되어 수신되는 주 및 부 서비스채널의 비디오 프레임 데이터들을 각각 복호한다. 이때 상기 복호기510은 비디오 데이터의 프레임 종류에 따라 해당 프레임 비디오 데이터를 복호하거나 또는 복호를 생략한다. 즉, 상기 다중화면 표시시, 상기 복호기510은 상기 부 서비스채널의 비디오 데이터들 중에서 설정된 프레임의 비디오 데이터들만 복호하며, 나머지 프레임들의 비디오 데이터들은 복호하지 않는다. 이때 상기 비디오 데이터의 프레임 판별은 제어부100에서 수행할 수 있고, 또한 복호기510에서 수행할 수 있으며, 또한 상기 프토토콜처리부120에서 수행할 수도 있다. 이하의 설명에서는 상기 복호기510이 상기 제어부100의 제어하에 수신되는 부 서비스채널의 I 프레임 (또는 I 및 P 프레임) 비디오 데이터를 선택하여 복호하며, 상기 다중화면은 주 서비스채널과 하나의 부 서비스채널의 비디오데이터로 구성되는 예를 들어 설명하기로 한다.As described above, the
상기 프레임 구간에서 상기 다중화기530의 시분할 동작은 프레임 주기 내에서 상기 주 서비스채널 및 부 서비스채널의 복호시간을 결정한다. 이때 상기 다중 화면을 구현하기 위한 서비스채널들이 주 서비스채널 및 하나의 부 서비스채널인 경우, 상기 다중화기530은 상기 프레임 주기의 전반주기 동안은 상기 입력버퍼520에 저장되어 있는 주 서비스채널의 프레임 데이터를 선택하여 상기 복호기510에 전달하고, 후반주기 동안 상기 입력버퍼525에 저장되어 있는 부 서비스채널의 프레임 데이터를 선택하여 복호기510에 전달한다. 그리고 상기 복호기510은 상기 제어부100의 제어하에 부 서비스채널의 비디오 데이터는 I 프레임 비디오 데이터만을 복호한다. 상기 복호기510은 수신되는 비디오 데이터의 프레임 종류를 알 수 있다. 그리고 상기 복호기510은 상기 확인된 프레임 종류에 따라 수신되는 비디오 데이터를 복호한다. 즉, 상기 복호기510은 상기 수신되는 비디오 데이터의 프레임 종류에 따라 I 프레임인 경우에는 움직임 보상을 하지 않고 수신되는 비디오 데이터를 복호하며, P 프레임 비디오 데이터인 경우에는 이전의 I 프레임 데이터를 이용하여 수신되는 비디오 데이터의 움직임을 보상하며, B 프레임인 경우에는 이전의 I 또는 P 프레임 및 이후의 I 또는 P 프레임의 비디오 데이터를 이용하여 비디오 데이터의 움직임을 보상한다. 이때 상기 복호기510은 주 서비스 채널의 비디오 데이터를 복호하는 경우에는 상기 주 서비스채널의 I, P 및 B 프레임 비디오 데이터들을 모두 복호하며, 부 서비스채널의 비디오 데이터를 복호하는 경우에는 상기 부 서비스채널의 I 프레임 비디오 데이터만을 복호한다. 이때 주 및 부 서비스채널 판단은 상기 다중화기530에 인가되는 상기 다중화 선택된 신호 Sel1을 통해 확인할 수 있으며, 상기 제어부100은 복호기510이 부 서비스채널의 I 프레임의 비디오 데이터만(P 및 B 프레임 제외) 복호하도록 하는 제어신호를 발생할 수 있다. 즉, 상기 제어부 100은 상기 주 서비스채널의 비디오 데이터를 복호하는 구간에서는 상기 복호기510의 복호 동작을 인에이블시키고, 부 서비스채널 비디오 데이터를 복호하는 구간에서는 상기 I 프레임 비디오 데이터가 다중화되는 구간에서만 상기 복호기510의 복호 동작을 인에이블 시키고 다른 부 서비스채널의 비디오 데이터들이 다중화되는 구간에서는 상기 복호기510의 복호 동작을 디스에이블시키는 제어신호를 생성할 수 있다.The time division operation of the
따라서 상기 복호기510은 도 7b에 도시된 바와 각 프레임의 전반주기 구간에서는 상기 주 서비스채널의 프레임 데이터를 복호하고, 후반주기 구간에서는 상기 부 서비스채널의 I 프레임 데이터를 복호한다. 이때 상기 부 서비스채널의 P 및 B 프레임 데이터가 수신되는 구간에서는 상기 복호기510이 디스에이블된 상태이므로 복호된 데이터를 발생하지 못한다. 이런 경우 상기 제어부100은 상기 역다중화기535를 제어하는 역다중화 선택신호 Sel2를 도 7c와 같이 발생하여 상기 복호기510의 출력을 상기 출력버퍼540 및 545에 전달한다. 이때 상기 역다중화 선택신호 Sel2는 상기 도 7c에 도시된 바와 같이 상기 부 서비스채널의 I 프레임 비디오 데이터가 복호되는 프레임 구간에서는 상기 주 및 부 서비스채널의 비디오 데이터가 각각 출력버퍼540 및 545에 출력되도록 하며, 그 이외의 프레임 구간(즉, 부 서비스채널의 P 및 B 프레임 구간)에서는 상기 주 서비스채널의 비디오 데이터가 출력되도록 하는 신호로 생성할 수 있다. Therefore, the
또한 상기 부 서비스채널의 I 및 P 프레임 비디오 데이터를 다중화면으로 표시할 수 있다. 이런 경우 상기 다중화기530은 도 7d와 같이 매 프레임 구간에서 주 및 부 서비스채널의 비디오 데이터들을 다중화하여 복호기510에 전달한다. 그리고 복호기510은 상기와 유사한 방법으로 주 서비스채널의 모든 프레임의 비디오 데이터 및 부 서비스채널의 I 및 P 프레임의 비디오 데이터들을 복호한다. 이후 상기 역다중화기535는 상기 복호기510에서 복호되어 출력되는 주 및 부 서비스채널의 비디오 데이터들을 도 7e와 같이 역다중화하여 상기 출력버퍼540 및 545에 각각 전달한다.In addition, I and P frame video data of the sub service channel may be displayed in a multi-screen. In this case, the
그리고 상기한 바와 같이 상기 프로토콜처리부120이 상기 부 서비스채널의 I, P 및 B 프레임 비디오데이터들을 분류하여 전달하는 경우, 상기 제어부100은 이를 감지하고 도 7f 및 도 7g와 같은 다중화 선택신호 Sel1 및 역다중화 선택신호 Sel2를 발생할 수 있다. 즉, 상기 제어부100은 상기 다중화기530을 제어하여 도 7f와 같이 주 서비스채널의 모든 비디오 데이터들 및 부 서비스채널의 I프레임(또는 I 및 P 프레임) 데이터를 선택하여 다중화하도록 제어하며, 상기 역다중화기535를 제어하여 도 7g와 같이 주 서비스채널의 모든 비디오 데이터들 및 부 서비스채널의 I프레임(또는 I 및 P 프레임) 데이터를 역다중화하여 각각 대응되는 출력버퍼540 및 545에 전달하도록 제어할 수 있다.As described above, when the
이때 상기 부호화된 비디오 프레임 데이터는 디코딩 개시 시간(Decoding Time Stamp: DTS) 또는 표시시간(Presentation Time Stamp: PTS) 등이 결정되어 있다. 즉, 상기 비디오 프레임 데이터는 실시간으로 표시되어야 하는 데이터이므로, 각 프레임 데이터들의 표시되어야 하는 시간들이 각각 결정된다. 따라서 상기 DTS를 사용하는 경우, 상기 입력버퍼520 및 525는 상기 수신되는 주 및 부 서비스채널 의 프레임 데이터들을 누적하여 저장하며, 상기 DTS 시간에서 상기 다중화기530은 상기 입력버퍼520 및 525에 저장하고 있는 해당 비디오 프레임 데이터들을 복호기510에 인가하고, 상기 복호기510은 상기 전달되는 비디오 프레임 데이터들을 복호하며, 역다중화기515는 이들을 각각 출력버퍼540 및 545에 버퍼링한다. 그리고 상기 버퍼링 데이터는 다중화면처리부140에 인가되어 합성된 후 상기 표시부150에 다중화면으로 표시된다. 따라서 상기 DTS에 따라 비디오 데이터를 복호하면, 입력버퍼520 및 525에 저장하고 있는 데이터를 DTS에 의해 결정되는 시간에서 디코딩한 후 즉시 표시하므로써, 상기 출력버퍼540 및 545는 작은 크기를 가지는 버퍼를 이용하여 구현할 수 있다. In this case, a decoding start time (DTS) or a presentation time stamp (PTS) is determined for the encoded video frame data. That is, since the video frame data is data to be displayed in real time, the times to be displayed of the respective frame data are respectively determined. Therefore, when the DTS is used, the input buffers 520 and 525 accumulate and store frame data of the received primary and secondary service channels, and the
또한 상기 PTS를 사용하는 경우, 상기 입력버퍼520 및 525에 상기 수신되는 주 및 부 서비스채널의 프레임 데이터들을 저장하며, 상기 다중화기530은 상기 입력버퍼520 및 525에 저장하고 있는 해당 비디오 프레임 데이터들을 복호기510에 인가하고, 상기 복호기510은 상기 전달되는 비디오 프레임 데이터들을 복호하며, 역다중화기515는 이들을 각각 출력버퍼540 및 545에 버퍼링한다. 이후 상기 PTS 시간에서 상기 출력버퍼540 및 545에 저장하고 있는 해당 비디오 프레임 데이터들을 억세스하여 다중화면처리부140에 인가하며, 상기 다중화면처리부140은 수신되는 주 및 부 서비스채널들의 비디오 데이터를 합성하여 상기 표시부150에 다중화면으로 표시한다. 따라서 상기 PTS 디코딩은 수신되는 비디오 데이터를 즉시 복호한 후 출력버퍼540 및 545에 버퍼링하며, 상기 PTS 시간에서 해당하는 버퍼링 데이터를 출력하여 표시하므로써, 상기 출력버퍼540 및 545는 상대적으로 큰 크기를 가지는 버 퍼를 이용하여 구현할 수 있다In addition, when the PTS is used, frame data of the received primary and secondary service channels are stored in the input buffers 520 and 525, and the
상기 도 6은 비디오복호기500이 주 및 부 서비스채널의 버스트 데이터들을 수신한 후, 각 버스트에 포함된 비디오 데이터를 프레임 단위로 복호하며, 상기 프레임 데이터를 복호할 때 하나의 프레임 구간을 나누고, 상기 나뉘어진 프레임 구간에서 각각 주 및 부 서비스채널의 프레임 데이터를 복호한다. 따라서 하나의 프레임 구간에서 주 및 부 서비스채널의 프레임 데이터를 복호할 수 있다. 그러므로 상기 복호기510은 하나의 프레임 구간에서 두 서비스채널의 프레임 데이터들을 복호할 수 있는 성능을 가져야 한다. 여기서 상기 복호기510은 MPEG4 복호기 또는 H.264 복호기 등이 될 수 있다.6, after the
또한 상기와 같은 방법 이외에 상기 주 및 부 서비스채널의 비디오 데이터들을 버스트 단위로 나누어 복호할 수 있다. 즉, 상기 Δt 구간을 전반주기 및 후반주기 구간으로 나누고, 상기 Δt 구간의 전반주기 구간에서 상기 주 서비스채널의 데이터를 복호하고 Δt 구간의 후반주기 구간에서 상기 부 서비스채널의 데이터를 복호할 수 있다. 이런 경우 데이터의 표시는 Δt 구간만큼 지연될 수 있으며, 비디오 데이터를 버퍼링하는 버퍼의 크기도 프레임 단위로 복호하는 경우 보다 더 크게 설정하여야 한다. In addition to the above method, video data of the primary and secondary service channels may be divided and decoded in burst units. That is, the period Δt may be divided into a first half period and a second half period, and the data of the main service channel may be decoded in the first half period of the Δt period and the data of the sub-service channel may be decoded in the second half period of the Δt period. . In this case, the display of the data may be delayed by Δt interval, and the size of the buffer that buffers the video data should be set larger than when decoding in units of frames.
상기한 바와 같이 비디오복호기500에서 출력되는 복호된 비디오 데이터는 주 및 부 서비스채널의 데이터가 된다. 그리고 상기한 바와 같이 주 서비스채널의 비디오 데이터는 표시부150의 전체 화면(full screen)으로 표시되며, 부 서비스채널 의 비디오 데이터는 상기 표시부150의 일부 영역을 차지하는 화면(PIP)로 표시될 수 있다. 이때 상기 부 서비스채널의 비디오 데이터를 PIP로 표시하는 경우, 상기 부 서비스채널의 비디오 데이터를 그대로 처리할 수 있으며, 또한 리사이징(resizing)하여 처리할 수도 있다. 이때 상기 프레임 데이터의 리사이징은 상기 비디오복호기500에서 수행할 수 있으며, 또한 상기 다중화면처리부140에서 처리할 수도 있다. 이때 상기 비디오복호기500에서 상기 부 서비스채널의 비디오 데이터를 리사이징하는 경우, 상기 비디오 복호기500은 본원출원인에 의해 선출원된 특허출원 2004-85860호에 개시되어 있는 비디오 복호기를 사용할 수 있다.또한 상기 표시부150에 다중화면으로 표시할 때, 상기 표시부150의 화면을 분할하여 상기 주 서비스 채널과 부 서비스채널의 비디오 데이터를 동일한 크기로 표시할 수 있으며, 또한 상기 주 서비스채널 데이터가 표시되는 전체 화면의 일부 영역에 상기 부 서비스채널의 비디오 데이터를 표시할 수도 있다. 그리고 상기 부 서비스채널의 화면은 상기 표시부150의 특정 표시 위치에 고정시켜 표시할 수 있으며, 또한 사용자가 설정하는 표시부150의 위치에 표시할 수도 있다.As described above, the decoded video data output from the
도 8a - 도 8c는 본 발명의 실시예에 따른 상기 다중화면처리부140의 구성을 도시하는 도면이다. 상기 도 8a - 도 8c에서 주 서비스채널 출력버퍼610은 상기 도 6의 주 서비스채널의 출력버퍼540이 될 수 있으며, 부 서비스채널 출력버퍼611- 61n은 상기 도 6의 부 서비스채널의 출력버퍼545가 될 수 있다. 즉, 상기 다중화면처리부140의 출력버퍼610 - 61n은 상기 비디오복호기500의 출력버퍼540 및 645를 사용할 수 있다.8A to 8C are diagrams illustrating the configuration of the
여기서 상기 도 8a는 상기 비디오복호기500에서 부 서비스채널의 비디오 데이터를 리사이징하거나 또는 리사이징하지 않은 풀 데이터를 입력하며, 상기 부 서비스채널의 데이터를 상기 표시부150의 고정된 위치에 표시하는 경우의 구성을 도시하고 있다. 도 8b는 상기 비디오 복호기500에서 출력되는 부 서비스채널의 비디오 데이터를 사용자가 설정하는 크기 또는 미리 설정된 크기로 리사이징하며, 상기 부 서비스채널의 데이터를 상기 표시부150의 고정된 위치에 표시하는 경우의 구성을 도시하고 있다. 도 8c는 상기 비디오 복호기500에서 출력되는 부 서비스채널의 비디오 데이터를 사용자가 설정하는 크기 또는 미리 설정된 크기로 리사이징하며, 상기 부 서비스채널의 데이터를 사용자가 설정하는 상기 표시부150의 위치에 표시하는 경우의 구성을 도시하고 있다. 또한 상기 도 8a - 도 8c는 다수의 부 서비스채널의 출력버퍼들(611-61N)이 구성된 예를 도시하고 있으나, 이하의 설명에서는 하나의 부 서비스채널의 출력버퍼(611)를 사용하는 경우를 가정하여 설명하기로 한다. 8A illustrates a configuration in which the
이때 상기 다중화면 표시시, 상기 표시부150에 표시되는 주 서비스채널의 방송데이터를 표시하는 화면 및 부 서비스채널의 방송데이터를 표시하는 화면의 표시 위치는 미리 설정되어야 한다. 예를들어 상기 다중화면의 PIP 형태로 표시하는 경우, PIP 화면(이하 부 서비스채널의 화면이라고 가정한다)은 전체화면(이하 주 서비스채널의 화면이라고 가정한다)의 설정된 위치에 설정된 크기로 표시되어야 한다. 이때 상기 부 서비스채널의 표시 위치 및(또는) 화면 크기는 사용자에 의해 설정될 수 있으며, 고정된 표시 위치에 고정된 화면 크기로 표시될 수도 있다. 그리 고 상기와 같이 PIP 화면의 표시 위치 및 크기가 결정되면, 상기 제어부100은 혼합부620을 제어하여 매 프레임 단위로 각각 주 및 부 서비스채널들의 방송데이터의 표시를 제어하여 다중화면으로 표시할 수 있도록 한다. 예를들어 상기 표시부150에 표시되는 1 화면이 1600*900 화소(표시되는 화면에서 1라인의 화소수가 1600 화소이며, 1화면이 900 라인으로 이루어진 경우)로 이루어진다고 가정하고, 상기 화면의 일부 영역에 표시되는 PIP 화면의 위치 및 크기는 451라인 - 900 라인의 801번째 화소 - 1600 번째 화소들이 표시되는 영역이라고 가정한다. 그러면 상기 제어부100은 상기 표시부150에 화소 데이터를 전달할 때, 먼저 상기 1라인 - 450 라인의 화소 데이터들이 표시되는 영역에서는 상기 주 서비스채널의 방송데이터들이 선택 출력되도록 상기 화면표시제어신호를 발생한다. 그리고 두 번째로 상기 451라인 - 900라인의 화소데이터들을 선택 출력할 때 먼저 1번째 화소 - 800번째 화소 데이터들이 표시되는 영역에서는 상기 주 서비스채널의 방송데이터들이 선택 출력되도록 상기 화면 표시제어신호를 발생하며, 801번째 - 1600번째 화소 데이터들이 표시되는 영역에서는 상기 부 서비스채널의 방송데이터들이 선택 출력되도록 상기 화면 표시제어신호를 발생한다. 상기한 바와 같이 상기 제어부100에서 상기 혼합부620에 출력하는 화면표시제어신호(mdc시)는 상기 주 화면이 표시되는 영역에서는 상기 주 서비스채널 출력버퍼610에 저장된 방송데이터를 선택하는 제어신호로 발생되며, 상기 PIP 화면이 표시되는 영역에서는 상기 부 서비스채널 출력버퍼611에 저장된 방송데이터를 선택하는 제어신호로 발생된다. 따라서 상기 혼합부620은 상기 제어부100에서 출력되는 표시제어신호에 의해 상기 주 서비스채널 출력버퍼610 및 부 서 비스채널 출력버퍼611의 출력을 선택하여 상기 표시부150에 출력하며, 이때 상기 표시부150의 주 화면으로 표시되는 영역에는 상기 주 서비스채널의 방송데이터를 출력하고 PIP 화면으로 표시되는 영역에는 상기 부 서비스채널의 방송데이터를 출력한다. At this time, when the multi-screen display, the display position of the screen for displaying the broadcast data of the main service channel displayed on the
이때 상기 혼합부620은 다중화기(multiplexer)로 구현할 수 있으며, 또한 블랜딩(blending)부로 구현할 수 있다. In this case, the
먼저 상기 혼합부620을 다중화기로 구성하는 경우, 상기 제어부100은 상기한 바와 같이 상기 표시부150에 표시되는 주 화면 및 PIP 화면 표시 영역에 각각 대응되는 주 및 부 서비스채널의 방송데이터들을 다중화시켜 출력한다. 즉, 상기 다중화기는 상기 화면 표시제어신호에 의해 상기 표시부150의 주화면 표시 영역에서 주 서비스채널의 비디오 데이터를 표시부150에 출력하며, 상기 설정된 PIP 영역에서 상기 부 서비스채널의 비디오 데이터를 선택하여 출력한다. 이런 경우 상기 PIP 화면으로 표시되어야 하는 영역에서 상기 부 서비스채널의 데이터가 다중화되어 출력되므로써, 상기 표시부150은 상기 주 서비스채널 데이터가 표시되는 전체 화면의 일부 영역에 상기 부 서비스채널의 비디오 데이터를 표시하게 된다. First, when the
또한 상기 혼합부620을 블랜딩부로 구성하는 경우, 상기 부 서비스채널의 비디오 데이터를 표시하는 위치에서 상기 주 서비스채널의 비디오 데이터와 상기 부 서비스채널의 비디오 데이터의 가중치 값을 설정하여야 한다. 즉, 상기 부 서비스채널의 데이터를 덮어쓰기하도록 가중치를 설정하면(즉, 상기 주 서비스채널의 가중치 0, 부 서비스채널의 가중치 1), 상기 주 서비스채널이 표시되는 전체 화면 영 역에서 설정된 PIP 영역에 상기 부 서비스채널 데이터가 표시된다. 또한 상기 부 서비스채널의 가중치를 상기 주 서비스채널의 가중치보다 높게 설정하면, 상기 부 서비스채널이 표시되는 표시부150의 영역에서 상기 주 서비스채널의 비디오 데이터가 오버레이(overlay)되어 표시된다.In addition, when the
먼저 상기 도 8a를 참조하면, 상기 주서비스채널 출력버퍼610은 상기 비디오복호기500에서 복호된 주 서비스채널의 비디오데이터를 저장하며, 부서비스채널 출력버퍼611은 상기 비디오복호기500에서 복호된 부 서비스채널의 비디오 데이터를 저장한다. 여기서 상기 도 8a와 같은 구성을 가지는 다중화면처리부140은 상기 부 서비스채널의 방송데이터를 표시하는 PIP 화면의 표시 위치 및 크기가 상기 표시부150에 미리 설정된 경우이다. 이런 경우 사용자는 상기 PIP 화면의 표시 위치 및 크기를 변경할 수 없다. 그러므로 상기 혼합부620은 상기 제어부100의 제어하에 상기 주서비스채널 출력버퍼610에 저장된 주 서비스채널의 비디오 데이터를 상기 표시부150에 출력하며, 설정된 위치에서 상기 부서비스채널 출력버퍼611에 저장된 부 서비스채널의 비디오 데이터를 출력한다.First, referring to FIG. 8A, the main service
두 번째로 상기 도 8b를 참조하면, 상기한 바와 같이 주서비스채널 출력버퍼610은 상기 비디오복호기500에서 복호된 주 서비스채널의 비디오데이터를 저장하며, 부서비스채널 출력버퍼611은 상기 비디오복호기500에서 복호된 부 서비스채널의 비디오 데이터를 저장한다. 여기서 상기 도 8b와 같은 구성을 가지는 다중화면처리부140은 상기 부 서비스채널의 방송데이터를 표시하는 PIP 화면의 크기를 조절할 수 있으며, 상기 PIP 화면이 표시되는 위치는 상기 표시부150에 미리 설정된 경 우이다. 이런 경우 사용자는 상기 PIP 화면이 표시되는 크기는 조절할 수 있으나, 상기 PIP 화면이 표시되는 표시부150의 위치는 변경할 수 없다.Secondly, referring to FIG. 8B, as described above, the main service
상기와 같이 상기 부서비스채널 출력버퍼611에 저장되는 방송데이터는 상기 표시부150에 표시될 때 그 크기가 조절될 수 있다. 이런 경우, 상기 부서비스채널의 방송데이터는 복호기510에서 복호시 리사이징될 수 있으며, 리사이징되지 않을 수도 있다. 상기 도 8b는 상기 복호기510이 복호시 부서비스채널의 데이터를 리사이징하지 않고, 리사이저631이 상기 부서비스채널 출력버퍼611의 데이터를 상기 표시되는 화면의 크기에 맞도록 리사이징한다. 상기 부서비스채널의 방송데이터의 리사이징은 사용자의 선택에 의해 결정될 수 있으며, 또한 미리 결정된 고정된 크기로 결정될 수 있다. 즉, 상기 디지털 방송수신기의 사용자는 상기 다중화면 표시 기능을 선택할 때, 상기 부서비스채널의 방송화면 크기를 설정할 수 있으며, 또한 설정하지 않을 수도 있다. 이런 경우 상기 제어부100은 상기 사용자의 설정 여부에 따라 사용자가 설정한 부서비스채널의 방송데이터의 리사이징 비율을 결정하며, 아니면 고정된 표시화면 크기의 리사이징 비율을 결정한다. 그리고 이런 리사이징 비율을 상기 리사이저631에 설정한다. 그리고 상기 리사이저631은 스케일러(scaler)를 사용할 수 있다. 이때 상기 스케일러는 상기 부 서비스채널의 방송데이터의 전체 화소에서 리사이징 비율에 따라 규칙적으로 화소들을 제거하여 부서비스채널의 전체 화면 형태를 그대로 유지시킬 수 있다. 또한 상기 스케일러는 부 서비스채널의 방송데이터의 전체화소에서 리사이징할 크기에 따르는 특정 영역의 화소들을 선택하여 표시할 수 있다. 이런 경우, 상기 부서비스채널의 표시 형태는 전체화면 영 역에서 일부 영역의 화소들만 표시되게 할 수 있다.As described above, the size of the broadcast data stored in the sub-service
그리고 혼합부620은 상기 제어부100의 제어하에 상기 주서비스채널 출력버퍼610에 저장된 주 서비스채널의 비디오 데이터를 상기 표시부150에 출력하며, 설정된 위치에서 상기 부서비스채널 출력버퍼611에 저장된 부 서비스채널의 비디오 데이터를 출력한다. 이때 상기 혼합부620은 상기한 바와 같이 다중화기로 구현할 수 있으며, 또한 블랜딩(blending)부로 구현할 수 있다. The
세 번째로 상기 도 8c를 참조하면, 사용자는 상기 표시부150에 표시되는 PIP 화면의 크기 및 표시 위치를 조절할 수 있다. 상기한 바와 같이 주서비스채널 출력버퍼610은 상기 비디오복호기500에서 복호된 주 서비스채널의 비디오데이터를 저장하며, 부서비스채널 출력버퍼611은 상기 비디오복호기500에서 복호된 부 서비스채널의 비디오 데이터를 저장한다. 그리고 리사이저631은 상기한 바와 같이 상기 부서비스채널 출력버퍼611에 저장된 부서비스채널의 방송데이터들을 표시화면 크기로 리사이징한다.Thirdly, referring to FIG. 8C, the user may adjust the size and display position of the PIP screen displayed on the
이때 상기 부서비스채널의 방송데이터는 상기 표시부150의 특정 영역에 고정되어 표시될 수 있으며, 또한 사용자의 선택에 의해 결정되는 표시부150의 위치에 표시될 수도 있다. 이런 경우, 상기 제어부100은 위치결정부641을 제어하여 상기 부서비스채널의 방송데이터를 표시하기 위한 표시 위치를 결정할 수 있다. 즉, 디지털 방송수신기의 사용자는 상기 다중화면 표시 기능 설정시 상기 부서비스채널의 화면 표시 위치를 설정할 수 있으며, 또한 설정하지 않을 수도 있다. 이때 상기 디 지털 방송수신기의 사용자가 표시 위치를 설정한 경우, 상기 제어부100은 위치결정부641을 제어하여 상기 부서비스채널의 방송데이터를 출력을 제어한다. 이때 상기 출력 제어는 상기 사용자가 결정한 표시부150의 표시 위치가 된다. 또한 상기 디지털 방송수신기의 사용자가 표시위치를 설정하지 않은 경우, 상기 제어부100은 위치결정부641을 제어하여 상기 부서비스채널의 방송데이터를 미리 설정된 위치(고정된 부서비스채널 표시 위치)에 출력한다. In this case, the broadcast data of the sub-service channel may be fixedly displayed in a specific area of the
그리고 혼합부620은 상기 제어부100의 제어하에 상기 주서비스채널 출력버퍼610에 저장된 주 서비스채널의 비디오 데이터를 상기 표시부150에 출력하며, 설정된 위치에서 상기 부서비스채널 출력버퍼611에 저장된 부 서비스채널의 비디오 데이터를 출력한다. 이때 상기 혼합부620은 상기한 바와 같이 다중화기로 구현할 수 있으며, 또한 블랜딩(blending)부로 구현할 수 있다.The
여기서 상기 도 8c는 부서비스채널 출력버퍼611의 출력단에 상기 리사이저631 및 위치결정부641이 연결되어 있는 구조를 도시하고 있다. 이런 경우, 상기 제어부100은 사용자의 선택에 따라 상기 리사이저631 및 위치결정부641을 제어하여 상기 부서비스채널의 표시화면 크기 및 표시 위치들을 가변적으로 결정할 수 있다. 따라서 상기 도 8c와 같이 다중화면처리부140을 구성하면, 상기 주 서비스채널의 방송화면이 표시되는 상태에서 상기 부 서비스채널의 방송데이터가 상기 표시부150에 사용자에 의해 설정된 (또는 미리 설정된) 표시화면 크기 및 표시 위치에 표시된다. 8C illustrates a structure in which the
여기서 상기 리사이저631 및 위치결정부641은 서로 위치가 바뀔 수도 있다. 즉, 먼저 상기 위치결정부641을 통해 상기 부서비스채널의 방송데이터가 표시될 화면의 위치를 결정하고, 상기 리사이저631을 통해 상기 결정된 표시위치에서 출력되는 부서비스채널 방송데이터의 크기를 화면 크기로 리사이징하여 상기 표시부150에 출력할 수도 있다.Here, the
또한 상기 도 8c는 리사이저631 및 위치결정부641을 모두 구비하는 다중화면처리부140의 구성을 도시하고 있다. 그러나 상기 도 8c에서 상기 리사이저631의 구성을 생략할 수 있다. 이런 경우, 상기 부서비스채널의 방송데이터를 표시하는 화면의 크기는 미리 설정된 리사이징 비율에 따라 고정되며, 사용자의 표시 위치 설정 여부에 따라 상기 부서비스채널의 방송데이터가 표시되는 표시부150의 표시 위치가 가변된다.8C illustrates a configuration of the
또한 상기 도 8a - 도 8c에서는 하나의 부서비스채널인 경우를 가정하여 설명하였지만, 도면에 도시된 바와 같이 두개 이상의 부서비스채널들을 구비한 경우에도 동일하게 적용될 수 있다.8A to 8C, the case of one sub-service channel is assumed. However, the same may be applied to the case where two or more sub-service channels are provided.
또한 상기 표시부150에 주 및 부 서비스채널의 비디오 데이터들을 다중화면으로 표시할 때, 상기 표시부150의 화면을 분할하여 상기 주 서비스 채널과 부 서비스채널의 비디오 데이터를 동일한 크기로 표시할 수 있다. 이런 경우 상기 주 서비스채널의 비디오 데이터를 리사이징하기 위한 리사이저를 사용할 수 있다. 즉, 상기 주 및 부 서비스채널의 리사이저들을 각각 구비하고, 상기 리사이저들에 리사이징된 비디오 데이터들을 각각 설정된 표시부150의 화면 영역에 표시할 수 있다. 또한 상기 주 서비스채널의 비디오 데이터를 상기 표시부150의 전체 화면으로 표시 하지 않는 경우(즉, 상기 주 서비스채널의 화면 크기가 상기 부 서비스채널의 화면크기와 다르더라도 상기 주 서비스채널의 화면 크기가 표시부의 전체 화면크기 아닌 경우)에도 상기 주 서비스채널의 비디오 데이터를 리사이징하기 위한 리사이저를 사용할 수 있다.In addition, when the video data of the main and sub service channels are displayed on the
상기와 같은 디지털 방송수신기의 다중화면 표시 기능은 사용자에게 복수의 방송화면을 제공할 수 있으며, 따라서 디지털 방송수신기의 사용자는 두 개 이상의 서비스채널 방송 화면을 시청할 수 있다.The multi-screen display function of the digital broadcast receiver may provide a plurality of broadcast screens to the user, and thus the user of the digital broadcast receiver may watch two or more service channel broadcast screens.
또한 상기와 같은 디지털 방송수신기의 다중화면 표시 기능은 채널 탐색 기능에 사용할 수 있다. 즉, 사용자가 임의의 다른 서비스채널을 시청하는 중에 다른 서비스채널로 전환하고자 하는 경우, 사용자는 부 서비스채널을 선택하여 다중화면 표시 기능을 선택한다. 그러면 상기 디자탈 방송수신기는 상기 다중화면 표시 기능을 수행하여 상기 표시부150에 두 개의 방송화면을 표시한다. 그리고 상기 디지털 방송수신기의 사용자는 상기 부 서비스채널을 변경하면서 PIP 화면으로 재생되는 다른 서비스채널의 방송을 확인할 수 있게 된다. 그리고 상기와 같이 다중화면을 시청하는 상태에서 사용자가 채널 전환명령을 발생하면, 상기 디지털 방송수신기의 제어부100은 상기 부 서비스채널을 주 서비스채널로 변경할 수 있으며, 따라서 상기 표시부150 상에 상기 다른 서비스채널의 방송화면을 주 방송화면으로 전환할 수 있다. In addition, the multi-screen display function of the digital broadcast receiver can be used for the channel search function. That is, when the user wants to switch to another service channel while watching any other service channel, the user selects the sub service channel to select the multi-screen display function. Then, the digital broadcast receiver displays the two broadcast screens on the
상기와 같은 구성을 가지는 본 발명의 실시예에 따른 디지털 방송수신기의 다중화면 표시 절차를 살펴본다. 도 9는 본 발명의 실시예에 따라 디지털 방송수신 기에서 주 서비스채널 및 적어도 하나의 부서비스 채널의 방송데이터를 다중화면으로 표시하는 절차를 도시하는 흐름도이다. The multi-screen display procedure of the digital broadcast receiver according to the embodiment of the present invention having the above configuration will be described. 9 is a flowchart illustrating a procedure of displaying broadcast data of a primary service channel and at least one subservice channel in a multi-screen by a digital broadcast receiver according to an embodiment of the present invention.
상기 도 9를 참조하면, 사용자가 다중화면 처리 기능을 요구하면, 상기 제어부100은 다중화면의 주 화면(주 서비스채널의 방송데이터 표시 화면) 및 적어도 하나의 부 화면(부 서비스채널의 방송 데이터 표시 화면, PIP 화면)을 표시하기 위한 주 서비스채널 및 부서비스채널의 입력을 안내한다. 이때 상기 주 및 부 서비스채널들의 입력은 해당 서비스채널의 번호가 될 수 있다. 이때 상기 주 서비스채널의 선택 정보가 수신되면, 상기 제어부100은 711단계에서 주 서비스채널의 정보들을 설정한다. 이때 상기 주 서비스채널의 정보는 PID, IP 및 포트 정보들이 될 수 있다. 여기서 상기한 바와 같이 PID 정보는 방송수신부110을 통해 수신되는 PSI/SI 정보들을 분석하여 확인할 수 있으며, 상기 IP 및 포트 정보는 상기 ESG의 SDP 정보를 이용하여 확인할 수 있다. Referring to FIG. 9, when a user requests a multi-screen processing function, the
이후 상기 제어부100은 부 서비스채널을 선택하기 위한 정보를 상기 표시부150에 표시할 수 있다. 이때 표시될 수 있는 정보는 부 서비스채널의 번호, 부 서비스 채널의 방송데이터에서 표시하고자 하는 프레임 선택 정보, 부 서비스채널의 표시화면 크기 및(또는) 부 서비스채널의 표시 위치 등이 될 수 있다. 이때 상기 부 서비스채널의 프레임 선택 정보는 부 서비스채널의 방송 데이터들 중에서 부 화면으로 표시하고자 하는 프레임 비디오 데이터들을 선택하기 위한 정보로써, 예를들면 I 프레임, I 및 P 프레임 등이 될 수 있다. 또한 상기 프레임 선택정보는 1초 동안 표시되는 프레임들에서 특정 번째의 프레임 번호로 설정할 수 있다. 예를 들면 1초에 30 프레임 비디오 데이터를 표시하는 경우, 상기 프레임 선택 정보는 1초 동안 표시되는 프레임들 중에서 매 10번째, 20번째 등과 같은 프레임 비디오 데이터 번호로 설정할 수도 있다. 그리고 상기 부 서비스채널을 선택하기 위한 정보를 선택하는 과정에서 사용자가 상기 프레임 선택 정보를 선택하지 않으면, 상기 제어부100은 미리 설정된 프레임(예를들면 I 프레임)을 상기 프레임 선택 정보로 설정할 수 있다. 그리고 상기 제어부100은 713단계에서 입력되는 부 서비스채널의 정보들에 따라 부서비스채널을 결정한다. 이때 상기 부서비스채널의 번호가 입력되면, 상기 제어부100은 상기한 바와 같이 PSI/SI 및 SDP 정보들을 이용하여 선택된 부 서비스채널의 PID, IP 및 포트 정보들을 설정한다. 그리고 상기 프레임 선택정보가 선택되면, 상기 제어부100은 상기한 바와 같이 비디오복호기500에 상기 다중화, 복호 및 역다중화 동작을 제어하여 선택된 부 서비스채널의 프레임 비디오 데이터를 선택하기 위한 제어신호들을 설정한다. 그리고 상기 부서비스채널의 표시 화면 크기를 선택하는 정보가 입력되면, 상기 제어부100은 해당 표시화면의 크기를 확인하여 복호부130 또는 다중화면처리부140에 리사이징 비율을 설정한다. 이하의 설명에서는 상기 부서비스채널의 리사이징 기능을 상기 다중화면처리부140에서 수행하는 것으로 가정하여 설명한다. 이때 상기 부서비스채널의 표시 화면 크기가 선택되지 않으면 미리 설정된 리사이징 비율로 설정한다. 또한 상기 부서비스채널의 표시 위치를 선택하는 정보가 입력되면, 상기 제어부100은 상기 다중화면처리부140에 상기 부서비스채널의 화면 표시 위치를 설정하며, 선택 정보가 입력되지 않으면 상기 제어부100은 미리 설정된 표시 위치로 설정한다.Thereafter, the
상기 711단계 및 713단계를 통해 주 및 부 서비스채널을 선택한 후, 상기 제어부100은 상기 주 서비스채널 및 부 서비스채널의 PID 및 버스트 위치를 확인한 후, 상기 방송수신부110의 복조제어기240에 상기 확인된 PID 및 버스트 위치 정보를 제공한다. 그러면 상기 복조제어기240은 상기 복조기220에 상기 주 및 부 서비스채널의 버스트 수신 구간에서 전원이 공급되도록 타임 슬라이싱 제어하며, 이로인해 상기 복조기220은 상기 주 및 부 서비스채널의 버스트를 수신하여 복조한다. 이때 복조된 신호는 상기 도 4a와 같은 TS 스트림 구조를 가진다. 또한 상기 복조제어기240은 상기 PID필터230에 상기 주 및 부 서비스채널의 PID를 설정하며, 상기 PID필터230은 상기 도 4a와 같은 복조기220의 출력에서 PID를 확인하여 상기 설정된 PID를 가지는 주 및 부 서비스채널의 방송 데이터를 출력한다. 그러면 상기 복조제어기240은 상기 주 및 부 서비스채널의 방송데이터를 MPE-FEC 보정하여 도 4c와 같은 IP 데이터그램을 발생한다. After selecting the primary and secondary service channels through
이때 상기 주 및 부 서비스채널의 방송데이터가 상기와 같이 수신되면 ,상기 제어부110은 715단계에서 이를 감지하고, 717단계에서 상기 수신되는 방송 데이터를 복호한다. 이때 상기 복호시 입력되는 데이터는 주 및 부 서비스채널의 버스트 데이터들이며, 상기 버스트 데이터는 많은 수의 프레임 데이터들로 이루어져 있다. 본 발명의 실시예에서는 상기 도 6의 주 및 부 서비스채널의 입력버퍼 520 및 525에 저장되는 데이터들은 버스트 데이터이며, 상기 복호기510은 상기 버스트 데이터들을 프레임 단위로 복호하고, 상기 복호하는 데이터는 도 7b - 도 7g와 같이 하 나의 프레임 구간에서 주 및 부 서비스채널의 프레임 데이터들을 복호한다. 이때 상기 비디오복호기500은 매 프레임 구간에서 상기 주 서비스채널의 비디오 데이터를 복호하여 상기 다중화면처리부140에 전달하며, 상기 부 서비스채널의 비디오 데이터는 설정된 프레임의 비디오 데이터만 복호하여 상기 다중화면처리부140에 전달한다. 즉, 부 서비스채널의 설정된 프레임 비디오 데이터가 수신되는 경우, 상기 비디오복호기500은 해당 프레임 구간을 시분할하여 상기 주 서비스채널의 프레임 비디오 데이터를 복호하고, 이후 상기 부 서비스채널의 프레임 비디오 데이터를 복호하여 상기 다중화면처리부1430에 전달한다. 그리고 상기 부 서비스채널의 프레임 비디오 데이터가 설정되지 않은 프레임 비디오 데이터이면, 상기 비디오복호기500은 해당 프레임 구간에서 상기 주 서비스채널의 프레임 비디오 데이터만 복호하여 상기 다중화면처리부1430에 전달한다. In this case, when the broadcast data of the primary and secondary service channels are received as described above, the
이때 상기 주 서비스채널 및 하나의 부서비스채널이 설정된 경우, 상기 복호는 프레임의 전반주기에서 주 서비스채널의 프레임 데이터를 복호하고 후반주기에서 상기 부 서비스채널의 프레임 데이터를 복호한다. 그리고 상기 주 서비스채널의 두개의 부서비스채널들이 설정된 경우, 상기 복호는 프레임 주기를 3등분하고, 첫 번째 구간에서는 주서비스채널의 프레임 데이터를 복호하고, 이후 두 번째 및 세 번째 구간에서 각각 부서비스채널들의 프레임 데이터들을 복호한다. 따라서 상기 복호기510은 프레임 구간에서 주 서비스채널 및 적어도 하나의 부 서비스채널의 프레임 데이터를 복호할 수 있는 복호속도(decoding rate)를 가져야한다.In this case, when the main service channel and one sub service channel are set, the decoding decodes the frame data of the main service channel in the first half of the frame and the frame data of the sub service channel in the second half of the frame. If two sub-service channels of the main service channel are configured, the decoding divides the frame period into 3 parts, decodes the frame data of the main service channel in the first section, and then sub-services in the second and third sections, respectively. Decode the frame data of the channels. Therefore, the
도 10은 상기 도 9의 717단계에서 복호 과정의 동작 절차를 도시하는 흐름도 이다. 상기 도 10은 주 서비스채널의 비디오 및 오디오 데이터를 표시하고, 부서비스채널의 비디오 데이터를 표시하는 경우를 가정한 동작 절차이다. 이런 경우 상기 도 9의 717단계에서 수행하는 복호 절차는 주 서비스채널의 경우 오디오 및 비디오 데이터를 모두 복호하며, 상기 부 서비스채널의 경우 설정된 프레임의 비디오 데이터만을 복호하게 된다. 이하의 설명에서는 상기한 바와 같이 주 서비스채널과 하나의 부 서비스채널의 다중화면을 표시하는 것으로 가정하여 설명한다.FIG. 10 is a flowchart illustrating an operation procedure of a decoding process in
상기 도 10을 참조하면, 상기 디지털 방송수신기에서 복호는 방송데이터의 수신, 오디오 데이터 복호 및 비디오 데이터 복호 등을 수행하게 된다. 여기서 상기 방송데이터가 수신되면, 상기 제어부100은 상기 제어부100은 수신되는 방송 데이터가 주서비스채널의 버스트 데이터인지 아니면 부서비스채널의 버스트 데이터인지를 확인한 후, 주 서비스채널의 버스트 데이터이면 상기 수신되는 버스트 데이터에서 오디오 및 비디오 데이터를 분리한 후, 상기 비디오 데이터를 주 서비스채널의 입력버퍼520에 저장하고, 오디오 데이터를 도시하지 않은 오디오 데이터 입력버퍼에 저장한다. 그리고 부 서비스채널의 버스트 데이터이면 상기 수신되는 버스트 데이터에서 오디오와 비디오 데이터를 분리하고, 상기 비디오 데이터를 상기 부 서비스채널의 입력버퍼525에 저장한다. 이때 상기한 바와 같이 상기 프로토콜처리부120이 상기 부 서비스채널의 프레임 비디오 데이터 종류를 분류하는 경우, 상기 제어부100은 상기 분류되는 부 서비스채널의 프레임 비디오 데이터들 중에서 설정된 프레임의 비디오데이터들을 선택하여 상기 입력버퍼525에 저장할 수 있다. 그러나 상기 프로토콜처리부120이 방시 부 서비스채널의 프레임 비디오데이터 종류를 분류 하지 않는 경우, 상기 부 서비스채널의 비디오데이터들은 상기 입력버퍼525에 모두 저장하게 된다.Referring to FIG. 10, in the digital broadcast receiver, decoding performs broadcasting data, audio data decoding, video data decoding, and the like. When the broadcast data is received, the
이후 상기 제어부100은 상기 입력버퍼520 및 525에 저장된 오디오 및 비디오 데이터를 각각 오디오복호기590 및 비디오 복호기500을 통해 복호한다. 이때 상기 오디오 및 비디오 데이터들은 부호화된 데이터들로써, 상기 제어부100은 이들 데이터들의 복호할 시간정보들을 알고 있다(예를들면 V-DTS(A-DTS)는 비디오(오디오) 데이터의 디코딩 개시시간 정보이며, V-PTS(A-PTS)는 디코딩된 비디오(오디오) 데이터의 출력 시간 정보이다. 따라서 이들 시간 정보(time stamp)를 이용하여 비디오(또는 오디오) 데이터의 복호 시점 또는 복호된 데이터의 표시 시점들을 결정할 수 있다.) 따라서 상기 제어부100은 이들 시간 정보들을 이용하여 상기 입력버퍼520 및 525, 그리고 도시하지 않은 오디오 입력버퍼에 저장된 비디오 및 오디오데이터들의 복호 시점을 제어할 수 있다.Thereafter, the
먼저 상기 오디오 데이터의 복호 절차를 살펴보면, 오디오 데이터의 복호 시점이 되면, 상기 제어부100은 811단계에서 이를 감지하고, 921단계에서 복호시간에 해당하는 주 서비스채널의 오디오 데이터를 복호하며, 상기 복호된 데이터를 도시하지 않은 오디오 출력버퍼에 저장한다. 상기와 같은 동작은 반복적으로 수행되며, 상기 오디오 출력버퍼에 저장되는 복호된 오디오 데이터는 대응되는 주 서비스채널의 비디오 데이터와 함께 출력되어 스피커155를 통해 재생된다.First, referring to the decoding process of the audio data, when it is time to decode the audio data, the
두 번째로 상기 비디오 데이터의 복호절차를 살펴보면, 상기 비디오 데이터의 복호 시점이 되면, 상기 제어부100은 811단계에서 이를 감지하고, 813단계 - 819단계를 수행하면서 하나의 프레임 구간에서 주서비스채널 또는 상기 주 서비스채널 및 적어도 하나의 부 서비스채널의 비디오 데이터들을 복호한다. 즉, 상기 제어부100은 813단계에서 상기 입력버퍼520에 저장된 대응되는 주 서비스채널의 비디오 프레임 데이터를 억세스하여 복호하며, 이때 상기 주 서비스채널의 복호는 프레임 주기의 전반부에서 이루어진다. 그리고 상기 복호된 주 서비스채널의 비디오 프레임 데이터는 주서비스채널의 출력버퍼540에 저장된다. 이후 상기 제어부100은 부 서비스채널의 비디오 데이터 복호 여부를 확인하는데, 상기 설정된 프레임의 비디오데이터이면(예를들면 I 프레임 또는 I 및 P 프레임) 상기 입력버퍼525에 저장된 대응되는 부 서비스채널의 비디오 프레임 데이터를 억세스하여 복호하며, 그렇지 않으면(즉, 설정된 비디오 프레임 데이터가 아니면, 예를들면 B 및 P 프레임 또는 B 프레임) 부 서비스채널의 비디오 데이터 복호 동작을 수행하지 않는다. 이때 상기 부 서비스채널의 복호는 프레임 주기의 후반부에 이루어진다. 그리고 상기 복호된 부 서비스채널의 비디오 프레임 데이터는 부 서비스채널의 출력버퍼545에 저장된다. 상기와 같은 동작은 프레임 단위로 반복적으로 수행되며, 상기 비디오 출력버퍼540 및 645에 저장된 복호된 비디오 프레임 데이터는 다중화면처리부140을 통해 상기 주 서비스채널의 오디오 데이터와 함께 출력되는 표시부 150을 통해 다중화면으로 표시된다. Second, referring to the decoding procedure of the video data, when it is time to decode the video data, the
또한 상기 복호기가 리사이징 기능을 구비하는 경우, 상기 부서비스채널의 비디오 프레임 데이터를 복호할 때 리사이징하여 복호할 수도 있다.When the decoder has a resizing function, the decoder may resize and decode video frame data of the sub-service channel.
상기와 같이 상기 제어부100은 하나의 프레임 주기의 구간을 나누어 주 및 부 서비스채널의 설정된 프레임의 비디오 데이터들을 복호한다. 이때 복호기의 복호 성능은 하나의 프레임 주기에서 적어도 두개 이상의 비디오 프레임 데이터를 복호할 수 있는 성능을 갖아야 한다. 상기 복호 동작을 수행한 후, 상기 제어부100은 도 9의 719단계에서 상기 복호된 주 및 부 서비스채널의 비디오 데이터를 다중화하여 다중화면을 생성한다. 이때 상기 다중화면은 상기 부 서비스채널의 화면을 상기 주 서비스채널의 화면과 동일한 크기로 생성할 수 있으며, 또한 상기 주 서비스채널의 화면에 PIP 형태로 표시하기 위한 화면으로 생성할 수도 있다. 그리고 상기 부 서비스채널의 화면의 크기를 미리 설정된 화면 크기로 고정시켜 출력할 수 있으며, 또한 사용자의 설정에 따른 크기로 리사이징하여 출력할 수도 있다. 또한 상기 부 서비스채널의 화면을 표시하는 위치는 미설정된 표시부150의 표시 위치에 고정시켜 출력할 수 있으며, 또한 사용자의 설정에 따라 표시부150의 임의 위치에 표시하도록 조정하여 출력할 수도 있다.As described above, the
도 11a 및 도 11b는 본 발명의 실시예에 따른 비디오 데이터의 다중화면 처리 절차를 도시하는 흐름도이다. 상기 도 11a 및 도 11b는 부 서비스채널 데이터를 리사이징하고, 상기 리사이징된 부 서비스채널의 데이터를 상기 주 서비스채널의 화면에 PIP 형태로 표시하는 예를 도시하고 있다.11A and 11B are flowcharts illustrating a multi-screen processing procedure of video data according to an embodiment of the present invention. 11A and 11B illustrate an example of resizing sub-service channel data and displaying data of the resized sub-service channel in a PIP form on a screen of the main service channel.
상기 도 11a를 참조하면, 상기 제어부100은 상기 부서비스채널의 출력버퍼에 저장된 프레임 데이터를 설정된 크기로 리사이징한다. 이때 상기 리사이징 크기는 미리 설정된 화면 크기 또는 사용자가 설정한 화면크기가 될 수 있다. 그리고 상기 리사이징은 스케일러로 구현할 수 있으며, 상기 스케일링시 전체 화소를 스케일링 하여 부 서비스채널의 전체화면을 리사이징할 수 있으며, 또한 상기 부서비스채널의 전체화면에서 설정된 화면크기의 화소들을 선택하여 리사이징할 수 있다. 이때 상기 제어부100은 913단계에서 상기 부 서비스채널의 비디오 데이터를 리사이징하는 상태 또는 상기 리사이징을 종료한 상태에서 상기 주 서비스채널의 출력버퍼에 저장된 비디오 프레임 데이터를 출력하여 표시부150에 표시할 수 있다. 그리고 상기 리사이징된 부 서비스채널의 화면을 표시할 위치이면, 상기 제어부100은 915단계에서 이를 감지하고 917단계에서 상기 주 서비스채널의 데이터에 상기 부 서비스채널의 데이터를 다중화(또는 블랜딩)한다. 이때 상기 주 서비스채널의 화면(주 화면)에 상기 부 서비스채널의 화면(PIP 화면)을 다중화 또는 블랜딩하는 동작은 상기한 바와 같이 상기 표시부150의 주화면 표시영역에서는 상기 주 서비스채널의 비디오 데이터를 선택 출력하고, PIP화면 표시영역에서는 상기 부 서비스채널의 비디오 데이터를 선택 출력한다. 그리고 상기 PIP 화면 영역에서 상기 부 서비스채널의 방송데이터를 표시할 때, 상기 제어부100은 상기 부 서비스채널의 방송데이터를 그대로 표시할 수 있으며, 상기 부 서비스채널의 방송데이터에 상기 주 서비스채널의 방송데이터를 블랜딩하여 처리할 수도 있다.Referring to FIG. 11A, the
상기와 같은 동작을 수행하면, 상기 제어부100은 상기 주 서비스채널의 비디오 프레임 데이터를 출력하여 상기 표시부150에 표시하며, 상기 부 서비스채널의 비디오 데이터를 표시하는 위치에서 상기 리사이징된 부 서비스채널의 비디오 데이터를 다중화하므로써, 상기 표시부150의 화면에는 상기 주 및 부 서비스채널의 비디오 데이터가 다중화면으로 표시된다. 상기와 같은 동작을 프레임 단위로 반복하 며, 따라서 상기 표시부150에 표시되는 화면은 프레임 단위로 상기 주 및 부 서비스채널의 비디오 데이터가 다중화면으로 표시된다. 따라서 1프레임의 주 및 부 서비스채널의 비디오 데이터의 다중화를 종료하면, 919단계에서 이를 감지하고 리턴하여 다음 프레임의 주 및 부 서비스채널의 다중화 동작을 수행한다.When the above operation is performed, the
여기서 상기 다중화 동작은 표시부150의 표시 영역에 부 서비스채널의 비디오 데이터를 표시하기 위한 영역을 설정하고, 설정된 영역에서는 부 서비스채널의 비디오 데이터를 출력하고 그 이외의 영역에서는 주 서비스채널의 비디오 데이터를 출력한다.In the multiplexing operation, an area for displaying video data of a sub-service channel is set in a display area of the
도 11b는 상기 주 서비스채널 및 부 서비스채널의 비디오 데이터들을 다중화하는 또 다른 방법을 도시하는 흐름도이다.FIG. 11B is a flowchart illustrating another method of multiplexing video data of the primary and secondary service channels.
상기 도 11b를 참조하면, 제어부100은 931단계 및 933단계에서 매 프레임 구간마다 상기 주 및 부 서비스채널의 출력버퍼540 및 645에 저장된 비디오 데이터를 로드하며, 935단계에서 상기 로드한 부 서비스채널의 비디오 프레임 데이터를 리사이징한다. 이후 상기 주 서비스채널의 데이터를 출력하면서 설정된 부 서비스채널의 표시 위치에서 상기 리사이징된 부 서비스채널의 비디오 데이터를 블랜딩한다. 이때 상기 블랜딩 비율은 상기 부 서비스채널의 비디오 데이터를 표시할 정도로 가중치를 설정한다. 이후 상기 제어부100은 주 서비스채널 비디오 데이터에 상기 부 서비스채널의 비디오 데이터를 블랜딩한 데이터를 최종 출력버퍼에 저장하여 표시부150에 표시한다.Referring to FIG. 11B, in
휴대단말기는 상기와 같은 구성 및 동작을 하는 디지털 방송수신기를 구비할 수 있다. 도 12는 상기와 같은 디지털 방송수신기를 구비하는 휴대단말기의 구성을 도시하는 도면이다.The portable terminal may include a digital broadcast receiver configured and operated as described above. Fig. 12 is a diagram showing the configuration of a portable terminal having the digital broadcast receiver as described above.
상기 도 12를 참조하면, 상기 디지털 방송수신기를 구비하는 휴대단말기의 경우, 메모리160, 키입력부170, 표시부150, 스피커155의 휴대단말기의 구성을 이용할 수 있다. 또한 상기 제어부100은 휴대단말기의 통신 기능을 제어하는 동시에 상기 디지털 방송수신기의 동작을 제어하는 기능을 수행할 수 있도록 한다. 무선통신부190은 수신되는 무선신호를 하강 주파수 변환하고 송신되는 무선신호를 상승 주파수 변환하는 주파수변환기로 구성될 수 있다. 또한 상기 무선 통신시 송신신호를 변조하고 수신 신호를 복조하는 변복조기 및 송신신호를 부호화하고 수신신호를 복호하는 코덱 등을 구비하는 데이터 처리기는 상기 무선통신부190에 구성할 수 있으며, 또한 상기 제어부100에 구성할 수도 있다. Referring to FIG. 12, in the case of a portable terminal having the digital broadcast receiver, the configuration of the portable terminal of the
상기와 같은 구성을 가지는 휴대단말기는 통신모드시 상기 디지털 방송수신기의 동작은 오프되며, 무선통신부190을 통해 RF 통신 기능을 수행하게 된다. 그리고 방송모드시 상기 통신 기능은 대기상태가 된다. The portable terminal having the configuration as described above, the operation of the digital broadcast receiver in the communication mode is off, and performs the RF communication function through the
상기와 같은 구성을 가지는 휴대단말기에서 디지털 방송수신기는 사용자가 선택한 서비스채널의 방송 데이터를 표시하며, 상기 서비스채널 또는 방송 사업자 등과 통신이 필요한 경우에는 상기 무선통신부190을 통해 리턴 채널(return channel)을 형성할 수 있다.In the mobile terminal having the configuration described above, the digital broadcast receiver displays broadcast data of a service channel selected by a user, and when a communication channel with a service channel or a broadcaster is required, a digital broadcast receiver provides a return channel through the
이때 상기 디지털 방송수신기는 상기한 바와 같이 두 개 이상의 서비스채널 들을 선택하여 다중화면으로 표시할 수 있다. 상기 디지털 방송수신기의 구성은 상기한 바와 같이 방송수신부110, 프로토콜처리부120, 복호부 및 다중화면처리부140 등이 될 수 있다. 상기와 같은 구성의 디지털 방송수신에서 다중화면을 표시하는 경우, 사용자는 다중화면으로 표시하고자 하는 두개 이상의 서비스채널들을 설정한다. 이때 하나의 서비스채널은 다중화면의 주 화면으로 표시될 수 있으며, 여기서는 상기 주화면으로 표시되는 서비스채널을 주 서비스채널이라 칭하고 있다. 그리고 상기 다중화면에서 부 화면으로 표시되는 부 서비스채널은 적어도 한개 이상 선택되도록 하며, 이런 부 서비스채널의 비디오 데이터는 상기 주화면에 PIP 형태로 표시될 수 있다. 상기 다중화면 기능이 선택되면, 방송수신부110은 상기 선택된 주 및 부 서비스채널들의 버스트 데이터들을 수신할 수 있도록 타임 슬라이싱 제어를 하며, 상기 수신되는 버스트 데이터의 PID를 확인하여 설정된 주 및 부 서비스채널들의 버스트 데이터를 수신하며, 프로토콜처리부120은 상기 수신되는 버스트 데이터의 프로토콜들을 처리하고, 최종의 오디오 및 비디오 데이터들을 추출하여 각각 주 및 부 서비스채널의 입력버퍼들에 저장한다. In this case, the digital broadcast receiver may select two or more service channels and display them in a multi-screen as described above. The digital broadcast receiver may have a
그러면 복호부130은 상기 각 입력버퍼520 및 525들에 저장된 주 및 부 서비스채널의 데이터들을 프레임 단위로 억세스하여 복호한다. 이때 상기 복호부130은 오디오 복호기590 및 비디오 복호기500으로 구성되며, 상기 비디오복호기500은 1 프레임 구간에서 상기 주 및 부 서비스채널의 비디오 프레임 데이터들을 복호한다. 즉, 상기 비디오 복호기500은 1프레임 구간에서 적어도 두개의 비디오 프레임 데이터들을 복호하며, 여기서 상기 두개의 비디오 프레임 데이터는 주 및 부 서비스채 널의 비디오 프레임 데이터가 될 수 있다. 이때 상기 비디오복호기500은 리사이징 기능을 구비하는 복호기가 될 수 있으며, 이런 경우 상기 비디오 복호기500은 상기 부 서비스채널의 비디오 데이터를 리사이징하여 복호할 수도 있다. The
이후 다중화면처리부140은 상기 복호부130에서 출력되는 주 서비스채널의 비디오 데이터 및 부 서비스채널의 설정된 프레임의 비디오 데이터들을 다중화하여 다중화면을 생성한다. 이때 상기 다중화면을 생성하는 방법은 상기 주 및 부 서비스채널의 표시화면 크기를 동일하게 조절하는 방법이다. 이런 경우 표시되는 다중화면은 주화면과 부화면의 크기가 동일할 수 있다. 또한 상기 부 서비스채널의 화면크기는 사용자에 의해 결정될 수 있으며, 또한 미리 설정된 크기로 고정될 수 있다. 이런 경우 상기 부 서비스채널의 비디오 데이터는 상기 부화면 표시크기로 리사이징되어야 한다. 이때 상기 리사이징은 부 서비스채널의 비디오 데이터의 전체 화소들을 조절하여 리사이징할 수 있으며, 상기 부 서비스채널의 비디오 데이터들에서 설정된 화면 크기의 비디오 데이터들을 선택하여 리사이징할 수도 있다. 또한 상기 부 서비스채널의 화면 표시 위치는 사용자에 의해 결정될 수 있으며, 또한 미리 설정된 위치에 고정시킬 수도 있다. 이런 경우 상기 다중화면처리부140은 상기 부화면의 표시위치를 확인하고, 상기 주 서비스채널의 비디오 데이터를 표시하는 주 화면 영역에서 상기 부화면 영역에 상기 부 서비스채널의 비디오 데이터를 출력하여 표시하도록 한다. Thereafter, the
이때 상기와 같은 다중화면을 표시하는 상태에서 착신호가 발생되면, 상기 제어부100은 상기 착신호에 대한 경보를 발생하게 된다. 이때 사용자는 상기 착신 경보모드를 설정할 수 있으며, 상기 착신호 경보모드에는 일반 착신 경보 및 무음 착신 경보모드가 있다. 상기 일반 착신 경보가 설정되면 상기 제어부100은 상기 스피커155를 통해 설정된 착신 경보음(멜로디, 벨, 음악 등)을 표시하고, 상기 표시부150에는 착신호의 발신가입자 정보를 표시한다. 그리고 상기 무음 착신 경보는 진동 경보 및 표시 경보 등으로 구분될 수 있다. 상기 진동 경보 모드가 설정되면, 상기 착신호 발생시 상기 제어부100은 도시하지 않는 모터를 구동하여 휴대단말기를 진동시키고 상기 표시부150에 상기 착신호의 발신 가입자 정보를 표시한다. 그리고 상기 표시 경보 모드가 설정되면, 상기 착신호 발생시 상기 제어부100은 상기 표시부150에 착신호가 발생되었음을 알리기 위한 메시지와 함께 상기 착신호의 발신가입자 정보를 표시한다. 이때 상기 표시부150에 표시되는 착신 표시는 점멸시켜 표시할 수 있다. 이런 경우, 상기 표시부150에는 상기 주 및 부 서비스채널의 비디오 데이터가 다중화면으로 표시되는 상태에서 상기 착신호 정보가 오버레이되어 표시할 수 있다. 일반적으로 상기 방송모드를 수행하는 상태이면, 사용자는 방송 화면을 시청하는 상태이다. 따라서 상기 방송모드가 설정되면, 상기 휴대단말기의 착신 경보모드를 표시 경보 모드로 자동으로 설정하는 방법을 사용할 수도 있다.At this time, when an incoming call is generated in the state of displaying the multi-screen as described above, the
또한 상기 다중화면을 표시하는 상태에서 휴대단말기의 사용자는 발신호를 발생할 수 있다. 즉, 상기 디지털 방송은 다양한 서비스채널들을 구비하며, 이런 경우 방송 중에 시청자의 요구 또는 응답을 필요로 할 수 있다. 예를들면 쇼핑 서비스채널인 경우, 사용자는 표시되는 상품을 구매하기 위해 리턴 통신채널을 필요로 한다. 그리고 오락 및 게임 등의 서비스채널에서 사용자는 방송되는 프로그램에 직접 참여할 수 있다. 이때 상기 디지털 방송수신기는 단방향 통신을 수행하므로, 상기 무선통신부 190을 통해 필요한 정보를 통신할 수 있도록 하는 것이 바람직하다. 즉, 상기 휴대단말기는 무선통신부190을 통해 통신 기능을 수행할 수 있다. 이때 상기 방송중인 서비스채널과 통신할 수 있는 정보(예를들면 서비스채널에서 해당 프로그램을 처리하는 부서의 전화번호 또는 IP 정보 등)를 제어부100이 확인할 수 있다. 즉, DVH-H 방식의 디지털 방송수신기를 구비한 경우, 상기 제어부100은 수신되는 ESG 데이터로부터 해당 서비스채널의 프로그램에 관련되는 전화번호, IP 정보들을 확인할 수 있다. 그리고 DMB 방식의 디지털 방송수신기를 구비한 경우, 상기 제어부100은 수신되는 EPG로부터 해당 서비스채널의 프로그램에 관련된 전화번호, IP 정보들을 확인할 수 있다. 따라서 휴대단말기의 사용자가 발신 기능을 선택하면(즉, 통화키를 누르면) 무선통신부190에서 해당 서비스채널과 통신채널을 형성하고, 상기 사용자가 발신 정보(예를들면 구매 정보, vote 등) 발생하면 상기 발신 정보를 상기 방송중인 서비스채널 측에 전송할 수 있다. 그리고 상기 형성된 통신채널을 통해 상기 방송중인 서비스채널의 응답 결과를 확인할 수 있다. In addition, the user of the portable terminal may generate an outgoing signal while displaying the multi-screen. That is, the digital broadcast has various service channels, and in this case, the broadcaster may require a request or response from the viewer during the broadcast. For example, in the case of a shopping service channel, a user needs a return communication channel to purchase a displayed product. In the service channels such as entertainment and games, the user can directly participate in a broadcast program. In this case, since the digital broadcast receiver performs unidirectional communication, it is preferable to communicate necessary information through the
이때 상기 표시부150에서 표시되는 화면은 주 및 부 서비스채널들의 다중화면으로 표시된다. 이런 경우 사용자는 키입력부170을 통해 커서의 위치를 통신하고자 하는 서비스채널의 방송화면 상에 위치시키고 발신 통화기능을 요구할 수 있다. 이런 경우 상기 제어부100은 상기한 바와 같이 표시부150에 표시되는 주 및 부 서비스채널의 방송 화면의 위치를 알 수 있다. 따라서 사용자가 표시부150 상에 표시되는 다중화면의 특정 위치에 커서를 위치시키고 발신 통신 기능을 요구하면, 상기 제어부100은 상기 표시부100의 상의 커서 위치를 확인한 후 방송중인 서비스채널 및 프로그램 정보를 확인하며, 이후 상기 서비스채널의 프로그램에 대응되는 통신 정보(예를들면 전화번호, IP 등)에 따른 다이알링 동작을 수행할 수 있다. In this case, the screen displayed on the
상기와 같이 방송모드에서 발신모드를 수행하게 되면, 사용자는 실시간으로 시청중인 서비스채널과 통신 기능을 수행할 수 있다. When the call mode is performed in the broadcast mode as described above, the user may perform a communication function with the service channel being viewed in real time.
또한 상기와 같이 다중화면을 표시하는 상태에서 시청 중인 부 서비스채널을 주 서비스채널로 변경하는 경우, 상기 제어부100은 상기 복호부130을 제어하여 상기 변경된 주 서비스채널의 복호된 비디오 데이터를 주 서비스채널의 출력버퍼610에 저장하는 동시에 복호된 오디오 데이터를 오디오 출력버퍼에 저장한다. 그리고 상기 변경된 부 서비스채널의 복호된 비디오 데이터를 부 서비스채널의 출력버퍼611에 저장한다. 그러면 상기 다중화면처리부140은 상기 변경된 주 및 부 서비스채널의 비디오 데이터를 다중화면으로 처리하여 상기 표시부150에 표시하게 되며, 스피커155에서 변경된 주 서비스채널의 오디오가 재생된다. 따라서 다중화면 표시시 서비스채널의 변경을 신속하게 수행할 수 있다. In addition, when the sub-service channel being watched is changed to the main service channel while the multi-screen is displayed as described above, the
또한 상기와 같이 다중화면을 표시하는 상태에서 시청중인 부 서비스채널을 변경하는 경우, 변경된 부 서비스채널의 버스트 데이터를 수신할 때 까지 부 서비스채널의 화면을 변경할 수 없다. 이런 경우 상기 변경된 부 서비스채널의 버스트 데이터가 수신될 때 까지 현재의 부 서비스채널의 비디오 데이터를 표시할 수 있다. 또한 상기 변경된 부 서비스채널의 버스트 데이터가 수신될 때 까지 상기 부 서비스채널의 비디오 데이터 표시를 생략하고 주 서비스채널의 비디오 데이터를 표시할 수 있다. 또한 상기 변경된 부 서비스채널의 버스트 데이터가 수신될 때 까지 상기 ESG 데이터에 포함된 상기 변경된 부 서비스채널의 데이터(예를들면 해당 서비스채널의 로고, JPEG 영상, MPEG 영상, 해당 시간에 방송되는 프로그램의 정보 등)를 표시할 수도 있다.In addition, when the sub-service channel being viewed is changed while the multi-screen is displayed as described above, the screen of the sub-service channel cannot be changed until the burst data of the changed sub-service channel is received. In this case, video data of the current secondary service channel may be displayed until burst data of the changed secondary service channel is received. In addition, until the burst data of the changed sub service channel is received, the video data display of the sub service channel may be omitted and the video data of the main service channel may be displayed. In addition, the data of the changed sub-service channel (for example, the logo of the corresponding service channel, a JPEG image, an MPEG image, a program broadcast at a corresponding time) until the burst data of the changed sub-service channel is received. Information, etc.) may be displayed.
상술한 바와 같이, 본 발명의 실시예에 따른 디지털 방송수신기는 두개 이상의 서비스채널들에서 전송되는 방송데이터를 하나의 화면에 다중화면으로 표시할 수 있는 이점이 있다. 이때 상기 다중화면을 표시하는 방법은 복수의 방송신호를 균일한 크기의 화면으로 분할하여 표시할 수 있으며, 특성 서비스채널의 방송화면에 다른 방송화면을 PIP 형태로 표시할 수 있다. 또한 상기와 같은 디지털 방송수신기를 포함하는 휴대단말기의 경우, 사용자의 선택에 다중화면으로 표시되는 특정 서비스채널을 선택하면 통신 기능을 수행하여 통신 채널을 형성할 수 있으며, 이로인해 사용자와 서비스 채널 간의 인터랙티브(interactive) 통신 기능을 수행할 수 있다. 그리고 상기 다중화면을 표시하는 상태에서 상기 부 서비스채널을 주 서비스채널로 변경하면, 실시간으로 이를 변경하여 표시할 수 있으며, 따라서 서비스채널의 변경이 용이한 이점이 있다.As described above, the digital broadcast receiver according to the embodiment of the present invention has an advantage in that it is possible to display broadcast data transmitted from two or more service channels on a single screen in multiple screens. In this case, the multi-screen display method may display a plurality of broadcast signals by dividing them into a screen having a uniform size, and may display another broadcast screen in a PIP form on a broadcast screen of a specific service channel. In addition, in the case of the portable terminal including the digital broadcast receiver as described above, selecting a specific service channel displayed on the multi-screen in the user's selection can perform a communication function to form a communication channel, which is because An interactive communication function can be performed. When the sub service channel is changed to the main service channel in the state of displaying the multi-screen, the sub service channel can be changed and displayed in real time, and thus the service channel can be easily changed.
Claims (38)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060064635A KR101303258B1 (en) | 2006-07-10 | 2006-07-10 | Device and method for displaying multi-screen in digital broadcasting receiver |
EP07013315.2A EP1879382B1 (en) | 2006-07-10 | 2007-07-06 | Multi-screen display apparatus and method for digital broadcast receiver |
US11/827,045 US8949924B2 (en) | 2006-07-10 | 2007-07-09 | Multi-screen display apparatus and method for digital broadcast receiver |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060064635A KR101303258B1 (en) | 2006-07-10 | 2006-07-10 | Device and method for displaying multi-screen in digital broadcasting receiver |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080005814A KR20080005814A (en) | 2008-01-15 |
KR101303258B1 true KR101303258B1 (en) | 2013-09-02 |
Family
ID=39215856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060064635A KR101303258B1 (en) | 2006-07-10 | 2006-07-10 | Device and method for displaying multi-screen in digital broadcasting receiver |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101303258B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101463567B1 (en) * | 2008-07-02 | 2014-11-20 | 엘지이노텍 주식회사 | Implementation equipment for pip function using single tuner of digital television |
KR102113759B1 (en) * | 2014-09-22 | 2020-06-02 | 전자부품연구원 | Apparatus and method for processing Multi-channel PIP |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030064595A (en) * | 2002-04-22 | 2003-08-02 | 주식회사 라딕스 | Broadcasting Receiver Including Picture In Picture Function |
KR20050081416A (en) * | 2004-02-13 | 2005-08-19 | 엘지전자 주식회사 | System decoder in digital tv |
JP2006033691A (en) | 2004-07-21 | 2006-02-02 | Nec Corp | Mobile terminal with television broadcast receiving function |
KR20060080114A (en) * | 2005-01-04 | 2006-07-07 | 삼성전자주식회사 | Method for displaying information of digital broadcasting and apparatus thereof |
-
2006
- 2006-07-10 KR KR1020060064635A patent/KR101303258B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030064595A (en) * | 2002-04-22 | 2003-08-02 | 주식회사 라딕스 | Broadcasting Receiver Including Picture In Picture Function |
KR20050081416A (en) * | 2004-02-13 | 2005-08-19 | 엘지전자 주식회사 | System decoder in digital tv |
JP2006033691A (en) | 2004-07-21 | 2006-02-02 | Nec Corp | Mobile terminal with television broadcast receiving function |
KR20060080114A (en) * | 2005-01-04 | 2006-07-07 | 삼성전자주식회사 | Method for displaying information of digital broadcasting and apparatus thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20080005814A (en) | 2008-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100850577B1 (en) | Device and method for processing multi-data in terminal having digital broadcasting receiver | |
EP1879382B1 (en) | Multi-screen display apparatus and method for digital broadcast receiver | |
JP4423263B2 (en) | Transmission method and apparatus for portable terminal | |
US8848112B2 (en) | Fast channel switching method and apparatus for digital broadcast receiver | |
US20070110105A1 (en) | Apparatus and a method for receiving a multiplexed broadcast signal carrying a plurality of services | |
KR100793736B1 (en) | Digital broadcasting receiver for simultaneously displaying multi-channel video | |
US20090241163A1 (en) | Broadcast picture display method and a digital broadcast receiver using the same | |
US20080082997A1 (en) | Method and system for displaying digital broadcast data | |
JP5605572B2 (en) | Display device, communication device, display method, and program recording medium | |
US20080069521A1 (en) | Broadcast system, and its distribution device and terminal device | |
KR101303258B1 (en) | Device and method for displaying multi-screen in digital broadcasting receiver | |
KR20060113523A (en) | Device and method for executing data in digital broadcasting receiver | |
JP2003283450A (en) | Contents transmission reception system, receiver, contents transmission system, program, and recording medium for the program | |
EP2175643A1 (en) | Personal recording apparatus and control method thereof | |
KR20080005815A (en) | Device and method for displaying multi-screen in digital broadcasting receiver | |
EP1718076B1 (en) | Mobile terminal for selectively storing video call data and video call data storing method therefor | |
JP5394248B2 (en) | Digital broadcast receiver | |
KR101229896B1 (en) | Device and method for scanning channel of digital broadcasting receiver with multi-frequency channel | |
KR101304888B1 (en) | Device and method for scanning channel of digital broadcasting receiver with multi-frequency channel | |
KR101358709B1 (en) | Device and method for scanning service channel of digital broadcasting receiver | |
KR101262949B1 (en) | Device and method for scanning channel of digital broadcasting receiver | |
JP2001148816A (en) | Composition image broadcast device and receiver | |
KR20080058993A (en) | Device and method for displaying video data in digital broadcasting receiver | |
KR20070078621A (en) | Device and method for processing of muli-data in terminal having digital broadcasting receiver | |
EP2106120B1 (en) | Broadcast picture display method and a digital broadcast receiver using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160728 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |