KR100997166B1 - 디코딩 장치 및 디코딩 방법 - Google Patents

디코딩 장치 및 디코딩 방법 Download PDF

Info

Publication number
KR100997166B1
KR100997166B1 KR20047002442A KR20047002442A KR100997166B1 KR 100997166 B1 KR100997166 B1 KR 100997166B1 KR 20047002442 A KR20047002442 A KR 20047002442A KR 20047002442 A KR20047002442 A KR 20047002442A KR 100997166 B1 KR100997166 B1 KR 100997166B1
Authority
KR
South Korea
Prior art keywords
frame
image
virtual
stream data
decoding
Prior art date
Application number
KR20047002442A
Other languages
English (en)
Other versions
KR20050012709A (ko
Inventor
가리모토다카시
미즈노마사요시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050012709A publication Critical patent/KR20050012709A/ko
Application granted granted Critical
Publication of KR100997166B1 publication Critical patent/KR100997166B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 멀티뷰 방송에 대응하는 디코딩 처리를 실현하는 디코딩 장치로서, 화상 스트림 데이터마다에 기억 영역을 할당하여 기억시키는 화상 스트림 데이터 기억부(31), 기억 영역에 기억된 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독부(14), 판독된 화상 스트림 데이터를 화상 프레임으로 디코딩하는 디코딩부(33), 화상 프레임을 기억시키는 화상 프레임 기억부(34), 화상 프레임 기억부(34)의 사용 상황을 나타내는 사용 상황 정보를 관리하는 관리 테이블을 기억시키는 관리 테이블 기억부(15), 관리 테이블에 관리된 사용 상황 정보에 따라 화상 프레임 기억부(34)에 화상 프레임을 기억 가능한지 여부를 판정하는 제1 판정부(호스트 CPU)(14), 및 판정 결과에 따라 화상 스트림 데이터 판독부(호스트 CPU)(14)의 화상 스트림 데이터 기억부(31)로부터의 화상 스트림 데이터의 판독을 허가하는 허가부(호스트 CPU)(14)를 구비한다.
Figure R1020047002442
디코딩, 멀티뷰 방송, 화상 스트림 데이터, 화상 프레임, 다중화

Description

디코딩 장치 및 디코딩 방법 {DECODING DEVICE AND DECODING METHOD}
본 발명은 디지털TV 방송에 관한 것으로, 상세하게는 수신한 방송의 화상 스트림 데이터를 화상 스트림 데이터의 종류, 개수 등에 따라 적절하게 디코딩하는 디코딩 장치 및 디코딩 방법에 관한 것이다.
본 출원은 일본에서 2002년 6월 20일에 출원된 일본특허출원번호 제2002-180411호를 기초로 하여 우선권을 주장하는 것이며, 이 출원을 참조하여 본 출원에 원용하였다.
종래, 고품질인 프로그램의 제공, 다채널에 의한 프로그램의 제공 특징을 구비한 방송 서비스를 가능하게 하는 디지털방송 서비스는 방송위성(BS: Broadcasting Satellite), 통신위성(CS: Communications Satellite)을 통한 방송으로서 실현되어 있다.
디지털방송 서비스에서는 고화질 방송(HDTV: High Definition Television)이 서비스의 중심으로 되어있지만, 예를 들면, BS 디지털방송 서비스에서는 고화질 방송을 행하지 않는 시간대에는 멀티뷰(multi-view) 방송이라고 하는 서비스를 행하는 것이 고안되어 있다.
멀티뷰 방송이란 도 1에 도시한 바와 같이 고화질 방송의 대역을 3개의 채널 로 분할하고, 하나의 프로그램 내에서 관련되는 복수의 내용을 종래의 표준화질 방송(SDTV: Standard Definition Television)으로 복수 동시에 방송하는 서비스이다.
예를 들어 멀티뷰 방송을 수신하면, 스포츠 프로그램이나 극장 중계 등에 있어, 3개의 카메라 앵글로부터의 영상을 동시에 시청하거나, 원하는 앵글로부터의 영상만을 시청할 수 있다.
멀티뷰 방송을 시청하는 데에는 멀티뷰 방송을 수신하는 수신 장치로 수신한 모든 디지털표준화질 방송을 디코딩 처리해야 한다.
전술한 바와 같이 디지털방송을 수신하는 수신 장치가 멀티뷰 방송에 대응하기 위해서는 수신한 표준화질 방송을 모두 디코딩 처리해야 한다.
수신 장치는 수신한 디지털방송의 디코딩 처리를 하는 디코더를 멀티뷰 방송의 채널만큼 구비하고 있으면 멀티뷰 방송에 대응할 수 있다.
멀티뷰 방송에 대응시키기 위해, 수신 장치에 구비하는 디코더를 멀티뷰 방송으로 제공되는 표준화질 방송의 채널만큼 준비하는 것은 대단히 비용이 들어가는 문제가 있다. 또, 디코더의 증가와 함께 수신 장치가 커지는 문제도 있다.
본 발명의 목적은 전술한 바와 같은 종래의 멀티뷰 방송을 수신하는 수신 장치가 가지는 문제점을 해소할 수 있는 새로운 디코딩 장치 및 디코딩 방법을 제공함에 있다.
본 발명의 다른 목적은 디코더의 수를 증가시키지 않고, 멀티뷰 방송에 대응한 디코딩 장치 및 디코딩 방법을 제공함에 있다.
전술한 바와 같은 목적을 달성하기 위해 제안되는 본 발명에 관한 디코딩 장치는 입력되는 m개(m은 자연수)의 화상 스트림 데이터에 대하여, 화상 스트림 데이터마다 할당된 기억 영역의 각각에 화상 스트림 데이터를 기억시키는 화상 스트림 데이터 기억 수단, 화상 스트림 데이터 기억 수단에 기억된 m개의 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 수단, 화상 스트림 데이터 판독 수단으로부터 시분할로 판독된 m개의 화상 스트림 데이터를 각각 화상 프레임에 디코딩하는 디코딩 수단, 디코딩 수단에 의해서 디코딩된 화상 프레임을 기억시키는 화상 프레임 기억 수단, 화상 프레임 기억 수단에 화상 프레임을 기억 가능한지 여부를 판정하는 제1 판정 수단, 디코딩 수단으로 화상 스트림 데이터를 디코딩 가능한지 여부를 판정하는 제2 판정 수단, 제1 판정 수단 및 제2 판정 수단에 의한 판정 결과에 따라 화상 스트림 데이터 판독 수단에 의한 화상 스트림 데이터 기억 수단으로부터의 화상 스트림 데이터의 판독을 제어하는 제어 수단, 화상 프레임 기억 수단에 기억된 화상 프레임을 판독하는 화상 프레임 판독 수단, 및 화상 프레임 판독 수단에 의해서 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 수단을 구비한다.
본 발명에 관한 디코딩 방법은 입력되는 m개(m은 자연수)의 화상 스트림 데이터에 대하여, 화상 스트림 데이터마다 할당된 기억 영역의 각각에 화상 스트림 데이터를 기억시키는 화상 스트림 데이터 기억 공정, 화상 스트림 데이터 기억 수단에 기억된 m개의 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 공정, 화상 스트림 데이터 판독 공정에서 시분할로 판독된 m개의 화상 스트림 데이터를 각각 화상 프레임에 디코딩하는 디코딩 공정, 디코딩 공정에 의해서 디코딩된 화상 프레임을 화상 프레임 기억 수단에 기억시키는 화상 프레임 기억 공정, 화상 프레임 기억 수단에 화상 프레임을 기억 가능한지 여부를 판정하는 제1 판정 공정, 디코딩 공정에서 화상 스트림 데이터를 디코딩 가능한지 여부를 판정하는 제2 판정 공정, 제1 판정 공정 및 제2 판정 공정에 의한 판정 결과에 따라 화상 스트림 데이터 판독 공정에서 화상 스트림 데이터 기억 수단으로부터 화상 스트림 데이터의 판독을 제어하는 제어 공정, 화상 프레임 기억 수단에 기억된 화상 프레임을 판독하는 화상 프레임 판독 공정, 및 화상 프레임 판독 공정에 의해서 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 공정을 구비한다.
본 발명에 관한 다른 디코딩 장치는 m개(m은 자연수)의 화상 스트림 데이터가 다중화된 다중화 스트림을 입력하는 입력 수단, 입력 수단에 입력된 다중화 스트림을 m개의 화상 스트림 데이터로 분리하는 분리 수단, 분리 수단으로 분리된 m개의 화상 스트림 데이터에 대하여 화상 스트림 데이터마다 할당된 기억 영역의 각각에 화상 스트림 데이터를 기억시키는 화상 스트림 데이터 기억 수단, 화상 스트림 데이터 기억 수단에 기억된 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 수단, 화상 스트림 데이터 판독 수단으로부터 판독된 m개의 화상 스트림 데이터를 각각 화상 프레임에 디코딩하는 디코딩 수단, 디코딩 수단에 의해서 디코딩된 화상 프레임을 기억시키는 화상 프레임 기억 수단, 화상 프레임 기억 수단에 화상 프레임을 기억 가능한지 여부를 판정하는 제1 판정 수단, 디코딩 수단 으로 화상 스트림 데이터를 디코딩 가능한지 여부를 판정하는 제2 판정 수단, 제1 판정 수단 및 제2 판정 수단에 의한 판정 결과에 따라 화상 스트림 데이터 판독 수단에 의한 화상 스트림 데이터 기억 수단으로부터의 화상 스트림 데이터의 판독을 제어하는 제어 수단, 화상 프레임 기억 수단에 기억된 화상 프레임을 판독하는 화상 프레임 판독 수단, 및 화상 프레임 판독 수단에 의해서 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 수단을 구비한다.
본 발명에 관한 다른 디코딩 방법은 m개(m은 자연수)의 화상 스트림 데이터가 다중화된 다중화 스트림을 입력하는 입력 공정, 입력 공정에서 입력된 다중화 스트림을 m개의 화상 스트림으로 분리하는 분리 공정, 분리 공정에서 분리된 m개의 화상 스트림 데이터에 대하여 화상 스트림 데이터마다 할당된 기억 영역의 각각에 화상 스트림 데이터를 기억시키는 화상 스트림 데이터 기억 공정, 화상 스트림 데이터 기억 수단에 기억된 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 공정, 화상 스트림 데이터 판독 수단으로부터 판독된 m개의 화상 스트림 데이터를 각각 화상 프레임에 디코딩하는 디코딩 공정, 디코딩 공정에 의해서 디코딩된 화상 프레임을 화상 프레임 기억 수단에 기억시키는 화상 프레임 기억 공정, 화상 프레임 기억 수단에 화상 프레임을 기억 가능한지 여부를 판정하는 제1 판정 공정, 디코딩 공정에서 화상 스트림 데이터를 디코딩 가능한지 여부를 판정하는 제2 판정 공정, 제1 판정 공정 및 제2 판정 공정에 의한 판정 결과에 따라 화상 스트림 데이터 판독 공정에서의 화상 스트림 데이터 기억 수단으로부터의 화상 스트 림 데이터의 판독을 제어하는 제어 공정, 화상 프레임 기억 수단에 기억된 화상 프레임을 판독하는 화상 프레임 판독 공정, 및 화상 프레임 판독 공정에 의해서 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 공정을 구비한다.
본 발명의 또 다른 목적, 본 발명에 의해서 얻어지는 구체적인 이점은 이하에서, 도면을 참조하여 설명되는 실시예의 설명으로부터 한층 명확해질 것이다.
도 1은 멀티뷰 방송을 설명하기 위한 도면이다.
도 2는 본 발명을 적용한 기록재생 장치의 사용 형태를 나타내는 도면이다.
도 3은 본 발명을 적용한 기록재생 장치의 주요부 구성을 나타내는 블록도이다.
도 4는 본 발명을 적용한 기록재생 장치를 구성하는 MPEG 비디오 디코더를 나타내는 블록도이다.
도 5는 본 발명을 적용한 기록재생 장치에 있어서, MPEG 비디오 디코더에 하나의 HD 스트림이 공급된 경우의 코드 버퍼, 셀렉터의 상태를 나타내는 도면이다.
도 6은 본 발명을 적용한 기록재생 장치에 있어서, MPEG 비디오 디코더에 하나의 SD 스트림이 공급된 경우의 코드 버퍼, 셀렉터의 상태를 나타내는 도면이다.
도 7은 본 발명을 적용한 기록재생 장치에 있어서, MPEG 비디오 디코더에 2개의 SD 스트림이 공급된 경우의 코드 버퍼, 셀렉터의 상태를 나타내는 도면이다.
도 8은 본 발명을 적용한 기록재생 장치에 있어서, MPEG 비디오 디코더에 3 개의 SD 스트림이 공급된 경우의 코드 버퍼, 셀렉터의 상태를 나타내는 도면이다.
도 9는 본 발명을 적용한 기록재생 장치에 있어서, MPEG 비디오 디코더의 동작을 나타내는 플로차트이다.
도 10은 MPEG 비디오 디코더의 디코딩 처리 동작을 나타내는 플로차트이다.
도 11은 가상 프레임을 해방할 때의 동작을 나타내는 플로차트이다.
도 12 (A)는 본 발명을 적용한 기록재생 장치에서 프레임 메모리의 전체 메모리 영역을 설명하기 위한 도면이고, 도 12 (B)는 프레임 메모리를 SD용으로서 정의한 경우의 메모리 영역을 나타내는 도면이고, 도 12 (C)는 프레임 메모리를 HD용으로서 정의한 경우의 메모리 영역을 나타내는 도면이다.
도 13은 프레임 메모리와 가상 프레임의 대응에 대하여 설명하기 위한 도면이다.
도 14는 가상 프레임의 일례를 나타내는 도면이다.
도 15는 멀티뷰 방송을 디코딩할 때의 가상 프레임을 이용한 호스트 CPU의 관리 동작을 나타내는 플로차트이다.
도 16은 도 15에 나타내는 플로차트의 동작을 설명할 때에 사용한 가상 프레임의 일례를 나타내는 도면이다.
도 17은 본 발명을 적용한 기록재생 장치에 있어서, 고화질 방송을 디코딩할 때의 가상 프레임을 이용한 호스트 CPU의 관리 동작에 대하여 설명하기 위한 플로차트이다.
이하, 본 발명에 관한 디코딩 장치 및 디코딩 방법을 도면을 참조하여 상세하게 설명한다. 본 발명은 도 2에 도시한 바와 같은 기록재생 장치(100)에 적용된다. 이 기록재생 장치(100)는 도 2에 도시한 바와 같이 텔레비전 수상기(200)와 접속되어 있다.
텔레비전 수상기(200)는 지상파를 수신 가능한 지상파 튜너, BS 튜너, BS 디지털 튜너, CS 튜너, CS 디지털 튜너를 내장하고 있을 수도 있다.
기록재생 장치(100)의 각종 기능은 도 2에 도시한 바와 같이 원격제어기(300)에 의해서 원격 조작이 가능하다. 또, 이 원격제어기(300)는 텔레비전 수상기(200)의 각종 기능도 원격 조작이 가능하다.
본 발명을 적용한 기록재생 장치(100)는 기록 매체에 고화질 방송을 압축 없이 영상 신호, 음성 신호, 각종 데이터를 기록하는 것이 가능한 기록재생 장치이다. 또한 기록재생 장치(100)는 후술하는 바와 같이 디지털 튜너를 내장하고 있어, 예를 들면 BS 디지털방송으로 제공되는 고화질 방송을 수신하고, 수신한 고화질 방송을 전술한 바와 같이 기록 매체에 기록할 수 있다.
도 3을 이용하여 기록재생 장치(100)의 주요부 구성에 대해 설명을 한다.
기록재생 장치(100)는 지상파 튜너(1), 입력전환 회로(2), YC 분리 회로(3)와, 입력전환 회로(4), NTSC(National Television System Standard Committee) 디코더(5), 동기제어 회로(6), 프리(pre)영상신호처리 회로(7), MPEG(Moving Picture Experts Group) 비디오 엔코더(8), 음성 A/D 변환기(9), MPEG 오디오 엔코더(10), 디지털 튜너(11), 다중/분리 회로(MUX/DMX)(12), 기록/재생 처리부(13), 호스트 CPU(14), SDRAM(Synchronous Dynamic Random Access Memory)(15), ROM(Read Only Memory)(16), MPEG 비디오 디코더(17), 포스트(post)영상신호처리 회로(18), OSD(On Screen Display)(19), NTSC 엔코더(20), MPEG 오디오 디코더(21), 전환 회로(22), 음성 D/A 변환기(23), 디지털 IN/OUT(24), 디지털 인터페이스 회로(25), 지상파 EPG용 튜너(26), 및 데이터 슬라이서(27)를 구비한다.
지상파 튜너(1)는 지상파 방송을 수신하고, 수신한 방송의 복합영상 신호와 음성 신호를 입력전환 회로(2)에 공급한다.
입력전환 회로(2)는 지상파 튜너(1)로부터 복합영상 신호와 음성 신호가 공급되고, 외부장치로부터 복합영상 신호와 음성 신호가 공급된다. 입력전환 회로(2)는 호스트 CPU(14)로부터의 지시에 따라, 지상파 튜너(1)로부터 공급되는 복합영상 신호와 음성 신호, 또는 외부장치로부터 공급되는 복합영상 신호와 음성 신호의 어느 쪽인 가를 선택한다. 입력전환 회로(2)는 선택한 복합영상 신호를 YC 분리 회로(3)에, 음성 신호를 음성 A/D 변환기(9)에 각각 출력한다.
YC 분리 회로(3)는 입력전환 회로(2)로부터 입력된 복합영상 신호를 YC 분리하고 입력전환 회로(4)에 공급한다.
입력전환 회로(4)는 호스트 CPU(14)로부터의 지시에 따라, 외부 S영상 입력, 또는 YC 분리 회로(3)로부터의 출력을 선택하고, 선택한 신호를 NTSC 디코더(5)에 공급한다.
NTSC 디코더(5)는 입력된 영상 신호에 A/D변환, 크로마(chroma) 엔코딩 처리를 실시하고, 디지털 컴포넌트 비디오 신호(이하, 화상데이터라고 함)로 변환하여, 사전영상신호처리 회로(7)에 공급한다. 또, NTSC 디코더(5)는 입력영상 신호의 수평동기 신호를 기준으로 생성한 클록, 동기 분리하여 얻은 수평동기 신호, 수직동기 신호, 필드판별 신호를 동기제어 회로(6)에 공급한다.
동기제어 회로(6)에서는 수평동기 신호, 수직동기 신호, 필드판별 신호를 기준으로 하여, 후술하는 각 블록에 필요한 타이밍으로 변환한 클록, 동기 신호를 생성하고, 기록재생 장치(100)를 구성하는 각 블록에 공급한다.
사전영상신호처리 회로(7)에서는 NTSC 디코더(5)로부터 공급된 화상데이터에 프리필터링(pre-filtering) 등의 각종 영상신호처리를 실시하여, MPEG 비디오 엔코더(8)와 포스트영상신호처리 회로(18)에 공급한다.
MPEG 비디오 엔코더(8)는 사전영상신호처리 회로(7)로부터 공급된 화상데이터에 블록 DCT(Discrete Cosine Transform: 이산 코사인 변환) 등의 부호화 처리를 실시하고, 화상의 ES(Elementary Stream)를 생성하고, 다중/분리 회로(12)에 공급한다. 또, 본 실시예에서는 압축 방식으로서 MPEG를 채용하고 있지만, 다른 압축 방식일 수도 있고, 비압축이라도 상관없다.
음성 A/D 변환기(9)는 입력전환 회로(2)로 선택된 음성 신호를 디지털 음성 신호로 변환하여, MPEG 오디오 엔코더(10)에 공급한다.
MPEG 오디오 엔코더(10)는 공급된 디지털 음성 신호를 MPEG 포맷에 따라서 압축한 후 음성의 ES를 생성하고, 영상 신호와 마찬가지로 다중/분리 회로(12)에 공급한다. 또, 본 실시예에서는 압축 방식으로서 MPEG를 채용하고 있지만, 다른 압축 방식일 수도 있고, 비압축이라도 상관없다.
디지털 튜너(11)는 BS 디지털방송, CS 디지털방송, 지상파 디지털방송을 수신하는 튜너이다. BS 디지털방송은 고화질 방송을 중심으로 한 서비스이지만, 표준화질 방송도 제공 가능하게 된다. 예를 들면, BS 디지털방송은 고화질 방송의 프레임을 3개의 표준화질 방송으로 분할하여 동시에 방송하는 다채널 방송이나, 동일하게 고화질 방송의 대역을 3개의 채널로 분할하여 한 프로그램 내에서 관련되어 있는 복수의 내용을 표준화질 방송으로서 복수 동시에 방송하는 멀티뷰 방송을 제공하고 있는 것으로 한다.
디지털 튜너(11)는 예를 들면, MPEG2 트랜스포트 스트림으로 다중화되어 소정의 변조 방식으로 변조되어 송신되는 BS 디지털방송을 수신하고, 수신한 TS 신호를 다중/분리 회로(12)에 공급한다.
또, 지상파 튜너(1) 또는 디지털 튜너(11)로 수신된 NTSC 방식의 영상 신호의 수평 유효 화소수(picture_coding_h_size)가 720 이상, 또는 수직 유효 화소수(picture_coding_v_size)가 480 이상인 경우, 수신한 영상 신호를 고화질 방송(High Definition Television)의 영상 신호, 즉 HD 방식으로 엔코딩된 영상 신호로 한다. 그 이외의 영상 신호는 SD 방식으로 엔코딩된 영상 신호로 한다.
또, 지상파 튜너(1) 또는 디지털 튜너(11)로 수신된 영상 신호가 PAL(Phase Alternation by Line) 방식인 경우, 영상 신호의 수평 유효 화소수가 720 이상, 또는 수직 유효 화소수가 540 이상일 때, 고화질로 방송된 영상 신호, 즉 HD 방식으로 엔코딩된 영상 신호로 한다. 상기 이외의 영상 신호는 SD 방식으로 엔코딩된 영상 신호로 한다.
예를 들면, 일본에서의 BS 디지털방송, CS 디지털방송, 지상파 디지털방송에서는 "ARIB STD-B32「디지털방송에서의 영상 부호화, 음성 부호화 및 다중 방식」, 사단법인 전파산업회, 제5장"에 있어서, 수평 유효 화소수, 수직 유효 화소수, 프레임 속도를 이용하고, 고화질 방송의 영상 신호 및 표준화질 방송의 영상 신호가 규정되어 있다.
구체적으로는, 고화질 방송의 영상 신호는 수평 유효 화소수, 수직 유효 화소수, 프레임 속도를 (수평 유효 화소수 × 수직 유효 화소수; 프레임 속도)로서 나타내면, (1920×1080i; 29.97Hz), (1440×1080i; 29.97Hz), (1280×720p; 59.94Hz), (720×480p; 59.94Hz)로 규정되어 있다.
또, 표준화질 방송의 영상 신호는 (720×480i; 29.97Hz), (544×480i; 29.97Hz, 실영상 데이터의 수평 유효 화소수는 540), (480×480i; 29.97Hz)로 규정되어 있다. BS 디지털방송에서의 강우 대응 방송으로서 저계층 전송되는 영상 신호는 (352×240p; 29.97Hz 이하)로서 규정되고, 표준화질 방송으로 된다.
또, "i" 및 "p"는 각각 "비월(interlace)", "순차(progressive)" 주사 방식을 나타내고 있다.
또, 미국에서의 ATSC(Advanced TV System Committee) 지상파 방송, ATSC 케이블 방송에서는 "ATSC Standard A/53B with Amendment 1: ATSC Digital Television Standard, Rev. B Annex A, Table-A3"에 있어서, 수평 유효 화소수, 수직 유효 화소수, 프레임 속도를 이용하고, 고화질 방송의 영상 신호로 규정되어 있다.
구체적으로는 고화질 방송의 영상 신호는 수평 유효 화소수, 수직 유효 화소수, 프레임 속도를 (수평 유효 화소수×수직 유효 화소수; 프레임 속도)로 나타내면, (1920×1080p; 23.976, 24, 29.97, 30Hz), (1920×1080i; 29.97, 30Hz), (1280×720p; 23.976, 24, 29.97, 30, 59.94, 60Hz), (704×480p; 23.976, 24, 29.97, 30, 59.94, 60Hz), (704×480i; 29.97, 30Hz), (640×480p; 23.976, 24, 29.97, 30, 59.94, 60Hz), (640×480i; 29.97, 30Hz)로 규정되어 있다.
다중/분리 회로(12)에서는 후술하는 기록 매체(50)에의 기록 시에는 영상 ES와 음성 ES 및 각종 제어 신호의 다중화 처리를 실시한다. 다중/분리 회로(12)는 입력된 MPEG 영상 ES, MPEG 음성 ES, 및 각종 제어 신호를 합쳐, 다중화 처리(예를 들면 MPEG 시스템의 트랜스포트 스트림의 생성), 버퍼 제어 처리를 실시하고, 기록/재생 처리부(13)에 출력한다.
버퍼 제어 처리란, 연속적으로 입력되는 TS를 후단의 기록/재생 처리부(13)에 단속적으로 보내기 위한 제어를 행하는 것이다. 예를 들면, 기록/재생 처리부(13)가 기록 매체(50)의 탐색 동작을 행하고 있을 때는 TS의 기록을 할 수 없기 때문에, 버퍼에 TS를 일시적으로 축적하고, 기록이 가능할 때는 입력의 속도보다 높은 속도로 기록을 행함으로써, 연속적으로 입력되는 TS 신호를 도중에서 끊기는 일없이 기록을 행한다.
다중/분리 회로(12)는 후술하는 기록 매체(50)의 재생 시에는 기록/재생 처리부(13)에서 재생되어 단속적으로 공급되는 TS(Transport Stream)를 연속적이 되도록 버퍼 제어를 행한 후, 분리 처리를 행한다. 다중/분리 회로(12)의 분리 처리 에서는 TS로부터 PES(Packetized Elementary Stream)를 추출하고, 또한 영상 ES와 음성 ES로 분리한 후, MPEG 비디오 디코더(17)와 MPEG 오디오 디코더(21)에 공급한다.
디지털 튜너(11)는 디지털방송을 수신하고 TS 신호에 실시된 디지털방송 특유의 스크램블을 해제한 후, 다중/분리 회로(12)에 TS를 공급하는 다중/분리 회로(12)는 공급되는 TS 신호로부터 PES를 추출하고 기록 매체(50)를 재생했을 때와 마찬가지로 다시 영상 ES와 음성 ES로 분리한 후, 각각을 MPEG 비디오 디코더(17)와 MPEG 오디오 디코더(21)에 공급한다.
다중/분리 회로(12)는 상술한 분리 처리를 실행할 때, TS에 다중화되어 있는 방송 프로그램을 구성하는 영상이나 음성, 관련 정보 등의 서비스가 수용되어 있는 TS 패킷의 PID를 기술한 PMT(Program Map Table)라고 하는 PSI(Program Specific Information)를 취득하고, 취득한 PSI를 호스트 CPU(14)에 출력한다.
취득한 PSI 정보로부터, 호스트 CPU(14)는 추출한 PES가 고화질 방송의 스트림인 HD 스트림인지, 표준화질 방송의 스트림인 SD 스트림인지, 또한 SD 스트림인 경우 그 송신되는 SD 스트림의 개수는 몇 개인지를 검출할 수 있다.
또, 다중/분리 회로(12)는 상기 다중/분리 회로(12)에 내장된 각종 정보의 구문분석(parsing) 기능에 의해, BS 신호에 삽입되어 있는 전자 프로그램 정보(EPG)를 발췌하여 호스트 CPU(14)에 공급한다. 호스트 CPU(14)에서는 이 EPG 신호의 해석을 행하고, GUI 상에 프로그램 정보의 표시 등을 행한다.
기록/재생 처리부(13)는 기록 매체(50)에의 데이터 기록 처리, 기록 매체(50)에 기록된 데이터의 재생 처리를 행한다. 기록 매체(50)는 도시하지 않은 상기 기록재생 장치의 장착부에 장착 가능한 광디스크, 광자기디스크, 고체메모리 등이나, 상기 기록재생 장치에 미리 탑재된 HDD(Hard Disk Drive) 등이다. 기록/재생 처리부(13)는 다중/분리 회로(12)로부터 공급되는 TS를 기록 매체(50)에 기록하고, 기록 매체(50)로부터 재생한 TS를 다중/분리 회로(12)에 출력한다.
호스트 CPU(14)는 상기 기록재생 장치(100)의 모든 기능 블록을 총괄적으로 제어한다. 또, 호스트 CPU(14)는 호스트 버스를 통하여, 필요에 따라 SDRAM(15), ROM(16)에 액세스하여 시스템 전체의 제어를 행한다.
MPEG 비디오 디코더(17)는 입력된 영상 ES에 디코딩 처리를 실시하고, 베이스 밴드의 화상데이터를 취득하여, 포스트영상신호처리 회로(18)에 공급한다. MPEG 비디오 디코더(17)의 구성 및 동작에 관해서는 후에 상세하게 설명한다.
포스트영상신호처리 회로(18)는 도시하지 않은 전환 회로, 필드순회형 노이즈 리듀서, 움직임 검출, 영상신호보간처리 회로 등으로 구성되어 있고, MPEG 비디오 디코더(17)로부터 공급되는 화상데이터 및 사전영상신호처리 회로(7)로부터 공급되는 화상데이터를 전환한 후, 각종 처리를 실시하여, OSD(19)에 화상데이터를 공급한다.
OSD(19)는 화면표시용 그래픽스 등의 생성을 행하고, 화상데이터에 겹치거나, 부분적으로 표시하는 등의 처리를 실시하여, NTSC 엔코더(20)에 공급한다.
NTSC 엔코더(20)는 입력된 화상데이터(컴포넌트 디지털 신호)를 YC 신호로 변환한 후, D/A 변환을 행하고, 아날로그의 복합영상 신호와 S영상 신호를 취득하 여, 텔레비전 수상기(200)에 구비된 영상입력단자에 입력한다.
MPEG 오디오 디코더(21)는 다중/분리 회로(12)로부터 공급된 음성 ES 신호를 복합 처리하여 베이스 밴드 음성 신호를 취득하고, 전환 회로(22)에 공급한다.
전환 회로(22)는 MPEG 오디오 디코더(21)로부터 공급되는 음성데이터 및 음성 A/D 변환기(9)로부터 공급되는 음성데이터의 선택을 행하고, 선택한 음성데이터를 음성 D/A 변환기(23)에 출력한다.
음성 D/A 변환기(23)는 음성데이터를 아날로그 음성 신호로 변환하고, 변환한 아날로그 음성 신호를 텔레비전 수상기(200)에 구비된 음성입력단자에 입력한다.
다음에, 디지털 IN/OUT(24)로부터 공급, 출력되는 신호에 대하여 설명한다. 예를 들면, 외부의 IRD(Integrated Receiver Decoder)부터, IEEE1394와 같은 디지털 인터페이스인 디지털 IN/OUT(24)을 통하여 입력된 신호를 기록하는 경우, 디지털 신호는 디지털 인터페이스 회로(25)에 입력된다.
디지털 인터페이스 회로(25)에서는 본 방식에 적합하도록, 포맷변환 등의 처리를 실시하여 TS를 생성하고, 다중/분리 회로(12)에 공급한다. 다중/분리 회로(12)에서는 다시 제어 신호 등의 해석이나 생성을 행하고, 본 방식에 적응하는 TS로 변환한다.
이것과 동시에 다중/분리 회로(12)로써, 분리 처리를 행하고, MPEG 비디오 디코더(17)에 영상 ES, MPEG 오디오 디코더(21)에 음성 ES를 각각 공급함으로써, 아날로그의 영상, 음성 신호를 얻을 수 있다.
기록 매체(50)를 기록/재생 처리부(13)에서 재생한 경우, 재생된 TS는 전술한 바와 같이 다중/분리 회로(12)에 입력된다. 다중/분리 회로(12)에 입력된 TS는 필요에 따라, 제어 신호의 해석, 생성을 행하고, 디지털 인터페이스 회로(25)에 공급한다. 디지털 인터페이스 회로(25)에서는 기록 시와는 반대의 변환을 행하고, 외부의 IRD에 적합한 디지털 신호로 변환하고, 디지털 IN/OUT(24)을 통하여 출력한다.
이것과 동시에 다중/분리 회로(12)로써, 분리 처리를 행하고, MPEG 비디오 디코더(17), MPEG 오디오 디코더(21)에 PES를 공급함으로써, 아날로그의 영상, 음성 신호를 얻을 수 있다.
본 실시예에서는 IRD와의 접속에 대해 설명했지만, TV 등의 AV 기기나, 퍼스널 컴퓨터와 접속하는 것도 가능하다.
지상파 EPG용 튜너(26)는 호스트 CPU(14)에 의해 제어되고, EPG가 중첩되어 있는 CH(채널)을 수신하여, 수신한 비디오 신호를 데이터 슬라이서(27)에 공급한다.
데이터 슬라이서(27)에서는 입력된 비디오 신호로부터 EPG 데이터를 추출하여, 호스트 CPU(14)에 공급한다. 호스트 CPU(14)에서는 이 EPG 신호의 해석을 행하고, GUI 상에 프로그램 정보의 표시 등을 행한다. BS 디지털이나 지상파 방송으로부터 취득한 EPG 데이터는 프로그램표의 표시뿐 아니라, 타이머기록이나 기록종료 프로그램의 타이틀 표시의 정보로서 사용된다.
계속해서 도 4를 이용하여, 본 발명을 적용한 기록재생 장치(100)에 있어서, 디지털 튜너(11) 또는 기록 매체(50)로부터 다중/분리 회로(12)를 통하여 공급되는 TS를 디코딩하는 MPEG 비디오 디코더(17)의 상세한 구성에 대해 설명을 한다.
MPEG 비디오 디코더(17)는 코드 버퍼(31), 셀렉터(32), 디코딩 코어(33), 프레임 메모리(34), 디스플레이 믹서(35)를 구비하고 있다.
코드 버퍼(31)는 다중/분리 회로(12)로부터 공급된 영상 ES를 복수 화상만큼, 일시적으로 버퍼링하는 버퍼이다. 코드 버퍼(31)는 호스트 CPU(14)의 제어에 의해, 다중/분리 회로(12)로부터 공급되는 영상 ES의 스트림의 개수에 따라서, 상기 코드 버퍼(31)의 버퍼링 영역을 동적으로 변화시키고, 입력되는 각 스트림에 할당할 수 있다.
전술한 바와 같이 BS 디지털방송으로 제공되는 서비스로서 고안되어 있는 멀티뷰 방송을 디지털 튜너(11)에서 수신한 경우, 다중/분리 회로(12)에는 2 또는 3개의 SD 스트림이 다중화된 TS가 공급되게 된다.
TS가 공급된 다중/분리 회로(12)는 TS에 다중화된 PSI를 취득하여, 호스트 CPU(14)에 공급한다. 호스트 CPU(14)는 다중/분리 회로(12)로부터 공급된 PSI로부터 스트림의 타입과 스트림의 개수를 파악하고, 공급되는 영상 ES가 SD 스트림이며 스트림의 개수가 2 또는 3개였던 경우에는 코드 버퍼(31)를 제어하여 버퍼링하는 영역을 동적으로 변화시키고, 각 스트림에 버퍼링 영역을 할당한다.
또, 기록 매체(50)에 기록된 스트림이 재생되어, 다중/분리 회로(12)에 공급된 경우, 스트림 타입, 스트림의 개수 정보는 기록 매체(50)에 구축된 데이터 베이스로부터 취득할 수 있다.
셀렉터(32)는 SD 스트림이 2개 또는 3개인 경우에, 호스트 CPU(14)의 제어에 따라서, 코드 버퍼(31)로부터의 출력을 시분할로 스위칭하여 디코딩 코어(33)에 공급하도록 동작한다.
또, 셀렉터(32)는 HD 스트림이 공급된 경우, 및 SD 스트림이 단독으로 공급된 경우에는 코드 버퍼(31)로부터의 출력을 스위칭 동작 없이 디코딩 코어(33)에 공급한다.
예를 들면, MPEG 비디오 디코더(17)에 하나의 HD 스트림이 공급된 경우, 또는 하나의 SD 스트림이 공급된 경우는 각각 도 5, 도 6에 나타낸 바와 같이 된다.
또, MPEG 비디오 디코더(17)에 2개의 SD 스트림, 또는 3개의 SD 스트림이 공급된 경우는 각각 도 7, 도 8에 나타낸 바와 같이 된다. 이 경우, 코드 버퍼(31)의 버퍼링 영역은 입력되는 스트림마다 할당되어 있고, 셀렉터(32)도 디코딩 코어(33)에의 입력을 시분할로 제어하도록 동작한다.
스트림의 식별은 PID에 의해서 이루어져, 다중/분리 회로(12)로부터 코드 버퍼(31)에 공급되는 2개 또는 3개의 SD 스트림도 PID에 따라 소정의 버퍼링 영역으로 공급된다.
디코딩 코어(33)는 코드 버퍼(31)로부터 프레임 단위로 공급되는 HD 스트림, SD 스트림을 MPEG 디코딩 처리하여 화상데이터를 생성한다. 생성된 화상데이터는 후단의 프레임 메모리(34)에 공급된다.
또, 이하의 설명에서는 디코딩 코어(33)에 의해서 디코딩 처리된 HD 스트림을 HD 프레임이라고 부르고, 마찬가지로 디코딩 코어(33)에 의해서 디코딩 처리된 SD 스트림을 SD 프레임이라고 부른다.
프레임 메모리(34)는 소정의 기억 용량, 예를 들어 SD 프레임이면 16프레임, HD 프레임이면 4프레임을 기억 가능한 기억 용량으로 구비하고 있다. 프레임 메모리(34)는 디코딩 코어(33)에서 디코딩된 HD 프레임, SD 프레임을 호스트 CPU(14)의 제어에 따라 소정의 메모리 영역에 일시적으로 기억한다. 또, 기억된 HD 프레임, SD 프레임은 마찬가지로 호스트 CPU(14)의 제어에 따라 판독되고, 후단의 디스플레이 믹서(35)에 출력된다.
디코딩 코어(33)에서 디코딩 처리되어 프레임 메모리(34)에 기억되는 SD 프레임, HD 프레임은, 호스트 CPU(14)에 따라 프레임 메모리(34)의 어느 메모리 영역에 기억되어 있는 것인지가 관리된다.
디스플레이 믹서(35)는 호스트 CPU(14)에 의해서 프레임 메모리(34)로부터 판독된 HD 프레임, SD 프레임의 상기 기록재생 장치(100)로부터, 예를 들면 텔레비전 수상기(20O)에 출력되었을 때의 위치 결정을 호스트 CPU(14)의 제어에 따라 실행하여, 포스트영상신호처리 회로(18)에 공급한다. 특히, ES 디지털방송에 있어서, 제공되는 멀티뷰 방송을 디지털 튜너(11)에서 수신한 경우에는 최대로 3개의 프레임이 동일한 화면상에 적절하게 배치되도록 호스트 CPU(14)의 제어에 따라 위치 결정을 행한다.
도 4에 구성을 나타내는 MPEG 비디오 디코더(17)에서의 디코딩 처리는 디코딩 코어(33)에서 단순히 스트림을 디코딩하는 처리를 나타내는 것이 아니고, 디코딩 코어(33)에서 디코딩된 스트림을 프레임으로서 프레임 메모리(34)에 격납하는 것을 포함하고 있다.
따라서, MPEG 비디오 디코더(17)에서 디코딩 처리를 실행하는 데에는 프레임 메모리(34)의 메모리 영역의 관리, 즉 디코딩 코어(33)에서 디코딩된 프레임이 프레임 메모리(34)의 어느 메모리 영역에 기억되는 가의 관리까지가 필요하게 된다. 디코딩 코어(33)에서 스트림을 디코딩하는 데에는 프레임 메모리(34)에 빈 영역이 없는 한 실행되는 것은 없다.
구체적으로는, 호스트 CPU(14)가 SDRAM(15)에 프레임 메모리(34)의 사용 상황을 일괄해서 관리하기 위한 관리 테이블을 준비하고, 이 관리 테이블을 참조하면서 프레임 메모리(34)의 빈 메모리 영역을 관리하여, 디코딩 코어(33)에서의 디코딩 처리를 제어한다. 또, 호스트 CPU(14)는 SDRAM(15)에 준비된 관리 테이블을 참조하면서 프레임 메모리(34)에 격납된 프레임의 출력도 제어한다.
예를 들어 HD 스트림 또는 SD 스트림이 단독으로 코드 버퍼(31)에 공급되는 경우에는, 호스트 CPU(14)는 프레임 메모리(34)에 먼저 격납된 프레임부터 순서대로 출력을 하고, 프레임 메모리(34)의 빈 메모리 영역을 확보하여 디코딩 코어(33)에 디코딩 허가를 하면 된다.
멀티뷰 방송에서의 디코딩 처리에서는 디코딩 코어(33)를 시분할에 사용하여 코드 버퍼(31)에 공급되는 2 또는 3개의 SD 스트림으로부터 SD 프레임을 생성한다. 생성된 각각의 SD 프레임을 구성하는 SD 프레임은 프레임 메모리(34)에 기억된다. 여기에서 2프레임 또는 3프레임의 SD 프레임은 프레임 메모리(34)로부터 동시에 출력될 필요가 있다.
따라서, 프레임 메모리(34)의 메모리 영역에는 디코딩 코어(33)에서 디코딩된 다른 채널의 SD 프레임이 복수 개 기억되기 때문에, 호스트 CPU(14)는 채널을 구별하기 위한 정보나, 프레임 메모리(34)로부터 출력하는 시간 정보 등을 파악하지 않으면 안 된다.
따라서, 전술한 바와 같이 호스트 CPU(14)는 관리 테이블을 준비하여 프레임 메모리(34)의 사용 상황을 관리하는 것이 요구된다. 호스트 CPU(14)가 SDRAM(15)에 준비하는 관리 테이블을 가상 프레임이라고도 부른다.
호스트 CPU(14)에 의해 SDRAM(15)에 구축되는 관리 테이블인 가상 프레임은 프레임 메모리(34)의 메모리 영역에 대응하고 있고, 프레임 메모리(34)의 메모리 영역에의 프레임 격납 상황 등이 반영되어, 정보로서 유지되어 있다.
호스트 CPU(14)는 SDRAM(15)에 전개된 관리 테이블인 가상메모리에 따라, 디코딩 코어(33)에 디코딩의 실행 허가를 하거나, 프레임 메모리(34)에 격납되어 있는 프레임의 출력을 제어함으로써, MPEG 비디오 디코더(17)에서의 디코딩 처리를 정확하게 실행시킬 수 있다.
호스트 CPU(14)는 SDRAM(15)에 전개된 가상 프레임을 이용하여, MPEG 비디오 디코더(17)의 디코딩 처리를 관리할 때, 채널마다, 즉 비디오 디코딩 처리마다 비디오 디코딩 관리부, 가상 프레임 관리부, 표시 관리부로서 기능한다.
비디오 디코딩 관리부는 MPEG 비디오 디코더(17)에 입력된 스트림의 프레임으로의 디코딩 처리를 관리한다. 비디오 디코딩 관리부가 관리하는 디코딩 처리는 프레임 메모리(34)의 빈 영역의 확보로 시작되어, 빈 영역이 확보된 것에 대응한 디코딩 코어(33)에서의 디코딩, 디코딩 코어(33)에서 디코딩되어 프레임 메모리(34)의 빈 영역에 격납되는 프레임의 표시 순서의 결정까지를 말한다. 이러한 호스트 CPU(14)의 비디오 디코딩 관리부로서의 디코딩 처리의 관리는 모두 관리 테이블인 SDRAM(15)에 전개된 가상 프레임을 통하여 실행된다.
예를 들어 비디오 디코딩 관리부는 스트림을 디코딩하는 경우에 가상 프레임의 관리를 실행하는 가상 프레임 관리부에 HD 스트림인지 SD 스트림인지 스트림 타입에 따른, 빈 영역이 있는지 여부를 검색하는 요구를 하고, 가상 프레임에 빈 영역이 존재하는 경우, 상기 빈 영역을 확보하여 그 가상 프레임의 빈 영역에 대응하는 프레임 메모리(34)의 메모리 영역에 화상의 디코딩이 실행되도록 제어를 한다.
비디오 디코딩 관리부는 Slow R, Step R, FR의 디코딩 순서와 표시 순서가 상이한 특수 재생(역방향 재생)의 요구에 따라 표시 순서의 관리도 행한다. 비디오 디코딩 관리부에 의한 표시 순서의 관리도, 관리 테이블인 가상 프레임을 이용하여, 예를 들면 프레임이 격납된 프레임 메모리(34)에 대응하는 가상 프레임에 사용자의 요구에 따른 표시 순서의 번호를 매긴 정보를 부여하는 등으로 표시 순서의 관리를 행한다.
표시 관리부는 비디오 디코딩 관리부에서 결정된 디코딩된 프레임의 표시 순서에 따라 표시 처리를 관리하여 실행한다. 표시 관리부는 표시 처리를 실행할 때, 관리 테이블인 가상 프레임에 기술된 정보를 이용하여 실행한다.
예를 들어 표시 관리부는 VSync 인덱싱마다, 가상 프레임 내에서 표시 가능한 프레임을 검색하여, 표시 조건에 일치되는 프레임을 선택하고 표시한다. 또한 표시 관리부는 표시가 종료된 프레임에 대한 선별을 행하고, 이후 불필요하다고 판단된 가상 프레임을 가상 프레임 관리부에 반환한다. 이에 따라, 그 가상 프레임은 빈 영역이 되고, 프레임 메모리(34)의 메모리 영역에 실제로 격납되어 있던 프레임이 표시됨으로써 프레임 메모리(34)의 메모리 영역이 빈 영역이 된 것과 대응하는 것이 된다.
가상 프레임 관리부는 SDRAM(15)에 전개되어 있는 프레임 메모리(34)의 관리 테이블인 가상 프레임의 관리를 실행한다. 가상 프레임 관리부는 가상 프레임의 관리나, 상기 채널에 있어서 사용 가능한 가상 프레임의 파악 등을 행하고 있다.
예를 들면, 가상 프레임 관리부는 비디오 디코딩 관리부로부터의 가상 프레임에 빈 영역이 있는지 여부에 대한 요구에 따라, 가상 프레임 상에서 빈 영역을 검색하고, 표시 관리부로부터 반환되는 가상 프레임을 해방하는 처리를 실행한다.
전술한 바와 같이 구성되는 MPEG 비디오 디코더(17)는 호스트 CPU(14)에 의한 SDRAM(15)에 전개된 가상 프레임을 이용한 제어에 의해 다중/분리 회로(12)로부터 공급되는 HD 스트림 및 SD 스트림을 HD 프레임 및 SD 프레임에 디코딩하여 출력할 수 있다.
계속해서 도 9, 도 10, 도 11에 나타내는 플로차트를 이용하여, MPEG 비디오 디코더(17)에서의 디코딩 처리 동작에 대해 설명을 한다.
MPEG 비디오 디코더(17)에서의 복수 채널의 디코딩 처리에서는 시분할 디코딩 처리, 프레임 메모리의 공유화 이외는 각 채널에서의 디코딩 처리로서 독립된 동작으로 되어 있다.
따라서, 각 채널의 디코딩 처리는, 실제로는 하나의 디코딩 코어(33)밖에 구비하고 있지 않은 MPEG 비디오 디코더(17) 단일체에서 실행하고 있지만, 채널마다 독립적으로 설치된 복수의 디코더에 의한 처리가 실행되는 모델을 상정하여 디코딩 처리 동작을 설명할 수 있다.
전술한 바와 같이, MPEG 비디오 디코더(17)에서의 디코딩 처리에서는 BS 디지털방송으로 제공되는 멀티뷰 방송에 대응하는 2 또는 3개 채널의 디코딩 처리를 실행하는 경우에도, 독립된 디코더에 의한 처리라고 간주하고 모델화할 수 있기 때문에, 하나의 채널의 디코딩 처리에 대해 설명을 함으로써, MPEG 비디오 디코더(17)의 디코딩 처리 동작의 설명으로 한다.
먼저, 도 9에 나타낸 플로차트의 단계 S1에 있어서, 상기 채널의 비디오 디코딩 관리부는 가상 프레임 관리부에 대하여, MPEG 비디오 디코더(17)에 스트림이 공급됨에 따라서, SDRAM(15)에 전개되어 있는 관리 테이블인 가상 프레임으로부터 디코딩할 때에 필요하게 되는 프레임 수의 가상 프레임을 요구한다. 요구되는 가상 프레임의 수를 요구 가상 프레임 수(req_num[ch])로 한다.
단계 S2에 있어서, 상기 채널의 가상 프레임 관리부는 비디오 디코딩 관리부의 요구에 따라 SDRAM(15)에 전개되어 있는 가상 프레임을 검색하고, 상기 채널에서 사용하고 있는 가상 프레임의 프레임 수(used_num[ch])와, 상기 채널에서 사용 가능하고 또한 사용되고 있지 않는 가상 프레임의 프레임 수(blank_num[ch])를 카운트한다.
단계 S3에 있어서, 가상 프레임 관리부는 상기 채널에서 사용하고 있는 가상 프레임의 프레임 수(used_num[ch])와, 비디오 디코딩 관리부에 의해서 요구된 가상 프레임의 요구 가상 프레임 수(req_num[ch])의 합이 상기 채널에서 디코딩 처리에 사용하는 것이 가능한 가상 프레임의 최대 수 이하(used_num[ch] + req_num[ch] ≤ max_num[ch])가 된 경우에는 공정을 단계 S4로 진행하고, 최대 수를 넘긴 경우에는 공정을 단계 S5로 진행한다.
단계 S4에 있어서, 가상 프레임 관리부는 비디오 디코딩 관리부에 의해서 요구된 가상 프레임의 요구 가상 프레임 수(req_num[ch])가 상기 채널에서 사용 가능하고 또한 사용되고 있지 않는 가상 프레임의 프레임 수(blank_num[ch]) 이하가 된 경우에는 공정을 단계 S6으로 진행하고, 사용되고 있지 않는 가상 프레임의 프레임 수(blank_num[ch])를 넘긴 경우에는 공정을 단계 S5로 진행한다.
단계 S5에 있어서, 가상 프레임 관리부는 단계 S3, 단계 S4에 의한 판정 처리의 결과, 조건을 만족하지 않음으로써, 프레임 메모리(34)에는 상기 채널에서 디코딩 코어(33)로 디코딩을 한 프레임을 격납하는 영역이 없다고 판단하고, 디코딩 처리에 사용 가능한 영역을 확보하기 위한 대기 상태로 된다.
단계 S6에 있어서, 가상 프레임 관리부는 단계 S3, 단계 S4에 의한 판정 처리의 결과, 조건을 만족함에 따라 프레임 메모리(34)에는 상기 채널에서 디코딩 코어(33)로 디코딩한 프레임을 격납하는 영역이 있다고 판단되고, 비디오 디코딩 관리부에 그 취지가 통지된다.
단계 S6에서 가상 프레임 관리부에 의해 디코딩한 프레임의 프레임 메모리(34)로의 격납 영역이 확보되고, 디코딩 코어(33)에 의한 디코딩 처리가 가 능하면 통지(이하, 디코딩 처리요구라고도 함)된 것에 따라, 단계 S7에 있어서, 비디오 디코더 관리부는 상기 MPEG 비디오 디코더(17)의 디코딩 처리를 실행한다.
다음에, 도 10에 나타내는 플로차트를 이용하여, 도 9의 플로차트의 단계 S7에서의 디코딩 처리의 동작에 대해 설명을 한다.
단계 S21에 있어서, 비디오 디코딩 관리부는 가상 프레임 관리부에 의해 요구되는 디코딩 처리를 요구받는다.
단계 S22에 있어서, 비디오 디코딩 관리부는 비디오 디코딩 코어(33)가 현재 디코딩 처리중인지 여부를 체크한다. MPEG 비디오 디코더(17)에 있어서, 실제로 비디오 디코딩 처리를 실행하는 비디오 디코딩 코어(33)는 하나밖에 없기 때문에 한번에 1채널의 비디오 디코딩 처리밖에 실행할 수 없다. 따라서, 상기 단계 S22에 서 디코딩 코어(33)가 사용중인지 여부의 판단이 필요하게 된다.
디코딩 코어(33)가 현재 디코딩 처리중인 경우에는 공정을 단계 S23으로 진행하고, 디코딩 처리중이 아닌 경우에는 공정을 단계 S24로 진행한다.
단계 S23에 있어서, 비디오 디코딩 관리부는 디코딩 코어(33)가 디코딩 처리중임에 따라서, 디코딩 코어(33)의 처리가 종료되는 것을 기다리는 대기 상태로 된다.
단계 S24에 있어서, 비디오 디코딩 관리부는 디코딩 코어(33)가 디코딩 처리중이 아님에 따라서, 코드 버퍼(31)에 버퍼링된 상기 채널의 스트림이 디코딩 코어(33)에 적절하게 공급되도록 셀렉터(32)를 제어한다.
디코딩 코어(33)는 코드 버퍼(31)로부터 셀렉터(32)를 통하여 스트림이 공급 됨에 따라서, 공급된 스트림의 프레임으로의 디코딩 처리를 실행한다. 디코딩 코어(33)는 스트림을 프레임 단위로 디코딩 처리한다. 디코딩 코어(33)에 의해서 디코딩되어 생성된 프레임은 SDRAM(15)에 전개된 가상 프레임을 이용한 관리에 따라, 프레임 메모리(34)의 해당하는 메모리 영역에 격납된다.
또, 디코딩 처리를 하는 스트림이 참조면을 필요로 하는 화상(P-picture 또는 B-picture)인 경우, 참조면을 프레임 메모리(34)로부터 검색하고, 검색한 참조면을 이용하여 디코딩 처리를 실행한다. 참조면의 검색에서는 관리 테이블인 가상 프레임을 이용한다.
단계 S25에 있어서, 비디오 디코딩 관리부는 디코딩 코어(33)에서 디코딩 처리가 종료됨에 따라서, 디코딩 코어(33)의 디코딩 처리가 종료되는 것을 대기하고 있는 채널이 있는지 여부를 체크한다. 비디오 디코딩 관리부는 디코딩 처리가 종료되는 것을 대기하고 있는 채널이 있는 경우에 공정을 단계 S26으로 진행하고, 대기 채널이 없는 경우에 단계 S27로 진행한다.
단계 S26에 있어서, 비디오 디코딩 관리부는 디코딩 코어(33)에 의한 상기 채널의 디코딩 처리가 종료된 것을 디코딩 처리의 종료를 대기하고 있는 채널의 비디오 디코딩 관리부에 통지한다.
단계 S27에 있어서, 비디오 디코딩 관리부는 상기 채널의 디코딩 처리 종료를 대기하고 있는 채널이 없는 것에 따라서, 디코딩 처리의 전체 공정을 종료시킨다.
단계 S27에서의 공정이 종료되면, 다시 도 9에 나타내는 플로차트로 귀환되 어, 단계 S8의 표시 처리, 단계 S9의 가상 프레임의 해방 처리가 실행된다.
단계 S8에 있어서, 표시 관리부는 프레임 메모리(34)에 격납된 프레임의 표시 타이밍인 비디오 동기 신호(VSync)가 발생될 때마다, 관리 테이블인 가상 프레임이 유지하는 표시 순서를 나타낸 정보를 참조하여 표시할 프레임을 결정한다. 표시 관리부는 가상 프레임에 의해 표시되는 것이 결정된 프레임을 대응 프레임 메모리(34)로부터 판독하여 디스플레이 믹서(35)의 임의의 위치에 배치한다.
표시 관리부에 의해 가상 프레임으로부터 표시가 결정되는 프레임은 재생 모드에 의해 상이해지고, 예를 들면, 통상의 재생인 경우라면, STC(System Timing Clock)에 일치하는 PTS(Presentation Time Stamp)를 가지는 프레임이 선택된다. 또, 특수 재생이 되는 Slow R의 경우는 현재 표시중인 프레임보다도 시간적으로 1화상 전의 프레임이 선택된다.
복수의 SD 스트림을 재생하는 경우에 있어서, SD 스트림을 디코딩한 SD 프레임을 디스플레이 믹서(35)에서 믹싱하고 표시할 때, 겹쳐지지 않도록 프레임을 배치한다.
단계 S9에 있어서, 표시 관리부는 디코딩 처리하여 프레임 메모리(34)의 소정의 메모리 영역에 격납된 프레임을 디스크플레이 믹서(35)에 출력한 것에 따라서, 프레임 메모리(34)의 소정의 메모리 영역에 대응한 가상 프레임을 해방하는 가상 프레임 해방 처리를 실행한다.
가상 프레임 해방 처리가 실행되면, SDRAM(15)에 전개된 가상 프레임 중 해방된 소정의 가상 프레임은 빈 가상 프레임이 된다. 이것은 빈 가상 프레임이 된 가상 프레임과 대응하는 프레임 메모리(34)의 메모리 영역이 격납하고 있었던 프레임을 디스플레이 믹서(35)에 출력함으로써 빈 메모리 영역이 된 것에 대응시키기 위한 처리이다.
도 11에 나타내는 플로차트를 이용하여 이 가상 프레임 영역 해방 처리의 동작에 대해 설명을 한다.
먼저, 단계 S31에 있어서, 표시 관리부는 프레임 메모리(34)의 소정의 메모리 영역에 격납되어 있던 프레임을 디스플레이 믹서(35)에 출력시킨 것에 따라서, 가상 프레임 관리부에 대하여 소정의 메모리 영역에 대응하는 가상 프레임을 해방하도록 요구를 한다.
단계 S32에 있어서, 가상 프레임 관리부는 표시 관리부로부터 해방 요구된 가상 프레임의 상태 정보(state[n])를 빈 가상 프레임인 것을 나타내는 "BLANK"로 한다.
단계 S33에 있어서, 가상 프레임 관리부는 비디오 디코딩 관리부로부터 가상 프레임이 요구되어 있는지 여부를 판단한다. 가상 프레임 관리부에 가상 프레임의 요구가 이루어져 있지 않는 경우에는 공정을 종료하고, 가상 프레임의 요구가 이루어져 있는 경우에는 도 9에 나타내는 플로차트의 단계 S2로 공정을 되돌려서 단계 S2 이하의 공정을 다시 실행한다.
이와 같이 MPEG 비디오 디코더(17)는 하나의 디코딩 코어(33), 하나의 프레임 메모리(34)인 구성이지만, 멀티뷰 방송과 같은 복수 채널의 디코딩 처리를 필요로 하는 경우에도, 호스트 CPU(14)의 가상 프레임 관리부에 의해서 관리 테이블인 가상 프레임을 이용한 프레임 메모리(34)의 관리를 행하고, 디코딩 코어(33)를 호스트 CPU(14)의 비디오 디코딩 관리부의 제어에 의해 시분할로 사용함으로써 디코딩 처리를 실현할 수 있다.
계속해서 SDRAM(15)에 구축된 가상 프레임을 이용한, 호스트 CPU(14)에 의한 보다 구체적인 관리 방법에 대해 설명을 한다.
호스트 CPU(14)에 의한 관리 방법을 설명하기 전에, MPEG 비디오 디코더(17)의 프레임 메모리(34)의 메모리 영역을 도 12A∼도 12C에 나타낸 바와 같이 정의한다. 프레임 메모리(34)의 전체 메모리 영역을 도 12A에 나타낸다.
도 12B에 나타낸 바와 같이, 프레임 메모리(34)를 SD 프레임용 프레임 메모리로 하여 16프레임의 SD 프레임을 격납 가능한 것으로 정의한다. 또, 도 12C에 나타낸 바와 같이, 프레임 메모리(34)를 HD 프레임용 프레임 메모리로 하여 4프레임의 HD 프레임을 격납 가능한 것으로 정의한다.
도 12B, 도 12C에 나타낸 바와 같이, 프레임 메모리(34)를 정의하면, HD 프레임을 격납하는 데 필요한 메모리 영역은 SD 프레임을 격납하는 데 필요한 메모리 영역의 4배로 되어 있다.
다음에, 도 13을 이용하여, SDRAM(15)에 구축하는 관리 테이블인 가상 프레임과 프레임 메모리(34)의 메모리 영역의 대응을 행한다.
SDRAM(15)에 구축하는 가상 프레임은 프레임 메모리(34)를 SD용 프레임 메모리로 하여 사용한 경우와, 프레임 메모리(34)를 HD용 프레임 메모리로 하여 사용한 경우를 동시에 파악할 수 있도록 구축될 필요가 있다.
이와 같이 가상 프레임을 구축함으로써, 예를 들면, 멀티뷰 방송의 재생을 하도록 3개의 SD 스트림(이하, 3개의 SD 스트림을 3SD 스트림이라고도 함)이 MPEG 비디오 디코더(17)에 공급되고, 계속해서 고화질 방송을 재생하도록 HD 스트림이 공급된 경우에, 멀티뷰 방송과 고화질 방송이 전환되는 전환점에서 이음매 없는 전환을 실행할 수 있다.
예를 들면, SDRAM(15)에는 도 13에 나타낸 바와 같이 프레임 메모리(34)의 메모리 영역과 대응되는 가상 프레임이 구축된다.
전술한 바와 같이, 프레임 메모리(34)를 SD용 프레임 메모리로서 사용하는 경우와, 프레임 메모리(34)를 HD용 프레임 메모리로서 사용하는 경우가 있기 때문에, 어느 쪽의 정보도 동시에 취득해야 한다.
따라서, SDRAM(15)에는 SD용 가상 프레임과 HD용 가상 프레임이 구축된다. 즉 SDRAM(15)에 구축되는 가상 프레임은 프레임 메모리(34)를 SD용으로서 사용했을 때의 최대 프레임 수, 및 프레임 메모리(34)를 HD용으로서 사용했을 때의 최대 프레임 수를 구비하는 것이 된다.
예를 들면, 프레임 메모리(34)를 SD용으로서 사용한 경우에 프레임 메모리(34)에는 SD 프레임을 16프레임을 격납하는 것이 가능하고, 프레임 메모리(34)를 HD용으로서 사용한 경우에 프레임 메모리(34)에는 HD 프레임을 4프레임 격납하는 것이 가능하기 때문에, SDRAM(15)에 구축되는 가상 프레임의 프레임 수는 20프레임이 된다.
SDRAM(15)에 구축되는 20프레임의 가상 프레임을 VF_1∼VF_20이라고 하면 각 가상 프레임은 SD용 프레임 메모리(34)의 메모리 영역을 나타내는 F_SD1∼F_SD16, HD용 프레임 메모리(34)의 메모리 영역을 나타내는 F_HD1∼F_HD4와 아래와 같이 대응하고 있다.
HD용 프레임 메모리(34)의 메모리 영역을 나타내는 F_HD1∼F_HD4는 가상 프레임의 VF_1∼VF_4에 각각 1대1로 대응하고, SD용 프레임 메모리(34)의 메모리 영역을 나타내는 F_SD1∼F_SD16은 가상 프레임의 V_F5∼VF_20에 각각 1대1로 대응한다.
SDRAM(15)에 구축된 가상 프레임은 프레임 메모리(34)의 관리를 실행하기 위해서 몇 개의 관리 정보를 유지한다. 예를 들면, 관리 정보로는 전술한 바와 같이 가상 프레임에 대응시킨 프레임 메모리(34)의 메모리 영역을 나타내는 메모리 영역 정보, 현재의 상기 가상 프레임의 상태를 나타내는 상태 정보 등이 있다.
상태 정보는 가상 프레임을 디코딩용으로 확보 가능한 상태인 경우에는"BLANK", 가상 프레임을 디코딩용으로 확보한 상태인 경우에는 "ALLOC", 가상 프레임이 디코딩된 경우에는 "DEC", 가상 프레임이 표시 가능인 경우에는 "PRSN" 등을 나타내는 정보이다.
호스트 CPU(14)는 상술한 가상 프레임이 유지하는 상태 정보를 참조함으로써 대응하는 프레임 메모리(34)의 현재의 상태를 파악할 수 있다.
예를 들면, SDRAM(15)에 구축된 가상 프레임의 VF_1의 상태 정보가 "BLANK"인 경우에는 프레임 메모리(34)의 메모리 영역 F_HD1을 디코딩용으로서 확보 가능한 것을 나타내고 있고, VF_5의 상태 정보가 "ALLOC"인 경우에는 프레임 메모리(34)의 메모리 영역 F_SD1을 디코딩용으로 확보한 것을 나타내고 있고, VF_13의 상태 정보가 DEC"인 경우에는 프레임 메모리(34)의 메모리 영역 F_SD9에는 디코딩된 프레임이 격납되어 있는 것을 나타내고, VF_17의 상태 정보가 "PRSN"인 경우에 프레임 메모리(34)의 메모리 영역 F_SD13에는 표시 가능한 프레임이 격납되어 있는 것을 나타내고 있다.
MPEG 비디오 디코더(17)에 있어서, 스트림을 디코딩하는 경우, 호스트 CPU(14)는 SD 스트림, HD 스트림인 스트림의 종류에 따라서, 프레임 메모리(34)의 메모리 영역에서 필요한 디코딩 영역을 확보하고, 계속해서 디코딩 코어(33)에 의한 디코딩 처리를 실행시킨다. 호스트 CPU(14)는 디코딩 처리에 필요한 디코딩 영역을 SDRAM(15)에 구축된 관리 테이블인 가상 프레임을 이용하여 확보한다.
호스트 CPU(14)는, 스트림을 디코딩하는 경우, 우선 SDRAM(15)에 구축된 전체 가상 프레임을 검색하여, 상태 정보가 "BLANK" 상태인 가상 프레임을 확보한다.
구체적으로는, 가상 프레임은 프레임 메모리(34)의 소정의 메모리 영역과 대응하고 있기 때문에, 예를 들어 HD 스트림이 MPEG 비디오 디코더(17)에 입력된 경우, 호스트 CPU(14)는 SDRAM(15)에 구축된 가상 프레임 중, VF_1∼VF_4 중 어느 하나의 가상 프레임을 확보하면, 확보한 가상 프레임에 대응하는 HD 스트림을 디코딩 가능한 프레임 메모리(34)의 메모리 영역이 확보된 것으로 된다.
그러나, 가상 프레임 VF_1∼VF_4에 대응하는 프레임 메모리(34)의 메모리 영역을 확보하는 데에는 상기 VF_1∼VF_4의 상태 정보뿐 아니라 가상 프레임 VF_5∼VF_20의 상태 정보도 확인해야 한다.
프레임 메모리(34)는 전술한 바와 같이 HD용과 SD용으로서도 정의되고, HD용으로서 정의되는 경우, 그 메모리 영역, 즉 HD 프레임을 1프레임 격납 가능한 프레임 메모리(34)의 메모리 영역은 SD용으로서 정의되는 경우의 메모리 영역, 즉 SD 프레임을 1프레임 격납 가능한 프레임 메모리(34)의 메모리 영역의 연속한 4개의 메모리 영역으로 되어있다.
따라서, HD 스트림을 디코딩할 때, 가상 프레임 VF_1∼VF_4의 상태 정보만으로는 디코딩할 때의 프레임 메모리(34)의 메모리 영역의 확보에는 불충분한 정보이다. 가상 프레임 VF_5∼VF_20의 상태 정보도 확인함으로써 가상 프레임 VF_1∼VF_4의 상태 정보에 따라 확보된 프레임 메모리(34)의 메모리 영역이 완전히 빈 영역으로 되어 있는지 여부를 알 수 있다.
또, SD 스트림을 디코딩할 때도 마찬가지로, 호스트 CP(14)는 가상 프레임 VF_5∼VF_20의 상태 정보와, 가상 프레임 VF_1∼VF_4의 상태 정보를 참조함으로써 프레임 메모리(34)에 SD 스트림을 디코딩할 때에 필요하게 되는 빈 영역이 있는지 여부를 판단한다.
계속해서, 도 14에 나타내는 SDRAM(15)에 구축된 가상 프레임의 일례를 이용하여, HD 스트림이 디코딩 가능하거나, SD 스트림이 디코딩 가능한지 여부를 검증한다.
먼저, HD 스트림이 MPEG 비디오 디코더(17)에 공급된 경우에 대해 검증한다.
HD용 가상 프레임인 VF_1∼VF_4를 보면, VF_4는 상태 정보가 "PRSN"이며, 표시용으로 사용되고 있기 때문에, HD 스트림의 디코딩에는 사용할 수 없다.
나머지, HD용 가상 프레임 VF_1∼VF_3은 상태 정보가 "BLANK"이기 때문에 HD 스트림의 디코딩에 사용할 수 있을 가능성이 있다.
그러나, 프레임 메모리(34)를 SD용 프레임 메모리로서 정의한 경우에, 가상 프레임 VF_1에 대응하는 프레임 메모리(34)의 메모리 영역을 공유하는 것이 되는 가상 프레임 VF_5∼VF_8 중 VF_6의 상태 정보가 "ALLOC"이고, VF_7의 상태 정보가"PRSN"로 되어 있기 때문에 VF_1을 HD 스트림의 디코딩에 사용할 수는 없다.
마찬가지로, VF_2에서는 프레임 메모리(34)의 메모리 영역을 공유하는 가상 프레임 VF_9∼VF_12 중 VF_11, VF_12의 상태 정보가 "DEC"로 되어 있기 때문에 HD 스트림의 디코딩에 사용할 수는 없다.
VF_3에 있어서도, 프레임 메모리(34)의 메모리 영역을 공유하는 가상 프레임 VF_13∼VF_16 중 VF_13의 상태 정보가 "PRSN"으로 되어 있기 때문에 HD 스트림의 디코딩에 사용할 수 없다.
따라서, 도 14에 나타내는 가상 프레임으로부터는 MPEG 비디오 디코더(17)가 HD 스트림의 디코딩을 할 수 없는 상태인 것을 알 수 있다.
계속해서 도 14에 나타내는 SDRAM(15)에 구축된 가상 프레임의 일례를 이용하여 SD 스트림이 MPEG 비디오 디코더(17)에 공급된 경우에 대해 검증한다.
SD용 가상 프레임인 VF_5∼VF_20을 보면, VF_5, VF_8, VF_9, VF_10, VF_14∼VF_20까지의 상태 정보가 "BLANK"로 되어있다.
다음에, 가상 프레임 VF_1∼VF_4를 보면, VF_4의 상태 정보가 "PRSN"으로 되어 있기 때문에 VF_17∼VF_20을 SD 스트림의 디코딩에 사용할 수 없다.
한편, VF_1∼VF_3의 상태 정보는 "BLANK"이기 때문에 VF_5, VF_8, VF_9, VF_10, VF_14∼VF_16을 SD 스트림의 디코딩에 사용할 수 있다.
따라서, 도 14에 나타내는 가상 프레임으로부터는 MPEG 비디오 디코더(17)가 SD 스트림의 디코딩을 할 수 있는 상태인 것을 알 수 있다.
다음에, 도 15에 나타내는 플로차트를 이용하여, BS 디지털방송의 멀티뷰 방송을 재생할 때의 가상 프레임을 이용한 디코딩 관리 동작에 대해 설명을 한다. 이하의 설명에서는 멀티뷰 방송으로서 3개의 SD 스트림(3SD 스트림)이 MPEG 비디오 디코더(17)에 공급되고, 각각의 SD 스트림을 디코딩 처리하는 채널을 채널1, 채널2, 채널3으로 한다.
또, 채널1에서 디코딩 처리하는 SD 프레임을 V_ch1_1, V_ch1_2, V_ch1_3, V_ch1_4로 하고, 채널2에서 디코딩 처리하는 SD 프레임을 V_ch2_1, V_ch2_3, V_ ch2_3, V_ch2_4로 하고, 채널3에서 디코딩 처리하는 SD 프레임을 V_ch3_1, V_ch3_2, V_ch3_3, V_ch3_4로 한다. 각 채널의 SD 프레임의 채널번호(ch1, ch2, ch3) 이외에 첨부된 숫자는 편의적으로 PTS를 나타내고 있다고 하고, 채널 사이에서 동일한 숫자는 동일 PTS 또는 PTS가 근접하고 있는 것을 나타내고 있다고 한다.
전술한 바와 같이, 각 채널의 디코딩 처리는 독립적으로 실행된다고 생각되기 때문에, 여기서는 하나의 채널의 디코딩 처리를 중심으로 설명을 한다.
먼저, 단계 S41에 있어서, 호스트 CPU(14)는 SD 스트림이 공급된 것에 따라서, 상기 채널에서의 디코딩 처리에 있어서 필요한 가상 프레임을 요구한다.
단계 S42에 있어서, 호스트 CPU(14)는 SDRAM(15)에 구축된 가상 프레임을 참 조하여, 상태 정보가 "BLANK"로 되어있는 가상 프레임이 있는지 여부를 검출한다. 상태 정보가 "BLANK"인 가상 프레임이 있는 경우에는 공정을 단계 S44로 진행하고, 상태 정보가 "BLANK"인 경우에는 공정을 단계 S43으로 진행한다.
단계 S43에 있어서, 호스트 CPU(14)는 가상 프레임의 상태 정보가 "BLANK"로 되어 빈 가상 프레임을 기다리는 대기 상태가 된다.
단계 S44에 있어서, 호스트 CPU(14)는 상기 채널용으로 확보된 코드 버퍼(31)의 메모리 영역에 공급된 SD 스트림으로부터 재생 출력의 시각 관리 정보인 PTS를 검출한다.
호스트 CPU(14)는 상기 채널 이외의 다른 채널의 디코딩 처리에 확보되어 있는 SD용 가상 프레임으로부터, 상기 채널에서 검출한 PTS에 근접, 또는 일치하는 PTS를 구비하는 SD용 가상 프레임을 검색한다.
예를 들면, 가상 프레임이 도 16에 나타낸 것과 같으며, 채널3에서 디코딩 처리를 하는 V_ch3_4의 PTS가 단계 S44에서 검출되었다고 한다.
도 16에 나타내는 가상 프레임은 HD용 가상 프레임 VF_1∼VF_4의 상태 정보가 "BLANK", SD용 가상 프레임 VF_8, VF_12, VF_16, VF_19, VF_20의 상태 정보가"BLANK"라고 한다.
전술한 바와 같이, 호스트 CPU(14)는 SDRAM(15)에 구축된 도 16에 나타내는 가상 프레임을 참조하여, V_ch3_4의 PTS에 근접, 또는 일치하는 PTS를 구비하는 다른 채널의 SD용 가상 프레임을 검색한다. 도 16의 가상 프레임에서는 SD용 가상 프레임 VF_17, VF_18에는 VF_17, VF_18에 대응하는 프레임 메모리(34)의 메모리 영 역에 V_ch3_4의 PTS에 근접, 또는 일치하는 PTS를 구비하는 채널1의 V_ch1_4, 채널2의 V_ch2_4가 기억되어 있는 것이 나타나 있기 때문에, 해당하는 SD용 가상 프레임은 VF_17, VF_18인 것을 알 수 있다.
해당하는 가상 프레임이 있는 경우는 공정을 단계 S45로 진행하고, 해당하는 SD용 가상 프레임이 없는 경우는 공정을 단계 S48로 진행한다.
단계 S45에 있어서, 먼저, 호스트 CPU(14)는 단계 S44에서 검색된 상기 채널의 PTS에 근접, 또는 일치하는 PTS를 구비하는 다른 채널의 SD용 가상 프레임과, 프레임 메모리(34)의 메모리 영역을 공유하고 있는 HD용 가상 프레임을 특정한다.
예를 들면, 도 16에 나타내는 가상 프레임의 경우, 단계 S44에서 SD용 가상 프레임 VF_17, VF_18이 특정되었다. 이 SD용 가상 프레임과 프레임 메모리(34)의 메모리 영역을 공유하고 있는 HD용 가상 프레임은 VF_4인 것을 알 수 있다.
다음에, 호스트 CPU(14)는 특정된 HD용 가상 프레임과 프레임 메모리(34)의 메모리 영역을 공유하는 SD용 가상 프레임으로부터, 상태 정보가 "BLANK"인 SD용 가상 프레임이 있는지 여부를 검색한다.
예를 들면, 도 16에 나타내는 가상 프레임의 경우, 특정된 HD용 가상 프레임 VF_4와, 프레임 메모리(34)의 메모리 영역을 공유하는 SD용 가상 프레임은 VF_17∼VF_20이다. 가상 프레임 VF_17, VF_18은 이미 채널1, 채널2에서 사용되고 있기 때문에, 상태 정보가 "BLANK"인 것은 VF_19, VF_20의 SD용 가상 프레임이다.
상태 정보가 "BLANK"인 가상 프레임이 있는 경우는 공정을 단계 S46으로 진행하고, 상태 정보가 "BLANK"인 가상 프레임이 없는 경우는 공정을 단계 S43으로 진행하여 빈 가상 프레임의 대기 상태로 된다.
단계 S46에 있어서, 상태 정보가 "BLANK"인 가상 프레임이 있음으로써 이 가상 프레임을 확보한다.
예를 들면, 도 16에 나타내는 가상 프레임의 경우, VF_19, VF_20 중 어느 하나가 확보된다. 여기서는 VF_19가 확보되었다고 한다.
단계 S47에 있어서, 호스트 CPU(14)는 가상 프레임이 확보됨으로써 디코딩 대상인 SD 스트림을 디코딩 코어(33)로 디코딩하여 SD 프레임을 생성하고, 확보된 가상 프레임에 대응하는 프레임 메모리(34)의 메모리 영역에 디코딩한 SD 프레임을 격납시킨다.
예를 들면, 도 16에 나타내는 가상 프레임의 경우, 가상 프레임 VF_19에 대응하는 프레임 메모리(34)의 메모리 영역에 V_ch3_4가 격납되는 것이 된다.
단계 S48에 있어서, 호스트 CPU(14)는 상기 채널에서 검출한 PTS에 근접, 또는 일치하는 PTS를 구비하는 SD용 가상 프레임을 검색할 수 없기 때문에, 가상 프레임의 HD용 가상 프레임과 프레임 메모리(34)의 메모리 영역을 공유하고 있는 SD용 가상 프레임 군으로 구성되는 SD 가상 프레임 그룹의 상태 정보를 참조하여, 상기 SD 가상 프레임 그룹이 빈 상태로 되어 있는지 여부를 판단한다.
가상 프레임 그룹을 구성하는 SD용 가상 프레임 군의 모든 가상 프레임의 상태 정보가 "BLANK"로 되어있는 경우를 가상 프레임 그룹이 빈 상태라고 한다.
빈 상태의 가상 프레임 그룹이 존재하는 경우는 공정을 단계 S49로 진행하고, 빈 상태의 SD 가상 프레임 그룹이 존재하지 않는 경우는 공정을 단계 S50으로 진행한다.
단계 S49에 있어서, 상태 정보가 "BLANK"로 되어있는 SD용 가상 프레임을 확보한다. 단계 S49가 종료하면, 공정은 단계 S47로 향하여 디코딩 코어(33)에 의한 디코딩이 실행되고, 확보된 영역에 디코딩된 SD 프레임이 기억된다.
단계 S50에 있어서, 호스트 CPU(14)는 SDRAM(15)에 구축된 가상 프레임의 모든 SD 가상 프레임 그룹이 빈 상태에서는 없었기 때문에, 상태 정보가 "BLANK"인 SD용 가상 프레임으로부터, 현시점에서 가장 먼저 재생되는 SD 가상 프레임 그룹에 속해 있는 SD용 가상 프레임을 확보한다.
이것은 전술한 바와 같이 SD 가상 프레임 그룹의 정의로부터, SD 가상 프레임 그룹에 속하는 SD용 가상 프레임과 대응하는 프레임 메모리(34)의 메모리 영역에 격납되는 SD 프레임은 서로가 근접, 또는 일치하는 PTS를 유지하고 있기 때문에, 상기 SD 프레임 그룹의 PTS도 동일하다고 생각된다. 따라서, SD 가상 프레임 그룹 단위에서, 재생되는 시각의 검증을 하는 것이 가능하게 된다. 단계 S50이 종료되면, 공정은 단계 S47로 향하여 디코딩 코어(33)에 의한 디코딩이 실행되어, 확보된 영역에 디코딩된 SD 프레임이 기억된다.
이와 같이 하여, SDRAM(15)에 구축된 가상 프레임에 따른 호스트 CPU(14)의 관리에 의해 멀티뷰 방송 시에 공급되는 3개의 SD 스트림의 디코딩 처리가 실행되면, 예를 들어 멀티뷰 방송이 종료되어 통상의 고화질 방송으로 전환된 경우, 도 16에 나타내는 가상 프레임을 이용하여 이하에 나타낸 바와 같이 하여 HD용 가상 프레임이 확보된다.
예를 들면, 도 16에 나타내는 가상 프레임과 같이 각 채널의 프레임이 기억되어 있다고 하면, 이 시점에서는 SD용 가상 프레임 VF_5∼VF_7, VF_9∼VF_11, VF_ 13∼VF_15, VF_17∼VF_19가 사용되고 있기 때문에, 프레임 메모리(34)의 메모리 영역에는 HD용 프레임을 확보하기 위한 영역이 없는 것으로 된다.
따라서, HD용 가상 프레임인 VF_1, VF_2, VF_3, VF_4도 확보할 수 없다.
그러나, STC가 진행하고 가상 프레임 중에서 가장 빠른 PTS를 가진 VF_5∼VF_7에 대응하는 프레임 메모리(34)의 메모리 영역에 기억되어 있는 V_ch1_1, V_ch2_1, V_ch3_1을 프레임 메모리(34)로부터 판독하면, 프레임 메모리(34)의 메모리 영역을 공유하고 있는 HD용 가상 프레임 VF_1을 확보할 수 있다.
마찬가지로, 가상 프레임 VF_9∼VF_11에 대응하는 프레임 메모리(34)의 메모리 영역에 기억되어 있는 V_ch1_2, V_ch2_2, V_ch3_2를 판독하고, 가상 프레임 VF_ 13∼VF_15에 대응하는 프레임 메모리(34)의 메모리 영역에 기억되어 있는 V_ch1_3, V_ch2_3, V_ch3_3을 판독하고, 가상 프레임 VF_17∼VF_19에 대응하는 프레임 메모리(34)의 메모리 영역에 기억되어 있는 V_ch1_4, V_ch2_4, V_ch3_4를 판독함으로써 순차적으로 HD용 가상 프레임 VF_2, VF_3, VF_4를 확보할 수 있다.
이와 같이 하여, HD용 가상 프레임을 순차적으로 확보하는 것이 가능하기 때문에, 멀티뷰 방송으로부터 고화질 방송으로 전환된다. 이와 같이 MPEG 비디오 디코더(17)에 공급되는 스트림이 3개의 SD 스트림으로부터 하나의 HD 스트림으로 전환된 경우에도, 프레임 메모리(34)의 메모리 영역을 확보할 수 없기 때문에 디코딩 처리의 일시적인 중단을 방지할 수 있다.
즉, 멀티뷰 방송으로부터 고화질 방송으로 전환된 경우에도 "이음매 없는" 디코딩 처리가 가능하기 때문에, 사용자에 제공되는 영상도 멀티뷰 영상으로부터 고화질 영상으로 자연스럽게 전환되게 된다.
계속해서, 도 17에 나타내는 플로차트를 이용하여, 고화질 방송을 재생할 때의 가상 프레임을 이용한 디코딩 관리 동작에 대해 설명을 한다.
단계 S61에 있어서, 호스트 CPU(14)는 HD 스트림이 공급된 것에 따라서, 디코딩 처리에서 필요한 가상 프레임을 요구한다.
단계 S62에 있어서, 호스트 CPU(14)는 SDRAM(15)에 구축된 가상 프레임 중 HD용 가상 프레임 VF_1∼VF_4의 상태 정보가 "BLANK"로 되어있는지 여부를 검색한다. 상태 정보가 "BLANK"로 되어있는 경우는 공정을 단계 S63으로 진행하고, 상태 정보가 "BLANK"로 되어있지 않은 경우는 공정을 단계 S64로 진행한다.
단계 S63에 있어서, 호스트 CPU(14)는 HD용 가상 프레임 VF_1∼VF_4 중 상태 정보가 "BLANK"인 HD용 가상 프레임과, 프레임 메모리(34)의 메모리 영역을 공유하는 SD용 가상 프레임 메모리의 상태 정보가 모두 "BLANK"인지 여부를 판단한다.
예를 들면, HD용 가상 프레임 VF_1의 상태 정보가 "BLANK"인 경우는 SD용 가상 프레임 메모리 VF_5∼VF_8의 상태 정보를 검증하고, HD용 가상 프레임 VF_2의 상태 정보가 "BLANK"인 경우는 SD용 가상 프레임 메모리 VF_9∼VF_12의 상태 정보를 검증하고, HD용 가상 프레임 VF_3의 상태 정보가 "BLANK"인 경우는 SD용 가상 프레임 메모리 VF_13∼VF_16의 상태 정보를 검증하고, HD용 가상 프레임 VF_4의 상 태 정보가 "BLANK"인 경우는 SD용 가상 프레임 메모리 VF_17∼VF_20의 상태 정보를 검증한다.
SD용 가상 프레임의 상태 정보가 모두 "BLANK"인 경우는 공정을 단계 S65로 진행하고, 상태 정보가 하나라도 "BLANK"가 아닌 경우는 공정을 단계 S64로 진행한다.
단계 S64에 있어서, 호스트 CPU(14)는 가상 프레임의 상태 정보가 "BLANK"로 되어 빈 가상 프레임을 기다리는 대기상태로 된다.
단계 S65에 있어서, 호스트 CPU(14)는 상태 정보가 "BLANK"인 HD용 가상 프레임이 있으므로 이 가상 프레임을 확보한다.
단계 S66에 있어서, 호스트 CPU(14)는 HD용 가상 프레임이 확보됨으로써, 디코딩 대상인 HD 스트림을 디코딩 코어(33)에서 디코딩하여 HD 프레임을 생성하고, 확보된 가상 프레임에 대응하는 프레임 메모리(34)의 메모리 영역에 디코딩한 HD 프레임을 격납시킨다.
이와 같이 하여, SDRAM(15)에 구축된 가상 프레임에 따른 호스트 CPU(14)의 관리에 의해 고화질 방송 시에 공급되는 하나의 HD 스트림의 디코딩 처리가 실행된다. 여기에서 예를 들면, 고화질 방송이 종료되어 멀티뷰 방송으로 전환된 경우, 가상 프레임을 이용하여 이하에 나타낸 바와 같이 하여 SD용 가상 프레임이 확보된다.
예를 들면, HD용 가상 프레임 VF_1∼VF_4가 모두 매개되어 있는 경우에 있어서, HD용 가상 프레임 중에서 가장 빠른 PTS가 HD용 가상 프레임 VF_1인 경우, 호 스트 CPU(14)는 HD용 가상 프레임 VF_1에 대응하는 프레임 메모리(34)의 메모리 영역에 기억되어 있는 HD 프레임을 판독하여 HD용 가상 프레임 VF_1을 해방한다.
HD용 가상 프레임 VF_1이 해방되면, 이 가상 프레임 VF_1과 프레임 메모리(34)의 메모리 영역을 공유하는 SD용 가상 프레임 VF_5∼VF_8도 해방되게 된다. 마찬가지로, HD용 가상 프레임 VF_2∼VF_4에 있어서도 순차 실행에 의해 잇달아 SD용 가상 프레임이 4프레임씩 확보되어 간다.
따라서, 해방된 SD용 가상 프레임을 각 채널이 확보하여 디코딩 처리를 실행함으로써 고화질 방송으로부터 멀티뷰 방송으로 전환되고, MPEG 비디오 디코더(17)에 공급되는 스트림이 하나의 HD 스트림으로부터 3개의 SD 스트림으로 전환된 경우에도, 프레임 메모리(34)의 메모리 영역을 확보할 수 없기 때문에 디코딩 처리의 일시적인 중단을 방지할 수 있다.
즉, 고화질 방송으로부터 멀티뷰 방송으로 전환된 경우에도 "이음매 없는" 디코딩 처리가 가능하기 때문에, 사용자에 제공되는 영상도 고화질 영상으로부터 멀티뷰 영상으로 자연스럽게 전환되게 된다.
또, 본 발명은 도면을 참조하여 설명한 전술한 실시예에 한정되는 것이 아니라, 첨부한 청구범위 및 그 주지를 일탈하지 않고, 여러 가지 변경, 치환 또는 그 동등한 것을 행할 수 있다는 것은 당업자에 있어서 명백하다.
전술한 바와 같이, 본 발명에 관한 디코딩 장치는 화상 스트림 데이터 기억 수단의 기억 영역을 입력되는 화상 스트림 데이터의 개수에 따라 할당하여 사용하 고, 관리 테이블에 의해서 관리하는 화상 프레임 기억 수단의 사용 상황을 나타내는 사용 상황 정보에 따라, 기억 영역에서의 화상 스트림 데이터의 판독을 제어하고, 판독한 화상 스트림 데이터를 디코딩 수단에 의해서 화상 프레임으로 디코딩함으로써 멀티뷰 방송에 대응하는 디코딩 처리를 실행하는 것이 가능하게 한다.
본 발명에 관한 디코딩 방법은 화상 스트림 데이터 기억 수단의 기억 영역을 입력되는 화상 스트림 데이터의 개수에 따라 할당하여 사용하고, 관리 테이블에 의해서 관리하는 화상 프레임 기억 수단의 사용 상황을 나타내는 사용 상황 정보에 따라 기억 영역에서의 화상 스트림 데이터의 판독을 제어하고, 판독한 화상 스트림 데이터를 디코딩 공정에 의해 화상 프레임으로 디코딩함으로써 멀티뷰 방송에 대응한 디코딩 처리를 실행하는 것이 가능하게 한다.

Claims (16)

  1. 디코딩 장치로서,
    입력되는 m개(m은 자연수) 채널의 화상 스트림 데이터에 대하여, 상기 화상 스트림 데이터마다 할당된 기억 영역의 각각에 상기 화상 스트림 데이터를 기억하는 화상 스트림 데이터 기억 수단,
    상기 화상 스트림 데이터 기억 수단에 기억된 상기 m개 채널의 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 수단,
    상기 화상 스트림 데이터 판독 수단으로부터 시분할로 판독된 상기 m개 채널의 화상 스트림 데이터를 각각 화상 프레임에 디코딩하는 디코딩 수단,
    소정의 기억 용량을 가지고, 상기 디코딩 수단에 의해 디코딩된 상기 화상 프레임을 기억하는 화상 프레임 기억 수단,
    상기 화상 프레임 기억 수단에 의해 기억된 화상 프레임을 기억된 차례로 판독하는 화상 프레임 판독 수단,
    상기 화상 프레임 판독 수단에 의해 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 수단,
    상기 화상 프레임 기억 수단의 사용 상황을 나타내는 사용 상황 정보로서, 상기 화상 프레임 기억 수단에 기억되는 각 화상 프레임에 대응하는 메모리 영역의 격납 상황을 관리하는 관리 테이블인 가상 프레임을 기억시키는 관리 테이블 기억 수단, 및
    상기 관리 테이블 기억 수단에 기억되어 있는 관리 테이블에 근거하여, 상기 디코딩 수단의 동작을 제어하는 제어 수단
    을 포함하고 ,
    상기 제어 수단은, 상기 화상 프레임 판독 수단에 의해 판독된 화상 프레임에 대응하는 가상 프레임의 격납 상황이, 사용 가능하고 사용되어 있지 않은 빈가상 프레임으로 되도록 상기 관리 테이블 기억 수단을 관리하며,
    상기 제어 수단은, 상기 관리 테이블 기억 수단에 기억되어 있는 관리 테이블에 근거하여, 상기 디코딩 수단이 각 채널의 화상 스트림 데이터를 디코딩하는데 필요한 가상 프레임의 프레임 수인 요구 가상 프레임 수(req_num[ch])와 상기 각 채널에 대해 사용하고 있는 가상 프레임의 프레임 수인 사용 가상 프레임 수(used_num[ch])와 상기 각 채널에 대해 사용 가능하고 사용되고 있지 않은 가상 프레임의 프레임 수인 빈가상 프레임 수(blank_num[ch])를 산출하고, 상기 사용 가상 프레임 수(used_num[ch])와 상기 요구 가상 프레임 수(req_num[ch])와의 합이 상기 각 채널에서 디코딩 처리에 사용하는 것이 가능한 가상 프레임의 최대 수 이하이며 또한 상기 요구 가상 프레임 수(req_num[ch])가 상기 빈가상 프레임 수(blank_num[ch]) 이하인 경우만, 상기 디코딩 수단에 상기 m개 채널의 화상 스트림 데이터를 대기시키면서 차례로 디코딩 처리를 시키고 대기하고 있는 채널이 없을 때 디코딩 처리를 종료시키도록 제어하고,
    상기 관리 테이블 기억 수단은, 상기 화상 프레임 판독 수단에 의해 판독된 화상 프레임에 대응하는 가상 프레임의 격납 상황이, 사용 가능하고 사용되어 있지 않은 빈가상 프레임이 되도록 관리하는.
    디코딩 장치.
  2. 삭제
  3. 입력되는 m개(m은 자연수) 채널의 화상 스트림 데이터에 대하여, 상기 화상 스트림 데이터마다 할당된 기억 영역의 각각에 상기 화상 스트림 데이터를 기억시키는 화상 스트림 데이터 기억 공정,
    상기 화상 스트림 데이터 기억 공정에서 기억된 상기 m개 채널의 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 공정,
    상기 화상 스트림 데이터 판독 공정에서 시분할로 판독된 상기 m개 채널의 화상 스트림 데이터를 각각 화상 프레임에 디코딩하는 디코딩 공정,
    상기 디코딩 공정에 의해 디코딩된 상기 화상 프레임을, 소정의 기억용량을 가진 화상 프레임 기억 수단에 기억시키는 화상 프레임 기억 공정,
    상기 화상 프레임 기억 수단에 기억된 상기 화상 프레임을 기억된 차례로 판독하는 화상 프레임 판독 공정,
    상기 화상 프레임 판독 공정에 의해 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 공정, 및
    상기 화상 프레임 기억 수단에 기억되는 각 화상 프레임에 대응하는 메모리 영역의 격납 상황을 관리하는 관리 테이블인 가상 프레임을, 상기 화상 프레임 기억 수단의 사용 상황을 나타내는 사용 상황 정보로서 기억하는 관리 테이블 기억 수단의 가상 프레임에 근거하여, 상기 디코딩 공정으로 각 채널의 화상 스트림 데이터를 디코딩하는데 필요한 가상 프레임의 프레임 수인 요구 가상 프레임 수(req_num[ch])와 상기 각 채널에 대해 사용하고 있는 가상 프레임의 프레임 수인 사용 가상 프레임 수(used_num[ch])와 상기 각 채널에 대해 사용 가능하고 사용되고 있지 않은 가상 프레임의 프레임 수인 빈가상 프레임 수(blank_num[ch])를 산출하여, 상기 사용 가상 프레임 수(used_num[ch])와 상기 요구 가상 프레임 수(req_num[ch])와의 합이 상기 각 채널에서 디코딩 처리에 사용하는 것이 가능한 가상 프레임의 최대 수 이하이며 또한 상기 요구 가상 프레임 수(req_num[ch])가 상기 빈가상 프레임 수(blank_num[ch]) 이하인 경우만, 상기 m개 채널의 화상 스트림 데이터를 대기시키면서 차례로 디코딩 처리하고 대기하고 있는 채널이 없을 때 디코딩 처리를 종료하도록 상기 디코딩 공정을 실시하고, 상기 화상 프레임 판독 공정에 의해 판독된 화상 프레임에 대응하는 가상 프레임의 격납 상황이 사용 가능하고 사용되어 있지 않은 빈가상 프레임으로 되도록 상기 관리 테이블 기억 수단을 관리하는 제어 공정
    을 포함하는 디코딩 방법.
  4. 삭제
  5. 디코딩 장치로서,
    m개(m은 자연수) 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 입력하는 입력 수단,
    상기 입력 수단에 입력된 다중화 스트림을 m개 채널의 화상 스트림 데이터로 분리하는 분리 수단,
    상기 분리 수단으로 분리된 m개 채널의 화상 스트림 데이터에 대하여, 상기 화상 스트림 데이터마다 할당된 기억 영역의 각각에 상기 화상 스트림 데이터를 기억하는 화상 스트림 데이터 기억 수단,
    상기 화상 스트림 데이터 기억 수단에 기억된 상기 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 수단,
    상기 화상 스트림 데이터 판독 수단으로부터 판독된 상기 m개 채널의 화상 스트림 데이터를 각각 화상 프레임에 디코딩하는 디코딩 수단,
    소정의 기억용량을 가지고, 상기 디코딩 수단에 의해 디코딩된 상기 화상 프레임을 기억하는 화상 프레임 기억 수단,
    상기 화상 프레임 기억 수단에 기억된 상기 화상 프레임을 기억된 차례로 판독하는 화상 프레임 판독 수단,
    상기 화상 프레임 판독 수단에 의해 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 수단,
    상기 화상 프레임 기억 수단의 사용 상황을 나타내는 사용 상황 정보로서, 상기 화상 프레임 기억 수단에 기억되는 각 화상 프레임에 대응하는 메모리 영역의 격납 상황을 관리하는 관리 테이블인 가상 프레임을 기억하는 관리 테이블 기억 수단, 및
    상기 관리 테이블 기억 수단에 기억된 관리 테이블에 근거하여, 상기 디코딩 수단의 동작을 제어하는 제어 수단
    을 포함하고,
    상기 제어 수단은, 상기 화상 프레임 판독 수단에 의해 판독된 화상 프레임에 대응하는 가상 프레임의 격납 상황이 사용 가능하고 사용되어 있지 않은 빈가상 프레임이 되도록 상기 관리 테이블 기억 수단을 관리하고,
    상기 제어 수단은 상기 관리 테이블 기억 수단에 기억되고 있는 관리 테이블에 근거하여, 상기 디코딩 수단이 각 채널의 화상 스트림 데이터를 디코딩하는데 필요한 가상 프레임의 프레임 수인 요구 가상 프레임 수(req_num[ch])와 상기 각 채널에 대해 사용하고 있는 가상 프레임의 프레임 수인 사용 가상 프레임 수(used_num[ch])와 상기 각 채널에 대해 사용 가능하고 사용되고 있지 않은 가상 프레임의 프레임 수인 빈가상 프레임 수(blank_num[ch])를 산출하고, 사용 가상 프레임 수(used_num[ch])와 상기 요구 가상 프레임 수(req_num[ch])와의 합이 상기 각 채널에서 디코딩 처리에 사용하는 것이 가능한 가상 프레임의 최대 수 이하이며 또한 상기 요구 가상 프레임 수(req_num[ch])가 상기 빈가상 프레임 수(blank_num[ch]) 이하인 경우만, 상기 디코딩 수단에 상기 m개 채널의 화상 스트림 데이터를 대기시키면서 차례로 디코딩 처리를 시키고 대기하고 있는 채널이 없을 때 디코딩 처리를 종료시키도록 제어하는,
    디코딩 장치.
  6. 삭제
  7. 제5항에 있어서,
    소정의 주파수로 변조되어 송신된 m개(m은 자연수) 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 수신하는 수신 수단을 구비하고,
    상기 입력 수단은 상기 수신 수단에서 수신된 상기 m개 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 입력하는,
    디코딩 장치.
  8. 제7항에 있어서,
    상기 수신 수단에서 수신한 다중화 스트림을 기록 매체에 기록하는 기록 수단을 구비하는 디코딩 장치.
  9. 제8항에 있어서,
    상기 기록 수단에 의해 상기 기록 매체에 기록된 다중화 스트림을 재생하는 재생 수단을 구비하고,
    상기 입력 수단은 상기 재생 수단에 의해 재생된 다중화 스트림을 입력하는,
    디코딩 장치.
  10. 제9항에 있어서,
    m개 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 기록한 기록 매체를 장착하는 장착 수단을 구비하고,
    상기 재생 수단은 상기 장착 수단에 장착된 상기 기록 매체에 기록되어 있는 다중화 스트림을 재생하는,
    디코딩 장치.
  11. 디코딩 방법으로서,
    m개(m은 자연수) 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 입력하는 입력 공정,
    상기 입력 공정에서 입력된 다중화 스트림을 상기 m개 채널의 화상 스트림으로 분리하는 분리 공정,
    상기 분리 공정에서 분리된 m개 채널의 화상 스트림 데이터에 대하여, 상기 화상 스트림 데이터마다 할당된 기억 영역의 각각에 상기 화상 스트림 데이터를 기억시키는 화상 스트림 데이터 기억 공정,
    상기 화상 스트림 데이터 기억 공정에서 기억된 상기 화상 스트림 데이터를 시분할로 판독하는 화상 스트림 데이터 판독 공정,
    상기 화상 스트림 데이터 판독 공정에서 판독된 상기 m개 채널의 화상 스트림 데이터를 각각 화상 프레임으로 디코딩하는 디코딩 공정,
    상기 디코딩 공정에 의해 디코딩된 상기 화상 프레임을, 소정의 기억용량을 가지는 화상 프레임 기억 수단에 기억시키는 화상 프레임 기억 공정,
    상기 화상 프레임 기억 수단에 기억된 상기 화상 프레임을 기억된 차례로 판독하는 화상 프레임 판독 공정, 및
    상기 화상 프레임 판독 공정에 의해 판독된 각각의 화상 스트림 데이터에 대응하는 화상 프레임을 동일한 화면상에 배치하여 출력하는 출력 공정
    을 포함하고,
    상기 화상 프레임 기억 수단에 기억되는 각 화상 프레임에 대응하는 메모리 영역의 격납 상황을 관리하는 관리 테이블인 가상 프레임을, 상기 화상 프레임 기억 수단의 사용 상황을 나타내는 사용 상황 정보로서 기억하는 관리 테이블 기억 수단의 가상 프레임에 근거하여, 상기 디코딩 공정으로 각 채널의 화상 스트림 데이터를 디코딩하는데 필요한 가상 프레임의 프레임 수인 요구 가상 프레임 수(req_num[ch])와 상기 각 채널에 대해 사용하고 있는 가상 프레임의 프레임 수인 사용 가상 프레임 수(used_num[ch])와 상기 각 채널에 대해 사용 가능하고 사용되고 있지 않은 가상 프레임의 프레임 수인 빈가상 프레임 수(blank_num[ch])를 산출하여, 상기 사용 가상 프레임 수(used_num[ch])와 상기 요구 가상 프레임 수(req_num[ch])와의 합이 상기 각 채널에서 디코딩 처리에 사용하는 것이 가능한 가상 프레임의 최대 수 이하이며 또한 상기 요구 가상 프레임 수(req_num[ch])가 상기 빈가상 프레임 수(blank_num[ch]) 이하인 경우만, 상기 m개 채널의 화상 스트림 데이터를 대기시키면서 차례로 디코딩 처리하고 대기하고 있는 채널이 없을 때 디코딩 처리를 종료하도록 상기 디코딩 공정을 실시하고, 화상 프레임 판독 공정에 의해 판독된 화상 프레임에 대응하는 가상 프레임의 격납 상황이 사용 가능하고 사용되어 있지 않은 빈가상 프레임으로 되도록 상기 관리 테이블 기억 수단을 관리하는 디코딩 방법.
  12. 삭제
  13. 제11항에 있어서,
    소정의 주파수로 변조되어 송신된 m개(m은 자연수) 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 수신하는 수신 공정을 포함하고,
    상기 입력 공정은 상기 수신 공정에서 수신된 상기 m개 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 입력하는,
    디코딩 방법.
  14. 제13항에 있어서,
    상기 수신 공정에서 수신한 다중화 스트림을 기록 매체에 기록하는 기록 공정을 포함하는 디코딩 방법.
  15. 제14항에 있어서,
    상기 기록 공정에 의해 상기 기록 매체에 기록된 다중화 스트림을 재생하는 재생 공정을 포함하고,
    상기 입력 공정은 상기 재생 공정에 의해 재생된 다중화 스트림을 입력하는, 디코딩 방법.
  16. 제15항에 있어서,
    m개 채널의 화상 스트림 데이터가 다중화된 다중화 스트림을 기록한 기록 매체를 장착하는 장착 공정을 포함하고,
    상기 재생 공정은 상기 장착 공정에 장착된 상기 기록 매체에 기록되어 있는 다중화 스트림을 재생하는, 디코딩 방법.
KR20047002442A 2002-06-20 2003-06-11 디코딩 장치 및 디코딩 방법 KR100997166B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002180411 2002-06-20
JPJP-P-2002-00180411 2002-06-20
PCT/JP2003/007437 WO2004002145A1 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法

Publications (2)

Publication Number Publication Date
KR20050012709A KR20050012709A (ko) 2005-02-02
KR100997166B1 true KR100997166B1 (ko) 2010-11-29

Family

ID=29996606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20047002442A KR100997166B1 (ko) 2002-06-20 2003-06-11 디코딩 장치 및 디코딩 방법

Country Status (8)

Country Link
US (1) US7305173B2 (ko)
EP (1) EP1530370A4 (ko)
JP (1) JP4725104B2 (ko)
KR (1) KR100997166B1 (ko)
CN (1) CN1299502C (ko)
MX (1) MXPA04001511A (ko)
TW (1) TWI236848B (ko)
WO (1) WO2004002145A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731378B2 (en) * 2003-06-30 2014-05-20 Broadcom Corporation System, method, and apparatus for playing back a plurality of video elementary streams with one playback channel
US7398443B2 (en) * 2004-10-15 2008-07-08 Genesis Microchip Inc. Automatic fault-testing of logic blocks using internal at-speed logic-BIST
TWI248762B (en) * 2004-11-10 2006-02-01 Realtek Semiconductor Corp Video processing device and method thereof
JP4349313B2 (ja) 2005-04-18 2009-10-21 ソニー株式会社 再生装置，再生制御方法およびプログラム
WO2006120778A1 (ja) * 2005-05-12 2006-11-16 Matsushita Electric Industrial Co., Ltd. 信号再生装置
FR2890274A1 (fr) 2005-08-30 2007-03-02 France Telecom Procede d'adressage pour le transport de donnees sur un reseau de telecommunication,signal de structure d'adresse, passerelle et programme d'ordinateur correspondants
US7817865B2 (en) 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
CN101945277B (zh) * 2006-01-12 2013-08-14 Lg电子株式会社 处理多视图视频
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
CN101375594B (zh) * 2006-01-12 2011-09-07 Lg电子株式会社 处理多视图视频
JP4519082B2 (ja) 2006-02-15 2010-08-04 株式会社ソニー・コンピュータエンタテインメント 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
KR101370919B1 (ko) 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
WO2008010932A2 (en) * 2006-07-20 2008-01-24 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
JP5057820B2 (ja) * 2007-03-29 2012-10-24 株式会社東芝 デジタルストリームの記録方法、再生方法、記録装置、および再生装置
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP2008311871A (ja) * 2007-06-13 2008-12-25 Hitachi Ltd 情報記録再生装置及びビデオカメラ装置
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
US8484391B2 (en) 2011-06-20 2013-07-09 Intel Corporation Configurable buffer allocation for multi-format video processing
KR101945830B1 (ko) * 2012-05-24 2019-06-11 삼성전자 주식회사 다중 동영상 재생 방법 및 장치
US10649613B2 (en) 2012-06-07 2020-05-12 Wormhole Labs, Inc. Remote experience interfaces, systems and methods
US10489389B2 (en) 2012-06-07 2019-11-26 Wormhole Labs, Inc. Experience analytic objects, systems and methods
US10700944B2 (en) 2012-06-07 2020-06-30 Wormhole Labs, Inc. Sensor data aggregation system
US9489387B2 (en) 2014-01-15 2016-11-08 Avigilon Corporation Storage management of data streamed from a video source device
CN110753259B (zh) * 2019-11-15 2022-01-25 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352517A (ja) 2000-06-08 2001-12-21 Nec Corp データ記録方法、装置、およびプログラムを記録した記録媒体
JP2003018549A (ja) 2001-01-16 2003-01-17 Matsushita Electric Ind Co Ltd 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
JP2003242753A (ja) 2002-02-18 2003-08-29 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504532A (en) * 1989-09-07 1996-04-02 Advanced Television Test Center, Inc. Bi-directional television format digital signal converter with improved luminance signal-to-noise ratio
JPH06105440B2 (ja) * 1990-03-08 1994-12-21 株式会社日立製作所 主メモリ管理方法
US5394275A (en) * 1990-06-27 1995-02-28 Matsushita Electric Industrial Co., Ltd. Apparatus for selectively recording and reproducing two video signals having different amounts of data in each frame
JP3109185B2 (ja) * 1991-11-12 2000-11-13 ソニー株式会社 ディジタルｖｔｒ
JP3134434B2 (ja) * 1991-12-26 2001-02-13 ソニー株式会社 記録再生装置
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
JP3256627B2 (ja) * 1993-11-11 2002-02-12 株式会社東芝 動画復号化方法及びその装置
EP0711085B1 (en) * 1994-11-05 2000-09-27 Sony Corporation Recording and reproduction of television signals
JP3791114B2 (ja) * 1997-04-30 2006-06-28 ソニー株式会社 信号再生装置及び方法
JPH11127438A (ja) * 1997-10-21 1999-05-11 Toshiba Corp 動画復号化装置用メモリ管理方法及びその装置
JP2002521884A (ja) * 1998-07-15 2002-07-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｈｄｔｖ信号の記録および編集
JP4642171B2 (ja) * 1998-09-24 2011-03-02 ソニー株式会社 画像再生装置および方法、並びに記録媒体
JP3356078B2 (ja) * 1998-09-29 2002-12-09 日本電気株式会社 圧縮ストリーム復号装置および圧縮ストリーム復号方法
JP4486755B2 (ja) * 1998-12-23 2010-06-23 ゾラン コーポレイション Ｍｐｅｇビデオ復号・表示システムのためのビデオメモリ管理
JP2002069387A (ja) * 2000-08-28 2002-03-08 Sekisui Chem Co Ltd 接着剤組成物及び該接着剤組成物を用いた接合方法
JP2002077837A (ja) * 2000-08-29 2002-03-15 Victor Co Of Japan Ltd データ放送番組送出方法およびデータ放送受信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352517A (ja) 2000-06-08 2001-12-21 Nec Corp データ記録方法、装置、およびプログラムを記録した記録媒体
JP2003018549A (ja) 2001-01-16 2003-01-17 Matsushita Electric Ind Co Ltd 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
JP2003242753A (ja) 2002-02-18 2003-08-29 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Also Published As

Publication number Publication date
TW200409543A (en) 2004-06-01
MXPA04001511A (es) 2004-05-31
US7305173B2 (en) 2007-12-04
JPWO2004002145A1 (ja) 2005-10-27
EP1530370A4 (en) 2008-12-03
US20040240859A1 (en) 2004-12-02
CN1299502C (zh) 2007-02-07
TWI236848B (en) 2005-07-21
CN1545808A (zh) 2004-11-10
WO2004002145A1 (ja) 2003-12-31
EP1530370A1 (en) 2005-05-11
JP4725104B2 (ja) 2011-07-13
KR20050012709A (ko) 2005-02-02

Similar Documents

Publication Publication Date Title
KR100997166B1 (ko) 디코딩 장치 및 디코딩 방법
JP3617573B2 (ja) フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機
US20070092206A1 (en) Image recording apparatus, image recording method and storage medium
EP1643772B1 (en) System, method and apparatus for clean channel change
US20060120462A1 (en) Compressed stream decoding apparatus and method
US20050015794A1 (en) Audio/video decoding process and device, and video driver circuit and decoder box incorporating the same
JP2006345169A (ja) デジタルテレビ受信端末装置
US20010008427A1 (en) Apparatus and method for supporting picture-in-picture type time shifting
KR100968842B1 (ko) 복호 장치 및 복호 방법
JP4257478B2 (ja) 記録再生装置
KR100487396B1 (ko) 영화 모드를 지원하는 디지털 티브이 시스템 및 영화 모드지원 방법
US7446819B2 (en) Apparatus and method for processing video signals
JP2004193673A (ja) 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP2003244600A (ja) 情報記録再生装置
JP4366912B2 (ja) 復号装置及び復号方法
JP2005184788A (ja) 信号処理装置
JP4288442B2 (ja) 記録再生装置および映像処理方法
JP2010213362A (ja) 垂直フォーマットコンバータのメモリ管理のための方法及びシステム
JP2016096524A (ja) 電子機器及び信号処理方法
JP2000354241A (ja) 画像復号化装置
JP3671969B2 (ja) データ多重方法及び多重データ復号方法
JP2001136138A (ja) デジタル映像・デジタル音声伝送方法
JPH11346349A (ja) 番組伝送方法、番組伝送装置、番組受信装置および媒体
JPH11289520A (ja) デコーダ装置及びこれを用いた受信機
JP2001086495A (ja) 符号化ディジタル信号復号装置及びそれを内臓した受信機、テレビ並びに記録再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee