KR100975311B1 - 요청시 ｉ-화상 삽입 - Google Patents

요청시 ｉ-화상 삽입 Download PDF

Info

Publication number
KR100975311B1
KR100975311B1 KR1020057009450A KR20057009450A KR100975311B1 KR 100975311 B1 KR100975311 B1 KR 100975311B1 KR 1020057009450 A KR1020057009450 A KR 1020057009450A KR 20057009450 A KR20057009450 A KR 20057009450A KR 100975311 B1 KR100975311 B1 KR 100975311B1
Authority
KR
South Korea
Prior art keywords
video
frame
independent
frames
request
Prior art date
Application number
KR1020057009450A
Other languages
English (en)
Other versions
KR20050086835A (ko
Inventor
람베르트 하. 아. 야콥스
스테판 알. 예이. 체. 데트로흐
뢸로프 에.아. 로이센스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050086835A publication Critical patent/KR20050086835A/ko
Application granted granted Critical
Publication of KR100975311B1 publication Critical patent/KR100975311B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H04N7/106—Adaptations for transmission by electrical cable for domestic distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements

Abstract

가전 오락 시스템은, 독립 프레임 삽입을 요청하거나 기준 프레임으로서 손실된 화상의 이용의 회피를 요청할 수 있는 하나 이상의 수신기(16)로부터 요청시 독립 비디오 프레임 삽입을 제공하도록 구성된 비디오 송신기-박스(10)를 포함한다. 네트워크(14)는 상기 수신기를 비디오 송신기-박스에 연결시키고, 비디오 송신기-박스는 인코딩된 독립 및 종속 비디오 프레임을 확립된 표준에 따라 상기 수신기로 송신한다.

Description

요청시 Ｉ-화상 삽입 {I-PICTURE INSERTION ON REQUEST}
본 발명은 비디오 또는 오디오 비디오(audiovisual) 송신 분야에 관한 것이다. 본 발명은, 특히 MPEG2 포맷의 I-화상과 같은 독립적인 기준 프레임을 갖는 비디오 포맷을 이용하여 송신기-박스가 오디오 비디오 컨텐트를 하나 또는 복수의 수신기에 공급할 때 적용된다. 그러나, 본 발명이 다른 포맷 및 애플리케이션에 적용될 것임이 이해될 것이다.
아날로그 TV-링크 및 디지털 TV-링크 시스템과 같은 멀티미디어 디바이스는 최근에 소비자에게 대중화되고 있다. 특히 IEEE 802.11 표준을 이용하는 무선 LAN과 같은 무선 홈 네트워킹인 홈 네트워킹은 최근에 가격이 떨어지고 있고, 소비자에게 더 대중화되고 있다. 이들 2가지 최근의 대중적인 기술의 조합은 비디오 방송을 수신하는 셋톱 박스를 가질 수 있게 하고, 로컬 네트워크를 통해 비디오를 가정 전체에, 심지어 예를 들어 정원 또는 독립 차고와 같은 구내 전체에 분배된 수신기에 제공하는 송신기-박스의 역할을 할 수 있게 한다. 그러나, 소비자는 가정 전체에 배선하기를 원하지 않고, 강력한 전자 칩이 충분히 적은 비용이 들기 때문에, 무선 홈 네트워킹을 통해 네트워킹된 가전 오락 디바이스에서 MPEG2 인코딩을 병합하는 것이 경제적이다.
송신기-박스와 가정 주변의 하나 이상의 수신기 사이에서 송신 에러가 발생할 때 어려움에 직면하게 된다. 예를 들어, 비-스트리밍 데이터 연결용 표준 메커니즘은 송신기가 송신 에러로 인해 손실되거나 손상된 데이터의 재-송신에 대한 요청으로 송신기-박스로 다시 신호를 송신하는 것이다. 멀티미디어 환경에서, 특히 시청할 때, 이것은 디스플레이의 불쾌한 지연 및 순간적인 프리즈(freeze)를 발생시킨다.
일반적으로 셋톱 박스에 사용된 더 우수한 해결책은, 송신될 다음 기준 프레임, 즉 MPEG2 인코딩 포맷의 I-프레임을 수동적으로 기다리는 것이다. I-프레임은 완전한 비디오 프레임을 구성하기 위해 필요한 비디오 정보를 갖지만, 평균적으로, 수신될 다음 I-프레임에 대한 연속적인 I-프레임 사이의 간격의 절반, 즉 일반적으로 0.5s이다. 이러한 지연은 다시 디스플레이의 불쾌한 순간적인 프리즈를 야기하지만, 수신기만이 그 문제를 겪는다. 셋톱 박스에 적응될 수 있는 다른 해결책은, 송신기-박스가 MPEG2 인코딩을 위해 I-프레임만을 송신하는 것인데, 이것은 전술한 지연을 제거한다. 그러나, 이러한 해결책의 단점은, 스트림의 비트율이 일반적으로 네트워크가 처리하기에 너무 높거나, 비트율이 감소되는 경우 그 품질이 너무 낮다는 것이다.
그러므로, 비디오 송신의 비트율을 증가시키지 않고도 에러 또는 다른 송신 중단에 후속하는 더 짧은 기간의 비디오 저하(degradation) 또는 프리징을 제공하는 시스템 및 방법을 제공하는 것이 바람직하다. 또한 MPEG2와 같은 표준 비디오 디코딩이 수신기에 사용될 수 있는 방식으로 이들 개선점을 제공하는 것이 바람직 하다.
적은 수의 I-프레임을 삽입함으로써 더 우수한 전체 품질을 제공하기 위해 I-화상 삽입 메커니즘을 이용하는 것이 더 바람직하다. 일반적으로 I-프레임이 P 또는 B 프레임보다 더 많은 비트의 정보를 필요로 하기 때문에, 더 적은 수의 I-프레임을 갖는 것은 프레임당 더 높은 평균 비트율을 의미하므로, 이에 따라 전체 품질 개선을 의미한다. 극단적인 경우에, 송신 에러의 결과로서 또는 새로운 디코더가 활성화되는 경우에 요청된 것을 제외하고, I-프레임은 전혀 존재하지 않을 수 있다.
본 발명의 하나의 양상에 따라, 비디오 디스플레이 방법이 제공된다. 상기 방법은, 송신기 박스에서 디지털 또는 아날로그 오디오/비디오 스트림을 수신하는 단계와, 수신된 디지털 또는 아날로그 오디오/비디오 스트림을 독립 비디오 프레임의 비디오 스트림으로 인코딩, 재-인코딩 또는 트랜스코딩하여 종속 비디오 프레임을 삽입하는 단계와, 상기 스트림을 하나 이상의 수신기로 전달하는 단계와, 적어도 하나의 수신기로의 송신 결함을 나타내는 상태를 감지하는 단계와, 상기 상태의 감지에 응답하여, 독립 프레임에 대한 요청을 생성하는 단계와, 상기 요청에 응답하여, 독립 비디오 프레임을 비디오 스트림에 삽입하는 단계를 포함한다. 송신 결함을 나타내는 상태의 감지는 수신기 상의 화상 결함 검출기, 송신기-박스 또는 수신기-박스에서의 통신 인터페이스, 수신기에서의 멀티플렉스/디멀티플렉스 섹션, 및 송신기-박스에서의 인코딩 프로세서 중 적어도 하나에 의해 수행된다.
본 발명의 다른 양상에 따라, 가전 오락 시스템이 제공된다. 가전 오락 시스템은, 비디오 입력을 수신하는 입력 수단과, 수신된 비디오 입력을, 독립 비디오 프레임 및 종속 비디오 프레임을 포함하는 디지털 오디오/비디오 스트림으로 인코딩하는 인코딩 수단과, 비디오 스트림을 하나 이상의 수신기로 전달하는 수단을 포함한다. 가전 오락 시스템은 또한 수신기 중 하나 이상에서 잠재적인 디스플레이 결함을 나타내는 조건을 감지하는 수단과, 독립 프레임을 비디오 스트림에 삽입함으로써 요청에 응답하는 인코딩 수단과의 전달 수단에 의해 통신되는 요청으로 독립 프레임에 대한 요청을 생성하는 수단을 포함한다.
본 발명의 하나의 장점은, 비디오가 송신 중단 이후에 저하되거나 프리즈되는 시간에서 평균 시청자가 인지하는 레벨 아래까지의 감소를 제공하는 것이다.
다른 장점은, 본 발명이 종래의 방법에 비해 감소된 비트율로 비디오를 제공하는 것이다.
또 다른 장점은, 본 발명이 송신 에러가 없는 경우 종래의 방법에 비해 개선된 품질로 비디오를 제공하는 것이다.
다른 장점은, 본 발명이, 네트워크 상의 공통적으로 이용가능한 수신기, 및 I-프레임 삽입을 요청하도록 구성된 수신기의 이용을 허용하는 MPEG2와 같은 잘 알려진 비디오 인코딩 표준을 이용하는 것이다.
본 발명의 또 다른 장점은, 바람직한 실시예의 다음의 상세한 설명을 읽고 이해할 때 당업자에게 명백할 것이다.
본 발명은 다양한 부분 및 부분의 배열로 나타날 수 있다. 도면은 단지 바람직한 실시예를 예시하기 위한 것이고, 본 발명을 한정하는 것으로 해석되어서는 안 된다.
도 1은 본 발명에 따른 송신기-박스 및 수신기를 도시한 블록도.
도 2a는 종래 방법에 따른 MPEG2 송신을 시간-라인으로 도시한 도면.
도 2b는 본 발명의 일실시예에 따른 MPEG2 송신을 시간-라인으로 도시한 도면.
도 3은 본 발명의 일실시예에 따라 네트워크 입력을 위한 서버 또는 송신기-박스 입력 디코더 방법을 도시한 흐름도.
도 4는 본 발명의 일실시예에 따라 아날로그 입력을 위한 서버 또는 송신기-박스 입력 디코더 방법을 도시한 흐름도.
도 5는 본 발명의 일실시예에 따라 케이블/위성 입력을 위한 서버 또는 송신기-박스 입력 디코더 방법을 도시한 흐름도.
도 6은 본 발명의 일실시예에 따른 서버 또는 송신기-박스 인코더 방법을 도시한 흐름도.
도 7은 본 발명의 일실시예에 따른 서버 또는 송신기-박스 통신 모듈을 도시한 흐름도.
도 1을 참조하면, 셋톱 박스 또는 송신기 박스(10)는 비디오 소스(12)로부터 바람직한 실시예에서는 아날로그 오디오/비디오 스트림을 얻거나, 대안적인 실시예 에서는 디지털 오디오/비디오 스트림을 얻고, 각 사용자로의 디스플레이를 위해 인코딩된 MPEG2 비디오 프레임을 무선 또는 유선 네트워크(14)를 통해 하나 이상의 수신기(16)로 송신한다. 비디오 소스(12)는 튜너, 인터넷, DVD 플레이어, 위성, 등에 의해 수신된 방송과 같은 임의의 비디오 소스일 수 있다. 네트워크(14)는, 예를 들어 IEEE 802.11a, 802.11b, 802.11g 및 기타 다른 것과 같은 의도된 목적을 위해 충분한 대역폭을 갖는 임의의 표준 또는 비-표준 네트워크를 이용할 수 있다. 수신기(16)는 내장형(built-in) 디스플레이 스크린을 갖는 자체-포함 디바이스와, 또한 별도의 디바이스 상의 디스플레이를 위해 인입 비디오 신호를 디코딩하는 수신기, 예를 들어 텔레비전 세트 상의 디스플레이를 위해 CVBS(composite video blanking and synchs) 신호를 출력하는 수신기를 포함한다. 수신기(16)는 또한 부속 모니터 상에 비디오를 디스플레이하도록 설치된 개인용 컴퓨터를 포함할 수 있다.
PDA, 모바일 전화, 랩탑 컴퓨터, 비디오 캡처 디바이스, 카메라, CCD 디바이스, 웹-캠 또는 유사한 디바이스와 같은 대안적인 디바이스를 포함하는 송신기-박스(10)는 입력 비디오부(18), 디지털 또는 아날로그 오디오/비디오 스트림 압축 프로세서, 인코더, 재-인코더 또는 트랜스코더(20), 및 통신 인터페이스(22)를 포함한다. 바람직한 실시예에서 입력부(18)는 아날로그 입력 스트림을 수신하고, 입력부(18)에 의해 또는 디지털 오디오/비디오 스트림 인코더(20)에 의한 추가 처리를 위해 원래(raw) 내부 디지털 비디오 포맷으로 변환한다. 대안적인 실시예에서, 입력부는 비디오 소스에서 인코딩된 비디오를 수신하고, 디지털 오디오/비디오 스트림 인코더(20)에 의한 추가 처리를 위해 상기 비디오를 원래 내부 비디오 포맷으로 변환한다.
비디오 인코더(20)는 원래 디지털 오디오/비디오 스트림을, 하나 이상의 수신기(16)로의 송신을 위해 MPEG2와 같은 압축 포맷으로 변환한다. 본 출원이 MPEG2 인코딩에 대해 주로 설명되지만, MPEG4 또는 DIVX, 및 미래의 인코딩 포맷과 같은 다른 인코딩 포맷은 본 출원의 범주 내에 있다. 송신기-박스(10)는 지연 시청을 위해 인코딩된 디지털 오디오/비디오 스트림을 리코딩하기 위한 시간-시프트 버퍼(24)를 포함할 수 있고, 또한 일반적으로 셋톱 박스에서 발견된 다른 특징 및 제어를 포함할 수 있다. 그러나, 이러한 특징 및 제어는 구체적으로 논의되지 않는데, 그 이유는 이들에 대한 지식이 본 명세서에 설명된 실시예의 개념을 이해하는데 필요하지 않기 때문이다.
일반적으로, MPEG2 포맷은 다수의 비디오 프레임을 화상 그룹(GOP)으로 그룹화한다. 각 GOP는 I-프레임에서 시작하고, 통상적으로 다수의 P 및 B 프레임이 후속한다. 각 GOP는 단일 I-프레임만큼 적을 수 있고, 일반적으로 길이면에서 15 프레임보다 적다. I-프레임은 평균 7 대 1 감소율을 갖는 인트라-코딩 프레임이다. I-프레임은 이전 프레임을 참조하지 않고도 디코딩될 수 있는 기준 화상으로서 관찰될 수 있다. 구별에 의해, P-프레임 및 B-프레임은 화상을 정확히 디코딩하기 위해 이전 또는 이후 프레임으로부터의 데이터를 이용한다. 그러므로, 본 명세서에 사용된 I-프레임이라는 용어는, 또한 이후부터 독립 프레임 또는 I-화상이라 지칭되는, 초기 프레임을 참조하지 않지 않고도 완전한 화상 프레임을 구성하는데 필요한 모든 데이터를 포함하는 비디오 프레임 포맷을 포함하도록 정의된다. JPEG 또는 JPEG2000 이미지는 독립 프레임의 일례이다. 또한, 예를 들어 모든 I-매크로블록을 포함하는 P-프레임은 독립 프레임이다. 또한, 예를 들어 제 1 P-프레임이 화상의 상부 절반을 갱신하고, 제 2 P-프레임이 하부 절반을 갱신하는 2개의 연속 P-프레임을 이용하는 방법, 및 다른 유사한 방법이 본 명세서에 사용된 I-프레임의 정의의 범주 내에 포함되는 것으로 이해될 것이다. 우리는 많은 변형을 생각할 수 있지만, 우리는 모두 독립 화상 데이터로 전체 스크린을 재기록하는 것에 귀착한다.
마찬가지로, P-프레임 및 B-프레임이라는 용어는, 또한 이후부터 독립 프레임이라 지칭되는, 완전한 비디오 프레임을 구성하기 위해 초기 또는 나중 프레임으로부터의 데이터에 종속하는 비디오 프레임 포맷을 포함한다. P-프레임은 변경된 매크로블록에 대한 데이터의 추가로 이전 I 또는 P 프레임에 기초하여 예측된다. P-프레임은 20 대 1 감소율 또는 I 프레임의 크기의 절반에 대해 평균한다. 일예로, P 프레임은 현재 프레임과 바로 이전 프레임 사이의 차이를 나타낸다. B-프레임은 과거 및 미래 프레임 매크로블록의 위치를 갖는 출현(appearance)에 기초하는 양방향 예측 프레임이다. B-프레임은 50 대 1 감소율에 대해 평균된 P-프레임보다 적은 데이터를 갖는다.
I-프레임은 이전 프레임을 참조하지 않고도 디코딩될 수 있는 기준 화상으로서 관찰될 수 있다. P-프레임 및 B-프레임은 화상을 정확히 디코딩하기 위해 이전 또는 이후 프레임으로부터 데이터를 필요로 한다. 실시예가 MPEG2에 대해 설명되지만, MPEG2에 대한 개념에서 유사한 다른 포맷이 이용되고 본 출원의 범주 내에 있을 수 있다. MPEG4가 비디오 인코더(20)에 대한 선택된 포맷인 경우에, 각 GOP는 최대 키 프레임 간격만큼의 크기일 수 있는데, 일반적으로 200 내지 300 프레임일 수 있다.
MPEG4를 이용하는 실시예에서, 디코더는 기준 프레임으로서 다중 프레임을 이용할 수 있다. 송신 에러가 발생하면, I-화상 삽입을 요청하는 대안은, 기준 프레임으로서 손실된 화상을 이용하는 것을 피하기 위해 정보를 인코더로 송신하는 것이다. 이러한 방식으로, 인코딩은 심지어 I-화상을 이용하지 않고도 더 상대적으로 효과적이 된다.
또한, B-프레임이 손실되거나 중단될 때, 수신기 디코딩 수단은 어떠한 해로움 없이 B-프레임을 간단히 스킵하고 다음 프레임에 대해 계속될 수 있고, 그러므로, 그러한 경우에 I-프레임 삽입을 요청하는 것은 필요하지 않다. 또한 송신 에러가 비교적 연장된 시간 기간에 걸쳐 연장할 수 있다는 것이 이해되어야 하며, 여기서 다중 프레임은 손실된다. 이 경우에, I-프레임 삽입에 대한 요청은 일반적으로 전체 품질을 개선시키고 더 빠른 에러 복구를 제공하는데 필요하다.
일반적인 셋톱 박스에서, 인코더는 정상 간격에서 I-프레임을, 예를 들어 15 P/B-프레임에 대해 1개의 I-프레임을 송신한다. 송신을 위해 고정된 비트율을 달성하기 위해, 많은 시스템은 인코더로 하여금 GOP에 걸쳐 송신 속도를 할당시키고 평균화하게 한다. 이러한 시나리오에서, 송신 데이터가 통신 문제로 인해 손실될 때, 비디오 저하는 0.5초 정도, 또는 그보다 더 오래 걸릴 수 있는 다음 I-프레임 송신까지 계속해서 존재할 것이다. 그러나, 본 출원의 개념 하에, 더 짧은 시간에 비디오 품질을 복원하는 개선된 방법 및 장치가 다른 수신기의 사용자에 대한 이미지를 손상시키지 않고도 제공된다.
도 2a는 종래의 MPEG2-스트림에 따른 I-프레임 및 P/B-프레임의 시간 라인을 도시하고, 프레임이 손실될 때 발생할 수 있는 저하 기간을 도시한다. 이 도면에서, 고정 GOP 구조 및 고정된 GOP 크기가 사용되는 간략함에 대해 가정된다. 그러나, 이것은 일반적으로 확립된 표준이 가변 GOP 구조 및 크기를 허용한다는 경우이다. 시간적 진행은 시간-라인(30)에 의해 도시된 바와 같이 좌측에서 우측으로 이루어지며, 제 1, 제 2 및 제 3 I-프레임은 각각 참조 번호(32, 34 및 36)로 식별된다. I-프레임(32 내지 36)은, 장면 변화에서, I-프레임 사이에 산재되지 않으면, P/B 프레임의 고정된 품질로 고정된 간격에서 발생한다. 제 1 I-프레임(32)이 후속하는 하나 이상의 P/B-프레임(38)이 송신 에러로 인해 손실되는 경우에, 저하 기간(40)은 P/B-프레임(38)으로부터 후속하는 I-프레임(34)으로 도시된 바와 같이 발생한다. 유사하게, 수신기가 P/B 프레임(38)이 수신될 때 송신기-박스에 연결되면, 저하 기간(40)은 초기 I-프레임을 기다리는 동안 경험된다. 비디오 품질은 송신 에러 또는 초기 연결에 후속하여 다음 I-프레임(34)의 송신시 복구된다.
도 2b는, 본 출원의 실시예를 병합하는 송신기-박스 및 수신기에 따라 I 프레임 및 P/B-프레임의 시간-라인을 도시하고, 이제부터 감소된 기간의 저하 및 평균적으로 더 우수한 품질을 예시한다. 시간적 진행은 시간-라인(50)에 의해 도시된 바와 같이 좌측에서 우측으로 다시 이루어지지만, 이 실시예에서, I-프레임은 단지 필요한만큼 삽입되거나, 도 2a에서와 같이 고정된 간격에서 발생하기보다는 시작 I-프레임(42) 및 요청된 I-프레임(44)에 의해 도시된 바와 같이 장면 변화에서 삽 입된다. 이 경우에, 하나 이상의 손실된 P/B-프레임(들)(46)이 송신 에러로 인해 발생하는 경우, 수신기(16)의 하나 이상은 요청된 I-프레임(44)의 송신을 초래하는 I-프레임 삽입을 요청한다. 저하 기간(48)은 여전히 도시된 바와 같이 발생하지만, 그 기간은, 이론적으로 MPEG2 호환 고려 사항(consideration) 및 다른 고려 사항으로 인해, 저하 기간이 더 긴 소수의 프레임일 수 있을지라도, 손실된 P/B 프레임(46)의 지속기간만큼 짧아질 수 있다. 사실상, 저하 기간은 버퍼링 고려 사항으로 인해 추가 프레임 또는 2개의 프레임을 포함할 수 있지만, 그럼에도 불구하고 현저한 개선이 달성된다. 비디오 품질은 요청된 I-프레임(44)의 송신시 복구되고, 저하 기간은, 평균 시청자가 인식할 수 있는 교란으로서 인지하는 레벨 아래로 유리하게 감소된다.
예시된 실시예만이 필요한 만큼 단지 I-프레임을 송신하고 가능하면 P/B-프레임만을 송신하지만, 다른 실시예가 고정된 간격에서 그리고 필요한 만큼 I-프레임을 송신할 수 있음이 이해될 것이다. 그러나, I-프레임의 시간 주파수는 비디오 품질을 희생시키지 않고도 송신 비트율을 떨어뜨리기 위해 유리하게 감소된다.
또한 본 출원의 실시예가 수신기에 대한 프레임의 연속적인 스트림을 유지하고, 스트림이 MPEG2 표준과 완전히 호환되게 유지된다는 것이 강조될 것이다. 이것은, 송신 에러를 경험하지 않는 수신기가 다른 수신기에 의해 I-프레임의 요청에 의해 영향을 받지 않도록 다수의 수신기의 경우에 중요하다. 스트림의 품질은 I-프레임 삽입에 의해 현저히 영향을 받지 않고, 다수의 수신기 각각은 개선된 전체 시청 품질을 발생시킨다.
다시 도 1을 참조하면, 각 수신기(16)는 디스플레이된 컨텐트에서의 결함을 야기하는 상태에 대해 감시하는 화상 결함 검출기(52)를 포함한다. 에러가 수신기에서 검출될 수 있더라도, 에러는 또한 송신기-박스(10), 통신 인터페이스(22) 또는 네트워크 성분(14)에서 유리하게 검출될 수 있다. 결함 검출기(52)에 의한 검출 이전에 검출된 에러는 더 적절한 기초 하에 수정될 수 있다. 검출기(52)에 의해 검출된 상태는 손실된 디지털 데이터 패킷, 턴 온된 수신기, 순간적인 전력 소실, 등을 포함한다. 손실된 패킷도 또한 검출될 수 있다. 그러나, 이들은 네트워크 성분(14)에 의해 더 적절하게 검출된다.
결함 상태를 검출함에 따라, 송신기(54)는 가능한 한 곧 I-프레임의 삽입을 요청하는 박스(10)의 통신 모듈(22)을 신호 발신(signal)한다. 비디오 압축 프로세서(20)는 I-프레임, 또는 다른 기준 화상을 수신기로 송신되는 디지털 오디오/비디오 스트림에 삽입함으로써 응답한다.
각 수신기(16)는 또한 디코더(52)와 통신하는 주 제어부(56)와, 송신기(54)와, 멀티플렉서/디멀티플렉서 유닛(58)을 포함한다. 멀티플렉서/디멀티플렉서 유닛은 I/O 부(59)에서의 개별적인 처리를 위해 스트림의 오디오 및 비디오 부분을 분리시킨다. 멀티플렉서/디멀티플렉서 유닛(58)은 또한 결함을 검출할 수 있고 I-프레임 삽입을 요청할 수 있다.
도 3은 WAN 입력의 경우에, 예를 들어 인터넷에 본 출원의 입력부(18)로의 병합에 적합한 방법의 흐름도를 제공한다. 도시된 방법은 IEEE 1394 캡쳐 카드를 통해 디지털 비디오(DV) 카메라와 같은 국부적으로 부속 디바이스에 또한 적합하 다. 단계(60)에서, 설정된 송신기-박스(10)의 사용자는 예를 들어 인터넷 라디오/TV 방송국 또는 DV 카메라와 같은 소스를 선택하고, 각 오디오/비디오 스트림의 수신을 개시한다. 단계(62)에서, 소스와의 연결이 이루어지고, 단계(64)에서, 입력부(18)는 선택된 오디오/비디오 스트림 입력을 수신하고, 단계(66)에서는 필요시 오디오/비디오 스트림을 원래 압축되지 않은 비디오 포맷으로 디코딩한다. 입력 오디오/비디오 스트림이 압축되지 않거나 다르게 인코딩되었다면, 이러한 단계는 스킵될 수 있다.
단계(64 및 66)가 개별적인 단계로서 도시되지만, 사실상, 상기 단계는 재-인코더에서, 또는 단지 부분적인 디코딩/압축 해제를 이용할 때 조합될 수 있다. 단계(68)에서, 디코딩된 디지털 오디오/비디오 스트림은 미래 처리를 위해 인코더 모듈로 송신되고, 비디오 입력이 더 많은 경우, 처리는 단계(64)로 되돌아간다. 도 3 내지 도 7에 제공된 흐름도가 본 출원의 개념을 이해하는데 도움을 주도록 요약되고, 실제 구현이 흐름도에 도시된 것보다 더 많은 세부사항을 포함하는 것이 이해된다. 예를 들어, 버퍼(24)를 포함하는 실시예는 디코딩 단계(66)와 송신 단계(68) 사이의 시간-시프트 버퍼링을 선택적으로 수행할 수 있다.
도 4는 공영 라디오/TV 방송과 같은 아날로그 입력의 경우에 본 출원의 입력부(18)에 병합하는데 적합한 방법의 흐름도를 제공한다. 도시된 방법은, 또한 디지털 비디오(DV) 카메라와 같은 부속 디바이스가 아날로그 비디오 캡쳐 카드 상의 S-비디오 커넥터와 같은 아날로그 연결부를 통해 부착될 때 심지어 이는 국부적인 부속 디바이스에 대해서도 적합하다. 단계(80)에서, 송신기-박스(10)의 사용자는 예 를 들어 TV 방송국으로부터의 아날로그 방송과 같은 소스를 선택하고, 각 오디오/비디오 스트림의 수신을 개시한다. 단계(82)에서, 선택된 채널/방송국이 맞춰지고, 입력부(18)는 단계(84)에서 선택된 아날로그 입력을 수신한다. 단계(86)에서, 아날로그 입력은 필요한 경우 원래 압축되지 않은 비디오 포맷으로 디지털화된다. 아날로그 입력 스트림이 캡쳐 카드에 의해 디지털화되면, 이 단계는 건너뛰게 될 것이다.
단계(84 및 86)가 개별적인 단계로서 도시되지만, 사실상, 상기 단계는 단일 칩 또는 모듈에서 조합될 수 있다. 단계(88)에서, 디코딩된 디지털 오디오/비디오 스트림은 추가 처리를 위해 인코더 모듈로 송신되고, 단계(90)에서, 더 많은 비디오 입력이 있으면, 처리는 단계(84)로 되돌아간다. 도 5는 위성 수신기 또는 디지털 케이블 TV 수신기와 같은 소스로부터의 입력의 경우에 본 출원의 입력부(18)로의 병합에 적합한 방법의 흐름도를 제공한다. 단계(90)에서, 설정된 송신기-박스(10)의 사용자는 예를 들어 위성 TV 채널과 같은 소스를 선택하고, 각 오디오/비디오 스트림의 수신을 개시한다. 단계(92)에서, 선택된 채널이 맞추어지고, 입력부(18)는 단계(94)에서 선택된 입력을 수신한다. 단계(96)에서의 결정이, 입력이 아날로그 스트림인지를 결정하면, 아날로그 입력은 케이블 TV 수신기에 의해 이전에 디지털화되지 않으면 단계(98)에서 디지털화된다. 단계(100)에서의 결정이, 입력이 인코딩된 디지털 스트림인지를 결정하면, 인코딩된 입력은 단계(102)에서 디코딩된다.
모든 경우에, 처리는 오디오/비디오 스트림이 추가 처리를 위해 인코더 모듈 로 송신되는 단계(104)로 진행하고, 단계(106)에서, 더 많은 비디오 입력이 있으면, 처리는 단계(94)로 되돌아간다. 이전에 설명된 방법에서와 같이, 단계(94 내지 102)는 사실상 단일 기능 또는 칩에서 조합될 수 있다.
도 6은 비디오 인코더(20)에서의 구현에 적합한 방법에 대한 흐름도를 제공한다. 디코딩된 디지털 또는 아날로그 오디오/비디오 데이터는 인코더에 의한 처리를 위해 단계(110)에서 수신된다. 수신된 오디오/비디오 데이터는 또한 예를 들어 재-인코딩 또는 비트율 트랜스코딩을 위해 부분적으로 디코딩될 수 있다. 송신기-박스(10)가 시간-시프트 버퍼를 포함하면, 단계(112)는 디지털 오디오/비디오 스트림을 시간-시프트 버퍼(24)에 기록하는 방법에 포함된다. 시간-시프트된 데이터는 대안적으로 입력부(18)에 유지될 수 있다. 시간-시프트 버퍼(24)에 기록된 데이터는 압축 포맷으로 인코딩되는 것이 바람직하다. 단계(114)는, 송신기-박스(10)가 시간-시프트 버퍼로부터 디지털 오디오/비디오 스트림 데이터를 처리하거나 수신된 디지털 오디오/비디오 스트림 데이터를 처리하는지에 대해 결정한다. 전자의 경우에, 단계(116)는 시간-시프트 버퍼로부터 디지털 오디오/비디오 스트림 데이터를 취득하고, 필요시, 추가 처리를 위해 원하는 포맷으로 압축 해제를 수행한다. 수신된 디지털 또는 아날로그 오디오/비디오 스트림 데이터가 디스플레이되면, 단계(118)에서는 추가 처리를 위해 상기 데이터가 송출된다. 어느 경우에나, 단계(120)는, I-프레임이 수신기(16) 중 하나 이상에 의해 요청되는지를 결정하도록 야기되고, 만약 요청되지 않으면, 단계(122)는 다음으로 P/B 프레임을 인코딩하도록 수행된다. I-프레임이 요청되면, 단계(124)는 I-프레임을 인코딩하도록 수행된다. 인코 딩된 I/P/B-프레임은 단계(126)에서 통신 모듈(22)로 전달된다.
송신 에러가 단계(128)에서 결정된 바와 같이 통신 인터페이스(22)에 의해 검출가능한 경우에, I-프레임 삽입은 스트림 품질을 가능한 한 빨리 복구하기 위해 단계(130)에서 요청된다. 단계(132)는 비디오 디코더(18)로부터 수신될 더 많은 오디오/비디오 스트림 데이터가 있는 경우 연속적인 비디오 처리를 위해 단계(110)로 되돌아간다. 송신기-박스(10)가 시간-시프트 버퍼(24)로부터 버퍼링된 디지털 오디오/비디오 스트림을 디스플레이하면, 단계(134)는 단계(116)로 되돌아가서, 시간-시프트 버퍼로부터 추가 디지털 오디오/비디오 스트림을 취득한다.
도 6에 도시된 방법이 I-프레임 요청을 인식하자마자 즉시 송신되는 I-프레임을 도시하지만, 사실상 반드시 이것이 이렇게 발생하지는 않는다. MPEG2 호환성, 또는 대안적인 표준과의 호환성으로 인해, 요청 시간과 I-프레임이 실제로 삽입될 수 있는 시간 사이에 수 프레임의 지연이 있을 수 있다. 본 출원의 실시예는 이것을 고려한다. 그러나, I-프레임이 가능한 한 빨리 삽입되는 것이 중요하고, 이로 인해, 바람직하게는 송신기-박스(10) 내에서 송신 에러를 가능한 한 빨리 검출하는 것이 유리하다.
도 7은 본 출원의 실시예에 따라 통신 모듈(22)이 I-프레임 삽입을 가능하게 하는데 적합한 단계를 제공한다. 단계(140)에서, 인코딩된 I/P/B-프레임이 인코더(20)로부터 수신된다. 단계(142)에서, 인코딩된 프레임은 네트워크(14)를 통해 연결된 모든 수신기(16)로 송신된다. 도 7에 도시된 방법이 몇몇 실시예에서 단방향 통신을 병합할 수 있지만, 양방향 실시예에서, 단계(144)는 연결된 수신기(16)로부 터 임의의 요청을 수신한다. 단계(146)는, 임의의 새로운 연결이 이용가능한 수신기(16)에 의해 이루어지는지를 결정하고, 만약 연결되지 않으면, 단계(148)는, 임의의 연결된 수신기가 송신 에러로 인해 I-프레임 삽입을 요청하는지를 결정하도록 수행된다. 단계(146 및 148) 중 어느 하나가 긍정적으로 응답되면, 단계(150)는, I-프레임 삽입이 요청되었음을 인코더(20)에게 통보하도록 야기되고, 모든 경우에, 처리는 단계(140)로 되돌아가서, 인코더(20)로부터 추가로 인코딩된 프레임을 수신하게 된다. 한정된 수의 수신기(16)가 연결될 때, 이 방법은 대역폭 제약에 초과되지 않은 경우 스트리밍 인터넷 기반의 응용에 사용될 수 있다.
본 발명이 I-프레임 및 P/B 프레임에 대해 설명되었지만, 전술한 바와 같이, I-프레임이 이전 프레임을 참조하지 않고도 디코딩될 수 있는 기준 화상으로서 관찰될 수 있는 반면, P-프레임 및 B-프레임이 화상을 정확히 디코딩하기 위해 이전 또는 이후 프레임으로부터 데이터를 필요로 한다는 것을 인식해야 한다. 그러므로, 유사한 개념을 이용하는 임의의 비디오 인코딩 방법을 병합하는 다양한 실시예는 본 출원의 범주 내에 있다.
더욱이, 본 발명이 무선 네트워크에 연결된 수신기에 대해 설명되었지만, 본 발명이 인코더와 수신기 사이의 유선 연결에 적용가능하다는 것이 인식될 것이다. 그러므로, 유선 또는 무선 네트워크 중 어느 하나를 통해 연결된 디코더로 하나 이상의 개별적인 수신기에 연결된 비디오 인코더를 병합하는 다양한 실시예는 본 출원의 범주 내에 있다.
더군다나, 본 발명이 송신기-박스, 특히 하나 이상의 수신기에 연결된 셋톱 박스를 갖는 가정 내 응용에 대해 설명되었지만, 본 출원의 범주가 본 명세서에 설명된 개념의 다른 용도를 포함한다고 이해될 것이다. 예를 들어, I-프레임의 개념을 병합하지 않는 포맷의 비디오를 I-프레임의 개념을 병합하는 MPEG2와 같은 포맷으로 변환하여, 본 명세서에 설명된 방법에 따라 I-프레임 삽입을 가능하게 하는 것을 포함할 수 있다. 다른 용도는, 본 출원의 개념에 따라 연결된 수신기로 송신된 I-프레임의 수를 감소시킴으로써 I-프레임의 개념을 병합하는 비디오 포맷의 변형일 수 있다.
본 발명은 바람직한 실시예를 참조하여 설명되었다. 명백하게, 변형 및 변경은 이전의 상세한 설명을 읽고 이해함으로써 다른 변형 및 변경도 구상될 것이다. 본 발명이 첨부된 청구항의 범주 또는 그 등가물 내에 있는 한 그러한 모든 변형 및 대안을 포함하는 것으로 해석되도록 의도된다.
상술한 바와 같이, 본 발명은 비디오 또는 오디오 영상(audiovisual) 송신 분야 등에 이용된다.

Claims (19)

  1. 비디오 디스플레이 시스템으로서,
    오디오/비디오 입력을 수신하는 입력 수단(18)과;
    상기 수신된 오디오/비디오 입력을, 독립 비디오 프레임 및 종속 비디오 프레임을 포함하는 비디오 스트림으로 인코딩, 재-인코딩, 또는 트랜스코딩하는 인코딩 수단(20)과;
    상기 비디오 스트림을 둘 이상의 수신기(16)로 동시에 전달하는 수단(14)과;
    송신 에러, 수신 에러, 및 상기 수신기 중 하나 상의 손실된 디지털 데이터 패킷, 턴 온된 수신기 및 순간적인 전력 소실을 포함하는 잠재적인(potential) 디스플레이 결함을 나타내는 상태를 감지하는 수단(52)과;
    독립 비디오 프레임에 대한 요청을 생성하는 수단(54)으로서, 상기 요청은 상기 전달 수단(14)에 의해 인코딩 수단(20)으로 통신되고, 상기 인코딩 수단(20)은 독립 비디오 프레임을 상기 비디오 스트림에 삽입함으로써 상기 요청에 응답하는, 요청 생성 수단(54)을 포함하고,
    요청시 삽입된 상기 독립 비디오 프레임은 모든 I-매크로블록을 포함하는 MPEG2 포맷 P-프레임과 모든 I-매크로블록을 포함하는 MPEG2 포맷 B-프레임 중 적어도 하나인, 비디오 디스플레이 시스템.
  2. 제 1항에 있어서, 상기 인코딩 수단은, 상기 독립 비디오 프레임이 I-프레임이고, 상기 종속 비디오 프레임이 P-프레임 및 B-프레임 중 적어도 하나를 포함하는 MPEG2 표준에 따라 비디오를 인코딩하는, 비디오 디스플레이 시스템.
  3. 삭제
  4. 제 1항에 있어서, 상기 전달 수단(14)은 무선 네트워크를 포함하는, 비디오 디스플레이 시스템.
  5. 제 4항에 있어서, 상기 무선 네트워크는,
    IEEE 802.11 표준과;
    이더넷 표준과;
    인터넷 표준과;
    무선 주파수(RF) 표준과;
    향상된 디지털 무선 전화(DECT) 표준과;
    블루투스 표준
    중 적어도 하나에 따르는, 비디오 디스플레이 시스템.
  6. 제 1항에 있어서, 독립 비디오 프레임 삽입 요청을 트리거링하는 상태는,
    네트워크 송신 에러와;
    손실된 비디오 프레임이 상기 수신기 중 하나에 의해 검출되는 것과;
    상기 수신기 중 하나의 활성화
    중 적어도 하나를 포함하는, 비디오 디스플레이 시스템.
  7. 비디오 디스플레이 시스템으로서,
    비디오 송신기-박스(10)로서, 둘 이상의 수신기(16)로 동시에 전송되는 독립 및 종속 비디오 프레임의 스트림을 생성하고,
    요청시 독립 비디오 프레임을 스트림에 삽입하고;
    요청시 손실된 기준 화상을 기준 화상으로 이용하는 것을 회피하도록
    구성되는, 비디오 송신기-박스(10)와;
    둘 이상의 수신기(16)로서, 상기 둘 이상의 수신기(16) 각각은 독립 및 종속 비디오 프레임의 스트림을 인간이 시청가능한 디스플레이(human viewable display)로 변환하는, 둘 이상의 수신기(16)와;
    독립 비디오 프레임의 스트림으로의 삽입을 요청하는 수단(52)과;
    독립 및 종속 비디오 프레임의 스트림 및 삽입 요청을 통신하기 위해 상기 수신기를 상기 비디오 송신기-박스에 연결시키는 네트워크(14)를 포함하고,
    요청시 삽입된 상기 독립 비디오 프레임은 모든 I-매크로블록을 포함하는 MPEG2 포맷 P-프레임과 모든 I-매크로블록을 포함하는 MPEG2 포맷 B-프레임 중 적어도 하나인, 비디오 디스플레이 시스템.
  8. 제 7항에 있어서, 상기 비디오 송신기-박스는,
    입력 비디오 소스(12)로부터 독립 및 종속 비디오 프레임을 생성하는 비디오 압축 인코더, 재-인코더 또는 트랜스코더(20)로서, 상기 비디오 인코더, 재-인코더 또는 트랜스코더는 삽입 요청의 수신에 응답하여 독립 비디오 프레임을 생성하는, 비디오 압축 인코더, 재-인코더 또는 트랜스코더(20)를
    포함하는, 비디오 디스플레이 시스템.
  9. 제 8항에 있어서, 상기 비디오 압축 인코더(20)는 MPEG2, MPEG4 또는 DIVX 표준과 호환될 비디오 프레임을 인코딩하고, 재-인코딩하거나 트랜스코딩하는, 비디오 디스플레이 시스템.
  10. 제 7항에 있어서, 상기 네트워크(14)는 무선 네트워크를 포함하는, 비디오 디스플레이 시스템.
  11. 제 10항에 있어서, 상기 무선 네트워크는 IEEE 802.11 표준, 이더넷 표준, 인터넷 표준, RF 표준 DECT 표준 또는 블루투스 표준에 따르는, 비디오 디스플레이 시스템.
  12. 제 8항에 있어서, 비디오 압축 인코더(20)에 의해 인코딩하기 전에 입력 비디오 프레임을 원래(raw) 내부 비디오 포맷으로 디코딩하는 입력 비디오 디코더(18)를 더 포함하는, 비디오 디스플레이 시스템.
  13. 비디오 디스플레이 방법으로서,
    디지털 또는 아날로그 오디오/비디오 스트림 데이터를 수신하는 단계와;
    상기 수신된 오디오/비디오 스트림 데이터를 독립 비디오 프레임의 비디오 스트림으로 인코딩하는 단계, 재-인코딩 단계, 및 트랜스코딩 단계 중 적어도 하나의 단계와;
    상기 독립 비디오 프레임 사이에 종속 비디오 프레임을 삽입하는 단계와;
    상기 비디오 스트림을 둘 이상의 수신기로 동시에 전달하는 단계와;
    디스플레이 결함, 송신 에러, 및 상기 수신기 중 하나에서의 수신 에러 중 적어도 하나를 나타내는 상태를 감지하는 단계와;
    상기 상태의 감지에 응답하여, 독립 비디오 프레임에 대한 요청을 생성하는 단계와;
    상기 요청을 전송하는 단계와;
    상기 요청을 수신하는 단계와;
    상기 요청에 응답하여, 독립 비디오 프레임을 가능한 한 빨리 상기 비디오 스트림에 삽입하는 단계를 포함하고,
    요청시 삽입된 상기 독립 비디오 프레임은 모든 I-매크로블록을 포함하는 MPEG2 포맷 P-프레임과 모든 I-매크로블록을 포함하는 MPEG2 포맷 B-프레임 중 적어도 하나인, 비디오 디스플레이 방법.
  14. 제 13항에 있어서, 상기 인코딩 단계는, 요청시 독립 비디오 프레임의 인코딩뿐만 아니라, 다수의 종속 비디오 프레임에서의 고정된 간격에서 독립 비디오 프레임의 인코딩, 장면 변화시 독립 비디오 프레임의 인코딩 및 개선된 압축에 유리한 시간에서 독립 비디오 프레임의 인코딩 중 하나 이상의 인코딩을 포함하는, 비디오 디스플레이 방법.
  15. 제 14항에 있어서, 상기 고정된 간격에서, 각 독립 비디오 프레임 사이에 15개를 초과하는 종속 비디오 프레임이 존재하는, 비디오 디스플레이 방법.
  16. 제 13항에 있어서, 독립 비디오 프레임은 요청시에만 종속 비디오 프레임의 스트림에 삽입되는, 비디오 디스플레이 방법.
  17. 제 13항에 있어서, 독립 비디오 프레임을 요청하기 위한 상태는,
    비디오 송신 에러와;
    손실 프레임의 검출과;
    손실 패킷의 검출과;
    수신기의 턴 온
    중 적어도 하나를 포함하는, 비디오 디스플레이 방법.
  18. 제 13항에 있어서, 상기 인코딩 단계는,
    MPEG2 표준과;
    MPEG4 표준과;
    DIVX 표준
    중 적어도 하나에 따라 비디오 프레임을 인코딩하는, 비디오 디스플레이 방법.
  19. 제 18항에 있어서, 상기 독립 비디오 프레임은 I-프레임 및 다수의 기준 프레임 중 하나 이상이고, 상기 종속 비디오 프레임은 P-프레임 및 B-프레임 중 하나 이상인, 비디오 디스플레이 방법.
KR1020057009450A 2002-11-27 2003-10-29 요청시 ｉ-화상 삽입 KR100975311B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42967002P 2002-11-27 2002-11-27
US60/429,670 2002-11-27

Publications (2)

Publication Number Publication Date
KR20050086835A KR20050086835A (ko) 2005-08-30
KR100975311B1 true KR100975311B1 (ko) 2010-08-12

Family

ID=32393573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057009450A KR100975311B1 (ko) 2002-11-27 2003-10-29 요청시 ｉ-화상 삽입

Country Status (7)

Country Link
US (1) US20060048193A1 (ko)
EP (1) EP1568230A1 (ko)
JP (1) JP2006508574A (ko)
KR (1) KR100975311B1 (ko)
CN (1) CN1717935B (ko)
AU (1) AU2003274547A1 (ko)
WO (1) WO2004049719A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362308B2 (en) 2016-09-26 2019-07-23 Hanwha Techwin Co., Ltd. Apparatus and method for processing image

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9192859B2 (en) * 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
KR20050052717A (ko) * 2003-12-01 2005-06-07 엘지전자 주식회사 오디오 원본 보존 트랜스코딩 시스템 및 방법
WO2006003232A1 (en) * 2004-07-01 2006-01-12 Oy Gamecluster Ltd A method and a device for transferring predictive and non-predictive data frames
KR100615698B1 (ko) * 2004-07-22 2006-08-25 삼성전자주식회사 무선환경하에서 프레임 전송 방법 및 시스템
CN101103630B (zh) 2004-10-05 2010-11-17 维克多曼克斯公司 授权多媒体组播的方法和系统
US7870590B2 (en) * 2004-10-20 2011-01-11 Cisco Technology, Inc. System and method for fast start-up of live multicast streams transmitted over a packet network
JP5619355B2 (ja) * 2005-08-26 2014-11-05 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像を処理する方法及び装置
US7965771B2 (en) 2006-02-27 2011-06-21 Cisco Technology, Inc. Method and apparatus for immediate display of multicast IPTV over a bandwidth constrained network
EP1827009A1 (en) * 2006-02-28 2007-08-29 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder for an improved zapping service for mobile video reception
US8218654B2 (en) 2006-03-08 2012-07-10 Cisco Technology, Inc. Method for reducing channel change startup delays for multicast digital video streams
TW200745872A (en) * 2006-06-05 2007-12-16 Doublelink Technology Inc Method of accomplishing multicast distant real-time streaming for video transmissions and storing bottlenecks by reflector
US8031701B2 (en) 2006-09-11 2011-10-04 Cisco Technology, Inc. Retransmission-based stream repair and stream join
FR2908949A1 (fr) * 2006-11-16 2008-05-23 Thomson Licensing Sas Procede de transcodage de donnees du standard mpeg2 a un standard mpeg4.
US8769591B2 (en) * 2007-02-12 2014-07-01 Cisco Technology, Inc. Fast channel change on a bandwidth constrained network
US20080253369A1 (en) 2007-04-16 2008-10-16 Cisco Technology, Inc. Monitoring and correcting upstream packet loss
KR101487771B1 (ko) * 2007-08-10 2015-01-30 삼성전자주식회사 이동통신 시스템에서 영상 정보를 복구하기 위한 방법 및장치
US8238420B1 (en) 2008-01-24 2012-08-07 Adobe Systems Incorporated Video content transcoding for mobile devices
US8787153B2 (en) * 2008-02-10 2014-07-22 Cisco Technology, Inc. Forward error correction based data recovery with path diversity
US8233621B2 (en) * 2008-06-16 2012-07-31 Hitachi, Ltd. Slice-based prioritized secure video streaming
CN101383959B (zh) 2008-10-23 2012-01-11 中兴通讯股份有限公司 流媒体业务中获取关键帧的方法、系统及用户设备
US9432678B2 (en) * 2010-10-30 2016-08-30 Hewlett-Packard Development Company, L.P. Adapting a video stream
JP2012156654A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 送信装置及びそれを用いた動画伝送システム
US8873618B2 (en) * 2011-02-28 2014-10-28 Blackberry Limited Device to transmit data by displaying a coded image generated according to a selectable encoding scheme and associated methods
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
US9351011B2 (en) * 2012-11-28 2016-05-24 Intel Corporation Video pipeline with direct linkage between decoding and post processing
CN104469537B (zh) * 2013-09-18 2018-04-27 华为技术有限公司 不对称组网系统视频呼叫方法及终端、服务器和系统
JPWO2019180869A1 (ja) * 2018-03-22 2021-03-11 株式会社光電製作所 画像伝送システム、画像送信装置及び画像受信装置
CN110602507A (zh) * 2019-08-19 2019-12-20 西安万像电子科技有限公司 丢帧处理方法、设备及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020147980A1 (en) * 2001-04-09 2002-10-10 Nec Corporation Contents distribution system, contents distribution method thereof and contents distribution program thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630474B2 (ja) * 1995-07-14 2005-03-16 沖電気工業株式会社 動画像伝送システム及び動画像伝送装置
JP3323057B2 (ja) * 1996-04-10 2002-09-09 沖電気工業株式会社 符号化装置、復号化装置及び伝送システム
US6282240B1 (en) * 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
KR100677083B1 (ko) * 2000-01-27 2007-02-01 삼성전자주식회사 디지털 영상 데이터 통신 시스템에서의 오류 전파 억제를위한 송수신 데이터의 처리 방법 및 이를 위한 기록 매체
EP1130921B1 (en) * 2000-03-02 2005-01-12 Matsushita Electric Industrial Co., Ltd. Data transmission in non-reliable networks
JP3918447B2 (ja) * 2001-03-30 2007-05-23 三菱電機株式会社 動画像受信装置および動画像送信装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020147980A1 (en) * 2001-04-09 2002-10-10 Nec Corporation Contents distribution system, contents distribution method thereof and contents distribution program thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362308B2 (en) 2016-09-26 2019-07-23 Hanwha Techwin Co., Ltd. Apparatus and method for processing image
US10574991B2 (en) 2016-09-26 2020-02-25 Hanwha Techwin Co., Ltd. Apparatus and method for processing image
US11184614B2 (en) 2016-09-26 2021-11-23 Hanwha Techwin Co., Ltd. Apparatus and method for processing image

Also Published As

Publication number Publication date
KR20050086835A (ko) 2005-08-30
CN1717935B (zh) 2010-06-16
JP2006508574A (ja) 2006-03-09
CN1717935A (zh) 2006-01-04
EP1568230A1 (en) 2005-08-31
WO2004049719A1 (en) 2004-06-10
US20060048193A1 (en) 2006-03-02
AU2003274547A1 (en) 2004-06-18

Similar Documents

Publication Publication Date Title
KR100975311B1 (ko) 요청시 ｉ-화상 삽입
JP3801984B2 (ja) 帯域幅スケーラを含むマルチキャスト伝送システム
JP4597956B2 (ja) コンテンツを記憶する、ロバスト・モードでのスタガキャスト
US8204104B2 (en) Frame rate conversion system, method of converting frame rate, transmitter, and receiver
KR101350754B1 (ko) 채널 변경 시간을 감소시키고 채널 변경 동안 오디오/비디오 콘텐츠를 동기화하는 방법
US7792190B2 (en) Inserting a high resolution still image into a lower resolution video stream
JP5043096B2 (ja) チャネル変更方法及びデジタル・ビデオ装置
JP2008507898A (ja) デジタルメディアシステムにおける高速チャンネル切換
US20070279683A1 (en) Communication Apparatus, Communication Method, Communication Transmission and Reception Apparatus, Communication Transmission and Reception Method, and Program
US10075726B2 (en) Video decoding method/device of detecting a missing video frame
JP2009528709A (ja) モバイル動画受信のための改良型ザッピングサービス用の動画エンコーダおよびデコーダ
US20070101378A1 (en) Redundant transmission of programmes
JP5592716B2 (ja) 映像送信装置
CN1976474A (zh) 客户端节目标识转换
US7596300B2 (en) System and method for smooth fast playback of video
US8331763B2 (en) Apparatus and method for synchronizing reproduction time of time-shifted content with reproduction time of real-time content
JP2006197321A (ja) 画像処理方法および装置、並びにプログラム
KR100968266B1 (ko) 실시간 데이터 전송 제어 시스템 및 그 제어 방법
KR100937418B1 (ko) 부재중 메시지 저장 기능을 갖는 ｐｖｒ 장치 및 그 방법
US7269839B2 (en) Data distribution apparatus and method, and data distribution system
US20110176604A1 (en) Terminal, image display method, and program
US8401086B1 (en) System and method for increasing responsiveness to requests for streaming media
JPH1070727A (ja) 動画像伝送方法および動画像伝送装置
KR20080027622A (ko) 쌍방향 통신 티브이의 주문형 비디오 서비스 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee