KR20010092797A - 하이브리드 일시-ｓｎｒ 파인 비례 축소성 비디오 코딩 - Google Patents

하이브리드 일시-ｓｎｒ 파인 비례 축소성 비디오 코딩 Download PDF

Info

Publication number
KR20010092797A
KR20010092797A KR1020017009255A KR20017009255A KR20010092797A KR 20010092797 A KR20010092797 A KR 20010092797A KR 1020017009255 A KR1020017009255 A KR 1020017009255A KR 20017009255 A KR20017009255 A KR 20017009255A KR 20010092797 A KR20010092797 A KR 20010092797A
Authority
KR
South Korea
Prior art keywords
frames
enhancement
video
base layer
video data
Prior art date
Application number
KR1020017009255A
Other languages
English (en)
Other versions
KR100758139B1 (ko
Inventor
라드하하이델
첸예잉웨이
반델차알미하엘라
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010092797A publication Critical patent/KR20010092797A/ko
Application granted granted Critical
Publication of KR100758139B1 publication Critical patent/KR100758139B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 질 및 일시 비례 축소성을 포함하는 파인 코딩 기술에 관한 것이다. 이는 파인 코딩 기술에 쉽게 적응할 수 있는 하이브리드 일시/SNR 비례 축소성 구조를 이용함으로써 달성된다. 이 구조의 한 예에서, 일시 인핸스먼트 프레임과 FGS 인핸스먼트 프레임은 단일 인핸스먼트 층에 포함된다. 다른 예에서, 2개의 별개의 인핸스먼트 층들은 하이브리드 일시 SNR 비례 축소성을 달성하는데 사용된다. 2개의 층은 기초층에 대한 일시 인핸스먼트를 달성하기 위해(즉, 보다 좋은 동작) 일시 비례 축소성 층을 포함하며, 반면에 FGS 층은 기초층 및/또는 일시 비례 축소성 인핸스먼트 층의 질 SNR을 향상시키는데 사용된다.

Description

하이브리드 일시-ＳＮＲ 파인 비례 축소성 비디오 코딩{Hybrid temporal-SNR fine granular scalability video coding}
파인 비례 축소성 기술(FGS; fine-granular-scalability)은 인터넷과 같은 여러 대역폭을 가진 망을 통해 전송하기 위해 비디오를 압축하는데 사용되어 왔다. 그런 FGS 구조의 예는 도 1a-1b 및 2a-2b에 도시되어 있다. 알 수 있는 것처럼, 이들 구조는 비트율 RBL로 코드화된 기초층 및 REL로 인코드된 단일 파인 인핸스먼트 층으로 구성되어 있다. 그러나, 도 1a-1b에는 단지 I 및 P 프레임만을 포함하도록 인코드되었고, 반면에 도 2a-2b에서는 기초층이 I, P 및 B 프레임을 포함하도록 인코드되어 왔다.
인핸스먼트 층의 파인(fine granularity)으로 인해, FGS 비디오 스트림은 Bmin=RBL로부터 Bmax=RBL+REL까지의 범위의 가용 대역폭을 가진 어떤 망 세션을 통해서도 전송될 수 있다. 예컨대, 송신기와 수신기 사이의 가용 대역폭이 B=R이면, 송신기는 비율 RBL로 기초층 및 비율 Re=R-RBL로 인핸스먼트 층의 일부를 송출한다.도 1b 및 2b로부터 알 수 있는 것처럼, 인핸스먼트 층의 부분들은 송신을 위해 핀(fin) 그래뉼러 방식으로 선택될 수 있다. 따라서 전체 송신된 비트율은 R=RBL+Re이다.
단일 인핸스먼트 층에 의해 광범위한 전송 대역폭을 지원할 수 있는 유연성(flexibility)으로 인해, FGS 프레임워크는 ISO MPEG-4 표준에 의해 채택되었다. FGS에 기초하는 인코더를 이용하는 시스템의 예가 도 3에 도시되어 있다. 시스템은 (Bmin=Rmin, Bmax=Rmax)의 범위의 가변 가용 대역폭을 가진 망(6)을 포함하고 있다. 계산 블록(4)이 또한 현재의 가용 대역폭(R)을 추정 또는 측정하기 위해 포함되어 있다. 기초층(BL) 비디오 인코더(8)는 비트율(RBL)을 사용하여 범위(Rmin, R)에서 비디오 소스(2)로부터의 신호를 압축한다. 전형적으로, 기초층 인코더(8)는 최소 비트율(Rmin)을 사용하여 신호를 압축한다. 이것은 특히 BL 인코딩이 비디오 신호를 전송하는 시간 전에 오프 라인으로 행해질 때의 경우이다. 볼 수 있는 것처럼, 유닛(10)이 또한 잔류 영상(12)을 계산하기 위해 포함되어 있다. 또한 인핸스먼트 층(EL) 인코더(14)는 RBL내지 Rmax-RBL의 범위에 있을 수 있는 비트율 REL로 잔류 신호를 압축한다. 비디오 신호(인핸스먼트 층 및 기초층)의 인코딩은 실시간으로(도면에 의해 암시되어 있는 것과 같이) 또는 송신 시간 이전 오프 라인으로 행해질 수 있다는 것을 주목하는 것이 중요하다. 후자의 경우에는, 표시된 것처럼, 비디오가 저장(기억)되고 그런 후 나중 시간에 실시간 율 제어기(16)를 사용하여 송신(또는 스트림)될 수 있다. 실시간 제어기(16)는 현재의(실시간) 가용 대역폭(R)을 고려하여 최 양질의 인핸스먼트 층 신호를 선택한다. 따라서, 율 제어기로부터의 EL 신호의 출력 비트율은 R-RBL과 같다.
본 발명은 대체로 비디오 코딩, 보다 상세하게는 질적 및 일시 비례적 축소 가능성을 가진 파인 코딩 기술에 관한 것이다.
도 1a-1b는 한 종래 기술의 비례 축소성 구조를 도시한 도면.
도 2a-2b는 다른 종래 기술의 비례 축소성 구조를 도시한 도면.
도 3은 종래 기술의 비례 축소성 구조를 이용하는 시스템을 도시한 도면.
도 4a-4e는 본 발명에 의한 하이브리드 비례 축소성 구조의 예를 도시한 도면.
도 5a-5c는 본 발명에 의한 하이브리드 비례 축소성 구조의 다른 예를 도시한 도면.
도 6은 본 발명에 의한 하이브리드 비례 축소성 구조를 이용하는 한 시스템을 도시한 도면.
도 7은 도 6의 비디오 인코더에 대한 기능성 아키텍처의 예를 도시한 도면.
도 8a-8d는 본 발명에 의한 하이브리드 비례 축소성 구조의 다른 예를 도시한 도면.
도 9는 본 발명에 의한 하이브리드 비례 축소성 구조를 이용하는 다른 시스템을 도시한 도면.
도 10은 본 발명에 의한 하이브리드 비례 축소성 구조를 위한 디코더의 한 예를 도시한 도면.
도 11은 본 발명에 의한 하이브리드 비례 축소성 구조를 위한 디코더의 다른 예를 도시한 도면.
도 12는 본 발명을 구현하기 위한 시스템의 한 예를 도시한 도면.
본 발명은 질적 및 일시 비례 축소성을 갖는 파인 비례 축소성 코딩 기술에 관한 것이다. 본 발명에 의한 비디오 데이터를 코딩하는 한 예에 있어서는, 비디오 데이터의 일부가 기초층 프레임을 생성하기 위해 코딩된다. 동작 보정된 잔류 영상이 비디오 데이터 및 기초층 프레임으로부터 생성된다. 동작 보정된 잔류 영상은 일시 인핸스먼트 프레임을 생성하기 위해 파인 코딩 기술을 사용하여 코딩된다. 또한 잔류 영상은 비디오 데이터 및 기초층 프레임으로부터 발생된다. 그런 뒤 잔류 영상은 질적 인핸스먼트 프레임을 생성하기 위해 파인 코딩 기술을 사용하여 또한 코딩된다. 일시 인핸스먼트 프레임과 질적 인핸스먼트 프레임은 또한 인핸스먼트 층으로 조합될 수도 있다.
본 발명에 따라 비디오 데이터를 코딩하는 다른 예에서는, 비디오 데이터의 일부가 기초층 프레임을 생성하기 위해 코딩된다. 동작 보정된 잔류 영상이 비디오 데이터 및 기초층 프레임으로부터 발생된다. 동작 보정된 잔류 영상은 일시 인핸스먼트 프레임을 생성하기 위해 코딩된다. 잔류 영상은 비디오 데이터, 기초층 프레임 및 일시 인핸스먼트 프레임으로부터 발생된다. 그런 뒤 잔류 영상은 질적 인핸스먼트 프레임을 생성하기 위해 파인 코딩 기술을 사용하여 코딩된다. 또한 일시 인핸스먼트 프레임은 일시 인핸스먼트 층을 형성하고 질적 인핸스먼트 프레임은 질적 인핸스먼트 층을 형성한다.
본 발명에 따라 기초층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 한 예에 있어서는, 기초층이 비디오 프레임을 생성하기 위해 디코드된다. 인핸스먼트 층도 동작 벡터를 생성하기 위해 디코드된다. 그런 뒤 부가의 비디오 프레임을 생성하기 위해 동작 벡터에 따라 비디오 프레임에 동작 보정이 실행된다. 비디오 프레임 및 부가의 비디오 프레임은 비디오 시퀀스로 조합된다. 또한, 인핸스먼트 층은 인핸스된 비디오 프레임을 생성하기 위해 디코드된다. 인핸스된 비디오 프레임의 각각은 비디오 프레임들과 부가의 비디오 프레임들 중 하나에 부가된다.
도면을 참조하면 전체적으로 대응하는 부분을 나타내는 동일한 참조 번호가 있다.
파인 비례 축소성(FGS) 코딩은, 기초층에 전송된 각 프레임 또는 픽처의 비디오 질 또는 신호 대 잡음비(SNR)를 개선하기 위해 구현된다. 이것은, 디코드된 기초층 영상과 원래의 픽처 사이의 차이인 잔류 영상(RI)을 계산함으로써 수행된다. 그런 뒤 잔류 영상은 매입된(embedded) 또는 파인 비디오 코딩 방법을 사용하여 코딩된다. 이 논의를 위해, 코딩 공정으로부터 얻어진 영상은 FGS 잔류 영상(FR)이라 지칭될 것이다.
매 기초층 비디오 프레임의 비디오 질(또는 SNR 크기)을 증대시키는 대안으로서, 어떤 경우에는, 전송된 비디오 시퀀스의 프레임 비율을 증가시키는 것이 바람직하다. 이것은 부가 프레임을 송출함에 의해 달성될 수 있다. 예컨대, 비디오신호가 초당 10 프레임(fps) 시퀀스로 구성되어 있다고 가정하자. 기초층에서는, 단지 5 fps의 이 비디오 시퀀스(예컨대, 프레임 1, 3, 5, ... 등을 사용하여)가 코딩되고 전송된다. 그런 뒤 인핸스먼트 층은 잔류분(remainder) 5fps 서브 시퀀스(즉, 코딩 프레임 2, 4, 6, ... 등)를 부가한다. 이런 타입의 비례 축소성은 일시 비례 축소성으로 알려져 있는 것으로, 이 경우에는 인핸스먼트 층은 기초층에서 코딩되지 않은 여분의 프레임들을 삽입함으로써 비디오 시퀀스의 일시 표현을 개선한다. 이것은 일반적으로, 비례축소 가능한 비디오 시퀀스의 동작 원활성(motion smoothness)을 개선한다.
그러나, 현재의 FGS 해법은 일시 비례 축소성을 지원하지 않는다. 현존의 FGS 프레임워크(원래는 MPEG-4 표준으로 제의된 것인데 현재는 참고 드래프트 표준으로 사용됨)에 기초하여, 기초층은 비트율 RBL에서의 프레임 비율 fBL을 사용하여 압축된다. 그런데 FGS-기초 코덱(codec)에 의해 커버되는 대역폭 범위(즉, Bmin=RBL내지 Bmax=RBL+REL)와는 상관없이, 비례 축소 가능한 비디오 시퀀스는 전체 대역 범위(Bmin, Bmax)에 걸쳐 기초층(즉, fBL)의 프레임 비율을 유지해야 한다. 환언하면, 달성될 수 있는 유일한 개선은 상기한 바와 같이, 동일한 초당 프레임 시퀀스(fBL)의 비디오 질을 증가시키는 것이다.
상기에 비추어, 본 발명은 FGS 코딩에 기초하는 질적 및 일시 비례 축소성을 제공하는 것에 관한 것이다. 본 발명에 따라, 이것을 달성하는 한 방법은 FGS 비디오 코딩에 기초하는 하이브리드 일시-질(즉, 일시-SNR) 비례 축소성 구조를 이용하는 것인데, 이하에서 상세히 설명될 것이다.
본 발명에 의한 하이브리드의 일시-SNR FGS 비례 축소성 구조의 한 예가 도 4a에 도시되어 있다. 볼 수 있는 것처럼, 이 구조는 I 및 P 프레임을 포함하는 기초층을 포함하고 있다. 그러나, 인핸스먼트 층은 FGS 잔류(FR) 프레임을 양방향성 FGS(BDF) 프레임과 함께 포함하고 있다. FR 및 BDF 프레임 둘 다를 이용함으로써 본 발명은 질 및 시간 파인 비례 축소성 둘 다를 각각 지원할 수 있다.
본 발명에 따라, BDF 프레임은 일시적으로 인접하는 두 기초층 프레임들로부터 예측된다. 그런 뒤 이 예측 결과의 나머지는 파인 코딩법을 사용하여 코딩된다. 또한 기초층 프레임도 FR 프레임을 생성하기 위해 파인법에 의해 코딩된다. BDF 프레임을 코딩하는데 사용되는 FGS에 기초하는 방법은 FR 픽처를 코딩하는데 사용되는 FGS에 기초하는 방법과는 다를 수도 또는 같을 수도 있다는 것을 주목하는 것이 중요할 것이다.
상기한 비례 축소성 구조는, 같은 프레임 비율, 일시(즉, 프레임 비율만을 증가시킴에 의해) 비례 축소성 또는 파인 질 및 일시 비례 축소성 모두를 유지하면서, 파인 질(즉, SNR) 비례 축소성을 지원하기 위해 유연성을 제공한다. 본 발명하에서 지원되는 이들 상이한 비례 축소성 모드의 예가 도 4c-4e에 도시되어 있다.
도 4c에서는, BDF 프레임이 단지 인핸스먼트 층에서만 전달되기 때문에 일시 비례 축소성이 달성된다. 도 4d에서는, 단지 FR 프레임만 전달되기 때문에, 질(즉, SNR) 비례 축소성이 달성된다. 도 4e에서는, BDF 및 FR 프레임 모두 전달되기 때문에, 질 및 일시 비례 축소성이 달성된다.
본 발명에 기초하여, FGS 인핸스먼트 층의 프레임 비율(fEL)은 기초층 프레임 비율(fBL)과 같을 수도 또는 상이할 수도 있다. 조합된 기초 및 인핸스먼트 층 시퀀스의 전체 프레임 비율(fT)은 다음과 같이 인핸스먼트 층 내 총 픽처 수(NEL)에 대한 FGS 인핸스먼트 층에 사용된 FR 픽처의 수(NFR)에 의존한다:
fT= fBL+ ((NEL-NFR)/NEL)ㆍfEL(1)
도 4a에 도시된 예의 경우, 전체 프레임 비율(fT)은 기초층 프레임 비율의 2 배, fT=2fBL=fEL이다. 일반적으로, 제안된 비례 축소성 구조는, 기초층 및/또는 인핸스먼트 층 프레임 비율이 시간에 따라 변할 수 있는 가변 프레임 비율 시나리오들을 지원한다. 또한, 발생된 압축 스트림은 전체 프레임 비율(fT)을 갖는 반면에, 전송된 스트림은 다른 프레임 비율(ft)을 가질 수 있다는 것을 명심할 필요가 있다. 예컨대 도 4c 및 4e의 예에서는 전송된 스트림은 프레임 비율 ft=fT을 갖는데 도 4d의 예에서는 프레임 비율은 ft=0.5fT=fBL이다.
본 발명에 의한 하이브리드 일시-SNR FGS 구조의 다른 예는 도 4b에 도시되어 있다. 볼 수 있는 것처럼, 이 구조는 도 4a에 도시된 예와 같은 인핸스먼트 층을 갖고 있다. 그러나 이 구조는 기초층이 I, P 및 B 프레임을 포함하도록 코딩되어 있는 점에서 상이하다.
본 발명에 의한 비례 축소성 구조도 또한 기초층과 상이한 예상 모드 변화를지원할 수 있다. 도 4a-4b에 도시된 예는 한 클래스의 예상 모드를 나타내는 한편, 도 5a-5b에는 다른 모드가 도시되어 있다.
도 5a에서는, 비디오 코덱의 단순 저복잡성 구현에 이르는 순방향 예상 모드만이 지원된다. 이 모드는 도시된 바와 같이, 인핸스먼트 층에서 순방향 FGS(FWF)프레임 타입을 발생한다. 도 5b에서는, 역방향 예상 모드가 FGS 층에서 역방향 FGS(BWF)를 발생하기 위해 포함되어 있다. 도 5c에서는, 역방향과 순방향 예상 모드의 조합이 도시되어 있다. 본 발명에 의해서는, 이들 상이한 FGS에 기초한 픽처 타입을 상이한 기초층 픽처 타입과 조합하는 것이 고려된다는 것을 주목할 필요가 있다.
본 발명에 의한 하이브리드 비례 축소성 구조를 사용하는 시스템의 한 예가 도 6에 도시되어 있다. 거기서 볼 수 있는 것처럼, 이 시스템은 기본적으로 비디오 소스(2), 가변 대역폭 망(6), 기초층(BL) 인코더(8) 및 하이브리드 일시-SNR FGS 비디오 인코더(20)를 포함하고 있다. 본 발명에 의하면, 일시-SNR FGS 비디오 인코더(20)는 도 4a-4e 및 5a-5c에 도시된 어느 인핸스먼트 층도 발생시키도록 구성될 수 있다. 또한, 비디오 소스(2)는 디지털 비디오 카메라와 같은 임의의 타입의 비디오 포착 장치에 의해서나 실현될 수 있다.
도 6으로부터 알 수 있는 것처럼, 비디오 소스(2)로부터의 비 코딩된 비디오 데이터가 BL 인코더(8) 및 하이브리드 일시-SNR FGS 비디오 인코더(20) 양쪽에 입력된다. BL 인코더(8)는 표준 프레임 예상 코딩 기술을 이용하여 원래의 비디오 데이터의 일부를 코딩한다. 본 발명의 양호한 실시예에 있어, BL 인코더(8)는MPEG-1, MPEG-2 또는 MPEG-4 인코더에 의해 실현될 수 있다.
BL 인코더(8)는 소정의 비트율 RBL로 비디오 데이터를 압축한다. 발명의 양호한 실시예에서, RBL은 망(6)의 현재의 대역폭에 기초하여 계산 블록(4)에 의해 결정된다. 보다 상세하게는, 계산 블록(4)은 최소 비트율(RMIN), 최대 비트율(RMAX), 및 현재 가용 망(6)의 대역폭(R)을 측정한다. 그런 뒤 계산 블록(4)은 RBL을 RMIN과 R 사이의 값에 설정한다.
대부분의 경우, 계산 블록(4)은, 최저 대역폭에서도 망(43)이 본 발명에 의해 코딩된 비디오 데이터를 수용하도록, RBL을 RMIN에 설정한다. 특히 이것은 기초층 인코딩이 오프 라인으로 행해지는 경우에 그러하다.
소스(2)로부터의 원래의 비디오 데이터 및 BL 인코더(8)에 의해 제공되는 코딩된 비디오 데이터(즉, 기초층)는 하이브리드 인코더(20) 내 잔류 영상(RI) 계산 블록(10) 및 동작 보정 잔류 영상(MCRI) 계산 블록(24)에 제공된다. RI 계산 블록(10) 및 MCRI 계산 블록(24)은 이하에 설명하는 바와 같이 잔류 영상(12) 및 동작 보정(MC) 잔류 영상(22)을 각각 발생하기 위해 원래의 비디오 데이터 및 코딩된 비디오 데이터를 사용한다.
작동하는 동안, RI 계산 블록은 BL 인코더(8)로부터 코딩된 비디오 데이터를 수신하고 그런 뒤 그 코딩된 비디오 데이터를 디코드한다. 그런 후, 잔류 영상(12)이 디코드된 비디오 데이터 중의 픽셀과 원래의 비디오 데이터 중의 픽셀 사이의 차에 기초하여 발생된다. 일반적으로는, 잔류 영상은 기초층 내의 프레임(이것은 디코더가 비디오 신호를 디코드하는데 필요한 최소 프레임 수 및/또는 최소 데이터 양을 포함한다.)과 원래의 비디오 데이터 내의 프레임 사이의 차에 상당한다.
RI 계산 블록(10)은 잔류 영상(12)을 발생하기 위해 하나 또는 그 이상의 다양한 여러 방법을 이용할 수 있다. 예컨대, 단순한 픽셀 단위의(pixel-by-pixel) 차감은 기초층 내 프레임들과 원래의 비디오 데이터 내 프레임들 사이에서 수행될 수 있다. 이들 두 프레임 세트 사이의 결과적 차(즉, 잔류 영상)는 프레임 해상도 차이를 포함한다. 기초층이 원래의 비디오 데이터의 전체 프레임을 포함하지 못하는 경우에는, 잔류 영상은 이들 빠진 프레임을 포함한다.
잔류 영상(12)은 또한 먼저 디코드된 비디오 데이터를 필터링하고 그런 뒤 필터링된 비디오 데이터와 원래의 비디오 데이터 사이의 차를 결정함으로써 발생될 수 있다. 이 기술은, 예컨대, 코딩 및 디코딩 처리에 의해 야기된 디코드된 비디오 데이터로부터의 원치 않은 잡음 등을 제거할 수 있다는 이점을 갖는다. 본 발명의 양호한 실시예에서는, 디코드된 비디오 데이터를 필터링하기 위해서 디블로킹 필터(de-blocking filter)를 사용하지만 본 발명은 그런 필터의 사용에 한정되지 않는다.
잔류 영상을 발생하는 다른 기술은 디코드된 데이터와 원래의 비디오 데이터 모두를 필터링한 후 이들 타입의 필터링된 데이터 사이의 차를 결정하는 것을 포함한다. 이 기술에서는 같은 타입의 필터(예컨대, 디블로킹 필터)가 원래의 비디오 데이터 및 디코드된 비디오 데이터 모두에 적용될 수 있을 것이다. 대안적으로는,상이한 타입의 필터가 원래의 비디오 데이터 및 디코드된 비디오 데이터에 적용될 수도 있을 것이다.
상기와 같이, 잔류 영상(12)이 픽셀 도메인에서 계산된다. 예컨대, 기초층 인코더가 DCT 변형에 기초한 인코딩을 사용하고 인핸스먼트 층 인코더가 웨이브렛(wavelet)에 기초한 인코딩을 사용하면, 기초층 픽처가 원(즉, 비 변형) 픽셀 도메인에 있는 원래의 영상(픽셀 단위)으로부터 차감되어야 한다. 이것은, 기초층 픽처 압축된 비트 스트림이, 잔류 신호를 계산하기 전에, 그의 픽셀 도메인 표시를 발생하기 위해 디코드될 것을 요구한다. 이 디코드 과정은 보통 기초층 디코더에서 행해지고(기초층 동작 추정 및 보정을 위해) 따라서 인핸스먼트 층 디코더는 이를 이용할 수 있다. 그러면 얻어지는 픽셀 도메인 잔류분은 이 잔류분의 FGS 코딩을 행하기 전에 원하는 변형 도메인(예컨대, 웨이브렛)으로 변형되어야 한다.
그러나, 기초층 및 인핸스먼트 층 인코더가 같은 변형을 사용하면, 잔류 영상(12)은 변형 도메인(예컨대, DCT 또는 웨이브렛 도메인)에서 계산될 수 있다. 이 경우, FGS 인코더는 얻어지는 변형을 직접 코딩한다(즉, 이미 원하는 변형 도메인에 있기 때문에 잔류 신호에 대해 어떤 변형 조작도 행할 필요 없이).
또한 작동 중, MCRI 계산 블록(24)은 BL 인코더(8)로부터 코딩된 비디오 데이터를 수신하고 그런 뒤 그 코딩된 비디오 데이터를 디코드한다. 그런 다음, MC 잔류 영상(22)이 디코드된 비디오 데이터로부터의 동작-보정 접근법에 기초하여 발생된다. 이것은 예컨대, 동작 보정 픽처를 계산하기 위해 동작 추정에 기초하는접근법을 사용하여 달성된다. 그런 뒤 이 동작 보정 픽처는 픽셀 도메인 내 해당하는 원래의 픽처로부터 픽셀 단위로 차감된다. 그런 뒤 얻어지는 픽셀 도메인 잔류분은 파인 인코더에 의해 그것을 코딩하기 전에 변형된다.
잔류 영상(12)은 변형 도메인에서 직접 계산될 수 있다 하더라도(예컨대, 기초층 및 인핸스먼트 층 모두가 같은 변형을 사용할 때), MC 잔류 영상(22)은 픽셀 도메인에서 계산된다는 것을 주목하는 것이 중요하다. 따라서, MC 잔류 영상(22)(픽셀 도메인)은 파인 기초 코딩 전에 변형되어야 한다(예컨대, DCT).
하이브리드 인코더(20)는 또한 FGS MCRI 인핸스먼트 층(EL) 인코더(26) 및 FGS 잔류 영상 EL 인코더(14)를 포함하고 있다. 동작 중, FGS MCRI EL 인코더(26) 및 FGS 잔류 영상 EL 인코더(14)는 각각 매입된 파인 코딩 기술을 사용하여 MC 잔류 영상(22) 및 잔류 영상(12)을 코딩한다.
본 발명에 따라 MC 잔류 영상(22) 또는 잔류 영상(12)을 코딩하기 위해 어떤 파인 코딩 기술은 제안된 비례 축소성 구조와 관련하여 사용될 수 있다는 것을 주목해야 한다. 이들 잔여 픽처의 어느 타입을 코딩할 주 후보는 매입된 DCT에 기초한 메카니즘(예컨대 비트-평면 매립된 DCT-기초 메카니즘) 및 매입된 제로 트리 웨이브렛 방법 패밀리이다. 과잉 완전 세트(over complete set)의 변형 기능에 기초하는 비례 축소성 부합 추구법 등과 같은 다른 파인 코딩 방법도 이용될 수 있다. 또한 MC 잔류 영상(22)과 잔류 영상(12)을 코딩하기 위해서는 같은 또는 다른 기술이 사용될 수 있다는 것을 주목해야 한다.
상기 코딩의 결과로서, 일시 인핸스먼트 스트림(32) 및 FGS 인핸스먼트 스트림(31)을 포함하여 인핸스먼트 층 프레임의 두 스트림이 생성된다. 일시 인핸스먼트 스트림(32)은 MCRI EL 인코더(26)로부터의 압축된 FGS 일시 프레임(즉, MCRI)을 포함하고 있고 FGS 인핸스먼트 스트림(31)은 잔류 영상 EL 인코더(14)로부터의 SNR(즉, 표준 FGS 잔류분) 프레임을 포함한다. 이들 두 스트림(31, 32)은 단일 FGS 인핸스먼트 층 스트림을 생성하기 위해 조합될 수 있거나 또는 두개의 별도의 스트림으로서 유지될 수 있다. 어느 경우에나, 얻어지는 FGS 스트림(들)은 저장되거나 또는 실시간으로 전송될 수 있다.
환언하면, 또한 표준 FGS 경우에서와 유사하게, 본 발명에 의한 하이브리드 구조하에서는, 비디오 신호(인핸스먼트 층 및 기초층)의 코딩은 실시간으로 일어나거나(도면에서 암시된 것처럼) 또는 전송 시간 전에 오프 라인으로 일어날 수 있다. 두 번째 경우에는, 비디오는 저장되고 그런 뒤 나중 시간에 전송될 수(또는 스트림될 수) 있다.
그러나, 어느 시나리오(즉, 실시간 인코딩 또는 오프라인 비 실시간 인코딩) 하에서거나, 실시간 비례 축소 가능한 비디오 율 제어기(18)가 인핸스먼트 층 프레임을 전송하기 위해 할당되어야 할 비트율을 실시간으로 결정하기 위해 포함된다. 이 할당은 계산 블록(4)으로부터의 입력, FGS 율 제어기(28) 및 사용자 입력(30)에 기초하여 수행된다. 이 할당을 행할 때에는, 비디오 율 제어기(18)는 인핸스먼트 층 프레임(R-RBL)을 전송하기 위해 남은 가용 대역폭을 결정하기 위해 계산 블록(4)으로부터의 입력(R, RBL및 RMAX)을 이용한다. 또한, FGS 율 제어기(28)는 입력(R,RBL및 RMAX)에 기초하여 두 인핸스먼트 층 스트림(31, 32) 사이의 비트율 할당도 결정한다. 또한, 사용자 입력(32)은 사용자가 질 및/또는 일시 비례 축소성에 대한 선취권을 선택할 수 있게 할 것이다.
인핸스먼트 층 프레임을 전송할 비트율이 선택된 후, 실시간 비례 축소 가능한 비디오 율 제어기(8)는 전송될 인핸스먼트 층 프레임의 부분을 선택한다. 선택된 인핸스먼트 층 프레임의 부분은 두 인핸스먼트 층 스트림(31, 32) 중의 하나 또는 양자의 프레임일 수 있다. 상기한 바와 같이, 이 선택은 또한 사용자 입력(30)에 의해 제어될 수 있다. 예컨대, 사용자가 단지 질 비례 축소성을 선호하면, 실시간 비례 축소 가능한 비디오 율 제어기(8)는 단지 FGS 인핸스먼트 스트림(31)으로부터 프레임을 선택할 것이다. 이 선택 후, 실시간 비례 축소 가능한 비디오 율 제어기(8)는 BL 스트림 및 EL 스트림으로서 가변 대역폭 망(43)에 영상을 출력한다.
도 7은 도 6의 기초층 인코더(8) 및 하이브리드 일시/SNR FGS 비디오 인코더(20)에 대한 기능성 아키텍처의 한 예를 보여준다. 도 7이 DCT 변환에 기초한 인코딩 작동을 보여주지만, 다른 변환(예컨대, 웨이브렛)도 사용될 수 있다. 이 아키텍처는, 표준 FGS 픽처 코딩과 비교할 때, 일시 인핸스먼트 프레임을 코딩하는데 필요한 부가 계산에도 불구하고, 이들 부가 계산은 잉여 복잡성 오버헤드(extra complexity overhead) 없이도 실현될 수 있다는 것을 예시한다.
도 7에서 볼 수 있는 것처럼, 기초층 인코더(8)는 DCT 블록(88), 양자화 블록(90) 및 원래의 비디오로부터의 BL 스트림의 일부를 발생하는 엔트로피인코더(92)를 포함하고 있다. 더욱이, 기초층 인코더(8)는 또한 원래의 비디오로부터 2 세트의 동작 벡터를 발생하는 동작 추정 블록(94)을 포함하고 있다. 한 세트의 동작 벡터는 기초층 벡터에 대응하고, 한편 다른 세트는 일시 인핸스먼트 프레임에 상당한다. 멀티플렉서(104)가 기초층 동작 벡터를 BL 스트림으로 다중화하기 위해 포함되어 있다. 다른 멀티플렉서(106)도 또한 일시 인핸스먼트 스트림에 상당하는 동작 벡터를 다중화하기 위해 포함되어 있다. 더욱이, 두 인핸스먼트 층 스트림은 단일 스트림(이것은 SNR 및 일시 FGS 픽처로 구성되어 있음)을 발생하기 위해 선택적 제 3 멀티플렉서(108)에 의해서 다중화되거나 또는 저장되거나/두개의 별도 스트림으로 전송된다.
더욱이 알 수 있듯이, 기초층 인코더(8)는 또한 역 양자화 블록(100), 역 DCT 블록(102), 동작 보정 블록(98) 및 프레임 메모리(96)를 포함한다. 기초층 인코더(8)로부터의 이들 기능성 블록 모두는 인핸스먼트 층 MC 잔류 영상을 계산할 때에 이용된다. 알 수 있는 것처럼, 이것은 오버헤드 코덱 아키텍처 내 데이터의 신규(그러나 단순한) 데이터 흐름 제어를 통해 달성된다. 이 자원 분할을 가능하게 하는 것은 인코더가 같은 순간에 기초층 프레임 및 일시 인핸스먼트 프레임을 결코 압축하지 않는다는 사실이다.
이 데이터 흐름 제어는 기능성 블록(122, 124, 126, 128)을 통해 달성된다. 예컨대, 한 기능성 블록(122)은, DCT 블록(88)의 출력을 기초층 프레임이 코딩되고 있을 경우에는 양자화 블록(90)에 또는 FGS 인핸스먼트 층 MC 잔류 영상이 코딩되고 있으면 다른 기능 블록(124)에 전송함으로써, 그 출력을 제어한다.
볼 수 있는 것처럼, 하이브리드 일시/SNR FGS 인코더(20)는 잔류 영상과 MC 잔류 영상을 저장하기 위해 DCT 잔류 영상 블록(110)을 포함한다. 잔류 영상은 양자화 블록(90)의 입력으로부터 출력을 차감하는 차감기(130)에 의해 발생된다. 또한, MC 잔류 영상은 기능성 블록(122)의 상부 출력에서 직접 발생된다.
하이브리드 인코더(20)는 또한 잔류 영상 및 MC 잔류 영상에 적용될 수 있는 적응성 양자화(AQ) 코딩 툴을 포함한다. AQ 툴(112)의 양호한 후보는 선택적 인핸스먼트 및/또는 주파수 웨이팅(weighting)을 통한 비트 평면 이동을 포함하는 FGS MPEG-4에 의해 정의된 것들이다.
FGS 엔트로피 코딩 블록(114)은 또한 일시 인핸스먼트 스트림 및 FGS 인핸스먼트 스트림을 생성하기 위해 잔류 영상과 MC 잔류 영상을 코딩하기 위해 포함되어 있다. 이 코딩은 도 6과 관련하여 설명한 것과 같은 기술에 의해 수행될 수 있다. 볼 수 있듯이, 코딩 블록(114)은 FGS 및 일시 인핸스먼트 프레임을 위해 사용되어 있는데, 그 이유는 이들 타입의 픽처는 결코 동시에 압축되지 않기 때문이다.
본 발명에 의한 하이브리드 일시-SNR FGS 비례 축소성 구조의 다른 예가 도 8a에 도시되어 있다. 볼 수 있는 것처럼, 이 예에서는 하이브리드 일시-SNR 비례 축소성을 달성하기 위해 두개의 인핸스먼트 층이 사용된다. 이 경우, 일시 층은 기초층을 위한 일시 인핸스먼트를 달성하기 위해(즉, 인핸스된 동작) 사용되는 반면에, FGS 층은 기초층 및/또는 일시 비례 축소성 인핸스먼트 층의 질 SNR을 개선하기 위해 사용된다.
도 8a의 비례 축소성 구조는 또한 도 8b-8d에 도시되어 있는 것처럼, 일시인핸스먼트만, SNR 인핸스먼트만을 또는 일시/SNR 인핸스먼트 양자를 달성하는 능력을 제공한다. 도 8b에서는, 단지 일시 층 프레임만이 전송되기 때문에, 일시 비례 축소성이 달성된다. 도 8c에서는, 기초층 프레임에 해당하는 FGS 프레임만이 전송되기 때문에, 질(즉, SNR) 비례 축소 가능성이 달성된다. 도 8d에서는, 일시 및 FGS 층 프레임이 전송되기 때문에, 질 및 일시 비례 축소성이 달성된다.
도 8a의 하이브리드 일시-SNR FGS 비례 축소성 구조에 있어서는, 다른 변형점이 고려되었음을 유의해야 할 것이다. 예컨대, 일시 층 프레임은 양방향으로 예상된 프레임에 한정되지 않는다. 본 발명에 따라, 일시 층 프레임은 또한 순방향으로만, 또는 역방향으로만 예상될 수 있거나, 또는 그 임의의 조합일 수 있다.
본 발명에 따른 하이브리드 비례 축소성 구조를 사용하는 시스템의 다른 예는 도 9에 도시되어 있다. 이 예는 하이브리드 일시-SNR FGS 비디오 인코더(34)를 제외하고는 도 6의 예와 유사하다. 이 예에서는, 하이브리드 비디오 인코더(34)는 도 8a에 도시되어 있는 비례 축소성 구조를 생성하도록 구성되어 있다. 도시되어 있는 것처럼, 하이브리드 인코더(34)는 일시 EL 비디오 인코더(36) 및 FGS EL 비디오 인코더(38)를 포함하고 있다.
이 예에 의하면, 일시 EL 비디오 인코더(36)는 도 8a에 도시된 일시 층 프레임을 발생한다. 도 9에서 볼 수 있는 것처럼, 일시 EL 비디오 인코더(36)는 동작 보정 잔류 영상 계산 블록(24) 및 일시 동작 보정된 잔류 영상(MCRI) EL 인코더(40)를 포함하고 있다. 작동 동안, 동작 보정된 잔류 영상 계산 블록(24)은 MC 잔류 영상(22)을 생성하기 위해 비 코딩된 비디오 데이터를 비디오 소스(2)로부터 그리고 코딩된 비디오 데이터를 BL 인코더(8)로부터 수신한다. 이 예에서는, MC 잔류 영상(22)은 도 6의 예에 관해 기재했던 것과 같은 기술에 따라 생성될 수 있다.
다시 도 9에 관해, 일시 MCRI EL 인코더(40)는 비트율 RTL로 일시 층 프레임(42)을 생성하기 위해 MC 잔류 영상(22)을 코딩한다. 비트율 RTL은 계산 블록(4)으로부터의 입력에 기초하여 결정된다. 또한, MC 잔류 영상(22)은 동작 보정된 잔류를 코딩하는데 사용되는 어떤 인코딩 방안에 의해 코딩될 수 있다. 이것은 MPEG-2, MPEG-4 및 유사 표준에 의해 사용되는 인코딩 방안 및 코딩 알고리즘을 포함한다. 상세하게는, 전통적 일시인 비례 축소성에 사용되는 인코딩 방안(예컨대, MPEG-2, 및 MPEG-4 일시 비례 축소 가능한 비디오 코딩 툴에서 지원되는 것과 같은 방안)이 좋은 후보이다.
이 예에 의하면, FGS EL 비디오 인코더(38)는 도 8a에 도시된 FGS 층 프레임을 발생한다. 도 9로부터 알 수 있듯이, FGS EL 비디오 인코더(38)는 잔류 영상 계산 블록(24) 및 FGS 잔류 영상 EL 인코더(14)를 포함하고 있다. 작동 중, 잔류 영상 계산 블록(24)은 잔류 영상(12)을 생성하기 위해 소스(2)로부터 비 코딩된 비디오 데이터, BL 인코더(8)로부터 코딩된 데이터 및 일시 층 프레임(42)을 수신한다. 잔류 영상은 도 6의 예에 관해 기술한 것과 같은 기술에 따라 생성된다.
FGS 잔류 영상 EL 인코더(14)는 FGS 인핸스먼트 층 프레임(44)을 생성하기 위해 잔류 영상(12)을 코딩한다. 이것은, 매입된 비트 평면 DCT에 기초한메카니즘(가변/매입된 양자화 및 전송을 가진), 매입된 제로 트리 웨이브렛 방법의 패밀리, 또는 과잉 완전 세트(over complete set)의 변형 기능 등에 기초하는 비례 축소 가능한 부합 추구법 등과 같은 파인 코딩 기술에 의해 달성될 수 있다.
도 9로부터 더욱 알 수 있듯이, 실시간 비례 축소 가능한 비디오 율 제어기(18)도 포함되어 있다. 작동 중, 비디오 율 제어기(18)는 실시간으로 BL 스트림, 일시 EL 스트림(42) 및 FGS EL 스트림(44)을 수신한다. 상기 예에서처럼, 비디오 율 제어기(18)는 인핸스먼트 층 프레임을 전송하기 위해 할당되어야 할 비트율을 결정한다. 예컨대, BL 및 일시 EL(42) 스트림으로부터의 프레임이 전송된 경우, 할당은 FGS EL 스트림(44)(R-RBL-RTL)으로부터 프레임을 전송하도록 남겨진 가용 대역폭에 기초하여 수행되는데, 이 대역폭은 계산 블록(4)으로부터의 입력에 기초하여 결정된다.
또한 비디오 율 제어기(18)는 또한 EL 스트림(42, 44) 중 하나 또는 둘이 전송될 것인지를 결정한다. 이 결정은 또한 가용 대역폭 및/또는 사용자 입력(30)에 기초할 수 있다. 이 결정이 수행된 후에는, 비디오 율 제어기(18)는 영상을 BL 스트림, 일시 EL 스트림 및 FGS EL 스트림으로서 가변 대역폭 망(43)에 출력한다. 그러나, 일시 비례 축소성이 바람직하지 않을 때에는, 단지 BL 스트림 및 FGS EL 스트림으로부터의 대응 프레임만이 출력된다.
본 발명에 의한 하이브리드 비례 축소성 구조를 이용하는 디코더의 한 예가 도 10에 도시되어 있다. 이 예의 디코더는 도 6의 인코더에 대응한다. 이 예에서는, 디코더는 유입하는 BL 스트림을 디코딩하기 위한 기초층 디코더(46) 및 EL 스트림을 디코딩하기 위한 인핸스먼트 층 디코더(64)를 포함하고 있다.
볼 수 있는 것처럼, 기초층 디코더(46)는 두 평행 경로를 갖고 있다. 하부 경로는 가변 길이 디코더(VLD)(48), 역 양자화 블록(50) 및 역 DCT 블록(52)을 포함하고 있다. 작동 중, 이들 소자(48,50,52)는 가산기(58)의 한 입력에서 비디오 프레임을 생성하기 위해 BL 스트림 위에 각각 가변 길이 디코딩, 역 양자화 및 역 이산 코사인 변환을 수행한다.
기초층 디코더(46)의 상부 경로는 또한 가변 길이 디코더(48) 및 기초층 동작 구성 블록(54)을 포함하고 있다. 작동 중, 기초층 동작 구성 블록(54)은 VLD(48)에 의해 디코드된 동작 벡터를 수신한다. 동작 벡터는 가산기(58)의 다른 입력에서 부가 프레임을 생성하기 위해 기초층 프레임 메모리(56)에 저장된 프레임에 대해 동작 보정을 행한다.
또한, 작동 중, 가산기(58)는 도시된 바와 같이, 가산기(58)의 출력에서 BL 비디오를 생성하기 위해 상부 경로 및 하부 경로로부터의 비디오 프레임들을 조합한다. 더욱이, 가산기(58)의 출력 중의 하나는 조합된 BL 비디오 프레임의 각각을 일시적으로 저장하기 위해 기초층 메모리(56)에 결합된다. 이것은 기초층 동작 구성 블록(54)에 의해 생성된 프레임이 기초층 메모리(56)에 저장된 이전의 프레임에 기초할 수 있게 할 것이다.
알 수 있는 것처럼, 인핸스먼트 층 디코더(64)는 또한 두 평행 경로를 포함하고 있다. 하부 경로는 FGS 인핸스먼트 층 VLD(66) 및 FGS-일시 인핸스먼트 층 동작 보정 블록(72)을 포함하고 있다. 작동 중, VLD(66)는 동작 벡터를 동작 보정블록(72)에 공급하기 위해 유입하는 EL 스트림에 대해 가변 길이 디코딩을 행할 것이다. 동작 벡터는 가산기(74)의 입력에서 동작 보정된 인핸스먼트 층 프레임을 생성하기 위해 기초층 디코더(56)로부터의 BL 비디오 프레임에 대해 동작 보정을 행하는데 사용될 것이다.
인핸스먼트 층 디코더(64)의 상부 경로는 또한 VLD(66) 및 역 DCT 블록(70)을 포함하고 있다. 이들 소자(66,70)는 가산기(74)의 다른 입력에서 잔류 FGS 인핸스먼트 프레임을 생성하기 위해 EL 스트림에 대해 가변 길이 디코딩 및 역 이산 코사인 변환을 수행할 것이다. 잔류 FGS 인핸스먼트 프레임은 BL 비디오 프레임 및 동작 보정된 인핸스먼트 층 프레임을 개선하기 위한 프레임을 포함할 것이다. 비트 평면 이동 블록(68)은 비트 평면 이동이 인코더 측에 행해지면 상부 경로에도 포함될 것이다.
작동 중, 가산기(74)는 일시 인핸스먼트 층 프레임을 생성하기 위해 하부 경로로부터의 동작 보정된 인핸스먼트 층 프레임을 상부 경로로부터의 대응 잔류 FGS 인핸스먼트 층 프레임과 결합시키도록 구성되어 있다. 또한, 가산기(74)는, 변화되지 않은 BL 비디오 프레임에 해당하는 상부 경로로부터의 잔류 FGS 인핸스먼트 층 프레임을 다른 가산기(62)에 전달하기 위해 구성되어 있다.
작동 중, 가산기(62)는 도시된 바와 같이, 인핸스된 비디오 시퀀스를 생성하기 위해 인핸스먼트 층 디코더(64) 및 기초층 디코더(46)로부터의 프레임들을 조합한다. 그러나, 질 비례 축소성을 달성하기 위해, 잔류 FGS 인핸스먼트 층 프레임은 기초층 디코더(46)로부터의 대응 BL 비디오 프레임과 합해질 것이다. 따라서,BL 비디오 프레임에 대응하는 잔류 FGS 인핸스먼트 층 프레임이 가산기(62)의 입력에 있으면, 스위치(60)가 폐쇄되어 두 프레임이 조합될 수 있게 할 것이다.
또한, 일시 인핸스먼트 층 프레임은 대응하는 BL 비디오 프레임을 갖고 있지 않기 때문에, 일시 인핸스먼트 층 프레임은 변하지 않은 인핸스된 비디오 시퀀스 내에 놓여질 것이다. 그래서, 일시 인핸스먼트 층 프레임이 가산기(62)의 입력에 있으면, 스위치는 개방되고 일시 인핸스먼트 층 프레임은 변화되지 않고 가산기(62)를 통과할 것이다. 따라서, 인핸스된 비디오 시퀀스는 이런 식으로 생성될 것이다.
본 발명에 따른 하이브리드 비례 축소성 구조를 이용하는 디코더의 다른 예가 도 11에 도시되어 있다. 이 예는 하이브리드 일시-SNR FGS 디코더에 대한 대응하는 기능적 아키텍처를 도시한다. 도 7의 인코더 아키텍처와 유사하게, 일시 인핸스먼트 프레임의 디코딩은 최소 복잡성 오버헤드로 실현된다. 이것은, 동작 보정 기능성 블록(116)을 기초층 디코더(46)와 인핸스먼트 층 디코더(64) 사이에 분배함으로써 달성된다. 또한, 표준 SNR FGS 디코딩 경로도 또한 분배된다. 일시 인핸스먼트 프레임의 DCT 변환이 기초층 인코더의 DCT 기능 블록에 의해 계산될 수 있지만(도7), 수신기 측에서, 역 DCT는 인핸스먼트 층 디코더(64)의 역 DCT 블록(70)을 사용하여 계산된다.
알 수 있는 바와 같이, EL 압축된 스트림은 코딩된 잔류 정보로부터 동작 벡터 데이터를 분리하기 위해 다중화 해제된다(de-multiplex)(118). 일시 인핸스먼트 프레임에 대응하는 동작 벡터는 일시적으로 예상되는 프레임을 계산하기 위해동작 보정 블록(116)에 의해 사용되는 한편, 압축된 잔류 정보는 인핸스먼트 층 디코더(64)에 의해 디코드되고 역 변형된다. 두 신호는 일시 인핸스먼트 프레임을 발생하기 위해 서로 가산되며, 그것은 디스플레이 장치에 직접 송출될 수 있다. SNR-FGS 압축된 프레임의 경우, 디코드된 신호는 표시 조작 전에 대응하는 기초층 프레임에 가산되어야 한다.
BL 압축된 스트림은 또한 코딩된 잔류 정보로부터 동작 벡터 데이터를 분리하기 위해 다중화 해제된다(120). BL 프레임에 해당하는 동작 벡터는 기초층 메모리(54)에 기억된 디코드된 기초층에 기초한 동작 보정을 행하기 위해 동작 보정 블록(116)에 의해 사용된다.
본 발명이 구현될 수 있는 시스템의 한 예가 도 12에 도시되어 있다. 예로서 이 시스템은, 텔레비전, 셋톱 박스, 데스크 탑, 랩탑(laptop) 또는 팜탑(palmtop) 컴퓨터, 퍼스널 디지털 어시스턴트(PDA), 비디오 카세트 레코더(VCR), 디지털 비디오 레코더(DVR), TiVO 장치 등과 같은 비디오/영상 저장 장치, 및 이들과 여타 장치의 일부 또는 조합물을 나타낼 수 있다. 시스템은 하나 또는 그 이상의 비디오 소스(76), 하나 또는 그 이상의 입/출력 장치(78), 프로세서(82) 및 메모리(84)를 포함한다.
비디오/영상 소스(들)(76)는 예컨대, 텔레비전 수신기, VCR 또는 다른 비디오/영상 저장 장치를 나타낼 수 있다. 소스(들)(76)는 대안적으로는, 예컨대 글로벌 컴퓨터 통신망, 예컨대 인터넷, 광역 통신망, 대도시 통신망, 근거리 통신망, 지상 방송 시스템, 케이블망, 위성망, 무선망, 또는 전화망, 및 이들과 다른 타입의 망의 일부 또는 조합물을 통해 서버 또는 서버들로부터 비디오를 수신하기 위한 하나 또는 그 이상의 망 연결을 나타낼 수 있을 것이다.
입/출력 장치(78), 프로세서(82) 및 메모리(84)는 통신 매체(80)를 통해 통신한다. 통신 매체(80)는 예컨대 버스, 통신망, 회로의 하나 또는 그 이상의 인터넷 연결부, 회로 카드 또는 다른 장치, 및 그 일부 및 이들과 다른 통신 매체의 조합물을 나타낸다. 소스(들)(76)로부터의 입력 비디오 데이터는 디스플레이 장치(86)에 공급된 출력 비디오/영상을 발생하기 위해 메모리(84)에 저장된 하나 또는 그 이상의 소프트웨어 프로그램에 따라 처리되고 프로세서(82)에 의해 처리된다.
양호한 실시예에 있어서, 본 발명에 따라 하이브리드 비례 축소성 구조를 이용하는 코딩 및 디코딩은 시스템에 의해 실행되는 컴퓨터 판독 가능한 코드에 의해 구현된다. 코드는 메모리(84) 내에 기억되거나 또는 CD-ROM 또는 플로피 디스크와 같은 기억 매체로부터 판독/다운로드될 것이다. 다른 실시예에 있어서는, 본 발명을 구현하기 위해 소프트웨어 명령 대신에 또는 그것과 더불어 하드웨어 회로가 사용될 것이다. 예컨대, 도 6-7 및 9-11에 도시된 소자들은 개별적 하드웨어 소자로서 구현될 수도 있다.
본 발명을 특정 예로서 위에 설명했지만, 본 발명을 여기에 기재한 예에 국한 또는 한정할 의도는 없다. 예로서, 본 발명은 어떤 특정한 코딩 전략 프레임 타입 또는 확률 분포에 한정되지 않는다. 그 반대로, 본 발명은 첨부된 청구범위의 정신과 범위 내에 포함되는 발명의 여러 구조와 변형을 포함할 것이 의도된다.

Claims (17)

  1. 비디오 데이터를 코딩하는 방법에 있어서,
    기초층 프레임들을 생성하기 위해 비디오 데이터의 일부를 코딩하는 단계와,
    비디오 데이터 및 기초층 프레임들로부터 동작 보정된 잔류 영상들을 발생시키는 단계와,
    일시 인핸스먼트 프레임들을 생성하기 위해 파인 코딩 기술(fine granular coding technique)을 사용하여 동작 보정된 잔류 영상들을 코딩하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  2. 제 1 항에 있어서, 가변 대역폭 망을 통해 기초층 프레임들 및 일시 인핸스먼트 프레임들의 일부들을 전송하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  3. 제 2 항에 있어서, 망의 가용 대역폭을 결정하는 단계와,
    가용 대역폭에 기초하여 전송될 일시 인핸스먼트 프레임들의 일부들을 선택하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  4. 제 1 항에 있어서, 비디오 데이터 및 기초층 프레임들로부터 잔류 영상들을 발생시키는 단계와,
    질 인핸스먼트 프레임들을 생성하기 위해 파인 코딩 기술을 사용하여 잔류 영상들을 코딩하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  5. 제 4 항에 있어서, 일시 인핸스먼트 프레임들과 질 인핸스먼트 프레임들을 인핸스먼트 층으로 조합시키는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  6. 제 4 항에 있어서, 기초층 프레임들 및 일시 인핸스먼트 프레임들과 질 인핸스먼트 프레임들의 일부들을 가변 대역폭 망을 통해 전송하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  7. 제 6 항에 있어서, 망의 가용 대역폭을 결정하는 단계와,
    가용 대역폭에 기초하여 전송될 일시 인핸스먼트 프레임들 및 질 인핸스먼트 프레임들의 일부분들을 선택하는 단계를 더 포함하는, 비디오 데이터를 코딩하는 방법.
  8. 비디오 데이터를 코딩하는 방법에 있어서,
    기초층 프레임들을 생성하기 위해 비디오 데이터의 일부를 코딩하는 단계와,
    비디오 데이터 및 기초층 프레임들로부터 동작 보정된 잔류 영상들을 발생키는 단계와,
    일시 인핸스먼트 프레임들을 생성하기 위해 동작 보정된 잔류 영상들을 코딩하는 단계와,
    비디오 데이터, 기초층 프레임들 및 일시 인핸스먼트 프레임들로부터 잔류 영상들을 발생시키는 단계와,
    질 인핸스먼트 프레임들을 생성하기 위해 파인 코딩 기술을 사용하여 잔류 영상들을 코딩하는 단계를 포함하는, 비디오 데이터를 코딩하는 방법.
  9. 제 8 항에 있어서, 일시 인핸스먼트 프레임들은 일시 인핸스먼트 층을 형성하고 질 인핸스먼트 프레임들은 질 인핸스먼트 층을 형성하는, 비디오 데이터를 코딩하는 방법.
  10. 기초층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 방법에 있어서,
    비디오 프레임들을 생성하기 위해 기초층을 디코딩하는 단계와,
    동작 벡터들을 생성하기 위해 인핸스먼트 층을 디코딩하는 단계와,
    부가 비디오 프레임들을 생성하기 위해 동작 벡터들에 따라 비디오 프레임들에 동작 보정을 수행하는 단계와,
    비디오 시퀀스를 형성하기 위해 비디오 프레임들과 부가 비디오 프레임들을 조합하는 단계를 포함하는, 기초층과 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 방법.
  11. 제 10 항에 있어서,
    인핸스된 비디오 프레임들을 생성하기 위해 인핸스먼트 층을 디코딩하는 단계와,
    인핸스된 비디오 프레임들 각각을 비디오 프레임들과 부가 비디오 프레임들 중의 하나에 부가하는 단계를 더 포함하는, 방법.
  12. 비디오 데이터를 인코딩하기 위한 코드를 포함하는 메모리 매체로서, 상기 코드는,
    기초층 프레임들을 생성하기 위해 비디오 데이터의 일부를 인코딩하기 위한 코드와,
    비디오 데이터 및 기초층 프레임들로부터 동작 보정된 잔류 영상들을 발생하기 위한 코드; 및
    일시 인핸스먼트 프레임들을 생성하기 위해 파인 코딩 기술을 사용하여 동작 보정된 잔류 영상들을 인코딩하기 위한 코드를 포함하는, 비디오 데이터를 인코딩하기 위한 코드를 포함하는 메모리 매체.
  13. 비디오 데이터를 인코딩하기 위한 코드를 포함하는 메모리 매체로서, 상기 코드는,
    기초층 프레임들을 생성하기 위해 비디오 데이터의 일부를 인코딩하기 위한코드와,
    비디오 데이터 및 기초층 프레임들로부터 동작 보정된 잔류 영상들을 발생하기 위한 코드와,
    일시 인핸스먼트 프레임들을 생성하기 위해 동작 보정된 잔류 영상들을 인코딩하기 위한 코드와,
    비디오 데이터, 기초층 프레임들 및 일시 인핸스먼트 프레임들로부터 잔류 영상들을 발생하기 위한 코드; 및
    질 인핸스먼트 프레임들을 생성하기 위해 파인 코딩 기술을 사용하여 잔류 영상들을 인코딩하기 위한 코드를 포함하는, 비디오 데이터를 인코딩하기 위한 코드를 포함하는 메모리 매체.
  14. 기초층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하기 위한 코드를 포함하는 메모리 매체로서, 상기 코드는,
    비디오 프레임들을 생성하기 위해 기초층을 디코드하기 위한 코드와,
    동작 벡터들을 생성하기 위해 인핸스먼트 층을 디코딩하기 위한 코드와,
    부가 비디오 프레임들을 생성하기 위해 동작 벡터들에 따라 비디오 프레임들에 동작 보정을 수행하기 위한 코드; 및
    비디오 시퀀스를 형성하기 위해 비디오 프레임들과 부가 비디오 프레임들을 결합하기 위한 코드를 포함하는, 기초층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하기 위한 코드를 포함하는 메모리 매체.
  15. 비디오 데이터를 코딩하는 장치에 있어서,
    기초층 프레임들을 생성하기 위해 비디오 데이터의 일부를 코딩하기 위한 수단과,
    비디오 데이터 및 기초층 프레임들로부터 동작 보정된 잔류 영상들을 발생하기 위한 수단; 및
    일시 인핸스먼트 프레임들을 생성하기 위해 파인 코딩 기술을 사용하여 동작 보정된 잔류 영상들을 코딩하기 위한 수단을 포함하는, 비디오 데이터를 코딩하는 장치.
  16. 비디오 데이터를 코딩하는 장치에 있어서,
    기초층 프레임들을 생성하기 위해 비디오 데이터의 일부를 코딩하기 위한 수단과,
    비디오 데이터 및 기초층 프레임들로부터 동작 보정된 잔류 영상들을 발생하기 위한 수단과,
    일시 인핸스먼트 프레임들을 생성하기 위해 동작 보정된 잔류 영상들을 코딩하기 위한 수단과,
    비디오 데이터, 기초층 프레임들 및 일시 인핸스먼트 프레임들로부터 잔류 영상들을 발생하기 위한 수단; 및
    질 인핸스먼트 프레임들을 생성하기 위해 파인 코딩 기술을 사용하여 잔류영상들을 코딩하기 위한 수단을 포함하는, 비디오 데이터를 코딩하는 장치.
  17. 기초층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 장치에 있어서,
    비디오 프레임들을 생성하기 위해 기초층을 디코딩하기 위한 수단과,
    동작 벡터들을 생성하기 위해 인핸스먼트 층을 디코딩하기 위한 수단과,
    부가 비디오 프레임들을 생성하기 위해 동작 벡터들에 따라 비디오 프레임들에 동작 보정을 수행하기 위한 수단; 및
    비디오 시퀀스를 형성하기 위해 비디오 프레임들과 부가 비디오 프레임들을 조합하기 위한 수단을 포함하는, 기초층 및 인핸스먼트 층을 포함하는 비디오 신호를 디코딩하는 장치.
KR1020017009255A 1999-11-23 2000-11-02 하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩 KR100758139B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16706799P 1999-11-23 1999-11-23
US60/167,067 1999-11-23
US09/590,825 2000-06-09
US09/590,825 US6639943B1 (en) 1999-11-23 2000-06-09 Hybrid temporal-SNR fine granular scalability video coding

Publications (2)

Publication Number Publication Date
KR20010092797A true KR20010092797A (ko) 2001-10-26
KR100758139B1 KR100758139B1 (ko) 2007-09-13

Family

ID=26862843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017009255A KR100758139B1 (ko) 1999-11-23 2000-11-02 하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩

Country Status (11)

Country Link
US (1) US6639943B1 (ko)
EP (1) EP1151613B1 (ko)
JP (1) JP4729220B2 (ko)
KR (1) KR100758139B1 (ko)
CN (1) CN1166200C (ko)
BR (1) BR0007657A (ko)
MY (1) MY125988A (ko)
PL (1) PL348970A1 (ko)
RU (1) RU2294058C2 (ko)
TR (1) TR200102123T1 (ko)
WO (1) WO2001039503A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100925627B1 (ko) * 2002-09-28 2009-11-06 주식회사 케이티 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931060B1 (en) * 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
JP2001169293A (ja) * 1999-12-08 2001-06-22 Nec Corp 画像伝送装置
US7269785B1 (en) * 1999-12-30 2007-09-11 Genesis Microchip Inc. Digital manipulation of video in digital video player
US7649943B2 (en) * 2000-04-21 2010-01-19 Microsoft Corporation Interface and related methods facilitating motion compensation in media processing
US7634011B2 (en) * 2000-04-21 2009-12-15 Microsoft Corporation Application program interface (API) facilitating decoder control of accelerator resources
US6891893B2 (en) * 2000-04-21 2005-05-10 Microsoft Corp. Extensible multimedia application program interface and related methods
US6940912B2 (en) * 2000-04-21 2005-09-06 Microsoft Corporation Dynamically adaptive multimedia application program interface and related methods
GB2364842A (en) * 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
DE60124746T2 (de) * 2000-09-22 2007-09-13 Koninklijke Philips Electronics N.V. Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit
US6836512B2 (en) * 2000-10-11 2004-12-28 Koninklijke Philips Electronics N.V. Spatial scalability for fine granular video encoding
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
US20020126759A1 (en) 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US20070053428A1 (en) * 2001-03-30 2007-03-08 Vixs Systems, Inc. Managed degradation of a video stream
US8107524B2 (en) * 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US6785334B2 (en) * 2001-08-15 2004-08-31 Koninklijke Philips Electronics N.V. Method for transmission control in hybrid temporal-SNR fine granular video coding
US6909753B2 (en) * 2001-12-05 2005-06-21 Koninklijke Philips Electronics, N.V. Combined MPEG-4 FGS and modulation algorithm for wireless video transmission
US6996172B2 (en) * 2001-12-21 2006-02-07 Motorola, Inc. Method and structure for scalability type selection in digital video
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
EP1479245A1 (en) * 2002-01-23 2004-11-24 Nokia Corporation Grouping of image frames in video coding
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
KR100556838B1 (ko) * 2002-09-17 2006-03-10 엘지전자 주식회사 미세단위 신축형 부호화 및 복호화 장치와 방법
US7480252B2 (en) 2002-10-04 2009-01-20 Koniklijke Philips Electronics N.V. Method and system for improving transmission efficiency using multiple-description layered encoding
EP1568221B1 (en) * 2002-12-03 2012-04-04 Thomson Licensing Media for standard-definition and high-definition video formats
US20040179606A1 (en) * 2003-02-21 2004-09-16 Jian Zhou Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations
FR2852773A1 (fr) * 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US7406176B2 (en) * 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
EP1634461A2 (en) * 2003-06-19 2006-03-15 THOMSON Licensing Method and apparatus for low-complexity spatial scalable decoding
US20050010396A1 (en) * 2003-07-08 2005-01-13 Industrial Technology Research Institute Scale factor based bit shifting in fine granularity scalability audio coding
US7620545B2 (en) * 2003-07-08 2009-11-17 Industrial Technology Research Institute Scale factor based bit shifting in fine granularity scalability audio coding
US7274742B2 (en) * 2003-08-13 2007-09-25 Skystream Networks Inc. Model and model update technique in a system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein
US7342968B2 (en) * 2003-08-13 2008-03-11 Skystream Networks Inc. Method and system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein
US7693222B2 (en) 2003-08-13 2010-04-06 Ericsson Television Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation
KR101117586B1 (ko) * 2003-12-03 2012-02-27 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법
KR100537517B1 (ko) * 2004-01-13 2005-12-19 삼성전자주식회사 오디오 데이타 변환 방법 및 장치
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
KR20050090302A (ko) * 2004-03-08 2005-09-13 경희대학교 산학협력단 비디오 인코더/디코더, 비디오 인코딩/디코딩 방법, 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
US8315307B2 (en) * 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
CA2565670A1 (en) 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
WO2006007527A2 (en) * 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
EP1772017A2 (en) 2004-07-20 2007-04-11 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
KR100679018B1 (ko) * 2004-09-07 2007-02-05 삼성전자주식회사 다계층 비디오 코딩 및 디코딩 방법, 비디오 인코더 및디코더
WO2006038607A1 (ja) * 2004-10-06 2006-04-13 Nippon Telegraph And Telephone Corporation スケーラブル符号化方法および装置，スケーラブル復号方法および装置，それらのプログラムおよびそれらプログラムを記録した記録媒体
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
WO2006043753A1 (en) * 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Method and apparatus for predecoding hybrid bitstream
CA2584215A1 (en) * 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
US20060120454A1 (en) * 2004-11-29 2006-06-08 Park Seung W Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
KR20060059769A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 엔코딩시에 베이스 레이어 픽처의 벡터를이용하기 위한 미세정보를 코딩하는 방법과 그 미세정보를이용하는 디코딩 방법
KR20060059764A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 앞서 변환된 에이취-픽처를 기준픽처로 이용하는 영상신호의 엔코딩 방법 및 장치와 그 영상신호를 디코딩하는 방법및 장치
US20060114995A1 (en) * 2004-12-01 2006-06-01 Joshua Robey Method and system for high speed video encoding using parallel encoders
KR20060069227A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
KR100703744B1 (ko) 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
WO2006087319A2 (en) 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
CN101204092B (zh) * 2005-02-18 2010-11-03 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实施所述方法的编码和解码设备
WO2006099082A2 (en) 2005-03-10 2006-09-21 Qualcomm Incorporated Content adaptive multimedia processing
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
MX2007012564A (es) 2005-04-13 2007-11-15 Nokia Corp Codificacion, almacenamiento y senalizacion de informacion de escalabilidad.
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100746007B1 (ko) 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100678907B1 (ko) * 2005-07-12 2007-02-06 삼성전자주식회사 하위 계층의 복원 데이터를 사용하여 ｆｇｓ 계층을 인코딩및 디코딩하는 방법 및 장치
US20070014346A1 (en) * 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
CN101313580A (zh) * 2005-09-27 2008-11-26 高通股份有限公司 使用内容信息安排多媒体转码的内容驱动转码器
KR101340937B1 (ko) * 2005-09-29 2013-12-13 톰슨 리서치 펀딩 코포레이션 제약된 가변 비트 속도 비디오 인코딩을 위한 방법 및 장치
KR100959540B1 (ko) * 2005-10-05 2010-05-27 엘지전자 주식회사 영상 신호의 인코딩/디코딩 방법 및 장치
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
FR2895172A1 (fr) * 2005-12-20 2007-06-22 Canon Kk Procede et dispositif de codage d'un flux video code suivant un codage hierarchique, flux de donnees, procede et dispositif de decodage associes
JP5112332B2 (ja) * 2006-01-05 2013-01-09 トムソン ライセンシング インターレイヤ動き予測方法
WO2007081139A1 (en) 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
EP1879399A1 (en) * 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
WO2008008888A2 (en) 2006-07-13 2008-01-17 Qualcomm Incorporated Video coding with fine granularity scalability using cycle-aligned fragments
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US7991236B2 (en) 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US8990305B2 (en) * 2006-10-18 2015-03-24 Microsoft Corporation Techniques for virtual conferencing servers
CA2667194C (en) * 2006-10-23 2013-06-25 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
US20080100694A1 (en) * 2006-10-27 2008-05-01 Microsoft Corporation Distributed caching for multimedia conference calls
EP1933565A1 (en) * 2006-12-14 2008-06-18 THOMSON Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer prediction
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
CN100551044C (zh) 2007-04-06 2009-10-14 华为技术有限公司 实现视频直播的方法、设备及系统
FR2917262A1 (fr) * 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
JP4826546B2 (ja) * 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
BRPI0721640A2 (pt) * 2007-06-27 2013-01-29 Thomson Licensing aperfeiÇoamento de qualidade de imagem
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
US8401075B2 (en) * 2008-12-31 2013-03-19 General Instrument Corporation Hybrid video encoder including real-time and off-line video encoders
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
KR101216329B1 (ko) * 2009-12-16 2012-12-27 한국전자통신연구원 복수 계층 영상의 품질 측정 방법 및 시스템
CN105791841B (zh) * 2010-01-06 2019-06-21 杜比实验室特许公司 用于网络上视频数据的自适应流处理的方法、装置和系统
WO2011087963A1 (en) 2010-01-15 2011-07-21 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
GB201020424D0 (en) 2010-12-02 2011-01-19 Qinetiq Ltd Quantum key distribution
US9584804B2 (en) * 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
US9961363B2 (en) 2012-10-09 2018-05-01 Intellectual Discovery Co., Ltd. Inter-layer prediction method for multi-layer video and device therefor
US9438849B2 (en) 2012-10-17 2016-09-06 Dolby Laboratories Licensing Corporation Systems and methods for transmitting video frames
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
WO2015095166A2 (en) * 2013-12-16 2015-06-25 Arris Enterprises, Inc. Producing an output need parameter for an encoder
JP6497874B2 (ja) * 2014-08-28 2019-04-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3685576A1 (en) * 2017-09-22 2020-07-29 V-Nova International Limited Obtaining a target representation of a time sample of a signal

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2551641B2 (ja) * 1988-10-24 1996-11-06 日本電信電話株式会社 可変レート画像符号化装置および可変レート画像復号化装置
US5001561A (en) * 1990-05-02 1991-03-19 At&T Bell Laboratories Embedded coding system for video signals
US5528299A (en) * 1990-10-09 1996-06-18 U.S. Philips Corporation Coding system for digital signals corresponding to television pictures and corresponding decoding system
US5218435A (en) * 1991-02-20 1993-06-08 Massachusetts Institute Of Technology Digital advanced television systems
US5253056A (en) 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5742892A (en) * 1995-04-18 1998-04-21 Sun Microsystems, Inc. Decoder for a software-implemented end-to-end scalable video delivery system
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
KR100417932B1 (ko) * 1997-04-01 2004-02-11 소니 가부시끼 가이샤 영상 인코더, 영상 부호화 방법, 영상 디코더 및 영상 복호화 방법
KR100261253B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
IL122714A (en) 1997-04-02 2011-06-30 Samsung Electronics Co Ltd Digital data coding/decoding method and apparatus
US5973755A (en) * 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6229850B1 (en) * 1997-07-22 2001-05-08 C-Cube Semiconductor Ii, Inc. Multiple resolution video compression
AU1928999A (en) 1997-12-19 1999-07-12 Kenneth Rose Scalable predictive coding method and apparatus
US6501860B1 (en) * 1998-01-19 2002-12-31 Canon Kabushiki Kaisha Digital signal coding and decoding based on subbands
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100925627B1 (ko) * 2002-09-28 2009-11-06 주식회사 케이티 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치

Also Published As

Publication number Publication date
RU2294058C2 (ru) 2007-02-20
EP1151613A1 (en) 2001-11-07
PL348970A1 (en) 2002-06-17
CN1355995A (zh) 2002-06-26
WO2001039503A1 (en) 2001-05-31
BR0007657A (pt) 2001-11-06
JP2003515987A (ja) 2003-05-07
CN1166200C (zh) 2004-09-08
MY125988A (en) 2006-09-29
TR200102123T1 (tr) 2002-01-21
KR100758139B1 (ko) 2007-09-13
US6639943B1 (en) 2003-10-28
EP1151613B1 (en) 2012-12-26
JP4729220B2 (ja) 2011-07-20

Similar Documents

Publication Publication Date Title
KR100758139B1 (ko) 하이브리드 일시－ｓｎｒ 파인 그래뉼러 스케일러빌리티 비디오 코딩
KR100954816B1 (ko) 비디오 및 비디오 신호를 코딩하는 방법, 비디오를 코딩하기 위한 장치 및 컴퓨터 판독 가능한 기록 매체, 및 베이스 층 데이터-스트림과 강화층 데이터-스트림을 디코딩하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP4109113B2 (ja) ビデオ伝送におけるビットストリーム間の切換
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US6850564B1 (en) Apparatus and method for dynamically controlling the frame rate of video streams
US20020118742A1 (en) Prediction structures for enhancement layer in fine granular scalability video coding
JP2005500754A (ja) 動き補償を備えた完全に組み込まれたｆｇｓ映像符号化
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
WO2006001777A1 (en) Scalable video coding with grid motion estimation and compensation
US20060250520A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
WO2005069629A1 (en) Video coding/decoding method and apparatus
JP2007507927A (ja) アドバンスドデータパーティショニングと効率的な空間−時間−ｓｎｒスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法
EP1878252A1 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
US6944346B2 (en) Efficiency FGST framework employing higher quality reference frames
JP2003244694A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability
WO2006109989A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20120821

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130822

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140825

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170802

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180814

Year of fee payment: 12