KR20060123375A - 호환 인터레이싱된 ｓｄｔｖ 및 순차 ｈｄｔｖ - Google Patents

호환 인터레이싱된 ｓｄｔｖ 및 순차 ｈｄｔｖ Download PDF

Info

Publication number
KR20060123375A
KR20060123375A KR1020067012529A KR20067012529A KR20060123375A KR 20060123375 A KR20060123375 A KR 20060123375A KR 1020067012529 A KR1020067012529 A KR 1020067012529A KR 20067012529 A KR20067012529 A KR 20067012529A KR 20060123375 A KR20060123375 A KR 20060123375A
Authority
KR
South Korea
Prior art keywords
stream
encoder
base
enhancement
interlaced
Prior art date
Application number
KR1020067012529A
Other languages
English (en)
Inventor
윌헬무스 에이치. 에이. 브룰스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060123375A publication Critical patent/KR20060123375A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복수의 프레임에 캡처링된 비디오 정보의 공간 스케일러블 압축을 효과적으로 실행하며 그 캡처링된 비디오 프레임을 압축된 데이터 스트림으로 인코딩하고 출력하는 인코더를 포함하는 장치가 개시된다. 베이스 인코더가 상대적으로 낮은 화소 해상도를 갖는 인터레이싱된 비트스트림을 인코딩한다. 공간 인핸스먼트 인코더는 베이스 층으로부터 디-인터레이싱된 로컬 디코더 출력 및 입력 신호 간의 차분을 인코딩한다.
업샘플링 유닛, 인핸스먼트 인코더, 공간 스케일러빌리티, 디-인터레이서, 서브샘플링 유닛

Description

호환 인터레이싱된 ＳＤＴＶ 및 순차 ＨＤＴＶ{Compatible interlaced SDTV and progressive HDTV}
본 발명은 비디오 인코더/디코더에 관한 것이고, 특히 비디오 인코더/디코더에 의해 사용되는 호환 인터레이싱된 SDTV 및 순차 고해상도 저비트 레이트 코딩 방식에 관한 것이다.
디지털 비디오에서 고유의 데이터량이 대량이기 때문에, 완전 동영상(full-motion)의 고선명 디지털 비디오 신호의 송신은 고선명 텔레비전의 개발에 중대한 문제이다. 특히, 각 디지털 영상 프레임은 특정 시스템의 표시 해상도에 따라 화소 어레이로부터 형성된 정지 영상이다. 결과적으로, 고-해상도 비디오 시퀀스에 포함된 원래의(raw) 디지털 정보량이 대량이다. 보낼 데이터량을 감소시키기 위해, 압축 방식이 그 데이터를 압축하기 위해 사용된다. MPEG-2, MPEG-4, 및 H.263을 포함하는 각종의 비디오 압축 표준 또는 공정이 확립되었다.
다수의 애플리케이션들은, 비디오가 하나의 스트림에서 각종 해상도 및/또는 품질로 사용가능한 데에서 동작가능하다. 그것을 실행하는 방법들은 흔히 스케일러 빌리티(scalability) 기술들이라 불리운다. 스케일러빌리티를 배치할 수 있는 3개의 축이 있다. 첫째는 종종 시간 스케일러빌리티로 불리우는 시간축의 스케일러빌리티이다. 둘째로, 신호 대 잡음(SNR) 스케일러빌리티 또는 미립자의 스케일러빌리티로 종종 불리우는 품질축(양자화)의 스케일러빌리티이다. 제 3 축은 공간 스케일러빌리티로 종종 불리우는 해상도축(영상 내 화소들의 수)이다. 계층화 코딩에서, 비트스트림이 2개 이상의 비트스트림 또는 층으로 분할된다. 각 층이 결합될 수 있어서 단일의 고품질 신호를 형성한다. 예를 들어, 베이스층이 저 품질 비디오 신호를 제공할 수 있는 반면에 인핸스먼트층이 베이스층 영상을 인핸스할 수 있는 추가 정보를 제공한다.
특히, 공간 스케일러빌리티는 다른 비디오 표준 또는 디코더 능력간에 호환성을 제공할 수 있다. 공간 스케일러빌리티에 의해, 베이스층 비디오가 입력 비디오 시퀀스보다 낮은 해상도를 가질 수 있고, 그 경우에 인핸스먼트층은 베이스층의 해상도를 입력 시퀀스 레벨로 복원할 수 있는 정보를 반송한다.
도 1은 알려진 공간 스케일러블(scalable) 비디오 인코더를 예시하고 있다. 도시된 인코딩 시스템은 층 압축을 수행하여, 그 채널 부분이 저 해상도 베이스층을 제공하기 위해 사용되고 나머지 부분이 에지 인핸스먼트 정보를 송신하는 데 사용되어, 그 2개의 신호가 그 시스템을 고해상도로 되게 하기 위해 재결합된다. 고해상도 비디오 입력이 스플리터(102)에 의해 스플릿되어 데이터가 저역 필터(104) 및 감산 회로(106)에 보내진다. 저역 필터(104)는 비디오 데이터의 해상도를 감소시킨 후, 베이스 인코더(108)에 공급된다. 일반적으로, 저역 필터 및 인코더가 본 기술에서 공지되고 단순성을 위해 본원에서 상세하게 설명되지 않는다. 베이스 스트림이 고-선명으로 되는 해상도를 제공하지 않지만, 인코더(108)는 브로드캐스트되고, 수신되고 디코더를 경유해서 있는 그대로 표시될 수 있는 저 해상도 베이스 스트림을 생성한다.
인코더(108)의 출력은 시스템(100) 내에서 디코더(112)에도 공급된다. 거기에서, 그 디코딩된 신호가 보간 및 업샘플 회로(114)로 공급된다. 일반적으로, 보간 및 업샘플 회로(114)는 디코딩된 비디오 스트림으로부터 필터 출력된 해상도를 재구성하고 고-해상도 입력과 같은 해상도를 갖는 비디오 데이터 스트림을 제공한다. 그러나, 인코딩 및 디코딩으로부터의 필터링 및 손실로 인해, 정보가 재구성된 스트림에서 손실된다. 그 손실이 원래의 변형안된 고-해상도 스트림으로부터 그 재구성된 고-해상도 스트림을 감산함에 의해 감산 회로(106)에서 결정된다. 감산 회로(106)의 출력은 알맞은 품질의 인핸스먼트 스트림을 출력하는 인핸스먼트 인코더(116)에 공급된다.
그 알려진 계층화 압축 방식들이 순차 비디오에 대해 아주 양호하게 작동할 수 있지만, 이들 방식들은 인터레이싱된 SDTV 표준을 사용해서 보내진 비디오와 양호하게 작동하지 않는다. SDTV 표준은 인터레이싱된 비디오와 양호하게 정상적으로 작동한다. HDTV 표준에서는 인터레이스 및 순차 HDTV 표준이 사용된다. 공지된 계층화 압축 방식이 영화, 예를 들어, SD/HD DVD에서 작동하지만, 상기 공지된 방식은 인터레이스 SDTV 및 HDTV에 대해 충분한 솔루션을 제공하지 않는다.
본 발명은 디-인터레이서들 및 리-인터레이서들을 계층화 압축 방식으로 사용함으로써 다른 공지된 계층화 압축 방식의 결함을 극복한다.
본 발명의 일 실시예에 따라, 복수의 프레임에 캡처링된 비디오 정보의 공간 스케일러블 압축을 효과적으로 실행하며 그 캡처링된 비디오 프레임을 압축된 데이터 스트림으로 인코딩하고 출력하는 인코더를 포함하는 방법 및 장치가 개시된다. 공간 인핸스먼트 인코더는 베이스층으로부터의 디-인터레이싱된 로컬 디코더 출력 및 입력 신호 간의 차분을 인코딩한다.
본 발명의 다른 실시예에 따라, 입력 비디오 스트림을 인코딩하는 방법 및 장치가 개시된다. 인터레이싱된 비디오 스트림이 입력 비디오 스트림으로부터 생성된다. 인터레이싱된 스트림은 인코딩되어 베이스 스트림을 생성한다. 베이스 스트림이 디-인터레이싱되고, 디코딩되고 선택적으로 업컨버팅되어 재구성된 비디오 스트림을 생성한다. 그 재구성된 비디오 스트림은 입력 비디오 스트림으로부터 감산되어 제 1 잔류 스트림을 생성한다. 최종의 잔류 스트림이 중간 인핸스먼트 스트림으로서 인코딩되고 출력된다. 중간 인핸스먼트 스트림은 시간 서브샘플링되어 공간 인핸스먼트 스트림을 생성한다.
본 발명의 이들 및 다른 특징들은 이하에서 설명되는 실시예들을 참조하여 명확하고 분명해질 것이다.
본 발명은 지금 첨부 도면들을 참조하여 예시적으로 설명된다.
도 1은 공지된 계층화 비디오 디코더를 나타내는 블럭도.
도 2는 본 발명의 일실시예에 따른 계층화 비디오 인코더의 블럭도.
도 3은 본 발명의 일실시예에 따른 계층화 비디오 디코더의 블럭도.
도 4는 본 발명의 일실시예에 따른 계층화 비디오 인코더의 블럭도.
도 2는 본 발명의 일실시예에 따라 계층화 비디오 인코더의 블럭도이다. 고해상도 비디오 스트림(202)은 디-인터레이서(de-interlacer)(204)로 입력된다. 디-인터레이서(204)는 입력 스트림(202)을 디-인터레이싱하고 단일 프레임으로 구성되는 비-인터레이싱된 순차 신호를 출력한다. 그후에, 비-인터레이싱된 신호가 선택적인 다운샘플링 유닛(206)에 의해 다운샘플된다. 감결합된 비디오 스트림이 스플리터(208)에 의해 스플릿되어, 비디오 스트림이 제 2 저역 필터/다운샘플링 유닛(210) 및 감산 유닛(222)에 보내진다. 저역 필터 또는 다운샘플링 유닛(210)은 비디오 스트림의 해상도를 감소시켜서, 인터레이서(212)에 공급된다. 인터레이서(212)는 비디오 신호를 리-인터레이싱(re-interlacing)한 후에 그 출력을 베이스 인코더(214)에 공급한다. 베이스 인코더(214)가 공지된 방법으로 다운샘플된 비디오 스트림을 인코딩하고 베이스 스트림(216)을 출력한다. 본 실시예에서, 베이스 인코더(214)는 로컬 디코더 출력을 디-인터레이서(218)로 출력하여, 그 출력 신호를 디-인터레이싱하고 디-인터레이싱된 출력 신호를 업컨버팅 유닛(220)에 제공한 다. 업컨버팅 유닛(220)이 로컬 디코딩된 비디오 스트림으로부터 필터 출력된 해상도를 재구성하고 공지된 방법으로 고-해상도 입력 비디오 스트림과 같은 해상도 포맷을 기본적으로 갖는 재구성된 비디오 스트림을 제공한다. 대안으로, 베이스 인코더(214)는 인코딩된 출력을 업컨버팅 유닛(220)에 출력할 수 있고, 분리된 디코더(예시 안됨) 또는 업컨버팅 유닛(220)에 제공된 디코더 중 하나가 업컨버트되기전에 그 인코딩된 신호를 우선 디코딩해야 한다.
업컨버팅 유닛(220)으로부터의 그 재구성된 비디오 스트림 및 고-해상도 입력 비디오 스트림이 감산 유닛(222)로 입력된다. 감산 유닛(222)은 입력 비디오 스트림으로부터 그 재구성된 비디오 스트림을 감산하여 잔류 스트림을 생성한다. 그런후, 잔류 스트림은 인핸스먼트 인코더(224)에 의해 인코딩되어 중간 인핸스먼트 스트림(226)을 생성한다. 그 중간 인핸스먼트 스트림이 중간 인핸스먼트 스트림을 서브샘플링하는 시간 서브샘플링 유닛(temporal subsampling unit)(242)에 공급되어 공간 인핸스먼트 스트림(244)을 생성한다.
인코더(214)도 로컬 인코더 출력을 가산 유닛(246)에 공급하여, 그 로컬 베이스 디코더 출력을 인핸스먼트 인코더(224)로부터의 로컬 인핸스먼트 디코더 출력에 결합한다. 그 결합된 로컬 디코더 출력이 스플리터(230)에 공급되어, 그 결합된 로컬 디코더 출력을 시간 서브샘플링 유닛(232) 및 평가 유닛(236)에 공급한다. 시간 서브샘플링 유닛(232)은, 인코더(214)가 원래의 비디오 입력상에서 실행하는 바와 같은, 시간 서브샘플링을 실행한다. 그 결과는 30 Hz 신호이다. 그 감소된 신호가 움직임 보상된 보간 유닛(234)에 공급되고, 본 예에서 그것은 자연 움직임 추정 기(natural motion estimator)이다. 움직임 보상된 보간 유닛(234)은 가산 프레임을 추정함으로써 30 Hz 내지 60 Hz의 업컨버전을 실행한다. 움직임 보상된 보간 유닛(234)은, 나중에 디코더가 코딩된 데이터 스트림을 디코딩할 때 실행하는 바와 같은 업컨버전을 실행한다. 움직임 추정 방법은 본 발명에 따라 사용될 수 있다. 특히, 양호한 결과가 예를 들어, 프레임 레이트 변환 방법에서 사용한 바와 같은 자연 또는 진실 움직임 추정을 기초로 움직임 추정으로써 얻어질 수 있다. 비용에 매우 효율적인 구현이 소비자 애플리케이션에 적합한 예를 들어, 3DRS(three-dimensional recursive search)이고, 예를 들어, 미국 특허 제5,072,293호, 제5,148,269호 및 제5,212,548호를 참조하시요. 3DRS를 사용해서 추정된 움직임-벡터 가 진실 움직임과 같게 되고, 움직임-벡터 필드는 높은 정도의 공간 및 시간의 일치성(temporal consistency)을 억제한다. 그러므로, 벡터 불일치성은 매우 종종 임계값으로 되지 않으며, 결과적으로, 잔류 데이터량은 비-진실 움직임 추정들에 비교해 감소된다.
그 업컨버트된 신호(235)가 평가 유닛(236)에 보내진다. 상기 언급했듯이, 평가 유닛에는 스플리터(230)로부터의 결합된 로컬 디코더 출력이 공급된다. 평가 유닛(236)은 움직임 보상된 시간 보간 유닛(234)에 의해 결정된 바와 같은 보간된 프레임을 실제 프레임과 비교한다. 그 비교에서, 그 추정된 프레임이 실제 프레임과 다른 것으로 결정된다. 각 프레임의 차이가 평가되고, 그 차이가 소정의 임계값을 충족하는 경우에, 차동 데이터가 잔류 데이터로서 선택된다. 그 임계값이 예를 들어, 그 차이를 어떻게 감지하는 것에 관련될 수 있어서, 원래의 임계 기준이 본 기술에서 공지된다. 본 예에서, 잔류 데이터는 메타 블럭의 형태로 설명된다. 메타 블럭 형태의 잔류 데이터 흐름(237)이 인코더(238)로 입력된다. 인코더(238)가 잔류 스트림(237)을 인코딩하고 시간 인핸스먼트 스트림(240)을 생성한다.
도 3은 본 발명의 일 실시예에 따라 대표적인 더코더 부분을 예시한다. 디코더 부분에서, 베이스 스트림(216)은 디코더(302)에 의해 공지된 방법으로 디코딩되고, 공간 인핸스먼트 스트림(244)은 디코더(300)에 의해 공지된 방법으로 디코딩된다. 그 후에, 디코딩된 베이스 스트림은 디-인터레이싱 유닛(306)에 의해 디-인터레이싱된다. 이어서, 디-인터레이싱된 스트림이 업샘플링 유닛(308)에서 선택적으로 업샘플링된다. 그 업샘플링된 스트림은 시간 서브샘플링 유닛(310)에 의해 시간 서브샘플링된다. 그 서브샘플링된 스트림이 가산 유닛(312)에서 디코딩된 공간 인핸스먼트 스트림과 결합된다. 그런 후, 그 결합된 신호가 움직임 보상 시간 보간 유닛(314)에 의해 보간된다. 시간 인핸스먼트 스트림(240)은 디코더(304)에 의해 공지된 방법으로 디코딩된다. 결합 유닛(316)은 디코딩된 시간 인핸스먼트 스트림, 보간된 스트림 및 업샘플된 스트림을 결합하여 디코더 출력을 생성한다.
도 4는 본 발명의 다른 실시예에 따른 인코더를 예시한다. 본 실시예에서, 화상 분석기(404)는 도 2에 예시된 인코더에 더해져서 동적 해상도를 제어한다. 스플리터(402)가 고해상도 입력 비디오 스트림(202)을 스플릿하여, 입력 비디오 스트림(202)이 감산 유닛(222) 및 화상 분석기(404)에 보내진다. 또한, 업컨버팅 유닛(220)으로부터 그 재구성된 비디오 스트림이 화상 분석기(404) 및 감산 유닛(222)으로 입력된다. 화상 분석기(404)는 입력 스트림의 프레임 및/또는 재구성 된 비디오 스트림의 프레임을 분석하고 비디오 스트림의 각 프레임에서 각 화소 또는 화소 그룹의 내용의 수치 이득값(numerical gain values)을 생성한다. 그 수치 이득값은 프레임에서 예를 들어, 화소의 x, y 좌표 또는 화소 그룹에 의해 설정된 화소 또는 화소 그룹의 위치, 프레임 번호, 및 이득값으로 구성된다. 화소 또는 화소 그룹이 많은 디테일(detail)을 가지는 경우에, 이득값이 최대값 "1"을 향해 이동한다. 비슷하게, 화소 또는 화소 그룹이 많은 디테일을 갖지 않는 경우에, 이득값이 최소값 "0"을 향해 이동한다. 화상 분석기에 대한 디테일 기준의 몇가지 예가 하기에서 설명되나, 본 발명은 상기 예로 제한되지 않는다. 첫째, 화상 분석기는 화소 주위의 로컬 스프레드 대 전체 프레임에 대한 평균 화소 스프레드를 분석할 수 있다. 화상 분석기는 에지 레벨을 또한 분석할 수 있었고, 그 레벨의 예는 전체 프레임에 대한 평균값에 대해 분할된 화소당
-1-1-1
-1 8-1
-1-1-1
의 abs이다.
각 화소 또는 화소 그룹에 대한 디테일 레벨이 일단 결정되면, 디테일의 정도를 변화시키는 이득값은 재호출용 참조표에서 설정 및 저장될 수 있다.
상기 언급했듯이, 그 재구성된 비디오 스트림 및 고-해상도 입력 비디오 스트림은 감산 유닛(222)에 입력된다. 감산 유닛(222)은 입력 비디오 스트림으로부터 재구성된 비디오 스트림을 감산하여 잔류 스트림을 생성한다. 화상 분석기(404)의 이득값이 잔류 스트림의 감쇄를 제어하기 위해 사용되는 승산기(406)에 보내진다. 대안의 실시예에서, 화상 분석기(404)가 시스템에서 제거될 수 있고 설정된 이득값이 승산기(406)로 로드될 수 있다. 잔류 스트림을 이득값으로 승산하는 결과는, 필터링 종류가 디테일이 거의 없는 각 프레임의 영역에 대해 발생한다는 것이다. 그 영역에서, 많은 비트가 대개 거의 관련안된 디테일 또는 잡음에 사용되야한다. 디테일을 거의 갖지 않거나 갖지 않는 영역에 대해 제로로 향해 이동하는 이득값에 의해 잔류 스트림을 승산함에 의해, 그 비트들은 인핸스먼트 인코더(24)에서 인코딩하기 전에 잔류 스트림으로부터 제거될 수 있다. 비슷하게, 그 승산기는 에지 및/또는 텍스트 영역에 대해 1로 향하고 그들 영역만이 인코딩될 것이다. 정규 화상의 결과는 비트를 크게 감소시킬 수 있다. 비디오 품질에 어느 정도 효과를 내지만, 비트레이트의 감소와 관련해서, 그것은 동일한 전체 비트레이트에서 정규 압축 기술과 비교하는 경우 특히 양호한 타협안이다.
본 발명의 다른 실시예는 본 발명의 모든 동작에 영향을 미침이 없이 어떤 단계의 타이밍이 상호변화될 수 있듯이 상기 설명된 단계의 정확한 순서로 제한되지 않는다. 또한, 용어 "포함하는"은 다른 소자 또는 단계를 배제하지 않으며, 단수의 용어들은 복수를 배제하지 않으며 단일 프로세서 또는 다른 유닛이 청구항에서 인용된 몇 개의 유닛 또는 회로의 기능을 완수할 수 있다.

Claims (24)

  1. 복수의 프레임들에서 캡처링된 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치로서, 상기 캡처링된 비디오 프레임들을 압축된 데이터 스트림으로 인코딩하고 출력하는 인코더를 포함하는, 상기 장치에 있어서,
    상대적으로 낮은 화소 해상도를 갖는 인터레이싱된 비트스트림을 인코딩하는 베이스 인코더(214),
    베이스 층으로부터의 디-인터레이싱된 로컬 디코더 출력 및 중간 인핸스먼트 스트림을 생성하는 입력 신호 간의 차분을 인코딩하는 공간 인핸스먼트 인코더(224)를 포함하는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  2. 제 1 항에 있어서,
    디-인터레이싱된 로컬 디코더 출력은 공간 인핸스먼트 인코더 이전에 업샘플링되는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  3. 제 1 항에 있어서,
    상기 입력 신호는 원래의 인터레이싱된 입력 신호의 디-인터레이싱된 버전인, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  4. 제 1 항에 있어서,
    상기 입력 신호는 원래의 입력 신호의 다운샘플링된 버전인, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  5. 제 4 항에 있어서,
    다운샘플러(210)는 베이스 인코더로 입력되는 베이스 스트림을 생성하기 위해 사용되는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  6. 제 5 항에 있어서,
    리-인터레이서(212)는 베이스 인코더에 의해 인코딩되는 인터레이싱된 베이스 스트림을 생성하기 위해 사용되는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  7. 제 1 항에 있어서,
    공간 인핸스먼트 스트림을 생성하기 위해 상기 중간 인핸스먼트 스트림을 서브샘플링하는 시간 서브샘플링 유닛(232)을 더 포함하는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  8. 제 7 항에 있어서,
    상기 베이스 인코더 및 상기 인핸스먼트 인코더의 상기 로컬 디코더 출력을 함께 가산하는 수단(246),
    상기 결합된 로컬 디코더를 시간적으로 서브샘플링하는 수단(232),
    상기 시간적으로 서브샘플링된 신호에 움직임 보상된 시간적 보간을 인가하는 수단(234)을 더 포함하는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  9. 제 8 항에 있어서,
    상기 베이스 인코더의 로컬 디코더의 출력은 상기 시간적 보간된 신호와 비교되는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  10. 제 9 항에 있어서,
    상기 비교가 미리 결정된 임계값을 초과할 때 정보는 화소 그룹에서 시간 인핸스먼트 신호로서 인코딩되는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  11. 제 8 항에 있어서,
    상기 움직임 보상된 시간적 보간은 자연 움직임 보간인, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  12. 제 11 항에 있어서,
    상기 시간적 보간의 상기 움직임 추정은 상기 베이스 인코더의 로컬 디코더 신호를 이용하는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  13. 제 1 항에 있어서,
    상기 공간 인핸스먼트 인코더에 입력 신호를 승산하는 승산 유닛(242)을 더 포함하는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  14. 제 13 항에 있어서,
    상기 승산 유닛의 이득을 제어하는 신호 분석기(404)를 더 포함하는, 비디오 정보의 공간 스케일러블 압축을 효율적으로 수행하는 장치.
  15. 입력 비디오 스트림을 인코딩하는 계층화된 인코더에 있어서,
    상기 입력 비디오 스트림으로부터 인터레이싱된 베이스 신호를 생성하는 인터레이서 유닛(212),
    낮은 화소 레이트를 갖는 상기 인터레이싱된 베이스 스트림을 인코딩하는 베이스 인코더(214),
    상기 베이스 인코더로부터 로컬 디코더 출력을 디-인터레이싱하는 디-인터레이서(218),
    잔류 신호를 생성하기 위해 상기 입력 비디오 스트림으로부터 상기 디-인터 레이싱된 스트림을 감산하는 감산기 유닛(222), 및
    상기 잔류 신호를 인코딩하고 중간 인핸스먼트 스트림을 출력하는 인핸스먼트 인코더(226)를 포함하는, 계층화된 인코더.
  16. 제 15 항에 있어서,
    상기 중간 인핸스먼트 스트림을 샘플링하고 공간 인핸스먼트 스트림을 출력하는 시간 서브샘플링 유닛(232)을 더 포함하는, 계층화된 인코더.
  17. 제 16 항에 있어서,
    상기 베이스 인코더 및 상기 인핸스먼트 인코더의 결합된 로컬 디코더 출력을 시간적으로 서브샘플링하는 시간 서브샘플러(232),
    상기 시간 서브샘플러에 의해 출력된 신호에서 움직임 추정을 실행하는 움직임 보상된 시간 보간 유닛(234),
    상기 움직임 보상된 시간 보간 유닛으로부터 보간된 프레임을 상기 로컬 베이스 디코더로부터의 실제 프레임과 비교하고, 그 비교가 설정된 임계값을 초과할 때, 데이터를 시간적 잔류 스트림으로서 선택하는 평가 유닛(236), 및
    시간 인핸스먼트 스트림을 생성하기 위해 상기 시간적 잔류 스트림을 인코딩하는 시간 인코더(238)를 더 포함하는, 계층화된 인코더.
  18. 제 17 항에 있어서,
    상기 시간 인코더는 상기 인핸스먼트 인코더의 정보를 뮤팅(muting)함으로써 실현되는, 계층화된 인코더.
  19. 입력 비디오 스트림을 인코딩하는 방법에 있어서,
    상기 입력 비디오 스트림으로부터 인터레이싱된 비디오 스트림을 생성하는 단계,
    베이스 스트림을 생성하기 위해 상기 인터레이싱된 비디오 스트림을 인코딩하는 단계,
    베이스 인코더로부터 로컬 디코더 출력을 디-인터레이싱하는 단계,
    제 1 잔류 스트림을 생성하기 위해 상기 입력 비디오 스트림으로부터 상기 디-인터레이싱된 스트림을 감산하는 단계,
    상기 최종의 잔류 스트림을 인코딩하고 공간 인핸스먼트 스트림을 출력하는 단계를 포함하는, 인코딩 방법.
  20. 제 19 항에 있어서,
    공간 인핸스먼트 스트림을 생성하기 위해 상기 중간 인핸스먼트 스트림을 시간적으로 서브샘플링하는 단계를 더 포함하는, 인코딩 방법.
  21. 제 20 항에 있어서,
    상기 베이스 인코더 및 상기 인핸스먼트 인코더의 결합된 로컬 디코더 출력 의 시간적 서브샘플링을 실행하는 단계,
    시간 서브샘플러에 의해 출력된 신호에서 움직임 추정을 실행하는 단계,
    움직임 보상된 시간 보간 유닛으로부터 보간된 프레임을 상기 로컬 베이스 디코더로부터의 실제 프레임과 비교하고, 그 비교가 설정된 임계값을 초과할 때, 데이터를 시간 잔류 스트림으로서 선택하는 단계, 및
    시간 인핸스먼트 스트림을 생성하기 위해 상기 시간 잔류 스트림을 인코딩하는 단계를 더 포함하는, 인코딩 방법.
  22. 디코더에 있어서,
    공간 인핸스먼트 스트림을 디코딩하는 제 1 디코더(300),
    베이스 스트림을 디코딩하는 제 2 디코더(302),
    상기 디코딩된 베이스 스트림을 디-인터레이싱하는 디-인터레이서(306), 및
    상기 디-인터레이싱된 디코딩된 베이스 스트림 및 상기 디코딩된 공간 인핸스먼트 스트림을 가산하는 가산 유닛(312)을 포함하는, 디코더.
  23. 제 22 항에 있어서,
    상기 가산 유닛에 앞서서 상기 디-인터레이싱된 스트림을 업샘플링하는 업샘플링 유닛(308)을 더 포함하는, 디코더.
  24. 제 22 항에 있어서,
    상기 디-인터레이싱된 베이스 스트림을 시간적으로 서브샘플링하는 시간 서브샘플링 유닛(310),
    상기 가산 유닛으로부터 출력을 보간하는 움직임 보상 시간 보간 유닛(314),
    시간 인핸스먼트 스트림을 디코딩하는 제 3 디코더(304), 및
    디코더 출력을 생성하기 위해 상기 업샘플된 스트림, 상기 보간된 스트림 및 상기 디코딩된 시간 인핸스먼트 스트림을 결합하는 결합 유닛(316)을 더 포함하는, 디코더.
KR1020067012529A 2003-12-22 2004-12-07 호환 인터레이싱된 ｓｄｔｖ 및 순차 ｈｄｔｖ KR20060123375A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03104878.8 2003-12-22
EP03104878 2003-12-22

Publications (1)

Publication Number Publication Date
KR20060123375A true KR20060123375A (ko) 2006-12-01

Family

ID=34717215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067012529A KR20060123375A (ko) 2003-12-22 2004-12-07 호환 인터레이싱된 ｓｄｔｖ 및 순차 ｈｄｔｖ

Country Status (6)

Country Link
US (1) US20070086666A1 (ko)
EP (1) EP1700482A1 (ko)
JP (1) JP2007532046A (ko)
KR (1) KR20060123375A (ko)
CN (1) CN1898966A (ko)
WO (1) WO2005064948A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007020278A2 (fr) * 2005-08-18 2007-02-22 Thomson Licensing Procede de codage et de decodage d'images progressives a haute resolution et entrelacees a basse resolution
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
WO2008133910A2 (en) * 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
KR20090097015A (ko) * 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
US20110317755A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Systems and methods for highly efficient compression of video
KR20140040165A (ko) * 2011-07-26 2014-04-02 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
US9014263B2 (en) 2011-12-17 2015-04-21 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
US9049445B2 (en) 2012-01-04 2015-06-02 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
JP2013059106A (ja) * 2012-11-20 2013-03-28 Sony Corp 符号化装置および符号化方法
US9258517B2 (en) * 2012-12-31 2016-02-09 Magnum Semiconductor, Inc. Methods and apparatuses for adaptively filtering video signals
JP2016005032A (ja) * 2014-06-13 2016-01-12 ソニー株式会社 符号化装置、符号化方法、カメラ、レコーダおよびカメラ一体型レコーダ
US10432946B2 (en) 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
CN110942424B (zh) * 2019-11-07 2023-04-18 昆明理工大学 一种基于深度学习的复合网络单图像超分辨率重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128791A (en) * 1990-08-13 1992-07-07 Bell Communications Research, Inc. Multi-channel HDTV system
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5408270A (en) * 1993-06-24 1995-04-18 Massachusetts Institute Of Technology Advanced television system
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video

Also Published As

Publication number Publication date
CN1898966A (zh) 2007-01-17
EP1700482A1 (en) 2006-09-13
US20070086666A1 (en) 2007-04-19
WO2005064948A1 (en) 2005-07-14
JP2007532046A (ja) 2007-11-08

Similar Documents

Publication Publication Date Title
US7146056B2 (en) Efficient spatial scalable compression schemes
US7421127B2 (en) Spatial scalable compression scheme using spatial sharpness enhancement techniques
US8953673B2 (en) Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US20040258319A1 (en) Spatial scalable compression scheme using adaptive content filtering
US8155192B2 (en) Scalable encoding and decoding of interlaced digital video data
KR20060123375A (ko) 호환 인터레이싱된 ｓｄｔｖ 및 순차 ｈｄｔｖ
US20070160300A1 (en) Spatial scalable compression scheme with a dead zone
US20040252900A1 (en) Spatial scalable compression
US20060133475A1 (en) Video coding
US20140247890A1 (en) Encoding device, encoding method, decoding device, and decoding method
US6621865B1 (en) Method and system for encoding and decoding moving and still pictures
JPH07212761A (ja) 階層符号化装置及び階層復号化装置
KR100883604B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR20090006215A (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100878825B1 (ko) 스케일러블 비디오 신호 인코딩 및 디코딩 방법
JP3432886B2 (ja) 階層符号化／復号化装置及び方法及び送受信方式
US8929446B1 (en) Combiner processing system and method for support layer processing in a bit-rate reduction system
JPH07107488A (ja) 動画像符号化装置
JP2000036961A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
JPH10271504A (ja) 画像信号の符号化方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid