KR20090097015A - 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치 - Google Patents

스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치 Download PDF

Info

Publication number
KR20090097015A
KR20090097015A KR1020080022157A KR20080022157A KR20090097015A KR 20090097015 A KR20090097015 A KR 20090097015A KR 1020080022157 A KR1020080022157 A KR 1020080022157A KR 20080022157 A KR20080022157 A KR 20080022157A KR 20090097015 A KR20090097015 A KR 20090097015A
Authority
KR
South Korea
Prior art keywords
resolution
reconstructed image
image
interpolation mode
reconstructed
Prior art date
Application number
KR1020080022157A
Other languages
English (en)
Inventor
조대성
최웅일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080022157A priority Critical patent/KR20090097015A/ko
Priority to US12/289,213 priority patent/US8194733B2/en
Priority to PCT/KR2009/001176 priority patent/WO2009113790A2/ko
Priority to EP09720083.6A priority patent/EP2265024A4/en
Publication of KR20090097015A publication Critical patent/KR20090097015A/ko
Priority to US13/463,285 priority patent/US8718132B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

스케일러블 영상 부호화장치 및 스케일러블 영상 복호화장치가 제공된다. 스케일러블 영상 부호화장치는 제1 해상도의 현재영상을 제2 해상도로 부호화하여 제2 해상도의 복원영상을 생성하기 위한 기본계층 비트스트림을 생성하는 제1 부호화부, 및 제1 부호화부로부터 제공되는 제2 해상도의 복원영상을 보간모드 신호에 대응하여 제1 해상도의 복원영상으로 재구성하고, 제1 해상도의 복원영상을 이용하여 제1 해상도의 현재영상을 부호화하여, 제1 해상도 혹은 제3 해상도의 복원영상을 생성하기 위한 추가적인 정보를 포함하는 상위계층 비트스트림을 생성하는 제2 부호화부로 이루어진다.

Description

스케일러블 영상 부호화장치 및 스케일러블 영상 복호화장치{Apparatus of encoding image and apparatus of decoding image}
본 발명은 영상 부호화 및 복호화에 관한 것으로서, 보다 상세하게는 다양한 해상도를 제공할 수 있는 비트스트림을 생성하거나 복호화하는 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상 복호화장치 및 방법에 관한 것이다.
스케일러블 영상 부호화기술은 기존 부호화기의 해상도를 확장한 것으로서, 이미 시장에서 사용되고 있는 기존 비디오 코덱에서도 서비스가 가능하도록 하는 한편, 새로이 확장된 비디오 코덱에서는 보다 향상된 화질을 제공하기 위한 것이다.
한편, 동영상 캡쳐방식에는 순차주사(progressive scanning) 방식과 비월주사(interlaced scanning) 방식이 있다. 현재, 동영상 캡쳐방식에 적응적으로 스케일러블 영상 부호화를 수행함으로써, 상위계층에서의 부호화 효율 및 상위계층의 복원영상의 화질을 향상시킬 필요가 있다.
본 발명이 이루고자 하는 기술적 과제는 기본계층에서는 제1 해상도의 현재 영상을 제2 해상도로 부호화하고, 상위계층에서는 제2 해상도의 복원영상을 보간모드 신호에 대응하여 제1 해상도의 복원영상으로 재구성하고, 제1 해상도의 복원영상을 이용하여 제1 해상도의 현재영상을 부호화하는 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상 복호화장치 및 방법을 제공하는데 있다.
상기한 기술적 과제를 해결하기 위한 본 발명의 일측면에 따른 스케일러블 영상 부호화장치는 제1 해상도의 현재영상을 제2 해상도로 부호화하여 제2 해상도의 복원영상을 생성하기 위한 기본계층 비트스트림을 생성하는 제1 부호화부; 및 상기 제1 부호화부로부터 제공되는 상기 제2 해상도의 복원영상을 보간모드 신호에 대응하여 제1 해상도의 복원영상으로 재구성하고, 상기 제1 해상도의 복원영상을 이용하여 상기 제1 해상도의 현재영상을 부호화하여, 제1 해상도 혹은 제3 해상도의 복원영상을 생성하기 위한 추가적인 정보를 포함하는 상위계층 비트스트림을 생성하는 제2 부호화부를 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 스케일러블 영상 복호화장치는 제1 해상도의 현재영상의 부호화결과 생성된 스케일러블 비트스트림의 기본계층 비트스트림을 복호화하여, 제2 해상도의 복원영상을 생성하는 제1 복호화부; 및 상기 제2 해상도의 복원영상을 상기 스케일러블 비트스트림의 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여 제1 해상도의 중간 복원영상으로 재구성하고, 상기 상위계층 비트스트림을 상기 제1 해상도의 중간 복원영상을 이용하여 복호화하여 제1 해상도의 최종 복원영상을 생성하는 제2 복호화부를 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 상위계층 부호화장치는 제1 해상도의 현재영상을 제2 해상도로 부호화한 후 다시 복호화하여 얻어지는 제2 해상도의 복원영상의 색차성분을 보간모드 신호에 대응하여 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도의 복원영상을 생성하는 해상도 조정부; 상기 제1 해상도의 현재영상으로부터 상기 제1 해상도의 복원영상을 감산하여 상기 제1 해상도의 레지듀 데이터를 구하는 감산부; 상기 제1 해상도의 레지듀 데이터를 클리핑하여 제3 해상도의 레지듀 데이터를 생성하는 클리핑부; 상기 제3 해상도의 레지듀 데이터에 대하여 예측 부호화를 수행하는 예측 부호화부; 및 상기 부호화된 제3 해상도의 레지듀 데이터와 상기 보간모드 신호를 포함하여 상위계층 비트스트림을 생성하는 비트스트림 구성부로 이루어진다.
상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 상위계층 부호화장치는 제1 해상도의 현재영상을 제2 해상도로 부호화한 후 다시 복호화하여 얻어지는 제2 해상도의 복원영상의 색차성분을 보간모드 신호에 대응하여 보간하여 제1 해상도의 복원영상을 생성하는 해상도 조정부; 상기 제1 해상도의 현재영상으로부터 상기 제1 해상도의 복원영상을 감산하여 상기 제1 해상도의 레지듀 데이터를 구하는 감산부; 상기 제1 해상도의 레지듀 데이터에 대하여 예측 부호화를 수행하는 예측 부호화부; 및 상기 부호화된 제1 해상도의 레지듀 데이터와 상기 보간모드 신호를 포함하여 상위계층 비트스트림을 생성하는 비트스트림 구성부로 이루어진다.
상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 상 위계층 복호화장치는 제1 해상도의 현재영상을 부호화하여 얻어지는 스케일러블 비트스트림의 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여, 상기 스케일러블 비트스트림의 기본계층 비트스트림의 복호화결과 얻어지는 제2 해상도의 복원영상의 색차성분을 보간하여 제1 해상도의 중간 복원영상을 생성하는 해상도 조정부; 상기 상위계층 비트스트림에 대하여 예측 복호화를 수행하여 제3 해상도의 레지듀 데이터를 복원하는 예측 복호화부; 상기 제3 해상도의 레지듀 데이터의 비트깊이를 확장하여 제1 해상도의 레지듀 데이터를 생성하는 톤 매핑부; 및 상기 제1 해상도의 중간 복원영상과 상기 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부로 이루어진다.
상기한 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 상위계층 복호화장치는 제1 해상도의 현재영상을 부호화하여 얻어지는 스케일러블 비트스트림의 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여, 상기 스케일러블 비트스트림의 기본계층 비트스트림의 복호화결과 얻어지는 제2 해상도의 복원영상의 색차성분을 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도의 중간 복원영상을 생성하는 해상도 조정부; 상기 상위계층 비트스트림에 대하여 예측 복호화를 수행하여 제1 해상도의 레지듀 데이터를 복원하는 예측 복호화부; 및 상기 제1 해상도의 중간 복원영상과 상기 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부로 이루어진다.
이하, 본 발명의 실시예들에 대하여 첨부된 도면을 참조하여 보다 상세하세 설명하기로 한다.
도 1은 본 발명에 따른 스케일러블 영상 부호화장치의 일 실시예에 따른 구성을 나타낸 블럭도로서, 제1 부호화부(110) 및 제2 부호화부(130)를 포함하여 이루어진다.
도 1을 참조하면, 제1 부호화부(110)는 제1 해상도의 현재영상을 제2 해상도로 부호화하여, 제2 해상도의 복원영상을 생성하기 위한 기본계층 비트스트림을 생성하고, 부호화된 제2 해상도의 현재영상을 복호화하여 얻어지는 제2 해상도의 복원영상을 제2 부호화부(130)로 제공한다. 제1 부호화부(110)에서 채용되는 부호화기법은 일반적인 비디오 코덱, 예를 들면 MPEG-1, MPEG-2, MPEG-4, H.261, H.262, H.263, H.264, 혹은 SMPTE VC-1 등을 이용할 수 있다. 일실시예에 따르면, 제2 해상도의 예로는 4:2:0 포맷 및 8 비트를 들 수 있으며, 제1 해상도는 제2 해상도보다 높은 예를 들면 4:2:2 포맷 혹은 4:4:4 포맷 및 N 비트(여기서, N은 10 이상)를 들 수 있다. 다른 실시예에 따르면, 제2 해상도의 예로는 4:2:0 포맷을 들 수 있으며, 제1 해상도는 제2 해상도보다 높은 예를 들면 4:2:2 포맷 혹은 4:4:4 포맷을 들 수 있다.
제2 부호화부(130)는 제1 부호화부(110)로부터 제공되는 제2 해상도의 복원영상을 보간모드 신호에 대응하여 제1 해상도의 복원영상으로 재구성하고, 제1 해상도의 복원영상을 이용하여 제1 해상도의 현재영상을 부호화하여, 제1 해상도 혹은 제3 해상도의 복원영상을 생성하기 위한 추가적인 정보를 포함하는 상위계층 비트스트림을 생성한다. 여기서, 제1 해상도는 4:2:2 포맷 혹은 4:4:4 포맷을 들 수 있으며, 제3 해상도는 4:2:2 포맷 혹은 4:4:4 포맷 및 8 비트를 들 수 있다.
한편, 제1 부호화부(110)로부터 제공되는 기본계층 비트스트림과 제2 부호화부(130)로부터 제공되는 상위계층 비트스트림은 서로 독립적으로 결합되어, 보간모드 신호를 포함한 스케일러블 비트스트림을 생성한다.
여기서, 제1 해상도, 제2 해상도 및 제3 해상도의 예는 상기에 한정되지 않으며, 영상포맷 혹은 비트깊이를 조합하여 다양하게 설정할 수 있다.
도 2는 도 1에 있어서, 제2 부호화부의 일실시예에 따른 구성을 나타내는 블럭도이다. 제2 부호화부(130)는 해상도 조정부(210), 감산부(230), 클리핑부(250), MC-DCT(Motion-Compensated Discrete Cosine Transform) 부호화부(270) 및 비트스트림 구성부(290)를 포함하여 이루어진다. 한편, 해상도 조정부(210)는 절환부(211), 순차주사 업샘플링부(213), 제1 비트깊이 확장부(214), 비월주사 업샘플링부(215) 및 제2 비트깊이 확장부(216)를 포함하여 구성될 수 있다. 여기서, 해상도 조정부(210), 감산부(230), 클리핑부(250), MC-DCT 부호화부(270) 및 비트스트림 구성부(290)는 적어도 하나의 프로세서로 구현가능하다. 여기서, MC-DCT 부호화부(270)는 포괄적인 예측 부호화부로 명명될 수도 있다.
도 2를 참조하면, 해상도 조정부(210)는 제2 해상도, 예를 들면, 4:2:0 포맷 및 8 비트의 복원영상을 입력으로 하여, 가변적으로 프레임 혹은 필드 보간모드 중 하나를 선택하고, 선택된 보간모드에 따라서 4:2:0 포맷 및 8 비트의 복원영상의 색차성분을 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도 예를 들면, 4:2:2 포맷 및 N 비트 혹은 4:4:4 포맷 및 N 비트의 복원영상을 생성한 다. 이하에서는 설명의 편이를 위하여 제1 해상도를 4:2:2 포맷 및 N 비트로 설정한다.
보다 구체적으로 설명하면, 절환부(211)에서는 보간모드 신호에 대응하여, 4:2:0 포맷 및 8 비트의 복원영상을 순차주사 업샘플링부(213) 혹은 비월주사 업샘플링부(215) 중 하나로 제공한다. 여기서, 보간모드 신호는 제1 해상도의 현재영상의 주사방식과 제2 해상도의 복원영상의 주사방식에 따라서 미리 결정되거나, 다양한 보간모드를 이용하여 미리 제2 해상도의 복원영상을 생성한 다음 에러영상 에너지가 작은 보간모드를 선택할 수 있다. 이와 같은 보간모드 신호는 상위계층 비트스트림을 구성할 때 신택스로 포함된다. 예를 들어, 제1 해상도의 현재영상이 순차 주사방식의 프레임 타입이고, 제2 해상도의 복원영상이 순차 주사방식의 프레임 타입인 경우, 절환부(211)는 순차주사 보간모드에 따라서 4:2:0 포맷 및 8 비트의 복원영상을 순차주사 업샘플링부(213)로 제공한다. 한편, 제1 해상도의 현재영상이 비월 주사방식의 영상이고, 제2 해상도의 복원영상이 비월 주사방식의 영상인 경우, 절환부(211)는 비월주사 보간모드에 따라서 4:2:0 포맷 및 8 비트의 복원영상을 비월주사 업샘플링부(215)로 제공한다.
순차주사 업샘플링부(213)는 절환부(211)를 통하여 제공되는 프레임 타입의 제2 해상도의 복원영상에 대하여 순차주사 업샘플링을 수행하여 프레임 타입의 제1 해상도의 복원영상을 생성한다. 제1 비트깊이 확장부(214)는 예를 들어, 쉬프트 연산을 통하여 비트깊이 즉 비트해상도를 8비트에서 N비트로 확장한다. 프레임 타입의 제2 해상도의 복원영상에 대한 순차주사 업샘플링의 예는 도 11에 도시되어 있다.
비월주사 업샘플링부(215)는 절환부(211)를 통하여 제공되는 프레임 혹은 필드 타입의 제2 해상도의 복원영상에 대하여 비월주사 업샘플링을 수행하여 필드 타입의 제1 해상도의 복원영상을 생성한다. 제2 비트깊이 확장부(216)는 예를 들어, 쉬프트 연산을 통하여 비트깊이 즉 비트해상도를 8비트에서 N비트로 확장한다. 필드 타입의 제2 해상도의 복원영상에 대한 비월주사 업샘플링의 예는 도 12 및 도 13에 도시되어 있다. 프레임 타입의 제2 해상도의 복원영상에 대한 비월주사 업샘플링의 일실시예는 도 14에 도시되어 있다. 필드 타입의 제2 해상도의 복원영상에 대한 비월주사 업샘플링의 다른 실시예는 도 15 및 도 16에 도시되어 있다. 즉, 비월주사 업샘플링부(215)는 도 12 및 도 13에 기반하여 구현되거나, 도 14에 도시된 방식에 기반하여 구현되거나, 도 15 및 도 16에 도시된 방식에 기반하여 구현될 수 있다.
감산부(230)는 제1 해상도의 현재영상으로부터 해상도 조정부(210)로부터 제공되는 제1 해상도의 복원영상을 감산하여, 레지듀 데이터를 구한다.
클리핑부(250)는 감산부(230)로부터 제공되는 제1 해상도, 예를 들면 4:2:2 포맷 및 N 비트의 레지듀 데이터를 클리핑하여 제3 해상도, 예를 들면 4:2:2 포맷 및 8 비트의 레지듀 데이터를 생성한다.
MC-DCT 부호화부(270)는 클리핑부(250)로부터 제공되는 4:2:2 포맷 및 8 비트의 레지듀 데이터에 대하여 MC-DCT 기반 부호화를 수행한다.
비트스트림 구성부(290)는 MC-DCT 부호화부(270)로부터 제공되는 부호화된 제3 해상도의 레지듀 데이터와 보간모드 신호를 포함하여 상위계층 비트스트림을 생성한다.
도 3은 도 1에 있어서, 제2 부호화부의 다른 실시예에 따른 구성을 나타내는 블럭도이다. 제2 부호화부(130)는 해상도 조정부(310), 감산부(330), MC-DCT 부호화부(370) 및 비트스트림 구성부(390)를 포함하여 이루어진다. 한편, 해상도 조정부(310)는 절환부(311), 순차주사 업샘플링부(313) 및 비월주사 업샘플링부(315)를 포함하여 구성될 수 있다. 여기서, 해상도 조정부(310), 감산부(330), MC-DCT 부호화부(370) 및 비트스트림 구성부(390)는 적어도 하나의 프로세서로 구현가능하다. 도 2에 도시된 일실시예와의 차이점은 제1 및 제2 해상도의 정의가 다르고, 제3 해상도가 사용되지 않는다는 것이다.
도 3을 참조하면, 해상도 조정부(310)는 제2 해상도, 예를 들면, 4:2:0 포맷 의 복원영상을 입력으로 하여, 가변적으로 순차주사 혹은 비월주사 보간모드 중 하나를 선택하고, 선택된 보간모드에 따라서 4:2:0 포맷의 복원영상의 색차성분을 보간하여 제1 해상도 예를 들면, 4:2:2 포맷 혹은 4:4:4 포맷의 복원영상을 생성한다. 이하에서는 설명의 편이를 위하여 제1 해상도를 4:2:2 포맷으로 설정한다. 한편, 해상도 조정부(310)의 세부 구성요소는 도 2에서와 동일하므로 그 구체적인 설명은 생략하기로 한다.
감산부(330)는 제1 해상도의 현재영상으로부터 해상도 조정부(210)로부터 제공되는 제1 해상도의 복원영상을 감산하여, 레지듀 데이터를 구한다.
MC-DCT 부호화부(370)는 감산부(330)로부터 제공되는 제1 해상도 즉, 4:2:2 포맷의 레지듀 데이터에 대하여 MC-DCT 기반 부호화를 수행한다.
비트스트림 구성부(390)는 MC-DCT 부호화부(370)로부터 제공되는 부호화된 제1 해상도의 레지듀 데이터와 보간모드 신호를 포함하여 상위계층 비트스트림을 생성한다.
도 4는 본 발명에 따른 스케일러블 영상 복호화장치의 일실시예에 따른 구성을 나타낸 블럭도로서, 제1 복호화부(410) 및 제2 복호화부(430)를 포함하여 이루어진다.　
도 4를 참조하면, 제1 복호화부(410)는 스케일러블 비트스트림에 포함된 기본계층 비트스트림을 복호화하여, 제2 해상도의 복원영상을 생성한다. 제1 복호화부(410)는 도 1에 도시된 제1 부호화부(110)에 대응하여 구성된다.
제2 복호화부(430)는 제1 복호화부(410)로부터 제공되는 제2 해상도의 복원영상을 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여 제1 해상도의 복원영상으로 재구성하고, 스케일러블 비트스트림에 포함된 상위계층 비트스트림을 제1 해상도의 복원영상을 이용하여 복호화하여 제1 해상도의 복원영상을 생성한다.
여기서, 제1 해상도 및 제2 해상도의 정의는 도 1 내지 도 3에 도시된 영상 부호화장치에서 사용된 것과 동일하다.
도 5는 도 4에 있어서 제2 복호화부의 일실시예에 따른 구성을 나타내는 블럭도이다. 제2 복호화부(430)는 해상도 조정부(510), MC-DCT 복호화부(530), 톤 매핑부(550) 및 가산부(570)를 포함하여 이루어진다. 한편, 해상도 조정부(510)는 절환부(511), 순차주사 업샘플링부(513), 제1 비트깊이 확장부(514), 비월주사 업샘플링부(515) 및 제2 비트깊이 확장부(515)를 포함하여 구성될 수 있다. 여기서, 해상도 조정부(510), MC-DCT 복호화부(530), 톤 매핑부(550) 및 가산부(570)는 적어도 하나의 프로세서로 구현가능하다. 도 5에 도시된 제2 복호화부(430)는 도 2에 도시된 제1 부호화부(130)에 대응된다. 여기서, MC-DCT 복호화부(530)는 포괄적인 예측 복호화부로 명명될 수도 있다.
도 5를 참조하면, 해상도 조정부(510)는 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여, 제2 해상도 즉, 4:2:0 포맷 및 8 비트의 복원영상의 색차성분을 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도 예를 들면, 4:2:2 포맷 및 N 비트 혹은 4:4:4 포맷 및 N 비트의 복원영상을 생성한다. 이하에서는 설명의 편이를 위하여 제1 해상도를 4:2:2 포맷 및 N 비트로 설정한다.
보다 구체적으로 설명하면, 절환부(511)에서는 보간모드 신호에 대응하여, 4:2:0 포맷 및 8 비트의 복원영상을 순차주사 업샘플링부(513) 혹은 비월주사 업샘플링부(515) 중 하나로 제공한다. 순차주사 업샘플링부(513)는 절환부(511)를 통하여 제공되는 프레임 타입의 제2 해상도의 복원영상에 대하여 순차주사 업샘플링을 수행하여 프레임 타입의 제1 해상도의 복원영상을 생성한다. 제1 비트깊이 확장부(514)는 예를 들어, 쉬프트 연산을 통하여 비트깊이 즉 비트해상도를 8비트에서 N비트로 확장한다. 비월주사 업샘플링부(515)는 절환부(511)를 통하여 제공되는 프레임 혹은 필드 타입의 제2 해상도의 복원영상에 대하여 비월주사 업샘플링을 수행하여 필드 타입의 제1 해상도의 복원영상을 생성한다. 제2 비트깊이 확장 부(516)는 예를 들어, 쉬프트 연산을 통하여 비트깊이 즉 비트해상도를 8비트에서 N비트로 확장한다. 순차주사 업샘플링부(513) 및 비월주사 업샘플링부(515)는 도 2에 도시된 것에 대응하여 동일한 방식으로 구현된 것이다.
MC-DCT 복호화부(530)는 스케일러블 비트스트림에 포함된 상위계층 비트스트림을 MC-DCT 기반 복호화를 수행하여 제3 해상도, 즉 4:2:2 포맷 및 8 비트의 레지듀 데이터를 복원한다.
톤 매핑부(550)는 톤 매핑(tone mapping) 방식에 기반하여, MC-DCT 복호화부(530)로부터 제공되는 제3 해상도의 레지듀 데이터의 비트깊이를 확장하여 제1 해상도, 즉 4:2:2 포맷 및 N 비트의 레지듀 데이터를 생성한다.
가산부(570)는 해상도 조정부(510)로부터 제공되는 제1 해상도 즉, 4:2:2 포맷 및 N 비트의 복원영상과 톤 매핑부(550)로부터 제공되는 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성한다.
도 6은 도 4에 있어서 제2 복호화부의 다른 실시예에 따른 구성을 나타내는 블럭도이다. 제2 복호화부(430)는 해상도 조정부(610), MC-DCT 복호화부(630), 및 가산부(670)를 포함하여 이루어진다. 한편, 해상도 조정부(610)는 절환부(611), 순차주사 업샘플링부(613) 및 비월주사 업샘플링부(615)를 포함하여 구성될 수 있다. 여기서, 해상도 조정부(610), MC-DCT 복호화부(630), 및 가산부(670)는 적어도 하나의 프로세서로 구현가능하다. 도 6에 도시된 제2 복호화부(430)는 도 3에 도시된 제1 부호화부(130)에 대응된다.
도 6을 참조하면, 해상도 조정부(610)는 상위계층 비트스트림에 포함된 보간 모드 신호에 대응하여, 제2 해상도 즉, 4:2:0 포맷의 복원영상의 색차성분을 보간하여 제1 해상도 예를 들면, 4:2:2 포맷 혹은 4:4:4 포맷의 복원영상을 생성한다. 이하에서는 설명의 편이를 위하여 제1 해상도를 4:2:2 포맷으로 설정한다. 한편, 해상도 조정부(610)의 세부 구성요소는 도 5에서와 동일하므로 그 구체적인 설명은 생략하기로 한다.
MC-DCT 복호화부(630)는 스케일러블 비트스트림에 포함된 상위계층 비트스트림을 MC-DCT 기반 복호화를 수행하여 제1 해상도의 레지듀 데이터를 복원한다.
가산부(670)는 해상도 조정부(610)로부터 제공되는 제1 해상도 즉, 4:2:2 포맷의 복원영상과 MC-DCT 복호화부(630) 로부터 제공되는 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성한다.
상기된 실시예들에 따른 스케일러블 영상 부호화장치 및 복호화장치에서는, 현재영상의 주사방식에 대응하는 현재영상의 픽쳐 타입, 및 상위계층에서의 복원영상의 픽쳐 타입 중 적어도 하나를 고려하여 보간모드를 결정하고, 결정된 보간모드에 대응하여 하위계층의 복원영상의 해상도를 조정함으로써, 계층간에 효율적인 예측이 가능하도록 한다. 그 결과, 상위계층의 부호화효율과 상위계층의 복원영상의 화질을 개선할 수 있다. 또한, 기존의 다양한 영상 코덱을 지원하는 동시에, 향상된 화질의 복원영상을 제공하도록 구현되기 때문에 기존의 시장을 쉽게 확보하고 확대하는데 유리하다.
도 7은 4:2:0 포맷을 갖는 프레임 영상의 픽셀 구조를 나타낸 도면이다. 통상 순차주사(progressive scanning)로 캡쳐된 영상은 도 7에 도시된 바와 같은 프 레임 타입의 영상 구조로 입력받아 일정한 크기의 블록 단위로 부호화된다.
도 8은 4:2:0 포맷을 갖는 필드 영상의 픽셀 구조를 나타낸 도면이다. 통상 비월주사(interlaced scanning)로 캡쳐된 영상은 도 7에 도시된 바와 같은 프레임 타입 혹은 도 8에 도시된 필드 타입의 영상 구조로 입력받아 일정한 크기의 블록 단위로 부호화된다.
도 9는 4:2:2 포맷을 갖는 프레임 영상의 픽셀 구조를 나타낸 도면이다. 통상 순차주사로 캡쳐된 영상은 도 9에 도시된 바와 같은 프레임 타입의 영상 구조로 입력받아 일정한 크기의 블록 단위로 부호화된다.
도 10은 4:2:2 포맷을 갖는 필드 영상의 픽셀 구조를 나타낸 도면이다. 통상 비월주사로 캡쳐된 영상은 도 9에 도시된 바와 같은 프레임 타입 혹은 도 10에 도시된 필드 타입의 영상 구조로 입력받아 일정한 크기의 블록 단위로 부호화된다.
다음, 도 11 내지 도 16은 기본계층의 픽셀 정보를 이용하여 상위계층의 색차성분을 예측하기 위한 보간방법인 필드 업샘플링 및 프레임 업샘플링에 대하여 도시한 것이다. 보간에 이용되는 픽셀들의 갯수와 픽셀들의 가중치는 예로 든 것이며, 복원영상의 성능에 따라서 다양하게 가변시킬 수 있다.
도 11은 순차주사로 캡춰된 4:2:0 포맷의 프레임 영상을 순차주사로 캡춰된 4:2:2 포맷의 프레임 영상으로 색차성분을 보간하는 과정을 설명하는 도면으로서, 입력영상이 순차주사 방식의 영상인 경우, 프레임 영상 단위로 색차성분을 보간한다.
4:2:2 포맷의 프레임 영상에서 짝수 위치의 픽셀 보간의 예는 도 11에 있어 서 과정 (1)로 표기되며 다음 수학식 1에 의해 수행된다. 예를 들어, 4:2:2 포맷의 프레임 영상에서 y4 픽셀의 색차성분은 4:2:0 포맷의 프레임 영상에서 y4 픽셀에 근접하여 존재하는 복수개의 픽셀 즉, x0, x1, x2, 및 x3의 색차성분을 이용한다. 이때, y4 픽셀에 가까울수록 큰 값의 가중치를 가진다.
Figure 112008017366487-PAT00001
상기 수학식 1은 다음 수학식 2와 같이 최적화될 수 있다.
Figure 112008017366487-PAT00002
한편, 4:2:2 포맷의 프레임 영상에서 홀수 위치의 픽셀 보간의 예는 도 11에 있어서 과정 (2)로 표기되며 다음 수학식 3에 의해 수행된다. 예를 들어, 4:2:2 포맷의 프레임 영상에서 y3 픽셀의 색차성분은 4:2:0 포맷의 프레임 영상에서 y3 픽셀에 근접하여 존재하는 복수개의 픽셀 즉, x0, x1, x2, 및 x3의 색차성분을 이용한다. 이때, y3 픽셀에 가까울수록 큰 값의 가중치를 가진다.
Figure 112008017366487-PAT00003
상기 수학식 3은 다음 수학식 4와 같이 최적화될 수 있다.
Figure 112008017366487-PAT00004
도 12는 비월주사로 캡춰된 4:2:0 포맷의 짝수 필드 영상을 비월주사로 캡춰된 4:2:2 포맷의 짝수 필드 영상으로 색차성분을 보간하는 과정을 설명하는 도면이다.
4:2:2 포맷의 짝수 필드에서 4:2:0 포맷의 짝수 필드 색차성분 대비 -1/8 픽셀 위치의 보간의 예는 도 12에 있어서 과정 (1)로 표기되며 다음 수학식 5에 의해 수행된다.
Figure 112008017366487-PAT00005
상기 수학식 5는 다음 수학식 6과 같이 최적화될 수 있다.
Figure 112008017366487-PAT00006
한편, 4:2:2 포맷의 짝수 필드에서 4:2:0 포맷의 짝수 필드 색차성분 대비 3/8 픽셀 위치의 보간의 예는 도 12에 있어서 과정 (2)로 표기되며 다음 수학식 7에 의해 수행된다.
Figure 112008017366487-PAT00007
상기 수학식 7은 다음 수학식 8과 같이 최적화될 수 있다.
Figure 112008017366487-PAT00008
도 13은 비월주사로 캡춰된 4:2:0 포맷의 홀수 필드 영상을 비월주사로 캡춰된 4:2:2 포맷의 홀수 필드 영상으로 색차성분을 보간하는 과정을 설명하는 도면이다.
4:2:2 포맷의 홀수 필드에서 4:2:0 포맷의 홀수 필드 색차성분 대비 -3/8 픽셀 위치의 보간의 예는 도 13에 있어서 과정 (1)로 표기되며 다음 수학식 9에 의해 수행된다.
Figure 112008017366487-PAT00009
상기 수학식 9는 다음 수학식 10과 같이 최적화될 수 있다.
Figure 112008017366487-PAT00010
한편, 4:2:2 포맷의 홀수 필드에서 4:2:0 포맷의 홀수 필드 색차성분 대비 1/8 픽셀 위치의 보간의 예는 도 13에 있어서 과정 (2)로 표기되며 다음 수학식 11에 의해 수행된다.
Figure 112008017366487-PAT00011
상기 수학식 11은 다음 수학식 12과 같이 최적화될 수 있다.
Figure 112008017366487-PAT00012
도 14는 비월주사로 캡춰된 4:2:0 포맷의 프레임 영상을 구성하는 짝수 필드 및 홀수 필드 영상을 모두 이용하여 비월주사로 캡춰된 4:2:2 포맷의 짝수 필드와 홀수 필드 영상의 색차성분으로 각각 보간하는 과정을 설명하는 도면이다.
4:2:2 포맷의 짝수 필드의 픽셀 보간의 예는 도 14에 있어서 과정 (1)로 표기되며 다음 수학식 13에 의해 수행된다.
Figure 112008017366487-PAT00013
상기 수학식 13은 다음 수학식 14와 같이 최적화될 수 있다.
Figure 112008017366487-PAT00014
한편, 4:2:2 포맷의 홀수 필드의 픽셀 보간의 예는 도 14에 있어서 과정 (2)로 표기되며 다음 수학식 15에 의해 수행된다.
Figure 112008017366487-PAT00015
상기 수학식 15는 다음 수학식 16과 같이 최적화될 수 있다.
Figure 112008017366487-PAT00016
도 15는 비월주사로 캡춰된 4:2:0 포맷의 필드 영상을 구성하는 짝수 필드 및 홀수 필드 영상을 모두 이용하여 비월주사로 캡춰된 4:2:2 포맷의 짝수 필드의 색차성분을 보간하는 과정을 설명하는 도면이다. 이를 위하여, 우선 필드 영상을 프레임 구조로 디인터레이스(De-Interlacing) 필터링을 수행하고, 프레임 구조에서 다시 짝수 필드로 보간하는 구조를 갖는다.
우선, 필드 영상을 프레임 구조로 디인터레이스 필터링하는 예는 도 15에 있어서 과정 (1)로 표기되며 다음 수학식 17에 의해 수행된다.
Figure 112008017366487-PAT00017
상기 수학식 17은 다음 수학식 18과 같이 최적화될 수 있다.
Figure 112008017366487-PAT00018
프레임 구조로 복원된 영상의 짝수 위치의 픽셀을 이용하여 짝수 픽셀 대비 -1/4 픽셀 위치의 짝수 필드로 보간하는 것은, 도 15에 있어서 과정 (2)로 표기되 며 다음 수학식 19로 나타낼 수 있다.
Figure 112008017366487-PAT00019
상기 수학식 19는 다음 수학식 20과 같이 최적화될 수 있다.
Figure 112008017366487-PAT00020
도 16은 비월주사로 캡춰된 4:2:0 포맷의 프레임 영상을 구성하는 짝수 필드 및 홀수 필드 영상을 모두 이용하여 비월주사로 캡춰된 4:2:2 포맷의 홀수 필드의 색차성분을 보간하는 과정을 설명하는 도면이다. 이를 위하여 우선 필드 영상을 프레임 구조로 디인터레이스 필터링을 수행하고 프레임 구조에서 다시 홀수 필드로 보간하는 구조를 갖는다.
필드 영상을 프레임 구조로 디인터레이스 필터링하는 예는 도 16에 있어서 과정 (1)로 표기되며 다음 수학식 21에 의해 수행된다.
Figure 112008017366487-PAT00021
상기 수학식 21은 다음 수학식 22와 같이 최적화될 수 있다.
Figure 112008017366487-PAT00022
프레임 구조로 복원된 영상의 홀수 위치의 픽셀을 이용하여 홀수 픽셀 대비 1/4 픽셀위치의 홀수 필드로 보간하는 것은, 도 16에 있어서 과정 (2)로 표기되며 다음 수학식 23으로 나타낼 수 있다.
Figure 112008017366487-PAT00023
상기 수학식 23은 다음 수학식 24와 같이 최적화될 수 있다.
Figure 112008017366487-PAT00024
한편, 상술한 본 발명의 실시예들에서는 색차성분에 대하여 동일한 보간모드를 적용하였으나, Cr 과 Cb 에 대하여 서로 다른 보간모드를 적용하는 것도 가능하다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통 하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 스케일러블 영상 부호화장치의 구성을 나타내는 블럭도이다.
도 2는 도 1에 있어서, 제2 부호화부의 일실시예에 따른 구성을 나타내는 블럭도이다.
도 3은 도 1에 있어서, 제2 부호화부의 다른 실시예에 따른 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 스케일러블 영상 복호화장치의 구성을 나타내는 블럭도이다.
도 5는 도 4에 있어서 제2 복호화부의 일실시예에 따른 구성을 나타내는 블럭도이다.
도 6은 도 4에 있어서 제2 복호화부의 다른 실시예에 따른 구성을 나타내는 블럭도이다.
도 7은 4:2:0 포맷을 갖는 프레임 영상의 픽셀 구조를 나타낸 도면이다.
도 8은 4:2:0 포맷을 갖는 필드 영상의 픽셀 구조를 나타낸 도면이다.
도 9는 4:2:2 포맷을 갖는 프레임 영상의 픽셀 구조를 나타낸 도면이다.
도 10은 4:2:2 포맷을 갖는 프레임 영상의 픽셀 구조를 나타낸 도면이다.
도 11은 순차주사로 캡춰된 4:2:0 포맷의 프레임 영상을 순차주사로 캡춰된 4:2:2 포맷의 프레임 영상으로 색차성분을 보간하는 과정을 설명하는 도면이다.
도 12는 비월주사로 캡춰된 4:2:0 포맷의 짝수 필드 영상을 비월주사로 캡춰 된 4:2:2 포맷의 짝수 필드 영상으로 색차성분을 보간하는 과정을 설명하는 도면이다.
도 13은 비월주사로 캡춰된 4:2:0 포맷의 홀수 필드 영상을 비월주사로 캡춰된 4:2:2 포맷의 홀수 필드 영상으로 색차성분을 보간하는 과정을 설명하는 도면이다.
도 14는 비월주사로 캡춰된 4:2:0 포맷의 프레임 영상을 구성하는 짝수 필드 및 홀수 필드 영상을 모두 이용하여 비월주사로 캡춰된 4:2:2 포맷의 짝수 필드와 홀수 필드 영상의 색차성분으로 각각 보간하는 과정을 설명하는 도면이다.
도 15는 비월주사로 캡춰된 4:2:0 포맷의 필드 영상을 구성하는 짝수 필드 및 홀수 필드 영상을 모두 이용하여 비월주사로 캡춰된 4:2:2 포맷의 짝수 필드의 색차성분을 보간하는 과정을 설명하는 도면이다.
도 16은 비월주사로 캡춰된 4:2:0 포맷의 프레임 영상을 구성하는 짝수 필드 및 홀수 필드 영상을 모두 이용하여 비월주사로 캡춰된 4:2:2 포맷의 홀수 필드의 색차성분을 보간하는 과정을 설명하는 도면이다.

Claims (22)

  1. 제1 해상도의 현재영상을 제2 해상도로 부호화하여 제2 해상도의 복원영상을 생성하기 위한 기본계층 비트스트림을 생성하는 제1 부호화부; 및
    상기 제1 부호화부로부터 제공되는 상기 제2 해상도의 복원영상을 보간모드 신호에 대응하여 제1 해상도의 복원영상으로 재구성하고, 상기 제1 해상도의 복원영상을 이용하여 상기 제1 해상도의 현재영상을 부호화하여, 제1 해상도 혹은 제3 해상도의 복원영상을 생성하기 위한 추가적인 정보를 포함하는 상위계층 비트스트림을 생성하는 제2 부호화부를 포함하는 스케일러블 영상 부호화장치.
  2. 제1 항에 있어서, 상기 보간모드 신호는 상기 현재영상의 주사방식에 대응하는 상기 현재영상의 픽쳐 타입 및 상위계층에서의 복원영상의 픽쳐 타입 중 적어도 하나를 고려하여 결정되는 스케일러블 영상 부호화장치.
  3. 제1 항에 있어서, 상기 제2 부호화부는
    상기 보간모드 신호에 대응하여 상기 제2 해상도의 복원영상의 색차성분을 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도의 복원영상을 생성하는 해상도 조정부;
    상기 제1 해상도의 현재영상으로부터 상기 제1 해상도의 복원영상을 감산하여 상기 제1 해상도의 레지듀 데이터를 구하는 감산부;
    상기 제1 해상도의 레지듀 데이터를 클리핑하여 제3 해상도의 레지듀 데이터를 생성하는 클리핑부;
    상기 제3 해상도의 레지듀 데이터에 대하여 예측 부호화를 수행하는 예측 부호화부; 및
    상기 부호화된 제3 해상도의 레지듀 데이터와 상기 보간모드 신호를 포함하여 상위계층 비트스트림을 생성하는 비트스트림 구성부로 이루어지는 스케일러블 영상 부호화장치.
  4. 제1 항에 있어서, 상기 제2 부호화부는
    상기 보간모드 신호에 대응하여 상기 제2 해상도의 복원영상의 색차성분을 보간하여 제1 해상도의 복원영상을 생성하는 해상도 조정부;
    상기 제1 해상도의 현재영상으로부터 상기 제1 해상도의 복원영상을 감산하여 상기 제1 해상도의 레지듀 데이터를 구하는 감산부;
    상기 제1 해상도의 레지듀 데이터에 대하여 예측 부호화를 수행하는 예측 부호화부; 및
    상기 부호화된 제1 해상도의 레지듀 데이터와 상기 보간모드 신호를 포함하여 상위계층 비트스트림을 생성하는 비트스트림 구성부로 이루어지는 스케일러블 영상 부호화장치.
  5. 제1 해상도의 현재영상을 제2 해상도로 부호화한 후 다시 복호화하여 얻어지 는 제2 해상도의 복원영상의 색차성분을 보간모드 신호에 대응하여 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도의 복원영상을 생성하는 해상도 조정부;
    상기 제1 해상도의 현재영상으로부터 상기 제1 해상도의 복원영상을 감산하여 상기 제1 해상도의 레지듀 데이터를 구하는 감산부;
    상기 제1 해상도의 레지듀 데이터를 클리핑하여 제3 해상도의 레지듀 데이터를 생성하는 클리핑부;
    상기 제3 해상도의 레지듀 데이터에 대하여 예측 부호화를 수행하는 예측 부호화부; 및
    상기 부호화된 제3 해상도의 레지듀 데이터와 상기 보간모드 신호를 포함하여 상위계층 비트스트림을 생성하는 비트스트림 구성부로 이루어지는 상위계층 부호화장치.
  6. 제5 항에 있어서, 상기 보간모드 신호는 상기 현재영상의 주사방식에 대응하는 상기 현재영상의 픽쳐 타입 및 상위계층에서의 복원영상의 픽쳐 타입 중 적어도 하나를 고려하여 결정되는 상위계층 부호화장치.
  7. 제5 항에 있어서, 상기 현재영상이 순차 주사방식인 경우, 프레임 보간모드 신호에 근거하여 상기 제2 해상도의 복원영상을 상기 제1 해상도의 복원영상으로 재구성하는 상위계층 부호화장치.
  8. 제5 항에 있어서, 상기 현재영상이 비월 주사방식인 경우, 프레임 혹은 필드 단위의 보간모드 신호에 근거하여 상기 제2 해상도의 복원영상을 상기 제1 해상도의 복원영상으로 재구성하는 상위계층 부호화장치.
  9. 제5 항에 있어서, 상기 현재영상이 순차 주사방식이고, 상기 보간모드 신호가 프레임 단위의 보간모드를 나타내는 경우, 프레임 단위의 상기 제2 해상도의 복원영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 프레임 단위의 상기 제1 해상도의 복원영상을 생성하는 상위계층 부호화장치.
  10. 제5 항에 있어서, 상기 현재영상이 비월 주사방식이고, 상기 보간모드 신호가 비월주사 방식의 보간모드를 나타내는 경우, 프레임 단위의 상기 제2 해상도의 복원영상으로부터 얻어지는 짝수 필드 영상 및 홀수 필드 영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 프레임 단위의 상기 제1 해상도의 복원영상을 생성하는 상위계층 부호화장치.
  11. 제5 항에 있어서, 상기 현재영상이 비월 주사방식이고, 상기 보간모드 신호가 비월주사 방식의 보간모드를 나타내는 경우, 짝수 필드인 상기 제2 해상도의 복원영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 짝수 필드의 상기 제1 해상도의 복원영상을 생성하고, 홀수 필드인 상기 제2 해상도의 복원영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 짝수 필드의 상기 제1 해상도의 복원영상을 생성하는 상위계층 부호화장치.
  12. 제1 해상도의 현재영상의 부호화결과 생성된 스케일러블 비트스트림의 기본계층 비트스트림을 복호화하여, 제2 해상도의 복원영상을 생성하는 제1 복호화부; 및
    상기 제2 해상도의 복원영상을 상기 스케일러블 비트스트림의 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여 제1 해상도의 중간 복원영상으로 재구성하고, 상기 상위계층 비트스트림을 상기 제1 해상도의 중간 복원영상을 이용하여 복호화하여 제1 해상도의 최종 복원영상을 생성하는 제2 복호화부를 포함하는 스케일러블 영상 복호화장치.
  13. 제12 항에 있어서, 상기 보간모드 신호는 상기 현재영상의 주사방식에 대응하는 상기 현재영상의 픽쳐 타입 및 상위계층에서의 복원영상의 픽쳐 타입 중 적어도 하나를 고려하여 결정되는 스케일러블 영상 복호화장치.
  14. 제12 항에 있어서, 상기 제2 복호화부는
    상기 보간모드 신호에 대응하여 상기 제2 해상도의 복원영상의 색차성분을 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도의 중간 복원영상을 생성하는 해상도 조정부;
    상기 상위계층 비트스트림에 대하여 예측 복호화를 수행하여 제3 해상도의 레지듀 데이터를 복원하는 예측 복호화부;
    상기 제3 해상도의 레지듀 데이터의 비트깊이를 확장하여 제1 해상도의 레지듀 데이터를 생성하는 톤 매핑부; 및
    상기 제1 해상도의 중간 복원영상과 상기 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부로 이루어지는 스케일러블 영상 복호화장치.
  15. 제12 항에 있어서, 상기 제2 복호화부는
    상기 보간모드 신호에 대응하여 상기 제2 해상도의 복원영상의 색차성분을 보간하여 제1 해상도의 중간 복원영상을 생성하는 해상도 조정부;
    상기 상위계층 비트스트림에 대하여 예측 복호화를 수행하여 제1 해상도의 레지듀 데이터를 복원하는 예측 복호화부; 및
    상기 제1 해상도의 중간 복원영상과 상기 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부로 이루어지는 스케일러블 영상 복호화장치.
  16. 제1 해상도의 현재영상을 부호화하여 얻어지는 스케일러블 비트스트림의 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여, 상기 스케일러블 비트스트림의 기본계층 비트스트림의 복호화결과 얻어지는 제2 해상도의 복원영상의 색차성 분을 보간하는 동시에 휘도 및 색차성분의 비트깊이를 확장하여 제1 해상도의 중간 복원영상을 생성하는 해상도 조정부;
    상기 상위계층 비트스트림에 대하여 예측 복호화를 수행하여 제3 해상도의 레지듀 데이터를 복원하는 예측 복호화부;
    상기 제3 해상도의 레지듀 데이터의 비트깊이를 확장하여 제1 해상도의 레지듀 데이터를 생성하는 톤 매핑부; 및
    상기 제1 해상도의 중간 복원영상과 상기 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부로 이루어지는 상위계층 복호화장치.
  17. 제16 항에 있어서, 상기 현재영상이 순차 주사방식인 경우, 프레임 단위의 보간모드 신호에 근거하여 상기 제2 해상도의 복원영상을 상기 제1 해상도의 복원영상으로 재구성하는 상위계층 복호화장치.
  18. 제16 항에 있어서, 상기 현재영상이 비월 주사방식인 경우, 프레임 혹은 필드 단위의 보간모드 신호에 근거하여 상기 제2 해상도의 복원영상을 상기 제1 해상도의 복원영상으로 재구성하는 상위계층 복호화장치.
  19. 제16 항에 있어서, 상기 현재영상이 순차 주사방식이고, 상기 보간모드 신호가 프레임 단위의 보간모드를 나타내는 경우, 프레임 단위의 상기 제2 해상도의 복 원영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 프레임 단위의 상기 제1 해상도의 복원영상을 생성하는 상위계층 복호화장치.
  20. 제16 항에 있어서, 상기 현재영상이 비월 주사방식이고, 상기 보간모드 신호가 프레임 단위의 보간모드를 나타내는 경우, 프레임 단위의 상기 제2 해상도의 복원영상으로부터 얻어지는 짝수 필드 영상 및 홀수 필드 영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 프레임 단위의 상기 제1 해상도의 복원영상을 생성하는 상위계층 복호화장치.
  21. 제16 항에 있어서, 상기 현재영상이 비월 주사방식이고, 상기 보간모드 신호가 필드 단위의 보간모드를 나타내는 경우, 짝수 필드인 상기 제2 해상도의 복원영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 짝수 필드의 상기 제1 해상도의 복원영상을 생성하고, 홀수 필드인 상기 제2 해상도의 복원영상에서 보간하고자 하는 픽셀 위치에 가까운 복수개의 픽셀값을 이용하여 짝수 필드의 상기 제1 해상도의 복원영상을 생성하는 상위계층 복호화장치.
  22. 제1 해상도의 현재영상을 부호화하여 얻어지는 스케일러블 비트스트림의 상위계층 비트스트림에 포함된 보간모드 신호에 대응하여, 상기 스케일러블 비트스트림의 기본계층 비트스트림의 복호화결과 얻어지는 제2 해상도의 복원영상의 색차성분을 보간하여 제1 해상도의 중간 복원영상을 생성하는 해상도 조정부;
    상기 상위계층 비트스트림에 대하여 예측 복호화를 수행하여 제1 해상도의 레지듀 데이터를 복원하는 예측 복호화부; 및
    상기 제1 해상도의 중간 복원영상과 상기 제1 해상도의 레지듀 데이터를 가산하여 제1 해상도의 최종 복원영상을 생성하는 가산부로 이루어지는 상위계층 복호화장치.
KR1020080022157A 2008-03-10 2008-03-10 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치 KR20090097015A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080022157A KR20090097015A (ko) 2008-03-10 2008-03-10 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
US12/289,213 US8194733B2 (en) 2008-03-10 2008-10-22 Video encoding apparatus, video decoding apparatus, and method
PCT/KR2009/001176 WO2009113790A2 (ko) 2008-03-10 2009-03-10 스케일러블 영상 부호화장치 및 스케일러블 영상 복호화장치
EP09720083.6A EP2265024A4 (en) 2008-03-10 2009-03-10 DEVICE FOR SCALABLE BILDCODING AND DEVICE FOR SCALABLE IMAGE DECODING
US13/463,285 US8718132B2 (en) 2008-03-10 2012-05-03 Video encoding apparatus, video decoding apparatus, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080022157A KR20090097015A (ko) 2008-03-10 2008-03-10 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치

Publications (1)

Publication Number Publication Date
KR20090097015A true KR20090097015A (ko) 2009-09-15

Family

ID=41053555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080022157A KR20090097015A (ko) 2008-03-10 2008-03-10 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치

Country Status (4)

Country Link
US (2) US8194733B2 (ko)
EP (1) EP2265024A4 (ko)
KR (1) KR20090097015A (ko)
WO (1) WO2009113790A2 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2193661A4 (en) * 2007-06-27 2011-10-19 Thomson Licensing METHOD AND APPARATUS FOR ENCODING AND / OR DECODING VIDEO DATA USING RESIDUAL PREDICTION OF IMPROVING LAYER FOR SCALABILITY OF BINARY DEPTH
KR102285286B1 (ko) * 2009-02-06 2021-08-03 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 구동 방법
US8391370B1 (en) * 2009-03-11 2013-03-05 Hewlett-Packard Development Company, L.P. Decoding video data
US8611414B2 (en) * 2010-02-17 2013-12-17 University-Industry Cooperation Group Of Kyung Hee University Video signal processing and encoding
WO2011127964A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
US9894314B2 (en) 2010-06-15 2018-02-13 Dolby Laboratories Licensing Corporation Encoding, distributing and displaying video data containing customized video content versions
JP5539592B2 (ja) * 2010-09-14 2014-07-02 サムスン エレクトロニクス カンパニー リミテッド 多階層画像符号化及び復号装置及び方法
KR20120058700A (ko) 2010-11-27 2012-06-08 전자부품연구원 디지털 방송의 전송 모드 제공 및 인지 방법
KR20120058702A (ko) * 2010-11-27 2012-06-08 전자부품연구원 디지털 방송에서 서비스 호환 방식 전송 방법
US9049445B2 (en) 2012-01-04 2015-06-02 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
EP2803190B1 (en) * 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
EP2894854A4 (en) * 2012-09-09 2016-01-27 Lg Electronics Inc IMAGE DECODING METHOD AND APPARATUS USING THE SAME
CN104782135B (zh) * 2012-11-12 2018-02-16 Lg电子株式会社 用于收发信号的设备和用于收发信号的方法
WO2014186542A1 (en) * 2013-05-15 2014-11-20 Vid Scale, Inc. Single loop decoding based inter layer prediction
CN109920013B (zh) * 2019-01-30 2020-11-10 北京交通大学 基于渐进式卷积测量网络的图像重构方法及装置
CN115914648A (zh) * 2021-09-30 2023-04-04 华为技术有限公司 视频图像的处理方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
KR100353851B1 (ko) * 2000-07-07 2002-09-28 한국전자통신연구원 파문 스캔 장치 및 그 방법과 그를 이용한 영상코딩/디코딩 장치 및 그 방법
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
US7912124B2 (en) * 2001-06-11 2011-03-22 Thomson Licensing Motion compensation for fine-grain scalable video
US7397858B2 (en) * 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
EP1700482A1 (en) * 2003-12-22 2006-09-13 Koninklijke Philips Electronics N.V. Compatible interlaced sdtv and progressive hdtv
FR2867328A1 (fr) * 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8331433B2 (en) * 2006-08-31 2012-12-11 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method
KR101365597B1 (ko) * 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법

Also Published As

Publication number Publication date
WO2009113790A3 (ko) 2009-11-05
WO2009113790A2 (ko) 2009-09-17
EP2265024A2 (en) 2010-12-22
EP2265024A4 (en) 2015-12-09
US8718132B2 (en) 2014-05-06
US20120219061A1 (en) 2012-08-30
US20090225869A1 (en) 2009-09-10
US8194733B2 (en) 2012-06-05

Similar Documents

Publication Publication Date Title
KR20090097015A (ko) 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
KR102118718B1 (ko) 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법
RU2479939C2 (ru) Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления
KR100964526B1 (ko) 전환 효과를 위한 멀티미디어 코딩 기술
JP5174581B2 (ja) 順方向予測インターレース映像フレームのフィールド用の動きベクトルの予測
TWI324481B (en) Method and apparatus for encoding/decoding video signal using reference pictures
US8107531B2 (en) Signaling and repeat padding for skip frames
TWI611698B (zh) 影像編碼裝置及影像解碼裝置
TWI521948B (zh) Image processing apparatus, decoding method, intra-frame decoding apparatus, intra-frame decoding method, and intra-frame coding apparatus
KR101442608B1 (ko) 영상을 효율적으로 부호화/복호화하는 방법 및 장치
JP2008141787A (ja) 改良型符号化モード選択の方法および装置
KR19980087538A (ko) 예측엔코딩을 위해 기준프레임으로 기능을 하는 프레임을 점진적으로 주사히기 위해 주기적으로 선택된 필드를 변환함으로써 엔코딩의 고효율을 제공하는 비월 비디오신호 엔코딩 및 디코딩방법 및 이 방법을 이용한 엔코딩장치 및 디코딩장치
KR101686958B1 (ko) 계층적 영상 부호화에서의 공간 예측 방법 및 장치
JP2014171097A (ja) 符号化装置、符号化方法、復号装置、および、復号方法
KR101423655B1 (ko) 필드 픽쳐 부호화/복호화 장치 및 그 방법
JP6484097B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
KR101690253B1 (ko) 영상 처리 장치 및 그 방법
US7447264B2 (en) Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
KR100999818B1 (ko) 프레임 분류를 사용한 스케러블 부호화기, 복호화기 및 그 방법
KR101445791B1 (ko) 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
US20140205018A1 (en) Image processing apparatus, image encoding apparatus, and image processing method
JP4127182B2 (ja) 動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラム
JP5248583B2 (ja) 動画像復号装置及び動画像復号方法
JP6635197B2 (ja) 映像符号化装置、映像符号化方法およびプログラム
JP5136546B2 (ja) 動画像ストリーム加工装置及び該装置を備えた動画像再生装置並びに方法とプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application