KR20120028843A - 계층적 영상 부호화/복호화 방법 및 장치 - Google Patents

계층적 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20120028843A
KR20120028843A KR1020110092701A KR20110092701A KR20120028843A KR 20120028843 A KR20120028843 A KR 20120028843A KR 1020110092701 A KR1020110092701 A KR 1020110092701A KR 20110092701 A KR20110092701 A KR 20110092701A KR 20120028843 A KR20120028843 A KR 20120028843A
Authority
KR
South Korea
Prior art keywords
image
residual
layer
quality layer
quality
Prior art date
Application number
KR1020110092701A
Other languages
English (en)
Inventor
최웅일
박민우
김대희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120028843A publication Critical patent/KR20120028843A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 복호화하는 방법에 있어서, 입력되는 향상 계층 비트스트림을 상기 화질 계층의 순서에 대응되는 하나 이상의 비트스트림으로 역다중화하는 과정과, 상기 비트스트림을 화질계층별로 복호화하여 잔차 영상을 복원하고 상기 복원된 잔차 영상을 프레임 버퍼에 저장하는 과정과, 상기 복원된 잔차 영상에, 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종 복원된 잔차 영상을 출력하는 과정을 포함한다.

Description

계층적 영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS OF LAYERED ENCODING/DECODING A PICTURE}
본 발명은 계층적 영상 부호화 및 복호화 기술에 대한 것으로서, 특히 동영상 등을 처리하는 영상 압축 코덱에서 잔차 영상을 이용하여 화질을 개선하는 계층적 영상 부호화/복호화 장치 및 방법에 대한 것이다.
일반적으로 동영상 압축 기술에서 영상은 M×N 픽셀 블록 크기의 매크로 블록(macro block) 단위로 처리된다. 동영상 처리 시 매크로 블록은 인트라 모드(Intra mode) 또는 인터 모드(Inter mode) 중에서 하나의 모드로 부호화/복호화된다. 상기 매크로 블록이란 소정 크기로 설정된 픽셀 블록들의 집합으로서, 하나의 프레임은 복수의 매크로 블록들로 구성된다. 상기 매크로 블록을 이용하는 대표적인 영상 압축기술로는 MPEG, H.26x 등의 압축 표준이 있다.
동영상 압축의 기본적인 개념은 원본 영상 데이터에서 공간적, 시간적으로 중복되는 데이터를 제거하는 것이다. 상기 인트라 모드는 공간적인 중복성을 제거하는 방식, 즉 현재 프레임에서 소정 크기의 매크로 블록 내에 있는 픽셀들 간의 중복성을 제거하는 방식이다. 상기 인터 모드는 시간적인 중복성을 제거하는 방식, 즉 인접한 두 프레임 내의 대응하는 매크로 블록 간의 움직임 추정(motion estimation)을 통하여, 현재 프레임과 이전의 또는 미래의 참조 프레임간에 매크로 블록의 차이를 추정하는 방식이다. 상기 움직임 추정은 현재 프레임에서 부호화하려는 매크로 블록과 유사한 참조 프레임의 매크로 블록을 탐색하여 찾는 과정이며, 영상 부호화 시 상기 움직임 추정을 통해 찾아진 참조 프레임의 매크로 블록을 이용하여 움직임 보상(Motion Compensation)을 수행한다. 영상 부호화기는 찾아진 참조 프레임의 매크로 블록과 현재 프레임의 매크로 블록간의 차를 참조 프레임의 위치를 나타내는 움직임 벡터와 함께 엔트로피 부호화하여 전송한다.
한편, 종래 기술에서는 잔차 부호화기/복호화기에서 움직임 보상을 수행할 때 잔차 부호화기/복호화기로 입력되는 잔차 영상을 구성하는 복수의 화질 계층(quality layer)에 대해 복수개의 잔차 차분 영상을 구하고, 각각의 잔차 차분 영상에 대해 움직임 보상을 수행하였다. 이에 따라 잔차 부호화기/복호화기의 복잡도가 증가하고 부호화/복호화에도 많은 시간이 요구된다.
본 발명이 해결하고자 하는 과제는 구조로 영상을 처리하는 영상 처리 기술에서 영상을 부호화할 때, 특히 잔차 부호화 시 복잡도를 줄이면서 화질을 개선하는 방법 및 장치를 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는 구조로 영상을 처리하는 영상 처리 기술에서 영상을 복호화할 때, 특히 잔차 복호화 시 복잡도를 줄이면서 화질을 개선하는 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따른 부호화 방법은, 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의 영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 부호화하는 방법에 있어서, 상기 잔차 영상을 동일한 향상 계층 내 참조 프레임에서 움직임 보상된 영상과 결합하고, 상기 화질 계층별로 부호화하여 화질계층별 비트스트림을 생성하는 과정과, 상기 화질계층별 부호화 과정에서 생성된 잔차 차분 영상들을 각각 프레임 버퍼에 저장하는 과정과, 상기 프레임 버퍼에 저장된 영상들을 선택적으로 사용하여 움직임 보상하여 움직임 보상된 영상을 출력하는 과정과, 상기 화질계층별 비트스트림들을 다중화하여 하나의 향상 계층 비트스트림을 출력하는 과정을 포함한다.
또한 본 발명의 실시예에 따른 부호화 장치는, 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의 영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 부호화하는 장치에 있어서, 상기 잔차 영상을 동일한 향상 계층 내 참조 프레임에서 움직임 보상된 영상과 결합하고, 상기 화질 계층별로 부호화하여 화질계층별 비트스트림과 잔차 차분 영상을 생성하는 화질계층 부호화부와, 상기 화질계층 부호화부에서 생성된 잔차 차분 영상들을 각각 저장하는 프레임 버퍼와, 상기 프레임 버퍼에 저장된 영상들을 선택적으로 사용하여 움직임 보상하여 움직임 보상된 영상을 출력하는 움직임 보상부와, 상기 화질계층별 비트스트림들을 다중화하여 하나의 향상 계층 비트스트림을 출력하는 다중화부를 포함한다.
또한 본 발명의 실시예에 따른 복호화 방법은, 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의 영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 복호화하는 방법에 있어서, 입력되는 향상 계층 비트스트림을 상기 화질 계층의 순서에 대응되는 하나 이상의 비트스트림으로 역다중화하는 과정과, 상기 비트스트림을 화질계층별로 복호화하여 잔차 영상을 복원하는 과정과, 상기 복원된 잔차 영상에, 동일한 향상 계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종 복원된 잔차 영상을 출력하는 과정을 포함한다.
또한 본 발명의 실시예에 따른 복호화 장치는, 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의 영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 복호화하는 장치에 있어서, 입력되는 향상 계층 비트스트림을 상기 화질 계층의 순서에 대응되는 하나 이상의 비트스트림으로 역다중화하는 역다중화부와, 상기 비트스트림을 화질계층별로 복호화하여 잔차 영상을 복원하는 화질계층 복호화부와, 상기 화질계층 복호화부에서 복원된 잔차 영상을 저장하는 프레임 버퍼와, 상기 복원된 잔차 영상에, 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종 복원된 잔차 영상을 출력하는 움직임 보상부를 포함한다.
또한 본 발명의 실시예에 따른 잔차 부호화 장치는, 적어도 하나의 최상위 화질 계층 부호화기와 최하위 화질 계층 부호화기를 포함하는 복수의 연속된 화질 계층 부호화기와, 움직임 보상된 영상을 출력하는 선택적 움직임 보상기를 포함하며, 상기 최상위 화질 계층 부호화기는, 잔차 영상과 상기 움직임 보상된 영상간의 차이에 기초한 제1 잔차 차분 영상을 생성하여 상기 선택적 움직임 보상기와 상기 복수개의 연속된 화질 계층 부호화기 중 하위 화질 계층 부호화기로 출력하고, 상기 복수개의 연속된 화질 계층 부호화기 중 다음 화질 계층 부호화기 각각은 상기 잔차 영상과 상기 복수개의 연속된 화질 계층 부호화기들 중 바로 다음에 연결된 화질 계층 부호화기로부터 출력되는 영상간의 차이값에 기초하여 각각의 잔차 차분 영상을 생성하여 상기 선택적 움직임 보상부와 상기 복수개의 연속된 화질 계층 부호화기 중 또 다른 하위 화질 계층 부호화기로 출력하며, 상기 최하위 화질 계층 부호화기는 차분 영상과 상기 복수개의 연속된 화질 계층 부호화기들 중 바로 다음에 연결된 하위 화질 계층 부호화기로부터 출력된 잔차 차분 영상간의 차이값에 기초한 최하위 잔차 차분 영상을 생성하여 상기 선택적 움직임 보상기로 출력한다.
본 발명에 따르면 복수 개의 잔차 차분 영상에 대해 한번만 움직임 보상을 수행하게 되므로 낮은 복잡도의 잔차 부호화기/복호화기를 제공할 수 있다.
또한 본 발명에 따르면 원 영상에 추이(drift)가 생기는 것이 아니라 잔차 영상에 추이가 생기므로 추이에 따른 화질 열화가 더 적기 때문에 보다 효과적으로 스케일러블 부호화를 제공할 수 있다.
도 1은 계층적 영상 부호화기의 일 구성 예를 나타낸 도면
도 2는 계층적 영상 복호화기의 일 구성 예를 나타낸 도면
도 3은 본 발명의 실시예에 따른 잔차 부호화기의 구성을 도시한 도면
도 4는 본 발명의 실시예에 따른 화질계층 부호화부의 구성을 도시한 도면
도 5는 본 발명의 실시예에 따른 선택적 움직임 보상부의 구성을 도시한 도면
도 6은 본 발명의 다른 실시예에 따른 잔차 부호화기의 구성을 도시한 도면
도 7은 본 발명의 실시예에 따른 복호화기에서 잔차 복호화기의 구성을 도시한 도면
도 8은 본 발명의 다른 실시예에 따른 복호화기에서 잔차 복호화기의 구성을 도시한 도면
도 9는 본 발명의 실시예에 따른 잔차 부호화 과정을 도시한 순서도
도 10은 본 발명의 실시예에 따른 잔차 복호화 과정을 도시한 순서도
하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하기로 한다.
본 발명은 계층적 영상 부호화/복호화 과정에서 향상계층(Enhanced Layer) 비트열/영상을 구성하는 복수 개의 화질 계층(Quality Layer)에 대해 잔차 부호화/복호화를 하는 방법 및 장치를 제공한다.
먼저 본 발명에서 사용되는 용어를 간략히 정의하면 다음과 같다.
화질 개선(quality refinement): 개선 데이터(refinement data)를 이용하여 재구성된 잔차 샘플의 화질을 개선하기 위한 과정
화질 계층(quality layer): 화질 개선(quality refinement) 과정에서 사용되는 하나 이상의 계층들
화질 기본 계층(quality base layer): 하나의 영상 내에 있는 복수 개의 화질 계층 중에서 재구성된 영상 가운데 가장 낮은 화질을 나타내는 계층
화질 향상 계층(quality enhancement layer): 하나의 영상 내에 있는 복수 개의 화질 계층 중에서 재구성된 영상의 높은 화질을 나타내는 계층
다음, 일반적인 계층적 영상 부호화/복호화 장치에 대해 설명한다.
도 1은 계층적 영상 부호화기의 일 구성 예를 나타낸 것이다.
도 1의 영상 부호화기는 기본 계층과 향상 계층을 포함하는 계층 구조로 구성되어 입력 영상을 부호화하여 기본 계층 비트열(basement layer bitstream)과, 향상 계층 비트열(enhancement layer bitstream)을 출력한다. 상기 기본 계층의 영상과 상기 향상 계층의 영상은 서로 다른 해상도, 영상 사이즈, 또는 시점(view point)을 갖는 영상이 될 수 있다.
도 1의 실시 예에서 입력 영상과 향상 계층에서 처리되는 영상은 고해상도, 큰 사이즈 또는 일 시점의 영상이고, 기본 계층에서 처리되는 영상은 저해상도, 작은 사이즈 또는 다른 시점의 영상임을 가정한다. 도 1에서 포맷 하향 변환기(format down-conversion)(101)는 입력 영상을 기본 계층의 영상 포맷으로 하향 변환, 예컨대 입력된 영상의 크기 혹은 프레임율이나 입체 영상의 경우 시점 등에 있어서 하향 변환한다. 기본 계층 부호화기(103)는 입력된 기본 계층의 영상을 예컨대, VC-1, H.264, MPEG-4 Part 2 Visual, MPEG-2 Part 2 Video, AVS, JPEG2000 등과 같은 기존 영상 코덱 중 임의의 영상 코덱을 이용하여 기존 방식에 따라 부호화한 기본 계층 비트열로 출력한다. 또한 상기 기본 계층 부호화기(103)는 상기 기본 계층 영상의 부호화 과정에서 재구성된 기본 계층 영상을 포맷 상향 변환기(105)로 출력한다.
도 1에서 포맷 상향 변환기(format up-conversion)(105)는 예컨대 입력된 영상의 크기 혹은 프레임율이나 시점 등에 있어서 상향 변환하는 것으로 구성되며 상기 포맷 하향 변환기에 역과정을 수행한다고 볼 수 있다. 상기 포맷 상향 변환기는 상기 재구성된 기본 계층 영상을 향상 계층의 영상 포맷으로 상향 변환하여 출력한다. 그리고 상기 포맷 하향 변환기(101)로 입력되는 입력 영상은 감산기(107)로도 입력된다. 상기 감산기(107)는 입력 영상에서 상기 포맷 상향 변환된 영상을 감산한 잔차 데이터를 출력하며, 잔차 맵핑/스케일링부(109)는 상기 잔차 데이터를 입력받아 잔차 영상으로 변환하고, 잔차 부호화기(111)는 입력된 잔차 영상을 잔차 부호화하여 향상 계층 비트열로 출력한다.
본 발명에서는 하나의 향상 계층 내에서 점진적으로 화질을 개선할 수 있도록 잔차 영상을 부호화하는 방법에 대해 설명한다.
도 1에서 상기 잔차 부호화기(111)는 복수개의 화질 계층으로 잔차 영상을 부호화할 수 있도록 각각의 화질 계층에 대해 부호화를 수행하는 화질 계층 부호화부와 움직임 보상부를 포함한다.
도 2은 계층적 영상 복호화기의 일 구성 예를 나타낸 것이다.
도 2의 영상 복호화기는 기본 계층과 향상 계층을 포함하는 계층 구조로 구성되어 도 1의 부호화기를 통해 부호화된 기본 계층 비트열과 향상 계층 비트열을 복호화하여 각각 재구성된 기본 계층 영상과 재구성된 향상 계층 영상을 출력한다. 상기 기본 계층의 영상과 상기 향상 계층의 영상은 서로 다른 해상도, 영상 사이즈, 또는 시점을 갖는 영상이 될 수 있다.
도 2의 실시 예에서 입력 영상과 향상 계층에서 처리되는 영상은 고해상도, 큰 사이즈 또는 일 시점의 영상이고, 기본 계층에서 처리되는 영상은 저해상도, 작은 사이즈 또는 다른 시점의 영상임을 가정한다. 도 2에서 기본 계층 복호화기(201)는 입력된 기본 계층 비트열을 도 1의 기본 계층 부호화기(101)에서 사용된 임의의 영상 코덱에 상응하는 방식으로 복호화하여 재구성된 기본 계층 영상을 출력한다. 또한 상기 기본 계층 복호화기(201)를 통해 재구성된 기본 계층 영상은 포맷 상향 변환기(203)로도 출력된다. 도 2에서 상기 포맷 상향 변환기(203)는 상기 재구성된 기본 계층 영상을 향상 계층의 영상 포맷으로 상향 변환하여 출력한다. 한편 도 2에서 잔차 복호화기(205)는 입력된 향상 계층 비트열을 잔차 복호화한 잔차 영상을 출력하고, 상기 잔차 영상은 잔차 맵핑/스케일링부(207)에서 잔차 데이터로 변환되고, 상기 잔차 데이터는 가산기(209)를 통해 상기 포맷 상향 변환된 영상과 더해져서 재구성된 향상 계층 영상으로 출력된다.
도 2에서 상기 잔차 복호화기(203)는 복수개의 화질 계층에서 잔차 영상을 재구성할 수 있도록 각각의 화질 계층에 대해 복호화를 수행하는 화질 계층 복호화부와 움직임 보상부를 포함한다.
도 3은 본 발명의 실시예에 따른 잔차 부호화기의 구성을 도시한 것이다. 도 3에서는 화질계층이 3개로 구성된 경우를 예로 도시하였으나, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 잔차 부호화기는 화질 계층 개수에 대응되는 3개의 화질계층 부호화부(301,303,305)와 선택적 움직임 보상부(307)를 포함한다.
잔차 부호화기로 입력된 잔차영상은 제1 화질계층 부호화부(301)에서 부호화되어 제1 비트스트림과 제1 잔차 차분영상이 출력되고, 잔차 영상과 제1 잔차 차분영상의 차이에 해당하는 영상이 제2 화질계층 부호화부(303)로 입력되고 부호화되어 제2 비트스트림과 제2 잔차 차분영상이 출력된다. 잔차 영상과 제2 잔차 차분영상의 차이에 해당하는 영상이 제3 화질계층 부호화부(305)로 입력되고 부호화되어 제3 비트스트림과 제3 잔차 차분영상이 출력된다. 제1 내지 제3 잔차 차분영상은 선택적 움직임 보상부(307)로 입력되고 움직임 벡터에 따라 움직임 보상된 영상이 출력되고, 잔차영상과 상기 움직임 보상된 영상의 차이에 해당하는 영상이 다시 제1 화질계층 부호화부로 입력된다. 그리고 제1 내지 제3 비트스트림들은 다중화기(도시하지 않음)를 통해 하나의 비트스트림(즉, 향상계층 비트스트림)으로 통합되어 전송채널을 통해 디코더로 전송된다.
도 4는 본 발명의 실시예에 따른 화질계층 부호화부의 구성을 도시한 것이다.
도 4를 참조하면, 화질계층 부호화부는 변환부호화부(401), 양자화부(403), 가변장 부호화부(405), 역양자화부(407), 역변환 부호화부(409)를 포함한다. 변환 부호화부(401)는 화질계층 부호화부로 입력된 차분 영상을 N×N 블록 단위로 변환 부호화를 수행하여 변환계수를 구한다. 양자화부(403)는 상기 N×N 블록의 변환계수를 입력받아 양자화를 수행하고, 가변장 부호화부(405)는 양자화된 레벨값들로부터 비트스트림을 생성한다. 또한 상기 양자화부(403)로부터 양자화된 레벨값들은 역영자화부(407)를 통해 변환계수값을 복원하고, 역변환부호화부(409)는 상기 복원된 변환계수값을 역변환하여 영상을 복원함으로써 재구성된 차분 영상을 출력한다.
점진적으로 잔차 영상 화질 개선을 이루기 위해 도 3에서 각 화질계층 부호화부를 통해 재구성된 잔차 차분 영상은 제1 차분 영상으로부터 제 3 차분 영상으로 갈수록 잔차 영상의 화질이 개선되는 특징을 갖는다. 도 4의 화질계층 부호화부에서 양자화부의 양자화 파라미터를 조절함으로써 이를 달성할 수 있다. 일례로 제1 화질계층에서 제3 화질계층 순으로 양자화 파라미터를 감소시킴으로써 점차 화질이 개선된 차분 영상을 복원할 수 있다.
도 5는 본 발명의 실시예에 따른 선택적 움직임 보상부의 구성을 도시한 것이다. 도 5에서는 화질계층이 3개로 구성된 경우를 예로 도시하였으나, 본 발명은 이에 한정되지 않는다.
도 5를 참조하면, 선택적 움직임 보상부는 화질 계층 개수에 대응되는 3개의 프레임 버퍼(501,503,505)와 움직임 보상부(507)를 포함한다. 각 화질계층 부호화부에서 복원된 각 잔차 차분영상들은 움직임 보상부(507)에서 움직임 보상된 영상과 더해져서 각각의 프레임 버퍼(501,503,505)에 저장된다. 각 프레임 버퍼에 저장된 복원된 잔차 영상들은 인코더의 제어에 따라 선택적으로 움직임 보상부(507)로 입력되어 움직임 보상에 사용된다. 이때 인코더에서는 어떠한 프레임 버퍼를 이용하여 움직임 보상을 수행하였는지 정보를 헤더로 전송함으로써 디코더에서 동일한 동작을 할 수 있도록 한다.
도 6은 본 발명의 다른 실시예에 따른 잔차 부호화기의 구성을 도시한 것이다. 도 6에서는 화질계층이 3개로 구성된 경우를 예로 도시하였으나, 본 발명은 이에 한정되지 않는다.
도 6을 참조하면, 각각의 화질계층에 대한 화질계층 부호화부(601,603,605)의 구성은 도 3 및 도 4와 동일하며, 첫 번째 화질계층에 대한 제1 화질계층 부호화부(601)와 마지막 화질계층에 대한 제3 화질계층 부호화부(603)에서 출력된 잔차 차분영상만 각각 제1 및 제3 프레임 버퍼(607,609)에 저장되어 움직임 보상부(611)의 움직임 보상에 모두 사용된다는 점이 도 3 및 도 5와 다르다. 복수 개의 화질계층에 있어서 프레임 버퍼는 항상 최하위 화질계층과 최상위 화질계층의 재구성된 차분 영상에 대해서만 제공된다. 즉, 도 6에서는 화질 계층이 두 개 이상인 경우 화질 계층 개수와 상관없이 항상 두 개의 프레임 버퍼가 존재한다.
도 7은 본 발명의 실시예에 따른 복호화기에서 잔차 복호화기의 구성을 도시한 것이다. 도 7에서도 화질계층이 3개로 구성된 경우를 예로 도시하였으나, 본 발명은 이에 한정되지 않는다.
도 7을 참조하면, 잔차 복호화기로 입력되는 향상계층 비트열인 제1 내지 제3 비트스트림은 각각의 화질계층에 대한 제1 내지 제3 화질계층 복호화부(710,720,730)로 입력된다. 제1 내지 제3 화질계층 복호화부(710,720,730)는 각각 가변장 복호화부(711,721,731), 역양자화부(713,723,733), 역변환 부호화부(715,725,735)를 포함한다.
제1 비트스트림은 제1 가변장 복호화부(711)에서 가변장 복호화를 통해 양자화된 레벨값들로 변환되고, 제1 역양자화부(713)에서 역양자화되어 N×N 블록의 변환계수로 변환된다. 상기 변환계수는 제1 역변환 부호화부(715)에서 N×N 블록 단위로 역변환 부호화되고, 움직임보상부(740)에서 보상된 영상과 더해져서 제1 프레임버퍼(750)에 저장된다.
제2 비트스트림은 제2 가변장 복호화부(721)에서 가변장 복호화를 통해 양자화된 레벨값들로 변환되고, 제2 역양자화부(723)에서 역양자화되어 N×N 블록의 변환계수로 변환된다. 상기 변환계수는 제2 역변환 부호화부(725)에서 N×N 블록 단위로 역변환 부호화되고, 제1 화질계층 복호화부에서 복원된 영상과 움직임보상부(740)에서 보상된 영상이 더해진 값과 더해져서 제3 화질계층 복호화부로 전달된다.
제3 비트스트림은 제3 가변장 복호화부(731)에서 가변장 복호화를 통해 양자화된 레벨값들로 변환되고, 제3 역양자화부(733)에서 역양자화되어 N×N 블록의 변환계수로 변환된다. 상기 변환계수는 제3 역변환 부호화부(735)에서 N×N 블록 단위로 역변환 부호화되고, 제1 및 제2 화질계층 복호화부에서 복원된 영상과 움직임보상부(740)에서 보상된 영상이 더해진 값과 더해져서 제3 프레임 버퍼(760)에 저장되고, 또한 상기 제3 프레임 버퍼(760)에 저장되는 영상이 잔차 복호화기에서 최종 복원된 잔차 영상으로 출력된다.
또한 제1 프레임버퍼(750) 및 제3 프레임버퍼(760)에 저장된 영상은 움직임보상부(740)의 움직임 보상에 사용된다.
도 8은 본 발명의 다른 실시예에 따른 복호화기에서 잔차 복호화기의 구성을 도시한 것이다. 도 8에서도 화질계층이 3개로 구성된 경우를 예로 도시하였으나, 본 발명은 이에 한정되지 않는다.
도 8을 참조하면, 제1 내지 제3 화질계층 부호화부(810,820,830)의 구성 및 동작은 도 7과 대부분 동일하고, 제1 내지 제3 화질계층 부호화부(810,820,830)의 출력단의 동작만 차이가 있다. 즉, 제1 화질계층 부호화부(810)의 제1 역변환 부호화부(815)에서 출력된 영상은 그대로 제1 프레임 버퍼(850)에 저장되고, 제2 화질계층 부호화부(820)의 제2 역변환 부호화부(825)에서 출력된 영상은 제1 역변환 부호화부(815)에서 출력된 영상과 더해져서 제3 화질계층 부호화부(830)로 전달된다. 제3 화질계층 부호화부(830)의 제3 역변환 부호화부(835)에서 출력된 영상은 제2 화질계층 부호화부(820)에서 출력된 영상 및 움직임보상부(840)에서 보상된 영상과 더해져서 제3 프레임 버퍼(860)에 저장되고, 또한 상기 제3 프레임 버퍼(860)에 저장되는 영상이 잔차 복호화기에서 최종 복원된 잔차 영상으로 출력된다.
즉, 본 발명과 같이 복호화기에서 영상들간에 화질 개선이 적용되는 경우, 제1 화질 계층인 화질 기본 계층에서는, 역변환된 블록에 움직임 보상된 블록을 더함으로써 잔차 블록이 복원되고, 복원된 잔차 샘플들이 화질 기본 계층 영상을 구성한다. 또한 화질 기본 계층에 연결된 상향 화질 계층들(예를 들어, 도 7, 8에서의 제2 및 제3 화질계층)의 역변환 블록들은 화질 기본 계층의 역변환 블록의 화질을 개선하기 위해 사용된다. 최종적으로 화질이 개선된 역변환 블록은 움직임 보상부에서 보상된 영상에 더해진다. 화질 개선 과정 이후에, 복원된 잔차 샘플들에 의해 화질 향상 계층 영상이 복원된다.
도 9는 본 발명의 실시예에 따른 잔차 부호화 과정을 도시한 순서도이다.
도 9를 참조하면, 901 과정에서 잔차 부호화기로 잔차 영상이 입력되면 903 과정에서 동일한 향상게층 내 참조 프레임에서 움직임 보상된 영상과 합쳐져서 화질계층 부호화기들로 입력되고, 905 과정에서 각 화질계층 부호화기에서 화질계층별로 비트스트림을 생성하고 다시 잔차 영상을 복원하여 프레임 버퍼에 저장한다. 상위 화질계층 부호화기에서 복원된 잔차 영상은 그 다음 하위 화질계층 부호화기에서 비트스트림을 생성하는데 사용된다. 또한 프레임버퍼는 모든 화질계층에 대해 존재할 수도 있고 최상위 화질계층과 최하위 화질계층에만 존재할 수도 있다. 907 과정에서는 프레임 버퍼에 저장된 영상을 움직임 보상하여 다음 프레임의 비트스트림 생성에 사용한다. 이때 실시예에 따라 모든 프레임 버퍼에 저장된 영상 중 하나의 영상을 선택적으로 사용하여 움직임 보상을 할 수도 있고, 최상위 화질계층과 최하위 화질계층에 대응되는 프레임 버퍼에 저장된 영상을 모두 사용할 수도 있다. 909 과정에서는 각 화질계층 부호화부에서 생성된 비트스트림들을 다중화하여 하나의 향상계층 비트스트림으로 만들어서 디코더로 전송한다.
도 10은 본 발명의 실시예에 따른 잔차 복호화 과정을 도시한 순서도이다.
도 10을 참조하면, 1001 과정에서 잔차 복호화기로 입력된 향상계층 비트열은 화질계층의 개수에 따라 복수개의 비트스트림으로 역다중화되고, 1003 과정에서 상기 역다중화된 비트스트림들을 화질계층 복호화기에서 화질계층별로 복호화하여 화질계층별 잔차영상을 복원한다. 1005 과정에서는 상기 복원된 화질계층별 잔차영상을 다음 프레임의 잔차영상 복원을 위해 각각 프레임버퍼에 저장하고 움직임 보상한다. 그리고 1007 과정에서 각 화질계층별 복원된 잔차영상에 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종적으로 복원된 잔차 영상을 출력한다. 이렇게 복원된 잔차 영상은 기본계층 영상과 결합되어 향상계층 영상으로 재구성된다. 한편, 화질계층별로 복원된 잔차영상을 결합하여 최종 복원된 잔차 영상을 만들 때, 본 발명의 실시예에 따라 최상위 화질계층 복호화 과정에서 움직임 보상된 영상을 반영할 수도 있고, 최하위 화질계층 복호화 과정에서 움직임 보상된 영상을 반영할 수도 있다. 또한 각 화질계층 복호화기에서는 복원된 잔차영상은 상위 화질계층 복호화기에서 잔차영상을 복원할 때 사용된다.
전술한 실시예들은 본 발명의 예시로서 이해될 것이다. 위의 실시예들 중 어느 하나와 연관되어 기술된 모든 특징은 단독으로 이용되거나 기술된 다른 특징들과 조합하여 이용될 수 있으며, 실시예들 중 다른 실시예의 하나 또는 그 이상의 특징들과 조합하여 이용되거나 실시예들 중 다른 실시예들의 조합으로 이용될 수 있음을 이해할 것이다. 본 발명이 특정한 실시예들을 참조하여 도시되고 설명되었지만, 당업자는 첨부된 청구항들 및 그와 동등한 것들에 의해 정의되는 바와 같은 본 발명의 사상 및 범위를 벗어나지 않고 형태 및 세부 사항들에 있어 다양한 변경이 이루어질 수 있음을 이해할 것이다.

Claims (21)

  1. 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 부호화하는 방법에 있어서,
    상기 잔차 영상을 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상과 결합하고, 상기 화질 계층별로 부호화하여 화질계층별 비트스트림을 생성하는 과정과,
    상기 화질계층별 부호화 과정에서 생성된 잔차 차분 영상들을 각각 프레임 버퍼에 저장하는 과정과,
    상기 프레임 버퍼에 저장된 영상들을 선택적으로 사용하여 움직임 보상하여 움직임 보상된 영상을 출력하는 과정과,
    상기 화질계층별 비트스트림들을 다중화하여 하나의 향상 계층 비트스트림을 출력하는 과정을 포함하는 부호화 방법.
  2. 제1항에 있어서,
    상기 잔차 영상과 상기 참조프레임에서 움직임 보상된 영상이 결합된 영상과, 직전 하위의 화질계층 부호화 과정에서 생성된 잔차 차분 영상의 차이값에 해당하는 영상이 각 화질계층별 부호화 과정의 입력신호로 사용됨을 특징으로 하는 부호화 방법.
  3. 제1항에 있어서,
    상기 프레임 버퍼에 저장하는 과정은,
    상기 화질계층들 중 최상위 화질계층과 최하위 화질계층의 부호화 과정에서 생성된 잔차 차분 영상만을 각각 프레임 버퍼에 저장함을 특징으로 하는 부호화 방법.
  4. 제3항에 있어서,
    상기 움직임 보상된 영상을 출력하는 과정은,
    상기 최상위 화질계층과 최하위 화질계층의 부호화 과정에서 생성된 잔차 차분 영상들을 모두 이용하여 상기 움직임 보상된 영상을 출력함을 특징으로 하는 부호화 방법.
  5. 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 부호화하는 장치에 있어서,
    상기 잔차 영상을 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상과 결합하고, 상기 화질 계층별로 부호화하여 화질계층별 비트스트림과 잔차 차분 영상을 생성하는 화질계층 부호화부와,
    상기 화질계층 부호화부에서 생성된 잔차 차분 영상들을 각각 저장하는 프레임 버퍼와,
    상기 프레임 버퍼에 저장된 영상들을 선택적으로 사용하여 움직임 보상하여 움직임 보상된 영상을 출력하는 움직임 보상부와,
    상기 화질계층별 비트스트림들을 다중화하여 하나의 향상 계층 비트스트림을 출력하는 다중화부를 포함하는 부호화 장치.
  6. 제5항에 있어서,
    상기 화질계층 부호화기는,
    상기 잔차 영상과 상기 참조프레임에서 움직임 보상된 영상이 결합된 영상과, 직전 하위의 화질계층 부호화 과정에서 생성된 잔차 차분 영상의 차이값에 해당하는 영상을 입력신호로 사용함을 특징으로 하는 부호화 장치.
  7. 제5항에 있어서,
    상기 프레임 버퍼는,
    상기 화질계층들 중 최상위 화질계층과 최하위 화질계층의 부호화 과정에서 생성된 잔차 차분 영상만을 각각 저장함을 특징으로 하는 부호화 장치.
  8. 제7항에 있어서,
    상기 움직임 보상부는,
    상기 최상위 화질계층과 최하위 화질계층의 부호화 과정에서 생성된 잔차 차분 영상들을 모두 이용하여 상기 움직임 보상된 영상을 출력함을 특징으로 하는 부호화 장치.
  9. 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 복호화하는 방법에 있어서,
    입력되는 향상 계층 비트스트림을 상기 화질 계층의 순서에 대응되는 하나 이상의 비트스트림으로 역다중화하는 과정과,
    상기 비트스트림을 화질계층별로 복호화하여 잔차 영상을 복원하고 상기 복원된 잔차 영상을 프레임 버퍼에 저장하는 과정과,
    상기 복원된 잔차 영상에, 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종 복원된 잔차 영상을 출력하는 과정을 포함하는 복호화 방법.
  10. 제9항에 있어서,
    상기 잔차 영상을 출력하는 과정은,
    각 화질계층 복호화 과정에서 복원된 잔차 영상을 모두 합한 영상에 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종 복원된 잔차 영상을 출력함을 특징으로 하는 복호화 방법.
  11. 제9항에 있어서,
    상기 저장하는 과정은,
    상기 참조 프레임에서 움직임 보상된 영상을 최하위 화질 계층 복호화 과정에서 복원된 잔차 영상과 더한 영상을 상기 최하위 화질 계층에 대응되는 제1 프레임 버퍼에 저장하고,
    상기 최종 복원된 잔차 영상을 최상위 화질계층에 대응되는 제2 프레임 버퍼에 저장함을 특징으로 하는 복호화 방법.
  12. 제9항에 있어서,
    상기 저장하는 과정은,
    최하위 화질계층 복호화 과정에서 복원된 잔차 영상을 상기 최하위 화질계층에 대응되는 제1 프레임 버퍼에 저장하고,
    상기 참조 프레임에서 움직임 보상된 영상을 최상위 화질 계층 복호화 과정에서 복원된 잔차 영상과 더한 영상을 상기 최종 복원된 잔차 영상으로 출력하고 상기 최종 복원된 잔차 영상을 상기 최상위 화질 계층에 대응되는 제2 프레임 버퍼에 저장함을 특징으로 하는 복호화 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 제1 또는 제2 프레임 버퍼에 저장된 영상을 움직임 보상하여 다음 프레임의 잔차 영상 복원에 사용함을 특징으로 하는 복호화 방법.
  14. 하나의 영상이 기본 계층과 하나 이상의 향상 계층을 포함하며, 상기 향상 계층의영상이 하나 이상의 화질 계층으로 구분되는 계층 구조 기반의 영상 처리에서 영상 데이터의 잔차 영상을 복호화하는 장치에 있어서,
    입력되는 향상 계층 비트스트림을 상기 화질 계층의 순서에 대응되는 하나 이상의 비트스트림으로 역다중화하는 역다중화부와,
    상기 비트스트림을 화질계층별로 복호화하여 잔차 영상을 복원하는 화질계층 복호화부와,
    상기 화질계층 복호화부에서 복원된 잔차 영상을 저장하는 프레임 버퍼와,
    상기 복원된 잔차 영상에, 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종 복원된 잔차 영상을 출력하는 움직임 보상부를 포함하는 복호화 장치.
  15. 제14항에 있어서,
    상기 움직임 보상부는,
    각 화질계층 복호화 과정에서 복원된 잔차 영상을 모두 합한 영상에 동일한 향상계층 내 참조 프레임에서 움직임 보상된 영상을 더해서 최종 복원된 잔차 영상을 출력함을 특징으로 하는 복호화 장치.
  16. 제14항에 있어서,
    상기 프레임버퍼는,
    상기 참조 프레임에서 움직임 보상된 영상을 최하위 화질 계층 복호화부에서 복원된 잔차 영상과 더한 영상을 저장하는 제1 프레임 버퍼와,
    상기 최종 복원된 잔차 영상을 저장하는 제2 프레임 버퍼를 포함함을 특징으로 하는 복호화 장치.
  17. 제14항에 있어서,
    상기 프레임버퍼는,
    최하위 화질계층 복호화부에서 복원된 잔차 영상을 저장하는 제1 프레임 버퍼와,
    상기 참조 프레임에서 움직임 보상된 영상을 최상위 화질 계층 복호화부에서 복원된 잔차 영상과 더한 영상을 상기 최종 복원된 잔차 영상으로 저장하는 제2 프레임 버퍼를 포함함을 특징으로 하는 복호화 방법.
  18. 제16항 또는 제17항에 있어서,
    상기 움직임 보상부는,
    상기 제1 또는 제2 프레임 버퍼에 저장된 영상을 움직임 보상하여 다음 프레임의 잔차 영상 복원에 사용함을 특징으로 하는 복호화 장치.
  19. 잔차 부호화 장치에 있어서,
    적어도 하나의 최상위 화질 계층 부호화기와 최하위 화질 계층 부호화기를 포함하는 복수의 연속된 화질 계층 부호화기와,
    움직임 보상된 영상을 출력하는 선택적 움직임 보상기를 포함하며,
    상기 최상위 화질 계층 부호화기는, 잔차 영상과 상기 움직임 보상된 영상간의 차이에 기초한 제1 잔차 차분 영상을 생성하여 상기 선택적 움직임 보상기와 상기 복수개의 연속된 화질 계층 부호화기 중 하위 화질 계층 부호화기로 출력하고,
    상기 복수개의 연속된 화질 계층 부호화기 중 다음 화질 계층 부호화기 각각은 상기 잔차 영상과 상기 복수개의 연속된 화질 계층 부호화기들 중 바로 다음에 연결된 화질 계층 부호화기로부터 출력되는 영상간의 차이값에 기초하여 각각의 잔차 차분 영상을 생성하여 상기 선택적 움직임 보상부와 상기 복수개의 연속된 화질 계층 부호화기 중 또 다른 하위 화질 계층 부호화기로 출력하며,
    상기 최하위 화질 계층 부호화기는 차분 영상과 상기 복수개의 연속된 화질 계층 부호화기들 중 바로 다음에 연결된 하위 화질 계층 부호화기로부터 출력된 잔차 차분 영상간의 차이값에 기초한 최하위 잔차 차분 영상을 생성하여 상기 선택적 움직임 보상기로 출력함을 특징으로 하는 잔차 부호화 장치.
  20. 제19항에 있어서,
    상기 최상위 잔차 차분 영상과 상기 최하위 잔차 차분 영상을 저장하는 프레임 버퍼들을 더 포함함을 특징으로 하는 잔차 부호화 장치.
  21. 제19항에 있어서,
    상기 복수개의 연속된 화질 계층 부호화기 각각에 따른 잔차 차분 영상을 저장하는 프레임 버퍼들을 더 포함함을 특징으로 하는 잔차 부호화 장치.
KR1020110092701A 2010-09-14 2011-09-14 계층적 영상 부호화/복호화 방법 및 장치 KR20120028843A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US38259410P 2010-09-14 2010-09-14
US61/382,594 2010-09-14

Publications (1)

Publication Number Publication Date
KR20120028843A true KR20120028843A (ko) 2012-03-23

Family

ID=45806720

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020110092702A KR101977610B1 (ko) 2010-09-14 2011-09-14 다계층 영상 부호화 및 복호화 장치와 방법
KR1020110092701A KR20120028843A (ko) 2010-09-14 2011-09-14 계층적 영상 부호화/복호화 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020110092702A KR101977610B1 (ko) 2010-09-14 2011-09-14 다계층 영상 부호화 및 복호화 장치와 방법

Country Status (6)

Country Link
US (3) US20120063517A1 (ko)
EP (2) EP2617196A2 (ko)
JP (2) JP5612214B2 (ko)
KR (2) KR101977610B1 (ko)
CN (2) CN103098472A (ko)
WO (2) WO2012036468A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058110A1 (ko) * 2012-10-09 2014-04-17 광운대학교 산학협력단 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치
KR101530955B1 (ko) * 2013-09-16 2015-06-25 광운대학교 산학협력단 스케일러블 코딩기반의 디지털 홀로그램 압축 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120063517A1 (en) * 2010-09-14 2012-03-15 Samsung Electronics Co., Ltd. Method and apparatus for hierarchical picture encoding and decoding
CN110035286B (zh) 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
US9648318B2 (en) 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
JP6345650B2 (ja) * 2013-04-05 2018-06-20 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法
US9510001B2 (en) 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
CN105765978B (zh) * 2013-10-11 2019-01-29 韩国电子通信研究院 用于编码/解码图像的方法和使用其的装置
US20150124873A1 (en) * 2013-11-01 2015-05-07 Microsoft Corporation Chroma Down-Conversion and Up-Conversion Processing
JP6497014B2 (ja) * 2014-09-24 2019-04-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
EP3099051B1 (en) * 2015-05-29 2018-03-14 Canon Kabushiki Kaisha Apparatus, method, and storage medium storing program for processing image data
US10091506B2 (en) * 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
US10027968B2 (en) * 2015-06-12 2018-07-17 Sony Corporation Data-charge phase data compression tool
WO2017047897A1 (ko) * 2015-09-15 2017-03-23 디지털인사이트주식회사 Hdr 양자화 혹은 마스킹 방법 및 장치
KR102476207B1 (ko) * 2015-11-12 2022-12-08 삼성전자주식회사 반도체 장치의 동작 방법 및 반도체 시스템
CN111602111A (zh) * 2018-04-03 2020-08-28 深圳市柔宇科技有限公司 一种数据处理方法及装置
CN112040240B (zh) * 2020-11-03 2021-08-27 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0120729B1 (ko) * 1993-11-30 1997-10-22 양승택 공간영역 계층 부호화 장치에서의 움직임 정도 구분 방법
JP3781220B2 (ja) * 1995-12-27 2006-05-31 ソニー株式会社 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法
ATE338317T1 (de) * 1996-05-08 2006-09-15 Koninkl Philips Electronics Nv Übertragung eines digitalen informationssignals mit einer ersten spezifischen abtastrate
KR100367831B1 (ko) * 1998-06-30 2003-01-10 주식회사 팬택앤큐리텔 영상의 색차신호 필터링 방법 및 장치
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
WO2003036978A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Method and apparatus for spatial scalable compression
US20060133475A1 (en) * 2003-02-17 2006-06-22 Bruls Wilhelmus H A Video coding
JP4373693B2 (ja) * 2003-03-28 2009-11-25 パナソニック株式会社 音響信号の階層符号化方法および階層復号化方法
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
KR101014667B1 (ko) * 2004-05-27 2011-02-16 삼성전자주식회사 스케일러블 동영상 인코딩, 디코딩 장치 및 그 방법
TW200704202A (en) 2005-04-12 2007-01-16 Nokia Corp Method and system for motion compensated fine granularity scalable video coding with drift control
ZA200800261B (en) * 2005-07-11 2009-08-26 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
KR100772868B1 (ko) * 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
WO2008108566A1 (en) * 2007-03-02 2008-09-12 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
CN102084653B (zh) * 2007-06-29 2013-05-08 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
KR20090097015A (ko) * 2008-03-10 2009-09-15 삼성전자주식회사 스케일러블 영상 부호화장치 및 스케일러블 영상복호화장치
HUE024173T2 (en) * 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR101107318B1 (ko) * 2008-12-01 2012-01-20 한국전자통신연구원 스케일러블 비디오 인코딩, 디코딩 방법 및 스케일러블 비디오 인코더, 디코더
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
US20120063517A1 (en) * 2010-09-14 2012-03-15 Samsung Electronics Co., Ltd. Method and apparatus for hierarchical picture encoding and decoding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058110A1 (ko) * 2012-10-09 2014-04-17 광운대학교 산학협력단 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치
US9961363B2 (en) 2012-10-09 2018-05-01 Intellectual Discovery Co., Ltd. Inter-layer prediction method for multi-layer video and device therefor
US10219001B2 (en) 2012-10-09 2019-02-26 Intellectual Discovery Co., Ltd. Inter-layer prediction method for multi-layer video and device therefor
KR101530955B1 (ko) * 2013-09-16 2015-06-25 광운대학교 산학협력단 스케일러블 코딩기반의 디지털 홀로그램 압축 장치

Also Published As

Publication number Publication date
CN103098471A (zh) 2013-05-08
WO2012036467A3 (en) 2012-05-31
US20120063517A1 (en) 2012-03-15
EP2617196A2 (en) 2013-07-24
JP5539592B2 (ja) 2014-07-02
US8774542B2 (en) 2014-07-08
EP2617193A2 (en) 2013-07-24
US8494294B2 (en) 2013-07-23
US20130300923A1 (en) 2013-11-14
JP5612214B2 (ja) 2014-10-22
WO2012036467A2 (en) 2012-03-22
WO2012036468A2 (en) 2012-03-22
US20120063692A1 (en) 2012-03-15
EP2617193A4 (en) 2016-03-23
JP2013541899A (ja) 2013-11-14
KR101977610B1 (ko) 2019-05-15
WO2012036468A3 (en) 2012-06-14
JP2013537388A (ja) 2013-09-30
CN103098472A (zh) 2013-05-08
CN103098471B (zh) 2016-07-06
KR20120028844A (ko) 2012-03-23

Similar Documents

Publication Publication Date Title
JP5612214B2 (ja) 階層的映像符号化及び復号化のための方法及び装置
JP5504336B2 (ja) スケーラブルビデオ符号化方法、符号器及びコンピュータプログラム
KR100791299B1 (ko) 다 계층 기반의 비디오 인코딩 방법 및 장치
US20050002458A1 (en) Spatial scalable compression
US8619854B2 (en) Scalable video encoding and decoding method using switching pictures and apparatus thereof
JP2005507589A5 (ko)
JP2005506815A5 (ko)
US20090103613A1 (en) Method for Decoding Video Signal Encoded Using Inter-Layer Prediction
US20060133475A1 (en) Video coding
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
CN115941954A (zh) 视频编码的方法和装置
KR20150054751A (ko) 영상 복호화 방법 및 이를 이용하는 장치
US10701373B2 (en) Coding and decoding methods of a picture block, corresponding devices and data stream
CN115486075A (zh) 视频编解码的方法和装置
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20150056679A (ko) 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
KR20060059773A (ko) 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치
JP5401909B2 (ja) トランスコード装置およびトランスコード方法
WO2021199374A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム
WO2013001717A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20030006641A (ko) 트랜스코더 및 그의 트랜스 코딩 방법
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム
CN118235398A (zh) 交叉分量几何/楔形分区推导的系统和方法
JP2013016902A (ja) 画像変換装置
KR20070069309A (ko) 동영상의 부호화와 복호화 장치 및 그 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid