KR20090035427A - 단일시점 또는 다시점 비디오 부호화와 복호화 방법 및 그 장치 - Google Patents

단일시점 또는 다시점 비디오 부호화와 복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR20090035427A
KR20090035427A KR1020080095539A KR20080095539A KR20090035427A KR 20090035427 A KR20090035427 A KR 20090035427A KR 1020080095539 A KR1020080095539 A KR 1020080095539A KR 20080095539 A KR20080095539 A KR 20080095539A KR 20090035427 A KR20090035427 A KR 20090035427A
Authority
KR
South Korea
Prior art keywords
residual data
reference image
upsampling
motion
down sampling
Prior art date
Application number
KR1020080095539A
Other languages
English (en)
Inventor
조숙희
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20090035427A publication Critical patent/KR20090035427A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명은 비디오 부호화와 복호화(Video Encoding and Decoding) 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 단일시점 비디오(Single-View Video) 또는 다시점 비디오(Multi-View Video ) 부호화와 복호화 방법 및 그 장치에 관한 것이다.
본 발명에 따른 단일시점 비디오 부호화 방법은 기준영상과 참조영상에 기초하여 움직임 추정을 수행하는 단계, 기준영상의 블록과 움직임 추정된 블록을 이용하여 잔여 데이터를 생성하는 단계, 잔여 데이터를 다운 샘플링(down sampling)하는 단계 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 단계를 포함한다.
단일시점 비디오, 다시점 비디오, 부호화, 복호화, 다운 샘플링, 업 샘플링

Description

단일시점 또는 다시점 비디오 부호화와 복호화 방법 및 그 장치{Encoding and Decoding Method for Single-View Video or Multi-View Video and Apparatus thereof}
본 발명은 비디오 부호화와 복호화(Video Encoding and Decoding) 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 단일시점 비디오(Single-View Video) 또는 다시점 비디오(Multi-View Video ) 부호화와 복호화 방법 및 그 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 정보통신표준개발지원의 일환으로 수행한 연구로부터 도출된 것이다. [과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발 (Development of Glassless Single-User 3D Broadcasting Technologies)]
단일시점 비디오 부호화는 하나의 카메라로부터 촬영된 영상을 부호화하는 것이고, 다시점 비디오 부호화(MVC: multi-view video coding)는 공간적으로 서로 다른 위치에 배치된 카메라들로부터 동일한 시간에 촬영된 영상들을 부호화하는 것이다. 다시점 비디어 부호화의 경우, 사용자가 원하는 시점의 장면을 볼 수 있도록 시스템과 사용자 간의 상호작용을 가능하게 하여 미래의 3차원 TV, 자유 시점 비디오(free viewpoint video), 3차원 보안시스템 등을 지원할 수 있다.
단일시점 비디오 부호화와 다시점 비디오 부호화에서 효율적인 압축을 수행하는 것은 매우 중요한 문제로 부각되고 있다.
특히, 다시점 비디오 영상은 기존의 단일시점 비디오 영상과 비교하여 촬영 시 사용된 카메라의 수, 영상크기 등에 비례하여 처리해야 할 데이터의 양이 증가하기 때문에, 증가된 데이터를 효과적으로 압축하는 과제의 해결이 더욱 필요하다.
예를 들면, T-DMB(Terrestrial Digital Multimedia Broadcasting) 방송은 대역폭내에서 1.5Mbps의 한정된 비트율로 AV 서비스가 이루어져야 한다. 현재 T-DMB 방송에서 각 방송사는 한 개의 AV 프로그램에 있어서, 384Kbps 정도의 비트율로 비디오를 부호화하고 있다. 각 방송사가 사용하는 인코더가 최적화된 상용품이임을 감안할 때, 최적화가 이루어지지 않은 레퍼런스 SW 기반 인코더에서는 5~600Kbps 이하의 비트율에서 고압축율을 달성하는 부호화 기술이 스테레오스코픽 DMB 비디오 부호화 기술에 보다 적합할 수 있다.
따라서, 본 발명은 저비트율에서 보다 효율적인 압축을 달성하는 비디오 부호화 방법과 이를 복호화하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 단일시점 비디오 부호화 방법은 기준영상과 참조영상에 기초하여 움직임 추정을 수행하는 단계, 기준영상의 블록과 움직임 추정된 블록을 이용하여 잔여 데이터를 생성하는 단계, 잔여 데이터를 다운 샘플링(down sampling)하는 단계 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 단일시점 부호화 장치는 기준영상과 참조영상에 기초하여 움직임 추정을 수행하는 움직임 추정부, 기준영상의 블록과 움직임 추정된 블록을 이용하여 잔여 데이터를 생성하는 잔여 데이터 생성부, 잔여 데이터를 다운 샘플링(down sampling)하는 다운 샘플링부 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 양자화부를 포함한다.
본 발명의 또 다른 실시예에 따른 단일시점 비디오 복호화 방법은 잔여 데이터를 갖는 기준영상 정보를 포함하는 비트스트림을 수신하는 단계, 잔여 데이터를 업 샘플링하는 단계 및 참조영상과 업 샘플링된 잔여 데이터에 기초하여 움직임 보상을 수행하고, 기준영상을 생성하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 단일시점 비디오 복호화 장치는 잔여 데이터를 갖는 기준영상 정보를 포함하는 비트스트림을 수신하는 수신부, 잔여 데이터를 업 샘플링하는 업 샘플링부 및 참조영상과 업 샘플링된 잔여 데이터에 기초하여 움직임 보상을 수행하고, 기준영상을 생성하는 기준영상 생성부를 포함한다.
본 발명의 또 다른 실시예에 따른 다시점 비디오 부호화 방법은 기준영상, 보조영상 및 참조영상에 기초하여 움직임 및 변이 추정을 수행하는 단계, 기준영상과 움직임 및 변이 추정된 데이터를 이용하여 잔여 데이터를 생성하는 단계, 잔여 데이터를 다운 샘플링(down sampling)하는 단계 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation) 변환과 양자화하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다시점 비디오 부호화 장치는 기준영상, 보조영상 및 참조영상에 기초하여 움직임 및 변이 추정을 수행하는 움직임 및 변이 추정부, 기준영상과 움직임 및 변이 추정된 데이터를 이용하여 잔여 데이터를 생성하는 잔여 데이터 생성부, 잔여 데이터를 다운 샘플링(down sampling)하는 다운 샘플링부 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 양자화부를 포함한다.
본 발명의 또 다른 실시예에 따른 다시점 비디오 복호화 방법은 기준영상 정보와 보조영상 정보를 포함하는 비트스트림을 수신하는 단계, 기준영상 정보를 업 샘플링하는 단계, 참조영상, 업 샘플링된 기준영상 정보 및 보조영상 정보에 기초하여 움직임 및 변이 보상을 수행하고, 기준영상을 생성하는 단계를 포함하고, 기준영상 정보는 잔여 데이터를 포함한다.
본 발명의 또 다른 실시예에 따른 다시점 복호화 장치는 기준영상 정보와 보조영상 정보를 포함하는 비트스트림을 수신하는 수신부, 기준영상 정보를 업 샘플링하는 업 샘플링부, 참조영상, 업 샘플링된 기준영상 정보 및 보조영상 정보에 기초하여 움직임 및 변이 보상을 수행하고, 기준영상을 생성하는 기준영상 생성부를 포함하고, 기준영상 정보는 잔여 데이터를 포함한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 발명에 의하면, 저비트율에서 보다 효율적인 비디오의 압축과 복원을 도모할 수 있다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아 니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 발명은 잔여 데이터(residual data)를 다운 샘플링(down sampling)하여 부호화하고자 하는 블록의 수를 감소시킴으로써, 화질열화를 최소화하면서 저비트율에서 고효율의 압축을 달성할 수 있다. 본 발명은 단일시점 비디오와 다시점 비 디오에 모두 적용할 수 있다.
단일시점 비디오 부호화는 하나의 시점에서 촬영된 영상을 부호화하는 것이고, 다시점 비디오 부호화는 공간적으로 서로 다른 위치에 배치된 2 이상의 시점에서 동일한 시간에 촬영된 영상을 부호화하는 것이다. 단일시점 비디오 부호화와 다시점 비디오 부호화는 유사한 부호화 방법을 사용하고 있으나, 단일시점 비디오 부호화에서는 움직임 벡터(Motion Vector:MV)만을 사용하는 것에 반해, 다시점 비디오 부호화에서는 움직임 벡터와 함께 변이 벡터(Disparity Vector: DV)도 함께 사용된다. 여기서, 움직임 벡터는 한 카메라에서 촬영된 영상 속에서의 객체의 움직임 정보를 나타내는 것이고, 변이 벡터는 서로 다른 카메라에서 촬영된 영상 간 객체의 위치 차이를 나타내는 것이다. 이하에서는 단일시점 비디오와 다시점 비디오로 나누어 구체적으로 설명한다.
먼저, 단일시점 비디오의 경우, 부호화하고자 하는 영상인 기준영상에 대하여 참조영상을 이용하여 움직임 추정(Motion Estimation)을 수행한다. 참조영상은 기준영상과 비교하는 영상으로서, 예를 들면, 이전에 부호화된 영상일 수 있다. 참조영상에서 추정된 위치의 블록과 기준영상의 블록를 이용하여 잔여 데이터(Residual Data)를 생성하고, 생성된 잔여 데이터를 다운 샘플링(Down-Sampling)하여 부호화하고자 하는 블록의 수를 감소시킨다. 다운 샘플링된 잔여 데이터를 DCT(discrete cosine transformation)변환하고, DCT변환된 잔여 데이터를 양자화(quantization)하여 부호화한다.
한편, 양자화된 잔여 데이터는 역양자화(inverse quantization)와 역DCT(inverse discrete cosine transformation)변환을 수행하고 업 샘플링(Up-Sampling)한다. 업 샘플링된 잔여 데이터를 이용하여 움직임 보상(Motion Compensation)을 수행하여 움직임 보상된 영상을 생성하고, 움직임 보상된 영상은 다음에 부호화하고자 하는 영상에 대한 참조 영상으로 이용될 수 있다. 여기서, 다운 샘플링은 영상의 움직임 정도에 따라 수행될 수 있다. 움직임 정도는 영상에 포함된 객체의 움직임 방향의 정도를 포함하는 것으로서, 다운 샘플링은 수평 방향으로 다운 샘플링하는 수평 다운 샘플링(Horizontal Down-Sampling), 수직 방향으로 다운 샘플링하는 수직 다운 샘플링(Vertical Down-Sampling), 수직 및 수평 방향으로 다운 샘플링하는 쿼터 다운 샘플링(Quater Down-Sampling)의 3가지의 방법을 이용할 수 있다. 예를 들어, 수평 방향으로 움직임이 적은 콘텐츠의 경우에는 수평 다운 샘플링을 수행함으로써, 비트량을 감소시키면서도 화질열화를 최소화할 수 있다. 여기서, 다운 샘플링과 업 샘플링은 동일한 방법을 이용한다. 예를 들어, 다운 샘플링이 수평 다운 샘플링 방법으로 수행된 경우에는, 업 샘플링도 수평 업 샘플링 방법으로 수행된다.
부호화된 단일시점 비디오의 복호화는 단일시점 비디오의 부호화 과정을 역순으로 진행한다. 즉, 다운 샘플링되어 부호화된 데이터를 복호화 등의 과정을 거친 후 업 샘플링하고, 움직임 보상을 수행함으로써, 기준영상을 복원할 수 있다. 여기서, 다운 샘플링과 업 샘플링은 동일한 방법을 이용한다. 예를 들어, 다운 샘플링이 수평 다운 샘플링 방법으로 수행된 경우에는, 업 샘플링도 수평 업 샘플링 방법으로 수행된다.
다음으로, 다시점 비디오의 경우, 부호화하고자 하는 영상인 기준영상에 대하여 보조영상과 참조영상을 이용하여 움직임 및 변이 추정(Motion & Disparity Estimation)을 수행한다. 예를 들면, 기준영상과 참조영상을 이용하여 움직임 추정을 수행하고, 기준영상과 보조영상을 이용하여 변이 추정을 수행하는 것이다. 이때 기준영상과 보조영상은 서로 다른 시점에서의 영상을 의미한다. 예를 들어, 좌측과 우측에서 촬영한 2개의 시점인 경우, 기준영상과 보조영상은 각각 좌측 영상과 우측 영상일 수 있으며, 그 역도 가능하다. 참조영상은 기준영상과 비교하는 영상으로서, 예를 들면, 이전에 부호화된 영상일 수 있다. 보조영상과 참조영상에서 추정된 위치의 블록과 기준영상의 블록을 이용하여 잔여 데이터(Residual Data)를 생성하고, 생성된 잔여 데이터를 다운 샘플링하여 부호화하고자 하는 블록의 수를 감소시킨다. 다운 샘플링된 잔여 데이터를 DCT(discrete cosine transformation)변환하고, 변환된 잔여 데이터를 양자화(quantization)하여 부호화한다.
한편, 양자화된 잔여 데이터는 역양자화(inverse quantization)와 역DCT(inverse discrete cosine transformation)변환을 수행하고 업 샘플링한다. 업 샘플링된 잔여 데이터를 이용하여 움직임 및 변이 보상(Motion & Disparity Compensation)을 수행하고, 움직임 보상된 영상은 다음에 부호화하고자 하는 영상에 대한 참조 영상으로 이용될 수 있다. 여기서, 다운 샘플링은 영상의 움직임 정도에 따라 수행될 수 있다. 움직임 정도는 영상에 포함된 객체의 움직임 방향의 정 도를 포함하는 것으로서, 다운 샘플링은 수평 방향으로 다운 샘플링하는 수평 다운 샘플링(Horizontal Down-Sampling), 수직 방향으로 다운 샘플링하는 수직 다운 샘플링(Vertical Down-Sampling), 수직 및 수평 방향으로 다운 샘플링하는 쿼터 다운 샘플링(Quater Down-Sampling)의 3가지의 방법을 이용할 수 있다. 예를 들어, 수평 방향으로 움직임이 적은 콘텐츠의 경우에는 수평 다운 샘플링을 수행함으로써, 비트량을 감소시키면서도 화질열화를 최소화할 수 있다. 여기서, 다운 샘플링과 업 샘플링은 동일한 방법을 이용한다. 예를 들어, 다운 샘플링이 수평 다운 샘플링 방법으로 수행된 경우에는, 업 샘플링도 수평 업 샘플링 방법으로 수행된다.
부호화된 다시점 비디오의 복호화는 다시점 비디오의 부호화 과정을 역순으로 진행한다. 즉, 다운 샘플링되어 부호화된 데이터를 복호화 등의 과정을 거친 후 업 샘플링하고, 움직임 및 변이 보상을 수행함으로써, 기준영상을 복원할 수 있다. 여기서, 다운 샘플링과 업 샘플링은 동일한 방법을 이용한다. 예를 들어, 다운 샘플링이 수평 다운 샘플링 방법으로 수행된 경우에는, 업 샘플링도 수평 업 샘플링 방법으로 수행된다.
이하에서 구체적인 실시예와 함께 자세히 설명한다.
<단일시점 비디오 부호화>
본 발명에 따른 단일시점 비디오 부호화 방법은 기준영상과 참조영상에 기초하여 움직임 추정을 수행하는 단계, 기준영상의 블록과 움직임 추정된 블록을 이용하여 잔여 데이터를 생성하는 단계, 잔여 데이터를 다운 샘플링(down sampling)하 는 단계 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 단계를 포함한다.
본 발명에 따른 단일시점 비디오 부호화 방법은 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 단계 및 업 샘플링된 잔여 데이터를 이용하여 움직임 보상하고, 참조영상을 생성하는 단계를 더 포함할 수 있다. 여기서, 움직임 추정은 기준영상의 매크로블록 사이즈에서 수행될 수 있다. 다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있다. 예를 들어, 다운 샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다.
본 발명에 따른 단일시점 부호화 장치는 기준영상과 참조영상에 기초하여 움직임 추정을 수행하는 움직임 추정부, 기준영상의 블록과 움직임 추정된 블록을 이용하여 잔여 데이터를 생성하는 잔여 데이터 생성부, 잔여 데이터를 다운 샘플링(down sampling)하는 다운 샘플링부 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 양자화부를 포함한다.
본 발명에 따른 단일시점 비디오 부호화 방법은 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 업 샘플링부 및 업 샘플링된 잔여 데이터를 이용하여 움직임 보상하고, 참조영상을 생성하는 참조영상 생성부를 더 포함할 수 있다. 여기서, 움직임 추정은 기준영상 의 매크로블록 사이즈에서 수행될 수 있다. 다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있다. 예를 들면, 다운 샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다.
<단일시점 비디오 복호화>
본 발명에 따른 단일시점 비디오 복호화 방법은 잔여 데이터를 갖는 기준영상 정보를 포함하는 비트스트림을 수신하는 단계, 잔여 데이터를 업 샘플링하는 단계 및 참조영상과 업 샘플링된 잔여 데이터에 기초하여 움직임 보상을 수행하고, 기준영상을 생성하는 단계를 포함한다. 여기서, 업 샘플링하는 단계는 잔여 데이터를 복호화, 역양자화 및 IDCT변환을 수행하는 단계를 포함할 수 있다. 업 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 업 샘플링할 수 있다. 예를 들면, 업샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업샘플링 중 어느 하나로 업 샘플링할 수 있다.
본 발명에 따른 단일시점 비디오 복호화 장치는 잔여 데이터를 갖는 기준영상 정보를 포함하는 비트스트림을 수신하는 수신부, 잔여 데이터를 업 샘플링하는 업 샘플링부 및 참조영상과 업 샘플링된 잔여 데이터에 기초하여 움직임 보상을 수행하고, 기준영상을 생성하는 기준영상 생성부를 포함한다. 여기서, 업 샘플링하는 단계는 잔여 데이터를 복호화하는 복호화부, 역양자화하는 역양자화부 및 IDCT변환 하는 IDCT부를 포함할 수 있다. 업 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 업샘플링할 수 있다. 예를 들면, 업샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업 샘플링 중 어느 하나로 업 샘플링할 수 있다.
< 다시점 비디오 부호화>
본 발명에 따른 다시점 비디오 부호화 방법은 기준영상, 보조영상 및 참조영상에 기초하여 움직임 및 변이 추정을 수행하는 단계, 기준영상과 움직임 및 변이 추정된 데이터를 이용하여 잔여 데이터를 생성하는 단계, 잔여 데이터를 다운 샘플링(down sampling)하는 단계 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation) 변환과 양자화하는 단계를 포함한다.
본 발명에 따른 다시점 비디오 부호화 방법은 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 단계 및 업 샘플링된 잔여 데이터를 이용하여 움직임 및 변이 보상하고, 참조영상을 생성하는 단계를 더 포함할 수 있다. 움직임 및 변이 추정은 기준영상의 매크로블록 사이즈에서 수행될 수 있다. 다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있다. 예를 들면, 다운 샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다.
본 발명에 따른 다시점 비디오 부호화 장치는 기준영상, 보조영상 및 참조영상에 기초하여 움직임 및 변이 추정을 수행하는 움직임 및 변이 추정부, 기준영상과 움직임 및 변이 추정된 데이터를 이용하여 잔여 데이터를 생성하는 잔여 데이터 생성부, 잔여 데이터를 다운 샘플링(down sampling)하는 다운 샘플링부 및 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 양자화부를 포함한다.
본 발명에 따른 다시점 비디오 부호화 장치는 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 업 샘플링부 및 업 샘플링된 잔여 데이터를 이용하여 움직임 및 변이 보상하고, 참조영상을 생성하는 참조영상 생성부를 더 포함할 수 있다. 움직임 및 변이 추정은 기준영상의 매크로블록 사이즈에서 수행될 수 있다. 다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있다. 예를 들면, 다운 샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다.
< 다시점 비디오 복호화>
본 발명에 따른 다시점 비디오 복호화 방법은 기준영상 정보와 보조영상 정보를 포함하는 비트스트림을 수신하는 단계, 기준영상 정보를 업 샘플링하는 단계, 참조영상, 업 샘플링된 기준영상 정보 및 보조영상 정보에 기초하여 움직임 및 변이 보상을 수행하고, 기준영상을 생성하는 단계를 포함하고, 기준영상 정보는 잔여 데이터를 포함한다. 여기서, 업 샘플링하는 단계는 기준영상 정보를 복호화, 역양자화 및 IDCT변환을 수행하는 단계를 포함할 수 있다. 업 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 업 샘플링할 수 있다. 예를 들면, 업 샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업 샘플링 중 어느 하나로 업 샘플링할 수 있다.
본 발명에 따른 다시점 비디오 복호화 장치는 기준영상 정보와 보조영상 정보를 포함하는 비트스트림을 수신하는 수신부, 기준영상 정보를 업 샘플링하는 업 샘플링부, 참조영상, 업 샘플링된 기준영상 정보 및 보조영상 정보에 기초하여 움직임 및 변이 보상을 수행하고, 기준영상을 생성하는 기준영상 생성부를 포함하고, 기준영상 정보는 잔여 데이터를 포함한다. 여기서, 업 샘플링부는 기준영상 정보를 복호화하는 복호화부, 역양자화하는 역양자화부 및 IDCT변환하는 IDCT부를 포함할 수 있다. 업 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 업 샘플링할 수 있다. 예를 들면, 업 샘플링은 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업 샘플링 중 어느 하나로 업 샘플링할 수 있다.
이하에서는 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 단일시점 비디오 부호화 장치를 도시한 것이다. 부호화하고자 하는 영상인 기준영상이 움직임 추정부(101)에 입력된다. 움직임 추정 부(101)는 참조 영상을 이용하여 움직임 추정을 수행한다. 움직임 추정은 매크로 블록(Macro Block) 단위로 수행될 수 있다. 잔여 데이터 생성부는 기준영상의 블록과 움직임 추정된 블록을 이용하여 잔여 데이터를 생성한다. 잔여 데이터는 기준영상의 블록과 참조영상의 움직임 추정된 위치의 블록의 차분 데이터를 포함할 수 있다. 다운 샘플링부(107)는 잔여 데이터를 다운 샘플링한다. 양자화부에서는 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation) 변환과 양자화한다. 양자화부는 DCT 수행부(109)와 양자화 수행부(111)를 포함할 수 있다. 부호화기(113)는 양자화된 잔여 데이터는 부호화하여 비트스트림으로 생성한다. 비트스트림에는 움직임 추정부(101)에서 생성된 움직임 벡터에 대한 정보를 포함할 수 있다. 여기서, 움직임 추정은 기준영상의 매크로블록 사이즈에서 수행된다. 따라서, 기준영상의 매크로 블록과 비교하여 다운 샘플링된 만큼 부호화하는 데이터의 양이 감소된다. 이렇게 함으로써, 부호화되는 잔여 데이터를 감소시켜 작은 비트율로의 전송이 가능하면서도, 화질열화를 최소화할 수 있다.
다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있다. 예를 들어 영상에 포함된 객체가 수평 방향으로 움직임이 적은 경우에는 수평 방향 다운 샘플링을 수행함으로써, 화질열화를 더욱 최소화할 수 있다. 다운 샘플링은 영상에 따라 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다. 다운 샘플링의 상세는 후술한다.
본 발명에 따른 단일시점 비디오 부호화 장치에는 업 샘플링부 및 업 샘플링 된 잔여 데이터를 이용하여 움직임 보상하고, 참조영상을 생성하는 참조영상 생성부를 더 포함할 수 있다. 업 샘플링부는 양자화된 잔여 데이터를 역양자화하는 역양자화 수행부(115), 역양자화된 잔여 데이터를 IDCT(Inverse Discrete Cosine Transformation) 변환하는 IDCT 수행부(117) 및 IDCT된 잔여 데이터를 업 샘플링하는 업 샘플링 수행부(119)를 포함할 수 있다. 참조영상은 업 샘플링된 잔여 데이터를 이용하여 움직임 보상되고, 다음으로 부호화하고자 하는 기준영상의 참조영상으로 이용될 수 있다. 참조영상은 저장부(103)에 저장될 수 있다. 여기서, 업 샘플링은 전술한 다운 샘플링된 잔여 데이터를 복원하기 위한 것이므로, 동일한 방식을 사용한다. 따라서, 다운 샘플링이 수평 방향 다운 샘플링이 되었다면, 업 샘플링도 수평 방향 업 샘플링을 수행하게 된다.
도 2는 본 발명에 따른 단일시점 비디오 복호화 장치를 도시한 것이다. 단일시점 비디오 복호화는 단일시점 비디오 부호화의 역과정으로 수행된다. 먼저 업 샘플링부는 부호화된 잔여 데이터를 포함하는 비트스트림을 업 샘플링한다. 업 샘플링부는 잔여 데이터를 복호화하는 복호화기(201), 복호화된 잔여 데이터를 역양자화하는 역양자화 수행부(203), 역양자화된 잔여 데이터를 IDCT 변환하는 IDCT 수행부(205) 및 IDT 변환된 잔여 데이터는 업 샘플링하는 업 샘플링 수행부(207)를 포함할 수 있다. 기준영상 생성부(209)는 참조영상과 업 샘플링된 잔여 데이터에 기초하여 움직임 보상을 수행하여 기준영상을 생성한다. 다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있고, 다운 샘플링은 영상에 따라 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다. 여기서, 업 샘플링은 단일시점 비디오 부호화 장치에서 다운 샘플링된 잔여 데이터를 복원하기 위한 것이므로, 동일한 방식을 사용한다. 따라서, 다운 샘플링이 수평 방향 다운 샘플링이 되었다면, 업 샘플링도 수평 방향 업 샘플링을 수행하게 된다. 다운 샘플링의 상세는 후술한다.
도 3은 스테레오스코픽(Stereoscopic) DMB 비디오 부호화 구조를 나타내는 구성도도서, 3개의 멀티플 참조픽처를 사용하면서, 역호환성을 갖는 스테레오스코픽 DMB 비디오 부호화 구조이다. 기준시점인 기준영상 부호화 시, 동일 시점에서 이전에 부호화된 3개 참조픽처로부터 움직임 추정을 수행한다. 부가시점인 보조영상 부호화 시는 동일 시점에서 이전에 부호화된 2개의 참조픽처과 기준시점의 동일시간에 있는 1개 참조픽처로부터 움직임 및 변이 추정을 수행한다.
도 4는 본 발명에 따른 다시점 비디오 부호화 장치를 도시한 것이다. 보조영상은 비트스트림 생성부(401)에 입력되어 보조영상에 대한 비트스트림으로 생성된다. 부호화하고자 하는 영상인 기준영상이 움직임 및 변이 추정부(103)에 입력된다. 움직임 및 변이 추정부(101)는 보조영상과 참조 영상을 이용하여 움직임 및 변이 추정을 수행한다. 움직임 및 변이 추정은 매크로 블록(Macro Block) 단위로 수행될 수 있다. 잔여 데이터 생성부는 기준영상의 블록과 움직임 및 변이 추정된 블록을 이용하여 잔여 데이터를 생성한다. 잔여 데이터는 기준영상의 블록과 참조영 상의 움직임 추정된 위치의 블록의 차분 데이터를 포함할 수 있다. 다운 샘플링부(404)는 잔여 데이터를 다운 샘플링한다. 양자화부(405)에서는 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation) 변환과 양자화한다. 양자화부(405)는 DCT 수행부(DCT)와 양자화 수행부(Q)를 포함할 수 있다. 부호화기(407)는 양자화된 잔여 데이터는 부호화하여 비트스트림으로 생성한다. 부호화기(407)는 CAVLC(Context-adaptive variable-length coding) 방법을 이용할 수 있다. 비트스트림에는 움직임 및 변이 추정부(403)에서 생성된 움직임 벡터와 변이 벡터에 대한 정보를 포함할 수 있다. 여기서, 움직임 및 변이 추정은 기준영상의 매크로블록 사이즈에서 수행된다. 따라서, 기준영상의 매크로 블록과 비교하여 다운 샘플링된 만큼 부호화하는 데이터의 양이 감소된다. 이렇게 함으로써, 부호화되는 잔여 데이터를 감소시켜 작은 비트율로의 전송이 가능하면서도, 화질열화를 최소화할 수 있다.
다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있다. 예를 들어 영상에 포함된 객체가 수평 방향으로 움직임이 적은 경우에는 수평 방향 다운 샘플링을 수행함으로써, 화질열화를 더욱 최소화할 수 있다. 다운 샘플링은 영상에 따라 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다. 다운 샘플링의 상세는 후술한다.
본 발명에 따른 다시점 비디오 부호화 장치에는 업 샘플링부(409) 및 업 샘플링된 잔여 데이터를 이용하여 움직임 및 변이 보상하고, 참조영상을 생성하는 참조영상 생성부를 더 포함할 수 있다. 업 샘플링부(409)는 양자화된 잔여 데이터를 역양자화하는 역양자화 수행부(IQ), 역양자화된 잔여 데이터를 IDCT(Inverse Discrete Cosine Transformation) 변환하는 IDCT 수행부(IDCT) 및 IDCT된 잔여 데이터를 업 샘플링하는 업 샘플링 수행부(Up)를 포함할 수 있다. 참조영상은 업 샘플링된 잔여 데이터를 이용하여 움직임 보상되고, 다음으로 부호화하고자 하는 기준영상의 참조영상으로 이용될 수 있다. 보조영상과 참조영상은 저장부(411)에 저장될 수 있다. 여기서, 업 샘플링은 전술한 다운 샘플링된 잔여 데이터를 복원하기 위한 것이므로, 동일한 방식을 사용한다. 따라서, 다운 샘플링이 수평 방향 다운 샘플링이 되었다면, 업 샘플링도 수평 방향 업 샘플링을 수행하게 된다.
도 5 내지 7은 본 발명에 따른 다운 샘플링을 설명하기 위한 도면이다. 잔여 데이터를 다운 샘플링함에 있어서, 현재 부호화하고자 하는 기준영상의 매크로블록이 인터(Inter) 16x16, 8x16, 16x 8, 8x8 모드(Mode)일 경우, 아래 3가지 다운 샘플링 방법을 이용할 수 있다.
(1) 수형 다운 샘플링 모드(Horizontal Downsampling Mode): 수평방향으로 1/2 다운 샘플링
(2) 수직 다운 샘플링 모드(Vertical Downsampling Mode): 수직방향으로 1/2 다운 샘플링
(3) 쿼터 다운 샘플링 모드(Quarter Downsampling Mode): 수평 및 수직방향으로 각각 1/2 다운 샘플링
영상 또는 콘텐츠에 따라 객체가 수평 또는 수직 방향으로 움직임 정도가 다를 수 있다. 따라서, 영상 또는 콘텐츠에 포함된 객체의 움직임 방향에 따라, 수평, 수직 또는 쿼더 다운 샘플링을 적용할 수 있다. 예를 들어, 수평방향으로 움직임이 적은 영상 또는 콘텐츠의 경우, 수평 다운 샘플링을 수행하여 비트량 절감시키면서 화질열화를 감소시킬 수 있다.
한편, 스테레오스코픽 DMB 비디오의 경우, 3D 디스플레이 방식에 따라 320x240 해상도 모니터의 경우, 수평방향으로 인터레이스(interlace)하여 디스플레이를 하는 모니터의 경우는 수평방향의 해상도가 1/2로 축소된 데이터만 디스플레이하므로, 수평 다운 샘플링을 수행하여 수평 방향의 영상 화질 저하를 막을 수 있으며, 수직방향으로 인터레이스하여 디스플레이를 하는 모니터의 경우는 수직방향의 해상도가 1/2로 축소된 데이터만 디스플레이하므로, 수직 다운 샘플링을 수행하여 수평방향의 영상 화질 저하를 막을 수 있다.
잔여 데이터의 다운 샘플링을 적용한 예측모드에 있어서, 다운 샘플링은 JMVM(Joint Multi-view Video Model)에 있는 인터(Inter) 예측모드 중에서 인터 16x16, 8x16, 16x8, 8x8의 4개 인터 예측모드에 대하여 수행할 수 있다. 따라서, 다시점 비디오 부호화(MVC)에서는 각 매크로블록에서 휘도성분 대하여 4x4화소의 16개 블록으로 분할하여 16번의 4x4 DCT 및 양자화를 수행한다. 본 발명의 경우, 도 5 내지 7에 도시된 바와 같이 잔여 데이터 다운 샘플링을 수행함으로써, 8번 또는 4번의 4x4 DCT 및 양자화를 수행하게 된다. 이때, 다운 샘플링은 3탭 필터[ 계 수 : (1,2,1)/4 ] 를 사용하였으며, 업 샘플링은 AVC(Advanced Vedio coding)에서 사용하고 있는 6탭 FIR(Finite Impulse Response) 필터 [계수 : (1, -5, 20, 20, -5, 1)/32]를 사용할 수 있다.
도 5는 본 발명에 따른 잔여 데이터의 수평 다운샘플링에 의한 부호화 방식을 설명하기 위한 도면이다. 도 5에 도시된 바와 같이, 휘도성분 Y에 대해서는 8x4화소의 8개 블록으로 분할하여 이를 4x4 화소 블록으로 다운 샘플링한다. 다운 샘플링된 8개의 4x4화소 블록에 대하여 DCT 및 양자화를 수행한다. 색차성분 Cb 와 Cr 에 대해서는 각각 8x4화소의 2개 블록으로 분할하여 이를 4x4화소 블록으로 다운 샘플링한다. 2개씩의 4x4화소 블록으로 된 Cb, Cr 성분을 도 5와 같이 배열하고, 4개의 DC 성분에 대하여 2x2 하다마드(Hadamard) 변환을 수행하고, 각각의 4x4화소 블록을 DCT 및 양자화를 수행한다.
도 6은 본 발명에 따른 잔여 데이터의 수직 다운 샘플링에 의한 부호화 방식을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, 휘도성분 Y에 대해서는 4x8화소의 8개 블록으로 분할하여 이를 4x4 화소 블록으로 다운 샘플링한다. 다운 샘플링된 8개의 4x4화소 블록에 대하여 DCT 및 양자화를 수행한다. 색차성분 Cb 와 Cr 에 대해서는 각각 4x8화소의 2개 블록으로 분할하여 이를 4x4화소 블록으로 다운 샘플링한다. 2개씩의 4x4화소 블록으로 된 Cb, Cr 성분을 그림 4와 같이 배열하고, 4개의 DC 성분에 대하여 2x2 하다마드 변환을 수행하고, 각각의 블록을 DCT 및 양자화를 수행한다.
도 7은 본 발명에 따른 잔여 데이터의 쿼터 다운 샘플링에 의한 부호화 방식을 설명하기 위한 도면이다. 도 7에 도시된 바와 같이, 휘도성분 Y에 대해서는 8x8화소의 4개 블록으로 분할하여 이를 4x4 화소 블록으로 다운 샘플링한다. 다운 샘플링된 4개의 4x4화소 블록에 대하여 DCT 및 양자화를 수행한다. 색차성분 Cb 와 Cr 에 대해서는 각각 8x8화소의 1개 블록으로 분할하여 이를 4x4화소 블록으로 다운 샘플링한다. 1개씩의 4x4화소 블록으로 된 Cb, Cr 성분을 각각 DCT 및 양자화를 수행한다.
도 8은 본 발명에 따른 다시점 비디오 복호화 장치를 도시한 것이다. 다시점 비디오 복호화는 다시점 비디오 부호화의 역과정으로 수행된다. 먼저 보조영상 생성부(801)는 보조영상 정보를 포함하는 보조 비트스트림을 입력받아 보조영상을 생성한다. 보조영상 생성부(801)는 AVC H.264 방식을 이용할 수 있다. 다음으로 업 샘플링부는 기준영상에 대한 잔여 데이터를 포함하는 기준 비트스트림을 입력받아 잔여 데이터를 업 샘플링한다. 업 샘플링부는 잔여 데이터를 복호화하는 복호화기(803), 복호화된 잔여 데이터를 역양자화하는 역양자화 수행부(805), 역양자화된 잔여 데이터를 IDCT 변환하는 IDCT 수행부(807) 및 IDT 변환된 잔여 데이터는 업 샘플링하는 업 샘플링 수행부(809)를 포함할 수 있다. 기준영상 생성부(813)는 참조영상, 보조영상 정보 및 업 샘플링된 잔여 데이터에 기초하여 움직임 및 변이 보 상을 수행하여 기준영상을 생성한다. 다운 샘플링은 영상의 움직임 방향에 따라 잔여 데이터를 다운 샘플링할 수 있고, 다운 샘플링은 영상에 따라 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링할 수 있다. 여기서, 업 샘플링은 다시점 비디오 부호화 장치에서 다운 샘플링된 잔여 데이터를 복원하기 위한 것이므로, 동일한 방식을 사용한다. 따라서, 다운 샘플링이 수평 방향 다운 샘플링이 되었다면, 업 샘플링도 수평 방향 업 샘플링을 수행하게 된다.
한편, 디블로킹 필터(De-bloking Filter)는 AVC에서 사용하고 있는 디블로킹 알고리즘을 이용할 수 있다. 다만, 잔여 데이터의 다운 샘플링에 의하여 부호화가 이루어지지 않은 블록에 대하여 참조가 이루어지지 않도록 인덱싱 부분을 수정할 수 있다.
본 발명에 따른 잔여 데이터를 다운 샘플링하는 방법을 구현하기 위한 신택스는 sequence_paprameter_mvc_extension()에 본 발명에 따른 잔여 데이터에 대한 다운 샘플링 모드에 대한 정보(residual_dowmsampling_mode)를 추가할 수 있다. 아래는 이에 따른 신텍스(Syntax)의 예시이다.
sequence_paprameter_mvc_extension()
{
num_views_minus_1
for(i=0; i<=num_views_minus_1;i++){
residual_dowmsampling_mode[i]
}
}
여기서, 잔여 데이터에 대한 다운 샘플링 모드에 대한 정보는 H.7.4.1 "sequence parameter set MVC extension semantics"에 표 1과 같은 정보가 포함될 수 있다.
Value Mode
00 Non_residual_downsampling
01 Horizontal_residual_downsampling
10 Vertical_residual_downsampling
11 Quarter_residual_downsampling
도 9 내지 도 20은 종래 기술과 본 발명에 대한 실험결과를 도시한 것이다.
도 9 내지 도 14을 참조하면, 우영상에 대해 종래 기술에 의한 Simulcase_JMVM, MVC_JMVM와 본 발명에 따른 Resi_Down의 실험 결과를 비교할 수 있다. 도면에서 X 축은 비트레이트(kbit/s)를 나타내고, Y축은 PSNR (peak signal-to-noise ratio)을 나타낸다. 도 9 내지 도 14는 서로 다른 영상에 대해 각각 실험한 것이다. 여기서, RH는 수평방향의 1/2축소, RV는 수직방향의 1/2축소, RQ는 수평 및 수직방향의 1/2 축소를 수행하였음을 각각 의미한다. 본 발명은 MVC보다 평균 0.1~1.2dB 정도 우수한 결과를 보였다.
도 15 내지 도 20을 참조하면, 우영상에 대해 종래 기술에 의한 MVC_JMVM, MVC_JMVM_IC와 본 발명에 따른 Resi_Down의 실험 결과를 비교할 수 있다. 도면에서 X 축은 비트레이트(kbit/s)를 나타내고, Y축은 PSNR (peak signal-to-noise ratio)을 나타낸다. 도 15 내지 도 20은 서로 다른 영상에 대해 각각 실험한 것이다. 여기서, 우영상에 대하여, IC(illumination compensation)를 온(On)시킨 MVC의 결과와 IC를 온시키고 수평방향으로 1/2축소하여 부호화한 실험결과에 있어서, MVC에서 IC를 온시킨 결과와의 비교에서 본 발명에 따른 수평방향으로 1/2축소하고 IC를 온시켰을 때 약 0.1~1.6dB 향상되었다. 본 발명에 따라 수직방향으로 1/2축소한 RV 방법과 수평 및 수직으로 1/2씩 축소한 RQ 방법에 대해서도 유사한 실험결과를 얻었다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 저비트율에서 보다 효율적인 압축을 달성하는 단일시점 비디오 부호화와 복호화 및 다시점 비디오 부호화 및 복호화에 사용된다.
도 1은 본 발명에 따른 단일시점 비디오 부호화 장치를 도시한 것이다.
도 2는 본 발명에 따른 단일시점 비디오 복호화 장치를 도시한 것이다.
도 3은 스테레오스코픽(Stereoscopic) DMB 비디오 부호화 구조를 나타내는 구성도이다.
도 4는 본 발명에 따른 다시점 비디오 부호화 장치를 도시한 것이다.
도 5 내지 7은 본 발명에 따른 다운 샘플링을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 다시점 비디오 복호화 장치를 도시한 것이다.
도 9 내지 도 20은 종래 기술과 본 발명에 대한 실험결과를 도시한 것이다.

Claims (36)

  1. 기준영상, 보조영상 및 참조영상에 기초하여 움직임 및 변이 추정을 수행하는 단계;
    상기 기준영상과 상기 움직임 및 변이 추정된 데이터를 이용하여 잔여 데이터를 생성하는 단계;
    상기 잔여 데이터를 다운 샘플링(down sampling)하는 단계; 및
    상기 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation) 변환과 양자화하는 단계를 포함하는, 다시점 비디오 부호화 방법.
  2. 제1항에 있어서,
    상기 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 단계; 및
    상기 업 샘플링된 잔여 데이터를 이용하여 움직임 및 변이 보상하고, 참조영상을 생성하는 단계를 더 포함하는, 다시점 비디오 부호화 방법.
  3. 제1항에 있어서,
    상기 움직임 및 변이 추정은
    상기 기준영상의 매크로블록 사이즈에서 수행되는, 다시점 비디오 부호화 방법.
  4. 제1항에 있어서,
    상기 다운 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 다운 샘플링하는, 다시점 비디오 부호화 방법.
  5. 제1항에 있어서,
    상기 다운 샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링하는, 다시점 비디오 부호화 방법.
  6. 기준영상, 보조영상 및 참조영상에 기초하여 움직임 및 변이 추정을 수행하는 움직임 및 변이 추정부;
    상기 기준영상과 상기 움직임 및 변이 추정된 데이터를 이용하여 잔여 데이 터를 생성하는 잔여 데이터 생성부;
    상기 잔여 데이터를 다운 샘플링(down sampling)하는 다운 샘플링부; 및
    상기 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 양자화부를 포함하는, 다시점 비디오 부호화 장치.
  7. 제6항에 있어서,
    상기 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 업 샘플링부; 및
    상기 업 샘플링된 잔여 데이터를 이용하여 움직임 및 변이 보상하고, 참조영상을 생성하는 참조영상 생성부를 더 포함하는, 다시점 비디오 부호화 장치.
  8. 제6항에 있어서,
    상기 움직임 및 변이 추정은
    상기 기준영상의 매크로블록 사이즈에서 수행되는, 다시점 비디오 부호화 장치.
  9. 제6항에 있어서,
    상기 다운 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 다운 샘플링하는, 다시점 비디오 부호화 장치.
  10. 제6항에 있어서,
    상기 다운 샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링하는, 다시점 비디오 부호화 장치.
  11. 기준영상 정보와 보조영상 정보를 포함하는 비트스트림을 수신하는 단계;
    상기 기준영상 정보를 업 샘플링하는 단계;
    참조영상, 상기 업 샘플링된 기준영상 정보 및 상기 보조영상 정보에 기초하여 움직임 및 변이 보상을 수행하고, 기준영상을 생성하는 단계를 포함하고,
    상기 기준영상 정보는
    잔여 데이터를 포함하는, 다시점 비디오 복호화 방법.
  12. 제11항에 있어서,
    상기 업 샘플링하는 단계는
    상기 기준영상 정보를 복호화, 역양자화 및 IDCT변환을 수행하는 단계를 포함하는, 다시점 비디오 복호화 방법.
  13. 제11항에 있어서,
    상기 업 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 업 샘플링하는, 다시점 비디오 복호화 방법.
  14. 제11항에 있어서,
    상기 업 샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업 샘플링 중 어느 하나로 업 샘플링하는, 다시점 비디오 복호화 방법.
  15. 기준영상 정보와 보조영상 정보를 포함하는 비트스트림을 수신하는 수신부;
    상기 기준영상 정보를 업 샘플링하는 업 샘플링부;
    참조영상, 상기 업 샘플링된 기준영상 정보 및 상기 보조영상 정보에 기초하여 움직임 및 변이 보상을 수행하고, 기준영상을 생성하는 기준영상 생성부를 포함하고,
    상기 기준영상 정보는
    잔여 데이터를 포함하는, 다시점 비디오 복호화 장치.
  16. 제15항에 있어서,
    상기 업 샘플링부는
    상기 기준영상 정보를 복호화하는 복호화부, 역양자화하는 역양자화부 및 IDCT변환하는 IDCT부를 포함하는, 다시점 비디오 복호화 장치.
  17. 제15항에 있어서,
    상기 업 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 업 샘플링하는, 다시점 비디오 복호화 장치.
  18. 제15항에 있어서,
    상기 업 샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업 샘플링 중 어느 하나로 업 샘플링하는, 다시점 비디오 복호화 장치.
  19. 기준영상과 참조영상에 기초하여 움직임 추정을 수행하는 단계;
    상기 기준영상의 블록과 상기 움직임 추정된 블록을 이용하여 잔여 데이터를 생성하는 단계;
    상기 잔여 데이터를 다운 샘플링(down sampling)하는 단계; 및
    상기 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 단계를 포함하는, 단일시점 비디오 부호화 방법.
  20. 제19항에 있어서,
    상기 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 단계; 및
    상기 업 샘플링된 잔여 데이터를 이용하여 움직임 보상하고, 참조영상을 생 성하는 단계를 더 포함하는, 단일시점 비디오 부호화 방법.
  21. 제19항에 있어서,
    상기 움직임 추정은
    상기 기준영상의 매크로블록 사이즈에서 수행되는, 단일시점 비디오 부호화 방법.
  22. 제19항에 있어서,
    상기 다운 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 다운 샘플링하는, 단일시점 비디오 부호화 방법.
  23. 제19항에 있어서,
    상기 다운 샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링하는, 단일시점 비디오 부호화 방법.
  24. 기준영상과 참조영상에 기초하여 움직임 추정을 수행하는 움직임 추정부;
    상기 기준영상의 블록과 상기 움직임 추정된 블록을 이용하여 잔여 데이터를 생성하는 잔여 데이터 생성부;
    상기 잔여 데이터를 다운 샘플링(down sampling)하는 다운 샘플링부; 및
    상기 다운 샘플링된 잔여 데이터를 DCT(Discrete Cosine Transformation)변환과 양자화하는 양자화부를 포함하는, 단일시점 비디오 부호화 장치.
  25. 제19항에 있어서,
    상기 양자화된 잔여 데이터를 역양자화와 IDCT(Inverse Discrete Cosine Transformation) 변환하고, 업 샘플링하는 업 샘플링부; 및
    상기 업 샘플링된 잔여 데이터를 이용하여 움직임 보상하고, 참조영상을 생성하는 참조영상생성부를 더 포함하는, 단일시점 비디오 부호화 장치.
  26. 제19항에 있어서,
    상기 움직임 추정은
    상기 기준영상의 매크로블록 사이즈에서 수행되는, 단일시점 비디오 부호화 장치.
  27. 제19항에 있어서,
    상기 다운 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 다운 샘플링하는, 단일시점 비디오 부호화 장치.
  28. 제19항에 있어서,
    상기 다운 샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)다운 샘플링 중 어느 하나로 다운 샘플링하는, 단일시점 비디오 부호화 장치.
  29. 잔여 데이터를 갖는 기준영상 정보를 포함하는 비트스트림을 수신하는 단계;
    상기 잔여 데이터를 업 샘플링하는 단계; 및
    참조영상과 상기 업 샘플링된 잔여 데이터에 기초하여 움직임 보상을 수행하고, 기준영상을 생성하는 단계를 포함하는, 단일시점 비디오 복호화 방법.
  30. 제29항에 있어서,
    상기 업 샘플링하는 단계는
    상기 잔여 데이터를 복호화, 역양자화 및 IDCT변환을 수행하는 단계를 포함하는, 단일시점 비디오 복호화 방법.
  31. 제29항에 있어서,
    상기 업 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 업 샘플링하는, 단일시점 비디오 복호화 방법.
  32. 제29항에 있어서,
    상기 업샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업샘플링 중 어느 하나로 업샘플링하는, 단일시점 비디오 복호화 방법.
  33. 잔여 데이터를 갖는 기준영상 정보를 포함하는 비트스트림을 수신하는 수신부;
    상기 잔여 데이터를 업 샘플링하는 업 샘플링부; 및
    참조영상과 상기 업 샘플링된 잔여 데이터에 기초하여 움직임 보상을 수행하고, 기준영상을 생성하는 기준영상 생성부를 포함하는, 단일시점 비디오 복호화 장치.
  34. 제33항에 있어서,
    상기 업 샘플링하는 단계는
    상기 잔여 데이터를 복호화하는 복호화부, 역양자화하는 역양자화부 및 IDCT변환하는 IDCT부를 포함하는, 단일시점 비디오 복호화 장치.
  35. 제33항에 있어서,
    상기 업 샘플링은
    영상의 움직임 방향에 따라 상기 잔여 데이터를 업 샘플링하는, 단일시점 비디오 복호화 장치.
  36. 제33항에 있어서,
    상기 업 샘플링은
    상기 잔여 데이터를 수평(horizontal), 수직(vertical) 방향 또는 수직 및 수평 방향(quarter)업 샘플링 중 어느 하나로 업 샘플링하는, 단일시점 비디오 복호화 장치.
KR1020080095539A 2007-10-05 2008-09-29 단일시점 또는 다시점 비디오 부호화와 복호화 방법 및 그 장치 KR20090035427A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070100610 2007-10-05
KR20070100610 2007-10-05

Publications (1)

Publication Number Publication Date
KR20090035427A true KR20090035427A (ko) 2009-04-09

Family

ID=40526400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080095539A KR20090035427A (ko) 2007-10-05 2008-09-29 단일시점 또는 다시점 비디오 부호화와 복호화 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20110268193A1 (ko)
KR (1) KR20090035427A (ko)
WO (1) WO2009045032A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010086500A1 (en) * 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US20110090965A1 (en) * 2009-10-21 2011-04-21 Hong Kong Applied Science and Technology Research Institute Company Limited Generation of Synchronized Bidirectional Frames and Uses Thereof
CN102763421B (zh) 2010-02-15 2015-08-26 汤姆森许可贸易公司 处理视频内容的装置和方法
EP2676446B1 (en) * 2011-02-15 2018-07-04 Thomson Licensing DTV Apparatus and method for generating a disparity map in a receiving device
JP5749595B2 (ja) * 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
JP5979848B2 (ja) * 2011-11-08 2016-08-31 キヤノン株式会社 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US9497439B2 (en) * 2013-07-15 2016-11-15 Ati Technologies Ulc Apparatus and method for fast multiview video coding
US10880566B2 (en) 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
CN105163124B (zh) * 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
CN110335228B (zh) * 2018-03-30 2021-06-25 杭州海康威视数字技术股份有限公司 一种图像视差的确定方法、装置及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021347A1 (en) * 2001-07-24 2003-01-30 Koninklijke Philips Electronics N.V. Reduced comlexity video decoding at full resolution using video embedded resizing
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
CN101243692B (zh) * 2005-08-22 2010-05-26 三星电子株式会社 对多视角视频进行编码的方法和设备
CN101371584B (zh) * 2006-01-09 2011-12-14 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
ES2625902T3 (es) * 2006-01-09 2017-07-20 Dolby International Ab Procedimientos y aparatos para la compensación de iluminación y color en la codificación de vídeo de múltiples vistas

Also Published As

Publication number Publication date
US20110268193A1 (en) 2011-11-03
WO2009045032A1 (en) 2009-04-09

Similar Documents

Publication Publication Date Title
US11758139B2 (en) Image processing device and method
CN107277516B (zh) 图像处理设备和方法
KR20090035427A (ko) 단일시점 또는 다시점 비디오 부호화와 복호화 방법 및 그 장치
EP1774793A1 (en) Scalable video coding with grid motion estimation and compensation
EP2859724A1 (en) Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
KR102160242B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application