KR20120096317A - 스테레오스코픽 비디오를 부호화하는 방법 및 그 장치 - Google Patents

스테레오스코픽 비디오를 부호화하는 방법 및 그 장치 Download PDF

Info

Publication number
KR20120096317A
KR20120096317A KR1020110015659A KR20110015659A KR20120096317A KR 20120096317 A KR20120096317 A KR 20120096317A KR 1020110015659 A KR1020110015659 A KR 1020110015659A KR 20110015659 A KR20110015659 A KR 20110015659A KR 20120096317 A KR20120096317 A KR 20120096317A
Authority
KR
South Korea
Prior art keywords
image
video
additional
decoded
preprocessing
Prior art date
Application number
KR1020110015659A
Other languages
English (en)
Inventor
이봉호
정원식
허남호
이병탁
김재곤
Original Assignee
한국전자통신연구원
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국항공대학교산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020110015659A priority Critical patent/KR20120096317A/ko
Priority to US13/341,757 priority patent/US20120212578A1/en
Publication of KR20120096317A publication Critical patent/KR20120096317A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Abstract

스테레오스코픽 비디오(stereoscopic video) 부호화 방법 및 장치가 제공된다. 상기 스테레오스코픽 비디오 부호화 방법은 원본 기준 영상을 부호화하는 단계, 상기 원본 기준 영상, 복호된 기준 영상 및 원본 부가 영상을 기반으로 전처리를 수행하는 단계, 상기 원본 부가 영상 및 상기 전처리 수행에 의하여 얻은 향상된 복호 영상을 기반으로 상기 원본 부가 영상을 부호화하는 단계, 및 상기 원본 부가 영상 및 복호된 부가 영상을 기반으로 후처리를 수행하는 단계를 포함한다.

Description

스테레오스코픽 비디오를 부호화하는 방법 및 그 장치 {METHOD AND APPARATUS OF CODING STEREOSCOPIC VIDEO}
본 발명은 디지털 방송에 관한 것으로, 보다 상세하게는 스테레오스코픽 비디오를 부호화하는 방법 및 장치에 관한 것이다.
스테레오스코피(stereoscopy)는 2개의 오프셋 이미지(offset image)를 시청자의 왼쪽 눈과 오른쪽 눈에 각각 개별적으로 제공하여 심도의 환영(illusion of depth)를 만들거나 향상시키는 기술을 의미한다. 스테레오스코피에 의해서 3D 영상이 제공될 수 있다. 스테레오스코픽 비디오(stereoscopic video)는 스테레오스코피에 의해서 생성된 영상을 의미한다.
스테레오스코픽 비디오를 통해 3D 영상을 제공하는 것뿐만 아니라, 기존의 2D 영상 사용자와의 하위 호환성(backward compatibility)을 유지하는 것도 중요하다. 즉, 2D 영상의 서비스 품질을 유지하면서 새로운 3D 영상을 제공해야 한다. 이에 따라 디지털 방송, 특히 제한된 대역폭을 가지는 지상파 방송에서 3D 방송을 위한 스테레오스코픽 비디오를 효율적으로 부호화하기 위한 기술이 요구된다.
스테레오스코픽 비디오는 기존 모노 비디오에 비해서 2배의 데이터량을 가지므로 2배의 대역폭이 필요하다. 또한, 스테레오스코픽 비디오는 인접한 2개의 카메라로부터 획득한 영상이므로, 좌우 영상간의 공간적 중복성이 크다. 이에 따라 중복된 정보를 제거하여 압축하는 방식의 스테레오스코픽 비디오 부호화 기술이 다양하게 연구되었고, Joint Video coding Team(JVT)에 주도 하에 Multi-view Video Coding(MVC) 코덱에 대한 표준화가 2008년에 완료되었다. MVC 코덱은 스테레오스코픽 비디오를 압축할 때 좌우 영상의 화소 간의 밝기 차이를 기반으로 하는 양안시차 추정을 이용한다. 그러나 양안시차 추정을 수행할 때 두 카메라의 초점 거리, 방향, 상대적 위치, 조리개에 입사되는 빛의 양 등의 미세한 차이에 의해서 좌우 영상의 화소 간의 밝기 차이가 많이 발생할 수 있고, 이에 따라 좌우 영상 간의 공간적 중복성이 효율적으로 제거되지 못할 수 있다.
따라서 좌우 영상 간의 공간적 중복성을 효율적으로 제거하면서 부호화 과정에서 발생하는 부호화 손실 또한 효과적으로 제거하기 위한 스트레오스코픽 비디오의 부호화 방법 및 장치가 필요하다.
본 발명의 기술적 과제는 스테레오스코픽 비디오(stereoscopic video)를 부호화하는 방법 및 장치를 제공하는 데에 있다.
일 양태에 있어서, 스테레오스코픽 비디오(stereoscopic video) 부호화 방법이 제공된다. 상기 스테레오스코픽 비디오 부호화 방법은 원본 기준 영상을 부호화하는 단계, 상기 원본 기준 영상, 복호된 기준 영상 및 원본 부가 영상을 기반으로 전처리를 수행하는 단계, 상기 원본 부가 영상 및 상기 전처리 수행에 의하여 얻은 향상된 복호 영상을 기반으로 상기 원본 부가 영상을 부호화하는 단계, 및 상기 원본 부가 영상 및 복호된 부가 영상을 기반으로 후처리를 수행하는 단계를 포함한다.
상기 전처리를 수행하는 단계는 상기 복호된 기준 영상에 대해서 전 이미지 필터링을 수행하는 단계를 포함할 수 있다.
상기 전 이미지 필터링은 디블로킹(deblocking) 필터 또는 위너(Wiener) 필터 기반의 적응 루프 필터(ALF; Adaptive Loop Filter) 중 적어도 하나를 기반으로 수행될 수 있다.
상기 전처리를 수행하는 단계는 상기 복호된 기준 영상 및 상기 원본 부가 영상을 입력으로 하여 글로벌 모션 변환을 수행하는 단계를 포함할 수 있다.
상기 글로벌 모션 변환에 Affine, Perspective, Polynomial의 글로벌 모션 변환 모델 중 어느 하나의 글로벌 모션 변환 모델이 적용될 수 있다.
상기 전처리를 수행하는 단계는 상기 글로벌 모션 변환에 의하여 출력된 글로벌 모션 변환 영상에 대해 후 이미지 필터링을 수행하는 단계를 더 포함할 수 있다.
상기 후 이미지 필터링은 디블로킹 필터 또는 위너 필터 기반의 적응 루프 필터 중 적어도 하나를 기반으로 수행될 수 있다.
상기 후처리를 수행하는 단계는 상기 복호된 부가 영상에 대해서 이미지 필터링을 수행하는 단계를 포함할 수 있다.
상기 이미지 필터링은 디블로킹 필터 또는 위너 필터 기반의 적응 루프 필터 중 적어도 하나를 기반으로 수행될 수 있다.
상기 원본 기준 영상은 MPEG(Motion Picture Experts Group)-2 비디오로 부호화 될 수 있다.
상기 스테레오스코픽 비디오 부호화 방법은 상기 전처리 수행 또는 후처리 수행에 의하여 생성되는 부가 데이터에 대하여 엔트로피 부호화를 수행하는 단계를 더 포함할 수 있다.
다른 양태에 있어서, 스테레오스코픽 비디오 복호화 방법이 제공된다. 상기 스테레오스코픽 비디오 복호화 방법은 수신한 기준 영상 비트 스트림을 복호하는 단계, 복호된 기준 영상을 기반으로 하여 수신한 부가 데이터 비트 스트림에 대하여 전처리를 수행하는 단계, 수신한 부가 영상 비트 스트림과 상기 전처리 수행에 의하여 얻은 향상된 복호 영상을 기반으로 부가 영상을 복호하는 단계, 및 상기 수신한 부가 데이터 비트 스트림에 대하여 후처리를 수행하는 단계를 포함한다.
상기 전처리를 수행하는 단계는 상기 복호된 기준 영상에 대해서 전 이미지 필터링을 수행하는 단계를 포함할 수 있다.
상기 전처리를 수행하는 단계는 상기 복호된 기준 영상을 입력으로 하여 글로벌 모션 변환을 수행하는 단계를 포함할 수 있다.
상기 전처리를 수행하는 단계는 상기 글로벌 모션 변환에 의하여 출력된 글로벌 모션 변환 영상에 대해 후 이미지 필터링을 수행하는 단계를 더 포함할 수 있다.
상기 후처리를 수행하는 단계는 상기 복호된 부가 영상에 대해서 이미지 필터링을 수행하는 단계를 포함할 수 있다.
상기 수신한 기준 영상 비트 스트림은 MPEG-2 비디오로 복호될 수 있다.
상기 스테레오스코픽 비디오 복호화 방법은 상기 수신한 부가 데이터 비트 스트림에 대하여 엔트로피 복호화를 수행하는 단계를 더 포함할 수 있다.
부가 영상의 부호화 효율을 향상시켜 스테레오스코픽 비디오의 부호화 효율을 향상시킬 수 있다.
도 1은 제안된 스테레오스코픽 비디오 부호화 방법의 일 실시예이다.
도 2는 전처리 과정의 일 실시예이다.
도 3은 전처리 과정의 또 다른 실시예이다.
도 4는 전처리 과정의 또 다른 실시예이다.
도 5는 전처리 과정의 또 다른 실시예이다.
도 6은 전처리 과정의 또 다른 실시예이다.
도 7은 후처리 과정의 일 실시예이다.
도 8은 제안된 스테레오스코픽 비디오 복호화 방법의 일 실시예이다.
도 9는 제안된 스테레오스코픽 비디오 코덱 장치의 블록도의 일 예이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 제안된 스테레오스코픽 비디오 부호화 방법의 일 실시예이다.
도 1을 참조하면, 단계 S100에서 부호기는 원본 기준 영상을 부호화한다. 이때 기준 영상 비트 스트림(bit stream)이 생성될 수 있다. 상기 원본 기준 영상은 MPEG(Motion Picture Experts Group)-2 비디오로 부호화될 수 있다. 상기 MPEG-2 비디오는 ISO/IEC 13818-2 Information technology - Generic coding of moving pictures and associated audio information: Video 규격을 의미한다. 또는 상기 원본 기준 영상은 MPEG-2 비디오 이외의 다른 포맷의 비디오로도 부호화될 수 있으며, 본 발명은 이에 제한되지 않는다.
단계 S110에서 부호기는 상기 원본 기준 영상, 복호된 기준 영상 및 원본 부가 영상을 기반으로 전처리를 수행한다. 이에 따라 향상된 복호 영상을 얻을 수 있다. 또한, 전처리 과정에서 부가 데이터 비트 스트림이 생성될 수 있다.
단계 S120에서 부호기는 상기 원본 부가 영상을 부호화한다. 이때 상기 향상된 복호 영상을 기반으로 할 수 있다. 부호화 방식으로 MPEG-2 Multi-view Profile, H.264/MVC(Multi-view Video Coding) Stereo High Profile 등 기준 영상을 참조하는 방식들이 모두 사용될 수 있다. 또는, 새로운 부호화 방식이 사용될 수도 있다. 또한, 이때 부가 영상 비트 스트림이 생성될 수 있다.
단계 S130에서 부호기는 상기 원본 부가 영상 및 복호된 부가 영상을 기반으로 후처리를 수행한다. 이를 통해 화질이 향상된 복호 영상을 얻을 수 있다. 또한, 후처리 과정에서도 부가 데이터 비트 스트림이 생성될 수 있다.
도 1의 단계 S110의 전처리 과정은 다양한 방법에 의하여 수행될 수 있다. 이하, 도 1의 단계 S110의 전처리 과정을 구체화하여 설명한다.
도 2는 전처리 과정의 일 실시예이다.
도 2를 참조하면, 단계 S111에서 부호기는 복호된 기준 영상에 대하여 전 이미지 필터링을 수행한다. 전 이미지 필터링을 수행함에 있어서 디블록킹(deblocking) 필터 또는 위너(Wiener) 필터 기반의 적응 루프 필터(ALF; Adaptive Loop Filter) 중 적어도 하나가 사용될 수 있다.
단계 S112에서 부호기는 상기 전 이미지 필터링이 수행된 복호된 기준 영상과 원본 부가 영상을 입력으로 하여 글로벌 모션 변환을 수행한다. 글로벌 모션 변환을 수행함으로써 글로벌 모션 변환 영상이 출력된다. 글로벌 모션 변환을 수행함에 있어서 Affine, Perspective, Polynomial 등의 다양한 글로벌 모션 변환 모델이 사용될 수 있다.
단계 S113에서 부호기는 상기 글로벌 모션 변환 영상과 원본 부가 영상을 입력으로 하여 후 이미지 필터링을 수행한다. 후 이미지 필터링에 의해서 향상된 복호 영상을 얻을 수 있다. 후 이미지 필터링을 수행할 때 단계 S111의 전 이미지 필터링 과정과 마찬가지로 디블록킹 필터 또는 위너 필터 기반의 적응 루프 필터 중 적어도 하나가 사용될 수 있다.
도 3은 전처리 과정의 또 다른 실시예이다.
도 3의 전처리 과정은 도 2의 전처리 과정 중 전 이미지 필터링 과정만을 포함한다. 단계 S114에서 부호기는 복호된 기준 영상에 대하여 전 이미지 필터링을 수행한다. 단계 S114의 전 이미지 필터링 과정은 도 2의 단계 S111의 전 이미지 필터링 과정과 동일한 기능을 수행할 수 있다.
도 4는 전처리 과정의 또 다른 실시예이다.
도 4의 전처리 과정은 도 2의 전처리 과정 중 글로벌 모션 변환 과정만을 포함한다. 단계 S115에서 부호기는 복호된 기준 영상과 원본 부가 영상을 입력으로 하여 글로벌 모션 변환을 수행한다. 단계 S115의 글로벌 모션 변환 과정은 도 2의 단계 S112의 글로벌 모션 변환 과정과 동일한 기능을 수행할 수 있다.
도 5는 전처리 과정의 또 다른 실시예이다.
도 5의 전처리 과정은 도 2의 전처리 과정 중 전 이미지 필터링 과정과 글로벌 모션 변환 과정을 포함한다. 단계 S116에서 부호기는 복호된 기준 영상에 대하여 전 이미지 필터링을 수행한다. 단계 S116의 전 이미지 필터링 과정은 도 2의 단계 S111의 전 이미지 필터링 과정과 동일한 기능을 수행할 수 있다. 단계 S117에서 부호기는 상기 전 이미지 필터링이 수행된 복호된 기준 영상과 원본 부가 영상을 입력으로 하여 글로벌 모션 변환을 수행한다. 단계 S117의 글로벌 모션 변환 과정은 도 2의 단계 S112의 글로벌 모션 변환 과정과 동일한 기능을 수행할 수 있다.
도 6은 전처리 과정의 또 다른 실시예이다.
도 6의 전처리 과정은 도 2의 전처리 과정 중 글로벌 모션 변환 과정과 후 이미지 필터링 과정을 포함한다. 단계 S118에서 부호기는 복호된 기준 영상과 원본 부가 영상을 입력으로 하여 글로벌 모션 변환을 수행한다. 단계 S118의 글로벌 모션 변환 과정은 도 2의 단계 S112의 글로벌 모션 변환 과정과 동일한 기능을 수행할 수 있다. 단계 S119에서 부호기는 상기 글로벌 모션 변환 과정에서 출력된 상기 글로벌 모션 변환 영상과 원본 부가 영상을 입력으로 하여 후 이미지 필터링을 수행한다. 단계 S119의 후 이미지 필터링 과정은 도 2의 단계 S113의 후 이미지 필터링 과정과 동일한 기능을 수행할 수 있다.
도 2 내지 도 6에서 전 이미지 필터링, 글로벌 모션 변환 및 후 이미지 필터링을 조합한 다양한 방법의 전처리 과정의 예시를 설명하였으나, 이에 제한되지 않으며 새로운 조합의 전처리 과정도 본 발명에 적용될 수 있다. 또한, 전 이미지 필터링, 글로벌 모션 변환 및 후 이미지 필터링 외에 설명되지 않은 방법을 통하여 전처리 과정이 수행될 수도 있다.
전처리 과정이 다양한 방법에 의하여 수행되는 것과 마찬가지로, 도 1의 단계 S130의 후처리 과정도 다양한 방법에 의하여 수행될 수 있다.
도 7은 후처리 과정의 일 실시예이다.
도 7을 참조하면, 단계 S131에서 부호기는 복호된 부가 영상에 대해 이미지 필터링을 수행한다. 이미지 필터링을 수행함에 있어서 디블록킹 필터 또는 위너 필터 기반의 적응 루프 필터 중 적어도 하나가 사용될 수 있다.
한편, 상기 전처리 과정 또는 후처리 과정에서 부가 데이터에 대해 엔트로피 부호화가 추가로 수행될 수 있다. 상기 부가 데이터는 상기 전처리 과정 또는 후처리 과정에서 생성된 필터 계수 또는 변환 계수일 수 있다. 상기 엔트로피 부호화에 의해서 부가 데이터 비트 스트림이 생성될 수 있다.
도 8은 제안된 스테레오스코픽 비디오 복호화 방법의 일 실시예이다.
도 2를 참조하면, 단계 S200에서 복호기는 부호기로부터 수신한 기준 영상 비트 스트림을 복호한다. 상기 수신한 기준 영상 비트 스트림은 MPEG-2 비디오로 복호될 수 있다. 그러나 본 발명은 이에 제한되지 않으며, 다양한 포맷의 비디오로 복호될 수 있다.
단계 S210에서 복호기는 부호기로부터 수신한 부가 데이터 비트 스트림에 대하여 전처리를 수행한다. 복호기는 복호된 기준 영상을 기반으로 하여 수신한 부가 데이터 비트 스트림을 복호할 수 있다. 이에 따라 부호기에서 생성된 것과 동일한 향상된 복호 영상을 얻을 수 있다.
단계 S220에서 복호기는 상기 향상된 복호 영상과 부호기로부터 수신한 부가 영상 비트 스트림을 기반으로 하여 부가 영상을 복호한다.
단계 S230에서 복호기는 부호기로부터 수신한 부가 데이터 비트 스트림에 대하여 후처리를 수행한다. 복호기는 수신한 부가 데이터 비트 스트림을 복호 할 수 있다. 이에 따라 부호기에서 생성된 것과 동일한 향상된 복호 영상을 얻을 수 있다.
도 8의 단계 S210의 전처리 과정도 도 1의 단계 S110의 전처리 과정과 마찬가지로 다양한 방법에 의하여 수행될 수 있다. 단계 S210의 전처리 과정은 도 2 내지 도 6의 실시예에 의해서 수행될 수 있다.
또한, 도 8의 단계 S230의 후처리 과정도 도 8의 단계 S130의 후처리 과정과 마찬가지로 다양한 방법에 의하여 수행될 수 있다. 단계 S230의 후처리 과정은 도 7의 실시예에 의해서 수행될 수 있다.
한편, 상기 전처리 과정 또는 후처리 과정에서 부가 데이터 비트 스트림에 대해 엔트로피 복호화가 추가로 수행될 수 있다. 이에 따라 필터 계수 또는 변환 계수 등의 부가 데이터가 출력될 수 있다.
도 9는 제안된 스테레오스코픽 비디오 코덱 장치의 블록도의 일 예이다. 제안된 스테레오스코픽 비디오 코덱 장치는 크게 스테레오스코픽 비디오 부호기와 스테레오스코픽 복호기를 포함한다.
도 9를 참조하면, 제안된 스트레오 비디오 코덱 장치의 스테레오스코픽 비디오 부호기는 기준 영상 부호기(301), 부호기 측 전처리기(302), 부가 영상 부호기(303) 및 부호기 측 후처리기(304)를 포함한다. 제안된 스트레오 비디오 코덱 장치의 스테레오스코픽 비디오 복호기는 기준 영상 복호기(305), 복호기 측 전처리기(306), 부가 영상 복호기(307) 및 복호기 측 후처리기(308)를 포함한다.
기준 영상 부호기(301)는 원본 기준 영상을 부호화하여 기준 영상 비트 스트림을 복호기(305)로 전송한다. 상기 원본 기준 영상은 MPEG-2 비디오 또는 이외의 다른 포맷의 비디오로 부호화될 수 있다.
부호기 측 전처리기(302)는 기준 영상 부호기(301)와 연결된다. 부호기 측 전처리기(302)는 상기 원본 기준 영상, 복호된 기준 영상 및 원본 부가 영상을 기반으로 전처리를 수행한다. 이에 따라 향상된 복호 영상을 얻을 수 있다. 또한, 부호기 측 전처리기(302)는 전처리 과정에서 생성된 부가 정보를 부가 정보 비트 스트림으로 만들어 복호기 측 전처리기(306)로 전송할 수 있다.
부가 영상 부호기(303)는 부호기 측 전처리기(302)와 연결된다. 부가 영상 부호기(303)는 부호기 측 전처리기(302)에서 생성된 향상된 복호 영상과 원본 부가 영상을 기반으로 상기 원본 부가 영상의 부호화를 수행한다. 부호화 방식으로 MPEG-2 Multi-view Profile, H.264/MVC Stereo High Profile 등 기준 영상을 참조하는 방식들이 모두 사용될 수 있다. 또는, 새로운 부호화 방식이 사용될 수도 있다. 또한, 부가 영상 부호기(303)는 생성된 부가 영상 비트 스트림을 부가 영상 복호기(307)로 전송할 수 있다.
부호기 측 후처리기(304)는 부가 영상 부호기(303)와 연결된다. 부호기 측 후처리기(304)는 원본 부가 영상과 복호된 부가 영상을 기반으로 후처리를 수행하여 화질이 향상된 복호 영상을 얻는다. 또한, 부호기 측 후처리기(304)는 후처리 과정에서 발생한 부가 데이터를 스트림으로 만든 부가 데이터 스트림을 복호기 측 후처리기(308)로 전송할 수 있다.
기준 영상 복호기(305)는 기준 영상 부호기(301)로부터 수신한 기준 영상 비트 스트림을 복호한다. 상기 수신한 기준 영상 비트 스트림은 MPEG-2 비디오 또는 이외의 다른 포맷의 비디오로 복호될 수 있다.
복호기 측 전처리기(306)는 기준 영상 복호기(305)와 연결된다. 복호기의 전처리기(306)는 부호기 측 전처리기(302)로부터 수신한 부가 데이터 비트 스트림을 복호한다. 이에 따라 부호기 측 전처리기(302)가 생성한 것과 동일한 향상된 복호 영상을 얻을 수 있다.
부가 영상 복호기(307)는 복호기 측 전처리기(306)와 연결된다. 부가 영상 복호기(307)는 부가 영상 부호기(303)으로부터 수신한 부가 영상 비트 스트림과 향상된 복호 영상을 기반으로 하여 부가 영상을 복호한다.
복호기 측 후처리기(308)는 부가 영상 복호기(307)와 연결된다. 복호기 측 후처리기(308)는 부호기 측 후처리기(304)로부터 수신한 부가 데이터 비트 스트림을 복호한다. 이에 따라 부호기 측 후처리기(304)가 생성한 것과 동일한 향상된 복호 영상을 얻을 수 있다.
한편, 도 9의 블록도에서 부호기와 복호기를 구분하여 설명하였으나, 이에 제한되는 것은 아니다. 도 9의 부호기 측 전처리기(302)와 복호기 측 전처리기(306)는 스테레오스코픽 부호기와 복호기에 모두 존재할 수 있고, 마찬가지로 도 9의 부호기 측 후처리기(304)와 복호기 측 후처리기(308)도 스테레오스코픽 부호기와 복호기에 모두 존재할 수 있다. 또한, 전처리기와 후처리기는 스테레오스코픽 부호기와 복호기의 복잡도 및 성능을 고려하여 다양한 조합으로 적용될 수 있다.
본 발명에 의하여 스테레오스코픽 비디오의 부호화 효율의 향상을 도모할 수 있다. 본 발명은 실시간 또는 비실시간 3DTV 방송 서비스에 적용될 수 있으며, 또한, 지상파, 케이블, 위성, 인터넷 등 다양한 망을 가지는 3DTV 방송 서비스에 적용될 수 있다.
본 발명은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로 프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예들은 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (18)

  1. 스테레오스코픽 비디오(stereoscopic video) 부호화 방법에 있어서,
    원본 기준 영상을 부호화하는 단계;
    상기 원본 기준 영상, 복호된 기준 영상 및 원본 부가 영상을 기반으로 전처리를 수행하는 단계;
    상기 원본 부가 영상 및 상기 전처리 수행에 의하여 얻은 향상된 복호 영상을 기반으로 상기 원본 부가 영상을 부호화하는 단계; 및
    상기 원본 부가 영상 및 복호된 부가 영상을 기반으로 후처리를 수행하는 단계를 포함하는 스테레오스코픽 비디오 부호화 방법.
  2. 제 1 항에 있어서,
    상기 전처리를 수행하는 단계는 상기 복호된 기준 영상에 대해서 전 이미지 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  3. 제 2 항에 있어서,
    상기 전 이미지 필터링은 디블로킹(deblocking) 필터 또는 위너(Wiener) 필터 기반의 적응 루프 필터(ALF; Adaptive Loop Filter) 중 적어도 하나를 기반으로 수행되는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  4. 제 1 항에 있어서,
    상기 전처리를 수행하는 단계는 상기 복호된 기준 영상 및 상기 원본 부가 영상을 입력으로 하여 글로벌 모션 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  5. 제 4 항에 있어서,
    상기 글로벌 모션 변환에 Affine, Perspective, Polynomial의 글로벌 모션 변환 모델 중 어느 하나의 글로벌 모션 변환 모델이 적용되는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  6. 제 4 항에 있어서,
    상기 전처리를 수행하는 단계는 상기 글로벌 모션 변환에 의하여 출력된 글로벌 모션 변환 영상에 대해 후 이미지 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  7. 제 6 항에 있어서,
    상기 후 이미지 필터링은 디블로킹 필터 또는 위너 필터 기반의 적응 루프 필터 중 적어도 하나를 기반으로 수행되는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  8. 제 1 항에 있어서,
    상기 후처리를 수행하는 단계는 상기 복호된 부가 영상에 대해서 이미지 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  9. 제 8 항에 있어서,
    상기 이미지 필터링은 디블로킹 필터 또는 위너 필터 기반의 적응 루프 필터 중 적어도 하나를 기반으로 수행되는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  10. 제 1 항에 있어서,
    상기 원본 기준 영상은 MPEG(Motion Picture Experts Group)-2 비디오로 부호화 되는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  11. 제 1 항에 있어서,
    상기 전처리 수행 또는 후처리 수행에 의하여 생성되는 부가 데이터에 대하여 엔트로피 부호화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 부호화 방법.
  12. 스테레오스코픽 비디오(stereoscopic video) 복호화 방법에 있어서,
    수신한 기준 영상 비트 스트림을 복호하는 단계;
    복호된 기준 영상을 기반으로 하여 수신한 부가 데이터 비트 스트림에 대하여 전처리를 수행하는 단계;
    수신한 부가 영상 비트 스트림과 상기 전처리 수행에 의하여 얻은 향상된 복호 영상을 기반으로 부가 영상을 복호하는 단계; 및
    상기 수신한 부가 데이터 비트 스트림에 대하여 후처리를 수행하는 단계를 포함하는 스테레오스코픽 비디오 복호화 방법.
  13. 제 12 항에 있어서,
    상기 전처리를 수행하는 단계는 상기 복호된 기준 영상에 대해서 전 이미지 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 복호화 방법.
  14. 제 12 항에 있어서,
    상기 전처리를 수행하는 단계는 상기 복호된 기준 영상을 입력으로 하여 글로벌 모션 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 복호화 방법.
  15. 제 13 항에 있어서,
    상기 전처리를 수행하는 단계는 상기 글로벌 모션 변환에 의하여 출력된 글로벌 모션 변환 영상에 대해 후 이미지 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 복호화 방법.
  16. 제 12 항에 있어서,
    상기 후처리를 수행하는 단계는 상기 복호된 부가 영상에 대해서 이미지 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 복호화 방법.
  17. 제 12 항에 있어서,
    상기 수신한 기준 영상 비트 스트림은 MPEG(Motion Picture Experts Group)-2 비디오로 복호되는 것을 특징으로 하는 스테레오스코픽 비디오 복호화 방법.
  18. 제 12 항에 있어서,
    상기 수신한 부가 데이터 비트 스트림에 대하여 엔트로피 복호화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 스테레오스코픽 비디오 복호화 방법.
KR1020110015659A 2011-02-22 2011-02-22 스테레오스코픽 비디오를 부호화하는 방법 및 그 장치 KR20120096317A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110015659A KR20120096317A (ko) 2011-02-22 2011-02-22 스테레오스코픽 비디오를 부호화하는 방법 및 그 장치
US13/341,757 US20120212578A1 (en) 2011-02-22 2011-12-30 Method and apparatus of coding stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110015659A KR20120096317A (ko) 2011-02-22 2011-02-22 스테레오스코픽 비디오를 부호화하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20120096317A true KR20120096317A (ko) 2012-08-30

Family

ID=46652393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015659A KR20120096317A (ko) 2011-02-22 2011-02-22 스테레오스코픽 비디오를 부호화하는 방법 및 그 장치

Country Status (2)

Country Link
US (1) US20120212578A1 (ko)
KR (1) KR20120096317A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2576286B (en) 2017-04-21 2022-09-07 Zenimax Media Inc Systems and methods for deferred post-processes in video encoding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
CN105392003A (zh) * 2006-11-08 2016-03-09 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备

Also Published As

Publication number Publication date
US20120212578A1 (en) 2012-08-23

Similar Documents

Publication Publication Date Title
JP6178017B2 (ja) ステレオビデオのための深度認識向上
US9131247B2 (en) Multi-view video coding using scalable video coding
JP5763184B2 (ja) ３次元画像に対する視差の算出
JP2020058055A (ja) 多視点信号コーデック
KR101854003B1 (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
JP2009510892A (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
JP6106757B2 (ja) ビデオデータデコーディング方法及びビデオデータデコーディング装置
CN104885450B (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
CA2896810A1 (en) Method and apparatus for bi-prediction of illumination compensation
KR20150122726A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
JP5307896B2 (ja) ステレオ画像符号化方法、ステレオ画像符号化装置及びステレオ画像符号化プログラム
KR102116265B1 (ko) 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
Hewage et al. Comparison of stereo video coding support in MPEG-4 MAC, H. 264/AVC and H. 264/SVC
CN110381317B (zh) 导出子预测单元的时间点之间的运动信息的方法和装置
US20150016517A1 (en) Encoding device and encoding method, and decoding device and decoding method
US20120287237A1 (en) Method and apparatus for processing video signals, related computer program product, and encoded signal
KR20120096317A (ko) 스테레오스코픽 비디오를 부호화하는 방법 및 그 장치
Yang et al. MPEG-4 based stereoscopic video sequences encoder
Aflaki et al. Flexible depth map spatial resolution in depth-enhanced multiview video coding
Kumar et al. A Comparative Analysis of Advance Three Dimensional Video Coding for Mobile Three Dimensional TV
KR20110118744A (ko) 쓰리디 티브이 동영상 부호화 방법, 복호화 방법
KR101356890B1 (ko) 다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치
WO2021087810A1 (zh) 信息处理方法和系统、编码装置、解码装置及存储介质
Shimizu et al. Improved view interpolation for side information in multiview distributed video coding
KR101672008B1 (ko) 변이 벡터 예측 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment