KR20140038315A - 다시점 영상을 부호화/복호화하는 장치 및 방법 - Google Patents

다시점 영상을 부호화/복호화하는 장치 및 방법 Download PDF

Info

Publication number
KR20140038315A
KR20140038315A KR1020130110138A KR20130110138A KR20140038315A KR 20140038315 A KR20140038315 A KR 20140038315A KR 1020130110138 A KR1020130110138 A KR 1020130110138A KR 20130110138 A KR20130110138 A KR 20130110138A KR 20140038315 A KR20140038315 A KR 20140038315A
Authority
KR
South Korea
Prior art keywords
block
view
prediction
current block
current
Prior art date
Application number
KR1020130110138A
Other languages
English (en)
Inventor
유선미
남정학
심동규
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20140038315A publication Critical patent/KR20140038315A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다시점 영상에 대한 부호화/복호화에 있어 시점(view point)간 예측을 수행하는 비디오 부호화/복호화 장치 및 방법이 개시된다. 시점 간 예측을 이용하는 비디오 복호화 장치는, 확장 시점의 현재 블록에 인접한 적어도 하나의 이웃 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 참조 블록 추출부와, 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행하는 예측부를 포함한다. 따라서, 확장 시점의 현재 블록이 참조할 참조 시점의 참조 블록을 효율적으로 추출함으로써 다시점 영상에 대한 부호화 및 복호화의 효율을 향상시킬 수 있다.

Description

다시점 영상을 부호화/복호화하는 장치 및 방법{APPARATUS AND METHOD FOR CODING/DECODING MULTI-VIEW IMAGE}
본 발명은 비디오의 부호화/복호화에 관한 것으로, 더욱 상세하게는 다시점 영상에 대한 부호화/복호화에 있어 시점(view point)간 예측을 수행하는 비디오 부호화/복호화 장치 및 방법에 관한 것이다.
국제 표준화 기구 ISO/IEC의 비디오 전문가 그룹인 MPEG에서는 최근 3DV(3D Video)에 대한 표준화를 시작하였으며, 3DV에 대한 표준화는 기존의 2D 단일시점 비디오를 위한 부호화 기술(H.264/AVC), 2D 다시점 비디오를 위한 부호화 기술(MVC), 및 최근 MPEG과 ITU-T의 공동 비디오 부호화 표준 단체인 JCT-VC에서 시작한 HEVC 부호화 기술을 바탕으로 진행되고 있다.
또한, MPEG과 ITU-T는 공동으로 3DV에 대한 표준화를 하기로 결정하고, JCT-3V라는 새로운 공동 표준화 그룹을 결성하였다. JCT-3V에서는 기존의 MVC에 깊이 영상 부/복호화를 위한 고급 구문 정의, H.264/AVC 기반의 새로운 컬러 영상 및 깊이 영상에 대한 부/복호화 방법인 3D-AVC, HEVC 기반의 다시점 컬러 영상 부/복호화 방법, 그리고 HEVC 기반의 다시점 컬러 영상 및 깊이 영상에 대한 부/복호화 방법인 3D-HEVC를 함께 표준화하고 있다.
한편, 표준화에서 다양한 기술들이 논의되고 있으나 이들 기술들의 공통점은 시점(view point)간 예측을 통한 부/복호화 방법을 포함한다는 것이다. 즉, 다시점 영상은 부호화하여 전송해야 하는 데이터의 양이 시점 개수에 비례적으로 증가하기 때문에, 시점 간 의존 관계에 기반하여 다시점 영상을 효율적인 부/복호화하는 기술이 필요한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 시점 간 의존성에 기반한 시점 간 예측을 통하여 부호화/복호화 효율을 향상시키는 장치를 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 시점 간 의존성에 기반한 시점 간 예측을 통하여 부호화/복호화 효율을 향상시키는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 시점 간 예측을 이용하는 비디오 복호화 장치는, 확장 시점의 현재 블록에 인접한 적어도 하나의 이웃 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 참조 블록 추출부와, 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행하는 예측부를 포함한다.
여기에서, 상기 적어도 하나의 이웃 블록은, 확장 시점의 현재 블록을 기준으로 좌측 하단, 좌측, 좌측 상단, 상측 및 우측 상단 중 적어도 하나에 위치할 수 있다.
여기에서, 상기 참조 블록 추출부는, 적어도 하나의 이웃 블록의 시차(disparity) 정보 중 최대값, 최소값, 중간값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
여기에서, 상기 예측부는, 참조 시점의 참조 블록에 대한 예측 모드 정보 및 움직임 정보를 포함하는 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 시점 간 예측을 이용하는 비디오 복호화 장치는, 확장 시점의 현재 블록이 포함된 현재 픽처와 다른 픽처에 포함된 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 참조 블록 추출부와, 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행하는 예측부를 포함한다.
여기에서, 상기 다른 픽처는, 확장 시점 상에서 이미 부호화 또는 복호화가 완료된 것일 수 있다.
여기에서, 상기 다른 픽처에 포함된 블록은, 확장 시점의 현재 블록의 중심 위치에 상응하여 위치할 수 있다.
여기에서, 상기 다른 픽처에 포함된 블록은, 확장 시점의 현재 블록을 기준으로 우측 하단에 상응하여 위치할 수 있다.
여기에서, 상기 참조 블록 추출부는, 다른 픽처에 포함된 블록의 시차(disparity) 정보 중 최대값, 최소값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 실시예에 따른 시점 간 예측 방법은, 확장 시점의 현재 블록에 인접한 적어도 하나의 이웃 블록의 시차(disparity) 정보 또는 확장 시점의 현재 블록이 포함된 현재 픽처와 다른 픽처에 포함된 블록의 시차 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 단계와, 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행하는 단계를 포함한다.
여기에서, 상기 시점 간 예측 방법은, 컬러 영상과 깊이 영상을 구분하여 독립적으로 수행될 수 있다.
상기와 같은 본 발명의 실시예에 따른 시점 간 예측 방법 및 이를 이용하는 비디오 부호화/복호화 장치는, 확장 시점의 현재 블록이 참조할 참조 시점의 참조 블록을 효율적으로 추출함으로써 다시점 영상에 대한 부호화 및 복호화의 효율을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따라 다시점 영상을 부호화/복호화하는 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따라 다시점 영상을 부호화하는 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따라 다시점 영상을 복호화하는 장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 시점 간 예측에 사용되는 인접 블록을 설명하기 위한 개념도이다.
도 5는 본 발명의 실시예에 따른 시점 간 예측에 사용되는 다른 픽처에 포함된 블록을 설명하기 위한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 화면내 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 화면내 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다. 또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 본 발명에 있어서 참조가 되는 픽처는 복원된 픽처를 의미하는 것은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따라 다시점 영상을 부호화/복호화하는 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따라 다시점 영상을 부호화/복호화하는 시스템은 다시점 영상 부호화 장치(10) 및 다시점 영상 복호화 장치(20)로 구성된다.
다시점 영상 부호화 장치(10)는 기본 시점 영상을 부호화하기 위한 기본 시점 영상 부호화 장치(11) 및 확장 시점 영상을 부호화하기 위한 확장 시점 영상 부호화 장치(12, 13)를 포함할 수 있다. 여기서, 기본 시점 영상은 2D 단일 시점 영상을 제공하기 위한 영상을 의미하고, 확장 시점 영상은 3D와 같은 확장된 시점의 영상을 제공하기 위한 영상을 의미할 수 있다.
예를 들어, 다시점 영상 부호화 장치(10)는 기본 시점 영상 부호화 장치(110)와 제1 확장 시점 영상 부호화 장치(12), 제2 확장 시점 영상 부호화 장치(13)를 포함하여 구성될 수 있다. 또한, 확장 시점 영상 부호화 장치는 제1 확장 시점 영상 부호화 장치(12), 제2 확장 시점 영상 부호화 장치(13)에 한정되지 않으며, 시점(view point)의 개수에 따라 개수가 증가할 수 있다. 더 나아가, 기본 시점 영상 부호화 장치(11) 및 확장 시점 영상 부호화 장치(12, 13)는 컬러 영상과 깊이 영상(Depth map)을 구분하여 부호화를 수행할 수 있다.
다시점 영상 부호화 장치(10)는 다시점 영상을 부호화한 비트스트림을 다시점 영상 복호화 장치(20)로 전송할 수 있다.
비트스트림을 수신한 다시점 영상 복호화 장치(20)는 비트스트림 추출부(29), 기본 시점 영상 복호화 장치(21), 확장 시점 영상 복호화 장치(22, 23)를 포함할 수 있다.
예를 들어, 다시점 영상 복호화 장치(20)는 기본 시점 영상 복호화 장치(21)와 제1 확장 시점 영상 복호화 장치(22), 제2 확장 시점 영상 복호화 장치(23)를 포함하여 구성될 수 있으며, 확장 시점 영상 복호화 장치는 시점의 개수에 따라 개수가 증가할 수 있음은 물론이다.
상세하게는, 비트스트림 추출부(29)는 비트스트림을 시점(view point) 별로 구분할 수 있으며, 구분된 비트스트림은 기본 시점 영상 복호화 장치(21) 및 확장 시점 영상 복호화 장치(22, 23)로 각각 전달될 수 있다.
본 발명의 실시예에 따르면, 복호화된 기본 시점 영상은 기존의 2D 디스플레이 장치에서 디스플레이 되는 역방향 적합성을 가질 수 있다. 또한, 복호화된 기본 시점 영상 및 복호화된 적어도 하나의 확장 시점 영상은 스테레오 디스플레이 장치 또는 다시점 디스플레이 장치에서 디스플레이될 수 있다.
한편, 입력된 카메라 위치 정보 등은 비트스트림을 통하여 스테레오 디스플레이 장치 또는 다시점 디스플레이 장치로 보조 정보로써 전송될 수 있다.
도 2는 본 발명의 실시예에 따라 다시점 영상을 부호화하는 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 다시점 영상 부호화 장치(10)는 기본 시점 영상 부호화 장치(11)와 확장 시점 영상 부호화 장치(12)를 포함하여 구성될 수 있다. 다만, 시점에 따라 확장 시점 영상 부호화 장치가 더 부가될 수 있다.
기본 시점 영상 부호화 장치(11)와 확장 시점 영상 부호화 장치(12) 각각은, 감산부(110, 110-1), 변환부(120, 120-1), 양자화부(130, 130-1), 역양자화부(131, 131-1), 역변환부(121, 121-1), 엔트로피 부호화부(140, 140-1), 가산부(150, 150-1), 인루프 필터부(160, 160-1), 프레임 메모리(170, 170-1), 인트라 예측부(180, 180-1) 및 움직임 보상부(190, 190-1)를 포함한다.
감산부(110, 110-1)은 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)을 생성한다.
변환부(120, 120-1)는 감산부(110, 110-1)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(120, 120-1)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 사인 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.
양자화부(130, 130-1)는 변환부(120, 120-1)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(130, 130-1)는 변환부(120, 120-1)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.
엔트로피 부호화부(140, 140-1)는 양자화부(130, 130-1)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(140, 140-1)는 양자화부(130, 130-1)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다.
역양자화부(131, 131-1)은 양자화부(130, 130-1)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(131, 131-1)은 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)을 복원한다.
역변환부(121, 121-1)는 역양자화부(131, 131-1)에 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 가산부(150, 150-1)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(121, 121-1)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 프레임 메모리(170, 170-1)에 저장한다.
특히, 본 발명의 실시예에 따른 다시점 영상 부호화 장치(10)는 참조 블록 추출부(300)를 더 포함할 수 있다.
기본 시점 영상과 확장 시점 영상은 시점(view point)을 달리하여 생성된 영상이지만, 서로 간에 의존성이 존재한다. 따라서, 기본 시점 영상과 확장 시점 영상 간의 의존성에 기반하여 다시점 영상에 대한 부호화 효율을 향상시킬 수 있다.
상세하게는, 참조 블록 추출부(300)는 확장 시점의 현재 블록에 인접한 적어도 하나의 이웃 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다. 여기서, 이웃 블록은 확장 시점의 현재 블록을 기준으로 좌측 하단, 좌측, 좌측 상단, 상측 및 우측 상단 중 적어도 하나에 위치할 수 있다.
한편, 참조 블록 추출부(300)는 적어도 하나의 이웃 블록의 시차(disparity) 정보 중 최대값, 최소값, 중간값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
또한, 참조 블록 추출부(300)는 확장 시점의 현재 블록이 포함된 현재 픽처와 다른 픽처에 포함된 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다. 여기서, 다른 픽처는, 확장 시점 상에서 이미 부호화 또는 복호화가 완료된 픽처를 의미할 수 있다. 예컨대, 다른 픽처에 포함된 블록은, 확장 시점의 현재 블록의 중심 위치에 상응하여 위치하거나, 확장 시점의 현재 블록을 기준으로 우측 하단에 상응하여 위치할 수 있다.
한편, 참조 블록 추출부(300)는 다른 픽처에 포함된 블록의 시차(disparity) 정보 중 최대값, 최소값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
인트라 예측부(180, 180-1)는 인트라 예측(Intra Prediction)을 수행하며, 움직임 보상부(190, 190-1)는 인터 예측(Inter Prediction)을 위한 움직임 벡터를 보상한다. 여기서, 인트라 예측부(180, 180-1)와 움직임 보상부(190, 190-1)를 예측부로 통칭할 수 있다.
특히, 본 발명의 실시예에 따르면, 확장 시점 영상 부호화 장치(12)에 포함된 예측부(180-1, 190-1)은 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행할 수 있다. 여기서, 참조 시점은 확장 시점에 의해 참조되는 시점으로 기본 시점을 의미할 수 있다. 또한, 예측 수행 정보는 참조 블록에 대한 예측 모드 정보 및 움직임 정보를 포함할 수 있다.
인루프 필터부(160, 160-1)는 복원된 영상에 대한 필터링을 수행하는 것으로, 디블록킹 필터(DF: Deblocking Filter), 샘플 적응적 오프셋(SAO: Sample Adaptive Offset)를 포함하여 구성될 수 있다.
멀티플렉서(310)는 부호화된 기본 시점 영상에 대한 비트스트림과 부호화된 확장 시점 영상에 비트스트림을 수신하여 확장된 비트스트림을 출력할 수 있다.
도 3은 본 발명의 실시예에 따라 다시점 영상을 복호화하는 장치를 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 다시점 영상 복호화 장치(20)는 비트스트림 추출부(29), 기본 시점 영상 복호화 장치(21) 및 확장 시점 영상 복호화 장치(22, 23)를 포함하여 구성될 수 있다.
비트스트림 추출부(29)는 비트스트림을 시점(view point) 별로 구분할 수 있으며, 구분된 비트스트림은 기본 시점 영상 복호화 장치(21) 및 확장 시점 영상 복호화 장치(22, 23)로 각각 전달될 수 있다.
기본 시점 영상 복호화 장치(21)와 확장 시점 영상 복호화 장치(22, 23) 각각은, 엔트로피 복호화부(210, 210-1), 역양자화부(220, 220-1), 역변환부(230, 230-2), 가산부(240, 240-1), 인루프 필터부(250, 250-1), 프레임 메모리(260, 260-1), 인트라 예측부(270, 270-1) 및 움직임 보상부(280, 280-1)를 포함할 수 있다. 여기서, 인트라 예측부(270, 270-1) 및 움직임 보상부(280, 280-1)는 예측부로 통칭될 수 있다.
특히, 본 발명의 실시예에 따른 다시점 영상 복호화 장치(20)는 참조 블록 추출부(400)를 더 포함할 수 있다.
참조 블록 추출부(400)는 도 2의 참조 블록 추출부(300)에 상응하는 기능을 수행할 수 있다.
즉, 참조 블록 추출부(400)는 확장 시점의 현재 블록에 인접한 적어도 하나의 이웃 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다. 여기서, 이웃 블록은 확장 시점의 현재 블록을 기준으로 좌측 하단, 좌측, 좌측 상단, 상측 및 우측 상단 중 적어도 하나에 위치할 수 있다.
한편, 참조 블록 추출부(400)는 적어도 하나의 이웃 블록의 시차(disparity) 정보 중 최대값, 최소값, 중간값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
또한, 참조 블록 추출부(400)는 확장 시점의 현재 블록이 포함된 현재 픽처와 다른 픽처에 포함된 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다. 여기서, 다른 픽처는, 확장 시점 상에서 이미 부호화 또는 복호화가 완료된 픽처를 의미할 수 있다. 예컨대, 다른 픽처에 포함된 블록은, 확장 시점의 현재 블록의 중심 위치에 상응하여 위치하거나, 확장 시점의 현재 블록을 기준으로 우측 하단에 위치할 수 있다.
한편, 참조 블록 추출부(400)는 다른 픽처에 포함된 블록의 시차(disparity) 정보 중 최대값, 최소값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
특히, 본 발명의 실시예에 따르면, 확장 시점 영상 복호화 장치(22)에 포함된 예측부(270-1, 280-1)은 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행할 수 있다. 여기서, 참조 시점은 확장 시점에 의해 참조되는 시점으로 기본 시점을 의미할 수 있다. 또한, 예측 수행 정보는 참조 블록에 대한 예측 모드 정보 및 움직임 정보를 포함할 수 있다.
한편, 다시점 영상 복호화 장치(20)의 각 구성 요소는 도 2의 다시점 영상 부호화 장치(10)의 구성 요소와 각각 대응되어 이해될 수 있으므로 상세한 설명한 생략한다.
또한, 상술한 본 발명의 실시예에 따른 다시점 영상 부호화 장치(10)와 다시점 영상 복호화 장치(20)의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
그리고, 본 발명에 따른 다시점 영상 부호화 장치(10)와 다시점 영상 복호화 장치(20)는, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
도 4는 본 발명의 실시예에 따른 시점 간 예측에 사용되는 인접 블록을 설명하기 위한 개념도이고, 도 5는 본 발명의 실시예에 따른 시점 간 예측에 사용되는 다른 픽처에 포함된 블록을 설명하기 위한 개념도이다.
먼저 도 4를 참조하면, 참조 블록 추출부(300, 400)는 확장 시점의 현재 블록(40)에 인접한 적어도 하나의 이웃 블록(41 내지 45)의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록(40)에 상응하는 참조 시점의 참조 블록을 추출할 수 있다. 여기서, 현재 블록은 현재 부호화 또는 복호화의 대상이 되는 블록을 의미할 수 있다.
도 4를 보면, 확장 시점의 현재 블록(40)에 인접한 이웃 블록은 확장 시점의 현재 블록(40)을 기준으로 좌측 하단(41), 좌측(42), 좌측 상단(43), 상측(44) 및 우측 상단(45) 중 적어도 하나에 위치할 수 있다. 즉, 확장 시점의 현재 블록(40)은 인접한 이웃 블록들과 유사한 영상 특성을 가질 수 있기 때문에 이웃 블록의 시차 정보에 기반하여 현재 블록이 참조할 참조 시점의 참조 블록을 추출할 수 있다.
도 5를 참조하면, 참조 블록 추출부(300, 400)는 확장 시점의 현재 블록이 포함된 현재 픽처와 다른 픽처에 포함된 블록의 시차(disparity) 정보에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다. 여기서, 다른 픽처는 확장 시점 상에서 이미 부호화 또는 복호화가 완료된 픽처를 의미할 수 있다.
즉, 확장 시점의 현재 블록(40)은 다른 픽처 상에서 현재 블록(40)과 상응하는 위치에 있는 블록들과 유사한 영상 특성을 가질 수 있기 때문에 다른 픽처에 포함된 블록의 시차 정보에 기반하여 현재 블록이 참조할 참조 시점의 참조 블록을 추출할 수 있다.
또한, 다른 픽처에 포함된 블록은, 확장 시점의 현재 블록의 중심 위치에 상응하여 위치한 블록(51)일 수 있다. 다만, 블록(51)은 현재 블록(40) 상에 위치한 것으로 도시되었으나, 이는 설명의 편의를 위한 것으로 블록(51)은 현재 블록(40)과 다른 픽처 상의 블록이다.
또한, 다른 픽처에 포함된 블록은, 확장 시점의 현재 블록을 기준으로 우측 하단에 위치한 블록(52)일 수 있다. 다만, 블록(52)은 현재 블록(40)에 인접하여 위치한 것으로 도시되었으나, 이는 설명의 편의를 위한 것으로 블록(52)은 현재 블록(40)과 다른 픽처 상의 블록이다.
더 나아가, 본 발명의 실시예에 따른 다시점 영상을 부호화/복호화하는 시스템에서 수행되는 시점 간 예측 방법은, 확장 시점의 현재 블록(40)에 인접한 적어도 하나의 이웃 블록(41 내지 45)의 시차(disparity) 정보 또는 확장 시점의 현재 블록(40)이 포함된 현재 픽처와 다른 픽처에 포함된 블록(51, 52)의 시차 정보에 기반하여 확장 시점의 현재 블록(40)에 상응하는 참조 시점의 참조 블록을 추출하는 단계와, 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 확장 시점의 현재 블록(40)에 대한 예측을 수행하는 단계를 포함한다.
상세하게는, 적어도 하나의 이웃 블록은 확장 시점의 현재 블록(40)을 기준으로 좌측 하단(41), 좌측(42), 좌측 상단(43), 상측(44) 및 우측 상단(45) 중 적어도 하나에 위치할 수 있다.
또한, 다른 픽처에 포함된 블록은 확장 시점의 현재 블록(40)의 중심 위치에 상응하여 위치(51)하거나, 확장 시점의 현재 블록(40)을 기준으로 우측 하단에 상응하여 위치(52)할 수 있다.
참조 시점의 참조 블록을 추출하는 단계에 있어서, 적어도 하나의 이웃 블록의 시차(disparity) 정보 중 최대값, 최소값, 중간값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
또한, 참조 시점의 참조 블록을 추출하는 단계에 있어서, 다른 픽처에 포함된 블록의 시차(disparity) 정보 중 최대값, 최소값 및 평균값 중 어느 하나에 기반하여 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출할 수 있다.
확장 시점의 현재 블록에 대한 예측을 수행하는 단계에 있어서, 참조 시점의 참조 블록에 대한 예측 모드 정보 및 움직임 정보를 포함하는 예측 수행 정보를 이용하여 확장 시점의 현재 블록에 대한 예측을 수행할 수 있다.
따라서, 본 발명의 실시예에 따른 시점 예측 방법 및 이를 이용하는 비디오 부호화/복호화 장치는, 확장 시점의 현재 블록이 참조할 참조 시점의 참조 블록을 효율적으로 추출함으로써 다시점 영상에 대한 부호화 및 복호화의 효율을 향상시킬 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 부호화 장치 20: 복호화 장치
11: 기본 시점 영상 부호화 장치 12: 제1 확장 시점 영상 부호화 장치
13: 제2 확장 시점 영상 부호화 장치 21: 기본 시점 영상 복호화 장치
22: 제1 확장 시점 영상 복호화 장치 23: 제2 확장 시점 영상 복호화 장치
29: 비트스트림 추출부 110, 110-1: 감산부
120, 120-1: 변환부 121, 121-1, 230, 230-1: 역변환부
130, 130-1: 양자화부 131, 131-1, 220, 220-1: 역양자화부
140, 140-1: 엔트로피 부호화부 150, 150-1, 240, 240-1: 가산부
160, 160-1, 250, 250-1: 인루프 필터부 170, 170-1, 260, 260-1: 프레임 메모리
180, 180-1, 270, 270-1: 인트라 예측부 190, 190-1, 280, 280-1: 움직임 보상부
210, 210-1: 엔트로피 복호화부 300, 400: 참조 블록 추출부
310: 멀티플렉서

Claims (17)

  1. 다시점 영상에 대한 복호화 장치에 있어서,
    확장 시점의 현재 블록에 인접한 적어도 하나의 이웃 블록의 시차(disparity) 정보에 기반하여 상기 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 참조 블록 추출부; 및
    상기 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 상기 확장 시점의 현재 블록에 대한 예측을 수행하는 예측부를 포함하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 이웃 블록은,
    상기 확장 시점의 현재 블록을 기준으로 좌측 하단, 좌측, 좌측 상단, 상측 및 우측 상단 중 적어도 하나에 위치하는 것을 특징으로 하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  3. 청구항 1에 있어서,
    상기 참조 블록 추출부는,
    상기 적어도 하나의 이웃 블록의 시차(disparity) 정보 중 최대값, 최소값, 중간값 및 평균값 중 어느 하나에 기반하여 상기 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 것을 특징으로 하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  4. 청구항 1에 있어서,
    상기 예측부는,
    상기 참조 시점의 참조 블록에 대한 예측 모드 정보 및 움직임 정보를 포함하는 상기 예측 수행 정보를 이용하여 상기 확장 시점의 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  5. 다시점 영상에 대한 복호화 장치에 있어서,
    확장 시점의 현재 블록이 포함된 현재 픽처와 다른 픽처에 포함된 블록의 시차(disparity) 정보에 기반하여 상기 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 참조 블록 추출부; 및
    상기 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 상기 확장 시점의 현재 블록에 대한 예측을 수행하는 예측부를 포함하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  6. 청구항 5에 있어서,
    상기 다른 픽처는,
    상기 확장 시점 상에서 이미 부호화 또는 복호화가 완료된 것을 특징으로 하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  7. 청구항 5에 있어서,
    상기 다른 픽처에 포함된 블록은,
    상기 확장 시점의 현재 블록의 중심 위치에 상응하여 위치하는 것을 특징으로 하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  8. 청구항 5에 있어서,
    상기 다른 픽처에 포함된 블록은,
    상기 확장 시점의 현재 블록을 기준으로 우측 하단에 상응하여 위치하는 것을 특징으로 한 시점 간 예측을 이용하는 비디오 복호화 장치.
  9. 청구항 5에 있어서,
    상기 참조 블록 추출부는,
    상기 다른 픽처에 포함된 블록의 시차(disparity) 정보 중 최대값, 최소값 및 평균값 중 어느 하나에 기반하여 상기 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 것을 특징으로 하는 시점 간 예측을 이용하는 비디오 복호화 장치.
  10. 청구항 5에 있어서,
    상기 예측부는,
    상기 참조 시점의 참조 블록에 대한 예측 모드 정보 및 움직임 정보를 포함하는 상기 예측 수행 정보를 이용하여 상기 확장 시점의 현재 블록에 대한 예측을 수행하는 것을 특징으로 시점 간 예측을 이용하는 비디오 복호화 장치.
  11. 다시점 영상에 대한 부호화/복호화에 있어서,
    확장 시점의 현재 블록에 인접한 적어도 하나의 이웃 블록의 시차(disparity) 정보 또는 상기 확장 시점의 현재 블록이 포함된 현재 픽처와 다른 픽처에 포함된 블록의 시차 정보에 기반하여 상기 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 단계; 및
    상기 참조 시점의 참조 블록에 대한 예측 수행 정보를 이용하여 상기 확장 시점의 현재 블록에 대한 예측을 수행하는 단계를 포함하는 시점 간 예측 방법.
  12. 청구항 11에 있어서,
    상기 적어도 하나의 이웃 블록은,
    상기 확장 시점의 현재 블록을 기준으로 좌측 하단, 좌측, 좌측 상단, 상측 및 우측 상단 중 적어도 하나에 위치하는 것을 특징으로 하는 시점 간 예측 방법.
  13. 청구항 11에 있어서,
    상기 다른 픽처에 포함된 블록은,
    상기 확장 시점의 현재 블록의 중심 위치에 상응하여 위치하거나, 상기 확장 시점의 현재 블록을 기준으로 우측 하단에 상응하여 위치하는 것을 특징으로 하는 시점 간 예측 방법.
  14. 청구항 11에 있어서,
    상기 참조 시점의 참조 블록을 추출하는 단계는,
    상기 적어도 하나의 이웃 블록의 시차(disparity) 정보 중 최대값, 최소값, 중간값 및 평균값 중 어느 하나에 기반하여 상기 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 것을 특징으로 하는 시점 간 예측 방법.
  15. 청구항 11에 있어서,
    상기 참조 시점의 참조 블록을 추출하는 단계는,
    상기 다른 픽처에 포함된 블록의 시차(disparity) 정보 중 최대값, 최소값 및 평균값 중 어느 하나에 기반하여 상기 확장 시점의 현재 블록에 상응하는 참조 시점의 참조 블록을 추출하는 것을 특징으로 하는 시점 간 예측 방법.
  16. 청구항 11에 있어서,
    상기 확장 시점의 현재 블록에 대한 예측을 수행하는 단계는,
    상기 참조 시점의 참조 블록에 대한 예측 모드 정보 및 움직임 정보를 포함하는 상기 예측 수행 정보를 이용하여 상기 확장 시점의 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 시점 간 예측 방법.
  17. 청구항 11에 있어서,
    상기 시점 간 예측 방법은,
    컬러 영상과 깊이 영상을 구분하여 독립적으로 수행되는 것을 특징으로 하는 시점 간 예측 방법.
KR1020130110138A 2012-09-17 2013-09-13 다시점 영상을 부호화/복호화하는 장치 및 방법 KR20140038315A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120102967 2012-09-17
KR20120102967 2012-09-17

Publications (1)

Publication Number Publication Date
KR20140038315A true KR20140038315A (ko) 2014-03-28

Family

ID=50646745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110138A KR20140038315A (ko) 2012-09-17 2013-09-13 다시점 영상을 부호화/복호화하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20140038315A (ko)

Similar Documents

Publication Publication Date Title
KR102550448B1 (ko) 다시점 영상을 위한 움직임 벡터를 부호화/복호화하는 방법 및 그 장치
JP6866157B2 (ja) 深度イントラ予測モードのための残差コーディング
EP3162063B1 (en) Filters for advanced residual prediction in video coding
CA2837055C (en) Image processing device and image processing method
JP6370891B2 (ja) 深さブロックの視差に基づく高度な深さインターコーディング
WO2015006884A1 (en) 3d video coding with partition-based depth inter coding
EP2685717A1 (en) Video image encoding method and video image decoding method
EP3085094A1 (en) Large blocks and depth modeling modes (dmm's) in 3d video coding
JP2014524707A (ja) 非対称な空間解像度を持つ３次元ビデオ
KR20160023729A (ko) 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
KR20150008402A (ko) 3차원 비디오 코딩을 위한 뷰 합성 모드
KR20160013890A (ko) 컬러 컴포넌트들 간의 샘플 예측을 이용한 비디오 코딩
EP2908529B1 (en) Video data decoding method and video data decoding apparatus
JP2015507417A (ja) ３ｄビデオコーディングにおけるビュー合成予測サポートのシグナリング
EP2904805B1 (en) Motion field upsampling for scalable coding based on high efficiency video coding
JP2016526348A5 (ko)
KR20140124919A (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
KR20140038315A (ko) 다시점 영상을 부호화/복호화하는 장치 및 방법
KR20140048804A (ko) 다시점 영상의 부호화/복호화를 위한 비트율 제어 장치 및 방법
KR101452625B1 (ko) 3차원 영상의 인트라 예측 방법 및 장치
KR20140124045A (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
JP2013179554A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination