KR20070011147A - 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법 - Google Patents

시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법 Download PDF

Info

Publication number
KR20070011147A
KR20070011147A KR20060067027A KR20060067027A KR20070011147A KR 20070011147 A KR20070011147 A KR 20070011147A KR 20060067027 A KR20060067027 A KR 20060067027A KR 20060067027 A KR20060067027 A KR 20060067027A KR 20070011147 A KR20070011147 A KR 20070011147A
Authority
KR
South Korea
Prior art keywords
vector
encoding
reference image
image
disparity
Prior art date
Application number
KR20060067027A
Other languages
English (en)
Other versions
KR100789753B1 (ko
Inventor
김대희
허남호
이수인
이영렬
김종률
조숙희
Original Assignee
한국전자통신연구원
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 세종대학교산학협력단 filed Critical 한국전자통신연구원
Publication of KR20070011147A publication Critical patent/KR20070011147A/ko
Application granted granted Critical
Publication of KR100789753B1 publication Critical patent/KR100789753B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 다시점 동영상 부호화 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 시점간 예측 부호화를 위하여 별도의 참조 프레임 버퍼를 하나 또는 두개를 사용하여 다시점 동영상 부호화시에 압축 효율을 높이기 위한 예측 부호화/복호화 장치 및 방법에 관한 것이다.
본 발명에 따른 부호화 장치는 시공간적 GOP 구조 정보에 따라 예측 부호화를 위한 참조영상을 제공하기 위한 다시점 참조영상 제공부; 현재 부호화할 영상이 상기 다시점 참조 영상 제공부로부터 입력받은 참조영상의 어느 부분으로부터 참조할 지를 예측하여 벡터를 생성하는 예측부; 상기 예측부로부터 입력받은 예측 신호를 현재 부호화할 영상신호와의 차분신호를 구하여 이를 변환하고 양자화하여 압축하기 위한 변환 및 양자화부; 및 상기 변환 및 양자화부로부터 입력받은 양자화된 신호 및 상기 예측부로부터 제공되는 벡터를 소정의 방식에 따라 부호화하여 출력하기 위한 엔트로피 부호화부;를 포함한다.
다시점 동영상, 참조영상 버퍼, 움직임 벡터, 변이 벡터

Description

시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화 장치 및 그 방법{Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same}
도 1은 본 발명이 적용되는 디시점 동영상 부호화/복호화 시스템의 일실시예를 보여주는 도면,
도 2는 시간적 예측 부호화를 위한 참조영상버퍼와 공간적 예측부호화를 위한 참조영상 버퍼를 포함하고 있는 다시점 동영상 부호화기의 구조도,
도 3은 도 2에 도시된 다시점 참조 영상 제공부의 일실시예 상세 구성도이다.
본 발명은, 다시점 동영상 부호화 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 시점간 예측 부호화를 위하여 별도의 참조 프레임 버퍼를 하나 또는 두개를 사용하여 다시점 동영상 부호화시에 압축 효율을 높이기 위한 예측 부호화/복호 화 장치 및 방법에 관한 것이다.
보다 현실감있는 서비스를 제공하기 위하여, 다시점 동영상은 다양한 응용분야에서 사용되고 있으나, 기존의 방식을 활용하여 압축 부호화할 경우 시점 수의 배수만큼의 데이터가 전송되어야 하므로, 이러한 대용량의 데이터로 인하여 이를 서비스하기에는 막대한 대역폭을 필요로 하는 문제점이 있다.
이와 같은 문제점을 해결하고, 효과적인 전송을 위해 인접한 카메라 시점과 현재 시점간의 잉여 정보를 활용함으로써 압축 효율을 개선할 수 있다. 일반적으로 압축 효율을 높이기 위해서는 상관성이 높은 데이터의 집합에서 잉여정보를 제거하고 상관성이 없는 데이터로 변환하여 이를 부호화하여 압축 부호화 효율을 향상 시킨다. 아울러 기존의 AVC 기반의 다시점 동영상 부호화는 시간축의 참조영상 버퍼만을 가지고 시점간의 예측 부호화에 활용하여 시점간 예측 부호화의 효율성을 제한적으로 고려하였으므로 이러한 제약 사항을 해결할 수 있는 방안이 절실히 요구된다.
복수 개의 영상을 처리하는 부호화 기술과 관련된 종래의 기술은 두개의 시점을 고려하는 스테레오스코픽 동영상을 처리하는 기술이 있고, 세 시점 이상을 고려하는 접근방법으로는 다안식 입체를 고려하는 다시점 동영상과 입체를 고려하지 않고 카메라의 인접한 배열로부터 얻은 다시점 동영상을 고려하는 방법이 있다. MPEG-2 MVP(Multi-ViewProfile) 및 MPEG-4 TS(Temporal Scalability) 구조를 이용하여 부호화하는 기술은 스테레오스코픽 동영상을 부호화할 때 많이 이용되는 기술 이다.
이 구조를 확장하여 다시점 동영상에 적용하여 부호화하는 기술이 출원번호 10-2002-0021757(KR) 특허와 출원번호 10-2003-0002116(KR) 특허이다. 선행 기술 논문으로는 임정은, 손광훈의 "View Scalability를 고려한 다시점 동영상 코덱"과 김용태 등의 "경계 방향성을 고려한 스테레오 동영상의 움직임-변이 동시 추정 기법"이 있다.
상기 특허중 출원번호 10-2002-0021757 특허와 상기 논문 "View Scalability를 고려한 다시점 동영상 코덱"은 똑같이 GGOP를 제안하고 이를 기반으로 전자는 코덱 MPEG-2 기반으로 이루어진 코덱을 사용한다. 전자는 압축에 초점을 맞추었고, 후자는 전자와 같은 코덱을 이용하여 View 단위로 Scalability 기능을 추가하였다.
출원번호 10-2003-0002116 특허는 중앙의 시점의 비트열을 생성하고 이 과정에서 생성된 중앙 시점의 참조영상을 좌/우시점의 영상에 대한 비트열을 생성할 때 참조하는 방법이다. 그리고 상기 논문 "경계 방향성을 고려한 스테레오 동영상의 움직임-변이 동시 추정 기법"은 스테레오 동영상에서 공간적 시간적 변이를 동시 추정의 오류를 최소화하여 압축 효율을 올리는 방법이다.
우선 특허 10-2003-0002116를 제외하고 상기 기술된 모든 논문과 특허는 MPEG-2와의 호환성을 염두에 두어서, P-픽쳐를 부호화 할 때 모두 한 개의 움직임 추정 벡터를 사용한다. B-픽쳐의 경우 모두 두 개의 벡터만을 사용하므로 이전 프레임으로부터의 움직임 벡터와 현재 시간의 인접 시점으로부터의 변이 벡터를 활용한다. 특허 10-2003-0002116는 좌/우 시점의 P-픽쳐를 부호화할 때에 중앙시점의 영상을 참조하느라 한개의 움직임 벡터와 한 개의 변이 벡터를 사용하고, B-픽쳐는 중앙 시점에서 기존의 MPEG-2와 같이 사용되었고, 좌/우 시점에서는 시간축으로 B-픽쳐가 없다.
이상의 선행 기술들은 모두 MPEG-2와의 호환성을 고려한 나머지 두 개 이상의 움직임 벡터 또는 변이 벡터를 활용하지 못하여, MPEG-2의 B-화면을 부호화할 때 시간 축 상의 양방향 예측 부호화를 수행하지 못한다. 아울러 시점간의 거리, 베이스 라인의 크기에 대한 배려는 단지 I-픽쳐가 부호화화 되는 시점의 수를 늘리는 방식이다. 이는 적절한 변이 벡터 예측방법이 아니며, 이를 위해선 인접 시점을 현재 시점의 위치로 변환하는 과정이 필요하다.
또한 변이 벡터와 움직임 벡터는 그 크기가 근본적으로 다름에도 불구하고 같은 방식으로 혼합되어 부호화되어 압축 효율을 저하시키고 있다. 즉, 일반적으로 변이 벡터의 크기가 움직임 벡터보다 그 크기가 크고, 이전 블록에서 움직임 벡터가 선택되고 그 다음 블록에서 변이 벡터가 선택되었을 경우, 벡터의 차분을 엔트로피 부호화하는 부호화기의 특성을 고려할 때 효율적이지 못하다. 아울러 AVC와 같이 Context를 고려한 엔트로피 부호화시에는 Context를 반영한 효과를 벡터부호화에서 얻지 못한다.
본 발명은, 상기와 같은 문제점을 해결하고 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 다시점 동영상 부호화시 움직임 벡터와 변이 벡터의 특성을 살려 예측부호화에 활용하고자 기존의 H.264에서 사용되는 List-0와 List-1 버퍼이외에 시점간 예측 부호화를 위해 별도의 참조 프레임 버퍼를 활용한 예측부호화/복호화 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 시점간의 잉여 정보(Redundancy Information)를 효과적으로 제거하여, 카메라 개수의 배수로 요구되는 단일 시점 부호화기의 데이터량을 줄일수 있는 다시점 동영상 부호화 방법을 통하여 다양한 다시점 동영상 서비스를 가능하게 하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 본 발명에 따른 장치는, 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화 장치로서,
시공간적 GOP 구조 정보에 따라 예측 부호화를 위한 참조영상을 제공하기 위한 다시점 참조영상 제공부; 현재 부호화할 영상이 상기 다시점 참조 영상 제공부로부터 입력받은 참조영상의 어느 부분으로부터 참조할 지를 예측하여 벡터를 생성하는 예측부; 상기 예측부로부터 입력받은 예측 신호를 현재 부호화할 영상신호와의 차분신호를 구하여 이를 변환하고 양자화하여 압축하기 위한 변환 및 양자화부; 및 상기 변환 및 양자화부로부터 입력받은 양자화된 신호 및 상기 예측부로부터 제공되는 벡터를 소정의 방식에 따라 부호화하여 출력하기 위한 엔트로피 부호화부;를 포함한다.
또한, 본 발명에 따른 복호화 장치는,
외부로부터 입력받은 신호를 엔트로피 복호화, 역재배열, 역양자화 및 역변환 처리하여 복호하기 위한 복호화부; 상기 복호화부에서 복호된 신호에서, 예측 부호화를 위한 영상들간의 참조 관계를 시공간적으로 표현한 시공간적 GOP 구성 정보를 이용하여 상기 다시점 영상을 복원하기 위한 시공간적 GOP 기반 영상 재생부; 및 상기 GOP 기반 영상 재생부에서 복원된 다시점 영상들을 합성하여 출력하기 위한 장면 합성부를 포함하고, 상기 엔트로피 복호화는 부호화과정에서 사용된 움직임 벡터와 변이벡터를 이용한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 발명은 다시점 동영상 부호화기에 시간축의 참조 영상 버퍼이외에 시점간의 특성을 활용하기 위한 시점간 참조영상 버퍼를 활용하여 효율적인 예측부호화를 위한 참조영상 활용방법을 제안한다.
도 1은 본 발명이 적용되는 디시점 동영상 부호화/복호화 시스템의 일실시예를 보여주는 도면이다.
도 1을 참조하면, 다시점 동영상 부호화/복호화 시스템은 임의 배열된 다수(N)개의 카메라로부터 입력받은 N개의 임의 배열 시점 영상의 다시점 영상을 압축 부호화하여 비트열로 전송하는 다시점 동영상 부호화 장치(100) 및 상기 비트열을 수신하여 다시점 동영상을 복호하고 합성하는 다시점 동영상 복호화 장치(200)가 네트워크로 연결되어 구성된다.
다시점 동영상 부호화 장치(100)는 시공간적 GOP 형성부(110) 및 다시점 부호화부(120)를 포함하여 구성된다.
시공간적 GOP 형성부(110)는 임의 배열된 다수(N)개의 카메라 및 사용자로부터 임의 배열된 N개의 다시점 영상과 N개 시점의 카메라 특성 및 카메라 위치/배열 정보가 포함된 카메라 정보를 입력받아 후술하는 시공간적 GOP 정보를 생성하여 출력한다.
다시점 부호화부(120)는 상기 시공간적 GOP 정보 및 카메라 정보를 이용하여 다시점 영상을 예측 부호화한다.
다시점 동영상 복호화 장치(200)는 다시점 복호화부(610), 시공간적 GOP 기반 영상 재생부(220) 및 장면 합성부(230)를 포함하여 구성되며, 상기 비트열을 수신하여 다시점 복호화부(210)에서 복호하고, 시공간적 GOP 기반 영상 재생부(220) 에서 시공간적 GOP 구성 정보를 이용하여 이에 따라 모든 다시점 동영상을 복원하며, 장면 합성부(230)에서 다시점 동영상의 응용에 따라 적절히 합성하여 사용자에게 서비스한다.
다시점 동영상 복호화 장치의 처리 과정을 더욱 상세히 설명하면 다음과 같다.
다시점 복호화부(210)는 입력받은 비트스트림을 엔트로피 복호화, 역재배열, 역양자화 및 역변환 처리하고, 시공간적 GOP 기반 영상 재생부(220)는 상기 비트스트림에 포함된 시공간적 GOP 정보를 이용하여 상기 역변환 처리된 신호로부터 다시점 영상을 복원하며, 장면 합성부(230)는 상기 복원된 다시점 영상들을 합성한다.
또한, 상기 시공간적 GOP 기반 영상 재생부(220)는 상기 시공간적 GOP 정보에 따라, 현재 복호화하는 영상이 참조영상과 동일 시점 영상인 경우에는 움직임보상을 수행하고, 현재 복호화하는 영상이 참조영상의 인접 시점 영상인 경우에는 변이/움직임보상을 수행한다.
도 2는 시간적 예측 부호화를 위한 참조영상버퍼와 공간적 예측부호화를 위한 참조영상 버퍼를 포함하고 있는 다시점 동영상 부호화기의 구조를 나타낸다.
도 2에 도시된 바와 같이, 본 발명에 따른 다시점 부호화부는 다시점 참조 영상 제공부(340), 예측부(310), 변환 및 양자화부(320) 및 엔트로피 부호화부(330)을 포함한다.
상기 예측부(310), 변환 및 양자화부(320) 및 엔트로피 부호화부(330)는 전 술한 종래 H.264의 예측부, 변환 및 양자화부 및 엔트로피 코딩부와 동일한 방식으로 기능하다. 즉, 예측부(310)는 인터 프리딕션(inter prediction)과 인트라 프리딕션(intra prediction)을 수행한다. 인터 프리딕션은, 이미 디코딩이 수행되고 디블록킹 필터링(deblocking filtering)이 수행되어 버퍼에 저장되어 있는 참조 영상(reference picture)를 이용하여 현재 영상의 블록예측을 수행하는 것을 말한다. 즉, 현재 부호화하고자 하는 영상의 블록과 가장 유사한 블록을 참조영상에서 찾는 것을 말한다. 인트라 프리딕션은, 현재 부호화하고자하는 영상의 블록과 가장 유사한 블록을 이미 디코딩이 수행된 동일 영상내에서 찾는 것을 말한다.
변환 및 양자화부(320)는 예측부(310)에서 예측을 수행하여 얻은 예측 블록을 현재 부호화하고자 하는 블록과의 차분치 신호를 변환하고(transform) 양자화(quantization)하여 압축한다. 엔트로피 코딩부(330)는 양자화된 비디오 데이터에 대해서 소정의 방식에 따라 부호화를 수행하여 H.264 비트스트림으로 만든다.
다만, 변이/움직임 추정부(311) 및 변이/움직임 보상부(313)는 입력된 참조 영상이 같은 시점의 영상일 경우에는 움직임 추정 및 움직임 보상기로 동작하고, 참조 영상이 다른 시점의 영상일 경우에는 변이 추정 및 변이 보상기로 동작한다. 상기 변이/움직임 추정부(311)는 움직임 벡터(MV)와 변이벡터(DV)를 엔트로피 코딩부(330)로 전달하여 엔트로피 코딩을 수행하도록 한다.
다시점 참조 영상 제공부(340)는 상기 변환 및 양자화부(320)를 통해 변환되고 양자화된 영상 신호를 예측 부호화를 위해 다시 역양자화 및 역변환하여 복원된 다시점 복원 영상들을 입력받아 저장하고, 시공간적 GOP 형성부(310)로부터 입력받 은 GOP 구조 정보에 따라 참조 영상을 선택하여 변이/움직임 보상부 및 변이/움직임 추정부에 제공함으로써, 전술한 GOP 구조 정보에서 표현하고 있는 다시점 영상들의 참조 관계에 따라 예측 부호화를 수행하도록 한다. 또한, 다시점 참조 영상 제공부(340)는 재배열부(331)로 시공간적 GOP 구조 정보가 포함된 부가 정보를 제공하여, 현재 예측 부호화된 영상 정보와 함께 시공간적 GOP 구조 정보를 엔트로피 부호화하여 전송하게 함으로써, 복호 과정에서 시공간적 GOP 구조 정보를 이용할 수 있도록 한다.
도 3은 도 2에 도시된 다시점 참조 영상 제공부의 일실시예 상세 구성도이다.
도 3에 도시된 바와 같이, 다시점 참조 영상 제공부(340)는 복원 영상 버퍼(341), 제1 인접시점 참조 영상 버퍼(342), 제2 인접시점 참조 영상 버퍼(343), 시점 변환부(345, 346) 및 참조 영상 선택부(347)을 포함한다.
복원 영상 버퍼(341)는 현재 시점의 다른 시간의 복원 영상을 필터로부터 입력받아 임시 저장하고, 참조 영상 선택부(347)로 출력한다.
제1 인접시점 참조 영상 버퍼(342)(List-2)는 현재시간의 다른 시점에서 이미 부호화 후 복원된 영상을 필터로부터 입력받아 참조 영상으로 임시 저장하고 시점 변환부(345)로 출력하며, 제2 인접시점 참조 영상 버퍼(343)(List-2)는 미래 시간의 다른 시점에서 이미 부호화 후 복원된 영상 및 과거 시간의 다른 시점에서 이미 부호화 후 복원된 영상을 필터로부터 입력받아 참조 영상으로 저장하고 시점 변 환부(346)로 출력한다.
시점 변환부(345, 346)은 제1 인접시점 참조 영상 버퍼(342) 및 제2 인접시점 참조 영상 버퍼(343)로부터 입력받은 인접 시점 영상을 인접 카메라 시점의 영상을(삭제요) 보다 적합한 참조 영상으로써 활용하기 위해서, 미리 입력받은 카메라 정보를 이용하여, 현재 카메라 시점과의 칼라보정(Color Balance), 현재 시점의 영상으로 전역 움직임 보상(Global Motion Compensation) 및 렉티피케이션(Rectification) 등의 기술을 이용하여 영상을 변환하여 참조 영상 선택부(347)로 출력한다.
참조 영상 선택부(347)는 시공간적 GOP 형성부(110)로부터 입력 받은 시공간적 GOP 구조 정보에 따라, 입력받은 참조 영상들 중 현재 예측 부호화에 필요한 참조 영상을 선택하여 변이/움직임 추정부(311) 및 변이/움직임 보상부(313)로 출력한다. 또한, 참조 영상 선택부(347)는 GOP 구조 정보를 포함하는 부가 정보를 생성하여 재배열부(331)로 출력한다.
상기 도 3의 List-0/List-1(341), List-2(342), List-3(343)의 버퍼는 현재 부호화 되는 시점마다 개별적으로 존재하며 시점별로 개별 관리된다. 이는 다른 시점으로부터의 변이 벡터를 활용함에 있어서, 동일 시점으로부터 출력되는 참조영상으로부터 예측되는 경우에 얻어지는 움직임 벡터와 다른 시점으로부터 출력되는 참조영상으로부터 예측되는 경우에 얻어지는 변이 벡터의 크기와 특성이 다르므로 이를 위해 별도의 버퍼를 통해 관리하는 것이다.
아울러 변이 벡터를 말함에 있어 같은 시간의 다른 시점의 영상간의 거리는 물론이고 서로 다른 시간대의 시점간의 영상간의 거리도 거리를 의미한다. 즉 현재 시점의 현재 영상과 다른시점의 같은 시간의 영상간의 거리도 변이이며, 현재 시점의 영상과 다른 시점의 영상에서 시간상으로 앞서거나 나중인 영상과의 거리도 변이이다. 이러한 변이벡터를 산출하기 위한 영상들은 모두 List-2(342)와 List-3(343)에 의해 관리된다.
전술한 바와 같이, 움직임 벡터와 변이 벡터의 크기가 다르기 때문에 둘 중 하나만을 선택하는 기존의 다시점 동영상 부호화기는 블록단위의 벡터부호화시 이전 벡터와의 차분이 부호화되어 전송될 때, 연속되는 블록간의 벡터의 특성이 다를 경우 벡터를 부호화할 때 CABAC과 같은 Context 적응형의 엔트로피 부호화의 장점을 잃게 된다.
따라서 이러한 문제를 해결하고자, 다른 시점의 영상으로부터 얻어지는 변이 벡터를 부호화 하는 방법은 후술하는 바와 같다.
첫 번째는 부호화되는 각 블록별로 변이 벡터와 움직임 벡터를 따로 분리하여 별도의 Context 적응형으로 부호화하는 방법이고, 두 번째는 각 시점간의 전체적인 변이를 보상하여 변이 벡터를 움직임 벡터로 간주하고 블록별로 움직임 벡터에 의해서 예측부호화 되는 방법이다. 세 번째는 List-0(341)과 List-2(342)을 하나의 버퍼로, List-1(341)과 List-3(343)을 하나의 버퍼로 묶은 다음, 그 인덱스에 의해 시간축 버퍼인지 시점간 버퍼인지 구별하여 예측 부호화하는 방법이다.
첫 번째 방법은 참조영상이 기준 시점인 경우에는 기존의 단일시점 동영상 부호화기처럼 움직임 벡터만을 활용하며, 나머지 다른 시점의 영상은 움직임벡터 또는 변이 벡터만을 사용하거나, 두 벡터를 조합하는 방법이다. 이 때, 벡터의 활용방법은 각 블록의 형태(ex MB type)에 의해 결정되어진다. 물론 변이 벡터를 위해서는 List-2(342)와 List-3(343) 버퍼가 참조영상 버퍼로 선택되고, 움직임 벡터를 위해서는 List-0과 List-1 버퍼(341)가 참조영상버퍼로 선택된다.
상기 엔트로피 부호화부(330)는 변이 벡터와 움직임 벡터를 따로 분리하여 부호화 하기 위해, 변이벡터와 움직임벡터에 대한 룩업테이블(look-up table)을 각각 생성하여 변이벡터와 움직임벡터가 별도의 Context 적응형으로 부호화하게 된다. 이와 같이, 변이 벡터와 움직임벡터를 분리하여 부호화하기 때문에 벡터의 엔트로피 부호화시 발생하는 문제를 해결할 수 있으며, 단일 시점 비디오 부호화 방식의 양방향 예측 부호화 Picture인 B-Picture처럼 복수의 벡터를 사용하여 부호화 효율을 증대 시킬 수 있다. 즉 상술한 첫번째 방법은 예측 부호화를 위해, 시간축 상에서 2개의 참조영상(List-0/List-1)과 시점상에서 2개의 참조영상(List-2, List-3)을 이용해서, 움직임 벡터 또는 변이 벡터를 구하고, 구해진 움직임 벡터 또는 변이벡터 각각에 대한 룩업테이블을 생성하여 각 블록별로 변이 벡터와 움직임 벡터를 따로 분리하여 부호화하는 방법이다.
두 번째 방법은 참조영상이 기준 시점인 경우는 기존의 단일시점 동영상 부호화기처럼 움직임 벡터만을 활용하며, 나머지 다른 시점의 경우에는 움직임벡터와 변이 벡터를 같은 벡터로 간주하여 예측 부호화하는 방법이다. 이때 전술한 엔트로피 부호화의 문제를 해결하기 위하여 List-2(342)나 List-3(343)으로부터 얻어지 는 벡터는 변이 벡터이므로 벡터 부호화시에 전역 변이 벡터를 보상하여 그 차분을 부호화한다. 즉, 전역 변이 벡터를 보상하여 부호화함으로써 움직임 벡터와 변이벡터의 특성 차이를 보상함으로써 엔트로피 부호화의 문제를 해결하게 된다.
아래 수식은 움직임 벡터와 변이 벡터를 부호화하는 방법이다.
Figure 112006051015350-PAT00001
위 수학식1에서 MV는 움직임 벡터, DV는 변이 벡터, PMV는 주변 블록으로부터 얻어지는 움직임벡터 예측값, PDV는 주변블록으로부터 얻어지 변이벡터 예측값, GDV는 시점간의 거리로부터 발생하는 전체적인 전역 변이 벡터이다. GDV는 전역움직임벡터 추정 방법이나 카메라 파라메터 등을 이용하여 구해질 수 있다. 또한, VD는 부호화되는 차분 벡터이다.
상술한 두번째 방법에 의해 차분벡터를 부호화 하는 경우, 엔트로피 부호화부(330)는 주변 블록으로부터 얻어진 예측값이 PMV이고, 현재 MV를 부호화하는 경우에는 (식 1)의 첫 번째 경우처럼 차분벡터를 부호화하며, 예측값이 PDV이고 현재 DV를 부호화하는 경우에는 (식 1)의 네 번째 경우와 같이 차분벡터를 부호화한다. 주변 블록으로부터의 예측값이 PMV이고 현재 DV를 부호화하는 경우는 (식 1)의 두 번째 경우처럼 현재 구해진 DV에서 GDV 및 PMV를 차감한 값을 차분벡터로하여 부호화한다. 마지막으로 주변블록으로부터 PDV를 얻고, 현재 MV를 부호화하는 경우에는 MV에 GDV를 더한 값을 PDV를 이용하여 차분 부호화한다. 이 경우 역시 최대 4개의 벡터가 사용되어 질 수 있다.
세 번째 방법은 현재 사용되고 있는 H.264의 버퍼 관리 방식처럼 두개의 버퍼를 사용하되, 시점간 버퍼와 시간축 상의 버퍼를 구성하는 방법이다. 이 경우 List-0/List-2의 버퍼와 List-1/List-3의 버퍼로부터 최대 2개의 벡터가 얻어 질 수 있다. 그리고 그 버퍼의 인덱스에 의해 변이 벡터인지 움직임 벡터인지 구분할 수 있다. 이때 움직임 벡터 또는 변이벡터는 주변의 PMV나 PDV를 이용하여 차분 부호화하여 하는데, 차분 벡터를 구하는 방식은 두 번째 방법과 동일하다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같이 본 발명은, 시점간의 예측부호화를 효율적으로 수행하기 위한 장치 및 그방법에 관한 것으로 다시점 동영상 데이터를 획득, 압축, 전송, 복원, 디스플레이하는 다시점 동영상 서비스를 가능하게 함으로써, 입체 디스플레이 서비스, 옴니비디오 서비스, 파노라믹 비디오 서비스, Free Viewpoint TV 서비스에 활용될 수 있으며, 다시점 동영상 부호화시 인접 시점의 정보를 활용함으로 압축 효율을 향상 시킬 수 있는 효과가 있다.

Claims (17)

  1. 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화 장치로서,
    시공간적 GOP 구조 정보에 따라 예측 부호화를 위한 참조영상을 제공하기 위한 다시점 참조영상 제공부;
    현재 부호화할 영상이 상기 다시점 참조 영상 제공부로부터 입력받은 참조영상의 어느 부분으로부터 참조할 지를 예측하여 벡터를 생성하는 예측부;
    상기 예측부로부터 입력받은 예측 신호를 현재 부호화할 영상신호와의 차분신호를 구하여 이를 변환하고 양자화하여 압축하기 위한 변환 및 양자화부; 및
    상기 변환 및 양자화부로부터 입력받은 양자화된 신호 및 상기 예측부로부터 제공되는 벡터를 소정의 방식에 따라 부호화하여 출력하기 위한 엔트로피 부호화부;를 포함하는 예측부호화 장치.
  2. 제 1항에 있어서, 상기 예측부는,
    입력된 참조영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 추정을 수행하여 움직임 벡터를 생성하고, 참조영상이 다른 시점의 영상일 경우에는 변이 추정을 수행하여 변이벡터를 생성하는 변이/움직임 추정부; 및
    입력된 참조 영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 보상을 수행하고, 참조 영상이 다른 시점의 영상일 경우에는 변이 보상을 수행하는 변이/움직임 보상부;를 포함하여 구성되는 예측 부호화 장치.
  3. 제 1항에 있어서, 상기 다시점 참조영상 제공부는,
    현재 시점의 다른 시간의 복원 영상을 저장/출력하기 위한 복원 영상 저장부;
    인접 시점의 현재 시간의 참조 영상을 저장/출력하기 위한 제 1 인접 시점 참조 영상 저장부;
    인접 시점의 다른 시간의 참조 영상을 저장/출력하기 위한 제 2 인접 시점 참조 영상 저장부;
    상기 제 1 인접 시점 참조 영상 저장부 및 제 2 인접 시점 참조 영상 저장부로부터 입력받은 인접 시점 영상을 미리 입력받은 카메라 정보를 이용하여 현재 시점의 영상으로 변환하여 출력하기 위한 시점 변환부; 및
    상기 GOP 정보 생성부로부터 입력받은 시공간적 GOP 구조 정보에 따라 상기 복원 영상 저장부 및 시점 변환부로부터 입력받은 영상들 중에서 참조 영상을 선택하여 출력하기 위한 참조 영상 선택부를 포함하여 구성되는 예측 부호화 장치.
  4. 제 1항에 있어서, 상기 엔트로피 부호화부는,
    상기 예측부로부터 입력되는 움직임 벡터와 변이벡터에 대한 룩업테이블을 각각 생성하여 움직임 벡터와 변이벡터에 대한 엔트로피 부호화를 분리하여 부호화 하는 것을 특징으로 하는 예측 부호화 장치.
  5. 제 1항에 있어서, 상기 엔트로피 부호화부는,
    변이벡터에 대하여 전역 변이 벡터를 보상한 차분 벡터를 부호화하여 움직임 벡터와 변이벡터의 특성차이를 보상하는 것을 특징으로 하는 예측 부호화 장치.
  6. 제 5항에 있어서, 상기 엔트로피 부호화부는,
    주변 블록으로부터 얻어진 예측값이 움직임벡터예측값 PMV이고 현재 블럭이 움직임 벡터인 경우에는 움직임벡터와 PMV의 차분벡터를 부호화하고,
    주변 블록으로부터 얻어진 예측값이 변이벡터예측값 PDV이고 현재 블럭이 변이벡터인 경우에는 변이벡터와 PDV의 차분벡터를 부호화 하고,
    주변 블록으로부터 얻어진 예측값이 PMV이고 현재 블럭이 현재 블럭이 변이벡터인 경우에는 변이벡터에서 전역변이벡터 및 PMV를 뺀 차분 벡터를 부호화하고,
    주변 블록으로부터 얻어진 예측값이 PDV이고 현재 블럭이 움직임벡터인 경우에는 움직임벡터와 GDV를 더한 값에서 PDV를 뺀 차분 벡터를 부호화하는 것을 특징으로 하는 예측 부호화 장치.
  7. 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화 방법으로서,
    시공간적 GOP 구조 정보에 따라 예측 부호화를 위한 참조영상을 제공하기 위한 다시점 참조 영상 제공 단계;
    상기 참조 영상을 이용하여 참조영상에 대한 벡터를 생성하고 현재 부호화할 영상의 예측을 수행하기 위한 예측 단계;
    상기 예측 단계에서 예측한 신호를 변환하고 양자화하여 압축하기 위한 변환 및 양자화 단계; 및
    상기 양자화된 신호 및 상기 예측부로부터 제공되는 벡터를 소정의 방식에 따라 부호화하여 출력하기 위한 엔트로피 부호화 단계;를 포함하는 예측 부호화 방법.
  8. 제 7항에 있어서, 상기 예측 단계는,
    입력된 참조영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 추정을 수행하여 움직임벡터를 생성하고, 참조영상이 다른 시점의 영상일 경우에는 변이 추정을 수행하여 변이벡터를 생성하는 변이/움직임 추정 단계; 및
    입력된 참조 영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 보상을 수행하고, 참조 영상이 다른 시점의 영상일 경우에는 변이 보상을 수행하는 변이/움직임 보상단계;를 포함하여 구성되는 예측 부호화 방법.
  9. 제 7항에 있어서, 상기 엔트로피 부호화 단계는,
    상기 예측단계를 통해 입력되는 움직임 벡터와 변이벡터에 대한 룩업테이블을 각각 생성하여 움직임 벡터와 변이벡터에 대한 엔트로피 부호화를 분리하여 부호화 하는 것을 특징으로 하는 예측 부호화 방법.
  10. 제 7항에 있어서, 상기 엔트로피 부호화 단계는,
    변이벡터에 대하여 전역 변이 벡터를 보상한 차분 벡터를 부호화하여 움직임 벡터와 변이벡터의 특성차이를 보상하는 것을 특징으로 하는 예측 부호화 방법.
  11. 제 10항에 있어서, 상기 엔트로피 부호화 단계는,
    주변 블록으로부터 얻어진 예측값이 움직임벡터예측값 PMV이고 현재 블럭이 움직임 벡터인 경우에는 움직임벡터와 PMV의 차분벡터를 부호화하고,
    주변 블록으로부터 얻어진 예측값이 변이벡터예측값 PDV이고 현재 블럭이 변이벡터인 경우에는 변이벡터와 PDV의 차분벡터를 부호화 하고,
    주변 블록으로부터 얻어진 예측값이 PMV이고 현재 블럭이 현재 블럭이 변이벡터인 경우에는 변이벡터에서 전역변이벡터 및 PMV를 뺀 차분 벡터를 부호화하고,
    주변 블록으로부터 얻어진 예측값이 PDV이고 현재 블럭이 움직임벡터인 경우에는 움직임벡터와 GDV를 더한 값에서 PDV를 뺀 차분 벡터를 부호화하는 것을 특징으로 하는 예측 부호화 방법.
  12. 복수의 카메라에 의한 다시점 영상을 부호화한 신호를 복호화하기 위한 장치로서,
    외부로부터 입력받은 신호를 엔트로피 복호화, 역재배열, 역양자화 및 역변환 처리하여 복호하기 위한 복호화부;
    상기 복호화부에서 복호된 신호에서, 예측 부호화를 위한 영상들간의 참조 관계를 시공간적으로 표현한 시공간적 GOP 구성 정보를 이용하여 상기 다시점 영상을 복원하기 위한 시공간적 GOP 기반 영상 재생부; 및
    상기 GOP 기반 영상 재생부에서 복원된 다시점 영상들을 합성하여 출력하기 위한 장면 합성부
    를 포함하되, 엔트로피 복호화는 움직임 벡터와 변이벡터를 이용하는 것을 특징으로 하는 복호화 장치.
  13. 제 12항에 있어서, 상기 엔트로피 복호는,
    움직임 벡터와 변이벡터에 대한 룩업테이블을 각각 생성하여 움직임 벡터와 변이벡터를 분리하여 부호화된 입력신호를 복호하는 것을 특징으로 하는 복호화 장치.
  14. 제 12항에 있어서, 상기 엔트로피 복호는,
    변이벡터에 대하여 전역 변이 벡터를 보상한 차분벡터를 부호화한 입력신호를 복호하는 것을 특징으로 하는 복호화 장치.
  15. 외부로부터 입력받은 신호를 엔트로피 복호화, 역재배열, 역양자화 및 역변환 처리하여 복호하하는 단계;
    상기 복호된 신호에서, 예측 부호화를 위한 영상들간의 참조 관계를 시공간적으로 표현한 시공간적 GOP 구성 정보를 이용하여 상기 다시점 영상을 복원하기 위한 단계; 및
    상기 GOP 기반 영상 재생부에서 복원된 다시점 영상들을 합성하여 출력하기 위한 장면 합성단계;
    를 포함하되, 엔트로피 복호화는 움직임 벡터와 변이벡터를 이용하는 것을 특징으로 하는 복호화 방법.
  16. 제 15항에 있어서, 상기 엔트로피 복호는,
    움직임 벡터와 변이벡터에 대한 룩업테이블을 각각 생성하여 움직임 벡터와 변이벡터를 분리하여 부호화된 입력신호를 복호하는 것을 특징으로 하는 복호화 방법.
  17. 제 15항에 있어서, 상기 엔트로피 복호는,
    변이벡터에 대하여 전역 변이 벡터를 보상한 차분벡터를 부호화한 입력신호를 복호하는 것을 특징으로 하는 복호화 방법.
KR20060067027A 2005-07-18 2006-07-18 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법 KR100789753B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050064992 2005-07-18
KR20050064992 2005-07-18

Publications (2)

Publication Number Publication Date
KR20070011147A true KR20070011147A (ko) 2007-01-24
KR100789753B1 KR100789753B1 (ko) 2008-01-02

Family

ID=37668999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060067027A KR100789753B1 (ko) 2005-07-18 2006-07-18 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법

Country Status (6)

Country Link
US (2) US8369406B2 (ko)
EP (1) EP1905244A4 (ko)
JP (1) JP5020953B2 (ko)
KR (1) KR100789753B1 (ko)
CN (1) CN101253774B (ko)
WO (1) WO2007011147A1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941608B1 (ko) * 2006-10-17 2010-02-11 경희대학교 산학협력단 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
KR100980780B1 (ko) * 2008-06-16 2010-09-10 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR101007325B1 (ko) * 2008-09-18 2011-01-13 한국철도기술연구원 양안영상용 부호화기 및 이를 포함하는 모니터링 시스템
KR101138921B1 (ko) * 2010-07-07 2012-05-14 중앙대학교 산학협력단 다중 시점 기반의 비디오 인코딩 장치 및 방법
WO2014010820A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
WO2014051321A1 (ko) * 2012-09-28 2014-04-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
KR101385884B1 (ko) * 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
KR101407719B1 (ko) * 2008-01-14 2014-06-16 광주과학기술원 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
KR20150037847A (ko) * 2012-06-19 2015-04-08 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2017090988A1 (ko) * 2015-11-23 2017-06-01 한국전자통신연구원 다시점 비디오의 부호화/복호화 방법
US9900620B2 (en) 2012-09-28 2018-02-20 Samsung Electronics Co., Ltd. Apparatus and method for coding/decoding multi-view image
US10477247B2 (en) 2015-11-18 2019-11-12 Electronics And Telecommunications Research Institute Method for decoding video using in-loop filter, and device therefor

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
MX2008012382A (es) * 2006-03-29 2008-11-18 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
US8358693B2 (en) * 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
JP5303556B2 (ja) * 2007-08-06 2013-10-02 トムソン ライセンシング 複数のインタービュー参照ピクチャを用いたモーションスキップモードのための方法及び装置
CN102106152A (zh) * 2008-07-24 2011-06-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US9113196B2 (en) * 2008-11-10 2015-08-18 Lg Electronics Inc. Method and device for processing a video signal using inter-view prediction
KR101158491B1 (ko) * 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
AU2011250757B2 (en) * 2009-01-19 2012-09-06 Panasonic Intellectual Property Corporation Of America Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit
JP4560143B2 (ja) * 2009-01-19 2010-10-13 パナソニック株式会社 符号化方法、復号方法、符号化装置、復号装置、プログラム、及び集積回路
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
KR100991184B1 (ko) 2009-02-18 2010-11-01 연세대학교 산학협력단 동영상 부호화 효율 향상을 위한 움직임 벡터 압축 방법 및그 장치, 상기 방법을 구현하는 프로그램이 기록된 기록매체
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
CN102055968B (zh) * 2009-10-28 2012-08-29 中国移动通信集团公司 多视点视频中丢失的视频数据的恢复方法、系统及设备
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
EP2355511A1 (en) 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
KR101628383B1 (ko) 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
KR101187530B1 (ko) * 2011-03-02 2012-10-02 한국과학기술원 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
CN102098516B (zh) * 2011-03-07 2012-10-31 上海大学 多视点视频解码端去块滤波方法
GB2501836B (en) * 2011-03-09 2014-08-06 Canon Kk Video encoding
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
CN107071476B (zh) * 2011-06-30 2020-12-08 索尼公司 图像解码设备和图像解码方法
US20140146043A1 (en) * 2011-07-18 2014-05-29 Thomson Licensing Method and device for encoding an orientation vector of a connected component, corresponding decoding method and device and storage medium carrying such encoded data
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
EP3657796A1 (en) 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
KR101662918B1 (ko) 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP3462742A1 (en) * 2011-11-11 2019-04-03 GE Video Compression, LLC Multi-view coding with exploitation of renderable portions
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
US9467694B2 (en) * 2011-11-21 2016-10-11 Google Technology Holdings LLC Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction
US9503756B2 (en) 2011-12-09 2016-11-22 Arris Enterprises, Inc. Encoding and decoding using perceptual representations
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US11076095B1 (en) * 2012-05-25 2021-07-27 Altia Systems Inc. Depth sensor assisted multiple imager video system
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
EP2870766B1 (en) * 2012-07-09 2020-04-08 Mitsubishi Electric Corporation Method and system for processing multiview videos for view synthesis using motion vector predictor list
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
KR102379609B1 (ko) 2012-10-01 2022-03-28 지이 비디오 컴프레션, 엘엘씨 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
CN104284171B (zh) * 2013-07-03 2017-11-03 乐金电子(中国)研究开发中心有限公司 深度图像帧内预测方法及装置
KR102153539B1 (ko) * 2013-09-05 2020-09-08 한국전자통신연구원 영상 처리 장치 및 방법
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
EP3197163A4 (en) * 2014-10-07 2017-09-13 Samsung Electronics Co., Ltd. Method and device for encoding or decoding multi-layer image, using inter-layer prediction
JP5858119B2 (ja) * 2014-10-15 2016-02-10 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
CN104754360B (zh) * 2015-03-26 2017-11-17 清华大学深圳研究生院 用于自由视点视频编码过程中的负载预测方法及装置
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
US9888284B2 (en) * 2015-10-26 2018-02-06 Nokia Technologies Oy Method and apparatus for improved streaming of immersive content
JP6938612B2 (ja) 2016-07-12 2021-09-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
KR102312285B1 (ko) * 2016-09-08 2021-10-13 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
CN109691110B (zh) * 2016-09-08 2023-07-25 佳稳集团有限公司 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置
KR102014240B1 (ko) * 2016-09-08 2019-08-27 가온미디어 주식회사 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
EP3518534B1 (en) * 2016-09-26 2023-05-17 Sony Group Corporation Encoding device, encoding method, decoding device, decoding method, transmission device, and reception device
WO2019039920A1 (ko) * 2017-08-25 2019-02-28 가온미디어 주식회사 가상 현실 영상의 부호화/복호화 방법 및 그 장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69531583T2 (de) * 1994-10-14 2004-06-24 Canon K.K. Bildverarbeitungsverfahren und -gerät
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
US6148109A (en) * 1996-05-28 2000-11-14 Matsushita Electric Industrial Co., Ltd. Image predictive coding method
DE69736661D1 (de) * 1997-01-31 2006-10-26 Victor Company Of Japan Vorrichtung zur Videocodierung und -decodierung mit Bewegungskompensation
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
KR100448111B1 (ko) * 1998-06-09 2004-09-10 마츠시타 덴끼 산교 가부시키가이샤 화상 부호화 장치, 화상 복호화 장치 및 데이터 기억 매체
JP3776595B2 (ja) 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
JP2001285895A (ja) * 2000-03-30 2001-10-12 Sanyo Electric Co Ltd 画像データ符号化装置及びその方法
KR100331050B1 (ko) 2000-06-01 2002-04-19 송종수 동영상 데이터상의 객체 추적 방법
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4015532B2 (ja) * 2002-11-07 2007-11-28 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体
KR100523930B1 (ko) 2003-01-13 2005-10-26 전자부품연구원 다시점 영상의 압축/복원장치
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
JP2005277908A (ja) * 2004-03-25 2005-10-06 Nec Access Technica Ltd 画像処理装置、その画像処理方法およびカメラつき携帯電話
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
JP2005318297A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
JP4532980B2 (ja) * 2004-05-12 2010-08-25 キヤノン株式会社 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US20050276500A1 (en) * 2004-06-15 2005-12-15 Canon Kabushiki Kaisha Image encoding apparatus, and image processing apparatus and its control method
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
KR100946790B1 (ko) * 2005-01-07 2010-03-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
US8031774B2 (en) * 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
US20060198439A1 (en) * 2005-03-01 2006-09-07 Qin-Fan Zhu Method and system for mode decision in a video encoder
US8054882B2 (en) * 2005-05-13 2011-11-08 Streaming Networks (Pvt.) Ltd. Method and system for providing bi-directionally predicted video coding
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941608B1 (ko) * 2006-10-17 2010-02-11 경희대학교 산학협력단 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
KR101407719B1 (ko) * 2008-01-14 2014-06-16 광주과학기술원 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
KR101385884B1 (ko) * 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
KR100980780B1 (ko) * 2008-06-16 2010-09-10 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR101007325B1 (ko) * 2008-09-18 2011-01-13 한국철도기술연구원 양안영상용 부호화기 및 이를 포함하는 모니터링 시스템
KR101138921B1 (ko) * 2010-07-07 2012-05-14 중앙대학교 산학협력단 다중 시점 기반의 비디오 인코딩 장치 및 방법
KR20150037847A (ko) * 2012-06-19 2015-04-08 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2014010820A1 (en) * 2012-07-10 2014-01-16 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
US9798919B2 (en) 2012-07-10 2017-10-24 Samsung Electronics Co., Ltd. Method and apparatus for estimating image motion using disparity information of a multi-view image
WO2014051321A1 (ko) * 2012-09-28 2014-04-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
US9900620B2 (en) 2012-09-28 2018-02-20 Samsung Electronics Co., Ltd. Apparatus and method for coding/decoding multi-view image
US10477247B2 (en) 2015-11-18 2019-11-12 Electronics And Telecommunications Research Institute Method for decoding video using in-loop filter, and device therefor
WO2017090988A1 (ko) * 2015-11-23 2017-06-01 한국전자통신연구원 다시점 비디오의 부호화/복호화 방법
US10701396B2 (en) 2015-11-23 2020-06-30 Electronics And Telecommunications Research Institute Multi-viewpoint video encoding/decoding method

Also Published As

Publication number Publication date
EP1905244A1 (en) 2008-04-02
CN101253774A (zh) 2008-08-27
US9154786B2 (en) 2015-10-06
JP5020953B2 (ja) 2012-09-05
KR100789753B1 (ko) 2008-01-02
EP1905244A4 (en) 2010-12-01
US20080219351A1 (en) 2008-09-11
US8369406B2 (en) 2013-02-05
JP2009502084A (ja) 2009-01-22
CN101253774B (zh) 2011-04-06
US20130114699A1 (en) 2013-05-09
WO2007011147A1 (en) 2007-01-25

Similar Documents

Publication Publication Date Title
KR100789753B1 (ko) 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
KR100760258B1 (ko) 범용적 다시점 동영상 부호화/복호화 장치 및 방법
US10681378B2 (en) Method for encoding and decoding video including plurality of layers
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
KR100919885B1 (ko) 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
Ho et al. Overview of multi-view video coding
JP5059766B2 (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
US20070041443A1 (en) Method and apparatus for encoding multiview video
KR20070033863A (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
US20170310993A1 (en) Movement information compression method and device for 3d video coding
US10419779B2 (en) Method and device for processing camera parameter in 3D video coding
US10045048B2 (en) Method and apparatus for decoding multi-view video
KR20170065502A (ko) 3d 비디오 부호화/복호화 방법 및 장치
KR20170002573A (ko) 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
KR102116265B1 (ko) 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
EP3059969A1 (en) Method and apparatus for coding/decoding video comprising multi-view
EP3122050A1 (en) 3d video encoding/decoding method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171128

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 12