KR100815486B1 - 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체 - Google Patents

다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체 Download PDF

Info

Publication number
KR100815486B1
KR100815486B1 KR1020060078149A KR20060078149A KR100815486B1 KR 100815486 B1 KR100815486 B1 KR 100815486B1 KR 1020060078149 A KR1020060078149 A KR 1020060078149A KR 20060078149 A KR20060078149 A KR 20060078149A KR 100815486 B1 KR100815486 B1 KR 100815486B1
Authority
KR
South Korea
Prior art keywords
screen
picture
encoding
order
same time
Prior art date
Application number
KR1020060078149A
Other languages
English (en)
Other versions
KR20080016266A (ko
Inventor
호요성
오관정
Original Assignee
광주과학기술원
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원, 주식회사 케이티 filed Critical 광주과학기술원
Priority to KR1020060078149A priority Critical patent/KR100815486B1/ko
Priority to US12/377,990 priority patent/US8184707B2/en
Priority to PCT/KR2007/003949 priority patent/WO2008020733A1/en
Publication of KR20080016266A publication Critical patent/KR20080016266A/ko
Application granted granted Critical
Publication of KR100815486B1 publication Critical patent/KR100815486B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 비디오에서 상이한 시점의 화면에 대한 전역변이를 검출하고, 산출된 전역변이를 이용해서 시점방향으로도 계층적인 B 화면구조를 사용함으로써 인코딩 효율을 증가시킬 수 있는 다시점 비디오의 인코딩 방법 및 인코더를 제공하는 것을 목적으로 한다. 이러한 목적을 달성하기 위해, 본 발명에 따른 다시점 비디오에서 상이한 시점의 화면들에 대한 데이터를 인코딩하는 인코더는, 한쪽 끝 시점의 화면이 I 화면으로 인코딩되면 동일한 시간에서 다른 쪽 끝 시점의 화면을 I/P 화면으로 인코딩하되, 상기 두 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 I 화면과 상기 I/P 화면으로부터 양방향 예측하여 1차 B 화면으로 인코딩하고, 상기 1차 B 화면과 상기 I 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I 화면으로부터 양방향 예측하거나 상기 1차 B 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I/P 화면으로부터 양방향 예측하여 2차 B 화면으로 인코딩한다. 본 발명에 따른 인코더 및 인코딩 방법을 사용하면 시점방향으로도 계층적 B 화면을 구성함으로써 다른 시점의 화면 사이에서 존재하는 중복성을 제거하여 보다 효율적으로 다시점 비디오를 인코딩할 수 있다. 또한, 본 발명에 따른 인코더 및 인코딩 방법을 사용하면 여러 시점에 대해서도 중요도가 높은 화면이 동일한 시간 간격으로 나타남으로써 I 화면이나 P 화면이 존재하지 않는 시간이나 시점에서도 좋은 화질의 화면을 얻을 수 있다는 장점이 있다.
다시점, 인코더, 디코더, 계층적, B 화면

Description

다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체 {A method and apparatus for encoding multiview video and a storage medium using the same}
도 1 은 다시점 비디오 인코더와 디코더를 포함한 다시점 비디오 시스템에 대한 개략도이다.
도 2 는 종래기술에 따른 다시점 비디오에서 화면의 배치구조를 나타내는 도면이다.
도 3 는 본 발명에 따른 시점방향으로 계층적 B 화면을 이용하는 다시점 비디오 인코더의 실시예에 대한 블록도이다.
도 4 은 도 3의 실시예에서 프레임 재배열부가 다시점 비디오 피드를 재배열하는 순서를 나타낸 도면이다.
도 5 는 본 발명의 실시예에서 다시점 비디오의 화면을 배치하는 시공간적 구조와 화면의 참조관계를 나타낸 도면이다.
도 6 는 도 3 의 실시예에서 참조화면 생성부를 구체적으로 나타낸 블록도이다.
도 7 은 참조화면 이동법을 이용하는 실시예에서 전역변이를 구하기 위해서 두 화면을 중첩시켜 이동시키는 과정을 나타내는 도면이다.
도 8a 와 도 8b는 다시점 비디오를 위한 원래의 참조화면 2개의 픽셀을 좌우로 확대한 도면이다.
도 9a 와 도 9b는 도 7a와 도 7b의 참조화면에 대하여 전역변이를 보상하여 이동시킨 뒤 복사 및 패딩 처리하여 생성한 새로운 참조화면을 나타내는 도면이다.
도 10 는 인코딩하기 위해 도 8a 및 도 8b의 화면을 참조하는 대상화면을 나타내는 도면이다.
도 11a 와 도 11b는 초기 탐색점 이동법을 사용하여 대상화면의 블록을 참조화면에서 검색하는 과정을 설명하는 도면이다.
<도면의 주요부분에 대한 부호의 설명>
4, 6, … 16, 18: 카메라 40: 다시점 비디오 인코더
48: 다시점 비디오 디코더 50: 모니터
102: 캡쳐 버퍼 104: 프레임 재배열부
106: 감산기 120: 참조화면 생성부
130: 인트라모드 선택부 132: 인트라 예측부
202: 업샘플링 처리부 204: 전역변이 연산부
206: 가장자리 복사 처리부 208: 가장자리 패딩 처리부
210: 필터
본 발명은 다시점 비디오를 인코딩하는 방법과 장치에 관한 것으로, 구체적으로는 상이한 시점의 화면들 사이에 전역변이를 이용하여 다시점 비디오의 화면을 시간방향뿐만 아니라 시점방향으로도 계층적인 B 화면으로 구성하고, 중요도가 높은 화면을 격자형으로 배치한 다시점의 시공간적 화면 배치 구조를 이용한 다시점 비디오를 인코딩하는 방법과 장치에 관한 것이다.
다시점(multi-view) 비디오는 평행 또는 아크 모양으로 배열된 동기화된 많은 개수의 카메라(예를 들면 8개)로 동일한 물체를 촬영해서 얻은 시점 화상(view image)의 집합이다. 이와 같은 다시점 비디오는 입체 디스플레이 장치뿐만 아니라 입체 방송, 실감 방송, 3D DMB 방송, FTV(Free-view TV) 등에서 사용자가 원하는 시점에서 시청하거나 콘텐츠를 3D 입체화상으로 보고자 할 때도 적용될 수 있는 응용의 폭이 넓은 기술이다.
도 1 은 일반적으로 사용되는 다시점 비디오 전송 시스템에 대한 개략적인 도면이다. 다시점 비디오 전송 시스템에서는 도 1 과 같이 복수의 카메라(4, 6, … , 16, 18)가 동일한 촬영 대상을 촬영하여 촬영된 디지털 또는 아날로그 형태의 신호를 전송선(20, 22, … , 32, 34)을 통해 다시점 비디오 인코더(40)로 전송한다. 다시점 비디오 인코더에서 압축된 데이터는 전송선(42)을 타고 인터넷(44) 또는 다른 전용 데이터망을 통하여 전송선(46)을 타고 다시점 비디오 디코더(48)로 전달된다. 다시점 비디오 디코더(48)는 이렇게 전달된 데이터를 디코딩한 뒤 다시점 비디오의 전부 또는 일부를 모니터(40) 등의 출력 수단에 디스플레이한다.
다시점 비디오에서 화면들은 시간적 중복성 뿐만 아니라 공간적인 중복성도 가지고 있다. 따라서, 일반적으로 사용되는 다시점 비디오 인코더에서는 전송 효율을 높이기 위해서 시간 방향으로만 움직임 예측을 수행할 뿐만 아니라 다른 시점 사이의 공간적인 중복성을 제거하기 위한 움직임 예측도 수행한다.
도 2 는 종래기술에 따른 다시점 비디오의 화면에 대한 시공간적 배치구조를 나타내는 도면이다. 도 2 의 배치구조에 따르면 첫 시점의 I 화면으로부터 P 화면을 일방향 예측하여 인코딩하고, 상기 I 화면과 P 화면으로부터 중간의 B 화면을 양방향 예측하여 인코딩한다. 다른 시간의 화면은 모두 양방향 예측된 B 화면으로 인코딩된다.
그러나, 도 2 와 같은 종래의 다시점 비디오 인코더 또는 인코딩 방법에서는 시간방향으로는 계층적 B 화면을 사용하지만, 시점방향으로는 계층적인 B 화면을 사용하지 않아서 다시점 비디오에 대한 인코딩 효율이 떨어지는 문제점이 있었다.
아울러, 종래의 다시점 비디오 화면의 배치 구조에서는 I 화면 또는 P 화면으로 인코딩되지 않는 시간이나 시점에서 B 화면으로 인코딩될 화면들의 주변에는 참조할 수 있는 고화질의 화면이 존재하지 않았다. 따라서, 이와 같은 B 화면들은 양자화 오차가 누적되어 화면의 화질이 떨어지는 문제점이 있었다.
본 발명은 다시점 비디오에서 상이한 시점의 화면에 대한 전역변이를 검출하고, 산출된 전역변이를 이용해서 시점방향으로도 계층적인 B 화면구조를 사용함으로써 인코딩 효율을 증가시킬 수 있는 다시점 비디오의 인코딩 방법 및 인코더를 제공하는 것을 목적으로 한다.
또한, 본 발명은 다시점 비디오에서 여러 시점에 대하여 중요도가 높은 화면, 즉 고화질의 화면을 적절히 배치하여 I 또는 P 화면을 직접적으로 참조하지 못하는 B 화면들도 화질이 좋은 화면을 참조할 수 있도록 하는 다시점 비디오의 인코딩 방법 및 인코더를 제공하는 것을 목적으로 한다.
본 발명에 따른 다시점 비디오에서 상이한 시점의 화면들에 대한 데이터를 인코딩하는 인코더는, 한쪽 끝 시점의 화면이 I 화면으로 인코딩되면 동일한 시간에서 다른 쪽 끝 시점의 화면을 I/P 화면으로 인코딩한다. 또한, 상기 두 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 I 화면과 상기 I/P 화면으로부터 양방향 예측하여 1차 B 화면으로 인코딩한다. 상기 1차 B 화면과 상기 I 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I 화면으로부터 양방향 예측하거나 상기 1차 B 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I/P 화면으로부터 양방향 예측하여 2차 B 화면으로 인코딩한다.
여기서, n 차 B 화면이라 함은, n-1 차 B 화면을 참조하고 있는 B 화면을 지 칭한다. 구체적으로, 본 발명에서 1 차 B 화면이란 I 화면 또는 P 화면만을 참조하는 화면이고, 2 차 B 화면은 1 차 B 화면을 참조하는 화면이고, 3 차 B 화면이란 2 차 B 화면을 참조하는 화면이다.
바람직하게, 한쪽 끝 시점의 화면이 m 차의 B 화면으로 인코딩되면 동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩하며, 상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 n 차 B 화면으로 인코딩하고, 상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 o 차 B 화면으로 인코딩한다. 여기서, m, n, o는 1 ≤ m < n < o 의 관계를 만족시킨다.
더욱 바람직하게, 상기 한쪽 끝 시점의 상기 I 화면과 동일한 시점에 대해서 시간적으로 후속하는 I 화면의 사이에 시간적으로 위치하는 화면을 1차 B 화면으로 인코딩하고, 상기 두 I 화면과 1차 B 화면 사이에 시간적으로 위치하는 화면을 2차 B 화면으로 인코딩한다.
또한, 상기 B 화면들을 인코딩할 때 시점이 상이한 화면들 사이의 전역변이를 산출하고, 산출된 전역변이를 이용하여 화면들을 인코딩할 수 있다. 여기서, 전역변이란 다시점 비디오에서 카메라의 수직 또는 수평 위치의 차이 또는 촬영 방향에 따라 촬영된 화면에서 발생하는 수직 또는 수평방향의 편이를 지칭한다. 본 발명에서는 이와 같은 전역변이를 참조 화면이동법 또는 움직임 벡터 초기 탐색점 이동법을 이용하여 보상하는 것이 바람직하다. 본 발명은 이렇게 산출된 전역변이를 이용해서 시점방향으로 계층적인 B 화면을 구성함으로써 다시점 비디오의 인코딩 효율을 향상시킨다.
바람직하게, 모든 시점에 대해서 양자화 스텝의 크기가 최소인 화면이 동일한 시간 간격으로 반복된다. 예를 들어, 다시점 비디오의 GOP 크기는 8 시점방향 x 12 시간방향 화면이며, 양자화 스텝의 크기가 최소인 화면이 모든 시점에 대하여 12 시간방향 화면마다 반복된다.
본 발명에 따른 다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법은, 한쪽 끝 시점의 화면을 I 화면으로 인코딩하는 단계; 상기 I 화면과 동일한 시간에 대한 다른 쪽 끝 시점의 화면을 I/P 화면으로 인코딩하는 단계; 상기 I 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 화면을 1차 B 화면으로 인코딩하는 단계; 및 상기 I 화면 또는 상기 I/P 화면과 1차 B 화면 사이에 공간적으로 위치하는 화면을 2차 B 화면으로 인코딩하는 단계를 포함한다.
바람직하게, 본 발명에 따른 인코딩 방법은, 한쪽 끝 시점의 화면을 m 차의 B 화면으로 인코딩하는 단계; 동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩하는 단계; 상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 n 차 B 화면으로 (단, m < n) 인코딩하는 단계; 및 상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 o 차 B 화면으로 (단, m, n, o는 1 ≤ m < n < o) 인코딩하는 단계를 더욱 구비한다.
더욱 바람직하게, 본 발명에 따른 인코딩 방법은, 상기 한쪽 끝 시점의 상기 I 화면과 동일한 시점에 대해서 시간적으로 후속하는 I 화면의 사이에 시간적으로 위치하는 화면을 1차 B 화면으로 인코딩하는 단계; 및 상기 두 I 화면과 1차 B 화면 사이에 시간적으로 위치하는 화면을 2차 B 화면으로 인코딩하는 단계를 더욱 구비한다.
또한, 본 발명에 따른 다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법을 실행시키기 위한 프로그램을 기록한 저장 매체는, 한쪽 끝 시점의 화면을 I 화면으로 인코딩하는 단계; 상기 I 화면과 동일한 시간에 대한 다른쪽 끝 시점의 화면을 I/P 화면으로 인코딩하는 단계; 상기 I 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 화면을 1차 B 화면으로 인코딩하는 단계; 및 상기 I 화면 또는 상기 I/P 화면과 1차 B 화면 사이에 공간적으로 위치하는 화면을 2차 B 화면으로 인코딩하는 단계를 실행하기 위한 프로그램을 저장하고 있다.
바람직하게, 상기 프로그램의 인코딩 방법은, 한쪽 끝 시점의 화면이 m 차의 B 화면으로 인코딩하는 단계; 상기 m차의 B 화면과 동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩하는 단계; 상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 n 차 B 화면으로 (단, m < n) 인코딩하는 단계; 및 상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 o 차 B 화면으로 (단, m, n, o는 1 ≤ m < n < o) 인코딩하는 단계를 더욱 구비한다.
본 발명에 따른 다시점 비디오의 인코딩된 데이터는, 한쪽 끝 시점의 화면을 인코딩한 I 화면; 상기 I 화면과 동일한 시간에서 다른 쪽 끝 시점의 화면을 인코딩한 I/P 화면; 상기 두 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 I 화면과 상기 I/P 화면으로부터 양방향 예측하여 인코딩한 1차 B 화면; 및 상기 1차 B 화면과 상기 I 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I 화면으로부터 양방향 예측하거나 상기 1차 B 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 B 화면과 상기 I/P 화면으로부터 양방향 예측하여 인코딩한 2차 B 화면을 포함하는 데이터 구조를 갖는다.
바람직하게, 상기 인코딩된 데이터는, 한쪽 끝 시점의 화면이 m 차의 B 화면으로 인코딩되어 있으면, 동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩되어 있다. 또한, 상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면이 n 차 B 화면으로 인코딩되어 있고, 상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면이 o 차 B 화면으로 인코딩되어 있다. 위에서, 상기 m, n, o는 1 ≤ m < n < o 의 관계를 만족시킨다.
더욱 바람직하게, 상기 인코딩된 데이터는, 상기 한쪽 끝 시점의 상기 I 화면과 동일한 시점에 대해서 시간적으로 후속하는 I 화면의 사이에 시간적으로 위치하는 화면이 1차 B 화면으로 인코딩되어 있고, 상기 두 I 화면과 1차 B 화면 사이에 시간적으로 위치하는 화면이 2차 B 화면으로 인코딩되어 있다.
더욱 바람직하게, 상기 인코딩된 데이터는, 모든 시점에 대해서 양자화 스텝의 크기가 최소인 화면이 동일한 시간 간격으로 반복되는 시공간적 화면 배치 구조 를 갖는다.
상기 인코딩된 데이터는, GOP 크기가 8 시점방향 x 12 시간방향 화면인 다시점 비디오에 대한 데이터일 수 있으며, 상기 인코딩된 데이터에서 양자화 스텝의 크기가 최소인 화면이 모든 시점에 대하여 12 시간방향 화면마다 반복될 수 있다.
이하에서는 본 발명에 따른 전역변이를 이용하여 시점방향으로도 계층적인 B 화면을 이용해서 인코딩하는 다시점 비디오의 인코딩하는 방법, 인코더 및 저장 매체의 실시예를 도면과 관련하여 구체적으로 살펴보도록 한다. 그러나, 이와 같은 실시예는 본 발명을 구현하는 예에 불과한 것으로, 본 발명의 권리범위가 이들 실시예로 한정되는 것으로 해석해서는 안 될 것이다.
도 3 는 본 발명에 따른 다시점 비디오 인코더의 실시예에 대한 블록도이다. 구체적으로 설명하면, 도 1 과 같은 복수의 카메라로부터 전송선(20, 22, … , 32, 34)을 통해 전달받은 비디오 피드는 우선 캡쳐 버퍼(102)에 입력된다. 본 실시예에서 상기 캡쳐 버퍼(102)는 전송선(20, 22, … , 32, 34)을 통해 전달받은 비디오 피드에서 화면을 캡쳐한 뒤 일시적으로 저장한다. 도 3 의 실시예에 따른 프레임 재배열부(104)는 후술하는 재배열 순서에 따라 캡쳐 버퍼(102)를 액세스하여 대상 화면의 데이터를 움직임 예상부(124)와 감산기(106)에 제공한다.
도 3 의 실시예에서 전방향 경로(forward path)에 대해서 설명하면 다음과 같다. 프레임 재배열부(104)로부터 출력된 대상 화면의 데이터는 감산기(106)로 입 력된다. 감산기(106)에서는 움직임 보상부(122)를 통해 재구성된 참조화면과 대상 화면의 차이값 행렬을 구해서 DCT부(108)로 전달한다. DCT부(108)는 상기 차이값 행렬을 이산 코사인 변환해서 DCT 계수를 얻는다. 이어서, 양자화부(110)에서는 DCT부(108)에서 얻어진 DCT 계수를 양자화시킨다. 이렇게 양자화된 DCT 계수는 엔트로피 코딩부(130)로 전달되어 CAVLC 또는 CAVAC 등의 방법으로 엔트로피 코딩된다. 엔트로피 코딩된 비트는 버퍼(132)를 통해 외부의 네트워크로 전송된다.
다음으로, 도 3의 실시예에서 재구성 경로(reconstruction path)에 대해서 설명하면 다음과 같다. 본 실시예의 양자화부(110)를 거친 데이터는 역양자화부(112), IDCT부(114)와 합산기(116)로 입력된다. 이어서 인트라모드 선택부(130)에서는 인트라모드를 이용한 I 프레임으로 화면을 인코딩할지 또는 인터모드를 이용한 P 또는 B 화면으로 화면을 인코딩할지를 결정한다. 인트라모드로 인코딩하는 경우에는 인트라 예측부(132)에서 화면 내 예측 알고리즘을 이용해서 I 화면을 생성한다.
반면, 화면을 인터모드로 인코딩하는 경우에는 재구성된 화면이 프레임 저장부(118)에 저장된 후 저장된 화면이 움직임 보상부(122)와 참조화면 생성부(120)에 제공된다. 참조화면 생성부(120)에서는 프레임 저장부(118)로부터 하나 또는 두 개의 화면을 입력받아서 참조화면을 생성한다. 참조화면 생성부(120)의 구체적인 구성과 참조화면을 생성하는 방법에 대해서는 후술하도록 한다. 이와 같이 생성된 참조화면을 이용해서 움직임 예상부(124)는 프레임 재배열부(104)에서 입력되는 대상화면의 움직임을 예상하고 대상화면의 블록에 대한 움직임 벡터를 엔트로피 코딩부(130)로 전송한다. 움직임 예상부(124)에서 얻어진 움직임 벡터는 움직임 보상부(122)로 전달되어 예측 화면이 구성된다. 예측 화면과 프레임 재배열부(104)에서 입력된 대상화면의 차이가 감산기(106)에서 연산되어 전술한 바와 같이 DCT부(108)로 전달되는 것이다. 아울러, 움직임 보상부(122)에서 예측된 화면에 대한 데이터는 가산기(116)로도 입력되어 IDCT(114)를 통해 재구성된 차이값 행렬의 정보가 입력되어 재구성된 대상화면에 대한 데이터가 프레임 저장부(118)에 저장된다.
도 4 는 본 발명에 따른 인코더의 제 1 실시예에서 프레임 재배열부(104)가 다시점 비디오의 화면을 배열하는 순서를 나타내고 있다. 도 4 에 나타난 바와 같이, 프레임 재배열부(104)는 T0 시점에서 모든 시점(S0, S1, … , S6, S7)의 화면을 일렬로 나열한 다음, 소정의 시간(T1~T8) 동안 첫 시점의 화면(S0)에 대해서 일렬로 나열하여 출력한다. 이어서, 다음 시점의 화면(S1)에 대해서 소정의 시간(T1~T8) 동안 나열하는 것을 반복하여 마지막 시점(S7)의 화면에 대해서도 일렬로 나열하는 것이 완료되면, 다시 소정의 시간(T9~T16) 동안 첫 시점의 화면(S0)으로부터 나열하기 시작하여 마지막 시점(S7)의 화면까지 나열한다.
도 4 와 같이 화면을 재배열하는 방식은 현재 H.264/AVC 표준에서 다시점 비디오에 대해서 검토하고 있는 방식이다. 그러나, 도 4 와 같은 방식으로 프레임을 재배열하는 대신 다른 순서로 화면을 재배열하는 것도 물론 가능하다.
도 5 는 본 발명의 실시예에 따라 시간방향과 시점방향으로 계층적 B 화면을 이용한 다시점 화면의 시공간 구조의 예를 나타낸다. 여기서, 수평축은 다른 시점 에 대한 화면(S0, S1, … S6, S7)을 나타내고 수직축은 다른 시간에 대한 화면(T0, T1, … , T11, T12)을 나타낸다. 즉, 본 실시예에서는 8 개의 시점이고, 시간반향으로 12 화면 길이인 GOP(Group Of Pictures)를 사용하였다.
아울러, 도 5 에서, Bn으로 표시한 화면에서 n은 화면의 중요도를 의미한다. 구체적으로, I 화면, P 화면 및 B0 화면의 중요도가 가장 높다(중요도 0). 다음으로, B1의 중요도가 높으며(중요도 1), B2(중요도 2), B3(중요도 3), B4(중요도 4)의 순서로 중요도가 낮아진다. 중요도가 높은 화면은 양자화 스텝의 크기가 작아서 양자화 오차가 작은 반면, 중요도가 낮은 화면은 양자화 스텝의 크기가 커서 양자와 오차가 크다. 본 실시예에서 중요도에 따라 달라지는 양자화 스텝의 기준인 QP 값은 다음의 표 1과 같이 주어졌다.
중요도 0 1 2 3 4
QP 20 23 24 25 26
우선 T0에서 시점방향의 인코딩 순서를 설명한다. 우선, S0 시점의 화면이 I 화면으로 인코딩된다. 다음으로, 반대편 끝의 S7 화면이 I 화면이나 S0 시점의 화면으로부터 일방향 예측되는 P 화면으로 인코딩된다. 이하에서는 S7과 같이 I 화면이거나 P 화면인 경우 I/P 화면이라고 칭하기로 한다. 이어서, S0와 S7의 화면을 근거로 S3와 S4의 화면을 양방향 예측하여 1차 B 화면으로 인코딩한다. 이와 같이 인코딩된 S3와 S4의 1차 B 화면과 S0의 I 화면과 S7의 I/P 화면을 이용해서 S1, S2, S5, S7의 화면을 2차 B 화면으로 인코딩한다.
본 실시예에서는 8개의 시점을 사용했기 때문에 I 화면이 있는 시간(T0)의 화면이 2차 B 화면까지 인코딩되었지만, 시점의 수가 증가하는 경우에는 더 높은 차수의 B 화면까지 사용할 수 있다.
다음으로, S0 시점에서의 화면들이 T0에서 T12까지의 시간에서 인코딩되는 과정을 설명하도록 한다. 전술한 바와 같이, T0의 화면이 I 화면으로 인코딩되고, T12의 화면도 I 화면으로 인코딩된다. T6의 화면은 T0와 T12의 I 화면으로부터 양방향 예측되어 1차 B 화면으로 인코딩된다. T0와 T6의 화면으로부터 T3의 화면이 양방향 예측되어 2차 B 화면으로 인코딩된다. 마찬가지로, T6와 T12의 화면으로부터 양방향 예측되어 T9의 화면이 2차 B 화면으로 인코딩된다. 이어서, T1, T2, T4, T5의 화면이 T0의 화면, T3의 화면과 T6의 화면에 의해 3차 B 화면으로 인코딩되고, 마찬가지로 T7, T8, T10, T11의 화면이 T6의 화면, T9의 화면과 T12의 화면에 의해 3차 B 화면으로 인코딩된다.
나머지 구간은 모두 도 5 에 나타난 바와 같이 여러 가지 차수의 B 화면으로 인코딩된다.
아울러 본 실시예에서는 각 시점마다 중요도가 높은 화면이 격자 형태로 배치되어 있다. 전술한 바와 같이, 본 실시예에서는 도 5 에 나타난 바와 같이 모든 시점에 대해서 중요도 0인 화면이 출현하는 시간 간격이 동일하다. 예를 들어, S0를 살펴보면, 중요도가 0인 I 화면과 다음 I 화면 사이에는 시간방향으로 12 화면의 간격이 있다. S1과 S2의 화면에서도 T6에서 중요도가 0인 B0 화면이 출현하고, 시간방향으로 다시 12 화면 후에 B0 화면이 출현한다(도시되지 않음). 따라서, 본 실시예에서 사용하는 다시점 비디오의 시공간구조에서는 I 화면이 출현하지 않는 시점에 대해서도 중요도가 0인 화면이 균일하게 배치되어 있다. 즉, 동일한 시간 간격마다 중요도가 0인 화면이 출현하므로, 임의의 위치에 있는 B 화면이 중요도가 높은 화면을 참조할 수 있게 된다.
이하에서는 참조화면 이동법을 이용하여 B 화면을 인코딩하는 방법에 대하여 구체적으로 살펴보도록 한다. 참조화면 이동법을 이용해서 B 화면을 인코딩하면 높은 효율로 상이한 시점의 화면을 인코딩할 수 있다.
참조화면 이동법을 이용하기 위해 본 실시예의 인코더에서는 참조화면 생성부(120)를 구비하고 있다. 본 발명의 실시예에서 사용되는 참조화면 생성부(120)의 구성을 도 6 과 관련하여 더욱 상세히 설명하도록 한다. 실시예의 참조화면 생성부(120)는 업샘플링 처리부(202), 전역변이 연산부(204), 참조화면 이동부(205), 가장자리 복사 처리부(206), 가장자리 패딩 처리부(208)와 필터(210)로 구성된다.
참조화면 생성부(120)의 업샘플링 처리부(202)는 참조화면 생성부(120)로 입력된 시점 화면에 대해서 업샘플링 처리를 한다. 업샘플링 처리부(202)는 보간법(interpolation)을 사용하여 화면의 크기를 4배 또는 16배로 증가시킨다. 이렇게 업샘플링 처리부(202)를 통해 업샘플링된 대상화면과 참조화면은 둘 사이의 전역변이를 산출하기 위해 전역변이 연산부(204)로 입력된다. 전역변이 연산부(204)는 픽셀의 루마(luma)값에 대하여 다음의 수식 1의 연산을 통해 대상화면과 참조화면 사이의 전역변이를 산출한다.
Figure 112006058798838-pat00001
여기서, gxy는 두 개의 상이한 화면에서 두 화면 사이에서 최소가 되는 루마 차이값의 합을 중첩된 영역의 면적(R)으로 나눈 값을 지칭한다. img0(i, j)는 첫 번째 시점 화면에서 (i, j) 위치에 있는 픽셀의 루마값이고, img1(i-x, j-y)는 마찬가지로 두 번째 시점 화면에서 (i-x, j-y) 위치에 있는 픽셀의 루마값이다. R은 두 화면의 편이값을 x, y로 취하였을 때 중첩되는 영역의 면적이다(도 7 참조). 모든 x, y 값에 걸쳐 두 화면 사이의 루마값 차이를 구한 뒤 이를 중첩되는 영역의 면적(R)으로 나누어 gxy를 구한다. 모든 픽셀에 대한 루마값의 차이를 중첩되는 영역의 면적(R)으로 나눈 값이 최소가 될 x, y 값이 두 화면 사이의 전역변이값(xm, ym)이다. 전술한 바와 같이, 업샘플링 처리부(202)에서 기존의 화면을 업샘플링하였기 때문에, xm, ym값은 원래 화면의 서브픽셀 단위까지 산정되어 업샘플링을 하지 않았을 때에 비하여 전역변이값이 더 정확해진다. 이렇게 계산된 전역변이값(xm, ym)은 전술한 참조화면 이동부(205), 가장자리 복사 처리부(206), 가장자리 패딩 처 리부(208)와 엔트로피 코딩부(130)에 제공된다.
전역변이 연산부(204)에서 전역변이(xm, ym)가 계산되면, 참조화면 이동부(205)는 x와 y방향의 전역변이 이상으로 참조화면의 x 방향과 y 방향으로 픽셀수를 각각 증가시킨 뒤 참조화면을 전역변이(xm, ym) 만큼 이동시킨다. 이어서, 제 2 참조화면이 참조화면 생성부(120)로 입력되어 상기 참조화면과 마찬가지로 업생플링 처리부(202), 전역변이 연산부(204)와 참조화면 이동부(205)의 처리과정을 밟는다. 이렇게 제 2 참조화면의 대상화면에 대한 전역변이가 구해지면, 가장자리 복사 처리부(206)는 참조화면과 제 2 참조화면의 대상화면에 대한 전역변이값을 이용하여 참조화면과 제 2 참조화면 사이에 서로 중첩되지 않는 부분을 서로 복사한다.
만약, 참조화면과 제 2 참조화면을 복사해서도 채워지지 않는 픽셀이 있다면 그 부분에 대해서는 가장자리 패딩 처리부(208)에서 비어있는 픽셀에 인접한 픽셀값으로 패딩처리하여 새로운 참조화면과 새로운 제 2 참조화면을 생성한다.
이하에서는 참조화면 생성부(120)에 의해 새로운 참조화면과 새로운 제 2 참조화면이 생성되는 과정을 상세히 설명하도록 한다. 우선, 대상화면, 참조화면과 제 2 참조화면은 업샘플링 처리부(202)에 의해 업샘플링 처리된다. 이어서, 전역변이 연산부(204)에 의해 참조화면과 대상화면 사이의 전역변이, 그리고 제 2 참조화면과 대상화면 사이의 전역변이가 구해진다.
예로써, 확대된 참조화면과 제 2 참조화면이 도 8a와 도 8b에 나타나있다. 도 10 는 상기 참조화면 및 제 2 참조화면에 의해서 B 화면으로 인코딩되는 대상화 면을 나타낸다. 가장자리 복사 처리부(206)에 의해 처리되기 전에는 양 측면의 픽셀값이 정해져 있지 않기 때문에 회색으로 표시되어 있다. 이어서, 참조화면 이동부(205)는 참조화면과 제 2 참조화면의 대상화면에 대한 전역변이만큼 참조화면과 제 2 참조화면을 이동시킨다. 도 8a에 나타난 참조화면은 왼쪽으로 이동되고, 도 8b의 제 2 참조화면은 오른쪽으로 이동된다. 이렇게 이동된 도 8a와 도 8b의 부분이 도 9a와 도 9b에서 영역 B와 영역 C'로 각각 표시되어 있다.
다음으로, 가장자리 복사 처리부(206)는 참조도면과 대상화면 사이의 전역변이와 제 2 참조도면과 대상화면 사이의 전역변이로부터 참조도면과 제 2 참조도면 사이의 전역변이를 구한다. 이렇게 구해진 참조도면과 제 2 참조도면 사이의 전역변이를 이용해서, 참조화면에는 나타나지만 제 2 참조화면에는 나타나지 않는 영역, 그리고 제 2 참조화면에는 나타나지만 참조화면에 나타나지 않는 영역을 각각 제 2 참조화면과 참조화면에 복사한다. 이렇게 복사된 영역이 도 9a에서 영역 C와 도 9b에서 영역 B'이다.
이와 같이 참조화면과 제 2 참조화면의 영역을 서로 복사한 뒤에도 채워지지 않은 참조화면과 제 2 참조화면의 픽셀에 대해서는 가장자리 패딩 처리부(208)가 인접한 픽셀의 값으로 패딩하여 처리한다. 이렇게 패딩되어 처리된 영역이 도 9a에서는 영역 A와 영역 D로, 도 9b에서는 영역 A'와 영역 D'로 각각 표시되어 있다.
참조화면 생성부(120)의 마지막 단계로 필터(210)를 통과한다. 상기 가장자리 패딩 처리부(208)를 거친 참조화면과 제 2 참조화면은 필터(210)를 통해 매끄럽게 처리된다. 필터(210)는 상기 가장자리 복사 처리부(206)와 가장자리 패딩 처리 부(208)에 의해 비연속적으로 급격하게 변하는 화면의 영역을 매끄럽게 처리하는 역할을 수행한다.
본 실시예에서 참조화면 생성부(120)를 통해 얻어진 참조화면, 제 2 참조화면, 그리고 대상화면은 인코더(40)의 움직임 예상부(124)로 입력된다. 움직임 예상부(124)에서는 참조화면과 제 2 참조화면을 근거로 도 10 과 같은 대상화면의 움직임 벡터를 구해서 인코더(40)의 엔트로피 코딩부(130)와 움직임 보상부(122)에 제공한다.
불필요한 혼동을 피하기 위해 전술한 도 8a 와 도 8b 의 참조화면은 도 10 의 대상화면에 대하여 수평 전역변이만을 갖는 경우에 대하여 설명하였다. 만약, 대상화면과 참조화면 사이에 대하여 수직 전역변이가 존재한다면 수평방향으로뿐만 아니라 수직 방향으로도 복사 처리된 영역과 패딩 처리된 영역이 존재할 것이다.
또한, 위에서는 도 10 의 화면을 B 화면으로 인코딩하기 위해서 2개의 참조화면을 이용하는 경우에 대하여만 설명하였다. 그러나, 대상화면을 B 화면이 아닌 P 화면으로 구성하는 경우에도 그대로 적용할 수 있다. 다만, 이 경우에는 2개의 참조화면이 아닌 하나의 참조화면만을 이용하고, 대상화면에 대한 참조화면의 전역변이를 구한 뒤 다른 참조화면으로부터 복사처리를 수행하지 않고 단지 패딩처리만을 수행한다는 차이가 있다.
본 실시예에서는 I 화면, P 화면 또는 B 화면을 이용하여 이들 사이에 위치한 시점이 상이한 화면을 B 화면으로 인코딩할 때, 참조화면 이동법을 이용하는 경 우를 예로 들어 설명하였다. 그러나, 참조화면 이동법 대신에 초기 탐색점 이동법을 이용해서 B 화면을 인코딩할 수도 있다. 초기 탐색점 이동법에서는 전역변이값(xm, ym)을 산출하여 이를 움직임 예상부에 전달하며, 이러한 전역변이값을 이용해서 참조화면의 블록의 검색 위치를 수정하게 된다.
초기 탐색점 이동법에 대해서 구체적으로 설명하면 다음과 같다. 도 11a 의 화면은 이미 인코딩된 참조화면을 나타내며, 왼쪽 밑에서 (xp, yp) 떨어진 위치에서 시작하는 블록(Ta)가 표시되어 있다. 도 11b 는 현재 인코딩하려는 대상화면으로 그림에서 알 수 있듯이 도 11a 의 참조화면에 비하여 화면이 전체적으로 오른쪽 아래 방향으로 이동되어 있다. 따라서, 초기 탐색점 이동법을 이용하면 인코더의 움직임 예상부가 대상화면의 블록을 참조화면에서 검색할 때 전역변이벡터(Vt)만큼 이동시킨 참조화면의 위치에서 검색을 시작하게 된다. 이 경우, 전역변이값이 크다고 하더라도 이미 전역변이를 감안하여 검색 위치를 이동시켰기 때문에 정해진 대상화면의 검색범위(Sb)내에서 대응된 블록을 빠르고 정확하게 발견할 수 있다.
본 발명에 따른 인코더와 인코딩 방법을 수행하기 위한 장치는 복수개 또는 하나의 집적회로로 구성된 전용 장치로 구현될 수도 있지만, 일반 범용 컴퓨터에 인코딩 방법을 수행하기 위한 프로그램을 로딩함으로써 구현될 수도 있다. 프로그램을 컴퓨터에 로딩하여 구현하는 경우, 이러한 프로그램은 컴퓨터의 하드디스크에 저장되어 있는 구성을 취할 수도 있고, 필요에 따라 네트워크로부터 프로그램의 전 부 또는 일부를 다운로드해서 사용하는 구성을 취할 수도 있다.
본 발명에 따른 인코더 및 인코딩 방법을 사용하면 시점방향으로도 계층적 B 화면을 구성함으로써 다른 시점의 화면 사이에서 존재하는 중복성을 제거하여 보다 효율적으로 다시점 비디오를 인코딩할 수 있다.
또한, 본 발명에 따른 인코더 및 인코딩 방법을 사용하면 여러 시점에 대해서도 중요도가 높은 화면이 동일한 시간 간격으로 나타남으로써 I 화면이나 P 화면이 존재하지 않는 시간이나 시점에서도 좋은 화질의 화면을 얻을 수 있다는 장점이 있다.

Claims (19)

  1. 다시점 비디오에서 상이한 시점의 화면들에 대한 데이터를 인코딩하는 인코더에 있어서,
    한쪽 끝 시점의 화면이 I 화면으로 인코딩되면 동일한 시간에서 다른 쪽 끝 시점의 화면을 I/P 화면으로 인코딩하되,
    상기 두 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 I 화면과 상기 I/P 화면으로부터 양방향 예측하여 1차 B 화면으로 인코딩하고,
    상기 1차 B 화면과 상기 I 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I 화면으로부터 양방향 예측하거나, 상기 1차 B 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I/P 화면으로부터 양방향 예측하여 2차 B 화면으로 인코딩하는,
    다시점 비디오에서 상이한 시점의 화면들에 대한 데이터를 압축하는 인코더.
  2. 제 1 항에 있어서, 한쪽 끝 시점의 화면이 m 차의 B 화면으로 인코딩되면 동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩하며, 상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 n 차 B 화면으로 인코딩하고, 상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 o 차 B 화면으로 인코딩하며, 상기 m, n, o는 1 ≤ m < n < o 의 관계를 만족시키는 인코더.
  3. 제 2 항에 있어서, 상기 한쪽 끝 시점의 상기 I 화면과 동일한 시점에 대해서 시간적으로 후속하는 I 화면의 사이에 시간적으로 위치하는 화면을 1차 B 화면으로 인코딩하고, 상기 두 I 화면과 1차 B 화면 사이에 시간적으로 위치하는 화면을 2차 B 화면으로 인코딩하는 인코더.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 B 화면들을 인코딩할 때 시점이 상이한 화면 사이의 전역변이를 산출하고, 산출된 전역변이를 이용하여 화면들을 인코딩하는 인코더.
  5. 제 4 항에 있어서, 상기 산출된 전역변이를 이용하여 화면들을 인코딩할 때 참조 화면이동법 또는 움직임 벡터 초기 탐색점 이동법을 이용하는 인코더.
  6. 제 1 항에 있어서, 모든 시점에 대해서 양자화 스텝의 크기가 최소인 화면이 동일한 시간 간격으로 반복되는 인코더.
  7. 제 1 항 내지 3 항, 제 5 항 또는 제 6 항 중 어느 한 항에 있어서, 다시점 비디오의 GOP 크기는 8 시점방향 x 12 시간방향의 화면이며, 양자화 스텝의 크기가 최소인 화면이 모든 시점에 대하여 12 시간방향 화면마다 반복되는 인코더.
  8. 다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법에 있어서,
    한쪽 끝 시점의 화면을 I 화면으로 인코딩하는 단계;
    상기 I 화면과 동일한 시간에 대한 다른 쪽 끝 시점의 화면을 I/P 화면으로 인코딩하는 단계;
    상기 I 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 화면을 1차 B 화면으로 인코딩하는 단계; 및
    상기 I 화면 또는 상기 I/P 화면과 1차 B 화면 사이에 공간적으로 위치하는 화면을 2차 B 화면으로 인코딩하는 단계를 포함하는
    다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법.
  9. 제 8 항에 있어서, 상기 인코딩 방법은,
    한쪽 끝 시점의 화면이 m 차의 B 화면으로 인코딩하는 단계;
    동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩하는 단계;
    상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 n 차 B 화면으로 (단, m < n) 인코딩하는 단계; 및
    상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 o 차 B 화면으로 (단, m, n, o는 1 ≤ m < n < o) 인코딩하는 단계를 더욱 구비하는 것을 특징으로 하는
    다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법.
  10. 제 9 항에 있어서,
    상기 한쪽 끝 시점의 상기 I 화면과 동일한 시점에 대해서 시간적으로 후속하는 I 화면의 사이에 시간적으로 위치하는 화면을 1차 B 화면으로 인코딩하는 단계;
    상기 두 I 화면과 1차 B 화면 사이에 시간적으로 위치하는 화면을 2차 B 화면으로 인코딩하는 단계를 더욱 구비하는 것을 특징으로 하는
    다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법.
  11. 제 10 항에 있어서, 상기 B 화면들을 인코딩하는 단계는 시점이 상이한 화면들 사이의 전역변이를 산출하는 단계를 포함하는 것을 특징으로 하는
    다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법.
  12. 제 11 항에 있어서, 상기 전역변이를 산출하는 단계는 참조 화면이동법 또는 움직임 벡터 초기 탐색점 이동법을 이용하는 것을 특징으로 하는
    다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법.
  13. 다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법을 실행시키기 위한 프로그램을 기록한 저장 매체에 있어서,
    한쪽 끝 시점의 화면을 I 화면으로 인코딩하는 단계;
    상기 I 화면과 동일한 시간에 대한 다른 쪽 끝 시점의 화면을 I/P 화면으로 인코딩하는 단계;
    상기 I 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 화면을 1차 B 화면으로 인코딩하는 단계; 및
    상기 I 화면 또는 상기 I/P 화면과 1차 B 화면 사이에 공간적으로 위치하는 화면을 2차 B 화면으로 인코딩하는 단계를 실행하기 위한
    다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법을 실행시키기 위한 프로그램을 기록한 저장 매체.
  14. 제 13 항에 있어서, 상기 인코딩 방법은,
    한쪽 끝 시점의 화면을 m 차의 B 화면으로 인코딩하는 단계;
    상기 m차의 B 화면과 동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩하는 단계;
    상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면을 n 차 B 화면으로 (단, m < n) 인코딩하는 단계; 및
    상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 o 차 B 화면으로 (단, m, n, o는 1 ≤ m < n < o) 인코딩하는 단계를 더욱 구비하는 것을 특징으로 하는
    다시점 비디오에서 상이한 시점의 화면에 대한 데이터를 인코딩하는 방법을 실행시키기 위한 프로그램을 기록한 저장 매체.
  15. 다시점 비디오에서 상이한 시점의 화면들이 인코딩된 데이터를 기록한 저장매체에 있어서, 상기 인코딩된 데이터는,
    한쪽 끝 시점의 화면을 인코딩한 I 화면;
    상기 I 화면과 동일한 시간에서 다른 쪽 끝 시점의 화면을 인코딩한 I/P 화면;
    상기 두 화면의 사이의 공간적으로 위치하는 동일한 시간의 화면을 상기 I 화면과 상기 I/P 화면으로부터 양방향 예측하여 인코딩한 1차 B 화면; 및
    상기 1차 B 화면과 상기 I 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 1차 B 화면과 상기 I 화면으로부터 양방향 예측하거나, 상기 1차 B 화면과 상기 I/P 화면 사이에 공간적으로 위치하는 동일한 시간의 화면을 상기 B 화면과 상기 I/P 화면으로부터 양방향 예측하여 인코딩한 2차 B 화면을 포함하는 데이터 구조를 갖는
    다시점 비디오에서 상이한 시점의 화면들을 인코딩한 데이터를 저장한 저장매체.
  16. 제 15 항에 있어서,
    상기 인코딩된 데이터는, 한쪽 끝 시점의 화면이 m 차의 B 화면으로 인코딩되어 있으면, 동일한 시간에서 다른 쪽 끝 시점의 화면 역시 m 차의 B 화면으로 인코딩되어 있고, 상기 두 m 차 B 화면의 사이에 공간적으로 위치하는 동일한 시간의 화면이 n 차 B 화면으로 인코딩되어 있으며, 상기 m 차 B 화면과 n 차 B 화면 사이에 공간적으로 위치하는 동일한 시간의 화면이 o 차 B 화면으로 인코딩되어 있으며, 상기 m, n, o는 1 ≤ m < n < o 의 관계를 만족시키는 것
    을 특징으로 하는 다시점 비디오에서 상이한 시점의 화면들을 인코딩한 데이터를 저장한 저장매체.
  17. 제 16 항에 있어서,
    상기 인코딩된 데이터는, 상기 한쪽 끝 시점의 상기 I 화면과 동일한 시점에 대해서 시간적으로 후속하는 I 화면의 사이에 시간적으로 위치하는 화면이 1차 B 화면으로 인코딩되어 있고, 상기 두 I 화면과 1차 B 화면 사이에 시간적으로 위치하는 화면이 2차 B 화면으로 인코딩되어 있는 데이터 구조를 갖는 것
    을 특징으로 하는 다시점 비디오에서 상이한 시점의 화면들을 인코딩한 데이터를 저장한 저장매체.
  18. 제 17 항에 있어서,
    상기 인코딩된 데이터는, 모든 시점에 대해서 양자화 스텝의 크기가 최소인 화면이 동일한 시간 간격으로 반복되는 데이터 구조를 갖는 것
    을 특징으로 하는 다시점 비디오에서 상이한 시점의 화면들을 인코딩한 데이터를 저장한 저장매체.
  19. 제 18 항에 있어서,
    상기 인코딩된 데이터는 GOP 크기는 8 시점방향 x 12 시간방향 화면인 다시점 비디오에 대한 데이터이고, 상기 인코딩된 데이터에서 양자화 스텝의 크기가 최소인 화면이 모든 시점에 대하여 12 시간방향 화면마다 반복되는 데이터 구조를 갖는 것
    을 특징으로 하는 다시점 비디오에서 상이한 시점의 화면들을 인코딩한 데이터를 저장한 저장매체.
KR1020060078149A 2006-08-18 2006-08-18 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체 KR100815486B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060078149A KR100815486B1 (ko) 2006-08-18 2006-08-18 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체
US12/377,990 US8184707B2 (en) 2006-08-18 2007-08-17 Method and apparatus for encoding multiview video using hierarchical B frames in view direction, and a storage medium using the same
PCT/KR2007/003949 WO2008020733A1 (en) 2006-08-18 2007-08-17 A method and apparatus for encoding multiview video using hierarchical b frames in view direction, and a storage medium using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060078149A KR100815486B1 (ko) 2006-08-18 2006-08-18 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체

Publications (2)

Publication Number Publication Date
KR20080016266A KR20080016266A (ko) 2008-02-21
KR100815486B1 true KR100815486B1 (ko) 2008-03-20

Family

ID=39082235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060078149A KR100815486B1 (ko) 2006-08-18 2006-08-18 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체

Country Status (3)

Country Link
US (1) US8184707B2 (ko)
KR (1) KR100815486B1 (ko)
WO (1) WO2008020733A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
CN101562745B (zh) * 2008-04-18 2012-07-04 华为技术有限公司 一种多视点视频图像编码和解码的方法及装置
US9270871B2 (en) * 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
KR101620067B1 (ko) 2009-05-14 2016-05-12 삼성전자주식회사 다시점 영상 압축 장치 및 방법
US9088835B2 (en) * 2010-12-17 2015-07-21 Thomson Licensing Method for adjusting depth or view of three-dimensional streaming video
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
MX2014001617A (es) * 2011-08-09 2014-05-28 Samsung Electronics Co Ltd Metodo de codificacion de prediccion de video de multiples vistas y aparato para el mismo, y metodo de decodificacion de prediccion de video de multiples vistas y aparato para el mismo.
CN104768015B (zh) * 2014-01-02 2018-10-26 寰发股份有限公司 视频编码方法及装置
KR102442594B1 (ko) * 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02511A (ja) * 1987-10-12 1990-01-05 Ricoh Co Ltd 液体噴射記録方法
JPH02612A (ja) * 1987-12-04 1990-01-05 Byk Chem Gmbh 付加化合物、その製法、それを有効成分とする分散剤または分散安定剤およびそれによってコーティングされた固体
KR20050076441A (ko) * 2004-01-20 2005-07-26 학교법인 대양학원 영상의 3차원 부호화 방법
KR20060012440A (ko) * 2004-08-03 2006-02-08 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
KR20060108952A (ko) * 2005-04-13 2006-10-19 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118091A (ja) 1997-06-25 1999-01-22 Toshiba Corp 多視点画像の符号化／復号化装置およびその符号化／復号化方法
JPH11161800A (ja) 1997-11-28 1999-06-18 Toshiba Corp 多視点画像符号化／復号化装置および多視点画像符号化／復号化方法ならびに三次元物体の画像符号化／復号化装置
JP2000132683A (ja) 1998-10-23 2000-05-12 Toshiba Corp 多視点画像符号化方法
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02511A (ja) * 1987-10-12 1990-01-05 Ricoh Co Ltd 液体噴射記録方法
JPH02612A (ja) * 1987-12-04 1990-01-05 Byk Chem Gmbh 付加化合物、その製法、それを有効成分とする分散剤または分散安定剤およびそれによってコーティングされた固体
KR20050076441A (ko) * 2004-01-20 2005-07-26 학교법인 대양학원 영상의 3차원 부호화 방법
KR20060012440A (ko) * 2004-08-03 2006-02-08 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
KR20060108952A (ko) * 2005-04-13 2006-10-19 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문(2005.11)
논문(2006.12)

Also Published As

Publication number Publication date
WO2008020733A1 (en) 2008-02-21
US8184707B2 (en) 2012-05-22
KR20080016266A (ko) 2008-02-21
US20100232510A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
KR100815486B1 (ko) 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체
US8179969B2 (en) Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
US10528004B2 (en) Methods and apparatus for full parallax light field display systems
JP5268645B2 (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
JP5154681B2 (ja) マルチビュービデオをエンコードする方法
JP4752631B2 (ja) 画像符号化装置、及び画像符号化方法
JP5059766B2 (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
US20120114036A1 (en) Method and Apparatus for Multiview Video Coding
US11902578B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN110741640A (zh) 用于视频代码化中的运动补偿预测的光流估计
JP2009505607A (ja) 多視点動映像を符号化する方法及び装置
US8155461B2 (en) Methods and apparatuses for encoding and decoding multi-view image
JP2009505604A (ja) 多視点動映像を符号化する方法及び装置
JP2008034892A (ja) 多視点画像符号化装置
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
WO2014156648A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
WO2014104104A1 (ja) 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
KR20150137081A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
JP2007110672A (ja) 符号化方法
JP2008034893A (ja) 多視点画像復号装置
Lee Motion estimation techniques by exploiting motion history and depth maps in video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130305

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150304

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160304

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170322

Year of fee payment: 10