KR20090057250A - 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법 - Google Patents

다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법 Download PDF

Info

Publication number
KR20090057250A
KR20090057250A KR1020097005169A KR20097005169A KR20090057250A KR 20090057250 A KR20090057250 A KR 20090057250A KR 1020097005169 A KR1020097005169 A KR 1020097005169A KR 20097005169 A KR20097005169 A KR 20097005169A KR 20090057250 A KR20090057250 A KR 20090057250A
Authority
KR
South Korea
Prior art keywords
screen
global
global variation
unit
reference picture
Prior art date
Application number
KR1020097005169A
Other languages
English (en)
Other versions
KR101336204B1 (ko
Inventor
호요성
오관정
Original Assignee
광주과학기술원
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원, 주식회사 케이티 filed Critical 광주과학기술원
Publication of KR20090057250A publication Critical patent/KR20090057250A/ko
Application granted granted Critical
Publication of KR101336204B1 publication Critical patent/KR101336204B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

본 발명은 다시점 비디오를 인코딩하는 방법과 장치 및 디코딩하는 방법과 장치에 관한 것으로, 구체적으로는 두 시점의 화상에 대한 전역변이를 감안하여 인코딩 또는 디코딩함으로써 공간적 중복성을 제거할 수 있는 다시점 비디오를 인코딩하는 방법과 장치 및 디코딩하는 방법과 장치에 관한 것이다. 본 발명에 따른 다시점 비디오에서 상이한 시점의 화면들에 대한 데이터를 압축하는 인코더는 두 개 이상의 시점에 대한 비디오의 화면을 입력받는 입력부; 대상화면에 대한 참조화면의 전역변이를 고려하여 새로운 참조화면을 생성하는 참조화면 생성부; 및 상기 참조화면을 바탕으로 대상화면의 움직임 벡터를 산출하는 움직임 예상부를 구비한다. 또한, 본 발명에 따른 다시점 비디오에서 상이한 시점의 화면들에 대한 데이터를 압축하는 디코더는 움직임 벡터와 전역변이 정보를 포함하는 헤더 정보와, 인코더에서 참조화면과 대상화면의 차이를 부호화한 잔여성분 정보를 엔트로피 디코딩하는 엔트로피 복호화부; 상기 엔트로피 복호화부를 통해 디코딩된 전역변이 정보를 이용하여 저장된 화면의 전역변이 보상을 수행하는 전역변이 보상부; 및 상기 엔트로피 복호화부를 통해 디코딩된 움직임 벡터를 이용하여 전역변이 보상이 끝난 화면의 움직임 보상을 수행하는 움직임 보상부를 구비한다. 본 발명에 따른 인코더와 인코딩 방법 및 디코더와 디코딩 방법을 사용하면 시점이 다른 화면에서 전역변이를 고려하여 인코딩 또는 디코딩함으로써 다른 시점 사이의 중복성을 제거하여 보다 효율적으로 다시점 비디오를 인코딩 또는 디코딩할 수 있다.

Description

다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및 디코더와 디코딩하는 방법{A METHOD AND APPARATUS FOR ENCODING OR DECODING FRAMES OF DIFFERENT VIEWS IN MULTIVIEW VIDEO USING GLOBAL DISPARITY}
본 발명은 다시점 비디오를 인코딩하는 방법과 장치 및 디코딩하는 방법과 장치에 관한 것으로, 구체적으로는 두 시점의 화상에 대한 전역변이를 감안하여 인코딩 또는 디코딩함으로써 공간적 중복성(redundancy)을 제거할 수 있는 다시점 비디오를 인코딩하는 방법과 장치 및 디코딩하는 방법과 장치에 관한 것이다.
다시점(multi-view) 비디오는 평행 또는 아크 모양으로 배열된 동기화된 많은 개수의 카메라(예를 들면 8개)로 동일한 물체를 촬영해서 얻은 시점 화상(view image)의 집합이다. 이와 같은 다시점 비디오는 입체 디스플레이 장치뿐만 아니라 입체 방송, 실감 방송, 3D DMB 방송, FTV(Free-view TV) 등에서 사용자가 원하는 시점에서 시청하거나 콘텐츠를 3D 입체화상으로 보고자 할 때도 적용될 수 있는 응용의 폭이 넓은 기술이다.
도 1 은 일반적으로 사용되는 다시점 비디오 전송 시스템에 대한 개략적인 도면이다. 다시점 비디오 전송 시스템에서는 도 1 과 같이 복수의 카메라(4, 6, ... , 16, 18)가 동일한 촬영 대상을 촬영하여 촬영된 디지털 또는 아날로그 형태의 신호를 전송선(20, 22, ... , 32, 34)을 통해 다시점 비디오 인코더(40)로 전송한다. 다시점 비디오 인코더에서 압축된 데이터는 전송선(42)을 타고 인터넷(44) 또는 다른 전용 데이터망을 통하여 전송선(46)을 타고 다시점 비디오 디코더(48)로 전달된다. 다시점 비디오 디코더(48)는 이렇게 전달된 데이터를 디코딩한 뒤 다시점 비디오의 전부 또는 일부를 모니터(40) 등의 출력 수단에 디스플레이한다.
다시점 비디오에서 화면들은 시간적 중복성 뿐만 아니라 공간적인 중복성도 가지고 있다. 따라서, 일반적으로 사용되는 다시점 비디오 인코더에서는 전송 효율을 높이기 위해서 시간 방향으로만 움직임 예측을 수행할 뿐만 아니라 다른 시점 사이의 공간적인 중복성을 제거하기 위한 움직임 예측도 수행한다.
그러나, 종래의 다시점 비디오 인코더 또는 인코딩 방법에서는 시점 사이의 전역변이를 보상하기 위해 단순히 움직임 예측에 이용되는 탐색 범위를 키우는 방법을 사용하였을 뿐이므로, 탐색에 소요되는 시간이 증가하고 시점간의 변이가 큰 경우에 대해서는 제대로 탐색이 이루어지지 않아 다시점 비디오의 인코딩 효율이 떨어지는 문제점이 있었다.
기술적 과제
본 발명은 다시점 비디오에서 상이한 시점의 화면에 대한 전역변이를 검출하고, 산출된 전역변이를 이용해서 인코딩 효율 및 디코딩 효율을 증가시킬 수 있는 다시점 비디오의 인코딩 방법과 인코더 및 디코딩 방법과 디코더를 제공하는 것을 목적으로 한다.
기술적 해결방법
본 발명에서는 다시점 비디오에서 다른 시점의 화면 간의 중복성을 줄이기 위해 한 시점의 화면에 대한 다른 시점의 화면의 전역변이를 산출한다. 본 발명은 이렇게 산출된 전역변이에 대하여 보상을 수행함으로써 다시점 비디오의 인코딩 효율을 향상시킨다. 여기서, 전역변이란 다시점 비디오에서 카메라의 수직 또는 수평 위치의 차이에 따라 촬영되는 화면에서 발생하는 수직 또는 수평으로의 편이를 지칭한다.
본 발명에서는 이와 같은 전역변이를 두 가지 방법을 이용하여 보상한다. 첫 번째 방법은 참조화면 이동법이고, 두 번째 방법은 초기 탐색점 이동법이다.
본 발명에 따른 참조화면 이동법을 구체적으로 살펴보면 다음과 같다. 참조화면 이동법에서는 화면에 대한 전역변이값 만큼 한 시점의 비디오 화면을 이동시키고, 바람직하게는 중첩된 영역 밖에서 한 화면에만 나타난 영역을 다른 화면에 복사하고 패딩처리하여 새로운 참조화면을 생성한다. 이렇게 형성된 새로운 참조화면은 원래의 참조화면보다 대상화면과 더 유사하기 때문에 더 높은 효율로 대상화면의 압축을 수행할 수 있다.
다음으로 초기 탐색점 이동법은 두 개의 상이한 시점에 대한 화면을 인코딩하기 위해서 대상화면의 블록에 대응되는 블록을 참조화면에서 검색할 때, 대상화면에서 블록의 위치와 동일한 위치에서 참조화면의 블록을 검색하는 것이 아니라, 전역변이값만큼 이동된 위치에서 참조화면의 블록에 대한 검색을 시작하여 전역변이를 보상하는 방법이다. 즉, 참조화면과 대상화면 사이에 전역변이가 존재하면, 대상화면의 블록과 유사한 블록은 대상화면에서 동일한 위치가 아닌 전역변이만큼 이동된 위치에 존재할 확률이 높다는 사실을 감안하여 전역변이만큼 이동된 위치에서 검색을 수행함으로써 다시점 비디오의 인코딩 효율을 증가시키는 방법이다.
이와 같은 본 발명에 따른 두 가지의 전역변이 보상 방법은 함께 사용될 수도 있지만, 두 가지의 방법 중에서 하나만을 택일적으로 사용하는 것이 바람직하다.
유리한 효과
본 발명에 따른 인코더와 인코딩 방법 및 디코더와 디코딩 방법을 사용하면 시점이 다른 화면에서 전역변이를 고려하여 인코딩 또는 디코딩함으로써 다른 시점의 화면 사이에서 존재하는 중복성을 제거하여 보다 효율적으로 다시점 비디오를 인코딩 또는 디코딩할 수 있다.
도 1 은 다시점 비디오 인코더와 디코더를 포함한 다시점 비디오 시스템에 대한 개략도이다.
도 2 는 본 발명에 따른 참조화면 이동법을 이용하는 다시점 비디오 인코더의 제 1 실시예에 대한 블록도이다.
도 3 은 제 1 실시예의 프레임 재배열부에서 다시점 비디오 피드를 재배열하는 순서를 나타내는 도면이다.
도 4 는 본 발명의 제 1 실시예에 따른 참조화면 생성부에 대한 블록도이다.
도 5와 도 6은 본 발명의 실시예에 따라 두 화면의 전역변이를 연산하기 위해 사용하는 좌표와 연산과정 중의 중첩된 영역을 나타낸 도면이다.
도 7과 도 8은 다시점 비디오를 위한 원래의 참조화면 2개의 픽셀을 좌우로 확대한 도면이다.
도 9와 도 10은 도 7과 도 8의 참조화면에 대하여 전역변이를 보상하여 이동시킨 뒤 복사 및 패딩 처리하여 생성한 새로운 참조화면을 나타내는 도면이다.
도 11은 현재 인코딩하기 위해 도 9 및 도 10의 화면을 참조하는 대상화면이다.
도 12는 본 발명에 따른 초기 탐색점 이동법을 이용하는 다시점 비디오 인코더의 제 2 실시예에 대한 블록도이다.
도 13과 도 14는 초기 탐색점 이동법을 사용하여 대상화면의 블록을 참조화면에서 검색하는 과정을 설명하는 도면이다.
도 15는 본 발명의 바람직한 실시예에 따른 다시점 비디오 디코더의 블록도이다.
＜도면의 주요부분에 대한 부호의 설명＞
4, 6, ... 16, 18: 카메라 40: 다시점 비디오 인코더
48: 다시점 비디오 디코더 50: 모니터
102: 캡쳐 버퍼 104: 프레임 재배열부
106: 감산기 120: 참조화면 생성부
202: 업샘플링 처리부 204: 전역변이 연산부
206: 가장자리 복사 처리부 208: 가장자리 패딩 처리부
210: 필터 320: 전역변이 연산부
330: 엔트로피 코딩 402: 버퍼
404: 엔트로피 복호화부 406: 역양자화부
408: IDCT처리부 410: 가산기
412: 제2프레임 저장부 414: 전역변이 보상부
416: 움직임 보상부
발명의 실시를 위한 최선의 형태
1. 참조화면 이동법을 이용한 인코더
참조화면 이동법을 이용하여 다시점 비디오에서 상이한 시점의 화면들을 압축하는 인코더는, 두 개 이상의 시점에 대한 비디오의 화면을 입력받는 입력부; 대상화면에 대한 참조화면의 전역변이를 고려하여 새로운 참조화면을 생성하는 참조화면 생성부; 및 상기 참조화면을 바탕으로 대상화면의 움직임 벡터를 산출하는 움직임 예상부를 구비한다.
바람직하게, 상기 참조화면 생성부는, 상기 대상화면과 상기 참조화면 사이의 전역변이를 산출하는 전역변이 연산부; 상기 전역변이 연산부에서 얻어진 전역변이 이상으로 참조화면의 픽셀을 증가시키고 상기 전역변이만큼 참조화면을 이동시키는 참조화면 이동부; 및 상기 참조화면 이동부에서 참조화면의 이동과 픽셀 수의 증가에 의해 비어있는 픽셀을 인접한 픽셀값으로 패딩시키는 패딩처리부를 포함한다.
또는, 상기 참조화면 생성부의 상기 전역변이 연산부는 제 2 의 참조화면을 입력받아 제 2 참조화면과 상기 대상화면과의 전역변이를 산정하고, 상기 참조화면 생성부의 참조화면 이동부는 상기 전역변이 연산부에서 얻어진 전역변이 이상으로 제 2 참조화면의 픽셀을 증가시키고 상기 전역변이만큼 제 2 참조화면을 이동시키며, 상기 참조화면 생성부는 상기 참조화면 이동부의 처리에 의해 비어 있는 상기 참조화면이나 상기 제 2 참조화면의 픽셀을 상기 제 2 참조화면 또는 상기 참조화면으로부터 복사하여 채우는 가장자리 복사 처리부를 더욱 구비할 수 있다.
더욱 바람직하게, 상기 참조화면 생성부는, 두 화면 사이의 전역변이를 정확히 산정하기 위해 상기 두 화면을 업샘플링하여 처리하는 업샘플링부; 및 상기 참조화면 이동부, 상기 가장자리 복사 처리부와, 상기 가장자리 패딩 처리부로 처리된 참조화면 또는 제 2 참조화면을 매끄럽게 처리하기 위한 필터를 더욱 포함한다.
또한, 상기 인코더는, 입력되는 화면을 캡쳐하여 저장하는 이미지 캡쳐 버퍼링부; 상기 이미지 캡쳐 버퍼링부에서 상기 다시점의 화면들을 입력받아 재배열하는 프레임 재배열부; 상기 프레임 재배열부로부터 출력되는 상기 다시점 화면의 참조화면에 대한 차이값을 구하는 감산기; 상기 감산기에서 얻어진 프레임의 차이값에 대한 행렬을 DCT 처리하여 DCT 계수를 얻는 DCT 처리부; 상기 DCT 계수를 양자화하기 위한 양자화부; 및 상기 양자화된 DCT 계수를 부호화하기 위한 엔트로피 부호화부를 더욱 포함할 수 있다.
2. 초기 탐색점 이동법을 이용한 인코더
다음으로, 본 발명에 따른 초기 탐색점 이동법을 이용하여 다시점 비디오에 서 상이한 시점의 화면에 대한 데이터를 압축하는 인코더는, 대상화면과 참조화면을 서로 일부 중첩시켰을 때 중첩된 상기 두 화면의 영역에 대한 두 시점 화면의 편차값이 최소가 되는 두 화면의 전역변이를 구하는 전역변이 연산부; 및 상기 참조화면에 대한 대상화면의 블록의 움직임 벡터를 산출하기 위해 상기 전역변이값만큼 상기 대상화면의 블록을 이동시킨 위치에서 시작하여 참조화면에서 대응되는 블록을 검색하는 움직임 예상부를 포함한다.
바람직하게, 상기 인코더는, 입력되는 화면을 캡쳐하고 저장하는 이미지 캡쳐 버퍼링부; 상기 이미지 캡쳐 버퍼링부에서 상기 다시점의 화면들을 입력받아 재배열하는 프레임 재배열부; 상기 프레임 재배열부로부터 출력되는 상기 다시점 화면의 참조화면에 대한 차이값을 구하는 감산기; 상기 감산기에서 얻어진 프레임의 차이값에 대한 행렬을 DCT 처리하여 DCT 계수를 얻는 DCT 처리부; 상기 DCT 계수를 양자화하기 위한 양자화부; 및 상기 양자화된 DCT 계수를 부호화하기 위한 엔트로피 부호화부를 더욱 포함한다.
3. 참조화면 이동법을 이용한 인코딩하는 방법
본 발명에 따른 참조화면 이동법을 이용하여 다시점 비디오에서 상이한 시점의 화면들을 인코딩하는 방법은, 다시점 비디오의 화면을 캡쳐하여 저장하는 단계; 상기 다시점 비디오의 화면을 소정의 순서로 재배열하는 단계; 이미 인코딩된 참조화면을 이동시켜 새로운 참조화면을 생성하는 단계; 및 상기 새로운 참조화면을 바탕으로 대상화면의 움직임 벡터를 산출하는 단계를 구비한다.
바람직하게, 상기 새로운 참조화면을 생성하는 단계는, 상기 대상화면과 참 조화면 사이의 전역변이를 구하는 단계; 상기 수평방향과 수직방향의 전역변이 이상으로 상기 참조화면의 수평방향 픽셀수와 수직방향 픽셀수를 증가시킨 뒤 상기 전역변이만큼 상기 참조화면을 이동시키는 단계; 및 상기 새로운 참조화면에서 비어있는 픽셀을 인접한 픽셀의 값으로 패딩하는 단계를 포함한다.
더욱 바람직하게, 상기 인코딩하는 방법은, 입력되는 다시점 비디오의 화면을 캡쳐하고 저장하는 단계; 상기 캡쳐하고 저장된 화면을 입력받아 정해진 순서대로 재배열하는 단계; 상기 재배열된 화면과 참조화면에 대한 차이값을 구하는 단계; 상기 차이값의 행렬을 DCT 처리하여 DCT 계수를 얻는 단계; 상기 DCT 계수를 양자화하는 단계; 및 상기 양자화된 DCT 계수를 엔트로피 부호화하는 단계를 더욱 포함한다.
또는, 상기 엔트로피 부호화하는 단계에서 상기 움직임 벡터와 상기 참조화면의 전역변이에 대한 정보도 부호화될 수 있다.
바람직하게, 상기 화면을 재배열하는 단계에서는 시작 시간에 대한 다시점의 화면 모두를 일렬로 배열한 뒤, 그 다음 시간의 화면부터는 소정 시간 간격동안 한 시점에 대해서만 화면을 일렬로 배열하는 것을 반복하여 상기 시작 시간으로부터 소정 간격 동안의 모든 시점에 대한 화면을 일렬로 배열한다.
본 발명에 따른 인코딩 방법은 프로그램의 형태로 저장 매체에 기록될 수 있다. 이와 같은 저장 매체는, 다시점 비디오의 화면을 캡쳐하여 저장하는 단계; 상기 다시점 비디오의 화면을 소정의 순서로 재배열하는 단계; 이미 인코딩된 참조화면을 이동시켜 새로운 참조화면을 생성하는 단계; 및 상기 새로운 참조화면을 바탕 으로 대상화면의 움직임 벡터를 산출하는 단계를 수행한다.
4. 초기 탐색점 이동법을 이용한 인코딩하는 방법
본 발명에 따른 초기 탐색점 이동법을 이용해서 다시점 비디오에서 상이한 시점의 화면들을 인코딩하는 방법은, 대상화면과 참조화면의 전역변이를 구하는 단계; 및 상기 참조화면에 대한 상기 대상화면에서 블록의 움직임 벡터를 산출하기 위해 상기 전역변이만큼 상기 대상화면의 블록을 이동시킨 위치에서 시작하여 블록을 검색하는 단계를 포함한다.
바람직하게, 상기 전역변이에 대한 정보와 움직임 벡터를 엔트로피 부호화하는 단계를 더욱 포함한다.
또한, 상기 전역변이를 구하는 단계는 참조화면과 대상화면을 업샘플링하는 단계를 포함할 수 있다.
본 발명에 따른 인코딩 방법은 프로그램의 형태로 저장 매체에 기록될 수 있다. 이와 같은 저장 매체는, 대상화면과 참조화면의 전역변이를 구하는 단계; 및 상기 참조화면에 대한 상기 대상화면에서 블록의 움직임 벡터를 산출하기 위해 상기 전역변이만큼 상기 대상화면의 블록을 이동된 참조화면의 위치에서 대응되는 블록의 검색을 시작하는 단계를 수행한다.
발명의 실시를 위한 형태
이하에서는 본 발명에 따른 다시점 비디오를 인코딩하는 방법과 인코더 및 디코딩하는 방법과 디코더를 실시예와 관련하여 구체적으로 살펴보도록 한다. 이와 같은 실시예는 본 발명을 구현하는 예에 불과하며 본 발명의 권리범위가 이들 실시 예로 한정되는 것으로 해석해서는 안 될 것이다.
제 1 실시예
먼저 참조화면 이동법을 이용해서 화면을 인코딩하는 제 1 실시예에 대해서 설명하도록 한다.
도 2 는 참조화면 이동법을 이용한 다시점 비디오의 인코더에 대한 제 1 실시예의 블록도이다. 도 1 과 같은 복수의 카메라로부터 전송선(20, 22, ... , 32, 34)을 통해 전달받은 비디오 피드는 우선 캡쳐 버퍼(102)에 입력된다. 캡쳐 버퍼(102)는 전송선(20, 22, ... , 32, 34)을 통해 전달받은 비디오 피드에서 화면을 캡쳐한 뒤 이를 일시적으로 저장한다. 도 2 의 실시예에 따른 프레임 재배열부(104)는 후술하는 재배열 순서에 따라 캡쳐 버퍼(102)를 액세스하여 대상 화면의 데이터를 움직임 예상부(124)와 감산기(106)에 제공한다.
도 2 의 실시예에서 전방향 경로(forward path)에 대해서 설명하면 다음과 같다. 프레임 재배열부(104)로부터 출력된 대상 화면의 데이터는 감산기(106)로 입력된다. 감산기(106)에서는 움직임 보상부(122)를 통해 재구성된 참조화면과 대상 화면의 차이값 행렬을 구해서 DCT 처리부(108)로 전달한다. DCT 처리부(108)는 상기 차이값 행렬을 이산 코사인 변환해서 DCT 계수를 얻는다. 이어서, 양자화부(110)에서는 DCT 처리부(108)에서 얻어진 DCT 계수를 양자화시킨다. 이렇게 양자화된 DCT 계수는 엔트로피 부호화부(130)로 전달되어 CAVLC(Context Adaptive Variable Length Codes) 또는 CABAC(Context Adaptive Binary Arithmetic Coding) 등의 방법으로 엔트로피 코딩된다. 엔트로피 코딩된 비트는 버퍼(132)를 통해 외부 의 네트워크로 전송된다.
다음으로, 도 2의 실시예에서 재구성 경로(reconstruction path)에 대해서 설명하면 다음과 같다. 본 실시예의 양자화부(110)를 거친 데이터는 역양자화부(112), IDCT 처리부(114)와 가산기(116)를 거쳐 화면으로 재구성되어 프레임 저장부(118)에 저장된다. 참조화면 생성부(120)에서는 프레임 저장부(118)로부터 하나 또는 두 개의 화면을 입력받아서 참조화면을 생성한다. 참조화면 생성부(120)의 구체적인 구성과 참조화면을 생성하는 방법에 대해서는 후술하도록 한다. 이와 같이 생성된 참조화면을 이용해서 움직임 예상부(124)는 프레임 재배열부(104)에서 입력되는 대상화면의 움직임을 예상하고 대상화면의 블록에 대한 움직임 벡터를 엔트로피 부호화부(130)로 전송한다. 움직임 예상부(124)에서의 움직임 벡터는 움직임 보상부(122)로 전달되어 예측 화면이 구성된다. 예측 화면과 프레임 재배열부(140)에서 입력된 대상화면의 차이가 감산기(106)에서 연산되어 전술한 바와 같이 DCT 처리부(108)로 전달되는 것이다. 아울러, 움직임 보상부(122)에서 예측된 화면에 대한 데이터는 가산기(116)로도 입력되어 IDCT 처리부(114)를 통해 재구성된 차이값 행렬의 정보가 입력되어 재구성된 대상화면에 대한 데이터가 프레임 저장부(118)에 저장된다.
도 2에서는 본 발명의 설명을 용이하도록 하기 위해서 참조화면을 이용해서 인터모드(inter-mode)에 대한 구성만을 나타내고 I 화면을 생성하기 위한 인트라모드(intra-mode) 구성에 대한 설명을 생략하였다. 그러나, 본 실시예 역시 MPEG-2 또는 H.264/AVC 표준에서와 같이 인터모드와 인트라모드 사이에서 모드를 선택하는 모드 선택부, 및 I 화면을 생성하기 위한 인트라모드부를 더욱 구비할 수 있다.
도 3 은 본 발명에 따른 인코더의 제 1 실시예에서 프레임 재배열부(104)가 다시점 비디오의 화면을 배열하는 순서를 나타내고 있다. 도 3 에 나타난 바와 같이, 프레임 재배열부(104)는 T0 시점에서 모든 시점(S0, S1, ... , S6, S7)의 화면을 일렬로 나열한 다음, 소정의 시간(T1∼T8) 동안 첫 시점의 화면(S0)에 대해서 일렬로 나열하여 출력한다. 이어서, 다음 시점의 화면(S1)에 대해서 소정의 시간(T1∼T8) 동안 나열하는 것을 반복하여 마지막 시점(S7)의 화면에 대해서도 일렬로 나열하는 것이 완료되면, 다시 소정의 시간(T9∼T16) 동안 첫 시점의 화면(S0)으로부터나열하기 시작하여 마지막 시점(S7)의 화면까지 나열한다.
도 3 과 같이 화면을 재배열하는 방식은 현재 H.264/AVC 표준에서 다시점 화상에 대해서 검토하고 있는 방식이다. 그러나, 도 3 과 같은 방식으로 프레임을 재배열하는 대신 다른 순서로 화면을 재배열하는 것도 물론 가능하다.
이하에서는, 제 1 실시예의 참조화면 생성부(120)의 구성을 도 4 와 관련하여 더욱 상세히 설명하도록 한다. 제 1 실시예의 참조화면 생성부(120)는 업샘플링 처리부(202), 전역변이 연산부(204), 참조화면 이동부(205), 가장자리 복사 처리부(206), 가장자리 패딩 처리부(208)와 필터(210)로 구성된다.
참조화면 생성부(120)의 업샘플링 처리부(202)는 참조화면 생성부(120)로 입력된 시점 화면에 대해서 업샘플링 처리를 한다. 업샘플링 처리부(202)는 보간법(interpolation)을 사용하여 화면의 크기를 4배 또는 16 배로 증가시킨다. 업샘플링의 정도가 높을수록 전역변이를 보다 정확하게 산정할 수 있지만, 연산량이 증가 하는 문제점이 있으므로 인코더의 성능과 효율을 감안하여 업샘플링의 정도를 결정하는 것이 바람직하다. 업샘플링 방법은 예를 들면, 미국특허 제6,510,246호에 자세히 설명되어 있으므로 구체적인 설명은 생략하도록 한다.
이렇게 업샘플링 처리부(202)를 통해 업샘플링된 대상화면과 참조화면은 둘 사이의 전역변이를 산출하기 위해 전역변이 연산부(204)로 입력된다. 전역변이 연산부(204)는 픽셀의 루마(luma)값에 대하여 다음의 수식 1의 연산을 통해 대상화면과 참조화면 사이의 전역변이를 산출한다.
수학식 1
Figure 112009015085024-PCT00001
여기서, gxy는 두 개의 상이한 화면에서 두 화면 사이에서 최소가 되는 루마의 차이값의 합을 중첩된 영역으로 나눈 값을 지칭한다. img0(i, j)는 첫 번째 시점 화면에서 (i, j) 위치에 있는 픽셀의 루마값이고, img1(i-x, j-y)는 마찬가지로 두 번째 시점 화면에서 (i-x, j-y) 위치에 있는 픽셀의 루마값이다. R은 두 화면의 편이값을 x, y로 취하였을 때 중첩되는 영역의 면적이다(도 5 참조). 모든 x, y 값에 걸쳐 두 화면 사이의 루마값 차이를 구한 뒤 이를 중첩되는 영역의 면적(R)으로 나누어 gxy를 구한다. 모든 픽셀에 대한 루마값의 차이를 중첩되는 영역의 면적(R)으로 나눈 값이 최소가 될 x, y 값이 두 화면 사이의 전역변이값(xm, ym)이다. 전술한 바와 같이, 업샘플링 처리부(202)에서 기존의 화면을 업샘플링하였기 때문에, xm, ym값은 원래 화면의 서브픽셀 단위까지 산정되어 업샘플링을 하지 않았을 때에 비하여 전역변이값이 더 정확해진다. 이렇게 계산된 전역변이값(xm, ym)은 전술한 참조화면 이동부(205), 가장자리 복사 처리부(206), 가장자리 패딩 처리부(208)와 엔트로피 부호화부(130)에 제공된다.
한편, 이러한 전역변이의 연산은 도 5와 같이 원영상에 의해서 이루어질 수 있으나, 도 6과 같이 이진 영상에 의해서도 이루어질 수 있다. 이진 영상은 회색과 같은 중간 단계의 휘도가 존재하는 원 영상과는 달리, 검정색과 흰색으로만 이루어진 영상이다. 따라서, 이러한 이진 영상은 휘도 변화와 색 변화에 대해 덜 민감하게 된다. 그 결과, 보다 빠른 시간내에 용이하게 대상화면의 블록에 해당되는 부분을 참조화면으로부터 탐색해 낼 수 있게 된다. 이 경우, 상기 전역변이 연산부(204)는 대상화면과 참조화면을 원 영상 대신 이진 영상으로 변환 후에 전역변이의 연산을 수행하게 된다. 전역변이값을 산출하는 나머지 과정은 원 영상을 이용하는 경우와 동일하므로, 이에 대한 상세한 설명은 생략한다.
전역변이 연산부(204)에서 전역변이(xm, ym)가 계산되면, 참조화면 이동부(205)는 x와 y방향의 전역변이 이상으로 참조화면의 x 방향과 y 방향으로 픽셀수를 각각 증가시키고 참조화면을 전역변이(xm, ym) 만큼 이동시킨다.
이어서, 제 2 참조화면이 참조화면 생성부(120)로 입력되어 상기 참조화면과 마찬가지로 업샘플링 처리부(202), 전역변이 연산부(204)와 참조화면 이동부(205)의 처리과정을 밟는다. 이렇게 제 2 참조화면의 대상화면에 대한 전역변이가 구해 지면, 가장자리 복사 처리부(206)는 참조화면과 제 2 참조화면의 대상화면에 대한 전역변이값을 이용하여 참조화면과 제 2 참조화면 사이에 서로 중첩되지 않는 부분을 서로 복사한다. 만약, 참조화면과 제 2 참조화면을 복사해서도 채워지지 않는 픽셀이 있다면 그 부분에 대해서는 가장자리 패딩 처리부(208)에서 비어있는 픽셀에 인접한 픽셀값으로 패딩처리하여 새로운 참조화면과 새로운 제 2 참조화면을 생성한다.
이하에서는 참조화면 생성부(120)에 의해 새로운 참조화면과 새로운 제 2 참조화면이 생성되는 과정을 상세히 설명하도록 한다. 우선, 대상화면, 참조화면과 제 2 참조화면은 업샘플링 처리부(202)에 의해 업샘플링 처리된다. 이어서, 전역변이 연산부(204)에 의해 참조화면과 대상화면 사이의 전역변이, 그리고 제 2 참조화면과 대상화면 사이의 전역변이가 구해진다.
예로써, 확대된 참조화면과 제 2 참조화면이 도 7과 도 8에 나타나있다. 도 11은 상기 참조화면 및 제 2 참조화면에 의해서 B 화면으로 인코딩되는 대상화면을 나타낸다. 가장자리 복사 처리부(206)에 의해 처리되기 전에는 양 측면의 픽셀값이 정해져 있지 않기 때문에 회색으로 표시되어 있다. 이어서, 참조화면 이동부(205)는 참조화면과 제 2 참조화면의 대상화면에 대한 전역변이만큼 참조화면과 제 2 참조화면을 이동시킨다. 도 7에 나타난 참조화면은 왼쪽으로 이동되고, 도 8의 제 2 참조화면은 오른쪽으로 이동된다. 이렇게 이동된 도 7과 도 8의 부분이 도 9와 도 10에서 영역 B와 영역 C'로 각각 표시되어 있다.
다음으로, 가장자리 복사 처리부(206)는 참조도면과 대상화면 사이의 전역변 이와 제 2 참조도면과 대상화면 사이의 전역변이로부터 참조도면과 제 2 참조도면 사이의 전역변이를 구한다. 이렇게 구해진 참조도면과 제 2 참조도면 사이의 전역변이를 이용해서, 참조화면에는 나타나지만 제 2 참조화면에는 나타나지 않는 영역, 그리고 제 2 참조화면에는 나타나지만 참조화면에 나타나지 않는 영역을 각각 제 2 참조화면과 참조화면에 복사한다. 이렇게 복사된 영역이 도 9에서 영역 C와 도 10에서 영역 B'이다.
이와 같이 참조화면과 제 2 참조화면의 영역을 서로 복사한 뒤에도 채워지지 않은 참조화면과 제 2 참조화면의 픽셀에 대해서는 가장자리 패딩 처리부(208)가 인접한 픽셀의 값으로 패딩하여 처리한다. 이렇게 패딩되어 처리된 영역이 도 9에서는 영역 A와 영역 D로, 도 10에서는 영역 A'와 영역 D'로 각각 표시되어 있다.
참조화면 생성부(120)의 마지막 단계로 필터(210)를 통과한다. 상기 가장자리 패딩 처리부(208)를 거친 참조화면과 제 2 참조화면은 필터(210)를 통해 매끄럽게 처리된다. 필터(210)는 상기 가장자리 복사 처리부(206)와 가장자리 패딩 처리부(208)에 의해 비연속적으로 급격하게 변하는 화면의 영역을 매끄럽게 처리하는 역할을 수행한다.
제 1 실시예에서 참조화면 생성부(120)를 통해 얻어진 참조화면, 제 2 참조화면, 그리고 대상화면은 인코더(40)의 움직임 예상부(124)로 입력된다. 움직임 예상부(124)에서는 참조화면과 제 2 참조화면을 근거로 도 11 과 같은 대상화면의 움직임 벡터를 구해서 인코더(40)의 엔트로피 부호화부(130)와 움직임 보상부(122)에 제공한다.
불필요한 혼동을 피하기 위해 위의 도 7과 도 8의 참조화면은 도 11의 대상화면에 대하여 수평 전역변이만을 갖는 경우에 대하여 설명하였다. 만약, 대상화면과 참조화면 사이에 대하여 수직 전역변이가 존재한다면 수평방향으로뿐만 아니라 수직 방향으로도 복사 처리된 영역과 패딩 처리된 영역이 존재할 것이다.
또한, 위에서는 도 11의 화면을 B 화면으로 인코딩하기 위해서 2개의 참조화면을 이용하는 경우에 대하여만 설명하였다. 그러나, 대상화면을 B 화면이 아닌 P 화면으로 구성하는 경우에도 제 1 실시예를 그대로 적용할 수 있다. 다만, 이 경우에는 2개의 참조화면이 아닌 하나의 참조화면만을 이용하고, 대상화면에 대한 참조화면의 전역변이를 구한 뒤 다른 참조화면으로부터 복사처리를 수행하지 않고 단지 패딩처리만을 수행한다는 차이가 있다.
제 2 실시예
다음으로, 초기 탐색점 이동법을 이용해서 화면을 인코딩하는 제 2 실시예에 대해서 설명하도록 한다. 도 12 는 제 2 실시예의 인코더(40')에 대한 블록도를 도시하고 있다. 도 12 에서 알 수 있듯이, 제 2 실시예에 따른 인코더(40')의 구성은 도 2 에 도시된 제 1 실시예의 인코더(40)와 거의 동일하다. 다만, 제 2 실시예에서는 제 1 실시예의 참조화면 생성부(120) 대신 전역변이 연산부(320)가 구비되어 있다.
제 2 실시예에서, 캡쳐 버퍼(302), 프레임 재배열부(304), 감산기(306), DCT 처리부(308), 양자화부(310), 역양자화부(312), IDCT 처리부(314), 가산기(316), 프레임 저장부(318), 움직임 보상부(322), 엔트로피 부호화부(330)와 버퍼(332)에 대한 구성과 작용은 제 1 실시예와 동일하므로 구체적인 설명을 생략하도록 한다.
제 2 실시예의 전역변이 연산부(320)는 제 1 실시예의 참조화면 생성부(210)에 구비된 전역변이 연산부(204)와 동일하며, 대상화면에 대한 참조화면의 전역변이값(xm, ym)을 산출한다. 이렇게 산출된 전역변이값(xm, ym)은 움직임 예상부(324)에 전달되어 대상화면의 움직임 벡터를 구하는데 사용된다. 여기서, 제 2 실시예의 전역변이 연산부(320) 또한, 제 1 실시예의 경우와 마찬가지로 전역변이값을 계산함에 있어 원 영상 대신 이진 영상을 사용할 수 있음은 물론이다.
도 13은 화면은 이미 인코딩된 대상화면을 나타내며, 왼쪽 밑에서 (xp, yp) 떨어진 위치에서 시작하는 블록(Ta)이 표시되어 있다. 도 14 는 이미 인코딩된 참조화면으로 그림에서 알 수 있는 바와 같이 도 13의 대상화면에 비하여 화면이 전체적으로 오른쪽 아래 방향으로 이동되어 있다.
종래의 방식에 의해서 대상화면의 블록(Ta)을 참조화면에서 검색하는 경우에는 도 14와 같은 대상화면과 동일한 위치, 즉 참조화면의 왼쪽 밑에서 (xp, yp) 떨어진 위치에서 블록의 검색을 시작하게 된다. 그러나, 대상화면은 참조화면에 대하여 (xm, ym)의 전역변이를 갖기 때문에, 대상화면의 블록(Ta)은 참조화면에서 동일한 위치가 아닌 전역변이벡터(Vt) 만큼 떨어진 위치에서 검색될 것이다.
따라서, 제 2 실시예에 따른 인코더(40')의 움직임 예상부(324)에서는 대상화면의 블록을 참조화면에서 검색할 때 전역변이벡터(Vt)만큼 이동시킨 참조화면의 위치에서 검색을 시작하게 된다. 이 경우, 전역변이값이 크다고 하더라도 이미 전 역변이를 감안하여 검색 위치를 이동시켰기 때문에 정해진 참조화면의 검색범위(Sb)내에서 대응된 블록을 빠르고 정확하게 발견할 수 있다.
한편, 제 2 실시예에서는 전역변이 연산부(320)의 전역변이 정보를 움직임 예상부(324)로만 전달하였지만, 이를 변형하여 전역변이 정보를 엔트로피 부호화부(330)에도 제공할 수 있다. 이 경우, 움직임 예상부(324)는 움직임 벡터에서 전역변이 만큼의 값을 뺀 벡터값을 엔트로피 부호화부(330)에 제공할 수 있다. 이와 같은 변형예에서는 움직임 벡터의 크기가 줄어들기 때문에 코딩 효율을 더욱 향상시킬 수 있는 장점이 있다.
본 발명에 따른 인코더와 인코딩 방법을 수행하기 위한 장치는 복수 또는 단일의 집적회로로 구성된 하나의 전용 장치로 구현될 수도 있지만, 일반 범용 컴퓨터에 인코딩 방법을 수행하기 위한 프로그램을 로딩하여 구현할 수도 있다.
다음으로, 본 발명의 바람직한 실시예에 따른 디코더와 디코딩 방법에 대해 설명한다.
도 15는 본 발명의 바람직한 실시예에 따른 다시점 비디오 디코더의 블록도이다. 도 15의 디코더는 본 발명의 제 1 실시예 및 제 2 실시예에 공통적으로 적용될 수 있는 것이므로, 중복을 피해 여기서 설명을 전개하기로 한다. 또한, 이하에서는 인코더 측의 프레임 저장부(118)와 구별하기 위해 디코더측의 프레임 저장부는 "제2프레임 저장부(412)"라고 하기로 한다.
본 발명의 바람직한 실시예에 따른 다시점 비디오 디코더는, 도 15를 참조하면, 버퍼(402), 엔트로피 복호화부(404), 역양자화부(406), IDCT 처리부(408), 가 산기(410), 제2프레임 저장부(412), 전역변이 보상부(414), 움직임 보상부(416), 및 프레임 재배열부(418)를 포함하여 형성된다.
상기 버퍼(402)는 전송매체를 통해 전송된 인코딩 데이터를 일시적으로 저장했다가 엔트로피 복호화부(404)로 전송한다. 전송된 인코딩 데이터는 본 발명의 바람직한 실시예에 따른 인코더를 통해 부호화된 비트열에 해당한다. 상기 인코딩 데이터는 헤더(header) 정보와 잔여성분 정보가 포함되어 있다. 헤더 정보는 시퀀스(sequence)의 크기, 화면 타입(I, P, B화면), 매크로블록의 모드, 움직임 벡터, 전역변이정보 등 중요한 데이터들이 들어가 있는 부분이다. 상기 잔여성분 정보는 인코더에서 전방향 경로(forward path)에 의해 얻은 부분, 즉 재구성된 참조화면과 대상화면과의 차이를 부호화했던 데이터가 들어있는 부분이다.
상기 엔트로피 복호화부(404)는 버퍼(402)로부터 전송된 인코딩 데이터를 엔트로피 디코딩한다. 이때, 상기 엔트로피 복호화부(404)에서는 잔여성분 정보는 디코딩한 후 역양자화부(406)로 전송하고, 헤더 정보(특히, 움직임 벡터와 전역변이 정보)는 디코딩한 후 전역변이 보상부(414)와 움직임 보상부(416)로 전송한다.
도 15의 실시예에서 전방향 경로(forward path)에 대해서 설명하면 다음과 같다. 상기 엔트로피 복호화부(404)를 통해 디코딩된 잔여성분 정보는 역양자화부(406)로 입력된다. 상기 역양자화부(406)로 입력된 잔여성분 정보는 역양자화된 후, IDCT 처리부(408)로 입력된다. 상기 IDCT 처리부(408)에서는 이산 코사인 변환의 역연산을 수행하여 주파수성분을 다시 화소성분으로 변환한다. 상기 IDCT 처리부(408)를 통해 역연산된 잔여성분 정보는 가산기(410)로 입력된다. 상기 가산기 (410)에서는 전역변이 보상과 움직임 보상이 끝난 화면에 잔여성분 정보를 더하여 예측된 프레임을 프레임 재배열부(418)로 전송하게 된다. 상기 프레임 재배열부(418)에서는 인코더에서 부호화를 위해 화면을 재배열했듯이, 시간순서에 맞게 디스플레이 하기 위해 가산기(410)로부터 전송된 프레임을 재배열한다. 도시되지 않았으나, 상기 프레임 재배열부(418)를 통해 재배열된 프레임은 디스플레이 매체를 통해 출력된다.
다음으로, 도 15의 실시예에서 재구성 경로(reconstruction path)에 대해서 설명하면 다음과 같다. 상기 가산기(410)를 통해 구성된 최종적인 디코딩 화면은 제2프레임 저장부(412)로 저장된다. 상기 제2프레임 저장부(412)에 저장된 최종 디코딩 화면은 전역변이 보상부(414)와 움직임 보상부(416)를 거치면서 전역변이 보상과 움직임 보상이 이루어진다. 상기 전역변이 보상부(414)로는 엔트로피 복호화부(404)를 통해 디코딩된 전역변이 정보가 입력되어 전역변이 보상이 이루어지며, 상기 움직임 보상부(416)로는 엔트로피 복호화부(404)를 통해 디코딩된 움직임 벡터가 입력되어 움직임 보상이 이루어지게 된다. 구체적으로, 상기 전역변이 보상부(414)에서는 인코더 측에서 참조화면 이동법 또는 초기탐색점 이동법에 의해 전역변이를 보상하여 새로운 참조화면을 구성했던 것과 마찬가지로, 제2프레임 저장부(412)에 저장된 화면을 불러온 후 전송된 전역변이 정보를 이용하여 전역변이를 보상하게 된다. 이어서, 전역변이 보상이 끝난 프레임은 움직임 보상부(416)로 입력된다. 상기 움직임 보상부(416)에서는 인코더 측에서 전역변이 보상을 통해 용이하게 구한 움직임 벡터를 엔트로피 복호화부(404)로부터 전송받아, 전역변이가 보상 된 프레임에 움직임 보상을 수행한다. 이와 같이 움직임 보상까지 끝난 예측화면은 가산기(410)로 입력되어 잔여성분 정보가 합해진 후, 다시 제2프레임 저장부(412)로 입력된다.
이어서, 본 발명의 바람직한 실시예에 따른 디코딩 방법에 대해 설명한다.
본 발명의 바람직한 실시예에 따른 디코딩 방법은 □)전방향 경로(forward path)의 경우, 전송매체를 통해 전송된 데이터를 저장하는 단계, 상기 데이터를 엔트로피 복호화하는 단계, 엔트로피 복호화된 잔여성분 정보를 역양자화하는 단계, 역양자화된 잔여성분 정보를 IDCT 처리하는 단계, 전역변이 보상과 움직임 보상이 이루어진 화면에 IDCT 처리된 잔여성분 정보를 합하는 단계, 잔여성분 정보가 합해진 최종 디코딩 화면을 순서대로 재배열하는 단계를 포함하여 이루어지며, □)재구성 경로(reconstruction path)의 경우, 엔트로피 복호화된 전역변이 정보를 이용하여 전역변이를 보상하는 단계, 엔트로피 복호화된 움직임 벡터를 이용하여 움직임을 보상하는 단계, 및 움직임 보상이 끝난 화면과 상기 잔여성분 정보가 합해진 최종 디코딩 화면을 저장하는 단계를 포함하여 이루어진다. 이때, 상기 엔트로피 복호화하는 단계에서는 움직임 벡터와 전역변이 정보를 포함하여 복호화하게 된다. 상기 각 단계에 대한 상세한 설명은 상기 디코더 구조에서 상술하였으므로, 여기서는 생략하기로 한다.
본 발명에 따른 디코더와 디코딩 방법을 수행하기 위한 장치는 복수 또는 단일의 집적회로로 구성된 하나의 전용 장치로 구현될 수도 있지만, 일반 범용 컴퓨터에 디코딩 방법을 수행하기 위한 프로그램을 로딩하여 구현할 수도 있음은 상기 인코더에서 언급한 바와 같다.
본 발명은 다시점 비디오의 인코더와 디코더에 이용될 수 있다.

Claims (23)

  1. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들에 대한 데이터를 압축하는 인코더에 있어서,
    두 개 이상의 시점에 대한 비디오의 화면을 입력받는 입력부;
    대상화면에 대한 참조화면의 전역변이를 고려하여 새로운 참조화면을 생성하는 참조화면 생성부; 및
    상기 참조화면을 바탕으로 상기 대상화면의 움직임 벡터를 산출하는 움직임 예상부를 구비하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들에 대한 데이터를 압축하는 인코더.
  2. 제 1 항에 있어서, 상기 참조화면 생성부는,
    상기 대상화면과 상기 참조화면 사이의 전역변이를 산출하는 전역변이 연산부;
    상기 전역변이 연산부에서 얻어진 수평방향과 수직방향의 전역변이 이상으로 참조화면의 수평방향 픽셀수와 수직방향 픽셀수를 증가시키고 상기 전역변이만큼 참조화면을 이동시키는 참조화면 이동부; 및
    상기 참조화면 이동부에서 참조화면의 이동과 픽셀의 증가에 의해 비어있는 픽셀을 인접한 픽셀값으로 패딩시키는 패딩처리부를 포함하는 것을 특징으로 하는 인코더.
  3. 제 2 항에 있어서, 상기 참조화면 생성부의 상기 전역변이 연산부는 제 2 의 참조화면을 입력받아 제 2 참조화면과 상기 대상화면과의 전역변이를 산정하고, 상기 참조화면 생성부의 참조화면 이동부는 상기 전역변이 연산부에서 얻어진 수직방향과 수평방향 전역변이 이상으로 제 2 참조화면의 수직방향과 수평방향 픽셀수를 증가시키고 상기 전역변이만큼 제 2 참조화면을 이동시키며, 상기 참조화면 생성부는 상기 참조화면 이동부의 처리에 의해 비어 있는 상기 참조화면이나 상기 제 2 참조화면의 픽셀을 상기 제 2 참조화면 또는 상기 참조화면으로부터 복사하여 채우는 가장자리 복사 처리부를 더욱 구비하는 것을 특징으로 하는 인코더.
  4. 제 3 항에 있어서, 상기 참조화면 생성부는,
    두 화면 사이의 전역변이를 정확히 산정하기 위해 상기 두 화면을 업샘플링하여 처리하는 업샘플링부; 및
    상기 참조화면 이동부, 상기 가장자리 복사 처리부와, 상기 가장자리 패딩 처리부로 처리된 참조화면 또는 제 2 참조화면을 매끄럽게 처리하기 위한 필터를 더욱 포함하는 것을 특징으로 하는 인코더.
  5. 제 2 항에 있어서, 상기 인코더는,
    입력되는 화면을 캡쳐하여 저장하는 이미지 캡쳐 버퍼링부;
    상기 이미지 캡쳐 버퍼링부에서 상기 다시점의 화면들을 입력받아 재배열하 는 프레임 재배열부;
    상기 프레임 재배열부로부터 출력되는 상기 다시점 화면의 참조화면에 대한 차이값을 구하는 감산기;
    상기 감산기에서 얻어진 프레임의 차이값에 대한 행렬을 DCT 처리하여 DCT 계수를 얻는 DCT 처리부;
    상기 DCT 계수를 양자화하기 위한 양자화부; 및
    상기 양자화된 DCT 계수를 부호화하기 위한 엔트로피 부호화부를 더욱 포함하는 것을 특징으로 하는 인코더.
  6. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 압축하는 인코더에 있어서,
    대상화면과 참조화면 사이의 전역변이를 구하는 전역변이 연산부; 및
    상기 참조화면에 대한 대상화면의 블록의 움직임 벡터를 산출하기 위해 상기 전역변이만큼 상기 대상화면의 블록을 이동시킨 참조화면의 위치에서 시작하여 대응되는 블록을 검색하는 움직임 예상부를 포함하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들에 대한 데이터를 압축하는 인코더.
  7. 제 6 항에 있어서, 상기 인코더는,
    입력되는 다시점 화면을 캡쳐하고 저장하는 이미지 캡쳐 버퍼링부;
    상기 이미지 캡쳐 버퍼링부에서 상기 다시점의 화면들을 입력받아 재배열하는 프레임 재배열부;
    상기 프레임 재배열부로부터 출력되는 상기 다시점 화면의 참조화면에 대한 차이값을 구하는 감산기;
    상기 감산기에서 얻어진 프레임의 차이값에 대한 행렬을 DCT 처리하여 DCT 계수를 얻는 DCT 처리부;
    상기 DCT 계수를 양자화하기 위한 양자화부; 및
    상기 양자화된 DCT 계수를 부호화하기 위한 엔트로피 부호화부를 더욱 포함하는 것을 특징으로 하는 인코더.
  8. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하는 방법에 있어서,
    다시점 비디오의 화면을 캡쳐하여 저장하는 단계;
    상기 다시점 비디오의 화면을 소정의 순서로 재배열하는 단계;
    이미 인코딩된 참조화면을 이동시켜 새로운 참조화면을 생성하는 단계; 및
    상기 새로운 참조화면을 바탕으로 대상화면의 움직임 벡터를 산출하는 단계를 구비하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하는 방법.
  9. 제 8 항에 있어서, 상기 새로운 참조화면을 생성하는 단계는,
    상기 대상화면과 참조화면 사이의 전역변이를 구하는 단계;
    상기 수직방향과 수평방향 전역변이 이상으로 상기 참조화면의 수직방향 픽셀수와 수평방향 픽셀수를 증가시키고 상기 전역변이만큼 상기 참조화면을 이동시켜 새로운 참조화면을 생성하는 단계; 및
    상기 새로운 참조화면에서 비어있는 픽셀을 인접한 픽셀의 값으로 패딩하는 단계를 포함하는 것을 특징으로 하는 인코딩하는 방법.
  10. 제 9 항에 있어서, 상기 인코딩하는 방법은,
    입력되는 다시점 비디오의 화면을 캡쳐하고 저장하는 단계;
    상기 캡쳐하고 저장된 화면을 입력받아 정해진 순서대로 재배열하는 단계;
    상기 재배열된 화면과 참조화면에 대한 차이값을 구하는 단계;
    상기 차이값의 행렬을 DCT 처리하여 DCT 계수를 얻는 단계;
    상기 DCT 계수를 양자화하는 단계; 및
    상기 양자화된 DCT 계수를 엔트로피 부호화하는 단계를 더욱 포함하는 것을 특징으로 하는 인코딩하는 방법.
  11. 제 10 항에 있어서, 상기 엔트로피 부호화하는 단계에서 상기 움직임 벡터와 상기 참조화면의 전역변이에 대한 정보도 부호화되는 것을 특징으로 하는 인코딩하는 방법.
  12. 제 11 항에 있어서, 상기 화면을 재배열하는 단계는 시작 시간에 대한 다시점의 화면 모두를 일렬로 배열한 뒤, 그 다음 시간의 화면부터는 소정 시간 간격동안 한 시점에 대해서만 화면을 일렬로 배열하는 것을 반복하여 상기 시작 시간으로부터 소정 간격 동안의 모든 시점에 대한 화면을 일렬로 배열하는 것을 특징으로 하는 인코딩하는 방법.
  13. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하는 방법에 있어서,
    대상화면과 참조화면의 전역변이를 구하는 단계; 및
    상기 참조화면에 대한 상기 대상화면에서 블록의 움직임 벡터를 산출하기 위해 상기 전역변이만큼 상기 대상화면의 블록을 이동된 참조화면의 위치에서 대응되는 블록의 검색을 시작하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하는 방법.
  14. 제 13 항에 있어서, 상기 전역변이에 대한 정보와 움직임 벡터를 엔트로피 부호화하는 단계를 더욱 포함하는 것을 특징으로 하는 인코딩하는 방법.
  15. 제 13 항에 있어서, 상기 전역변이를 구하는 단계는 상기 참조화면과 상기 대상화면을 업샘플링하는 단계를 포함하는 것을 특징으로 하는 인코딩하는 방법.
  16. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하기 위한 프로그램을 기록하는 저장 매체에 있어서,
    다시점 비디오의 화면을 캡쳐하여 저장하는 단계;
    상기 다시점 비디오의 화면을 소정의 순서로 재배열하는 단계;
    이미 인코딩된 참조화면을 이동시켜 새로운 참조화면을 생성하는 단계; 및
    상기 새로운 참조화면을 바탕으로 대상화면의 움직임 벡터를 산출하는 단계를 수행하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하기 위한 프로그램을 기록하는 저장 매체.
  17. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하기 위한 프로그램을 기록하는 저장 매체에 있어서,
    대상화면과 참조화면의 전역변이를 구하는 단계; 및
    상기 참조화면에 대한 상기 대상화면에서 블록의 움직임 벡터를 산출하기 위해 상기 전역변이만큼 상기 대상화면의 블록을 이동된 참조화면의 위치에서 대응되는 블록의 검색을 시작하는 단계를 수행하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 인코딩하기 위한 프로그램을 기록하는 저장 매체.
  18. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 복호하는 디코더에 있어서,
    움직임 벡터와 전역변이 정보를 포함하는 헤더 정보와, 인코더에서 참조화면과 대상화면의 차이를 부호화한 잔여성분 정보를 엔트로피 디코딩하는 엔트로피 복호화부;
    상기 엔트로피 복호화부를 통해 디코딩된 전역변이 정보를 이용하여 저장된 화면의 전역변이 보상을 수행하는 전역변이 보상부; 및
    상기 엔트로피 복호화부를 통해 디코딩된 움직임 벡터를 이용하여 전역변이 보상이 끝난 화면의 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 복호하는 디코더.
  19. 제18항에 있어서,
    전송매체를 통해 전송된 인코딩 데이터를 일시적으로 저장하는 버퍼부;
    상기 엔트로피 복호화부를 통해 디코딩된 잔여성분 정보를 역양자화하기 위한 역양자화부;
    역양자화된 상기 잔여성분 정보를 IDCT 처리하는 IDCT 처리부; 및
    상기 움직임 보상부를 통해 움직임이 보상된 화면과, 상기 IDCT 처리부를 통해 IDCT 처리된 상기 잔여성분 정보를 합하는 가산기를 더 포함하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 복호하는 디코더.
  20. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 디코딩하는 방법에 있어서,
    (a) 움직임 벡터와 전역변이 정보를 포함하는 헤더 정보와, 인코더에서 참조화면과 대상화면의 차이를 부호화한 잔여성분 정보를 엔트로피 복호화하는 단계;
    (b) 엔트로피 복호화된 전역변이 정보를 이용하여, 저장된 화면의 전역변이 보상을 수행하는 단계; 및
    (c) 엔트로피 복호화된 움직임 벡터를 이용하여 전역변이 보상이 끝난 화면의 움직임 보상을 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 디코딩하는 방법.
  21. 제20항에 있어서,
    (d) 전송매체를 통해 전송된 인코딩 데이터를 일시적으로 저장하는 단계;
    (e) 상기 (a)단계를 통해 복호화된 잔여성분 정보를 역양자화하는 단계;
    (f) 상기 (e)단계를 통해 역양자화된 상기 잔여성분 정보를 IDCT 처리하는 단계; 및
    (g) 상기 (c)단계를 통해 움직임이 보상된 화면과, 상기 (f)단계를 통해 IDCT 처리된 잔여성분 정보를 합하는 단계를 포함하여 이루어지는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 디코딩하는 방법.
  22. 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 디코딩하기 위한 프로그램을 기록하는 저장 매체에 있어서,
    (a') 움직임 벡터와 전역변이 정보를 포함하는 헤더 정보와, 인코더에서 참조화면과 대상화면의 차이를 부호화한 잔여성분 정보를 엔트로피 복호화하는 단계;
    (b') 엔트로피 복호화된 전역변이 정보를 이용하여, 저장된 화면의 전역변이 보상을 수행하는 단계; 및
    (c') 엔트로피 복호화된 움직임 벡터를 이용하여 전역변이 보상이 끝난 화면의 움직임 보상을 수행하는 단계를 수행하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 디코딩하기 위한 프로그램을 기록하는 저장 매체.
  23. 제22항에 있어서,
    (d') 전송매체를 통해 전송된 인코딩 데이터를 일시적으로 저장하는 단계;
    (e') 상기 (a')단계를 통해 복호화된 잔여성분 정보를 역양자화하는 단계;
    (f') 상기 (e')단계를 통해 역양자화된 상기 잔여성분 정보를 IDCT 처리하는 단계; 및
    (g') 상기 (c')단계를 통해 움직임이 보상된 화면과, 상기 (f')단계를 통해 IDCT 처리된 잔여성분 정보를 합하는 단계를 더 수행하는 것을 특징으로 하는 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면에 대한 데이터를 디코딩하 기 위한 프로그램을 기록하는 저장 매체.
KR1020097005169A 2006-08-18 2007-08-17 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법 KR101336204B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020060078131 2006-08-18
KR20060078131 2006-08-18
PCT/KR2007/003950 WO2008020734A1 (en) 2006-08-18 2007-08-17 A method and apparatus for encoding or decoding frames of different views in multiview video using global disparity

Publications (2)

Publication Number Publication Date
KR20090057250A true KR20090057250A (ko) 2009-06-04
KR101336204B1 KR101336204B1 (ko) 2013-12-03

Family

ID=39082236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097005169A KR101336204B1 (ko) 2006-08-18 2007-08-17 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법

Country Status (3)

Country Link
US (1) US8179969B2 (ko)
KR (1) KR101336204B1 (ko)
WO (1) WO2008020734A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012632A1 (ko) * 2013-07-25 2015-01-29 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127908B (zh) * 2007-08-27 2010-10-27 宝利微电子系统控股公司 引入全局特征分类的视频图像运动处理方法及其实现装置
WO2009130561A1 (en) * 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
CN102625097B (zh) * 2011-01-31 2014-11-05 北京大学 三维视频帧内预测方法及编解码方法
WO2012128068A1 (ja) * 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
CN102325254B (zh) * 2011-08-25 2014-09-24 深圳超多维光电子有限公司 一种立体视频的编、解码方法及装置
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
EP2839660B1 (en) * 2012-04-16 2020-10-07 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR101966920B1 (ko) * 2012-07-10 2019-04-08 삼성전자주식회사 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
GB201223276D0 (en) 2012-12-21 2013-02-06 Ucb Pharma Sa Antibodies and methods of producing same
US9888229B2 (en) * 2014-06-23 2018-02-06 Ricoh Company, Ltd. Disparity estimation for multiview imaging systems
US10748264B2 (en) * 2015-09-09 2020-08-18 Sony Corporation Image processing apparatus and image processing method
WO2023023039A1 (en) * 2021-08-17 2023-02-23 Beijing Dajia Internet Information Technology Co., Ltd. Sign prediction for block-based video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100728009B1 (ko) * 2005-08-22 2007-06-13 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US8559515B2 (en) 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
EP1946563A2 (en) 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
TWI344791B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015012632A1 (ko) * 2013-07-25 2015-01-29 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법

Also Published As

Publication number Publication date
WO2008020734A1 (en) 2008-02-21
KR101336204B1 (ko) 2013-12-03
US8179969B2 (en) 2012-05-15
US20100166074A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
KR101336204B1 (ko) 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
KR102545299B1 (ko) 비디오 디코딩을 위한 방법 및 장치
US9363535B2 (en) Coding motion depth maps with depth range variation
US11496760B2 (en) Slice header prediction for depth maps in three-dimensional video codecs
EP2923492B1 (en) Adaptive luminance compensation in three dimensional video coding
KR101684209B1 (ko) 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
US9288505B2 (en) Three-dimensional video with asymmetric spatial resolution
US20120236934A1 (en) Signaling of multiview video plus depth content with a block-level 4-component structure
KR101854003B1 (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
US20100309286A1 (en) Encoding of three-dimensional conversion information with two-dimensional video sequence
JP6312705B2 (ja) ３ｄビデオにおけるビュー合成
KR100815486B1 (ko) 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
KR101363044B1 (ko) 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체
RU2774871C1 (ru) Преобразование декодированного вектора блока для внутренней компенсации блоков изображения
CN116325725A (zh) 多视图的视图位置辅助增强信息的消息
KR100795482B1 (ko) 다시점 비디오에서 영상 정렬을 이용하여 상이한 시점의화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법,디코더와 디코딩하는 방법 및 이를 이용한 저장매체
KR20230088479A (ko) Sei 메시지에서 멀티뷰 뷰 포지션을 시그널링하기 위한 기법
JP2015088954A (ja) 画像符号化装置及び画像符号化プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee