KR101126294B1 - 다시점 영상의 부호화 장치 및 방법 - Google Patents

Abstract

본 발명은 다시점 영상의 부호화 방법에 관한 것으로, 제1 간격으로 위치한 제1 카메라와 제2 카메라를 포함하는 다시점 영상의 부호화 방법에 있어서, 상기 제1 카메라로부터 N-1번째 영상과 N번째 영상이 입력되는 단계, 상기 제2 카메라로부터 N-1번째 영상과 N번째 영상이 입력되는 단계, 제1 예측 범위로 상기 제1 카메라의 N-1번째 영상의 제1 블록이 상기 제1 카메라의 N번째 영상에서 이동한 제1 움직임 벡터를 계산하는 단계, 상기 제1 간격에 따른 영상 좌표 보정 정보와 상기 제1 움직임 벡터를 이용하여 상기 제1 카메라의 제1 블록에 대응하는 상기 제2 카메라의 제 2블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 이동한 제2 움직임 벡터를 계산하는 단계, 상기 제2 움직임 벡터를 기준으로 상기 제1 예측 범위보다 작은 제2 예측 범위로 상기 제2 블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 실제 이동한 실제 움직임 벡터를 계산하는 단계를 포함한다.

Description

다시점 영상의 부호화 장치 및 방법{Apparatus and method for coding multi-view video}

본 발명은 다시점 영상의 부호화 장치 및 방법에 관한 것이다.

다시점 비디오 코딩(Multi-view Video Coding)은 복수의 카메라로부터 획득한 각 뷰의 영상 시퀀스들을 처리하는 것이다. 이들 복수의 카메라는 동일한 객체(object)에 대하여 거리 및/또는 대향 방향에 있어서 다소 차이가 있도록 배치된다.

종래에는 복수의 카메라를 통해서 획득한 다시점 영상들을 부호화하여 전송함으로써, 카메라 수의 증가에 비례하여 부호화하는 영상의 양이 증가하여 계산 복잡도가 높고, 전송 데이터 량이 많은 문제점이 있다.

본 발명은 계산 복잡도를 줄이고 전송 데이터 량을 줄일 수 있는 다시점 영상의 부호화 장치 및 방법을 제공한다.

본 발명의 한 특징에 따르면, 상기 제1 카메라로부터 N-1번째 영상과 N번째 영상을 입력 받아, 제1 예측범위로 상기 제1 카메라의 N-1번째 영상의 제1 블록이 상기 제1 카메라의 N번째 영상에서 이동한 제1 움직임 벡터를 계산하는 제1 움직임 예측부, 상기 제1 카메라와 제1 간격을 두고 위치하여 동일한 피사체를 촬영하는 제2 카메라로부터 N-1번째 영상과 N번째 영상을 입력 받아, 상기 제1 간격에 따른 영상 좌표 보정 정보와 상기 제1 움직임 벡터를 이용하여 상기 제1 카메라의 제1 블록에 대응하는 상기 제2 카메라의 제2 블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 이동한 제2 움직임 벡터를 계산하고, 상기 제2 움직임 벡터를 갖는 상기 제2 블록을 기준으로 상기 제1 예측 범위보다 작은 제2 예측 범위로 상기 제2 블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 실제 이동한 실제 움직임 벡터를 계산하는 제2 움직임 예측부를 포함하는 다시점 영상의 부호화 장치가 제공된다.

본 발명의 다른 특징에 따르면, 제1 간격으로 위치한 제1 카메라와 제2 카메라를 포함하는 다시점 영상의 부호화 방법이 제공된다. 이 방법은 상기 제1 카메라로부터 N-1번째 영상과 N번째 영상이 입력되는 단계, 상기 제2 카메라로부터 N-1번째 영상과 N번째 영상이 입력되는 단계, 제1 예측 범위로 상기 제1 카메라의 N-1번째 영상의 제1 블록이 상기 제1 카메라의 N번째 영상에서 이동한 제1 움직임 벡터를 계산하는 단계, 상기 제1 간격에 따른 영상 좌표 보정 정보와 상기 제1 움직임 벡터를 이용하여 상기 제1 카메라의 제1 블록에 대응하는 상기 제2 카메라의 제 2블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 이동한 제2 움직임 벡터를 계산하는 단계, 상기 제2 움직임 벡터를 기준으로 상기 제1 예측 범위보다 작은 제2 예측 범위로 상기 제2 블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 실제 이동한 실제 움직임 벡터를 계산하는 단계를 포함한다.

본 발명의 실시 예에서 제2 카메라 영상의 움직임을 예측하는 제2 움직임 예측부는 제1 움직임 예측부에 비해 상대적으로 작은 예측 범위로 기준 블록의 실제 움직임 벡터를 계산함으로써, 계산 복잡도(계산 부하)를 줄일 수 있다.

또한 본 발명의 실시 예에서 제2 카메라의 영상을 압축하는 제2 압축부는 제1 카메라의 제1 움직임 벡터와 제2 카메라의 실제 움직임 벡터 값만을 압축하여 전송함으로써, 영상 전체를 압축하여 출력하는 종래에 비해 전송 비트 수(전송 데이터량)를 줄여 전송 효율을 향상시킬 수 있다.

도 1은 본 발명의 실시 예에 따른 다시점 영상의 부호화 장치의 개략적인 구성도이다.
도 2는 제1 카메라와 제2 카메라에 의해 촬영된 영상의 예시도이다.
도 3은 본 발명의 실시 예에 따른 다시점 영상의 부호화 방법을 나타내는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이제 본 발명의 실시 예에 따른 다시점 영상의 부호화 장치 및 방법에 대하여 도면을 참고하여 상세하게 설명하고, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기도 한다.

도 1은 본 발명의 실시 예에 따른 다시점 영상의 부호화 장치의 개략적은 구성도이고, 도 2는 제1 카메라와 제2 카메라에 의해 촬영된 영상의 예시도이고, 도 3은 본 발명의 실시 예에 따른 다시점 영상의 부호화 방법을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 다시점 영상의 부호화 장치는 제1 카메라(10), 제2 카메라(20), 제1 움직임 예측부(30), 제2 움직임 예측부(40), 제1 압축부(50) 및 제2 압축부(60)를 포함한다.

도 2에 도시된 바와 같이, 제1 카메라(10)와 제2 카메라는 제1 간격(d)을 두고 위치하여 동일한 피사체를 촬영한다.

제1 카메라(10)와 제2 카메라(20)는 제1 간격(d)을 두고 위치하기 때문에, 동일한 피사체를 촬영하더라도 제1 카메라(10)의 피사체가 화면에서 오른쪽에 위치한다면 제2 카메라(20)의 피사체는 화면에서 왼쪽에 위치하게 된다. 이와 같이, 제1 카메라(10)와 제2 카메라(20)의 제1 간격(d)로부터 영상 좌표 보정 정보(θ)를 계산할 수 있다. 일반적으로, 다시점 영상의 부호화 장치에서는 제1 카메라(10)와 제2 카메라(20) 사이의 제1 간격(d)은 고정된 간격으로, 제1 간격(d)에 따른 영상 좌표 보정 정보는 미리 설정된 값이다.

제1 카메라(10)는 N-1 번째 영상 및 N번째 영상을 촬영하여 제1 움직임 예측부(30)로 출력하고, 제2 카메라(20)는 N-1번째 영상 및 N번째 영상을 촬영하여 제2 움직임 예측부(40)로 출력한다.

제1 움직임 예측부(30)는 제1 카메라(10)로부터 N-1번째 영상과 N번째 영상을 입력 받고, 제2 움직임 예측부(40)는 제2 카메라(20)로부터 N-1번째 영상과 N번째 영상을 입력 받는다.

도 2에 도시된 바와 같이, 제1 움직임 예측부(30)는 N-1번째 영상을 M개의 블록으로 나누고 M개의 블록 중 어느 하나의 블록을 제1 기준 블록(1)으로 설정하고, 제2 움직임 예측부(30)는 N-1번째 영상을 M개의 블록으로 제1 기준 블록(1)과 동일한 영상을 갖는 제2 기준 블록(2)을 설정한다. 이때, 제2 기준 블록(2)은 M개의 블록과 일치할 수도 있고 일치하지 않을 수도 있다.

도 3a 및 도 3b에 도시된 바와 같이, 제1 움직임 예측부(30)는 제1 예측 범위(R1)(R×R)로 N-1번째 영상의 제1 기준 블록(1)이 N번째 영상에서 이동한 제1 움직임 벡터(10,0)를 계산한다. 이때, 제1 예측 범위(R1)은 제1 움직임 예측부(30)에 미리 설정된 범위이다.

그리고, 제1 움직임 예측부(30)는 제1 움직임 벡터(10,0)를 제2 움직임 예측부(40)로 출력한다.

도 3c에 도시된 바와 같이, 제2 움직임 예측부(40)는 제1 카메라(10)와 제2 카메라(20)의 제1 간격(d)에 따른 영상 좌표 보정 정보와 제1 움직임 벡터를 이용하여 제2 기준 블록(2)이 N-1번째 영상에서 N번째 영상 사이에 이동한 제2 움직임 벡터(9,0)을 계산한다.

도 3d 및 도 3e에 도시된 바와 같이, 제2 움직임 예측부(40)는 제2 예측 범위(R2)(R/2×R/2)로 제2 움직임 벡터를 갖는 제2 기준 블록(2)을 기준으로 N-1번째 영상과 N번째 영상 사이에서 실제 이동한 실제 움직임 벡터(8,0)를 계산한다.

본 발명에서는 설명의 편의상 제2 예측 범위(R2)가 제1 예측 범위(R1)의 1/4 인 것으로 도시하였으나, 제2 예측 범위(R2)는 제1 예측 범위(R1)에 비해 작은 범위로 제1 예측 범위(R1)의 50% 미만으로 설정되는 것이 가장 바람직하다.

이와 같이, 본 발명에서 제2 움직임 예측부(40)는 제1 움직임 예측부(30)에 비해 상대적으로 작은 예측 범위로 기준 블록(2)의 실제 움직임 벡터를 계산함으로써, 계산 복잡도(계산 부하)를 줄일 수 있다.

제1 압축부(50)는 제1 움직임 예측부(30)의 후단에 연결되어, 제1 카메라(10)의 N-1번째 영상과 N번째 영상을 압축하여 출력한다.

제2 압축부(50)는 제2 움직임 예측부(40)의 후단에 연결되어, 제1 움직임 벡터(10,0)와 실제 움직임 벡터(8, 0)를 압축하여 출력한다.

이때, 제2 압축부(50)는 제1 움직임 벡터(10,0)와 실제 움직임 벡터(8,0)의 차분(2,0)을 출력할 수도 있다.

이와 같이, 본 발명의 제2 압축부(50)는 제1 움직임 벡터와 실제 움직임 벡터 값을 압축하여 전송함으로써, 영상 전체를 압축하여 출력하는 종래에 비해 전송 비트 수(전송 데이터량)를 줄여 전송 효율을 향상시킬 수 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10: 제1 카메라
20: 제2 카메라
30: 제1 움직임 예측부
40: 제2 움직임 예측부
50: 제1 압축부
60: 제2 압축부

Claims (10)

1. 상기 제1 카메라로부터 N-1번째 영상과 N번째 영상을 입력 받아, 제1 예측범위로 상기 제1 카메라의 N-1번째 영상의 제1 블록이 상기 제1 카메라의 N번째 영상에서 이동한 제1 움직임 벡터를 계산하는 제1 움직임 예측부, 및
   상기 제1 카메라와 제1 간격을 두고 위치하여 동일한 피사체를 촬영하는 제2 카메라로부터 N-1번째 영상과 N번째 영상을 입력 받아, 상기 제1 간격에 따른 영상 좌표 보정 정보와 상기 제1 움직임 벡터를 이용하여 상기 제1 카메라의 제1 블록에 대응하는 상기 제2 카메라의 제2 블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 이동한 제2 움직임 벡터를 계산하고, 상기 제2 움직임 벡터를 갖는 상기 제2 블록을 기준으로 상기 제1 예측 범위보다 작은 제2 예측 범위로 상기 제2 블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 실제 이동한 실제 움직임 벡터를 계산하는 제2 움직임 예측부를 포함하는 다시점 영상의 부호화 장치.
2. 제1항에 있어서,
   상기 제1 움직임 예측부의 후단에 연결되어, 상기 제1 카메라의 N-1번째 영상 및 상기 제1 카메라의 N번째 영상을 압축하여 출력하는 제1 압축부, 및
   상기 제2 움직임 예측부의 후단에 연결되어, 상기 실제 움직임 벡터를 압축하여 출력하는 제2 압축부를 더 포함하는 다시점 영상의 부호화 장치.
3. 제1항에 있어서,
   상기 제1 움직임 예측부의 후단에 연결되어, 상기 제1 카메라의 N-1번째 영상 및 상기 제1 카메라의 N번째 영상을 압축하여 출력하는 제1 압축부, 및
   상기 제2 움직임 예측부의 후단에 연결되어, 상기 제1 움직임 벡터와 상기 실제 움직임 벡터의 차분을 압축하여 출력하는 제2 압축부를 더 포함하는 다시점 영상의 부호화 장치.
4. 삭제
5. 제1항에 있어서,
   상기 제2 움직임 예측부는 상기 제1 간격에 따른 영상 좌표 보정 정보 및 상기 제1 움직임 벡터를 이용하여 상기 제1 카메라의 N번째 영상의 제1 블록에 대응하는 상기 제2 카메라의 N번째 영상의 제2 블록을 예측하는 다시점 영상의 부호화 장치.
6. 제1 간격으로 위치한 제1 카메라와 제2 카메라를 포함하는 다시점 영상의 부호화 방법에 있어서,
   상기 제1 카메라로부터 N-1번째 영상과 N번째 영상이 입력되는 단계,
   상기 제2 카메라로부터 N-1번째 영상과 N번째 영상이 입력되는 단계,
   제1 예측 범위로 상기 제1 카메라의 N-1번째 영상의 제1 블록이 상기 제1 카메라의 N번째 영상에서 이동한 제1 움직임 벡터를 계산하는 단계,
   상기 제1 간격에 따른 영상 좌표 보정 정보와 상기 제1 움직임 벡터를 이용하여 상기 제1 카메라의 제1 블록에 대응하는 상기 제2 카메라의 제 2블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 이동한 제2 움직임 벡터를 계산하는 단계, 및
   상기 제2 움직임 벡터를 기준으로 상기 제1 예측 범위보다 작은 제2 예측 범위로 상기 제2 블록이 상기 제2 카메라의 N-1번째 영상과 상기 제2 카메라의 N번째 영상 사이에서 실제 이동한 실제 움직임 벡터를 계산하는 단계를 포함하는 다시점 영상의 부호화 방법.
7. 제6항에 있어서,
   상기 제1 카메라의 N-1번째 영상 및 상기 제1 카메라의 N번째 영상을 압축하여 출력하는 단계, 및
   상기 실제 움직임 벡터를 압축하여 출력하는 단계를 더 포함하는 다시점 영상의 부호화 방법.
8. 제6항에 있어서,
   상기 제1 카메라의 N-1번째 영상 및 상기 제1 카메라의 N번째 영상을 압축하여 출력하는 단계, 및
   상기 제1 움직임 벡터와 상기 실제 움직임 벡터의 차분을 압축하여 출력하는 단계를 더 포함하는 다시점 영상의 부호화 방법.
9. 삭제
10. 제6항에 있어서,
    상기 제2 움직임 예측부는 상기 제1 간격에 따른 영상 좌표 보정 정보 및 상기 제1 움직임 벡터를 이용하여 상기 제1 카메라의 N번째 영상의 제1 블록에 대응하는 상기 제2 카메라의 N번째 영상의 제2 블록을 예측하는 다시점 영상의 부호화 방법.

Images