KR101680882B1 - 초다시점 영상 배열 획득을 위한 카메라 배열방법 - Google Patents

Abstract

본 발명은 초다시점 영상 정보 획득을 위한 카메라 배열방법에 관한 것으로, 더욱 상세하게는 초다시점 영상 정보 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 조건을 만족하는 다수의 카메라를 배열하여 사용자의 시점에 대응하는 것이 특징인 초다시점 영상 정보 획득을 위한 카메라 배열방법에 관한 것이다.
따라서, 본 발명은 초다시점 영상 정보 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 카메라 배열을 이동시켜 획득함으로써 정확한 초다시점 영상 정보를 제공할 수 있다는 등이 현저한 효과가 있다.

Description

초다시점 영상 배열 획득을 위한 카메라 배열방법{Camera arrangement for recording super multi-view image array}

본 발명은 초다시점 영상 배열 획득을 위한 카메라 배열방법에 관한 것으로, 초다시점 영상 배열 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 조건을 만족하는 다수의 카메라를 배열하여 사용자의 시점에 대응하는 초다시점 영상 배열 획득을 위한 카메라 배열방법에 관한 것이다.

3차원 입체감을 제공하기 위한 다시점(Multi-View)영상은 두 대 이상의 카메라를 이용하여 촬영한다.

촬영된 영상은 다시점 디스플레이 장치를 통하여 시청자에게 3차원 영상으로 제공된다.

최근에는 다시점 영상뿐만 아니라 초다시점(Super Multi-View:SMV)영상에 대한 다양한 연구가 진행되고 있다.

즉, 초다시점 영상은 시청자의 동공에 2개 이상의 영상을 투영하여 보다 실감나는 3차원 영상을 제공하는 방법이다.

일반적으로 3차원 영상 획득 및 제공방법 관련기술에 대하여, 등록특허공보 등록번호 10-0897542호에는 서로 다른 카메라로부터 획득한 적어도 두 개의 영상에 대한 기본 행렬을 연산하는 단계(a); 상기 서로 다른 카메라로부터 획득한 적어도 두개의 영상에 대한 에피폴을 연산하는 단계(b); 적어도 두 개의 영상 중 하나를 기준 영상으로 설정하고, 상기 연산된 에피폴 및 기본 행렬 정보에 기초하여 다른 영상과 상기 기준 영상의 에피폴라 선을 평행하게 변환하는 다수의 투영 변환 호모그래피를 산출하는 단계(c); 상기 다수의 투영 변환 호모그래피 중 영상의 왜곡을 최소화하기 위한 투영 변환 호모그래피를 선택하는 단계(d); 및 상기 선택된 투영 변환 호모그래피에 기초하여 기준 영상 이외의 영상을 보정하는 단계(e)를 포함하되, 상기 단계(a)에서 카메라로부터 서로 다른 시점에서의 두 개의 영상이 획득될 경우, 제1 영상에 대한 에피폴(e) 및 제2 영상에 대한 에피폴(e')은 다음의 수학식에 연산되는 것을 특징으로 하는 임의 시점 영상 합성 시 영상 보정 방법이 공개되어 있다.

또한, 등록특허공보 등록번호 10-0677219호에는 입력되는 영상들을 이용하여 변위지도, 에지 결과값 및 피부색을 추출하는 제1검출부와, 상기 제1검출부에서 추출된 피부색의 픽셀들에서 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 추출하는 제2검출부와, 상기 제1검출부에서 추출된 에지 결과값에 상기 제2검출부에서 추출된 중심후보 좌표(Xi, Yi) 및 얼굴크기 값을 적용하여 얼굴모양 정도값을 추출하는 제3검출부와, 상기 제3검출부에서 추출된 얼굴모양 및 그 중심 좌표값을 저장하여 얼굴을 추출하는 얼굴영역 추출부로 구성된 것을 특징으로 하는 얼굴영상 추출장치가 공개되어 있다.

그러나 상기 종래기술들은 3차원 영상 배열 획득 시, 사용자가 바라보는 시점과 동일하게 스테레오 카메라를 이용하여 획득하지 않음으로써 정확한 3차원 영상 획득이 곤란하다는 단점이 있었다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 초다시점 조건을 만족하는 카메라를 배열함으로써 사용자가 바라보는 시점과 동일한 초다시점 영상 배열을 제공하는 데 그 목적이 있다.

초다시점 영상 배열 획득을 위한 카메라 배열방법은 초다시점 영상 배열 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 조건을 만족하는 다수의 카메라를 배열하여 사용자의 시점에 대응하는 것이 특징이다.

따라서, 본 발명은 초다시점 영상 배열 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 카메라 배열을 이동시켜 획득함으로써 정확한 초다시점 영상 배열을 제공할 수 있다는 등이 현저한 효과가 있다.

도 1은 종래의 각 시점에 대응하는 영상을 획득하기 위한 카메라 배열을 나타낸 개요도.
도 2는 초다시점 조건을 나타낸 개요도.
도 3은 초다시점 콘텐츠 생성시스템을 나타낸 개념도.
도 4는 초다시점에 대응하는 영상을 획득하기 위한 카메라 배열을 나타낸 개요도.
도 5는 초다시점에 대응하는 영상을 획득하기 위한 카메라 배열의 또 다른 실시를 나타낸 개요도.

본 발명은 초다시점 영상 배열 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 조건을 만족하는 다수의 카메라를 배열하여 사용자의 시점에 대응하는 초다시점 영상 배열 획득을 위한 카메라 배열방법이다.

그리고 상기 초다시점 조건을 만족하는 다수의 카메라는 모여서 하나의 그룹으로 이루어지며, 상기와 같이 다수의 카메라가 모인 그룹이 다수 개가 존재하되, 서로 일정간격 이격된 거리에 배열되어 있는 것으로, 상기 그룹 내의 각각의 카메라는 물체로부터 동일한 거리에 위치한 수직면 상에 위치하고 있으며, 그룹 내에 위치한 다수의 카메라 중 가장 먼 거리에 서로 이격되어 위치한 두 개의 카메라 렌즈 간의 간격이 인체의 동공사이즈 간격만큼 유지하도록 배열되는 것이다.

본 발명 초다시점 영상 배열 획득을 위한 카메라 배열방법을 첨부한 도면에 의해 상세히 설명하면 다음과 같다.

도 1은 종래의 각 시점에 대응하는 영상을 획득하기 위한 카메라 배열을 나타낸 개요도이다.

예를 들어, 350시점의 초다시점 콘텐츠를 제작하기 위해서는 도 1에 도시된 바와 같이 각 시점에 대응하는 영상을 카메라로 획득해야 한다.

이때, 종래에는 각 시점에 대응하는 영상을 미리 배열되어 고정된 카메라 배열을 이용하여 획득하였다.

도 2는 초다시점 조건을 나타낸 개요도로서, 도 2의 (a)는 한쪽 눈의 동공에 둘 이상의 영상이 투영되는 것을 나타낸 것이며, 도 2의 (b)는 각 시점에 대하여 두 개 이상의 영상만 필요하다.

초다시점이란 관측자 동공(눈)에 2개 이상의 다시점 영상을 표시하는 경우를 가리키며, 이때의 조건을 초다시점 조건이라 한다.

즉, 초다시점 재생 영상의 조건은 디스플레이 디바이스가 한쪽 눈의 동공에 둘 이상의 영상이 투영되면 된다.

이 말은 미리 획득한 많은 양의 시점 대응 영상 중 한눈에 대하여 최소 두 개의 영상만 사용되면 된다는 것으로 생각할 수 있다.

따라서, 관측자의 위치가 고정되어 있을 경우 초다시점 영상 콘텐츠 재생을 위해서 한쪽 눈에 대하여 두 개 이상의 영상만 획득하면 된다.

도 3은 초다시점 콘텐츠 생성시스템을 나타낸 개념도이다.

도 3에 도시된 바와 같이 초다시점 영상 배열 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 조건을 만족하는 다수의 카메라를 배열하여 사용자의 시점에 대응하는 초다시점 영상 배열을 획득하게 된다.

이에, 도 3에 대해 보다 자세히 실시 예를 설명하면 다음과 같다.

먼저, 키넥트를 이용하여 사용자의 얼굴인식을 한다.

이때 얼굴 인식 시, 얼굴의 이동 및 좌우 회전 정보를 분석한다.

이후 얼굴의 중심좌표 값을 통신을 이용하여 초다시점 카메라 시스템으로 전송하며, 전송받은 좌표로 초다시점 카메라 배열을 이동 및 회전한다.

그리고 초다시점 카메라 배열을 이용하여 초다시점 영상 배열을 획득한다.

이후 통신을 이용하여 획득된 3차원 영상 데이터를 전송한다.

전송받은 3차원 영상데이터를 이용하여 초다시점 3D 모니터에 재현하며, 이후 재현된 3차원 영상을 시청자가 확인하게 된다.

초다시점 카메라 배열은 초다시점 조건을 만족하는 영상 배열을 획득하도록 설치된 카메라 배열을 일컫는다.

한편, 도 4는 초다시점 시점에 대응하는 영상을 획득하기 위한 카메라 배열을 나타낸 개요도로서, 도 4의 (a)는 물체를 바라보는 카메라의 상부에서 본 카메라의 배열상태이며, 도 4의 (b)는 물체를 바라보는 카메라의 정면에서 본 카메라의 배열상태를 나타낸 것이다.

도 4에 도시된 바와 같이 초다시점 콘텐츠를 만족시킬 수 있는 카메라 배열 구조는 다수의 카메라가 한 무리의 그룹을 이루며, 그리고 그룹은 다시 다수개의 그룹이 서로 일정간격을 두고 이격되도록 배열되어 있다.

그리고 그룹 내에 위치한 다수의 카메라는 수직면 상에서 카메라의 렌즈가 서로 겹치지 않도록 배열하되, 카메라 렌즈의 중심 간의 거리는 4.5∼5.5mm정도 이격되도록 배치된다.

또한, 그룹 간의 가장 먼 거리에 위치한 카메라 렌즈의 중심 간의 간격은 각 60∼70mm정도의 간격이 되도록 배치한다.

이는 일반인의 동공크기가 대략 4.5∼5.5mm 정도이며, 양 눈의 간격이 대략 60∼70mm정도 이기 때문이다.

즉, 한 눈의 동공 크기라 생각하는 직경 4.5∼5.5mm 내에 2대 이상의 카메라를 배치하며, 다수의 카메라가 이루는 카메라그룹 간의 간격은 양안의 간격인 60∼70mm로 설정한 것이다.

카메라그룹 간의 간격은 일반인의 평균을 간주한 것으로, 평균을 벗어난 범위의 일반인에 대해 거리조정이 가능하다.

도 5는 초다시점 시점에 대응하는 영상을 획득하기 위한 카메라 배열의 또 다른 실시를 나타낸 개요도로서, 도 5의 (a)는 물체를 바라보는 카메라의 상부에서 본 카메라의 배열상태이며, 도 5의 (b)는 물체를 바라보는 카메라의 정면에서 본 카메라의 배열상태를 나타낸 것이다.

즉, 도 5에 도시된 바와 같이 카메라는 카메라 렌즈가 서로 겹치지 않는 상태에서는 어떠한 형태로도 배열될 수 있다.

단, 카메라 렌즈의 수직면은 물체로부터 동일한 거리에 위치한 수직면 상에 위치하고 있어야 하며, 그룹 내에 위치한 다수의 카메라에서 가장 먼 거리에 위치한 카메라 렌즈 간의 간격은 4.5∼5.5mm의 간격을 유지하여야 하며, 카메라그룹 간의 간격도 가장 먼 거리에 위치한 카메라의 위치가 60∼70mm 내에 위치하고 있어야 한다.

따라서, 본 발명은 초다시점 영상 배열 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 카메라 배열을 이동시켜 획득함으로써 정확한 초다시점 영상 정보를 제공할 수 있다는 등이 현저한 효과가 있다.

Claims (2)

1. 초다시점 영상 배열 획득시, 사용자의 시점을 감지하고, 사용자가 바라보는 시점과 동일하게 초다시점 조건을 만족하는 다수의 카메라를 배열하여 사용자의 시점에 대응하는 초다시점 영상 배열 획득을 위한 카메라 배열방법에 있어서,
   상기 초다시점 조건을 만족하는 카메라는 다수 개가 모여서 하나의 그룹으로 이루어지며, 상기와 같이 다수의 카메라가 모인 그룹이 다수 개가 존재하되, 서로 일정간격 이격된 거리에 배열되어 있는 것으로, 상기 그룹 내의 각각의 카메라는 물체로부터 동일한 거리에 위치한 수직면 상에 위치하고 있으며, 그룹 내에 위치한 다수의 카메라 중 가장 먼 거리에 서로 이격되어 위치한 두 개의 카메라 렌즈 간의 간격이 인체의 동공사이즈 간격만큼 유지하도록 배열되는 것이고,
   그룹 내에 위치한 다수의 카메라는 수직면 상에서 카메라의 렌즈가 서로 겹치지 않도록 배열하되, 그룹 내에 위치한 다수의 카메라 중 가장 먼 거리에 위치한 카메라 렌즈의 중심 간의 거리는 동공크기에 해당하도록 4.5∼5.5mm정도 이격되도록 배치되며,
   그룹 간의 가장 먼 거리에 위치한 카메라 렌즈의 중심 간의 간격은 각 양안의 간격에 해당하도록 60∼70mm정도의 간격이 되도록 배치하여,
   키넥트를 이용하여 사용자의 얼굴인식을 하는 1단계; 얼굴 인식 시, 얼굴의 이동 및 좌우 회전 정보를 분석하는 2단계; 이후 얼굴의 중심좌표 값을 통신을 이용하여 초다시점 카메라 시스템으로 전송하는 3단계; 전송받은 좌표로 초다시점 카메라 배열을 이동 및 회전하는 4단계; 초다시점 카메라 배열을 이용하여 초다시점 영상 배열을 획득하는 5단계;에 의해 초다시점 영상 배열을 획득하는 것이 특징인 초다시점 영상 배열 획득을 위한 카메라 배열방법.
   
2. 삭제

Images