KR20090090983A - 복수의 카메라 영상을 이용한 공간좌표 추출방법 - Google Patents

Abstract

본 발명은 복수의 카메라를 이용하여 물체의 영상을 다른 각도에서 획득하고, 획득한 영상 데이터들을 영상처리 하여 특정의 목표물을 분류한 후, 목표물의 경계를 검출하는 복수의 카메라 영상을 이용한 공간좌표 추출방법에 관한 것으로, 복수의 카메라가 물체의 영상 데이터를 획득하는 단계, 획득한 영상 데이터에서 목표물 영상 데이터만 추출하는 단계, 목표물 영상 데이터에서 경계 영상 데이터를 추출하는 단계, 경계 영상 데이터에서 목표물 영상 데이터의 특정부위 위치좌표를 추출하는 단계, 추출된 목표물 영상 데이터의 특정부위 위치좌표에 스테레오 사진측량법의 삼각측량을 적용하여 공간상의 3차원 좌표를 추출하는 단계를 포함한다.

본 발명에 따르면, 물체의 채도를 이용하여 목표물을 선택적으로 획득하고, 선택된 목표물의 경계를 추출하여 곡률 연산을 적용함으로써 목표물의 특정부위 획득하며, 획득된 특정부위에 영상 간의 차를 이용한 삼각측량을 적용하여 정밀한 공간 좌표를 확보함으로써 컴퓨터의 마우스 입력을 무선제어 할 수 있도록 하는 복수의 카메라 영상을 이용한 공간좌표 추출방법을 제공할 수 있다.

복수 카메라, 변이(disparity), 3차원, 원격제어

Description

복수의 카메라 영상을 이용한 공간좌표 추출방법{Method for Extracting Spacial Coordimates Using Multiple Cameras Image}

본 발명은 복수의 카메라 영상을 이용한 공간좌표 추출방법에 관한 것으로, 상세하게는 복수의 카메라를 이용하여 물체의 영상을 각각 다른 각도에서 획득하고, 획득한 영상 데이터들을 각각 영상처리 하여 특정의 목표물을 분류한 후, 목표물의 경계를 검출하는 복수의 카메라 영상을 이용한 공간좌표 추출방법에 관한 것이다.

종래 3차원 영상 좌표 추출 방법으로서, 대한민국 등록특허공보 등록번호 제10-0446236호 "비접촉식 3차원 무선 조이스틱"이 있다. 이는 두 대의 컴퓨터용 카메라를 이용하여 특별한 조이스틱을 이루는 기구 없이, 손동작의 영상을 카메라가 읽어들여 방향을 인식함으로써 x, y, z의 입체적인 방향조절을 가능하게 한다.

그리고, 종래의 유선 조이스틱과 다르게 무선으로 조이스틱의 기능을 할 수 있으며, 입체적 방향조절로 인하여 더 많은 제어명령을 가질 수 있고, 컴퓨터에 설치된 카메라를 이용하여 조이스틱의 기능 이외에 입체 영상처리 기능 외에 그 기능을 확대할 수 있는 비접촉식 3차원 무선 조이스틱을 제공하고 있다.

하지만, 상술한 종래 3차원 영상 좌표 추출 방법은 목표물에 대하여 서로 다른 영상 간에 시간차 또는 휘도차를 이용하므로, 동일 피사체가 유사 화소 값을 가지는 특징으로 인하여 목표물에 대한 정밀한 좌표의 추출은 한계가 있었다.

더구나, 유사 화소 값을 갖는 피사체의 특정부위의 추출은 불가능하여 정밀한 제어에 활용될 수 없는 문제점이 있었다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 물체의 채도를 이용하여 목표물을 선택적으로 획득하고, 선택된 목표물의 경계를 추출하여 곡률 연산을 적용함으로써 목표물의 특정부위 획득하며, 획득된 특정부위에 영상 간의 차를 이용한 삼각측량을 적용하여 정밀한 공간 좌표를 확보함으로써 컴퓨터의 마우스 입력을 무선제어 할 수 있도록 하는 복수의 카메라 영상을 이용한 공간좌표 추출방법을 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 복수의 카메라 영상을 이용한 공간좌표 추출방법은, 복수의 카메라 영상을 이용한 공간좌표 추출방법에 있어서, 적어도 두 대의 카메라에서 물체의 영상 데이터를 획득하는 제1단계, 제1단계에서 획득한 영상 데이터에서 목표물 영상 데이터만 추출하는 제2단계, 제2단계에서의 목표물 영상 데이터에서 경계 영상 데이터를 추출하는 제3단계, 제3단계에서 추출된 경계 영상 데이터에서의 특정부위로서 꼭짓점과 함몰점의 위치좌표를 추출하는 제4단계 및 제4단계에서의 추출된 꼭짓점 및 함몰점의 위치좌표에 삼각측량을 적용하여 공간상의 3차원 위치좌표를 추출하는 제5단계를 포함하는 복수의 카메라 영상을 이용한 공간좌표 추출방법을 제공한다.

제4단계에서, 꼭짓점과 함몰점의 위치좌표를 추출하는 단계는, 경계로 검출 된 점 C_i와 점 C_{i -1}을 잇는 제1직선과 점 C_i와 점 C_{i +1}을 잇는 제2직선 사이의 사이각이 소정의 사용자 정의 상수 값보다 작으면 꼭짓점, 사이각이 소정의 사용자 정의 상수 값보다 크면 함몰점으로 추출되는 단계를 포함할 수 있다.

제4단계에서 추출된 꼭짓점의 좌표는, 마우스 커서 위치에 해당할 수 있다.

제5단계에서, 공간상의 3차원 위치좌표 X, Y 및 Z를 추출하는 단계는,

,

,

로 계산되는 단계(여기서, B는 카메라 간의 거리, s는 카메라 한 픽셀의 사이즈, f는 카메라와 카메라 초점까지의 거리, x₁, y₁는 첫 번째 카메라에 목표물의 영상이 맺힌 화소 위치, x₂, y₂는 두 번째 카메라에 목표물의 영상이 맺힌 화소 위치)를 포함할 수 있다.

상술한 바와 같이 본 발명에 따르면, 물체의 채도를 이용하여 목표물을 선택적으로 획득하고, 선택된 목표물의 경계를 추출하여 곡률 연산을 적용함으로써 목표물의 특정부위 획득하며, 획득된 특정부위에 영상 간의 차를 이용한 삼각측량을 적용하여 정밀한 공간 좌표를 확보함으로써 컴퓨터의 마우스 입력을 무선제어 할 수 있도록 하는 복수의 카메라 영상을 이용한 공간좌표 추출방법을 제공할 수 있다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 복수의 카메라 영상을 이용한 공간좌표 추출방법을 나타내는 플로우차트, 도 2는 본 발명의 일실시예에 따른 복수의 카메라가 목표물을 감지하는 상태를 나타내는 예시도, 도 3은 본 발명의 일실시예에 따른 카메라가 획득한 영상으로부터 목표물을 추출한 영상을 나타내는 예시도, 도 4는 본 발명의 일실시예에 따른 목표물을 추출한 영상 중 경계를 추출하는 영상을 나타내는 예시도, 도 5는 본 발명의 일실시예에 따른 목표물의 경계를 추출한 영상 중 목표물의 특정부위를 감지한 영상을 나타내는 예시도, 도 6은 본 발명의 일실시예에 따른 목표물의 경계를 추출한 영상 중 중 목표물의 특정부위를 다수 감지한 영상을 나타내는 예시도, 도 7은 본 발명의 일실시예에 따른 목표물의 경계를 추출하는 방법을 나타내는 플로우차트, 도 8은 본 발명의 일실시예에 따른 곡률 연산 방법을 나타내는 예시도, 도 9는 본 발명의 일실시예에 따른 영상 간의 오차를 감지하는 영상을 나타내는 예시도, 도 10은 본 발명의 일실시예에 따른 에피폴라 기하학이 적용되는 상태를 나타내는 예시도, 도 11은 본 발명의 일실시예에 따른 영상 간의 오차를 이용하여 삼각 좌표측량이 적용되는 상태를 나타내는 예시도이다.

도 1 및 도 2를 참고하면, 먼저, 복수의 카메라(110)를 이용하여 목표물의 영상(140)을 감지한다(단계 S110).

여기서, 복수의 카메라(110)는 영상(140)을 감지할 수 있으며, 복수의 카메라(110)는 동일한 목표물에 대한 영상(140)을 각각 다른 각도에서 획득한다.

따라서, 영상(140)은 복수의 카메라(110)에 의해 감지된 목표물을 포함한다.

또한, 일반적인 컴퓨터용 웹캠 카메라 2대 이상을 이용하여 목표물의 영상(140)을 감지할 수도 있다.

그 다음, 도 3을 참고하면, 상기 감지한 목표물을 포함한 영상(140) 데이터에서 본 분야에서 관용적으로 이용되는 영상처리 방법인 물체의 채도를 이용하여 목표물만 추출한다(단계 S120).

그 다음, 도 4를 참고하면, 상기 목표물만 추출한 영상(140) 데이터에서 윤곽선(Contour)을 적용하여 목표물의 경계를 추출한다(단계 S130). 목표물의 경계를 추출하는 과정은 도 7을 참고한다.

그 다음, 도 5를 참고하면, 상기 목표물의 경계를 추출한 영상(140) 데이터에서 곡률(Curvature)을 적용하여 목표물의 특정부위(300)를 추출한다(단계 S140).

도 8을 참고하면, C_{i -1}, C_i, C_{i +1} 은 경계로 검출된 임의의 점이고, 점 C_{i -1}과 C_i를 잇는 제1직선(L1)과 점C_i와 C_{i + 1}를 잇는 제2직선(L2)을 통하여 다음과 같은 수학식 1에 의해 곡률을 연산할 수 있다.

: 꼭짓점

: 함몰점

여기서, θ는 L1과 L2의 두 직선이 교차되는 지점의 사이각을 의미하며, 사용자가 임의로 지정한 상수 값인 K 와 비교하여 θ가 작거나 같으면 목표물에서 돌출된 부위의 꼭짓점(400)으로 획득되고, K 보다 θ가 크면 목표물에서 함몰된 부위의 함몰점(500)으로 획득된다.

예를 들어, K를 30으로 지정하고, θ값이 1도 내지 30도 이하이면 두 직선이 교차되는 지점은 꼭짓점으로 획득되며, θ값이 31도 내지 360도 이하이면 두 지점이 교차되는 지점은 함몰점으로 획득되는 것이다.

그리하여, 도 6을 참고하면, 곡률을 이용하여 손에서의 꼭짓점(400)과 함몰점(500)으로 구분된 특정부위를 다수로 획득할 수 있다. 꼭짓점(400)으로 획득된 특정부위 좌표는 사용자가 원하는 동작을 수행되도록 하는 좌표값이 되고, 함몰점(500)은 영상 내의 각 꼭짓점(400)이 어떤 손가락이며, 각 손가락 꼭짓점(400)의 위치와 함몰점(500)의 위치를 비교하여 손이 어떠한 동작을 취하고 있는지 알 수 있도록 한다.

어떤 손가락인지 구분하는 방법은 먼저 꼭짓점(400)과 함몰점(500)의 위치를 서로 비교하여 함몰점(500)을 사이에 둔 각 꼭짓점(400)들의 순서를 파악할 수 있다. 따라서, 손의 동작을 파악하는 방법은 각각의 꼭짓점(400)과 함몰점(500)의 거리를 비교하여 손가락의 모양이 펴진 상태인지 구부러진 상태인지를 파악할 수 있 는 것이다.

그 다음, 도 9를 참고하면, 목표물의 동일한 특정부위가 각각 다른 각도의 복수 카메라에 의해 영상 간의 오차가 발생하는 것을 알 수 있다.

그 다음, 도 10을 참고하면, 에피폴라(Epipolar) 선에 근접한 이미지 1, 2에서 획득된 상기 목표물 특정부위의 영상 간의 차를 추출하고, 복수 카메라(110)의 내부 및 외부 파라미터를 연산한다.

그 다음, 도 11을 참고하면, 상기 각각의 영상(140) 데이터에서 사진측량법의 삼각측량을 적용하여 추출된 목표물의 공간상의 3차원 위치좌표를 추출한다(단계 S150).

즉, 상기 추출된 목표물인 손의 위치좌표는 스테레오 사진측량법의 삼각측량을 적용하여 변이(Disparity) 영상(140)의 깊이 값을 포함하는 공간상의 3차원 좌표로 변환하여, 상기 변환된 깊이 값을 획득하여 추출될 수 있는 것이다.

스테레오 사진측량법의 삼각측량에 의한 깊이 값은 다음과 같은 수학식 2가 적용된다.

여기서, 복수의 카메라 중 첫 번째 스테레오 카메라(110)의 위치를 O₁, 두 번째 스테레오 카메라(110)의 위치를 O₂라 한다. 첫 번째 카메라(110)에 의해 영상(140)이 맺히는 부분의 좌표를 P₁(x₁, y₁)이라 하고, 두 번째 카메라(110)에 의해 영상(140)이 맺히는 부분의 좌표를 P₂(x₂, y₂)라 한다.

여기서, B는 첫 번째 카메라(110)와 두 번째 카메라(110) 간의 거리를 나타내고, f는 첫 번째 카메라(110)와 두 번째 카메라(110)의 초점까지의 거리를 나타내며, S는 카메라(110)의 픽셀의 사이즈를 나타낸다.

그리고, 상기 영상(140)이 맺히는 부분의 2차원 좌표인 P₁, P₂를 이용해서 상기 수학식 2에 대입하면 공간상의 목표물의 3차원 좌표 중 깊이 값인 Z를 구할 수 있다.

즉, 스테레오 사진측량법의 삼각측량을 적용하여 2차원 좌표인 P₁, P₂를 통하여 실세계(Real World) 영상의 3차원 위치좌표인 X, Y, Z를 구할 수 있는 것이다.

아울러, 동일 영상(140)에 대하여 각각 다른 각도에서 촬영된 2차원 이미지 2장을 이용하여 3차원 좌표를 추출할 수도 있다.

또한, 종래 복수 카메라(110)의 기술은 목표물에 포함되는 좌표 중 임의의 좌표만을 획득했는데, 본 발명에 따른 복수의 카메라(110)를 이용하여 목표물의 특정부위의 3차원 좌표를 추출하면, 원격제어에 있어서 정밀한 제어가 발생한다.

도 12는 본 발명의 일실시예에 따른 복수의 카메라를 이용한 3차원 좌표 추출 장비를 나타내는 블록도이다.

그래서, 상기 추출된 목표물의 특정부위 좌표를 사용자의 컴퓨터(120)의 운영 체제(124)에 제공한다. 운영 체제(124)는 마우스 커서(Cursor; 130)를 위치시키기 위하여 공간상의 목표물의 3차원 위치좌표 중 꼭짓점(400)의 위치좌표에 마우스 커서(130)를 위치시킨다.

따라서, 추출된 3차원 좌표 중 꼭짓점(400)은 마우스 커서(130)의 위치에 해당되는 것이다.

마우스 커서(130)는 마우스를 원격 제어할 수 있는 마우스 상호작용의 기능을 가지며, 다수 검출된 꼭짓점(400)과 함몰점(500)을 이용하여 사용자가 다양한 제어방법을 정의하여 사용할 수 있다.

예를 들어, 사용자 컴퓨터(120)는 3차원 위치좌표 중에서 임의로 설정된 특정 깊이의 Z좌표를 꼭짓점(400)이 한 번 통과하게 되면 마우스 왼쪽 버튼을 클릭한 것으로 인식하도록 할 수 있으며, 두 번 통과하게 되면 마우스 왼쪽 버튼을 더블 클릭한 것으로 인식하도록 할 수 있다.

그리고, 사용자 컴퓨터(120)는 특정 깊이의 Z좌표에서 꼭짓점(400)이 일정시간 정지하게 되면 마우스 오른쪽 버튼을 클릭한 것으로 인식하도록 할 수 있다.

즉, 사용자 컴퓨터(120)는 목표물에서 꼭짓점(400)의 움직임을 마우스 커서(130)로 인식함으로써, 마우스를 무선으로 원격에서 제어할 수 하는 것이다.

또한, Z좌표를 하나의 특정 좌표가 아닌 특정 범위의 구간을 설정하여 그 구간 내로 꼭짓점(400)이 통과하면 마우스 버튼을 클릭한 것으로 인식하도록 할 수 있다.

예를 들어, 카메라(110)로부터 사용자(미도시)가 50센티미터 떨어져 있고, 카메라(110)로부터 20센티미터 내지 30센티미터 떨어진 지점을 Z좌표 범위로 정했다면, 사용자 손가락의 꼭짓점(400)이 카메라(110)로부터 20센티미터 내지 30센티미터 구간을 통과하였을 때 마우스 버튼을 클릭한 것으로 인식하도록 할 수 있다.

아울러, 이러한 Z좌표의 범위는 주변 상황에 따라서 변동될 수 있다.

이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 복수의 카메라 영상을 이용한 공간좌표 추출방법을 나타내는 플로우차트,

도 2는 본 발명의 일실시예에 따른 복수의 카메라가 목표물을 감지하는 상태를 나타내는 예시도,

도 3은 본 발명의 일실시예에 따른 카메라가 획득한 영상으로부터 목표물을 추출한 영상을 나타내는 예시도,

도 4는 본 발명의 일실시예에 따른 목표물을 추출한 영상 중 경계를 추출하는 영상을 나타내는 예시도,

도 5는 본 발명의 일실시예에 따른 목표물의 경계를 추출한 영상 중 목표물의 특정부위를 감지한 영상을 나타내는 예시도,

도 6은 본 발명의 일실시예에 따른 목표물의 경계를 추출한 영상 중 중 목표물의 특정부위를 다수 감지한 영상을 나타내는 예시도,

도 7은 본 발명의 일실시예에 따른 목표물의 경계를 추출하는 방법을 나타내는 플로우차트,

도 8은 본 발명의 일실시예에 따른 곡률 연산 방법을 나타내는 예시도,

도 9는 본 발명의 일실시예에 따른 영상 간의 오차를 감지하는 영상을 나타내는 예시도,

도 10은 본 발명의 일실시예에 따른 에피폴라 기하학이 적용되는 상태를 나타내는 예시도,

도 11은 본 발명의 일실시예에 따른 영상 간의 오차를 이용하여 삼각 좌표측량이 적용되는 상태를 나타내는 예시도,

도 12는 본 발명의 일실시예에 따른 복수의 카메라를 이용한 3차원 좌표 추출 장비를 나타내는 블록도.

<도면의 주요 부분에 대한 부호의 설명>

110: 스테레오 카메라 120: 사용자 컴퓨터

122: 영상처리 프로그램 124: 운영 체제

130: 마우스 커서 140: 영상

150: 무선 리모컨

Claims (4)

1. 복수의 카메라 영상을 이용한 공간좌표 추출방법에 있어서,

   적어도 두 대의 카메라에서 물체의 영상 데이터를 획득하는 제1단계;

   제1단계에서 획득한 영상 데이터에서 목표물 영상 데이터만 추출하는 제2단계;

   제2단계에서의 목표물 영상 데이터에서 경계 영상 데이터를 추출하는 제3단계;

   제3단계에서 추출된 경계 영상 데이터에서의 특정부위로서 꼭짓점과 함몰점의 위치좌표를 추출하는 제4단계; 및

   제4단계에서의 추출된 꼭짓점 및 함몰점의 위치좌표에 삼각측량을 적용하여 공간상의 3차원 위치좌표를 추출하는 제5단계

   를 포함하는 복수의 카메라 영상을 이용한 공간좌표 추출방법.
2. 제1항에 있어서, 제4단계에서,

   꼭짓점과 함몰점의 위치좌표를 추출하는 단계는, 경계로 검출된 점 C_i와 점 C_i-1을 잇는 제1직선과 점 C_i와 점 C_{i +1}을 잇는 제2직선 사이의 사이각이 소정의 사용자 정의 상수 값보다 작으면 꼭짓점, 사이각이 소정의 사용자 정의 상수 값보다 크면 함몰점으로 추출되는 단계를 포함하는 것을 특징으로 하는 복수의 카메라 영상 을 이용한 공간좌표 추출방법.
3. 제1항에 있어서, 제4단계에서 추출된 꼭짓점의 좌표는,

   마우스 커서 위치에 해당하는 것을 특징으로 하는 복수의 카메라 영상을 이용한 공간좌표 추출방법.
4. 제1항에 있어서, 제5단계에서,

   공간상의 3차원 위치좌표 X, Y 및 Z를 추출하는 단계는,

   

   ,

   

   ,

   

   로 계산되는 단계(여기서, B는 카메라 간의 거리, s는 카메라 한 픽셀의 사이즈, f는 카메라와 카메라 초점까지의 거리, x₁, y₁는 첫 번째 카메라에 목표물의 영상이 맺힌 화소 위치, x₂, y₂는 두 번째 카메라에 목표물의 영상이 맺힌 화소 위치)를 포함하는 것을 특징으로 하는 복수의 카메라 영상을 이용한 공간좌표 추출방법.

Images