KR20050041523A - 구조광 패턴 - Google Patents

Abstract

한 프레임의 영사만으로 3차원 정보를 실시간으로 획득할 수 있도록 한 구조광 패턴에 관한 것으로, 구조광 패턴은 N(색상의 수를 정의하며, 적어도 3개 이상)에서 k(줄무늬의 수)를 선택하고 이웃하는 원소 끼리를 서로 다르게 한 중복순열{N(N-1)^k-1}을 산출하고, 상기 산출된 중복순열들 중 임의로 선택된 제1 중복순열의 두 번째부터 마지막 원소까지의 배열과 동일하게 시작되는 제2 중복순열을 찾고, 상기 제2 중복순열을 상기 제1 중복순열의 두 번째 자리부터 중첩시키는 과정을 더 이상 유일한 중복순열이 없을 때까지 반복하여 생성되므로, 노이즈 및 투영평면 결정오류 문제를 해결함과 동시에 유일하게 결정할 수 있는 투영평면의 수를 최대한 증가시킬 수 있어 하나의 프레임 만으로도 실시간 3차원 정보 획득이 가능하다.

Description

구조광 패턴{Structured-Light Pattern}

본 발명은 마커 프리(Marker Free) 방식의 3차원 정보 획득에 관한 것으로서, 특히 하나의 프레임을 이용하여 실시간 3차원 정보 획득이 가능하도록 한 구조광 패턴에 관한 것이다.

모션 캡쳐(Motion Capture)란 인체가 동작하는 움직임을 컴퓨터 데이터 형태로 기록하고, 기록된 정보를 바탕으로 컴퓨터 캐릭터에게 위치 정보를 포함하는 정보를 전달하여 인체의 움직임이 그대로 컴퓨터 캐릭터에 의해 나타낼 수 있도록 하는 작업을 말한다.

이러한 모션 캡쳐 기술은 1970년대에 세상에 알려지기 시작하여 1980~1983년 즈음에 컴퓨터를 이용해서 인간의 동작을 분석하기 위한 움직임이 학문적으로 시작되었다.

1980년대 초기 Simon Fraser 대학의 Tom Calvert 교수는 통신분압기를 인체의 양쪽 무릎에 부착하고 모션 캡쳐하여 컴퓨터 캐릭터를 움직이는 방법을 처음으로 고안하였다.

그 후, MIT 공과 대학과 New York Institute of Technology에서 광센서를 이용한 모션 캡쳐 방식이 고안되어 실험이 이루어졌다.

이 것은 인체에 부착하는 엘이디(LED)로 부터 각 센서의 2차원 값을 카메라를 통해 얻은 값을 통합하여 3차원 정보를 얻어내는 기술로 발달하게 되었다.

1989년부터는 상업성을 띤 작품들에 모션 캡쳐기술이 응용되기 시작되어 뮤직 비디오 촬영이나, TV 어린이 프로그램 등에서도 응용이 되었다.

1993년 이후부터는 상업용 제품이 출시되었고, 앞으로 모션 캡쳐 기술은 다양한 방법으로 발달이 되고 그 응용 범위가 다양해 질 것이다.

이러한 모션 캡쳐 시스템은 방식에 따라서 여러 형태가 있지만, 대표적으로 음향식(Acustic), 기계식(Mechanic), 자기식(Magnetic), 광학식(Optical)의 4가지 형태로 구분할 수 있다.

이때 광학식 시스템(Optical)은 도 1에 도시된 바와 같이, 사람의 몸에 광 반사성이 좋은 마커(Marker)를 붙이고, 적외선 불빛이 나오는 적외선 카메라로 캡처 하는 방식이다.

그러나 마커는 부피가 크고 거추장스러워 마커를 장착한 사람의 자연스런 동작에 장애가 되고 부착할 수 있는 개수도 제한되므로 고밀도의 모션 캡쳐에는 무리가 있다. 특히 비관절 비고형체의 경우(특히, 사람의 얼굴처럼 근육의 이완에 따라 미세한 변화를 나타내거나, 의상 등과 같이 흔들림에 따라 미세한 변화를 나타내는 물체) 모션 캡쳐가 매우 어렵다.

상술한 마커를 사용하지 않고 모션 캡쳐를 하기 위한 가장 이상적인 방법은 여러 대의 카메라를 사용하여 캡쳐한 이미지들간에 특징점들의 대응관계를 구해서 이를 트랙킹(Tracking)하는 방식인데, 일반적인 물체나 인체들에서는 충분한 밀도의 특징점들을 찾는 것은 물론이고 이들의 정확한 대응관계를 구하기도 매우 어려워 현실성이 없다.

따라서 현실적으로 가능한 능동적 3차원 정보 획득 방법 중 가장 대표적인 것이, 도 2와 같이, LCD/DLP 프로젝터, 카메라로 이루어진 시스템을 이용하는 것이다.

즉, LCD/DLP 프로젝터를 통해 구조광(Structured Light)을 해당 피사체에 영사하고 이를 카메라를 통해 촬영하여 3차원 정보를 얻는 방법으로서, 이에 대하여 설명하면 다음과 같다.

구조광은 특정 형태의 패턴을 가지는데, 현재 이용될 수 있는 대표적인 것이 흑백 이진 패턴(BW binary pattern), 흑백 줄무늬 경계패턴 및 정현파 줄무늬 패턴(fringe pattern)이다.

먼저, 흑백 이진 패턴은 흑과 백의 조합으로 이루어지는 것으로, 첫 번째 프레임에는 흑/백, 두 번째 프레임에는 상기 첫 번째 프레임의 경계에 걸치도록 흑/백/흑, 이런 식으로 다수의 프레임을 구성하는 것으로, N 번의 패턴 영사 및 촬영으로 2^N 개의 투영평면(Plain Identification: PLID)을 유일하게 식별해낼 수 있다.

그리고 이와 같이 얻어진 투영 평면정보는 이미 많이 알려진 캘리브레이션(Calibration) 방법을 이용하여 3차원 정보를 얻는데 사용될 수 있지만, 상술한 바와 같이, 다수의 프레임 촬영이 필요하여 실시간 3차원 정보 획득이 거의 불가능하다.

다음으로, 흑백 줄무늬 경계패턴은 상기 흑백 이진 패턴의 배열형태를 적절히 변형하여 획득 데이터의 안전성을 높인 것이다.

그러나 이 역시 흑백 이진 패턴과 마찬가지로 다수의 프레임 촬영이 필요하여(예를 들어, 100여 개의 투영평면을 얻는데 4 프레임의 이미지가 필요) 4 프레임 동안 물체의 운동을 무시해야 하므로 실시간으로 비고형체의 세밀한 모션을 캡쳐하는 것이 매우 어렵다.

그리고 정현파 줄무늬 패턴 역시 획득 데이터의 안전성을 저하시키거나 다수의 프레임을 촬영해야 하므로 이 역시 실시간 모션 캡쳐가 매우 어렵다.

상술한 바와 같이, 종래의 구조광에 의한 거리 영상 즉, 3차원 정보의 획득은 상술한 바와 같이, 흑백 형태의 구조광 패턴을 적용하므로 한 프레임 당 다수의 구조광 패턴이 필요하게 되어 실시간 모션 캡쳐가 매우 어려운 상태이다.

따라서 의상이나 사람 얼굴 등과 같이 움직이는 물체에 대한 고속 거리영상 획득을 위해 분별 가능한 패턴의 수를 늘려서 한 장면의 거리 영상 획득에 필요한 구조광 영사를 줄이기 위한 칼라 사용에 관해 많은 연구가 있었다.

그 연구들에서는 하나의 줄무늬가 하나의 투영 평면을 결정하는 경우가 대부분이었다.

이 경우 서로 다른 N 개의 컬러로 유일하게 결정할 수 있는 투영평면의 수는 N 개가된다.

따라서 더 많은 투영평면을 결정하기 위해서는 하나의 영상 이미지에 같은 투영평면의 줄무늬를 중복해서 사용한 후 언래핑(Unwrapping: 중복된 것을 다시 구분해내는 과정)하는 방법이 있다.

그러나 언래핑은 대상 물체의 구조를 제한하는 특성이 있어서, 기하학적으로 복잡한 형태의 경우 그 결과에 오류가 자주 발생하는 문제가 있다.

따라서 본 발명은 상기한 종래의 문제점을 해결하기 위하여 안출한 것으로서, 한 프레임의 영사만으로 3차원 정보를 실시간으로 획득할 수 있도록 한 구조광 패턴을 제공함에 그 목적이 있다.

본 발명의 구조광 패턴은 N(색상의 수를 정의하며, 적어도 3개 이상)에서 k(줄무늬의 수)를 선택하고 이웃하는 원소 끼리를 서로 다르게 한 중복순열{N(N-1)^k-1}을 산출하고, 상기 산출된 중복순열들 중 임의로 선택된 제1 중복순열의 두 번째부터 마지막 원소까지의 배열과 동일하게 시작되는 제2 중복순열을 찾고, 상기 제2 중복순열을 상기 제1 중복순열의 두 번째 자리부터 중첩시키는 과정을 더 이상 유일한 중복순열이 없을 때까지 반복하여 생성됨을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 구조광 패턴의 바람직한 일실시예를 상세히 설명하면 다음과 같다.

도 1은 일반적인 마커를 이용한 광학식 모션 캡쳐방식을 설명한 도면, 도 2는 일반적인 모션 캡쳐 시스템의 구성을 개략적으로 나타낸 도면, 도 3 내지 도 5는 본 발명에 따른 구조광 패턴의 실시예들을 나타낸 도면이고, 도 6a 내지 도 6d는 본 발명에 따른 구조광 패턴을 적용한 단일 프레임을 피사체에 영사함에 따른 실제 실험결과를 나타낸 도면이다.

본 발명은 하나의 구조광 패턴으로 이루어진 단일 프레임만으로 3차원 정보를 실시간으로 획득하는 기술이다.

본 발명은 이를 위해 중복순열에 기초한 줄무늬 조합방식으로 생성한 컬러 다중 줄무늬 패턴을 이용하고 이를 상세히 설명하면 다음과 같다.

먼저, 본 발명의 컬러 다중 줄무늬 패턴의 생성원리에 대하여 설명하면 다음과 같다.

서로 다른 N 개에서 k 개를 선택하는 중복순열은 N^k 개이고, 이웃하는 원소끼리를 서로 다르게 할 경우의 중복순열은 N(N-1)^k-1개이다.

따라서 이것을 줄무늬에 적용시키면, 서로 다른 N 개의 컬러를 이웃하는 줄무늬끼리는 다른 컬러가 되게 나열시킴으로서 k 개의 줄무늬로 이루어진 순열을 N(N-1)^k-1개 만들 수 있게 된다.

이 방법을 사용하면 단일 프레임에 의해 보다 많은 투영평면을 유일하게 결정할 수 있는 것이다.

예를 들어, 3개의 서로 다른 컬러로는 단일 줄무늬 패턴의 경우 단 3개의 투영평면을 결정할 수 있지만, 본 발명의 다중 줄무늬 패턴을 사용할 경우, k(줄무늬의 수)값 2, 3, 4, 5 ...에 따라 각각 6, 12, 24, 48 ...개의 투영평면을 유일하게 결정할 수 있는 것이다.

한편, 본 발명과 비교하여 기존의 흑백 패턴의 경우 N=2이므로 이를 상기 순열공식{N(N-1)^k-1}에 적용하면, 2(2-1)^2-1=2가 되어 유일하게 결정할 수 있는 투영평면의 수를 늘릴 수 없다.

다음으로, 본 발명의 컬러 다중 줄무늬 패턴에서 컬러를 선택하는 원리에 대하여 설명하면 다음과 같다.

다중 줄무늬 패턴에 사용될 컬러는 서로 구분하기 쉽게 그 차이가 충분히 커야 한다.

즉, 주위의 밝기 차이에 영향을 적게 받도록 명암(Intensity) 차이보다는 색조(Hue)값의 차이를 이용하는 것이 좋다.

또한 이 경우 채도(Saturation)값을 충분히 크게 하여 각 컬러의 구분은 더욱 쉽게 할 수 있다.

본 발명은 그 실시예로서, 색조의 차이를 이용하기 위하여 빨강, 초록 및 파랑을 이용하였으며, 각 채도값을 최대로 한 예로써, 채도값이 (0, 0, 255)인 강순빨강(strong pure red), 채도값이 (0, 255, 0)인 강순초록(strong pure green), 채도값이 (255, 0, 0)인 강순파랑(strong pure blue)과 같이, 3가지 색상을 적용하였다.

이때 채도값은 패턴을 생성하기 위한 수단 즉, 컴퓨터의 그래픽 카드에서 사용되는 24비트 디지털 데이터(B, G, R)를 기준으로 한 것이다.

즉, 채도값이 (0, 0, 255)라는 것은 B(Blue)값은 0, G(Green)값은 0, 그리고 R(Red) 값이 2⁸에 해당하는 255(2⁸은 256이지만, 컴퓨터 데이터는 0에서 255까지 256레벨이므로 최고 레벨인 255가 적용됨)를 의미한다.

물론, 상술한 중복순열 공식 즉, 'N(N-1)^k-1'에 나타난 바와 같이, 보다 많은 수의 컬러를 사용할 경우 패턴의 수를 늘려줄 수는 있으나, 그럴 경우, 색조의 차이가 줄어들어 노이즈에 민감하고 투영평면이 잘못 결정될 수 있으므로, 본 발명에서는 패턴 수 증가, 노이즈 발생 및 투영평면 결정오류를 고려한 최적의 경우로서, 3가지 색상을 적용한 예를 든 것이다.

상술한 다중 줄무늬 패턴 생성원리 및 컬러 선택원리에 따라 실제 컬러 다중 줄무늬 패턴을 생성한 예가 도 3 내지 도 5에 도시되어 있다.

본 발명은 상술한 중복순열들을 조합하여 컬러 다중 줄무늬 패턴을 생성하는 것으로 그 원리는 다음과 같다.

즉, 다수의 중복순열 중 하나(설명의 편의상 제1 중복순열이라 칭함)를 선택한다.

그리고 제1 중복순열의 첫 번째 원소를 제외한 나머지 원소들과 동일한 원소배열로 시작되는 제2 중복순열을 찾는다.

이어서 상기 제2 중복순열(제2 중복순열이 둘 이상일 경우에는 그 중 임의의 하나)을 제1 중복순열의 두 번째 자리부터 중복시킨다.

그리고 더 이상 유일한 중복순열이 존재하지 않을 때까지 상술한 과정을 반복하여 패턴생성을 완료한다.

이와 같이 생성된 패턴은 이웃하는 줄무늬간에 동일한 것이 존재하지 않게 되며 유일한 중복순열로만 이루어지게 되며, 총 줄무늬의 개수는 'N(N-1)^k-1+k-1'이 된다.

상술한 본 발명의 패턴 생성원리의 실시예를 도 3을 참조하여 살펴보면 다음과 같다.

k값 즉, 줄무늬의 수를 '2'로 하고, 3가지 컬러 R, G, B 각각을 0, 1, 2라고 가정하면, 가능한 중복순열은 (0,1), (0,2), (1,0), (1,2), (2,0), (2,1)이다.

먼저, 상술한 중복순열중 하나, 예를 들어 (0,1)을 선택한다.

이어서 상기 첫 번째 중복순열의 원소 중 첫 번째를 제외한 나머지 원소가 동일한 배열로 시작되는 중복순열 하나를 선택한다.

즉, 첫 번째 중복순열의 두 번째 원소가 '1'이므로 '1'로 시작되는 중복순열은 (1,0)와 (1,2)가 있다.

그중 (1,0)을 선택한 것으로 가정하고, 이를 첫 번째 중복순열(1,0)의 두 번째 자리에 중첩시키면 (0,1,0)이 된다.

이어서 (1,0)의 두 번째 원소인 '0'으로 시작하는 중복순열은 (0,1)과 (0,2)가 있으나, (0,1)은 이미 사용되었으므로 (0,2)를 선택하여 중첩시키면 (0,1,0,2)가 된다.

따라서 상술한 과정을 반복하여 (2,1), (1,2) 그리고 마지막으로 (2,0)을 중첩하면 도 3과 같이, (0,1,0,2,1,2,0)으로 이루어진 컬러 다중 줄무늬 패턴이 완성된다.

이때 총 줄무늬의 개수는 'N(N-1)^k-1+k-1'에 적용하면, 3(3-1)¹+1=7임을 알 수 있다.

한편, 본 발명의 컬러 다중 줄무늬 패턴 생성원리에 따라 3개의 컬러로 k값을 '3'으로 할 경우 생성된 패턴이 도 4에 도시되어 있다.

이때 가능한 중복순열의 수는 3(3-1)^3-1=12임을 알 수 있다.

그리고 이를 중첩하여 생성한 컬러 다중 줄무늬 패턴에서 총 줄무늬의 개수는 'N(N-1)^k-1+k-1'에 적용하면, 3(3-1)²+2 = 14임을 알 수 있다.

상술한 바와 같이, 줄무늬의 개수에 상관없이 본 발명을 적용할 수 있지만, 실질적으로 고밀도의 3차원 정보를 얻기 위해서는 보다 많은 수의 줄무늬를 사용해야 한다.

그러나 너무 많은 수의 줄무늬를 사용할 경우, 3차원 정보처리과정이 너무 복잡해져, 시스템의 고사양화를 요구하게 된다.

따라서 고사양의 시스템에는 적용 가능하지만, 현실적으로 적절하게 적용할 수 있도록 하기 위하여, 본 발명에서는 k값을 '7'로 하여 생성한 컬러 다중 줄무늬 패턴이 도 5에 도시되어 있다.

도 5에 도시된 바와 같이, 3가지 색상을 이용하고, 줄무늬의 수를 '7'로 할 경우 가능한 중복순열의 수가 3(3-1)^7-1= 192임을 알 수 있다.

그리고 이를 중첩하여 생성한 컬러 다중 줄무늬 패턴에서 총 줄무늬의 개수는 'N(N-1)^k-1+k-1'에 적용하면, 3(3-1)²+2 = 14임을 알 수 있다.

그리고 상술한 컬러 다중 줄무늬 패턴에 따라 실제 3차원 영상획득에 관련된 실험결과가 도 6a 내지 도 6d에 도시되어 있다.

즉, 도 6a는 일반조명에서의 얼굴사진이다.

상기 도 6a와 같은 얼굴에 도 6b와 같이, 상술한 도 5와 같은 컬러 다중 줄무늬 패턴으로 이루어진 단일 프레임을 영사한다.

그리고 도 6b를 카메라를 통해 촬영하고 3차원 정보 분석 프로그램을 통해 분석하여 컬러 다중 줄무늬를 식별한 것이 도 6c에 도시되어 있다.

최종적으로 도 6c에서 획득한 3차원 영상을 밝기값으로 처리하면 도 6d와 같다.

본 발명에 따른 구조광 패턴은 색조값의 차이를 이용하여 노이즈 및 투영평면 결정오류 문제를 해결함과 동시에 유일하게 결정할 수 있는 투영평면의 수를 최대한 증가시키기에 적절한 컬러 다중 줄무늬 패턴을 사용함으로서 하나의 프레임 만으로도 실시간 3차원 정보 획득이 가능하다.

도 1은 일반적인 마커를 이용한 광학식 모션 캡쳐방식을 설명한 도면

도 2는 일반적인 구조광을 이용한 3차원 정보 획득 시스템의 구성을 개략적으로 나타낸 도면

도 3 내지 도 5는 본 발명에 따른 구조광 패턴의 실시예들을 나타낸 도면

도 6a 내지 도 6d는 본 발명에 따른 구조광 패턴을 적용한 단일 프레임을 피사체에 영사함에 따른 실제 실험결과를 나타낸 도면

Claims (5)

1. N(색상의 수를 정의하며, 적어도 3개 이상)에서 k(줄무늬의 수)를 선택하고 이웃하는 원소 끼리를 서로 다르게 한 중복순열{N(N-1)^k-1}을 산출하고, 상기 산출된 중복순열들 중 임의로 선택된 제1 중복순열의 두 번째부터 마지막 원소까지의 배열과 동일하게 시작되는 제2 중복순열을 찾고, 상기 제2 중복순열을 상기 제1 중복순열의 두 번째 자리부터 중첩시키는 과정을 더 이상 유일한 중복순열이 없을 때까지 반복하여 생성된 구조광 패턴.
2. 제1 항에 있어서,

   상기 3가지 색상은 색조 차이를 고려하여 선택한 빨강, 초록 및 파랑을 포함함을 특징으로 하는 구조광 패턴.
3. 제2 항에 있어서,

   상기 빨강은 (0, 0, 255)의 채도값을 갖는 강순빨강(strong pure red)이고, 초록은 (0, 255, 0)의 채도값을 갖는 강순초록(strong pure green)이며, 파랑은 (255, 0, 0)의 채도값을 갖는 강순파랑(strong pure blue)임을 특징으로 하는 구조광 패턴.
4. 제1 항에 있어서,

   상기 색상의 수가 고정될 경우 k(줄무늬 수)값에 의해 유일하게 결정되는 투영평면의 수가 정해짐을 특징으로 하는 구조광 패턴.
5. 제1 항에 있어서,

   상기 최종적으로 생성된 패턴의 총 줄무늬의 개수는 'N(N-1)^k-1+k-1'임을 특징으로 하는 구조광 패턴.