KR101909897B1 - 카메라와 프로젝터간의 동기화 방법 및 장치 - Google Patents

Abstract

프로젝터가 하나의 패턴광을 투사하는데 쇼요되는 시간인 광투사주기 및 카메라가 하나의 프레임을 생성하는데 필요한 시간인 프레임주기를 획득하고, 프레임주기가 광투사주기보다 긴 경우, 프레임주기동안 프로젝터가 제 1 패턴광을 복수 번 투사하도록 제어하는 제 1 제어 단계와 프레임주기에 도달하면, 카메라가 프레임을 생성하도록 제어하는제 2 제어 단계를 포함하는 카메라와 프로젝터간의 동기화 방법 및 장치가 개시된다.

Description

카메라와 프로젝터간의 동기화 방법 및 장치{Method and apparatus for synchronizing between camera and projector}

본 발명은 동기화 방법 및 장치에 관한 것으로, 특히 프로젝터와 카메라간의 동기화 방법 및 장치에 관한 것이다.

카메라를 이용하여 물체의 3차원 형상을 복원하는 기술은 크게 능동형 기술과 수동형 기술로 나뉠 수 있다. 대표적인 능동형 기술은 레이저 삼각법과 패턴광 기반의 기술이 있으며, 대표적인 수동형 기술은 스테레오 비젼이 있다. 능동형 기술은 수동형 기술에 비하여 정밀도가 높아 산업용 또는 연구용으로 주로 사용된다.

패턴광(또는 구조광, Structured Light)을 사용하는 3차원 카메라는 스테레오 카메라( Stereo Camera)의 변형으로 두 개의 동일한 카메라를 사용하는 스테레오 카메라와 달리, 하나의 카메라 대신 빔 프로젝터(beam projector)와 같은 투사 장치를 사용하여 구성된다. 이러한 패턴광 카메라 시스템에서는, 물체의 투사 수단을 이용하여 패턴을 투사한 다음, 패턴이 투사된 물체를 카메라등과 같은 영상 촬영 수단을 이용하여 촬영하고, 획득된 영상을 분석하여 3차원 정보를 얻게된다.

스테레오 카메라 시스템은 수동적으로 영상으로부터 특징점만을 이용하는 반면, 패턴광 카메라 시스템은 능동적으로 투사 수단으로부터 투사된 패턴을 특징점으로 이용하기 때문에, 높은 처리 속도 및 공간 해상도를 가진다. 이러한 장점 때문에 패턴광 카메라 시스템은 물체의 모델링/인식, 3차원 계측, 산업검사, 리버스 엔지니어링(Reverse Enginerring)등에 널리 사용되고 있다.

이러한 패턴광 카메라 시스템은 프로젝터, 카메라, 제어부, 3차원 연산부로 구성되며, 이 때 패턴광은 PC내부의 그래픽 처리 장치를 통해 출력되는 신호를 받아 프로젝터가 출사하거나, 상용 프로젝터 내부에 패턴 이미지를 저장해 두었다가 PC에서 명령어가 입력되면 프로젝터가 저장해 둔 이미지를 출력하는 방식을 사용하게 된다.

전자의 경우(PC의 그래픽 처리 장치를 통해 출력되는 신호를 받아 프로젝터가 출사하는 경우)에는 PC에서 폭넓게 사용되는 윈도우즈나 리눅스와 같은 운영체제들이 응답속도의 실시간성을 완벽하게 보장하지 못한다는 문제가 있으며, 이로 인하여 패턴광을 출사하라고 명령을 내려도 PC 운영체제의 작업 상황에 따라 측정용 패턴 이미지가 정확히 어느 시점에 그래픽 처리 장치를 통해 출력되어 나갈지 알 수가 없다. 이런 경우 카메라에서는 측정 대상물에 패턴광이 투사되어 상이 맺힌 상태에서 촬영이 이루어져야 하는데 정확히 어느 시점에 필요한 패턴이 출사되어 상이 맺힐 지 모르는 상황이 되어버리므로 PC를 통해 패턴 출력 명령을 내린 후 충분한 시간을 기다린 다음 카메라에 촬영 신호를 보내어야만 원하는 이미지를 얻을 수 있다는 문제점이 있었다.

후자의 경우(프로젝터 내부에 패턴 이미지를 저장해두었다가 PC로부터 출력 명령이 수신되면 저장해 둔 이미지를 출력하는 경우)에는 상용 프로젝터 제투사에 해당 기능을 구현하기 위한 수정 작업을 의뢰하거나 직접 프로젝터를 제작해서 해당 기능을 구현해야 하는 어려움이 있었다.

결과적으로, 프로젝터가 패턴광을 출사하는 주기와 카메라가 영상을 획득하는 주기가 일치할 수 밖에 없었으며, 획득하는 영상의 해상도가 변경되거나 노출 시간이 바뀌는 등 카메라에서 영상을 획득하는 시간이 변경되면 카메라와 프로젝터간의 동기화가 어긋나게되어 정확한 3차원 영상을 얻을 수 없다는 문제점이 있었다.

상기의 문제점을 해결하기 위한 본 발명의 목적은, 카메라의 프레임주기가 프로젝터의 광출사주기보다 긴 경우 동일한 패턴의 광을 복수번 출력하여 카메라와 프로젝터를 동기화하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 프로젝터와 카메라를 동기화하는 방법은, 상기 프로젝터가 하나의 패턴광을 투사하는데 쇼요되는 시간인 광투사주기 및 상기 카메라가 하나의 프레임을 생성하는데 필요한 시간인 프레임주기를 획득하는 단계; 상기 프레임주기가 상기 광투사주기보다 긴 경우, 상기 프레임주기동안 상기 프로젝터가 제 1 패턴광을 복수 번 투사하도록 제어하는 제 1 제어 단계; 및 상기 프레임주기에 도달하면, 상기 카메라가 프레임을 생성하도록 제어하는제 2 제어 단계를 포함할 수 있다.

상기 제 1 제어 단계는, 상기 광투사주기와의 곱이 상기 프레임주기 이하인 최대 정수를 계산하는 단계; 및 상기 최대 정수에 해당하는 횟수만큼 상기 제 1 패턴광을 투사하도록 상기 프로젝터를 제어하는 단계를 포함할 수 있다.

상기 제 1 제어 단계는, 상기 프레임주기에 도달하면, 상기 프로젝터가 제 2 패턴광을 투사하도록 제어할 수 있다.

상기 제 1 제어 단계는, 상기 광투사주기와의 곱이 상기 프레임주기 이상이 되는 최소 정수를 계산하는 단계; 및 상기 최소 정수에 해당하는 횟수만큼 상기 제 1 패턴광을 투사하도록 상기 프로젝터를 제어하는 단계를 포함할 수 있다.

상기 제 2 제어 단계는, 상기 프레임주기에 도달한 시점부터 상기 프로젝터가 상기 제 1 패턴광의 투사를 완료할 때까지 상기 카메라가 영상을 촬영하지 않도록 제어할 수 있다.

상기 프레임주기를 획득하는 단계는, 상기 카메라의 노출 시간에 관한 정보를 획득하는 단계; 및 상기 노출 시간에 관한 정보에 기초하여 상기 프레임주기를 계산하는 단계를 포함할 수 있다.

상기 프레임주기를 획득하는 단계는, 상기 카메라가 생성하는 영상의 해상도 정보를 획득하는 단계; 및 상기 해상도 정보에 기초하여 상기 프레임주기를 계산하는 단계를 포함할 수 있다.

상기 제 1 제어 단계는, 상기 제 1 패턴광에 관한 이미지 정보 및 상기 제 1 패턴광의 투사 타이밍에 관한 정보가 포함된 데이터를 상기 프로젝터로 전송하는 단계를 포함할 수 있다.

상기의 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 프로젝터와 카메라를 동기화하는 장치는, 상기 프로젝터가 하나의 패턴광을 투사하는데 쇼요되는 시간인 광투사주기 및 상기 카메라가 하나의 프레임을 생성하는데 필요한 시간인 프레임주기를 획득하는 정보 획득부; 상기 프레임주기가 상기 광투사주기보다 긴 경우, 상기 프레임주기동안 상기 프로젝터가 제 1 패턴광을 복수 번 투사하도록 제어하는 프로젝터 제어부; 및 상기 프레임주기에 도달하면, 상기 카메라가 프레임을 생성하도록 제어하는카메라 제어부를 포함하는 것이다.

본 발명의 일 실시예에서는 카메라의 프레임주기가 프로젝터의 광출사주기보다 긴 경우 프로젝터가 동일한 패턴의 광을 복수번 출력하도록 하여 카메라와 프로젝터간의 처리 속도가 다른 경우에도 두 장치가 동기화 되도록 한다.

또한, 외부 환경의 변화에 따라 카메라의 최적 노출 시간이 달라지거나 획득하고자 하는 영상의 해상도가 변경되어 카메라의 프레임주기가 바뀌더라도 광출사주기와 프레임주기에 기초하여 실시간으로 두 장치의 동기화가 가능하다.

도 1은 본 발명의 일 실시예에 따른 동기화 장치(100)에 관한 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 동기화 장치(100)의 동작에 관한 타이밍도를 나타낸다.
도 3은 본 발명의 일 실시예에 따른 프레임주기와 광출사 주기가 상이한 경우에 관한 일 예이다.
도 4는 본 발명의 다른 실시예에 따른 프레임주기와 광출사 주기가 상이한 경우에 관한 일 예이다.
도 5는 본 발명의 일 실시예에 따른 프로젝터(102)와 카메라(103)간의 동기화 방법에 관한 흐름도를 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 동기화 장치(100)에 관한 블록도를 나타낸다. 본 발명의 일 실시예에 따른 동기화 장치(100)는 패턴광 기반의 3D 카메라와 패턴광을 출사하는 프로젝터를 동기화하는 장치로, 정보 획득부(110), 프로젝터 제어부(120) 및 카메라 제어부(130)를 포함한다.

정보 획득부(110)는 광투사주기와 프레임주기를 획득한다. 광투사주기는 프로젝터가(102) 하나의 패턴광을 투사하는데 소요되는 시간을 의미하는 것으로, 프로젝터(102)가 60Hz의 주파수로 패턴광을 출사한다고 가정하면, 광투사주기는 16.6ms가 될 것이다. 유사하게 프레임주기는 카메라(103)가 하나의 프레임을 획득하는데 소요되는 시간을 의미한다. 정보 획득부(110)는 PC(101)로부터 3D 영상의 촬영 명령을 수신하며, 이 때, 광투사주기, 프레임주기, 패턴의 형태, 영상의 해상도 등 3D 영상의 획득에 필요한 정보가 함께 전송될 수 있다. 실시예에 따라서는, 정보 획득부(110)가 카메라의 노출 시간이나 해상도에 관한 정보에 기초하여 프레임주기를 직접 계산할 수도 있다.

프로젝터 제어부(120)는 프로젝터(102)와 카메라(103)가 동기화되어 동작하도록 프로젝터(102)를 제어한다. 프로젝터 제어부(120)는 동기화 신호를 프로젝터(102)에 직접 전송할 수도 있으나, 패턴 영상에 특정한 식별 패턴을 넣고, 프로젝터(102)가 해당 식별 패턴을 통하여 패턴광의 출사 시점을 인지하도록 할 수 있다. 예를 들어, 패턴 영상이 VGA 프레임 인 경우, 프로젝터 제어부(120)는 VGA 프레임내의 수평 동기화 신호 또는 수직 동기화 신호에 패턴광을 출사할 시점에 관한 정보를 넣어 전송할 수 있다.

광출사주기와 프레임주기가 동일하다면 프로젝터(102)와 카메라(103)를 동기화하는 것이 어렵지 않지만, 광출사주기와 프레임주기가 동일하지 않다면, 이 두 장치를 동기화하는 것이 3D 영상의 품질과 직결된다.

프레임주기가 광투사주기보다 긴 경우 프로젝터 제어부(120)는 카메라(103)가 해당 프레임의 영상을 획득하는 동안, 즉, 프레임주기 동안 프로젝터(102)가 동일한 패턴광을 복수 번 투사하도록 제어한다. 프레임주기가 광투사주기의 정수배라면 프레임주기동안 해당 정수배만큼 동일한 패턴광을 투사하도록 프로젝터(102)를 제어하면 충분하다. 그러나, 프레임주기가 광투사주기의 정수배에 해당하지 않는다면 프로젝터(102) 또는 카메라(103)의 동작을 일시적으로 중지시키는 과정이 필요할 수 있다. 프레임주기가 광투사주기의 정수배가 아닌 경우 카메라와 프로젝터를 동기화하는 과정은 도 3 및 도 4에서 후술한다.

카메라 제어부(130)는 프레임주기에 도달하면 카메라(103)가 프레임을 생성하도록 제어한다.

본 발명의 일 실시예에 따른 동기화 장치(100)는 FPGA(Field Programmable Gate Array)와 같이 운영체재를 탑재하고 있지 않은 제어 수단을 통하여 구현될 수 있다. PC와 같이 운영체재를 탑재하고 있는 제어 수단을 사용하는 경우, 운영체재가 실시간성을 담보하지 못하여 사용자가 촬영 명령을 내려도 해당 명령이 프로젝터와 카메라에 도달하는 시간을 정확하게 알 수 없으나, FPGA아 같이 운영체재를 탑재하고 있지 않은 제어 수단을 이용하는 경우 이러한 지연이 없기 때문에 신속하고 정확한 동기화가 가능하다.

도 2는 본 발명의 일 실시예에 따른 동기화 장치(100)의 동작에 관한 타이밍도를 나타낸다.

제 1 타이밍도(201)는 PC(101)에서 동기화 장치(100)로 전송되는 데이터의 타이밍을 나타낸다. PC(101)는 카메라(103)의 노출 시간(또는, 셔터 속도)에 관한 정보와 함께 촬영 명령을 동기화 장치(100)로 전달하며, 이 때, 프로젝터(102)가 출사할 패턴광의 형태, 광출사주기, 광출사 시점, 프레임주기, 영상의 해상도, 영상 획득 시점 등 3D 영상에 필요한 정보가 함께 전송될 수 있다. PC(101)는 시리얼 인터페이스(Serial Interface)를 통하여 해당 명령어를 동기화 장치(100)로 전송할 수 있다.

제 2 타이밍도(202)는 동기화 장치(100)에서 프로젝터(102)로 전송되는 데이터의 타이밍을 나타낸다.

PC(101)로부터 촬영 명령이 수신되면 동기화 장치(100)는 프로젝터(102)가 출사할 패턴 영상을 직접 생성하거나, 메모리에서 독출한다. 프로젝터(102)로 전달되는 패턴 영상의 포멧이 VGA인 경우를 가정해보자. VGA 프레임을 생성하기 위해서는 수평 동기화 신호(horizontal synchronization signal), 수직 동기화 신호(vertical synchronization signal) 및 R/G/B 신호, 픽셀 클락(Piel Clock)등의 신호가 필요하다. 동기화 장치(100)는 내부에 존재하는 VGA 모듈(미도시)로 해당 신호를 전송하고, VGA 모듈(미도시)에서는 이들 신호를 이용하여 패턴 영상을 생성하여 프로젝터(102)에 전송한다. 이 때, VGA 프레임에는 프로젝터(102)가 해당 프레임을 출력하여야 하는 타이밍에 관한 정보가 포함되어 있을 수 있는데, 일 예로, 프레임의 마지막을 나타내는 수평/수직 동기화 신호가 해당 프레임을 출력하여야 하는 타이밍을 나타내도록 설정할 수 있다. 이 경우, 프로젝터(102)는 VGA 프레임의 끝이 인식되면 수신된 VGA 프레임을 출사할 것이다.

도 2에서, 동기화 장치(100)는 세 장의 제 1 패턴 영상(221)과 한 장의 제 2 패턴 영상(224)을 프로젝터(102)로 순차적으로 전송하였다.

제 3 타이밍도(203)는 프로젝터(102)에서 패턴광을 출사하는 타이밍을 나타낸다. 상술한 바와 같이 동기화 장치(100)로부터 수신되는 영상은 VGA 프레임이며, VGA 프레임의 끝이 인식되면 프로젝터(102)는 패턴 영상에 따른 패턴광을 출사한다. 따라서, 동기화 장치(100)로부터 제 1 패턴 영상(221)의 마지막이 수신되면, 프로젝터(102)는 제 1 패턴광(231)을 출사한다. 유사하게, 제 2 패턴 영상(224)의 마지막이 수신되면, 프로젝터(102)는 제 2 패턴광(234)를 출사한다.

제 4 타이밍도(204)는 동기화 장치(100)에서 카메라(103)로 전송되는 트리거 신호의 타이밍을 나타낸다. 동기화 장치(100)는 사용자나 PC로부터 카메라(103)의 노출 시간(또는, 셔터 속도)에 관한 정보를 수신하고, VGA 모듈(미도시)로부터 수평/수직 동기화 신호를 수신하여 카메라(103)가 촬영을 시작하는 시점을 계산한 후, 트리거 신호(241,242)를 카메라(103)로 전송한다.

제 5 타이밍도(205)는 카메라(103)에서 촬영을 시작하는 타이밍을 나타낸다. 카메라(103)는 동기화 장치(100)로부터 트리거 신호가 수신되면, 촬영을 시작한다.

도 3은 본 발명의 일 실시예에 따른 프레임주기와 광출사 주기가 상이한 경우에 관한 일 예이다.

도 3에서 프로젝터(102)의 광출사 주기는 15ms이고, 카메라(103)의 프레임주기는 50ms인 경우를 가정한다. 동기화 장치(100)는 프로젝터(102)의 광출사 주기와 카메라(103)의 프레임주기가 상이하므로, 프로젝터(102)와 카메라(103)간의 동기화를 위하여 프로젝터(102)가 동일한 패턴광을 복수번 출사하도록 제어한다. 이 때, 광투사주기와의 곱이 프레임주기 이하인 최대 정수를 찾아서, 프로젝터(102)가 최대 정수만큼 반복하여 동일한 패턴광을 출사하도록 한다. 도 3에서는, 프레임주기가 50ms이고, 광출사 주기가 15ms이므로 프로젝터(102)는 동일한 패턴광을 3번 출사한다.

이하에서는, 시간의 경과에 따라 프로젝터(102)와 카메라(103)의 동작을 설명한다.

0ms~15ms: 프로젝터(102)는 제 1 패턴광(311)을 출사하며, 카메라(103)는 제 1 영상(321)을 촬영한다.

15ms~45ms: 카메라(103)가 아직 제 1 영상(321)에 대한 촬영을 완료하지 못하였으므로, 프로젝터(102)는 제 1 패턴광(312, 313)을 반복하여 출사한다.

45ms~50ms: 카메라(103)가 아직 제 1 영상(321)에 대한 촬영을 완료하지 못하였으나, 프로젝터(102)는 제 1 패턴광(311, 312, 313)을 세번 출사하였으므로, 카메라(103)가 제 1 영상(321)에 대한 촬영을 완료할 때까지 대기한다.

50ms~ : 프로젝터(102)는 변경된 패턴인 제 2 패턴(314)을 출사하며, 카메라(103)는 제 2 영상(322)에 대한 촬영을 시작한다.

이와 같이, 광투사주기와의 곱이 프레임주기 이하인 최대 정수를 계산하고, 최대 정수에 해당하는 횟수만큼 프로젝터(102)가 동일한 패턴광을 투사하는 경우, 프로젝터(102)는 해당 횟수만큼 동일한 패턴광을 투사한 후 프레임주기에 도달할 때까지(즉, 카메라(103)가 해당 패턴에 대한 촬영을 완료할 때까지) 패턴광을 투사하지 않고 대기함으로서 프로젝터(102)와 카메라(103)를 동기화할 수 있다.

도 4는 본 발명의 다른 실시예에 따른 프레임주기와 광출사 주기가 상이한 경우에 관한 일 예이다.

도 4에서 프로젝터(102)의 광출사 주기는 15ms이고, 카메라(103)의 프레임주기는 50ms인 경우를 가정한다. 동기화 장치(100)는 프로젝터(102)의 광출사 주기와 카메라(103)의 프레임주기가 상이하므로, 프로젝터(102)와 카메라(103)간의 동기화를 위하여 프로젝터(102)가 동일한 패턴광을 복수번 출사하도록 제어한다. 이 때, 광투사주기와의 곱이 프레임주기 이상인 최소 정수를 찾아서, 프로젝터(102)가 최대 정수만큼 반복하여 동일한 패턴광을 출사하도록 한다. 도 4에서는, 프레임주기가 50ms이고, 광출사 주기가 15ms이므로 프로젝터(102)는 동일한 패턴광을 4번 출사한다.

이하에서는, 시간의 경과에 따라 프로젝터(102)와 카메라(103)의 동작을 설명한다.

0ms~50ms: 프로젝터(102)는 제 1 패턴광(411,412,413,414)을 출사하며, 카메라(103)는 제 1 영상(421)을 촬영한다. 프레임주기인 50ms에 도달하면 카메라(103)는 제 1 영상(421)에 대한 촬영을 완료한다.

50~60ms: 카메라(103)는 제 1 영상(421)에 대한 촬영을 완료하였으나, 프로젝터(102)가 여전히 제 1 패턴광(414)를 출사하므로, 카메라(103)는 새로운 영상에 대한 촬영을 시작하지 않고 10ms동안 대기한다.

60ms~: 프로젝터(102)는 제 2 패턴(415)에 대한 출사를 시작하고, 카메라(103)는 제 2 영상(422)에 대한 촬영을 시작한다.

이와 같이, 광투사주기와의 곱이 프레임주기 이상인 최소 정수를 계산하고, 최소 정수에 해당하는 횟수만큼 프로젝터(102)가 동일한 패턴광을 투사하는 경우, 카메라(103)는 프레임주기에 도달하면, 프로젝터(102)가 해당 횟수만큼 동일한 패턴광을 투사할 때까지 촬영을 하지 않고 대기함으로서 프로젝터(102)와 카메라(103)를 동기화할 수 있다.

도 5는 본 발명의 일 실시예에 따른 프로젝터(102)와 카메라(103)간의 동기화 방법에 관한 흐름도를 나타낸다.

단계 s510에서, 동기화 장치(100)는 프로젝터가 하나의 패턴광을 투사하는데 필요한 시간인 광투사주기 및 카메라가 하나의 프레임을 생성하는데 필요한 시간인 프레임주기를 획득한다.

단계 s520에서, 프레임주기가 광투사주기보다 길다면 동기화 장치(100)는 프레임주기동안 프로젝터가 제 1 패턴광을 복수 번 투사하도록 제어한다. 즉, 카메라가 하나의 영상을 획득하는 동안 프로젝터(102)는 해당 영상에 대응하는 패턴광을 복수 번 투사한다.

단계 s530에서, 동기화 장치(100)는 프레임주기에 도달하면 카메라(103)가 프레임을 생성하도록 제어한다.

프레임주기가 광투사주기의 정수배라면 동기화 장치(100)는 해당 정수만큼 프로젝터(102)가 동일한 패턴광을 출사하도록 제어하면 충분하다. 그렇지만, 프레임주기가 광투사주기의 정수배가 아니라면, 동기화 장치(100)는 프로젝터(102) 또는 카메라(103)를 제어하여 일정 시간동안 동작을 지연시켜야 한다.

<프로젝터(102)의 동작을 지연시키는 경우>

동기화 장치(100)가 광투사주기와의 곱이 프레임주기 이하인 최대 정수를 계산하고, 최대 정수에 해당하는 횟수만큼 프로젝터(102)가 제 1 패턴광을 투사하도록 제어한 경우를 가정해보자. 이 경우, 해당 횟수만큼 제 1 패턴광을 투사한 이후에도 카메라(103)의 프레임주기에 도달하지 못한다. 따라서, 동기화 장치(100)는 프로젝터(102)가 해당 횟수만큼 제 1 패턴광을 투사한 이후에는 카메라(103)의 프레임주기에 도달할 때까지(즉, 카메라(103)가 해당 영상에 대한 촬영을 완료할 때까지) 프로젝터(102)가 패턴광을 출력하지 않도록 제어한다.

<카메라(103)의 동작을 지연시키는 경우>

이번에는, 동기화 장치(100)가 광투사주기와의 곱이 프레임주기 이상인 최초 정수를 계산하고, 최소 정수에 해당하는 횟수만큼 프로젝터(102)가 제 1 패턴광을 투사하도록 제어한 경우를 가정해보자. 이 경우, 카메라(103)의 프레임주기에 도달한 이후에도 프로젝터(102)는 제 1 패턴광을 출사하고 있을 것이다. 따라서, 프레임주기에 도달하면(즉, 카메라(103)가 해당 영상에 대한 촬영을 완료하면) 프로젝터(102)가 제 1 패턴광을 모두 투사할 때까지 카메라(103)가 영상을 촬영하지 않도록 제어한다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.

지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

110: 정보 획득부
120: 프로젝터 제어부
130: 카메라 제어부
101: PC
102: 프로젝터
103: 카메라
100: 동기화 장치

Claims (13)

1. 프로젝터와 카메라를 동기화하는 방법에 있어서,
   상기 프로젝터가 하나의 패턴광을 투사하는데 소요되는 시간인 광투사주기 및 상기 카메라가 하나의 프레임을 생성하는데 필요한 시간인 프레임주기를 획득하는 단계;
   상기 프레임주기가 상기 광투사주기보다 긴 경우, 상기 프레임주기동안 상기 프로젝터가 제 1 패턴광을 복수 번 투사하도록 제어하는 제 1 제어 단계; 및
   상기 프레임주기에 도달하면, 상기 카메라가 프레임을 생성하도록 제어하는제 2 제어 단계를 포함하되,
   상기 제 1 제어 단계는,
   상기 광투사주기와 정수의 곱이 상기 프레임주기 이하인 최대 정수를 계산하는 단계; 및
   상기 최대 정수에 해당하는 횟수만큼 상기 제 1 패턴광을 투사하도록 상기 프로젝터를 제어하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
   
2. 삭제
3. 제 1 항에 있어서, 상기 제 1 제어 단계는,
   상기 프레임주기에 도달하면, 상기 프로젝터가 제 2 패턴광을 투사하도록 제어하는 것을 특징으로 하는 동기화 방법.
4. 제 1항에 있어서, 상기 제 1 제어 단계는,
   상기 광투사주기와의 곱이 상기 프레임주기 이상이 되는 최소 정수를 계산하는 단계; 및
   상기 최소 정수에 해당하는 횟수만큼 상기 제 1 패턴광을 투사하도록 상기 프로젝터를 제어하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
5. 제 4항에 있어서, 상기 제 2 제어 단계는,
   상기 프레임주기에 도달한 시점부터 상기 프로젝터가 상기 제 1 패턴광의 투사를 완료할 때까지 상기 카메라가 영상을 촬영하지 않도록 제어하는 것을 특징으로 하는 동기화 방법.
6. 제 1항에 있어서, 상기 프레임주기를 획득하는 단계는,
   상기 카메라의 노출 시간에 관한 정보를 획득하는 단계; 및
   상기 노출 시간에 관한 정보에 기초하여 상기 프레임주기를 계산하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
7. 제 1항에 있어서, 상기 프레임주기를 획득하는 단계는,
   상기 카메라가 생성하는 영상의 해상도 정보를 획득하는 단계; 및
   상기 해상도 정보에 기초하여 상기 프레임주기를 계산하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
8. 제 1항에 있어서, 상기 제 1 제어 단계는,
   상기 제 1 패턴광에 관한 이미지 정보 및 상기 제 1 패턴광의 투사 타이밍에 관한 정보가 포함된 데이터를 상기 프로젝터로 전송하는 단계를 포함하는 것을 특징으로 하는 동기화 방법.
9. 프로젝터와 카메라를 동기화하는 장치에 있어서,
   상기 프로젝터가 하나의 패턴광을 투사하는데 소요되는 시간인 광투사주기 및 상기 카메라가 하나의 프레임을 생성하는데 필요한 시간인 프레임주기를 획득하는 정보 획득부;
   상기 프레임주기가 상기 광투사주기보다 긴 경우, 상기 프레임주기동안 상기 프로젝터가 제 1 패턴광을 복수 번 투사하도록 제어하는 프로젝터 제어부; 및
   상기 프레임주기에 도달하면, 상기 카메라가 프레임을 생성하도록 제어하는카메라 제어부를 포함하되,
   상기 프로젝터 제어부는,
   상기 광투사주기와 정수의 곱이 상기 프레임주기 이하인 최대 정수를 계산하고,
   상기 최대 정수에 해당하는 횟수만큼 상기 제 1 패턴광을 투사하도록 상기 프로젝터를 제어하는 것을 특징으로 하는 동기화 장치.
   
10. 삭제
11. 제 9 항에 있어서, 상기 프로젝터 제어부는,
    상기 프레임주기에 도달하면, 상기 프로젝터가 제 2 패턴광을 투사하도록 제어하는 것을 특징으로 하는 동기화 장치.
12. 제 9항에 있어서, 상기 프로젝터 제어부는,
    상기 제 1 패턴광에 관한 이미지 정보 및 상기 제 1 패턴광의 투사 타이밍에 관한 정보가 포함된 데이터를 상기 프로젝터로 전송하는 것을 특징으로 하는 동기화 장치.
13. 제 9항에 있어서, 상기 동기화 장치는,
    FPGA(Field Programmable Gate Array)를 포함하는 것을 특징으로 하는 동기화 장치.

Images