KR20160146196A

KR20160146196A - 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법

Info

Publication number: KR20160146196A
Application number: KR1020150083122A
Authority: KR
Inventors: 이석한; 무하마드 아티프; 한국진
Original assignee: 성균관대학교산학협력단
Priority date: 2015-06-12
Filing date: 2015-06-12
Publication date: 2016-12-21
Also published as: US10200679B2; KR101697200B1; US20190200005A1; US11463679B2; US20230024006A1; US20160366397A1

Abstract

본 발명은 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 확득 방법에 관한 것이다. 상기 임베디드 시스템은 상기 패턴을 실시간으로 생성하는 패턴 생성 모듈; 및 카메라 동기화 신호를 트리거 신호로 변환하여 카메라로 전송하는 카메라 트리거 모듈을 포함한다. 상기 생성된 패턴을 투사 장치로 투사하기 위해 비디오 신호로 변환하는 변환 모듈 및 상기 패턴 투사 및 캡처 명령을 수신하는 통신 모듈을 더 포함할 수 있다. 상기 고속화된 구조광 기반 3차원 카메라 시스템은 패턴 투사 및 캡처 명령을 수신하여 실시간 패턴을 생성하는 임베디드 시스템; 패턴을 투사하는 투사 장치; 및 투사된 패턴을 포함한 물체 이미지를 캡처하는 카메라를 포함한다. 상기 시스템을 이용하여 3차원 물체 이미지를 빠르고 더 정밀하게 획득할 수 있다.

Description

임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법{EMBEDDED SYSTEM, FAST STRUCTURED LIGHT BASED 3D CAMERA SYSTEM AND METHOD FOR OBTAINING 3D IMAGES USING THE SAME}

본 발명은 구조광 기반 3차원 카메라 시스템을 고속화 하기 위한 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법에 관한 것이다.

카메라를 이용하여 물체의 3차원 형상을 복원하는 기술은 크게 능동형 기술과 수동형 기술로 나뉠 수 있다. 능동형 기술의 대표적인 기술로는 레이저 삼각법과 구조광 기반 기술이 있고, 수동형 기술의 대표적인 기술로는 스테레오 비전이 있다. 능동형 기술은 수동형 기술에 비해 정밀도가 높아 산업용 또는 연구용으로 주로 사용된다.

구조광(Structured Light)을 사용하는 3차원 카메라는 스테레오 카메라(Stereo Camera)의 변형으로, 두 개의 동일한 카메라를 사용하는 스테레오 카메라와 달리, 그 중 하나의 카메라 대신 빔 프로젝터(beam projector)와 같은 투사 장치를 사용하여 구성된다. 이러한 구조광 카메라 시스템에서는, 물체에 투사 수단을 이용하여 패턴을 투사한 다음, 패턴이 투사된 물체를 카메라 등과 같은 영상 촬영 수단을 이용하여 촬영하고, 획득된 이미지를 분석하여 3차원 정보를 얻게 된다.

스테레오 카메라 시스템은 수동적으로 영상으로부터의 특징점(feature)만을 이용하는 반면, 구조광 카메라 시스템은 능동적으로 투사 수단으로부터 투사된 패턴을 특징점으로 이용하기 때문에, 높은 처리속도 및 공간 해상도를 가진다. 이러한 장점 때문에, 구조광 카메라 시스템은 물체의 모델링/인식, 3차원 계측, 산업검사, 리버스 엔지니어링(reverse engineering) 등에 널리 사용되고 있다.

그러나, 기존의 일반적인 구조광 3D 센서는 하기와 같은 문제점들을 가진다.

카메라와 패턴 투사용 장치 간 ns 단위의 정확한 제어가 어렵고 이러한 ns 단위의 제어를 하지 않을 경우 시간적 손실이 발생한다. 이러한 패턴 투사 및 이미지 획득 시간이 길어지면, 3D 센싱시간이 길어져 동적 물체의 3D 데이터 획득이 어렵다. 별도의 임베디드 시스템이 없을 시 PC의 통신이 OS를 거침으로서 필연적으로 지연이 발생한다.

또한 카메라 및 프로젝터 제어를 위한 별도의 프로세서 및 임베디드 장치를 사용할 경우, 투사용 패턴 코덱을 위한 메모리가 추가되어 프로세서 및 임베디드 장치의 부피 문제 및 추가적 비용이 발생한다.

이 외에도, 2D 센서는 특히나 산업용 로봇에 있어서 아무리 지능형 솔루션을 가지고 있다 해도 위치 정밀도가 부정확하기 때문에 수많은 교정 작업이 필요하게 된다. 이러한 교정 작업은 빠르게 변화하는 현대의 자동화 시스템에 있어서 부적합하기 때문에 산업자동화의 보급이 지체되는 이유 중 하나이다.

따라서, 산업용 로봇에 사용될 3D 센서 중 1mm이하의 오차를 가지면서 빠른 수행시간을 갖는 센서를 사용해야 하는데 이는 굉장히 고가이며, 부피와 무게 또한 크다. 예를 들어 Aicon사의 SmartScan의 경우 높은 정밀도를 가지고 있지만 4Kg의 무게와 10만~15만 달러의 매우 고가의 장비이며 거리 또한 6~26cm로 매우 한정적이다. 이는 페이로드(payload)가 좋은 고가의 로봇이 아니면 핸드에 부착이 힘들기 때문에 주변 환경에 부착되어 고정된 형태가 될 수밖에 없고 따라서 활용도 또한 떨어지게 된다. 다른 센서로는 Faro사의 Laser Scanner Focus 3D와 같은 경우 2mm의 오차를 가지며 5Kg의 무게를 가지고 있다. 이는 Laser 센서임에도 불구하고 상대적으로 낮은 정밀도를 가지며 높은 무게 때문에 앞의 Aicon사와 같은 문제점을 가지고 있다. 또 다른 센서로 Imetric사의 Iscan M300 V70의 경우 앞서 언급했던 문제점들을 해결하기 위한 경량 모바일 시스템(Light weight mobile System)을 강조하고 있지만 2.4Kg의 무게와 23.5cm ~ 75cm의 범위를 가진다. 가벼운 모바일 시스템인데도 2.4Kg이며 이는 보급형 산업용 로봇의 페이로드(payload)의 대다수를 차지하거나 초과하기 때문에 로봇 핸드에 설치가 어렵다.

상기 언급한 바와 같은 문제들 때문에 3D 센서의 고정확/고정밀/경량화는 기존 셀생산과 외관검사 등 인간에 의존할 수밖에 없었던 작업을 로봇이 대신하기 위해 반드시 필요하며 3D 영상을 사용함으로써 대상물을 좀 더 정확하게 인식 가능하게 하는 기술의 도입이 확대되고 있다.

본 발명은 구조광 기반 3차원 카메라에서 고속화 및 비용 절감을 위한 방법 및 시스템을 제공하는데 그 목적이 있다. 프로젝터(혹은 DMD를 통한 영상 투사 장치)의 정확한 투사 타이밍 및 카메라의 캡처 제어와 투사 패턴의 실시간 생성으로 PC에 추가적인 메모리를 장착하지 않고 FPGA/DSP 혹은 Micro Controller Unit(MCU)를 추가함으로써 저가의 비용으로 고속화된 임베디드 시스템, 구조광 기반 3차원 카메라 시스템 및 이를 이용하여 3차원 이미지를 획득하는 방법을 제공한다.

본 발명은 임베디드 시스템을 이용하여 실시간으로 패턴을 생성하고 카메라와 투사장치를 동기화하여 구조광 기반 3차원 카메라를 고속화 및 경량화 하기 위한 시스템 및 방법을 제공한다.

본 발명의 일 측면에 따르면, 컴퓨팅 디바이스에서 패턴을 생성하지 않고 임베디드 시스템에서 상기 패턴을 실시간으로 생성하고 비디오 신호로 변환하여 투사장치로 제공할 수 있다. 상기 임베디드 시스템은 상기 패턴을 실시간으로 생성하는 패턴 생성 모듈과 카메라 동기화 신호를 트리거 신호로 변환하여 카메라로 전송하는 카메라 트리거 모듈을 포함한다.

상기 패턴을 실시간으로 생성하는 패턴 생성 모듈은 패턴 투사 및 캡처 명령에 응답하여 상기 패턴을 실시간으로 생성할 수 있다.

상기 패턴 투사 및 캡처 명령은 컴퓨팅 디바이스로부터 수신할 수 있다.

상기 임베디드 시스템은 상기 패턴 투사 및 캡처 명령을 수신하는 통신 모듈을 더 포함할 수 있다.

상기 생성된 패턴을 투사 장치로 투사하기 위해 비디오 신호로 변환하는 변환 모듈을 더 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 패턴 투사 및 캡처 명령을 수신하여 실시간 패턴을 생성하는 임베디드 시스템과 상기 패턴을 투사하는 투사 장치와 상기 투사된 패턴을 포함한 물체 이미지를 캡처하는 카메라를 포함하는 고속화된 구조광 기반 3차원 카메라 시스템을 제공한다.

상기 고속화된 구조광 기반 3차원 카메라 시스템은 상기 패턴 투사 및 캡처 명령을 상기 임베디드 시스템으로 전송하고 상기 카메라로부터 캡처된 이미지를 수신하여 3차원 이미지를 복원하는 컴퓨팅 디바이스를 더 포함할 수 있다.

상기 컴퓨팅 디바이스는 사용자가 명령을 입력하고 상기 캡처된 이미지 및 상기 복원된 3차원 이미지를 조회하는 사용자 인터페이스와 유선 및 무선 중 어느 하나의 연속적인 통신 링크를 통하여 상기 패턴 투사 및 캡처 명령을 상기 임베디드 시스템으로 송신하고 상기 카메라로부터 캡처된 이미지를 수신하는 통신 모듈을 포함할 수 있다.

상기 컴퓨팅 디바이스는 또한 상기 캡처된 이미지 및 상기 복원된 3차원 이미지를 저장하는 저장부를 더 포함할 수 있다.

상기 카메라는 트리거 신호를 통해 상기 투사장치와 동기화되어 상기 투사장치가 투사하는 패턴을 포함한 이미지를 캡처하고 상기 캡처된 이미지를 컴퓨팅 디바이스로 유선 및 무선 중 어느 하나의 연속적인 통신 링크를 통하여 전송할 수 있다.

본 발명의 또 다른 측면에 따르면, 컴퓨팅 디바이스에서 패턴을 생성하지 않고 임베디드 시스템에서 상기 패턴을 실시간으로 생성하고 비디오 신호로 변환하여 투사장치로 제공하는 구조광 3차원 카메라로 3차원 이미지를 획득하는 방법을 제공한다. 상기 방법은 상기 임베디드 시스템에서 패턴을 실시간으로 생성하는 단계와 상기 임베디드 시스템에서 카메라 동기화 신호를 생성하고 상기 카메라 동기화 신호를 트리거 신호로 변환하여 카메라로 전송하는 단계를 포함한다.

상기 구조광 3차원 카메라로 3차원 이미지를 획득하는 방법은 컴퓨팅 디바이스로부터 상기 임베디드 시스템으로 유선 링크 및 무선 링크 중 어느 하나를 통해 패턴 투사 및 캡처 명령을 전송하는 단계를 더 포함할 수 있다.

상기 패턴을 생성하는 단계는 패턴 투사 및 캡처 명령에 응답하여 패턴을 실시간으로 생성하는 것을 포함할 수 있다.

상기 구조광 3차원 카메라로 3차원 이미지를 획득하는 방법은 상기 패턴을 투사 장치로 투사하기 위해 상기 임베디드 시스템에서 비디오 신호로 변환하는 단계를 더 포함할 수 있다.

상기 구조광 3차원 카메라로 3차원 이미지를 획득하는 방법은 상기 패턴을 물체에 투사하고 상기 투사된 패턴을 포함하는 물체 이미지를 캡처하는 단계를 더 포함할 수 있다.

상기 구조광 3차원 카메라로 3차원 이미지를 획득하는 방법은 컴퓨팅 디바이스에서 상기 캡처된 물체 이미지로부터 3차원 이미지를 구성하는 단계를 더 포함할 수 있다.

상기 구조광 3차원 카메라로 3차원 이미지를 획득하는 방법은 상기 패턴을 실시간으로 생성하는 단계, 상기 패턴을 변환하는 단계 및 상기 트리거 신호를 전송하는 단계를 초기 설정에서 정한 횟수만큼 반복하는 것을 더 포함할 수 있다.

본 발명에 따른 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법은 MCU(Micro Controller Unit) 혹은 FPGA(Field Programmable Gate Array)기반의 임베디드 장치 설계 및 방법론을 이용한 고정밀/고정확/고속화 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법에 관한 것으로 기존 3D 구조광 센서의 고속화 및 경량화 문제를 해결할 수 있다.

본 발명은 임베디드 시스템 내에서 패턴이 고속으로 실시간 생성되기 때문에 컴퓨팅 디바이스의 운영체제에서 프로세싱 과정을 거치지 않는다. 그러므로, 운영체제 내에 패턴에 대한 추가적인 메모리 사용 및 점유를 요구하지 않는다. 또한, 패턴을 투사하는 시간 동안 다음 패턴을 생성하기 때문에 빠른 속도를 유지할 수 있다. 이러한 생성 및 전송 작업들이 임베디드 시스템 내에서 수행되기 때문에 PC에서 패턴을 생성 및 전송하는 것보다 더욱 빠른 투사가 가능하게 된다. 그러므로 본 발명은 기존보다 많은 패턴을 사용하여 아주 높은 정밀도를 가질 수 있게 하고 만약 기존과 같은 패턴을 투사할 경우에는 실시간성이 매우 높은 고속화를 가능하게 해준다.

도 1은 구조광 기반 3차원 카메라 시스템의 개략적인 블록 다이어그램이다.
도 2는 임베디드 시스템의 내부 구조의 개략적인 다이어그램이다.
도 3은 구조광 기반 3차원 카메라 시스템의 흐름도이다.
도 4는 실험 시스템 개략도이다.
도 5a-5d는 투사 패턴의 생성 과정의 예를 도시한다.
도 6은 실험에서 복원된 3차원 이미지를 디스플레이하는 사용자 인터페이스 화면이다.
도 7a는 기존 방식 실험 예의 총 캡처 시간이다.
도 7b는 본 발명을 이용한 실험 예의 총 캡처 시간이다.

본 발명은 다양한 변경이 가능하고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 도시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 예에 불과하며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 단수의 표현은 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 본 출원에서 “포함하다”또는“가지다”등의 용어는 기술되는 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 명시할 뿐이고, 하나 또는 그 이상의 다른 특징들이 부가될 수 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시 예를 보다 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 구조광 3차원 카메라 시스템의 개략적인 블록 다이어그램을 도시한다. 도 1을 참조하면, 구조광 3차원 카메라 시스템(100)은 임베디드 시스템(103), 카메라(104) 및 투사장치(105)를 포함한다. 상기 시스템(100)은 컴퓨팅 디바이스(101)를 더 포함할 수 있다. 또한 컴퓨팅 디바이스와 임베디드 시스템 간 통신링크(102) 및 컴퓨팅 디바이스와 카메라간 통신링크(106)중 적어도 하나를 더 포함할 수 있다.

구조광 기반 3차원 카메라 시스템(100)에서 컴퓨팅 디바이스(101)는 구조광기반 3차원 카메라로 3차원 이미지를 획득하기 위한 사용자 입력 및 이미지 데이터 조회 등을 할 수 있는 사용자 인터페이스, 패턴 투사 및 캡처 명령을 상기 임베디드 시스템으로 송신하고 카메라로부터 캡처된 이미지를 수신할 수 있는 통신 인터페이스를 포함한다. 또한 초기 설정, 캡처된 이미지, 3차원 복원된 이미지 등을 저장하는 저장부를 더 포함할 수 있다. 상기 컴퓨팅 디바이스(101)는 예를 들어, PC, Laptop, Notepad, 각종 Smart Device들 중 어느 하나가 될 수 있다. 상기 컴퓨팅 디바이스(101)는 상기 사용자 인터페이스를 통해 사용자가 3차원 이미지를 획득하기 위한 패턴 투사 및 캡처 명령을 입력하면 상기 명령이 상기 통신 인터페이스를 통해 임베디드 시스템으로 전송될 수 있다. 선택적으로, 상기 사용자 인터페이스를 통해 사용자가 미리 상기 패턴 투사 및 캡처 명령을 보내는 시간 및 횟수를 지정할 수 있다. 또한, 상기 컴퓨팅 디바이스(101)은 카메라(104)로부터 투사된 패턴을 포함한 캡처 이미지를 수신하여 3차원 이미지를 복원한다.

상기 통신 링크(102)는 연속적인 통신 링크로 컴퓨팅 디바이스(101)로부터 임베디드 시스템(103)으로 패턴 투사 및 캡처 명령을 전송하는 유선 또는 무선 통신 링크이다.

상기 임베디드 시스템(103)은 상기 컴퓨팅 디바이스(101)로부터 명령을 수신하여 내부 메모리를 사용하지 않고 실시간으로 패턴 데이터를 생성한다. 그런 다음 투사하기 위한 패턴 비디오 신호를 생성하고, 물체에 투사된 패턴을 포함한 이미지를 캡처하기 위한 카메라 트리거 신호를 생성한다. 상기 임베디드 시스템(103), 카메라(104) 및 투사 장치(105)는 다양한 배치를 가질 수 있고 물리적으로 연결될 수 있다. 이러한 물리적 연결들을 통해 패턴 비디오 신호가 투사 장치(105)로 전달되고 트리거 신호가 카메라(104)로 전달된다.

상기 투사 장치(105)는 상기 비디오 신호를 수신하여 상기 패턴을 투사할 수 있는 프로젝터 등의 장치이다.

상기 카메라(104)는 CCD 또는 CMOS 타입의 이미지 센서를 포함한다. 상기 카메라(104)는 트리거 신호를 통해 동기화되어 투사장치가 투사하는 패턴을 포함한 물체 이미지를 찍기 위해 셔터가 정확한 타이밍과 정확한 시간 동안 열릴 수 있다.

상기 컴퓨팅 디바이스와 카메라간 통신링크(106)은 연속적인 통신 링크로 카메라(104)로부터 컴퓨팅 디바이스(101)로 투사된 패턴을 포함한 캡처 이미지를 전송하는 유선 또는 무선 통신 링크이다.

도 2는 임베디드 시스템의 내부 구조의 개략적인 다이어그램을 도시한다. 상기 임베디드 시스템(103)은 FPGA, DSP, Micro-Controller 등을 기반으로 구현될 수 있다. 상기 임베디드 시스템(103)은 패턴 생성 모듈(202) 및 카메라 트리거 모듈(205)를 포함한다. 상기 임베디드 시스템(103)은 통신 모듈(201) 또는 변환 모듈(203)을 더 포함할 수 있다. 또한, 상기 변환 모듈(203)에서 카메라 동기화 신호가 생성되어 카메라 트리거 모듈(205)로 보내지는 소프트웨어 링크(204)를 더 포함할 수 있다.

상기 통신 모듈(201)은 컴퓨팅 디바이스(101)로부터 패턴 투사 및 캡처 명령을 수신하는 통신 모듈로 serial, UDP/TCP 등으로 구현될 수 있다.

상기 패턴 생성 모듈(202)는 컴퓨팅 디바이스(101)로부터 상기 패턴 투사 및 캡처 명령을 수신했을 때 실시간으로 패턴을 생성하는 모듈이다. 이 모듈은 임베디드 시스템(103)에서 코덱을 통해 실시간으로 계산되어 처리되는 다양한 패턴을 생성할 수 있다.

상기 변환 모듈(203)은 생성된 패턴을 투사장치로 투사하기 위해 비디오 신호로 변환한다. 예를 들어, 5가지 VGA신호(V Sync, H Sync, R Signal Data, G Signal Data, B Signal Data)로 변환할 수 있다. 이와 동시에 상기 소프트웨어 링크(204)를 통해 카메라 트리거 모듈(205)로 보낼 카메라 동기화 신호를 생성한다.

상기 카메라 트리거 모듈(205)은 수신된 카메라 동기화 신호를 카메라(104)에 보낼 트리거 신호 형태로 변환하여 전송한다. 생성된 트리거 신호는 임베디드 시스템(103)으로부터 카메라(104)의 트리거 핀으로 전송되어 카메라에서의 이미지 캡처와 패턴 투사 간에 정확한 동기화를 이룰 수 있게 한다.

도 3은 구조광 기반 3차원 카메라 시스템(100)의 흐름도를 도시한다. 도 3을 참조하면, 구조광 기반 3차원 카메라 시스템은 물체의 3차원 이미지를 획득하기 위해 하기와 같은 순서의 처리 과정을 거친다.

사용자는 컴퓨팅 디바이스(101)의 사용자 인터페이스 화면을 통해 카메라 관련 값들 및 파라미터들을 입력할 수 있다. 입력 순서는 먼저, 카메라(104)의 종류에 따른 초기값을 설정한다(S301). 두번째로, 구조광 기반 3차원 카메라 시스템(100)에 맞는 카메라 파라미터를 입력하여 조정한다(S302). 마지막으로, 이미지 캡처와 패턴 투사의 동기화를 위한 트리거를 설정하는 순서로 진행될 수 있다(S303). 이 과정이 종료되면 카메라는 트리거 신호를 대기하는 상태에 놓이게 된다(S304).

그런 다음, 컴퓨팅 디바이스(101)에서 통신용 포트와 통신 속도 값을 설정하여 임베디드 시스템(103)에 접속하고(S305), 상기 임베디드 시스템(103)으로 미리 정의된 신호(패턴 투사 및 캡처 명령)를 전송한다(S306).

상기 임베디드 시스템(103)은 상기 신호(패턴 투사 및 캡처 명령)를 수신하여 패턴 데이터를 계산한다(S312). 생성된 패턴을 비디오 신호로 변환한다(S313). 예를 들어, 5가지 VGA 신호(V Sync, H Sync, R Signal Data, G Signal Data, B Signal Data)로 변환할 수 있다. 상기 변환과 동시에 카메라 동기화 신호를 생성한다. 상기 패턴 데이터 생성, 변환 및 동기화 신호 생성 과정을 미리 정의한 횟수만큼 반복한다(S315). 상기 변환된 패턴은 투사 장치(105)로 전송되고, 상기 동기화 신호에 의해 생성된 트리거 신호(S317)는 카메라(104)로 전송된다(S314).

상기 투사 장치(105)는 상기 변환된 패턴(S316)을 수신하여 대상 물체에 패턴 을 투사하고(S318), 상기 카메라(104)는 상기 투사된 패턴을 포함한 물체 이미지를 캡처한다(S319).

상기 카메라(104)는 상기 캡처된 이미지(S308)를 컴퓨팅 디바이스와 카메라간 통신링크(106)를 통해 컴퓨팅 디바이스(101)로 전송한다. 상기 컴퓨팅 디바이스(101)은 상기 수신된 이미지를 저장매체를 통해 저장하고(S309), 상기 저장된 이미지를 디코딩하여 3차원 이미지로 복원한다(S310).

컴퓨팅 디바이스(101)에서 사용자는 사용자 인터페이스 화면을 통해 다음 작업들을 수행할 수 있다. 사용자는 카메라 초기 값 설정, 카메라 파라미터 입력, 트리거 세팅 등의 초기 설정 작업을 수행할 수 있다. 초기 설정 작업이 마무리되면 사용자는 사용자 인터페이스 화면의 패턴 투사/카메라 캡처 버튼 등의 선택을 통해 임베디드 시스템으로 패턴 투사 및 카메라 캡처 명령을 송신할 수 있다. 선택적으로, 사용자는 미리 상기 패턴 투사 및 카메라 캡처 명령 전송 시간 및 횟수를 지정하여 지정된 시간에 지정된 횟수로 상기 명령을 자동으로 송신할 수도 있다.

임베디드 시스템(103), 카메라(104) 및 투사장치(105)에서 이루어지는 처리 과정 진행을 실시간으로 사용자 인터페이스 화면을 통해 사용자가 조회할 수 있다.

사용자는 상기 카메라(104)로부터 수신된 패턴을 포함한 물체 이미지를 사용자 인터페이스 화면에서 조회할 수 있다. 또한 최종 3D 이미지 복원 작업을 통해 나온 3차원 물체 이미지를 상기 화면에서 조회할 수 있다. 이 때, 복원된 3차원 물체 이미지 조회시 이미지의 선명도를 높이기 위해 명도, 채도, 콘트라스트 등의 조절이 가능하고, 불필요한 배경 등의 삭제도 가능하다.

실험 예

상기 기술한 바와 같은 본 발명의 예시 시스템을 구현하여 종래 방식과 비교하였다. 실험 시스템은 도 4에 도시된 바와 같이 구현하였다. 컴퓨팅 디바이스는 노트북을 사용하였고 노트북과 임베디드 시스템간의 연결은 유선으로 하였다. 임베디드 시스템 구현은 FPGA(field Programmable Gate Array)로 하였고 로봇 팔과 유사한 거치대에 카메라와 투사장치인 프로젝터를 같이 설치하여 실험하였다. 종래 방식은 임베디드 시스템 없이 PC와 카메라, PC와 프로젝터를 연결하여 실험하였다. 도 4에 보여지는 석고상을 촬영대상 3차원 물체로 이용하였다. 본 실험 예에서는 전체의 코드를 몇 개의 계층으로 나누고 계층 안의 코드가 직교한 성질을 갖도록 배열한 코드인 'HOC(Hierarchical Orthogonal Coding)'을 사용한 패턴(관련 논문: S. Lee, J. Choi, D. Kim et al., "Signal Separation Coding for Robust Depth Imaging Based on Structured Light.", Proceedings of the IEEE International Conference on Robotics and Automation, 2005, pp. 4430-4436. 및 한국특허공개번호 제10-2013-0000356호 참조)을 실시간 생성하도록 하였다. 도 5a 내지 도 5d는 투사 패턴 생성 과정의 예를 도시한다. 상기 예에 의하면, 먼저

코덱을 생성한다(도 5a).

코덱을 2진수로 인코딩하기 위해 코덱을 세부구간으로 나눈다(도 5b). 코덱을 읽어 인코딩하여 2진수로 변환한다(검정:1, 없음:0)(도 5c). 마지막으로 변환된 코덱 값을 바탕으로 투사 패턴을 생성한다(도 5d). 촬영시 상기 과정을 통해 생성된 패턴을 투사하고 상기 패턴을 포함한 이미지를 캡처하였다. 상기 투사 패턴은 실험에서 사용한 예일 뿐이며, 본 발명의 시스템은 도 5d에 나타난 패턴뿐만 아니라 다양한 패턴을 실시간으로 생성할 수 있다. 도 6은 캡처된 이미지를 노트북에서 복원한 결과 화면이다. 도 7a 및 도 7b는 기존 방식과 본 발명 실험예의 총 캡처 시간 화면이다. 실험 예에서 종래 방식의 경우 1865ms의 총 캡처 시간이 본 발명 시스템의 경우 1077ms으로 종래 방식 대비 약 57% 가량 총 캡처 시간이 단축되는 것을 볼 수 있다.

상기 실시 예들을 기반으로 본 발명의 장점들을 살펴보면 고성능 MCU(Micro Controller Unit)나 FPGA/DSP가 탑재되어 있는 시스템을 택해 빠른 영상 및 신호 처리가 가능할 수 있다. 기존의 구조광 3차원 센서의 경우 PC의 운영체제 때문에 빠르게 제어하려 해도 정확한 동기화를 할 수 없었으나 본 발명은 임베디드 시스템에 운영체제를 탑재하지 않아 빠른 신호처리가 가능할 수 있다. 또한 패턴을 투사하는 동안 다음 패턴을 생성하기 때문에 빠른 속도를 유지할 수 있다. 그러므로 단시간에 많은 패턴을 투사할 수 있다. 이러한 고속화를 통해 고속으로 움직이는 물체의 3차원 측정 또한 가능할 수 있고 더 정밀한 측정이 가능하다. 추가적으로 패턴을 임베디드 시스템에서 실시간으로 생성하므로 추가적인 메모리를 사용하지 않아 경량화 및 가격 절감의 효과도 있다.

본 발명의 여러 실시 예가 기술되었다. 그럼에도 불구하고, 전술한 설명은 예시를 위한 것이며 다음의 청구범위에 의해 정의되는 본 발명의 범위를 한정하는 것이 아닌 것으로 이해되어야 한다. 따라서, 다른 실시 예들 또한 다음 청구범위에서 정의되는 기술적 사상의 범위 내에 있을 수 있다. 예를 들어, 본 발명의 기술 분야의 통상의 지식을 가진 자라면 본 발명의 범위를 벗어남 없이 다양한 변경을 만들 수 있다. 부가적으로, 상기 기술된 단계들의 일부는 순서 독립적이므로 기술된 것과 다른 순서로 수행될 수 있다. 또한 상기 기술된 단계들 중 일부 단계가 생략되거나 다른 단계가 더 포함될 수 있다.

100: 구조광 기반 3차원 카메라 시스템
101: 컴퓨팅 디바이스 102: 통신 링크
103: 임베디드 시스템 104: 카메라
105: 투사장치 106: 카메라와 컴퓨팅디바이스 간 통신 링크
201: 통신 모듈 202: 패턴 생성 모듈
203: 변환 모듈 204: 소프트웨어 링크
205: 카메라 트리거 모듈

Claims

임베디드 시스템으로서,
컴퓨팅 디바이스에서 패턴을 생성하지 않고 상기 임베디드 시스템에서 상기 패턴을 실시간으로 생성하고 비디오 신호로 변환하여 투사장치로 제공하되, 상기 임베디드 시스템은,
상기 패턴을 실시간으로 생성하는 패턴 생성 모듈; 및
카메라 동기화 신호를 트리거 신호로 변환하여 카메라로 전송하는 카메라 트리거 모듈을 포함하는 것을 특징으로 하는 실시간 패턴을 생성하는 임베디드 시스템.
제1항에 있어서,
상기 패턴을 실시간으로 생성하는 패턴 생성 모듈은 패턴 투사 및 캡처 명령에 응답하여 상기 패턴을 실시간으로 생성하는 것을 특징으로 하는 실시간 패턴을 생성하는 임베디드 시스템.
제2항에 있어서,
상기 패턴 투사 및 캡처 명령은 컴퓨팅 디바이스로부터 수신하는 것을 특징으로 하는 실시간 패턴을 생성하는 임베디드 시스템.
제3항에 있어서,
상기 패턴 투사 및 캡처 명령을 수신하는 통신 모듈을 더 포함하는 실시간 패턴을 생성하는 임베디드 시스템.
제1항에 있어서,
상기 생성된 패턴을 투사 장치로 투사하기 위해 비디오 신호로 변환하는 변환 모듈을 더 포함하는 실시간 패턴을 생성하는 임베디드 시스템.
고속화된 구조광 기반 3차원 카메라 시스템에서,
상기 시스템은
패턴 투사 및 캡처 명령을 수신하여 실시간 패턴을 생성하는 임베디드 시스템;
상기 패턴을 투사하는 투사 장치; 및
상기 투사된 패턴을 포함한 물체 이미지를 캡처하는 카메라를 포함하는 고속화된 구조광 기반 3차원 카메라 시스템.
제6항에 있어서,
상기 패턴 투사 및 캡처 명령을 상기 임베디드 시스템으로 전송하고 상기 카메라로부터 캡처된 이미지를 수신하여 3차원 이미지를 복원하는 컴퓨팅 디바이스를 더 포함하는 고속화된 구조광 기반 3차원 카메라 시스템.
제7항에 있어서,
상기 컴퓨팅 디바이스는
사용자가 명령을 입력하고 상기 캡처된 이미지 및 상기 복원된 3차원 이미지를 조회하는 사용자 인터페이스; 및
유선 및 무선 중 어느 하나의 연속적인 통신 링크를 통하여 상기 패턴 투사 및 캡처 명령을 상기 임베디드 시스템으로 송신하고 상기 카메라로부터 캡처된 이미지를 수신하는 통신 인터페이스를 포함하는 고속화된 구조광 기반 3차원 카메라 시스템.
제8항에 있어서,
상기 컴퓨팅 디바이스는
상기 캡처된 이미지 및 상기 복원된 3차원 이미지를 저장하는 저장부를 더 포함하는 고속화된 구조광 기반 3차원 카메라 시스템.
제6항에 있어서,
상기 카메라는 트리거 신호를 통해 상기 투사장치와 동기화되어 상기 투사장치가 투사하는 패턴을 포함한 이미지를 캡처하고 상기 캡처된 이미지를 컴퓨팅 디바이스로 유선 및 무선 중 어느 하나의 연속적인 통신 링크를 통하여 전송하는 고속화된 구조광 기반 3차원 카메라 시스템.
컴퓨팅 디바이스에서 패턴을 생성하지 않고 임베디드 시스템에서 상기 패턴 을 실시간으로 생성하고 비디오 신호로 변환하여 투사장치로 제공하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법에 있어서,
상기 방법은
상기 임베디드 시스템에서 패턴을 실시간으로 생성하는 단계; 및
상기 임베디드 시스템에서 카메라 동기화 신호를 생성하고 상기 카메라 동기화 신호를 트리거 신호로 변환하여 카메라로 전송하는 단계를 포함하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법.
제11항에 있어서,
컴퓨팅 디바이스로부터 상기 임베디드 시스템으로 유선 링크 및 무선 링크 중 어느 하나를 통해 패턴 투사 및 캡처 명령을 전송하는 단계를 더 포함하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법.
제11항에 있어서,
상기 패턴을 생성하는 단계는 패턴 투사 및 캡처 명령에 응답하여 패턴을 실시간으로 생성하는 것을 특징으로 하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법.
제13항에 있어서,
상기 패턴을 투사 장치로 물체에 투사하기 위해 상기 임베디드 시스템에서 비디오 신호로 변환하는 단계를 더 포함하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법.
제14항에 있어서,
상기 패턴을 물체에 투사하고 상기 투사된 패턴을 포함하는 물체 이미지를 캡처하는 단계를 더 포함하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법.
제15항에 있어서,
컴퓨팅 디바이스에서 상기 캡처된 물체 이미지로부터 3차원 이미지를 구성하는 단계를 더 포함하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법.
제 14항에 있어서,
상기 패턴을 실시간으로 생성하는 단계, 상기 패턴을 변환하는 단계 및 상기 트리거 신호를 전송하는 단계를 초기 설정에서 정한 횟수만큼 반복하는 것을 더 포함하는 구조광 기반 3차원 카메라로 3차원 이미지를 획득하는 방법.