KR101824888B1 - 3차원 형상 측정 장치 및 그의 측정 방법 - Google Patents

Abstract

본 발명은 3차원 형상 측정 장치 및 그의 측정 방법에 관한 것으로, 본 발명의 일 실시예에 따른 3차원 형상 측정 장치는, 측정하고자 하는 대상물체에 상기 대상물체의 가변배율 영상을 제어하는 카메라를 포함하는 영상제어부; 기준 배율영상 및 상기 대상물체에 투영하는 기준 격자패턴의 유형 및 개수를 설정하고, 정밀한 3차원 측정을 위해 가변배율 영상 및 가변배율 격자패턴을 생성하며, 최소 격자패턴의 위치를 이동하여 서브 격자패턴을 생성하여 검사 격자패턴들을 발생하는 검사격자 패턴부를 포함하는 영상 및 신호제어수단; 상기 검사 격자패턴 정보를 수신하고, 상기 검사 격자패턴 정보에 따라 상기 대상물체에 라인광이 투영되도록 제어하기 위한 신호파형을 생성하는 패턴신호 발생부; 상기 대상물체에 투영되는 하나 이상의 라인패턴으로 구성된 격자패턴 형상을 생성하는 패턴투영부를 포함하는 격자패턴 투영수단; 상기 대상물체에 투영된 2차원 격자패턴과 동기화된 주기에 영상을 수신하는 영상입력수단; 순차적으로 발생된 상기 2차원 격자패턴들을 저장하고, 저장된 상기 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 3차원 좌표를 추출하는 정보처리수단; 및 상기 3차원 측정의 개시 및 영상정보를 디스플레이하는 출력수단을 포함하고, 상기 라인패턴은 상기 라인광이 신호파형에 의해 레이저 광을 생성하고, 상기 레이저 광이 렌즈의 의해 라인광으로 변환되며, 마이크로미러의 표면에 반사되어 생성되며, MEMS 일차원 마이크로미러가 단일 축에 따른 소정의 각도로 회전하는 동안, 상기 라인패턴의 제어는 신호파형의 발생 시점 제어에 의해 상기 라인광이 생성되고, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되도록 제어할 수 있다.

Description

3차원 형상 측정 장치 및 그의 측정 방법{THREE DIMENSIONAL SHAPE MEASURING APPARATUS AND MEASURING METHODE THEREOF}

본 발명은 3차원 형상 측정 장치 및 그의 측정 방법에 관한 것으로, 더욱 상세하게는 3차원 형상에 격자패턴의 조사를 통해 3차원 형상 측정 장치 및 그의 측정 방법에 관한 것이다.

종래에 측정하고자 하는 대상물체에 대해 3차원 형상을 측정하는 방법으로 구조화된 조명을 기초로 이를 실시간으로 구현하기 위해 최근 발전된 센서기술을 이용하여 고속 및 고해상도의 패턴 투영기능에 대한 다양한 기법들이 제시되고 있다. 이러한 3차원 측정을 위한 주요조건으로 속도, 정확도, 해상도 및 모듈화가 있다.

주요 공간부호화 3차원(3D) 형상 측정 방법은 다중 2차원(2D) 격자패턴을 순차적으로 입력받아 측정하는 다중샷 방식(multi-shot) 및 하나의 2D 격자패턴을 입력받아 측정하는 단일샷 방식(Sing-shot)으로 분류할 수 있다.

도 1은 종래의 3차원 형상 측정 장치를 설명하기 위한 도면이다. 도 1의 (a)는 종래의 3차원 형상 측정 장치의 개략도이고, 도 1의 (b)는 종래의 검사유형에 따른 격자패턴의 일례를 도시한 도면이다. 그리고 도 1의 (c)는 종래의 검사유형에 따른 격자패턴의 다른 예를 도시한 도면이다.

도 1의 (a)를 참조하면, 종래의 3차원 형상 측정 장치는, 격자패턴 프로젝터(1102) 및 카메라(1101)를 포함한다. 격자패턴 프로젝터(1102)는 측정하고자 하는 대상물체에 격자패턴을 조사하고, 격자패턴과 함께 광을 조사한다. 그에 따라 대상물체에 격자패턴(1103)이 투영된다. 카메라(1101)는 격자패턴(1103)이 투영된 대상물체를 촬영한다. 이렇게 카메라(1101)를 통해 입력된 영상을 분석하여, 대상물체의 3차원 형상을 측정할 수 있다.

상기와 같이, 촬영된 영상을 분석할 때, 검사 유형에 따라 도 1의 (b) 및 도 1의 (c)에 도시된 바와 같이, 다양한 격자패턴이 이용될 수 있는데, 격자패턴은 2D 격자패턴을 부호화하여 3D로 합성할 수 있다.

또한, 실시간 공간상에서 3D 측정을 위해, 광 발산 시, 패턴의 유형을 암호화하는 방법이 있는데, 일례로, 스펙클 패턴유형에서 마이크로렌즈를 이용한 랜덤 스펙클 패턴 방법, DLP(digital light preocessing) 프로젝터를 이용한 격자패턴조사나 일차원 마이크로미러를 이용한 조사 등이 있다.

랜덤 스펙클 패턴 방법은, 광원에서 조사된 광을 확산시키기 위해 마이크로 렌즈를 균일하게 배열하고, 랜덤 스펙클 패턴을 형성하여 패턴을 형성하며, 하나의 2D 격자패턴을 이용하여 손쉽게 3D 좌표를 산출할 수 있다. 하지만, 3D 좌표의 정밀도를 향상하기 위해 영상입력센서의 해상도가 높아져야 하고, 마이크로렌즈를 형성하는 격자필름을 보다 세밀하게 배치하여 정밀도를 향상시키여야 하는 문제가 있다.

그리고 DLP를 이용한 패턴의 조사 방법은 격자패턴의 해상도를 향상시키기 위해 영상입력센서의 해상도를 증가시키고, 2D로 배열된 마이크로미러의 DMD(digital micro-mirror device) 해상도를 보다 세밀하게 배치하여 정밀도를 향상시켜야 한다. 일례로, 마이크로미러의 해상도가 608x684인 장치에서 고해상도 카메라(예컨대, 2592x1944)에서 격자패턴이 입력되면, 한 개의 마이크로미러는 4개의 카메라 픽셀(pixel)에 대응되기 때문에 렌즈를 이용하여 영상을 확대하더라도 격자패턴의 크기도 확대되어, 격자패턴 사이에 있는 카메라 픽셀에 대한 정보의 추출이 쉽지 않다. 그렇기 때문에 이를 위해 주변의 픽셀 값의 정보를 이용하여 추가의 다른 방법을 고려해야 하는 문제가 있다.

상기와 같은 종래의 3차원 형상 측정 장치를 이용하여, 제스처인식, 로봇비전, 생체인식 등에서 공간상의 3차원 정밀도를 향상시키기 위해서는, 보다 세분화된 패턴을 조사할 필요가 있다.

미국 특허출원 제8493496호(2013.07.23)

본 발명이 해결하고자 하는 과제는, 제스처인식, 로봇비전, 생체인식 등에서 3차원 정밀도를 향상시키기 위해 세분화된 패턴을 조사하고, 이를 실시간으로 인식할 수 있는 3차원 형상 측정 장치 및 그의 측정 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 3차원 형상 측정 장치는, 측정하고자 하는 대상물체에 상기 대상물체의 가변배율 영상을 제어하는 카메라를 포함하는 영상제어부; 기준 배율영상 및 상기 대상물체에 투영하는 기준 격자패턴의 유형 및 개수를 설정하고, 정밀한 3차원 측정을 위해 가변배율 영상 및 가변배율 격자패턴을 생성하며, 최소 격자패턴의 위치를 이동하여 서브 격자패턴을 생성하여 검사 격자패턴들을 발생하는 검사 격자패턴 발생부를 포함하는 영상 및 신호제어수단; 상기 검사격자패턴 정보를 수신하고, 상기 검사격자패턴 정보에 따라 상기 대상물체에 라인광이 투영되도록 제어하기 위한 신호파형을 생성하는 패턴신호 발생부; 상기 대상물체에 투영되는 하나 이상의 라인패턴으로 구성된 격자패턴 형상을 생성하는 패턴투영부를 포함하는 격자패턴 투영수단; 상기 대상물체에 투영된 2차원 격자패턴과 동기화된 주기에 영상을 수신하는 영상입력수단; 순차적으로 발생된 상기 2차원 격자패턴들을 저장하고, 저장된 상기 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 3차원 좌표를 추출하는 정보처리수단; 및 상기 3차원 측정의 개시 및 영상정보를 디스플레이하는 출력수단을 포함하고, 상기 라인패턴은 상기 라인광이 신호파형에 의해 레이저 광을 생성하고, 상기 레이저 광이 렌즈의 의해 라인광으로 변환되며, 마이크로미러의 표면에 반사되어 생성되며, MEMS 일차원 마이크로미러가 단일 축에 따른 소정의 각도로 회전하는 동안, 상기 라인패턴의 제어는 신호파형의 발생 시점 제어에 의해 상기 라인광이 생성되고, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되도록 제어할 수 있다.

상기 카메라는, 팬 틸트 줌 카메라, 줌 렌즈 카메라, 팬 틸트 카메라, 및 단일렌즈 카메라 중 하나이고, 상기 카메라에 장착된 렌즈는 줌 렌즈 또는 단일 렌즈일 수 있다.

상기 검사 격자패턴은, 기준영상에서 구성된 기준 격자패턴과 동일한 구조의 격자패턴을 상기 기준영상에서 부분 확대된 가변배율 영상에 표시하기 위해 가변배율 격자패턴 및 서브 격자패턴을 산출할 수 있다.

상기 가변배율 영상의 제어는, 상기 대상물체의 측정에 필요한 거리에 대해 상기 가변배율 영상의 확대배율을 기준으로 기준영상의 부분영역에 대한 영상배율을 줌 카메라 또는 팬 틸트 줌 카메라를 이용하여 제어할 수 있다.

상기 가변배율 격자패턴은, 상기 가변배율 영상에서 상기 기준영상의 부분영역에 대한 영상 확대 배율과 비례하는 3차원 정밀도를 산출하기 위해 상기 기준영상과 동일한 구조의 격자패턴 영상을 구성할 수 있도록 상기 기준영상에서 부분영역 좌표값, 영상의 해상도, 확대배율, 파형발생기간 및 기준 격자패턴의 파형발생시점을 이용하여 산출할 수 있다.

상기 최소 격자패턴은, 2D 격자패턴 영상에서 영상처리 기법으로 검출할 수 있는 최소 픽셀 개수로 구성될 수 있다.

상기 서브 격자패턴은, 상기 최소 격자패턴의 이동에 대한 서브 격자패턴의 설정값, 상기 서브 격자패턴의 개수, 신호파형의 시점정보, 영상의 픽셀 분해능 및 상기 라인패턴의 두께를 이용하여 상기 최소 격자패턴을 이용하여 생성할 수 있다.

상기 검사 격자패턴 정보는, 상기 검사 격자패턴 발생부에서 발생된 상기 가변배율 격자패턴 및 서브 격자패턴으로 구성된 검사 격자패턴들을 순차적으로 상기 패턴신호 발생부로 전달하는 정보일 수 있다.

상기 패턴신호 발생부는, 상기 검사 격자패턴을 신호파형으로 변환하여 순차적으로 상기 패턴투영부로 신호를 발생시킬 수 있다.

상기 렌즈는, 레이저 광을 라인광으로 변환하고, 상기 라인광을 일차원 마이크로미러의 표면에 집광시키는 실린더 렌즈일 수 있다.

상기 라인패턴은, 상기 패턴신호 발생부에서 발생된 신호파형이 특정 시점에 제어된 전류에 의해 레이저 광에서 발생된 광의 강도를 제어하여 상기 레이저 광이 렌즈를 통해 최소한의 두께를 가진 라인광이 형성되며, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되어 상기 대상물체에 투영됨에 따라 생성될 수 있다.

상기 2차원 격자패턴은, 상기 일차원 마이크로미러의 회전각도 시점에 신호파형의 유형에 따라 상기 대상물체에 라인광이 조사되어, 회전주기 동안 발생된 라인패턴들이 상기 카메라로부터 2차원 격자패턴 영상을 수신할 수 있다.

상기 팬 틸트 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 외부의 신호에 의해 상기 팬 틸트 줌 카메라 및 영상입력을 제어할 수 있다.

상기 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 팬 틸트 위에 고정된 플레이트를 설치하여 외부의 신호에 의해 상기 줌 카메라 및 영상입력을 제어할 수 있다.

상기 3차원 좌표의 추출은, 검사 격자패턴들을 순차적으로 격자패턴 투영수단에서 발생된 신호파형을 이용하여 상기 대상물체에 격자패턴을 투영하고, 상기 카메라에서 입력된 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 상기 3차원 좌표를 추출할 수 있다.

상기 정보처리수단은, 상기 대상물체에 투영되는 유형별 격자패턴들, 상기 카메라의 초기화 및 제어를 위한 배율 및 좌표 설정, 3차원 측정에 필요한 격자패턴 유형광 검사 격자패턴의 개수 및 측정 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴의 정보를 저장할 수 있다.

한편, 본 발명의 일 실시예에 따른 3차원 형상 측정 방법은, 대상물체의 3차원 형상을 측정하기 위해 기준영상 및 기준 격자패턴에 대한 3차원 환경을 설정하는 단계; 상기 기준영상에서 부분영상에 대한 배율로 상기 대상물체의 위치에 대해 카메라 배율 및 위치를 제어하고, 상기 대상물체의 3차원 측정에 기준 격자패턴을 이용하여 검사 격자패턴들을 산출하는 영상 및 신호제어 단계; 상기 검사 격자패턴을 신호파형으로 변형하고, 상기 신호파형이 순차적으로 레이저 광을 통해 격자패턴 투영수단에서 격자패턴을 방출하는 단계; 상기 대상물체의 표면에 투영된 격자패턴 영상이 영상입력수단에 포함된 카메라를 통해 입력되는 단계; 상기 입력된 2차원 격자패턴 영상을 3차원 형상 측정을 위한 영상으로 정보처리수단에서 처리하는 단계; 및 상기 3차원 영상을 출력수단에서 디스플레이 하는 단계를 포함할 수 있다.

상기 3차원 환경을 설정하는 단계는, 상기 검사 유형별 격자패턴들, 서브격자패턴의 개수, 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값, 물체에 대한 확대 배율, 카메라제어에 관련된 데이터를 하는 것을 포함할 수 있다.

상기 영상 및 신호제어수단에서 상기 검사 격자패턴들의 유형 및 개수 선정 단계 후, 측정의 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴을 산출하는 단계를 더 포함하고, 상기 레이저광을 통해 방출되는 격자패턴은, 산출된 가변배율 격자패턴 및 서브 격자패턴이 순차적으로 반영되어 방출될 수 있다.

상기 가변배율 격자패턴은, 상기 기준영상에서 상기 대상물체의 위치 및 거리 정보를 이용하여 가변배율로 변하는 영상의 비율에 비례하는 3차원 정밀도를 산출하기 위해 가변배율 격자패턴을 계산하여 생성할 수 있다.

상기 서브 격자패턴은, 정밀한 3차원 측정을 위해 상기 신호파형의 시점 정보에 영상의 픽셀 간 이동거리를 시간에 따른 시점정보로 변환하여 상기 2D 격자패턴 영상을 이동하여 생성할 수 있다.

상기 부분영상에 대한 배율의 조정은, 상기 기준영상에서 상기 대상물체의 크기, 위치 및 상기 대상물체까지의 거리정보를 추출하여 상기 기준영상의 부분영역에 대한 영상배율을 조정할 수 있다.

본 발명에 의하면, 일차원 마이크로미러가 포함된 격자패턴 투영장치를 이용하여 물체에 가변배율영상, 가변배율 격자패턴 및 서브격자패턴을 실시간으로 조사하여, 3D 정밀도를 향상시킬 수 있으며, 가변배율영상에서 가변배율 격자패턴을 이용하여 3D 형상의 측정 정밀도를 향상시킬 수 있다.

또한, 본 발명의 3차원 형상 측정 장치는, 제스처 인식에서 영상의 특정 부위를 확대하여 신체부위에 대한 정밀한 측정, 임의 거리에 위치한 사용자에 대한 얼굴 인식, 거리의 변동이 있는 물체에 대한 3D 좌표가 필요한 로봇 비전, 보다 정밀한 격자패턴을 이용한 3D 좌표 추출이 필요한 머신비전 등에서 측정 물체에 대한 정밀 3D 공간좌표 추출이 가능하므로, 기존의 모바일기기나 3D 측정 장치 등 다양한 분야에 적용할 수 있다.

도 1은 종래의 3차원 형상 측정 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치를 도시한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 형상 측정 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 영상 및 신호 제어를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 격자패턴을 위한 신호발생 및 영상 입력을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 평면광 경로도의 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 정면광 경로도의 일례를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 MEMS로 구성된 일차원 마이크로미러의 일례를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 최소 격자패턴 영상에서 부분 영역의 격자 라인패턴의 일례를 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴 영상에서 부분 영역의 격자 라인패턴의 일례를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 제스처 인식용 3D 스캐너를 장착한 스마트 티비의 일례를 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌 카메라의 일례를 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율영상의 실시예를 도시한 도면이다.
도 16은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 신호파형 및 격자패턴을 도시한 도면이다.
도 17은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사격자패턴들에 대한 신호파형과 기준격자패턴 영상을 도시한 도면이다.
도 18은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사격자패턴들에 대한 신호파형과 가변배율 격자패턴 영상을 도시한 도면이다.
도 19는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 사용자의 제스처 명령을 실시하기 위한 일례에 대해 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌의 제어에 의해 도 19의 일부 영역을 가변배율 영상으로 확대하여 카메라에 입력되는 영상의 일례를 도시한 도면이다.
도 21은 도 19에서 검사 격자패턴들을 조사하여 영상을 입력받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.
도 22는 도 20에서 검사 격자패턴들을 조사하여 영상을 입력받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.
도 23은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 영상을 이용한 3D 얼굴 인식의 일례를 설명하기 위한 도면이다.

본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참조하여 더 구체적으로 설명한다.

본 실시예에서 사용되는 '~부' 는 소프트웨어 구성요소들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 등을 포함할 수 있으며, 본 설명에서 "기준 격자패턴", "검사 격자패턴", "가변배율 격자패턴", "최소 격자패턴" 및 "서브 격자패턴" 라는 용어를 사용할 수 있고, 이는 각각 격자패턴에 대한 분류를 지칭한다.

본 설명에서 "일차원 마이크로미러" 및 "마이크로미러"는 "단일축 MEMS 미러", "단일축 마이크로미러" 라는 용어는 동일한 용어로 일차원 MEMS 마이크로미러를 의미한다.

본 설명에서 "모듈레이션 파형" 및 "신호파형"은 동일한 용어로 정보를 전송하기 위해 전기적인 신호로 변환하는 것을 의미한다.

본 설명에서 "기준영상" 및 " 가변배율 영상 " 이라는 용어는 3D 형상의 측정을 위하여 3D 형상 측정 장치를 초기화한 후 설정된 배율로 물체에 입력 받은 영상을 "기준영상"라는 용어를 사용하며, 기준영상에 위치한 부분영역을 팬 틸트 줌(Pan-Tilt-Zoom) 렌즈를 이용하여 확대한 영상을 "가변배율 영상" 라는 용어를 사용한다.

본 설명에서 "기준 격자패턴" 및 "가변배율 격자패턴 " 이라는 용어는 3D측정을 위하여 3D 형상 측정 장치를 초기화한 후 설정된 배율로 기준영상에 격자패턴을 물체에 투영하여 입력 받는 격자패턴을 "기준 격자패턴"라는 용어를 사용하며, 가변배율 영상에 격자패턴을 물체에 투영하여 입력 받는 격자패턴을 " 가변배율 격자패턴 "라는 용어를 사용한다.

본 설명에서 "최소 격자패턴", "서브 격자패턴 " 이라는 용어는 격자패턴 영상을 이용하여 3D측정을 실시에서 검사영상에서 영상처리를 적용하여 추출할 수 있는 최소두께의 격자패턴을 "최소 격자패턴" 라는 용어를 사용하며, 검사영상에서 최소 격자패턴을 미세하게 입력 받은 격자패턴을 "서브 격자패턴"라는 용어를 사용한다.

본 설명에서 "검사 격자패턴" 및 "검사 격자패턴들"라는 용어는 3D측정을 위하여 격자패턴 투영수단에 격자패턴 정보를 전달 시에 영상 및 신호제어수단에서 발생되는 격자패턴으로 "검사 격자패턴"을 2D 격자패턴으로 나타낸 것이며, 하나 이상의 검사 격자패턴으로 구성된 격자패턴을 " 검사 격자패턴들" 라는 용어를 사용한다.

본 실시예에서 가정 사항은 라인 광에 의하여 물체에 투영되는 패턴투영부에서 발생하는 디스플레이는 보정계수에 의하여 보정 되였으며, 3D 측정에 필요한 영상, 조명, 3D 좌표값은 이미 캘리브레이션 되어 있고, 인체에 조사되는 레이저는 안정등급으로 레이저의 광량의 파워는 거리에 따른 증폭이 가능하다.

또한, 팬 틸트 줌 카메라는 기준영상을 기준으로 4배까지 확대가 가능하며, 초기 측정물체에 대한 거리에 따른 배율 및 위치 보정 값은 설정되어 프로그램화 되어 있으며 물체의 3D 측정 및 인식의 알고리듬은 이미 프로그램화 있다고 가정한다.

도 2는 일 실시예에 따른 3차원(3D) 형상 측정 장치를 평면도로 도시한 개략도로서 2차원(2D) 격자패턴을 투영하는 스크린(11)은 3D 측정 시에는 도 19와 같은 물체에 2D 격자패턴영상을 조사한다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 3차원 형상 측정 장치는, 영상 및 신호제어수단(100), 격자패턴 투영수단(200), 영상입력수단(300) 및 정보처리수단(400)을 포함한다.

영상 및 신호제어수단(100)은 영상제어부(110) 및 검사 격자패턴 발생부(120)를 포함한다.

영상제어부(110)는, 기준영상에서 부분영상에 대해 배율을 조정하고, 위치에 대한 카메라(310)를 위치를 제어한다. 즉, 3D 형상을 측정할 때, 최초 단계에서 측정 대상물체에 대한 기준영상을 입력받은 다음, 기준영상에서 3D 형상에 대한 측정을 실시하여 측정 대상물에 대한 3차원 위치정보와 영상에서 추출된 부분영역 정보를 이용하여 부분영역 영상의 위치 및 확대배율을 설정하여 카메라(310)를 제어한다.

검사 격자패턴 발생부(120)는, 3D 측정 시 격자패턴 유형과 개수에 대한 정보를 이용하여 측정 대상물체에 대한 3D 형상 합성에 필요한 기준 영상정보를 이용하여 기준 격자패턴을 설정한다. 그리고 기준 영상정보에서 기준 격자패턴 정보 및 3D 형상에 대한 위치정보를 추출하고, 추출된 정보를 이용하여 영상에서 측정 대상물체의 부분영역을 확대한 가변배율 영상에 확대배율에 비례하는 3D 정밀도를 산출할 수 있게 기준 격자패턴과 동일한 구조의 격자패턴을 투영할 수 있는 가변배율 격자패턴을 설정한다.

또한, 최소 격자패턴을 이용하여 정밀한 3D 좌표를 산출하기 위해 최소 격자패턴을 미세하게 이동시키면서 서브 격자패턴을 설정한다. 그리고 측정 대상물체에 대한 3D 영상의 합성에 필요한 가변배율 영상정보를 이용하여 가변배율 격자패턴 및 서브 격자패턴 정보로 구성되는 하나 이상의 검사 격자패턴들을 산출한다. 이에 대한 검사 격자패턴들에 대한 상세한 일례들은 도3의 설명 이전에 후술한다.

격자패턴 투영수단(200)은 패턴신호 발생부(210) 및 패턴투영부(250)를 포함한다.

패턴신호 발생부(210)는 검사 격자패턴을 신호파형으로 변환한다. 패턴신호 발생부(210)는 검사 격자패턴을 파형주기 내에서 신호파형으로 변환하고, 영상입력수단(300)의 카메라(310)에 포함된 영상센서(311)에 영상입력 신호를 발생시키고, 순차적으로 발생된 파형을 패턴투영부(250)에 전송한다.

패턴투영부(250)는 레이저 다이오드(251)의 라인광을 일차원 MEMS 미러에 조사하고, 마이크로미러의 회전각도 시점에서 라인광을 물체에 조사한다. 패턴투영부(250)는 신호파형을 이용하여 전류를 제어하며, 레이저 다이오드(251) 광의 강도를 제어하여 광을 방출한다. 그리고 방출된 광은 라인광 구성렌즈에 의해 라인광으로 변환되어 실린더 렌즈의 의해 마이크로미러의 표면에 집광된다.

일차원 마이크로미러(261)의 공진 시, 라인광 조사 방향 주기(262) 동안 회전각도의 시점 별로 마이크로미러(261)의 표면에서 라인광을 반사하여 측정 대상물체에 투영된다.

일례로, 검사격자패턴에서 발생된 신호파형(211)의 파형기간(212)은 일차원 마이크로미러(261)의 공진 시, 라인광 조사 방향(262)기간과 동일하고, 라인광이 조사되는 방향의 기간(282)과 동일하며, 카메라(310) 영상센서(311)의 노출시간(Exposure time)과 동일하다. 그러므로 라인광의 조사영역(270)에서 파형의 특정시점(213)에서 조사된 라인광의 라인패턴 투영위치 (273)로 하나 이상의 라인패턴으로 구성되는 격자패턴의 집합으로 2D 격자패턴(350)에서 특정위치의 라인패턴(351)로 입력된다.

그리고 도2에서 신호파형(211)은 도 1의 b에서 첫 번째 격자패턴(1205) 이 후술할 도 17에서 검사 격자패턴(4231)과 동일한 경우, 도 17의 신호파형(4211)의 파형 시점(4202)이, 도 2의 라인패턴(271)과 동일할 수 있고, 도 17의 파형 시점(4203)이 도 2의 라인패턴(272)과 동일할 수 있으며, 도 17의 파형 시점(4204)이 도 2의 라인패턴(274)과 동일할 수 있다. 또한, 카메라(310)에 의해 입력된 영상은 도 17의 격자패턴(4221)과 동일할 수 있다.

영상입력수단(300)은 카메라(310)에서 신호파형의 주기 동안 대상물체에 투영되는 라인패턴이 촬영된 2D 격자패턴 영상을 정보처리수단(400)으로 전송한다.

영상입력수단(300)은 카메라(310)에 포함된 영상입력센서(311)에서 투영된 라인 패턴형상을 2D 격자패턴 영상(350)을 입력 받아 영상입력을 완료한다.

이때, 카메라(310)는 팬 틸트 카메라 또는 단일렌즈 카메라 중 어느 하나일 수 있고, 렌즈(320)는 줌렌즈 또는 단일 렌즈일 수 있다.

또한, 격자패턴 프로젝터를 적외선 파장으로 구현하는 경우, 카메라는 가변배율 영상의 제어할 때, 2D 영상이 입력되어 영상의 배율 및 팬 틸트 줌이 이용될 수 있다.

적외선을 파장대역으로 감지하는 팬 틸트 줌 카메라와 가시광선 영역에서 검사물체에 대한 가시광선 영역의 파장대역을 감지하는 팬 틸트 줌 카메라를 평행하게 동기화하여 격자패턴 투영수단(200)에서 소정의 거리를 이격하여 설치할 수 있다. 또는, 가시광선 영역과 가시광선 영역을 동시에 입력받을 수 있고, 팬 틸트 줌으로 구현되는 RGB-IR 카메라를 장착할 수 있으며, 이때 RGB-IR 카메라에 포함되는 RGB-IR 영상입력 센서는 일례로, 옴니비전의 OV4682일 수 있다.

정보처리수단(400)은 영상입력수단(300)에서 전송된 2D 격자패턴 영상을 이용하여 3D 형상 측정을 위한 영상처리를 수행한다. 그리고 영상 처리된 이미지를 출력수단(500)으로 전송한다.

정보처리수단(400)은 도 1의 (b) 또는 도 1의 (c)에 도시된 3차원 형상을 측정하기 위한 유형별 격자패턴들, 카메라 초기화 및 제어에 관련된 배율 및 좌표의 설정, 3D 측정에 필요한 격자패턴 유형과 검사 격자패턴의 개수, 측정 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴의 정보를 저장하고, 출력수단(500)으로 전송한다.

정보처리수단(400)은 영상처리부(410), 프로세서(450) 및 메모리(460)를 포함할 수 있고, 카메라(310)에서 입력된 2D 격자패턴들을 이용하여 3D 측정에 필요한 3D 영상합성 및 3D 좌표추출에 필요한 알고리즘이 프로그램되어 저장될 수 있다. 이때, 3D 좌표추출의 일례로, 소정의 거리에 이격된 카메라(310)와 일차원 마이크로미러(261)에 대한 좌표점을 기준으로 거리(411)를 이용하여 삼각 측량 원리에 기초하여 좌표점에 대한 거리(412)를 산출할 수 있다.

출력수단(500)은 정보처리수단(400)에서 전송된 영상 및 정보를 디스플레이한다.

검사 격자패턴들에 대한 구성의 일례는 다음과 같다.

기준영상에서 가변배율 영상을 구하기 위해 카메라(310)의 제어는, 도 14에 도시된 핀 틸트 줌 카메라(3710)의 팬 구동장치(3704) 및 틸트 구동장치(3705)를 이용한 영상위치에 대한 팬 틸트 제어에 의해 줌 렌즈(3703)에 의한 영상에 대한 위치이동 제어 및 줌 제어(3703)를 통해 영상의 확대 및 축소 기능이 추가될 수 있다. 그에 따라 팬 틸트 줌 카메라(3710)는 도 15에 도시된 바와 같이, 초기화된 기준영상(3801)에서 부분영역(3802)에 대한 2D 해상도 및 3D 정밀도를 동일한 배율로 향상시키기 위해 위치 및 배율을 제어하여 가변배율 영상(3803)을 입력받을 수 있다.

기준 격자패턴들은 모듈레이션 파형의 유형, 격자패턴, 격자패턴 영상의 유형들 중 하나로 구성될 수 있으며, 일례로, 도 1의 (b)에 도시된 9개의 격자패턴(1201, 1203)을 64개 격자패턴으로 구분하여 구성될 수 있다. 또한, 도 1의 (c)에 도시된 4개의 격자패턴(1301)을 110개 단계(1302)로 구분하여, 순차적으로 영상을 입력받아 구성될 수 있다.

가변배율 격자패턴은 도 15의 기준영상(3801)에서 구해진 2배로 확대된 가변배율 영상(3803)에 격자패턴을 산출할 수 있으며, 그 일례로, 도 16a에 도시된 기준영상(3801)의 신호파형(4110)을 격자패턴 영상(4120)이라 하면, 가변배율 영상(3803)에서 도 16d에 도시된 바와 같이, 신호파형(4170)을 물체에 투영함으로써, 2배로 향상된 3D 정밀도를 산출할 수 있다.

또한, 가변배율 영상에 대한 측정이 필요하지 않은 경우, 단일렌즈를 장착한 카메라를 이용하여 영상을 입력받을 수 있다.

서브 격자패턴은 최소 격자패턴을 이용하여 정밀한 3D 좌표를 산출할 수 있다. 최소 격자패턴을 미세하게 x축으로 이동시키면서 서브 격자패턴을 설정할 수 있는데, 일례로, 도 1의 (b)의 6번째 최소 격자패턴(1204)에 대한 서브 격자패턴(1203)을 설정한다. 이때, 도 11에 도시된 격자 라인패턴은 최소 격자패턴 영상의 부분영역(3401)에서의 최소 격자패턴(1204)에 대한 일례이다. 그리고 도 12에 도시된 서브 격자패턴은 도 11의 최소 격자패턴 영상의 부분영역(3511, 3521, 3531)을 하나의 픽셀씩 x축 방향으로 이동시킨 서브 격자패턴(3512, 3522, 3532)에 대한 일례이다.

도 3은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 측정 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 사용자의 명령에 의해 측정 대상물체에 대한 3D 형상을 측정이 시작(610)된다.

측정이 시작되면, 3D 형상 측정을 위한 환경설정이 필요(620)한데, 3D 형상 측정이 개시되면, 정보처리수단(400)에서 3D 측정에 관련된 데이터가 메모리에 로드된다. 일례로, 검사 유형별 격자패턴들, 서브격자패턴의 개수, 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값, 물체의 거리에 대한 확대 배율, 카메라제어에 관련된 데이터, 격자패턴 투영수단의 패턴신호 발생부, 패턴투영부 및 영상입력수단의 카메라의 초기화 및 동기화 등의 환경설정이 수행된다(620).

상기와 같이, 환경설정이 수행된 다음, 영상제어 및 측정 방법의 유형이 선택된다(630).

본 단계는 후술할 도 4에 도시된 흐름도(700)를 따라 수행된다. 영상제어부(110)를 이용한 측정 대상 물체의 3D 측정의 카메라 배율 제어 및 좌표의 설정과 제어, 검사 격자패턴 발생부(120)를 이용한 3D 측정에 필요한 격자패턴 유형과 검사 격자패턴들의 개수(n)를 설정한다. 검사 격자패턴들은 3D 측정의 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴을 산출한 후, 다음 단계에서 검사 격자패턴을 이용하여 격자패턴을 물체에 투영 후, 2D 격자패턴을 순차적(i=0,1,...n)으로 카메라에 입력된다.

다음 단계(640)로, 검사 격자패턴들이 순차적으로 수행된다(640). 3D 합성에 필요한 2D 격자패턴을 입력받기 위해 영상 및 신호제어수단(100)은 순차적으로 검사 격자패턴(i)을 격자패턴 투영수단(200)에 전달한다(640).

그 다음 단계(650)로, 격자패턴의 신호발생 투영 및 영상입력이 이루어진다(650). 본 단계는 도 5에 도시된 흐름도(800)를 따라 수행된다. 격자패턴 투영수단(200)을 이용하여 검사 격자패턴(i)을 모듈레이션 파형으로 변환 후, 순차적으로 발생되는 파형을 증폭하여 광을 발산하고, 발산된 광을 라인광으로 변형한 다음, 일차원 마이크로미러의 표면에 반사시켜 물체에 투영한다. 그리고 마이크로미러의 회전각도 시점을 이용하여 대상물체에 투영한 후, 카메라(310)에서 2D 격자패턴 영상이 입력된다.

다음 단계(660)는 영상입력완료 단계이다(660). 3D 측정에 필요항 2D 격자패턴 영상의 입력이 완료(i=n)되면, 단계 670을 수행하고, 그렇지 않으면, 검사 격자패턴(i+1)을 입력받기 위해 단계 640을 수행한다.

그리고 다음 단계로, 3D 영상 합성 및 측정단계가 수행된다(670). 본 단계는 카메라(310)로 입력된 2D 격자패턴들이 영상처리부(410)에 전달되고, 영상처리부(410)는 3D 영상을 합성하여 물체에 대한 3D 좌표를 산출하고 출력수단(500)으로 전송하여 디스플레이한다.

다음 단계는, 3D 연속 측정 단계(680)로, 제스처 인식과 같이, 3D 측정을 연속적으로 실시할 필요가 있는 경우, 단계 630을 수행하고, 종료 시 단계 690을 수행한다.

종료 단계(690)는 3D 측정을 종료한다.

도 4는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 영상 및 신호 제어를 설명하기 위한 흐름도이다.

도 4를 참조하여, 도 3에 도시된 영상제어 및 측정 방법의 유형이 선택단계(630)를 좀 더 상세히 설명한다.

시작단계(710)는 대상물체에 대한 영상제어부(110)에서의 3D 측정 영상에 대한 카메라(310)의 배율 및 좌표를 설정하고, 제어한다. 그리고 검사 격자패턴 발생부에서 3D 측정 시 필요한 격자패턴 유형과 격자패턴의 개수를 설정하고, 측정의 정밀도에 필요한 검사 격자패턴들의 가변배율 격자패턴 및 서브 격자패턴을 설정한다.

상기의 단계에서, 설정이 이루어지면, 측정 대상물체에 대한 영상배율을 선정(select)하기 위해 영상처리부(410)에서 측정 대상물체에 대한 3D 좌표 및 가변배율 영상에 대한 정보가 입력된다(720).

그리고 측정 대상물체의 위치에 대해 카메라(310)를 제어하기 위해 영상처리부(410)로부터 영상 내의 측정 대상물체의 위치 및 확대비율 정보가 영상제어부(110)로 입력되며, 영상제어부(110)는 팬 틸트 줌 카메라를 제어하여 측정 대상물체에 대한 부분 확대의 비율을 이용하여 줌 제어 및 측정 대상물체의 위치에 대한 팬 틸트 제어를 수행한다(730).

검사에 필요한 기준 격자패턴의 설정을 위해 3D 측정에 필요한 격자패턴들에 대해 유형과 정밀도를 고려하여, 도 1의 (b) 및 도 1의 (c)에 도시된 검사유형들에 대한 격자패턴 유형과 격자패턴의 개수를 선정한다(740).

다음 단계로, 가변배율 격자패턴을 산출하기 위해, 단계 720에서 선택된 영상배율 정보 및 단계 740에서 선정된 격자패턴 정보를 이용하여 가변배율 영상에서 기준영상과 영상의 동일한 구조의 격자패턴 정보를 투영할 수 있도록 가변배율 격자패턴을 설정한다(750).

일례로, 후술할 도 15에서 기준배율의 기준영상(3801)에서도 16a와 같은 신호파형(4110)을 조사하면 대상물체에 투영되는 격자패턴 영상(4120)이 되고, 동일한 카메라 배율로 도 16d와 같이 신호파형(4170)을 조사하면 대상물체에 투영되는 격자패턴 영상(4180)이 된다.

이때, 도 15의 가변배율 영상(3803)은 기준영상(3801)의 부분영역(3802)를 2배 확대한 것이라고 가정하는 것은 도 17 및 도 18을 참조하여 설명한다.

후술할 도 17 및 도 18과 같은 파형기간에서, 도 17의 검사 격자패턴은 기준영상(3801)에서 기준 격자패턴(4231)으로 신호파형(4211)이 변형되어 격자패턴(4221)을 구성하고, 도 18의 검사 격자패턴은 가변배율 영상(3803)에서 가변배율 격자패턴(4331)으로 신호파형(4311)이 변형되어 가변배율 격자패턴(4321)을 구성한다.

그러므로 가변배율 격자패턴의 설정은 기준영상에서 부분영역 영상에 대한 비율로 산출할 수 있다.

다음 단계(760)로, 서브 격자패턴의 설정이 이루어진다. 최소 격자패턴에서 보다 정밀한 3D 좌표를 산출하기 위해 최소 격자패턴의 픽셀을 설정값을 이용하여 미세하게 x축으로 이동시키면서 격자패턴을 설정한다(760). 일례로, 후술할 도 16e의 신호파형(4180)은 도 11의 최소 격자패턴의 부분영역(3401)에 대한 파형기간(4181)로, 일차원 마이크로미러에 시점정보를 이용하여 발생된 파형(4185)이다.

이때, 도 16e에서 기간(4182)는 도 11에서 예시한 DMD의 하나의 마이크로미러가 투영하는 영상에서 격자패턴의 x축 방향으로 영상에서 4픽셀을 대응하는 경우, DMD의 구조상 최소 격자패턴은 하나의 라인패턴을 이용한 1픽셀의 미세한 이동이 불가능하다. 하지만, 일차원 마이크로미러를 사용한 격자패턴 수단은 도 16e의 신호파형(4185)과 같이 제어하여, 도 1의 (b)에 도시된 서브 격자패턴(1203)과 같이 미세한 파형의 조절을 제어할 수 있는 라인패턴을 구성할 수 있다.

다음 단계로, 종료단계(770)이다. 대상물체에 대한 영상 위치 및 배율을 카메라(310)로 제어한 다음, 3D 영상의 합성에 필요한 기준영상, 기준 격자패턴 정보 및 가변배율 영상정보를 이용하여 가변배율 격자패턴 및 서브 격자패턴으로 산출된 하나 이상의 검사 격자패턴들을 산출한다(770). 그리고 도 3에 도시된 다음 단계(640)가 수행된다.

도 5는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 격자패턴을 위한 신호발생 및 영상 입력을 설명하기 위한 흐름도이다.

도 5를 참조하여, 도 3에 도시된 격자패턴의 신호발생 투영 및 영상입력 단계(650)를 좀 더 상세히 설명한다.

시작 단계(810)는 도 3에 도시된 검사 격자패턴(i)의 순차수행(640), 2D 격자패턴 투영 및 영상입력(650)이 수행되는 단계로, 검사 격자패턴을 격자패턴 투영수단(200)을 사용하여 대상물체에 라인광을 투영한 후, 영상이 입력된다(810).

그리고 다음 단계(815)는, 검사 격자패턴(i)의 신호화, 모듈레이션 파형, 주파수(m)의 설정(815)을 위해 후술할 도 16a 내지 도 16d의 격자패턴 영상(4120, 4140, 4160, 4180) 및 모듈레이션 파형 발생주기(4101)에서 파형(4110, 4130, 4150, 4170)으로 변환할 수 있다. 일례로, 도 1의 (b)의 여섯 번째 격자패턴(1204)은 후술할 도 17의 검사 격자패턴(4236)을 이용하여 신호파형(4216) 및 기준 격자패턴 영상(4226)으로 변환할 수 있다.

다음 단계는, 영상센서 노출시작 단계(825)로, 도 2에 도시된 일차원 마이크로미러의 공진각도(263)에서, 일차원 마이크로미러의 회전각도가 모듈레이션 파형의 시작시점(271)인 시점에서 카메라(310)의 영상입력 신호를 발생한다(825).

그 다음 단계는, 미러 공진 주기의 회전각 시점 별 파형(k)을 발생시키는 단계(830)로, 도 2에 도시된 일차원 마이크로미러의 회전 시 라인광 조사 방향(262)기간 동안 회전각도의 시점 별로 파형을 발생시킨다.

이때, 시점 별 파형발생(k)은 전체 파형발생 기간에 발생하는 파형의 수(m)에 대한 시점 별 파형을 나타낸다. 일례로, 파형의 특정시점(213)에서 발생되는 파형은 일차원 마이크로미러의 회전 시 라인패턴 투영위치(273)와 일치하고, 2D 영상에서 파형의 특정시점에서 라인패턴(351)이 발생한다.

다음 단계는, 파형의 증폭 및 레이저 광을 발산하는 단계이다(835). 본 단계는 패턴신호 발생부(210)에서 시점 별로 발생된 파형에 대한 전류를 제어하여 광의 강도를 제어한다. 본 단계에 대해 후술할 도 16c에 도시된다.

그리고 다음 단계는, 라인광으로 변환하는 단계이다(840). 본 단계는 레이저 다이오드(251)에서 방출된 광이 도 8 및 도 9에 도시된 라인광 구성렌즈(252)에 의해 라인광으로 변환된다.

다음 단계는, 라인광의 미러 반사 단계(850)이다. 본 단계는, 후술할 도 10에 도시된 라인광(3312)으로 변환된 광이 일차원 마이크로미러(3301, 3305)의 회전각도 시점에 따라 마이크로미러의 표면에서 반사되며, 마이크로미러의 표면에서 반사된 라인광(3313, 3314, 3315)은 대상물체에 라인패턴을 투영시킨다.

그 다음 단계(855)는, 대상물체에 라인패턴이 투영됨에 따라 하나 이상으로 구성되는 라인패턴에 의해 격자패턴의 형상이 구성되며, 카메라의 영상입력센서에 입력된다.

다음 단계는, 파형발생이 완료되는 단계이다(860). 본 단계는, 신호파형(211)의 기간 동안 발생되는 주파수(m)의 파형발생이 완료(k=m)되면 단계 865를 수행하고, 완료되지 않았으면 다음 시점(k+1)의 파형발생을 위한 단계 830을 수행한다.

그리고 다음 단계는, 2D 격자패턴 영상센서의 노출이 완료되는 단계이다(865). 본 단계는, 신호파형(211)의 발생기간 동안 발생되며, 물체에 투영된 격자패턴은 카메라의 영상입력센서에 의해 2D 격자패턴이 입력되어 카메라의 영상입력이 완료된다.

그리고 종료 단계(870)를 거쳐 다음 단계인 도 3의 영상입력 완료 단계(660)를 수행한다.

도 6은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.

도 6을 참조하면, 가변배율 영상정보를 입력하는 단계(2520)는, 도 3에 도시된 영상제어 및 측정 방법의 유형이 선택(630)됨에 따라 영상처리부(410)에서 부분영역의 가변배율의 확대비율, 물체와 카메라 간의 거리 및 좌표, 검사 격자패턴에 대한 정보가 입력된다.

다음 단계는, 부분 확대영상 정보를 이용한 가변배율 및 위치산출 단계이다(2530). 본 단계의 일례로, 기준영상 정보의 카메라(310)와 영상 중심과의 거리를 이용하여 임의의 물체의 확대배율이 거리에 비례하고, 후수할 도 15에서의 임의의 물체(3804)는 기준영상에 대한 3D 측정에 의해 기준거리의 2배라고 가정하면, 부분영역(3802)의 확대비율은 현재 기준영상(3801)에서 2배로 확대된 가변배율 영상(3803)을 구할 수 있다.

그 다음 단계는, 검사 격자패턴에 대한 가변배율 격자패턴의 산출단계이다(3803). 본 단계는 후술할 도 15의 기준영상(3801)에서 부분영역(3802)의 320 x 240이며, 기준영상(3801)의 해상도는 640 x 480, 부분영역의 시작좌표(3806)가 x = 320, y = 50 이라 가정하면, 후술할, 도 17의 기준영상에 검사 격자패턴으로 사용되는 기준 격자패턴(4231, 4232, 4233, 4234, 4235, 4236)은 후술할, 도 18에서 검사 격자패턴으로 사용되는 가변배율 격자패턴(4331, 4332, 4333, 4334, 4335, 4336)으로 변형할 수 있다.

이때, 후술할 도 16d의 가변배율 격자패턴의 파형시점(4113, 4178)은 수학식 1과 같다.

[수학식 1]

Pxsrt = 320, 도 15에서 부분 확대영역 시작 x 좌표(3806)

Pxlen = 640, 도 15에서 기준영상(3801)의 x축 해상도

R = 2, 부분영역(3802)의 확대배율로, 도 15에서 가변배율영상(3803)은 기준영상 (3801)을 2배 확대한 것

Tp, 도 16d에서 파형발생기간(4101)이다.

Tk, 도 16d의 기준 격자패턴의 파형 발생시점(0 < Tk < Tp)

Tsrt, 도 16d와 같이, 신호파형(4170)에서 가변배율 격자패턴의 파형 시작시점(4113)을 의미한다.

Tsrt = Tp x (Pxsrt / Pxlen)

그리고 도 16d의 가변배율 격자패턴의 파형별 시점(4178)은 수학식 2와 같다.

[수학식 2]

Ti, 도 16d에서 가변배율 격자 패턴의 파형별 시점(4178)이다.

Ti = Tsrt + (Tk / R)

만일, 단일렌즈를 장착한 카메라일 경우 기준영상과 부분영역의 시작좌표(3806)의 x 값은 동일하며, Pxsrt = 0, R=1이다.

도 7은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴을 설정하는 것을 설명하기 위한 흐름도이다.

첫 단계로, 최소 격자패턴 정보의 입력단계이다(2620). 영상처리부(410)는 검사 격자패널에 대한 가변배율 격자패턴에서 추출된 최소 격자패턴의 x축 라인패턴의 영상정보 및 카메라 해상도에 따른 분해능의 픽셀정보를 입력 받는다.

그리고 라인패턴의 두께를 고려하여 서브 격자패턴 산출에 필요한 x축을 이동시켜는 값에 대한 정보를 입력된다. 일례로, 후술할 도 11에서는 최소 격자패턴의 부분영역(3401)의 x축 픽셀 개수가 4이며 서브격자패턴영상은 픽셀을 1개씩 x축으로 이동시키며 산출한다.

다음 단계는, 격자패턴 이동 변위 값 및 서브격자패턴 개수의 산출단계이다(2630). 일례로, 도 11에서 최소 격자패턴의 부분영역(3401)의 x축 픽셀 개수가 4이면 픽셀을 1개씩 x축으로 이동시키면 3개의 서브 격자패턴 영상을 추출할 수 있으며 픽셀에 대한 라인패턴 개수의 산출이 가능하다.

그 다음 단계는, 서브격자패턴의 산출단계이다(2640). 일례로, 도 12와 같이 서브 격자패턴을 1픽셀단위 x축으로 이동하여 3개를 추출한다고 가정을 하면 최소격자패턴의 부분영역(3401)에 대한 라인패턴을 x축으로 픽셀을 1개씩 이동시키면 3개의 서브격자패턴(3512, 3522, 3532)을 추출할 수 있다.

이와 같은 예시는 후술할 도 16e와 같은 방법으로 실시한다.

도 8은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 평면광 경로도의 일례를 도시한 도면이다. 도 9는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 라인광의 정면광 경로도의 일례를 도시한 도면이다.

도 8, 도 9는 라인광 구성렌즈(252)로서 상기 파형신호가 전류의 증폭에 의하여 방출된 광이 렌즈에 의하여 라인광으로 변화되어 라인패턴으로 형성되는 과정으로, 레이저다이오드(3101)에서 방출된 광은 콜리메이터렌즈(3106)에 의해 평행광으로 변환한 후, 평행광은 실린더렌즈(3102)에 의하여 라인광(3100)으로 변화되며 변화된 라인광(3100)은 실린더렌즈(3103)에 의하여 마이크로미러(3104)에 집광된 후, 반사하여 물체에 라인패턴(3205)을 형성한다.

이와 같은 레이저다이오드(3101)는 가시광선 또는 적외선 영역의 파장대로 구성할 수 있으며, 라인광 경로를 구성하는 렌즈는 하나 이상의 실린더 렌즈(Cylindrical lens)의 조합, 복합 렌즈(Compound lens), DOE(Diffractive Optical Elements) 등의 방법으로 제작할 수 있다.

도 10은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 MEMS로 구성된 일차원 마이크로미러의 일례를 도시한 도면이다.

도 10의 (a)에 도시된 바와 같이, MEMS(micro electro mechanical systems) 일차원 마이크로미러를 도시하며, 마이크로미러(3301)는 하나의 회전축을 중심으로 일정한 각도(3302)로 공진한다.

도 10의 (b)는 마이크로미러(3305)는 측면도로서 라인광(3312)은 공진하는 주기에 발생하는 시점에 따라 마이크로미러(3305) 표면에 반사되어, 반사된 라인광(3313, 3314, 3315)을 물체에 투영한다.

도 11은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 최소 격자패턴 영상에서 부분 영역의 격자패턴의 일례를 도시한 도면이다.

도 11는 영상처리에서 격자패턴을 검출할 수 있는 최소픽셀개수로 이루어진 격자패턴을 도시한 것으로, 일례로, 최소격자패턴을 x축으로 4개의 픽셀(Pixel)로 가정하여 표시한 것이다. 일례로 TI(Texas Instruments)사의 DLP3000의 DMD(digital micro-mirror device)는 마이크로미러의 해상도 608 x 684로 구성되며, 고해상도 카메라 (2592 x 1944)에 격자패턴을 입력 받을 경우, 한 개의 마이크로미러는 x축으로 4개의 영상 픽셀(Pixel)이 대응된다. 또한, 다른 예로는 영상에서 격자패턴을 주변 배경의 노이즈(noise)없이 선명하게 검출을 하기 위해서 사용자가 편의상 임의로 최소격자패턴의 픽셀개수를 지정하는 경우이다.

그러므로 정밀한 3D 측정을 위하여 카메라 해상도에 대응되는 픽셀에 대한 정보를 추출하기 위하여 주변의 픽셀 값의 정보를 이용하여 여러 가지 기법이 적용되고 있으며, 도 11에서는 영상에서 최소격자패턴의 부분영역(3401)을 표시한 것으로서 주변의 검은색(조명 off) 상태를 나타내는 패턴(3404)과 임의의 픽셀(3403)은 밝은 색(조명ON) 및 최소격자패턴을 x축으로 4픽셀(3402)로 가정하여 표시한 것이다.

도 12는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 서브 격자패턴 영상에서 부분 영역의 격자패턴의 일례를 도시한 도면이다.

서브격자패턴의 일례로, 도 11의 영상에서 최소격자패턴영상의 부분영역(3511, 3521, 3531)에서 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값을 1픽셀로 가정하면, 최소격자패턴(3512, 3522, 3532)을 한 픽셀씩 위치를 미세하게 x 축으로 이동시켜 나타낸 것으로 임의의 픽셀(3513, 3523, 3533)위치에 대한 밝기(밝은 색-조명ON, 검은색-조명OFF, 검은색-조명OFF) 는 변화된다.

도 13은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 제스처 인식용 3D 스캐너를 장착한 스마트 티비의 일례를 도시한 도면이다.

도13는 제스처인식용 3D 스캐너를 장착한 스마트 TV의 일례로, 스마트 TV(3604)에 장착된 제스처인식용 3D 스캐너(3603)는 본 실시의 격자패턴 프로젝터(3601)와 팬 틸트 줌 카메라(3602)를 내장하고 있다.

도 14a는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌 카메라의 일례를 도시한 도면이다.

도 14a는 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라의 일례로, 팬 틸트 줌 카메라(3710)는 영상입력센서 (3701), 렌즈(3702)로 구성된 줌렌즈(3703), 팬 구동장치(3704), 틸트 구동장치(3705)를 내장하고 있으며 외부의 신호에 의하여 팬 틸트 줌 및 영상입력을 제어한다.

그리고 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라 및 패턴투영부 구성의 예로서는 도 14b, 도 14c와 같이 구성할 수 있다.

도 14b는 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라 및 패턴투영부 구성의 일례를 도시한 도면이다.

고정된 플레트(3905) 위에 줌렌즈(3903), 카메라(3901), 팬틸트 구동장치(3902)를 설치하고, 소정의 거리를 이격하여 패턴투영부(3904)를 장착하여 외부의 신호에 의하여 팬 틸트 줌 및 영상입력을 제어한다.

도 14c는 팬 틸트 줌 (PTZ:pan-tilt-zoom) 카메라 및 패턴투영부 구성의 다른 예를 도시한 도면이다.

고정된 플레트(3905) 위에 줌렌즈(3903), 카메라(3901)를 설치하여 줌렌즈를 제어하고, 소정의 거리를 이격하여 패턴투영부(3904)를 장착한 후, 고정된 플레트(3905)를 팬 틸트 구동장치(3902)에 의하여 제어한다.

도 15는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 영상의 일례를 도시한 도면이다.

도 15는 가변배율영상(3803)의 실시의 일례로, 기준영상 (3801)에서 부분영역(3802)을 확대한 영상으로 영상 및 신호제어수단(100)에서 기준영상에 대한 검사격자패턴들을 입력 받아 3D합성을 한 후, 물체(3804)에 대한 3D 좌표를 추출하여 팬 틸트 줌 카메라를 이용하여 부분영역 (3802)에 대한 2배의 확대명령을 수행하여 입력 받은 가변배율영상(3803)이다.

도 16은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 신호파형 및 격자패턴을 도시한 도면이다.

도 16a는 실시예에 따른 신호파형 및 격자패턴의 변환의 일례로, 도 2의 패턴신호 발생부 (210)에서 발생한 신호파형을 이용하여 레이저다이오드의 광을 라인광으로 변환한 후, 일차원 마이크로미러의 회전각에 따라 스크린에 조사되는 라인패턴을 도시한 일례로, 파형발생기간 (4101)은 카메라의 노출시간(Exposure time)과 동기화 되어 있으며, 파형발생기간(4101) 동안 발생하는 2D 격자패턴영상(4120, 4140, 4160, 4180)은 검사격자패턴들이 파형발생기간(4101) 동안에 시점별로 발생하는 파형은 2D 격자패턴영상에서 x축 영상의 길이(4102) 및 밝기의 변화 상태로 발생한다.

도 16a에서 신호파형(4110)은 파형발생기간(4111) 동안 레이저광의 조명 OFF시에는 스크린에 조사되는 격자패턴은 파형발생기간(4111)에 비례하여 검은색 격자패턴(4123)을 x축 길이 (4121)로 발생한다. 그리고 파형발생기간(4112) 동안 레이저광의 조명 ON시에는 스크린에 조사되는 격자패턴은 파형발생기간(4112)에 비례하여 흰색 격자패턴(4124)을 x축 길이 (4122)로 발생되어 카메라는 2D 격자패턴영상(4120)을 입력 받는다.

도 16b는 신호파형(4130)에서는 파형의 시간을 제어하여 격자패턴영상의 x축 길이를 제어하는 일례로, 파형기간(4131)의 레이저광의 조명 ON시에는 스크린에 조사되는 격자패턴은 파형발생기간(4131)에 비례하며, 흰색 격자패턴(4142)은 x축 길이 (4141)로 발생되어 2D 격자패턴영상(4140)을 입력 받는다.

도 16c는 신호파형(4150)에서는 파형의 시간 및 전류값를 제어하여 스크린에 투영되는 격자패턴의 밝기와 x축 길이를 제어하는 예시이다.

파형발생기간(4101) 동안 신호파형(4150)이 전류레벨(4151, 4152, 4153)에 따라 변화될 경우 파형발생기간(4156)의 시점에서의 전류값으로 레이저광의 강도가 조절되며, 일례로, 격자패턴은 전류레벨(4156) 및 파형발생기간(4155) 비례하여 도시한 x축 길이(4161)와 밝기(4162)의 값을 갖는 격자패턴이 발생되어 카메라는 2D 격자패턴영상(4160)을 입력 받는다.

도 16d는 가변배율영상 및 가변배율 격자패턴을 나타내며, 도 15와 같은 기준영상(3801)에 도 16a와 같은 신호파형(4110)을 조사할 경우 도 16a의 격자패턴영상(4120)을 투영한다. 도 16d와 같은 신호파형(4170)을 조사할 경우 기준배율에서는 측정물체에 투영되는 격자패턴영상(4180)을 투영한다.

파형기간(4171)에는 격자패턴은 검은색 (4175), x축 길이(4173)가 투영되며, 파형기간(4172)에는 격자패턴은 밝은색 (4176), x축 길이(4174)가 투영되어 기준배율로 카메라에 입력된다.

그러나 도 15의 부분영역(3802)에 대한 물체를 확대하여 나타난 가변배율영상(3803)에 신호파형(4170)이 조사되는 경우에는 도 16a의 격자패턴영상(4120)와 동일한 구조의 격자패턴 영상을 투영할 수 있으며, 이와 같이 가변배율 격자패턴은 기준영상에서 부분영역의 위치 및 확대비율을 이용하여 산출할 수 있으며, 가변배율 격자패턴은 신호파형으로 변환이 가능하다.

도 16e는 일차원 마이크로미러 주기 중에서 임의의 기간 중에 발생하는 최소격자패턴 구간에서 발생하는 신호파형의 정밀도를 나타낸 일례이다. 정밀한 격자패턴영상을 투영하기 위하여 최소격자패턴을 미세하게 x축으로 이동시키면서 서브격자패턴을 설정하는 것으로서, 신호파형(4190)은 도 11의 최소격자패턴의 부분영역 (3401)의 파형기간(4181)에 발생되는 파형의 예로서, 신호파형(4185)에 있어서 파형의 길이(4187)는 1개의 픽셀에 대한 파형의 시간 및 파형의 개수를 나타내며, 하나의 파형은 하나의 라인패턴을 나타낸다.

이때, 도 16e에서 기간(4182)은 도 11에서 예시한 바와 같이 DLP 프로젝터에서 DMD의 하나의 마이크로미러가 투영하는 최소격자패턴의 4픽셀의 x축 길이(4184)라 할 경우, DMD의 구조상 최소격자패턴의 미세한 이동은 불가능하며 DMD 구성 시에는 4 픽셀의 x축 길이(4184)는 하나의 라인패턴으로 구성된다.

하지만, 본 실시예에 따른 일차원 마이크로미러를 사용한 격자패턴투영수단에서는 도 16e에서 파형(4185)과 같이, 신호파형의 주기에 대한 시점을 제어하여 미세한 파형의 조절도 가능하다. 일례로, 4개의 x축의 픽셀(4184)에 대한 파형이 발생하는 기간(4182)에 대한 제어가 가능하며, 도시된 도 12와 같이 1픽셀로 서브격자패턴을 이동시키는 픽셀의 설정값의 제어가 가능하다.

이와 더불어 일차원 마이크로미러의 주기 500hz로 회전주기에 노출시간(Exposure time) 800usec 동안에 고해상도의 카메라 (2592 x 1944)에 x축으로 격자패턴영상을 투영할 경우로 가정하면, 라인패턴의 구성을 하나의 픽셀에 조사하는 시간으로 레이저광을 구성 시에는 최소 2592 pixel x 1000 x 1000 / 800 usec = 3.24 Mhz 이상으로 레이저광의 제어 및 라인광의 두께를 고려하여 구성 한다.

대부분의 레이저다이오드는 특성상 빠른 반응속도로 수백 Mhz 이상으로 제어가 가능하며, 라인광을 정밀하게 제어하면 최소격자패턴을 미세 조정하는 라인패턴으로 구성되는 서브격자패턴의 제어가 가능하다.

도 17은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사 격자패턴들에 대한 신호파형과 기준 격자패턴 영상을 도시한 도면이다.

패턴신호 발생부(210)에서 검사격자패턴들(4231, 4232, 4233, 4234, 4235, 4236)을 이용하여 파형발생기간(4201) 동안에 발생한 신호파형(4211, 4212, 4213, 4214, 4215, 4216)은 패턴투영부에서 라인광으로 변환되어 격자패턴(4221, 4222, 4223, 4224, 4225, 4226)을 물체에 투영한다. 파형발생기간(4201)에서는 시작시점(4202), 중간시점(4203), 종료시점(4204)을 표시되며, 이는 격자패턴영상의 x축 시작위치(4207), 중간위치(4208), 종료위치(4209)와 대응된다. 그리고 파형발생기간 (4201) 동안에 발생되는 전체 x축 길이(4206)는 카메라에 입력된 격자패턴영상의 x축 해상도와 같다.

도 18은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 검사 격자패턴들에 대한 신호파형과 가변배율 격자패턴 영상을 도시한 도면이다.

후술할 도 20에 도시된 가변배율영상(5201)과, 후술할 도 19의 기준영상(5101)에서 2배로 확대된 확대대상영역(5102)의 가변배율영상(5201)으로 3D 정밀도를 2배 향상시키기 위하여 도 18의 파형을 투영하면 다음과 같다.

가변배율 격자패턴(4331, 4332, 4333, 4334, 4335, 4336)을 이용하여 패턴신호발생부(210)에서 파형발생기간(4201)에서 시작시점(4202), 중간시점(4203), 종료시점 (4204)을 표시되며, 파형발생기간 (4201)에 발생되는 신호파형(4311, 4312, 4313, 4314, 4315, 4316)은 파형의 중간시점(4203)부터 라인광으로 변환되어 물체에 투영되어 기준영상(5101)에서 2배로 확대된 확대대상영역(5102)의 가변배율 격자패턴(4321, 4322, 4323, 4324, 4325, 4326)을 형성한다.

도 18과 같이 기준영상(5101)에서 2배 확대된 격자패턴영상에서는 신호파형의 중간시점(4203)에서 발생한 파형은 격자패턴영상에서 x축 시작위치(4207)가 되며, 종료시점 (4204)에서 발생한 파형은 격자패턴영상에서 x축 종료위치 (4209)와 대응 된다.

그러므로 가변배율영상을 이용한 3D 정밀도를 향상하기 위하여 세분화된 격자패턴을 투영하는 예로서, 도 17과 같은 신호파형(4216)으로 이루어진 최소격자패턴(4226)으로 투영되며, 도 18에서는 신호파형(4316)으로 보다 세분화된 가변배율 격자패턴으로 구성되는 최소격자패턴(4326)을 투영된다.

도 19 내지 도 22는 사용자가 스마트 TV에 제스처 명령을 하였을 때에 대해 설명하기 위한 도면이다.

도 19는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 사용자가 제스처 명령을 실시하기 위하여 오른손을 펴고 머리위로 올린 동작을 도시한 도면이다.

도 20은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 팬 틸트 줌의 제어에 의해 도 19의 일부 영역을 가변배율 영상으로 확대하여 카메라에 입력되는 영상의 일례를 도시한 도면이다.

도 21은 도 19에서 검사 격자패턴들을 조사하여 영상을 입력받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.

도 22는 도 20에서 검사 격자패턴들을 조사하여 영상을 입력 받아 영상처리부에서 3D 측정 후 모니터에 표시된 신체부위 영상을 도시한 도면이다.

본 일례에서, 사용자의 제스처 명령은 "스마트 TV 화면에 키보드 자판을 표시하라"이고, 이때의 제스처는 머리 위에서 오른쪽 다섯 손가락이 모두 펴진 자세를 3D 스캐너가 인지하는 경우, 제스처 명령이 수행되는 것을 가정하여 설명한다.

사용자는 본 발명의 일 실시예에 따른 3차원 형상 측정 장치를 도 13과 같이, 3D 스캐너(3603)가 장착된 스마트 TV에서 모니터 화면(3604)을 제어할 수 있다. 이때, 도 19와 같이 자유스러운 거실 공간에서 손 제스처 명령의 수행을 실시하고 있으며, 사용자와 스마트 TV와의 거리는 거실 공간 임의의 지점일 수 있다. 3D스캐너(3603)에는 사용자의 손동작 제스처 인식을 위한 신체부위 및 제스처 명령을 인지하여 스마트 TV에 전달하는 프로그램이 장착된 것을 가정하여 설명한다.

도 19를 참조하면, 기준영상(5101)에서는 사용자가 제스처 명령 수행을 위하여 오른손(5112)을 머리(5111)위로 올린 동작을 실시할 경우, 3D스캐너(3603)는 2D 격자패턴을 입력 받아 영상처리부(410)에서 3D 측정을 한 후, 사용자의 머리(5111)와 오른손(5112)의 신체부위 위치를 측정을 실시한다.

도 21은 도 19에서 기준영상(5101)을 카메라로부터 입력 받아 영상처리부(410)에서는 사용자의 머리중심좌표(5311)와 오른손영역(5312)의 신체부위 위치의 오른손중심좌표(5313) 및 거리를 측정한 후, 사용자의 머리 위에 오른손이 올라감을 인지하고, 정밀한 오른손손가락 인식을 위하여 영상처리부(410)에서는 오른손중심좌표(5313)정보를 이용하여 확대대상영역(5102, 5302)을 설정하여 영상 및 신호제어수단(100)에 영상의 확대명령을 전달한다.

상기 도 19의 영상(5101)에서 조사되는 격자패턴들의 일례로, 도 17에서 검사 격자패턴 발생부(120)에서 발생된 검사격자패턴들(4231, 4232, 4233, 4234, 4235, 4236)을 순차적으로 격자패턴투영수단에 전달하며, 패턴신호 발생부(210)에서 파형발생기간(4201) 동안에 발생한 신호파형(4211, 4212, 4213, 4214, 4215, 4216) 및 패턴투영부에서 라인광으로 변환되어 격자패턴 프로젝터(3601)에서는 격자패턴을 방출하며, 투영된 격자패턴(4221, 4222, 4223, 4224, 4225, 4226)은 팬 틸트 줌 카메라(3602)에 의하여 2D 격자패턴영상으로 입력 받아 3D 영상의 측정을 실시한다.

도 20은 팬 틸트 줌의 제어에 의해 도 19의 일부 영역을 확대하여 카메라에 입력되는 영상을 도시한 것이다. 영상 및 신호제어수단(100)에는 영상처리부(410)에서 입력 받은 영상배율 및 위치정보를 이용하여 도 20과 같이 오른손가락(5212), 머리(5211)의 정확한 인식을 수행하기 위해, 사용자의 위치로 카메라를 팬 틸트를 위치를 제어한 후, 렌즈의 줌을 이용하여 손가락인식에 적합한 확대대상영역 (5102)을 도 20과 같이 확대를 실시한 영상(5201)으로 도시된 도 20의 사용자의 오른손위치는 기준거리의 2배에 위치하여 2배로 확대한 영상으로 가정한다.

3D스캐너(3603)는 2D 격자패턴을 입력 받아 영상처리부(410)에서 3D 측정을 한 후, 사용자의 머리(5211)와 오른손(5212)의 신체부위 위치를 측정을 실시한다.

도 22는 영상(5401)에서는 영상처리부(410)에서 3D로 측정된 사용자의 머리중심좌표(5411)와 오른손영역(5412)의 오른손가락좌표(5415, 5416, 5417, 5418, 5419) 및 오른손중심좌표 (5413)를 측정한 후, 영상처리부(410)에서는 오른손이 머리중심보다 올라감 및 오른손가락이 5개가 모두 펴짐을 인식하고 제스처 명령 "스마트 TV 화면에 키보드 좌판을 표시하라"를 실시한다.

상기 도 18에서는 영상(5401)에서 조사되는 가변배율 격자패턴(4331, 4332, 4333, 4334, 4335, 4336)을 순차적으로 격자패턴투영수단에 전달하며, 패턴신호 발생부(210)에서 파형발생기간(4201) 동안에 발생한 신호파형(4311, 4312, 4313, 4314, 4315, 4316) 및 패턴투영부에서 라인광으로 변환되어 격자패턴 프로젝터(3601)에서는 격자패턴을 방출하며 투영된 가변배율 격자패턴(4321, 4322, 4323, 4324, 4325, 4326)은 팬 틸트 줌 카메라(3602)에 의하여 2D 격자패턴으로 입력 받아 3D영상을 합성할 수 있으므로 3D 측정정밀도를 2배로 향상시킬 수 있다.

다른 예로, 도 15에 도시된 영상의 위치 및 가변배율영상을 이용한 예를 설명한다.

슈퍼마켓이나 지하주차장 등의 보안관련 장소에서 카메라를 장착하는 감시분야에서 모든 영역을 기준영상(3801)으로 축소된 영상으로 감시하기에는 무리가 있다. 본 실시의 예를 이용하여 특정물체(3804)가 출현 시 물체와의 거리 및 위치좌표를 추출한 후에 가변배율영상(3803) 기능을 자동적으로 적용하여 특정물체에 대한 실시간 자동 확대 및 저장할 수 있으며, 이를 이용한 가변배율 격자패턴을 특정물체에 투영하여 부가적인 기능(얼굴인식)을 추가할 수도 있다.

또한, 또 다른 예로, 로봇비전에서 물체와 카메라의 거리가 변동되는 환경에서 본 실시예에 따른 줌 렌즈를 장착한 카메라를 로봇 암에 장착하여 거리에 따른 가변배율영상을 이용하여 물체에 대한 정확한 3차원 형상을 추출할 수 있다.

그리고 또한, 검사의 3차원 검사 정밀도를 향상시키기 위하여 본 실시예에 따른 단일 렌즈를 장착한 카메라를 이용하여 기준 격자패턴 및 서브 격자패턴을 물체에 투영하여 미세한 3차원 형상을 추출할 수 있다. 일례로, 검사계측의 반도체 전자부품에 대한 3차원 IC 외관검사 분야에 적용할 수 있다.

도 23은 본 발명의 일 실시예에 따른 3차원 형상 측정 장치의 가변배율 영상을 이용한 3D 얼굴 인식의 일례를 설명하기 위한 도면이다.

보안이 필요한 장소에 외부 침입자에 대한 얼굴인식 실시예로 팬 틸트 줌 카메라를 장착하여 다수의 방문자에 대한 얼굴을 자동적으로 확대하여 3차원인식을 실시할 수 있다. 도 23을 참조하면, 보안장소와 같은 분야에 설치되어 기준영상(6901)에서 하나이상의 부분영상(6902, 6903)을 순차적으로 확대할 수 있다.

영상처리부(410)에서 기준영상에 대한 2D격자패턴영상을 입력 받아 3D합성을 한 후, 방문자에 대한 3D 좌표를 추출하여 팬 틸트 줌 카메라를 이용하여 방문자에 대한 얼굴부분영역(6902, 6903)에 대한 확대명령을 수행하여 확대된 가변배율영상(6904, 6905)에 대한 가변배율 격자패턴을 사용하여 3차원 얼굴인식을 할 수 있다.

위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이므로, 본 발명이 상기 실시예에만 국한되는 것으로 이해돼서는 안 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어야 할 것이다.

11: 2D 격자패턴이 투영된 스크린
100 : 영상 및 신호제어수단 110: 영상제어부
120: 검사 격자패턴 발생부 200: 격자패턴투영수단
210: 패턴신호발생부 211: 모듈레이션파형
212: 파형기간 213: 파형의 특정시점
250: 패턴투영부 251: 레이저다이오드
252: 라인광구성렌즈 261:일차원마이크로미러
262: 일차원마이크로미러의 회전시 라인 패턴 조사 방향
263: 일차원마이크로미러의 공진각도
282: 라인 패턴 조사 방향 300: 영상입력수단
310: 카메라 350: 2D 격자패턴영상
351: 특정위치의 라인패턴 400: 정보처리수단
410: 영상처리부 450: 프로세서
460: 메모리 500: 출력수단

Claims (22)

1. 측정하고자 하는 대상물체에 상기 대상물체의 가변배율 영상을 제어하는 카메라를 포함하는 영상제어부;
   기준 배율영상 및 상기 대상물체에 투영하는 기준 격자패턴의 유형 및 개수를 설정하고, 정밀한 3차원 측정을 위해 가변배율 영상 및 가변배율 격자패턴을 생성하며, 최소 격자패턴의 위치를 이동하여 서브 격자패턴을 생성하여 검사 격자패턴들을 발생하는 검사 격자패턴 발생부를 포함하는 영상 및 신호제어수단;
   상기 검사격자패턴 정보를 수신하고, 상기 검사격자패턴 정보에 따라 상기 대상물체에 라인광이 투영되도록 제어하기 위한 신호파형을 생성하는 패턴신호 발생부;
   상기 대상물체에 투영되는 하나 이상의 라인패턴으로 구성된 격자패턴 형상을 생성하는 패턴투영부를 포함하는 격자패턴 투영수단;
   상기 대상물체에 투영된 2차원 격자패턴과 동기화된 주기에 영상을 수신하는 영상입력수단;
   순차적으로 발생된 상기 2차원 격자패턴들을 저장하고, 저장된 상기 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 3차원 좌표를 추출하는 정보처리수단; 및
   상기 3차원 측정의 개시 및 영상정보를 디스플레이하는 출력수단을 포함하고,
   상기 라인패턴은 상기 라인광이 신호파형에 의해 레이저 광을 생성하고, 상기 레이저 광이 렌즈의 의해 라인광으로 변환되며, 마이크로미러의 표면에 반사되어 생성되며,
   MEMS 일차원 마이크로미러가 단일 축에 따른 소정의 각도로 회전하는 동안, 상기 라인패턴의 제어는 신호파형의 발생 시점 제어에 의해 상기 라인광이 생성되고, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되도록 제어하는 3차원 형상 측정 장치.
2. 청구항 1에 있어서,
   상기 카메라는, 팬 틸트 줌 카메라, 줌 렌즈 카메라, 팬 틸트 카메라, 및 단일렌즈 카메라 중 하나이고,
   상기 카메라에 장착된 렌즈는 줌 렌즈 또는 단일 렌즈인 3차원 형상 측정 장치.
3. 청구항 1에 있어서,
   상기 검사 격자패턴은, 기준영상에서 구성된 기준 격자패턴과 동일한 구조의 격자패턴을 상기 기준영상에서 부분 확대된 가변배율 영상에 표시하기 위해 가변배율 격자패턴 및 서브 격자패턴을 산출하는 3차원 형상 측정 장치.
4. 청구항 3에 있어서,
   상기 가변배율 영상의 제어는, 상기 대상물체의 측정에 필요한 거리에 대해 상기 가변배율 영상의 확대배율을 기준으로 기준영상의 부분영역에 대한 영상배율을 줌 카메라 또는 팬 틸트 줌 카메라를 이용하여 제어하는 3차원 형상 측정 장치.
5. 청구항 4에 있어서,
   상기 가변배율 격자패턴은, 상기 가변배율 영상에서 상기 기준영상의 부분영역에 대한 영상 확대 배율과 비례하는 3차원 정밀도를 산출하기 위해 상기 기준영상과 동일한 구조의 격자패턴 영상을 구성할 수 있도록 상기 기준영상에서 부분영역 좌표값, 영상의 해상도, 확대배율, 파형발생기간 및 기준 격자패턴의 파형발생시점을 이용하여 산출하는 3차원 형상 측정 장치.
6. 청구항 1에 있어서,
   상기 최소 격자패턴은, 2D 격자패턴 영상에서 영상처리 기법으로 검출할 수 있는 최소 픽셀 개수로 구성된 격자패턴인 3차원 형상 측정 장치.
7. 청구항 1에 있어서,
   상기 서브 격자패턴은, 상기 최소 격자패턴의 이동에 대한 서브 격자패턴의 설정값, 상기 서브 격자패턴의 개수, 신호파형의 시점정보, 영상의 픽셀 분해능 및 상기 라인패턴의 두께를 이용하여 상기 최소 격자패턴을 이용하여 생성하는 3차원 형상 측정 장치.
8. 청구항 1에 있어서,
   상기 검사 격자패턴 정보는, 상기 검사 격자패턴 발생부에서 발생된 상기 가변배율 격자패턴 및 서브 격자패턴으로 구성된 검사 격자패턴들을 순차적으로 상기 패턴신호 발생부로 전달하는 정보인 3차원 형상 측정 장치.
9. 청구항 1에 있어서,
   상기 패턴신호 발생부는, 상기 검사 격자패턴을 신호파형으로 변환하여 순차적으로 상기 패턴투영부로 신호를 발생시키는 3차원 형상 측정 장치.
10. 청구항 1에 있어서,
    상기 렌즈는, 레이저 광을 라인광으로 변환하고, 상기 라인광을 일차원 마이크로미러의 표면에 집광시키는 실린더 렌즈인 3차원 형상 측정 장치.
11. 청구항 1에 있어서,
    상기 라인패턴은, 상기 패턴신호 발생부에서 발생된 신호파형이 특정 시점에 제어된 전류에 의해 레이저 광에서 발생된 광의 강도를 제어하여 상기 레이저 광이 렌즈를 통해 최소한의 두께를 가진 라인광이 형성되며, 상기 라인광이 상기 일차원 마이크로미러 표면에 조사되어 상기 대상물체에 투영됨에 따라 생성된 3차원 형상 측정 장치.
12. 청구항 1에 있어서,
    상기 2차원 격자패턴은, 상기 일차원 마이크로미러의 회전각도 시점에 신호파형의 유형에 따라 상기 대상물체에 라인광이 조사되어, 회전주기 동안 발생된 라인패턴들이 상기 카메라로부터 2차원 격자패턴 영상을 수신하는 3차원 형상 측정 장치.
13. 청구항 2에 있어서,
    상기 팬 틸트 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 외부의 신호에 의해 상기 팬 틸트 줌 카메라 및 영상입력을 제어하는 3차원 형상 측정 장치.
14. 청구항 2에 있어서,
    상기 줌 카메라에 소정의 거리를 이격하여 상기 패턴투영부를 고정된 플레이트 위에 설치하고, 팬 틸트 위에 고정된 플레이트를 설치하여 외부의 신호에 의해 상기 줌 카메라 및 영상입력을 제어하는 3차원 형상 측정 장치.
15. 청구항 1에 있어서,
    상기 3차원 좌표의 추출은, 검사 격자패턴들을 순차적으로 격자패턴 투영수단에서 발생된 신호파형을 이용하여 상기 대상물체에 격자패턴을 투영하고, 상기 카메라에서 입력된 2차원 격자패턴들을 이용하여 3차원 영상을 합성하여 상기 3차원 좌표를 추출하는 3차원 형상 측정 장치.
16. 청구항 1에 있어서,
    상기 정보처리수단은, 상기 대상물체에 투영되는 유형별 격자패턴들, 상기 카메라의 초기화 및 제어를 위한 배율 및 좌표 설정, 3차원 측정에 필요한 격자패턴 유형광 검사 격자패턴의 개수 및 측정 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴의 정보를 저장하는 3차원 형상 측정 장치.
17. 삭제
18. 대상물체의 3차원 형상을 측정하기 위해 기준영상 및 기준 격자패턴에 대한 3차원 환경을 설정하는 단계;
    상기 기준영상에서 부분영상에 대한 배율로 상기 대상물체의 위치에 대해 카메라 배율 및 위치를 제어하고, 상기 대상물체의 3차원 측정에 기준 격자패턴을 이용하여 검사 격자패턴들을 산출하는 영상 및 신호제어 단계;
    상기 검사 격자패턴을 신호파형으로 변형하고, 상기 신호파형이 순차적으로 레이저 광을 통해 격자패턴 투영수단에서 격자패턴을 방출하는 단계;
    상기 대상물체의 표면에 투영된 격자패턴 영상이 영상입력수단에 포함된 카메라를 통해 입력되는 단계;
    상기 입력된 2차원 격자패턴 영상을 3차원 형상 측정을 위한 영상으로 정보처리수단에서 처리하는 단계; 및
    상기 3차원 영상을 출력수단에서 디스플레이 하는 단계를 포함하고,
    상기 3차원 환경을 설정하는 단계는, 상기 검사 유형별 격자패턴들, 서브격자패턴의 개수, 최소격자패턴에서 서브격자패턴을 이동시키는 픽셀의 설정값, 물체에 대한 확대 배율, 카메라제어에 관련된 데이터를 하는 것을 포함하는 3차원 형상 측정 방법.
19. 대상물체의 3차원 형상을 측정하기 위해 기준영상 및 기준 격자패턴에 대한 3차원 환경을 설정하는 단계;
    상기 기준영상에서 부분영상에 대한 배율로 상기 대상물체의 위치에 대해 카메라 배율 및 위치를 제어하고, 상기 대상물체의 3차원 측정에 기준 격자패턴을 이용하여 검사 격자패턴들을 산출하는 영상 및 신호제어 단계;
    상기 검사 격자패턴을 신호파형으로 변형하고, 상기 신호파형이 순차적으로 레이저 광을 통해 격자패턴 투영수단에서 격자패턴을 방출하는 단계;
    상기 대상물체의 표면에 투영된 격자패턴 영상이 영상입력수단에 포함된 카메라를 통해 입력되는 단계;
    상기 입력된 2차원 격자패턴 영상을 3차원 형상 측정을 위한 영상으로 정보처리수단에서 처리하는 단계; 및
    상기 3차원 영상을 출력수단에서 디스플레이 하는 단계를 포함하며,
    상기 영상 및 신호제어수단에서 상기 검사 격자패턴들의 유형 및 개수 선정 단계 후, 측정의 정밀도에 필요한 가변배율 격자패턴 및 서브 격자패턴을 산출하는 단계를 더 포함하고,
    상기 레이저광을 통해 방출되는 격자패턴은, 산출된 가변배율 격자패턴 및 서브 격자패턴이 순차적으로 반영되어 방출되는 3차원 형상 측정 방법.
20. 청구항 19에 있어서,
    상기 가변배율 격자패턴은, 상기 기준영상에서 상기 대상물체의 위치 및 거리 정보를 이용하여 가변배율로 변하는 영상의 비율에 비례하는 3차원 정밀도를 산출하기 위해 가변배율 격자패턴을 계산하여 생성하는 3차원 형상 측정 방법.
21. 청구항 19에 있어서,
    상기 서브 격자패턴은, 정밀한 3차원 측정을 위해 상기 신호파형의 시점 정보에 영상의 픽셀 간 이동거리를 시간에 따른 시점정보로 변환하여 상기 2차원 격자패턴 영상을 이동하여 생성하는 3차원 형상 측정 방법.
22. 청구항 19에 있어서,
    상기 부분영상에 대한 배율의 조정은, 상기 기준영상에서 상기 대상물체의 크기, 위치 및 상기 대상물체까지의 거리정보를 추출하여 상기 기준영상의 부분영역에 대한 영상배율을 조정하는 3차원 형상 측정 방법.

Images