KR102162019B1 - 3 차원 이미지 생성 방법 및 장치 - Google Patents

3 차원 이미지 생성 방법 및 장치 Download PDF

Info

Publication number
KR102162019B1
KR102162019B1 KR1020190091822A KR20190091822A KR102162019B1 KR 102162019 B1 KR102162019 B1 KR 102162019B1 KR 1020190091822 A KR1020190091822 A KR 1020190091822A KR 20190091822 A KR20190091822 A KR 20190091822A KR 102162019 B1 KR102162019 B1 KR 102162019B1
Authority
KR
South Korea
Prior art keywords
distance
reflected
measurement point
reflected wave
image
Prior art date
Application number
KR1020190091822A
Other languages
English (en)
Inventor
박용화
신준오
장인규
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190091822A priority Critical patent/KR102162019B1/ko
Application granted granted Critical
Publication of KR102162019B1 publication Critical patent/KR102162019B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

3차원 이미지 생성 방법 및 장치가 개시된다. 일 실시예에 따른 3차원 이미지 생성 방법은, 객체로 투사한 광 신호가 객체 상의 제1 측정점 및 제2 측정점에서 반사된 반사파를 수신하는 단계와, 상이한 위상을 가지는 복수의 복조(demodulation) 신호에 기초하여 상기 반사파를 복조함으로써 상기 반사파의 수신 위치와 상기 제1 측정점 간의 제1 거리 및 상기 반사파의 수신 위치와 상기 제2 측정점 간의 제2 거리를 계산하는 단계와, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 객체의 속도를 계산하는 단계를 포함한다.

Description

3 차원 이미지 생성 방법 및 장치{THREE DIMENSIONAL IMAGE GENERATING METHOD AND APPARATUS}
아래 실시예들은 3 차원 이미지 생성 방법 및 장치에 관한 것이다.
3차원 형상을 측정하기 위한 방식으로 두 대의 카메라를 이용한 스테레오(Stereo Vision) 방식, 구조광(Structured Light)을 이용한 삼각 측량 방식, 비행시간(Time-of-Flight) 측정 방식 등이 있다.
스테레오 방식이나 구조광 방식은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 물체의 표면 상태에 따라 정밀도가 달라진다. 또한, 스테레오 방식에서는 정확한 깊이 정보를 얻기 위해 두 카메라 사이의 거리, 구조광 방식에서는 카메라와 수광부 사이의 거리가 멀어져야 하므로 소형화에 약점이 있다. 이러한 문제를 개선하기 위하여 비행시간 측정법이 도입되었고 최근 많은 연구가 이루어지고 있다.
비행시간 측정 방식은 펄스 레이저를 이용한 빛의 비행시간을 직접적으로 측정하는 방식과 CW(Continuous Wave) 레이저를 이용한 빛의 비행시간에 의한 위상차를 이용해 간접적으로 측정하는 방식으로 나뉜다.
펄스 레이저를 이용한 빛의 비행시간 측정법은 정밀한 측정을 위해 매우 빠른 측정 장비들이 필요하기 때문에 가격 면에서 불리한 점이 있다.
실시예들은 3차원 이미지 생성 방법에 있어서, 객체의 깊이 정보와 속도 정보를 동시에 획득하는 기술을 제공할 수 있다.
일 실시예에 따른 3차원 이미지 생성 방법은, 객체로 투사한 광 신호가 객체 상의 제1 측정점 및 제2 측정점에서 반사된 반사파를 수신하는 단계와, 상이한 위상을 가지는 복수의 복조(demodulation) 신호에 기초하여 상기 반사파를 복조함으로써 상기 반사파의 수신 위치와 상기 제1 측정점 간의 제1 거리 및 상기 반사파의 수신 위치와 상기 제2 측정점 간의 제2 거리를 획득하는 단계와, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 객체의 속도를 계산하는 단계를 포함한다.
상기 3차원 이미지 생성 방법은, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 거리의 오차를 보정하는 단계와, 보정된 제1 거리에 기초하여 상기 객체에 대한 3차원 이미지를 생성하는 단계를 더 포함할 수 있다.
상기 광 신호는, 진폭 변조된(amplitude modulated) 광 신호를 포함할 수 있다.
상기 획득하는 단계는, 복수의 초기 위상에 기초하여 상기 복수의 복조 신호를 생성하는 단계와, 상기 반사파와 상기 복수의 복조 신호에 기초하여 복수의 픽셀 값(pixel value)을 병렬적으로 생성하는 단계와, 상기 초기 위상 및 상기 복수의 픽셀 값에 기초하여 상기 제1 거리 및 상기 제2 거리를 계산하는 단계를 포함할 수 있다.
상기 복수의 복조 신호를 생성하는 단계는, 상기 광 신호의 위상 주기를 임의의 비율로 나누어 상기 복수의 초기 위상을 결정하는 단계와, 상기 복수의 초기 위상에 기초하여 상기 복수의 복조 신호를 생성하는 단계를 포함할 수 있다.
상기 반사파를 수신하는 단계는, 상기 객체의 전체에 대해 스캔을 수행하여 제1 측정점에서 반사된 반사파를 수신하고, 상기 제1 측정점의 다음 스캐닝 포인트인 상기 제2 측정점에서 반사된 반사파를 수신하는 단계를 포함할 수 있다.
상기 스캔은 이미지 센서 어레이 또는 광학 스캐너를 통해 수행될 수 있다.
상기 획득하는 단계는, 상기 제1 측정점에서 반사된 반사파에 기초하여 상기 제1 거리를 계산하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 측정점의 속도를 계산하는 단계를 포함하고, 상기 계산하는 단계는, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 측정점의 속도를 계산하는 단계와, 상기 제1 측정점의 속도에 기초하여 객체의 속도를 계산하는 단계를 포함할 수 있다.
상기 반사파를 수신하는 단계는, 상기 객체의 전체에 대해 제1 촬영을 수행하여 상기 제1 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신하는 단계와, 상기 객체의 전체에 대해 제2 촬영을 수행하여 상기 제2 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신하는 단계를 포함할 수 있다.
상기 계산하는 단계는, 상기 제1 촬영에 의해 수신한 반사파에 기초하여 제1 프레임을 생성하는 단계와, 상기 제1 프레임의 모든 픽셀에 대해 픽셀 값을 계산하는 단계와, 상기 제2 촬영에 의해 수신한 반사파에 기초하여 제2 프레임을 생성하는 단계와, 상기 제2 프레임의 모든 픽셀에 대해 픽셀 값을 계산하는 단계와, 상기 제1 프레임 및 상기 제2 프레임의 각 픽셀 값에 기초하여 제1 프레임의 각 픽셀에 대응하는 측정점의 속도를 계산하는 단계를 포함할 수 있다.
일 실시예에 따른 3차원 이미지 생성 장치는, 광 신호를 객체에 투사(project)하는 송신기와, 상기 광 신호가 객체 상의 제1 측정점 및 제2 측정점에서 반사된 반사파를 수신하는 수신기와, 상이한 위상을 가지는 복수의 복조(demodulation) 신호에 기초하여 상기 반사파를 복조함으로써 상기 반사파의 수신 위치와 상기 제1 측정점 간의 제1 거리 및 상기 반사파의 수신 위치와 상기 제2 측정점 간의 제2 거리를 획득하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 객체의 속도를 계산하는 컨트롤러를 포함할 수 있다.
상기 컨트롤러는, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 거리의 오차를 보정하고, 보정된 제1 거리에 기초하여 상기 객체에 대한 3차원 이미지를 생성할 수 있다.
상기 광 신호는, 진폭 변조된(amplitude modulated) 광 신호를 포함할 수 있다.
상기 컨트롤러는, 복수의 초기 위상에 기초하여 상기 복수의 복조 신호를 생성하고, 상기 반사파와 상기 복수의 복조 신호에 기초하여 복수의 픽셀 값(pixel value)을 병렬적으로 생성하고, 상기 초기 위상 및 상기 복수의 픽셀 값에 기초하여 상기 제1 거리 및 제2 거리를 계산할 수 있다.
상기 컨트롤러는, 상기 광 신호의 위상 주기를 임의의 비율로 나누어 상기 복수의 초기 위상을 결정하고, 상기 복수의 초기 위상에 기초하여 상기 복수의 복조 신호를 생성할 수 있다.
상기 수신기는, 상기 객체의 전체에 대해 스캔을 수행하여 상기 제1 측정점에서 반사된 반사파를 수신하고, 상기 제1 측정점의 다음 스캐닝 포인트인 상기 제2 측정점에서 반사된 반사파를 수신할 수 있다.
상기 송신기는, 광학 스캐너를 포함할 수 있다.
상기 수신기는, 이미지 센서 어레이 또는 단일 광측정 소자를 포함할 수 있다.
상기 컨트롤러는, 상기 제1 측정점에서 반사된 반사파에 기초하여 상기 제1 거리를 계산하고, 상기 제2 측정점에서 반사된 반사파에 기초하여 상기 제2 거리를 계산하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 측정점의 속도를 계산할 수 있다.
상기 수신기는, 상기 객체의 전체에 대해 제1 촬영을 수행하여 상기 제1 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신하고, 상기 객체의 전체에 대해 제2 촬영을 수행하여 상기 제2 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신할 수 있다.
상기 컨트롤러는, 상기 제1 촬영에 의해 수신한 반사파에 기초하여 제1 프레임을 생성하고, 상기 제1 프레임의 모든 픽셀에 대해 픽셀 값을 계산하고, 상기 제2 촬영에 의해 수신한 반사파에 기초하여 제2 프레임을 생성하고, 상기 제2 프레임의 모든 픽셀에 대해 픽셀 값을 계산하고, 상기 제1 프레임 및 상기 제2 프레임의 각 픽셀 값에 기초하여 제1 프레임의 각 픽셀에 대응하는 측정점의 속도를 계산할 수 있다.
도 1은 일 실시예에 따른 3차원 이미지 생성 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 3 차원 이미지 생성 장치의 동작의 예를 나타낸다.
도 3a는 송신기와 수신기의 정렬 방법의 일 예를 나타낸다.
도 3b는 송신기와 수신기의 정렬 방법의 다른 예를 나타낸다.
도 4는 도1에 도시된 3차원 이미지 생성 장치가 수신기와 객체 간의 거리 및 객체의 속도를 계산하는 과정의 일 예를 나타낸다.
도 5는 이미지 센서 어레이를 이용해 구현된 3차원 이미지 생성 장치의 일 예를 나타낸다.
도 6은 광학 스캐너를 이용해 구현된 3차원 이미지 생성 장치의 일 예를 나타낸다.
도 7은 도1에 도시된 3차원 이미지 생성 장치의 동작의 순서도를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 3 차원 이미지 생성 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 3 차원 이미지 생성 장치(three dimensional image generating apparatus, 10)는 신호를 출력하고, 객체(object)에 반사된 신호를 수신할 수 있다. 3 차원 이미지 생성 장치(10)는 객체에 반사된 신호를 처리하여 3 차원 이미지를 생성할 수 있다.
객체는 3 차원 이미지를 생성하고자 하는 대상을 포함할 수 있다. 객체는 3 차원 형상을 가지는 물체를 포함할 수 있다. 또한, 객체는 움직이는 물체를 포함할 수 있다. 3 차원 이미지 생성 장치(10)는 움직이는 객체의 3 차원 이미지를 효과적으로 생성할 수 있다.
3차원 이미지 생성 장치(10)는 객체의 움직임으로 인한 오차를 보정하여 3차원 이미지를 생성할 수 있다. 또한, 3차원 이미지 생성 장치(10)는 움직이는 객체의 속도를 측정할 수 있다.
예를 들어, 3차원 이미지 생성 장치(10)는 객체 상의 연속된 측정점에서 반사된 신호에 기초하여 객체의 움직임으로 인한 오차를 보정할 수 있다. 또한, 3차원 이미지 생성 장치(10)는 현재의 측정점과 다음 측정점에서 각각 반사된 신호를 이용하여 객체의 속도를 측정할 수 있다.
신호는 임의의 현상을 시간, 공간에 따라 변화하는 물리량으로 표시한 함수를 의미할 수 있다. 신호는 임의의 주파수(frequency)를 가지는 파동을 포함할 수 있다. 예를 들어, 신호는 광 신호(optical signal), 전자기파(electromagnetic wave) 또는 음파(sound wave)를 포함할 수 있다.
광 신호는 레이저(LASER, Light Amplification by the Stimulated Emission of Radiation)를 포함할 수 있다. 예를 들어, 레이저는 CW(Continuous Wave) 레이저를 포함할 수 있다.
3 차원 이미지는 3 차원 벡터 형태의 복셀(voxel)들로 구성된 이미지를 포함할 수 있다. 또한, 3 차원 이미지는 픽셀 값이 깊이(depth) 정보를 포함하는 2 차원 이미지를 포함할 수 있다.
3 차원 이미지 생성 장치(10)는 IoT 장치, Machine-type 통신 장치 또는 휴대용 전자 장치 등으로 구현될 수 있다.
휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)로 구현될 수 있다. 예를 들어, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.
3 차원 이미지 생성 장치(10)는 송신기(100), 수신기(200), 컨트롤러(300)를 포함한다. 3 차원 이미지 생성 장치(10)는 메모리(400)를 더 포함할 수 있다. 또한, 3 차원 이미지 생성 장치(10)는 선택적으로 빔 스플리터(미도시)를 더 포함할 수 있다.
송신기(100)는 객체에 광 신호를 투사(project)할 수 있다. 송신기(100)는 객체의 원하는 지점으로 광 신호를 투사할 수 있다.
송신기(100)는 변조(modulation) 및 복조(demodulation)을 위하여 임의의 주파수를 가지는 광 신호를 생성할 수 있다. 송신기(100)는 컨트롤러(300)의 제어에 응답하여 광 신호를 출력할 수 있다.
송신기(100)는 컨트롤러(300)의 제어에 응답하여 광 신호의 진폭(amplitude) 또는 주파수(frequency)를 변조할 수 있다. 예를 들어, 송신기(100)가 투사하는 광 신호는 주파수가 제어된 광 신호 또는 진폭 변조된 광 신호를 포함할 수 있다.
송신기(100)는 광(예를 들어, 레이저)을 투사할 수 있는 모든 종류의 장치를 포함할 수 있다.
예를 들어, 송신기(100)는 광원 및/또는 스캐너(scanner)를 포함할 수 있다. 즉, 송신기(100)는 광원만으로 구동 될 수 있다. 또한, 송신기(100)는 스캐너가 레이저 광원을 포함하는 형태로 구동될 수도 있고, 레이저 광원과 스캐너가 분리되어 개별적으로 구동될 수도 있다. 이 때, 광원은 LED 또는 레이저 광원일 수 있다.
스캐너는 광학 스캐너를 포함할 수 있고, 레이저 광원은 CW 레이저를 포함할 수 있다. 송신기(100)는 진폭 변조된 레이저를 객체 전체에 대하여 스캔하는 스캐너로 구현될 수 있다. 예를 들어, 송신기(100)는 래스터 스캐터(raster scanner) 방식으로 구현될 수 있다. 이에 따라, 송신기(100)는 화면의 위에서부터 수평 주사선을 옆으로 끌듯이 한 줄씩 아래로 내려가면서 주사하는 방식으로 광 신호를 투사할 수 있다.
수신기(200)는 객체로부터 반사(reflect), 굴절(refract), 산란(scatter) 및/또는 회절(diffract)된 신호를 수신할 수 있다. 예를 들어, 수신기(200)는 객체에 반사된 반사파를 수신할 수 있다.
수신기(200)는 이미지 센서 어레이 또는 포토 다이오드를 포함할 수 있다. 예를 들어, 포토 다이오드는 PIN 타입 다이오드, APD(Avalanche Photodiode), SPAD(Single-Photon Avalanche Diode)를 포함할 수 있다.
수신기(200)는 수신한 광 신호, 즉 반사파를 컨트롤러(300)로 출력할 수 있다.
컨트롤러(300)는 송신기(100) 및 수신기(200)를 제어할 수 있다. 컨트롤러(300)는 프로세서(미도시)를 포함할 수 있다. 컨트롤러(300)는 프로세서를 이용하여 수신기(200)로부터 수신한 광 신호를 처리함으로써 3 차원 이미지를 생성할 수 있다.
프로세서는 수신기(200)가 수신한 데이터 및 메모리(400)에 저장된 데이터를 처리할 수 있다. 프로세서는 메모리(400)에 저장된 데이터를 처리할 수 있다. 프로세서는 메모리(400)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
"프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
컨트롤러(300)는 반사파를 상이한 위상을 가지는 복수의 복조(demodulation) 신호에 기초하여 복조함으로써 반사파를 수신한 위치와 객체와의 거리를 계산할 수 있다. 컨트롤러(300)는 계산한 거리에 기초하여 객체에 대한 3 차원 이미지를 생성할 수 있다.
컨트롤러(300)는 복수의 초기 위상에 기초하여 복수의 복조 신호를 생성할 수 있다. 컨트롤러(300)는 광 신호의 위상 주기를 임의의 비율로 나누어 상기 복수의 초기 위상을 결정할 수 있다. 예를 들어, 광 신호의 위상 주기는 2π 라디안(360˚) 일 수 있다.
컨트롤러(300)는 복수의 초기 위상에 기초하여 복수의 복조 신호를 생성할 수 있다. 예를 들어, 컨트롤러(300)는 미리 결정된 복조 신호의 위상을 복수의 초기 위상만큼 이동(shift)시켜 복수의 복조 신호를 생성할 수 있다.
컨트롤러(300)는 반사파와 복수의 복조 신호에 기초하여 복수의 픽셀 값(pixel value)을 병렬적으로 생성할 수 있다. 예를 들어, 컨트롤러(300)는 반사파와 복수의 복조 신호 각각을 곱할 수 있다. 컨트롤러(300)는 반사파와 복수의 복조 신호 각각의 곱을 적분하여 복수의 픽셀 값을 생성할 수 있다. 이 때, 컨트롤러(300)는 반사파와 복수의 복조 신호 각각의 곱 및 적분 연산을 한 번에 병렬적으로 계산할 수 있다.
컨트롤러(300)는 초기 위상 및 복수의 픽셀 값에 기초하여 반사파를 수신한 위치와 객체와의 거리를 계산할 수 있다. 메모리(400)는 프로세서에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
메모리(400)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.
휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.
불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Eelectronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.
빔 스플리터(미도시)는 광 신호를 투사하는 위치로부터 반사파를 수신하는 위치까지의 광 경로를 일렬로 정렬할 수 있다. 빔 스플리터에 관해서는 도 3a를 참조하여 상세하게 설명할 것이다.
도 2는 도 1에 도시된 3 차원 이미지 생성 장치의 동작의 예를 나타낸다.
도 2를 참조하면, 3 차원 이미지 생성 장치(10)는 스캐너와 CW 레이저를 이용하여 병렬적으로 광 신호 처리를 함으로써 3차원 이미지를 생성할 수 있다. 3 차원 이미지 생성 장치(10)는 스캐너와 CW레이저를 이용한 간접적인 비행시간 측정 방식을 이용할 수 있다.
이를 통해, 3 차원 이미지 생성 장치(10)는 간접적인 비행시간 측정 방식의 간단하고 정밀하다는 장점과 필요할 경우 스캐너를 이용하여 하나의 레이저와 포토 다이오드만을 사용하여 수신기(200)와 객체 간의 거리 및 3 차원 이미지 생성이 가능할 수 있다.
다른 예로, 3차원 이미지 생성 장치(10)는 스캐너를 대신하여 일반 레이저 광원을 이용하여 객체에 레이저를 투사할 수 있고, 투사된 레이저를 이용하여 3차원 이미지를 생성할 수도 있다. 이 때, 3차원 이미지 생성 장치(10)는 디퓨저를 이용하여 레이저 광원에서 방출하는 레이저를 객체에 투사할 수 있다.
3 차원 이미지 생성 장치(10)는 송신기(100)에 사용하는 스캐너에 따라 측정 장치의 화각(Field of View)을 바꿀 수 있다. 이를 통해, 3 차원 이미지 생성 장치(10)는 측정하고자 하는 객체에 따라 넓은 화각의 장점을 이용하거나 좁은 화각이지만 빠르고 정확한 스캔을 수행할 수 있다.
3 차원 이미지 생성 장치(10)는 스캐너를 이용해 이미지를 만들기 때문에 사용되는 레이저와 포토 다이오드의 개수를 줄일 수 있다. 송신기(100)를 스캐너로 구현할 경우, 낮은 파워의 단일 레이저와 하나의 수광부 만을 이용하여 3 차원 이미지를 생성할 수 있어, 스캐너를 통해 3 차원 이미지 생성 장치(10)에서 발생하는 열이 감소될 수 있다.
종래에는 하드웨어 상으로 반사파를 복조하여 여러 개의 위상을 계산할 시 순차적으로 복조 신호를 적용해야 하는 문제가 있었다. 하지만, 3 차원 이미지 생성 장치(10)는 하나의 반사파 신호에 여러 개의 복조 신호를 동시에 적용할 수 있다.
이를 통해, 3 차원 이미지 생성 장치(10)는 계산 과정을 변화시키거나 위상을 계산하기 위한 복조 신호의 개수를 변화시켜도 측정과 계산 상에서 발생하는 문제를 없앨 수 있다. 또한, 3 차원 이미지 생성 장치(10)는 전산 상이나 전자 회로 상으로 복조를 수생하기 때문에, 다양한 알고리즘을 간단하게 적용시킬 수 있다.
3 차원 이미지 생성 장치(10)는 병렬적으로 신호 처리를 하기 때문에 어떤 알고리즘을 적용하여도 측정 시간이 변하지 않을 수 있으며, 복조 신호를 적용하는 방식에 따라 오차에 강건해질 수 있다. 송신기(100)는 레이저를 출력하는 광학 스캐너로 구현될 수 있다. 수신기(200)는 포토 다이오드로 구현될 수 있다. 또한, 컨트롤러(300)는 광원 구동기(310), 파형 생성기(330) 및 신호 처리기(350)를 포함할 수 있다.
송신기(100)는 광 신호(예를 들어, 투사광)를 출력할 수 있다. 송신기(100)는 레이저 광원을 사용할 수 있다. 레이저는 CW 레이저를 포함할 수 있다. 송신기(100)는 진폭 변조된 CW 레이저(amplitude modulated continuous wave) 레이저를 객체에 투사할 수 있다.
수신기(200)는 객체에 반사된 반사파(예를 들어, 반사광)를 수신할 수 있고, 컨트롤러(300)에 반사파를 출력할 수 있다.
컨트롤러(300)는 객체에 반사된 빛을 다시 한 번 변조시켜 투사한 광 신호와 객체에 반사된 반사파 간의 위상차를 측정할 수 있다. 컨트롤러(300)는 위상차를 이용하여 반사파를 수신한 위치와 객체와의 거리를 계산할 수 있다.
종래의 방식에서는, 위상을 계산하기 위해서 서로 다른 초기 위상을 가지는 복수의 복조 신호를 순차적으로 적용하는 방식이 이용된다.
복조 신호를 순자적으로 적용하게 되면 적용하는 복조 신호의 개수에 따라 측정 시간이 달라질 수 있다. 따라서 알고리즘에 따라 측정 시간을 변화되어야 하고 이는 전체 시스템의 정확성을 달라지게 할 수 있다.
종래의 방식은 빛의 파형의 구조적인 왜곡에 의하여 오차가 발생할 수 있다. 통상적으로, 간접적인 비행시간 측정법에서 사용하는 가장 이상적인 광의 파형은 사인파일 수 있다. 그러나 실제로는, 광원 또는 광 변조 소자의 작동 오차 빛의 비선형성 등으로 인하여 정확한 사인파가 아닌 다른 주파수 성분이 관여할 수 있다. 이러한 이상적인 파형과 실제 파형 사이의 차이는 깊이 정보를 계산하는데 있어서 오차의 요인으로 작용할 수 있다.
3 차원 이미지 생성 장치(10)는 투사광을 뿌리는 방식이 아닌 광학 스캐너를 이용하여 공간에 대한 3차원 영상을 생성할 수 있다. 3 차원 이미지 생성 장치(10)는 광학 스캐너를 이용하여 투사된 광 신호로부터 3차원 영상을 생성하고, 객체에 대한 깊이 정보를 추출할 수 있다.
광학 스캐너는 비행시간(time-of-flight) 측정을 이용한 3차원 영상 측정 방식에서 발생할 수 있는 광 변조기 내부의 잡음(noise)에 의한 오차를 감소시킬 수 있다.3 차원 이미지 생성 장치(10)는 반사파를 병렬적으로 복조함으로써 측정 시간을 단축시킬 수 있다. 즉, 3 차원 이미지 생성 장치(10)는 컴퓨터 전산, 전자 회로, 및 광 소자를 이용함으로써 반사파에 대한 병렬적 복조를 수행할 수 있다.
이미지 처리 장치(10)는 컨트롤러(300)를 통해 병렬 적으로 복조를 수행함으로써, 복조 신호의 개수가 달라지더라도 측정 시간에 영향을 미치지 않을 수 있다. 프로세서를 이용한 병렬적 복조를 이용함으로써 이미지 처리 장치(10)는 측정의 정확성은 향상시키면서 측정 시간을 단축시킬 수 있다.
이하에서, 컨트롤러(300)가 광 신호로부터 3 차원 이미지를 생성하는 과정을 상세하게 설명한다.
컨트롤러(300)는 광원 구동기(310), 파형 생성기(330) 및 신호 처리기(350)를 포함할 수 있다. 광원 구동기(310)는 광원을 제어하여 송신기(100)를 통해 광 신호를 출력할 수 있다. 예를 들어, 광원 구동기(310)는 레이저 광원을 생성하여 출력할 수 있다.
파형 생성기(330)는 광 신호의 특성이 제어된 광 신호를 생성할 수 있다. 예를 들어, 파형 생성기(330)는 광 신호의 주파수, 위상 및 진폭 중 적어도 하나가 제어된 광 신호를 생성할 수 있다.
신호 처리기(350)는 수신한 반사파를 처리하여 수신기(200)와 객체 간의 거리를 측정하고, 3 차원 이미지를 생성할 수 있다. 신호 처리기(350)는 프로세서(미도시) 내부 또는 외부에 구현될 수 있다.
송신기(100)가 객체에 투사하는 광 신호 E(t)는 수학식 1과 같이 나타낼 수 있다.
Figure 112019077726418-pat00001
여기서 A는 투사한 광 신호의 진폭을 의미하고, f는 투사한 광 신호의 변조 주파수를 의미할 수 있다. ADC는 투사한 광 신호의 직류 성분을 의미할 수 있다. 이 때, 투사되는 광 신호의 파장은 근적외선 대의 파장을 포함할 수 있다.
투사된 광 신호가 객체로부터 반사되면 광 신호의 비행 거리에 의해 위상차가 발생할 수 있다. 객체에 반사된 반사파는 수학식 2와 같이 나타낼 수 있다.
Figure 112019077726418-pat00002
여기서, r은 물체의 반사도, d는 수신기(200)와 객체 간의 거리, B는 외광 성분, R은 반사파의 진폭을 의미하고, RDC는 반사파의 직류 성분을 의미하고, φTOF는 빛의 비행 거리에 의한 위상차를 의미할 수 있다.
이 때, 위상차는 수학식 3과 같이 나타낼 수 있다.
Figure 112019077726418-pat00003
여기서 c는 빛의 속도 3x108m/s를 의미할 수 있고, d는 광 신호의 비행 거리를 의미할 수 있다. 반사파는 위상차 계산을 위해서 광 변조기(미도시)를 통해 복조된 후에 이미지 센서를 통해 수집될 수 있다. 이 때, 반사파를 복조하기 위한 복조 신호 M(t)는 수학식 4와 같이 나타낼 수 있다.
Figure 112019077726418-pat00004
여기서, M은 복조 신호의 진폭을 의미할 수 있고, MDC는 복조 신호의 직류 성분을 의미할 수 있다. 복조 신호를 이용하여 복조된 후, 이미지 센서에서 수집되는 이미지 신호 Imea는 수학식 5와 같이 나타낼 수 있다.
Figure 112019077726418-pat00005
여기서, Tint는 이미지를 획득하기 위한 이미지 센서의 노출 시간을 의미할 수 있다. 수학식 5에서 미지수는 φTOF,
Figure 112019077726418-pat00006
, ADCMDC의 3 개일 수 있다. 미지수를 구하기 위해서 복수의 관계식이 요구될 수 있다.
컨트롤러(300)는 복조 신호 M(t)에 상이한 값을 가지는 복수의 초기 위상을 인가함으로써 복수의 관계식을 도출할 수 있다. 초기 위상 δn이 인가된 이미지 신호는 수학식 6과 같이 나타낼 수 있다.
Figure 112019077726418-pat00007
컨트롤러(300)는 초기 위상 δn을 변화시킴으로써 위상 차를 계산할 수 있다. 컨트롤러(300)는 광 신호의 위상 주기를 일정한 비율로 나눔으로써 복수의 초기 위상을 결정할 수 있다. 예를 들어, 컨트롤러(300)는 호모다인 믹싱(homodyne mixing) 방식을 이용하여 복수의 초기 위상을 결정할 수 있다.
예시적으로, 컨트롤러(300)는 수학식 7과 같이 복수의 초기 위상을 결정할 수 있다.
Figure 112019077726418-pat00008
컨트롤러(300)는 수학식 7에 따라 결정된 복수의 초기 위상을 이용하여 반사파를 수신한 위치와 객체와의 거리 d를 수학식 8 과 같이 계산할 수 있다.
Figure 112019077726418-pat00009
예를 들어, 초기 위상으로 δn = 0˚, 90˚, 180˚, 270˚를 이용하는 경우, 수신된 광 신호와 객체와의 거리 d는 수학식 9와 같이 나타낼 수 있다.
Figure 112019077726418-pat00010
컨트롤러(300)는 프로세서를 이용한 복조(예를 들어, 전산 처리 또는 전자 회로를 이용한 복조)를 이용하여 복조 신호의 직류 성분을 제거할 수 있다. 직류 성분이 제거된 복조 신호는 수학식 10과 같이 나타낼 수 있다.
컨트롤러(300)는 복조 신호의 직류 성분을 제거함으로써 외광(또는 노이즈)에 강건한 특성을 가질 수 있다.
Figure 112019077726418-pat00011
직류 성분이 제거된 복조 신호로부터 계산된 이미지 신호는 수학식 11과 같이 나타낼 수 있다.
Figure 112019077726418-pat00012
즉, 컨트롤러(300)는 프로세서를 이용한 복조를 통해 거리를 계산함에 있어서 외광 성분을 배제시킬 수 있다. 또한, 컨트롤러(300)는 하드웨어가 아닌 소프트웨 상에서 복조 신호를 생성하므로, 하드웨어의 문제로 인한 왜곡된 파형에 대해 강건하게 동작할 수 있다.
도 3a 및 도 3b는 송신기와 수신기의 정렬 방법의 예들을 나타낸다.
도 3a 및 도 3b를 참조하면, 송신기(100)는 광 신호를 객체에 투사하고, 수신기(200)는 객체에 반사된 반사파를 수신할 수 있다. 송신기(100)는 스캐너로 구현될 수 있고, 수신기(200)는 포토 다이오드로 구현될 수 있다.
광원 구동기(310)에서 공급된 광 신호는 송신기(100)를 거쳐 객체에 투사될 수 있다. 객체에 반사된 반사파는 수신기(200)를 통해 수신될 수 있다.
이 때, 효율적인 광 신호의 수집을 위해서 송신기(100)와 수신기(200)가 정렬될 수 있다. 도 3a의 예시에서와 같이, 송신기(100)로부터 수신기(200)로 진행하는 광 신호의 경로는 빔 스플리터(500)에 의해 일렬로 정렬될 수 있다.
광원 구동기(310)로부터 출력된 광 신호는 빔 스플리터(500)를 거쳐 송신기(100)에서 출력될 수 있다. 객체에 반사된 반사파는 송신기(100) 및 빔 스플리터(500)를 순차적으로 거쳐 수신기(200)로 진행할 수 있다.
도 3b의 예시에서, 광원 구동기(310)에서 출력된 광 신호는 송신기(100)를 통해 객체에 투사될 수 있다. 객체에 반사된 반사파는 수신기(200)를 통해 수신될 수 있다. 이 때, 송신기(100)와 수신기(200)는 동일한 방향을 향하도록 정렬될 수 있다. 송신기(100) 및 수신기(200)의 정렬을 통해, 광 신호가 효과적으로 송/수신될 수 있다.
도 4는 도1에 도시된 3차원 이미지 생성 장치가 수신기와 객체 간의 거리 및 객체의 속도를 계산하는 과정의 일 예를 나타낸다.
기존의 간접적인 비행시간 측정법은 물체가 움직이지 않는다는 조건하에서 이용될 수 있다. 만약 물체와 측정장치 사이의 상대적 움직임이 존재하게 되면 3차원 이미지 생성 과정에서 오차가 발생할 수 있다.
3차원 이미지 생성 장치(10)는 병렬적인 처리를 기반으로 연속적인 두 개의 측정점을 이용하여 객체의 움직임에 대한 오차를 보정할 수 있다. 또한, 3차원 이미지 생성 장치(10)는 연속적인 두개의 측정점을 이용하여 움직이는 객체의 속도를 동시에 측정할 수 있다.
객체의 3차원 이미지 생성 장치(10)에 대한 움직임이 등속 v를 가질 때 객체와 3차원 이미지 생성 장치(10)가 광 신호를 수신한 위치 사이의 거리 d는 수학식 12 와 같이 나타낼 수 있다.
Figure 112019077726418-pat00013
이 때, 객체에 반사된 반사파 및 수신기(200)와 객체와의 거리에 의한 위상차는 각각 수학식 13 및 수학식 14 와 같이 나타낼 수 있다.
Figure 112019077726418-pat00014
Figure 112019077726418-pat00015
이 때 이미지 센서에서 수집되는 이미지 신호 Imea는 수학식 15와 같이 나타낼 수 있다.
Figure 112019077726418-pat00016
움직이는 객체에 대해 3차원 이미지 생성 장치(10)가 수학식 8 및 수학식 9에 의해 수신기(200)와 객체의 거리 d를 구하는 경우 큰 오차가 발생할 수 있다. 따라서, 3차원 이미지 생성 장치(10)는 움직이는 객체에 대한 오차를 보정하기 위해 하나의 측정점이 아닌 연속된 측정점을 모두 이용하여 기존 측정점에 대한 거리를 구할 수 있다.
또한, 3차원 이미지 생성 장치(10)는 두 측정점을 이용하여 움직이는 객체의 속도 역시 동시에 측정할 수 있다.
송신기(100)는 진폭 변조된 레이저를 객체에 투사할 수 있다. 수신기(200)는 객체 상 측정점에서 반사된 반사파를 수신할 수 있다. 예를 들어, 송신기(100)는 진폭 변조된 레이저를 객체 상 제1 측정점 및 제2 측정점에 투사할 수 있고, 수신기(200)는 제1 측정점 및 제2 측정점에서 반사된 반사파를 측정할 수 있다.
이 때, 제1 측정점 및 제2 측정점은 연속된 측정점일 수 있다.
컨트롤러(300)는 제1 측정점에서 반사된 반사파를 병렬적으로 여러 개의 변조 신호를 이용하여 복조 시킨 후 그에 따른 이미지를 얻을 수 있다. 예를 들어, 컨트롤러(300)는 수신기(200)와 제1 측정점 사이의 거리 d1을 수학식 16과 같이 계산할 수 있다.
Figure 112019077726418-pat00017
컨트롤러(300)는 제2 측정점에서 반사된 반사파를 병렬적으로 여러 개의 변조 신호를 이용하여 복조 시킨 후 그에 따른 이미지를 얻을 수 있다. 예를 들어, 컨트롤러(300)는 수신기(200)와 제2 측정점 사이의 거리 d2을 수학식 17과 같이 계산할 수 있다.
Figure 112019077726418-pat00018
컨트롤러(300)는 제1 측정점에서 반사된 반사파에 기초하여 계산한 d1 및 제1 측정점에서 반사된 반사파에 기초하여 계산한 d2에 기초하여 제1 측정점의 속도 v 및 오차가 보정된 제1 측정점과 수신기(200) 사이의 거리 d를 계산할 수 있다.
예를 들어, 컨트롤러(300)는 제1 측정점의 속도 v 및 오차가 보정된 제1 측정점과 수신기(200) 사이의 거리 d를 각각 수학식 18 및 수학식 19과 같이 계산할 수 있다.
Figure 112019077726418-pat00019
Figure 112019077726418-pat00020
컨트롤러(300)는 상기 동작을 객체 상 모든 점에 적용하여 객체 상 모든 점의 속도와 거리를 계산할 수 있다.
컨트롤러(300)는 반사파를 병렬적으로 복조함과 동시에 측정점 두 개를 이용하여 거리를 계산하기 때문에 객체의 움직임에 의한 오차를 보정할 수 있다. 또한, 컨트롤러(300)는 해당 측정점의 속도 값을 추가로 계산할 수 있다.
도 5는 이미지 센서 어레이를 이용해 구현된 3차원 이미지 생성 장치의 일 예를 나타낸다.
3차원 이미지 생성 장치(10)는 이미지 센서 어레이(510)을 이용하여 구현할 수 있다.
이미지 센서 어레이(510)는 제1 측정점에 대하여 반사파를 측정할 수 있다. 예를 들어, 이미지 센서 어레이(510)는 객체의 전체를 촬영하여 제1 프레임(530)을 생성할 수 있다. 이 때, 제1 프레임(530)은 제1 측정점에 대응하는 제1 픽셀(531)를 포함할 수 있다.
이미지 센서 어레이(510)는 제1 프레임(530)에 포함되는 모든 픽셀에 대응되는 각각의 측정점에서 반사된 반사파를 측정할 수 있다. 컨트롤러(300)는 서로 다른 초기 위상을 가지는 복수개의 복조 신호를 제1 프레임(530)에 포함되는 모든 픽셀에 대응되는 각각의 측정점에서 반사된 반사파에 적용한 후 적분을 수행할 수 있다.
즉, 컨트롤러(300)는 반사파와 복수의 복조 신호에 기초하여 제1 프레임(530)에 포함되는 모든 픽셀의 픽셀 값(pixel value)을 병렬적으로 생성하고, 거리 값(d1)을 계산할 수 있다.
이미지 센서 어레이(510)는 제2 측정점에 대하여 반사파를 측정할 수 있다. 예를 들어, 이미지 센서 어레이(510)는 객체의 전체를 촬영하여 제2 프레임(550)을 생성할 수 있다. 이 때, 제2 프레임(550)은 제2 측정점에 대응하는 제2 픽셀(551)를 포함할 수 있다.
이미지 센서 어레이(510)는 제2 프레임(550)에 포함되는 모든 픽셀에 대응되는 각각의 측정점에서 반사된 반사파를 측정할 수 있다. 컨트롤러(300)는 서로 다른 초기 위상을 가지는 복수개의 복조 신호를 제2 프레임(550)에 포함되는 모든 픽셀에 대응되는 각각의 측정점에서 반사된 반사파에 적용한 후 적분을 수행할 수 있다.
즉, 컨트롤러(300)는 반사파와 복수의 복조 신호에 기초하여 제2 프레임(550)에 포함되는 모든 픽셀의 픽셀 값(pixel value)을 병렬적으로 생성하고, 거리 값(d2)을 계산할 수 있다.
컨트롤러(300)는 제1 프레임(530)과 제2 프레임(550)에 포함된 각 픽셀의 거리 값에 기초하여 제1 프레임(530)에 포함된 모든 픽셀의 거리(d) 및 속도(v)를 계산할 수 있다.
도 6은 광학 스캐너를 이용해 구현된 3차원 이미지 생성 장치의 일 예를 나타낸다.
3차원 이미지 생성 장치(10)는 광학 스캐너(600)을 이용하여 구현할 수 있다.
광학 스캐너(600)는 제1 측정점(650)에서 반사된 반사파를 측정할 수 있다. 컨트롤러(300)는 서로 다른 초기 위상을 가지는 복수개의 복조 신호를 제1 측정점(650)에서 반사된 반사파에 적용한 후 적분을 수행할 수 있다. 즉, 컨트롤러(300)는 반사파와 복수의 복조 신호에 기초하여 제1 측정점에 대응되는 픽셀 값을 병렬적으로 생성하고, 제1 측정점(650)의 거리 값(d1)을 계산할 수 있다.
또한, 광학 스캐너(600)는 제1 측정점(650)의 바로 다음 측정인 제2 측정점(630)에서 반사된 반사파를 측정할 수 있다. 컨트롤러(300)는 서로 다른 초기 위상을 가지는 복수개의 복조 신호를 제2 측정점(630)에서 반사된 반사파에 적용한 후 적분을 수행할 수 있다.
즉, 컨트롤러(300)는 반사파와 복수의 복조 신호에 기초하여 제2 측정점에 대응되는 픽셀 값을 병렬적으로 생성하고, 제2 측정점(630)의 거리 값(d2)을 계산할 수 있다.
컨트롤러(300)는 제1 측정점(650) 및 제2 측정점(630)에 대한 각각의 거리 값(d1 및 d2)에 기초하여 제1 측정점(650)의 거리 값(d1)의 거리 및 속도를 계산할 수 있다.
광학 스캐너(600)는 한 프레임을 모두 스캔할 때까지 상기 계산을 반복하여 수행할 수 있다. 이를 통해, 3차원 이미지 생성 장치(10)는 한 프레임의 모든 측정점에 대하여 거리와 속도를 계산할 수 있다.
도 7은 도1에 도시된 3차원 이미지 생성 장치의 동작의 순서도를 나타낸다.
송신기(100)는 광 신호를 객체에 투사할 수 있다(710). 송신기(100)가 투사하는 광 신호는 진폭 변조된 광 신호를 포함할 수 있다. 송신기(100)는 진폭 변조된 레이저를 객체 전체에 대하여 스캔할 수 있다.
수신기(200)는 제1 측정점에서 반사된 반사파를 수신하고, 컨트롤러(300)는 반사파에 기초하여 제1 측정점과 수신기(200) 사이의 거리를 계산할 수 있다(720). 예를 들어, 수신기(200)는 이미지 센서 어레이(510) 또는 광학 스캐너(600)를 포함할 수 있고, 컨트롤러(300)는 반사파와 서로 다른 초기 위상을 가지는 복수개의 복조 신호를 이용하여 거리를 계산할 수 있다.
수신기(200)는 제2 측정점에서 반사된 반사파를 수신하고, 컨트롤러(300)는 반사파에 기초하여 제2 측정점과 수신기(200) 사이의 거리를 계산할 수 있다(730). 예를 들어, 수신기(200)는 이미지 센서 어레이(510) 또는 광학 스캐너(600)를 포함할 수 있고, 컨트롤러(300)는 반사파와 서로 다른 초기 위상을 가지는 복수개의 복조 신호를 이용하여 거리를 계산할 수 있다.
컨트롤러(300)는 제1 측정점의 거리 및 제2 측정점의 거리에 기초하여 제1 측정점의 거리 및 속도를 계산할 수 있다(740). 예를 들어, 컨트롤러(300)는 제1 측정점의 거리 및 제2 측정점의 거리에 기초하여 제1 측정점의 거리의 오차를 보정할 수 있고, 속도를 계산하여, 객체의 속도 및 거리를 계산할 수 있다.
컨트롤러(300)는 객체의 거리에 기초하여 객체에 대한 3차원 이미지를 생성할 수 있다(750).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (21)

  1. 객체로 투사한 광 신호가 객체 상의 제1 측정점 및 제2 측정점에서 반사된 반사파를 수신하는 단계;
    복수의 복조(demodulation) 신호에 기초하여 상기 반사파를 복조함으로써 상기 반사파의 수신 위치와 상기 제1 측정점 간의 제1 거리 및 상기 반사파의 수신 위치와 상기 제2 측정점 간의 제2 거리를 획득하는 단계; 및
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 객체의 속도를 계산하는 단계
    를 포함하는 3차원 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 거리의 오차를 보정하는 단계; 및
    보정된 제1 거리에 기초하여 상기 객체에 대한 3차원 이미지를 생성하는 단계
    를 더 포함하는 3차원 이미지 생성 방법.
  3. 제1항에 있어서,
    상기 광 신호는,
    진폭 변조된(amplitude modulated) 광 신호
    를 포함하는 3차원 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 획득하는 단계는,
    복수의 초기 위상에 기초하여 상이한 위상을 가지는 상기 복수의 복조 신호를 생성하는 단계;
    상기 반사파와 상기 복수의 복조 신호에 기초하여 복수의 픽셀 값(pixel value)을 병렬적으로 생성하는 단계; 및
    상기 복수의 초기 위상 및 상기 복수의 픽셀 값에 기초하여 상기 제1 거리 및 상기 제2 거리를 계산하는 단계
    를 포함하는 3차원 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 복수의 복조 신호를 생성하는 단계는,
    상기 광 신호의 위상 주기를 임의의 비율로 나누어 상기 복수의 초기 위상을 결정하는 단계; 및
    상기 복수의 초기 위상에 기초하여 상기 복수의 복조 신호를 생성하는 단계
    를 포함하는 3차원 이미지 생성 방법.
  6. 제1항에 있어서,
    상기 반사파를 수신하는 단계는,
    상기 객체의 전체에 대해 스캔을 수행하여 상기 제1 측정점에서 반사된 반사파를 수신하고, 상기 제1 측정점의 다음 스캐닝 포인트인 상기 제2 측정점에서 반사된 반사파를 수신하는 단계
    를 포함하는 3차원 이미지 생성 방법.
  7. 제6항에 있어서,
    상기 스캔은 이미지 센서 어레이 또는 광학 스캐너를 통해 수행되는 3차원 이미지 생성 방법.
  8. 제6항에 있어서,
    상기 획득하는 단계는,
    상기 제1 측정점에서 반사된 반사파에 기초하여 상기 제1 거리를 계산하고, 상기 제2 측정점에서 반사된 반사파에 기초하여 상기 제2 거리를 계산하는 단계
    를 포함하고,
    상기 계산하는 단계는
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 측정점의 속도를 계산하는 단계; 및
    상기 제1 측정점의 속도에 기초하여 객체의 속도를 계산하는 단계
    를 포함하는 3차원 이미지 생성 방법.
  9. 제1항에 있어서,
    상기 반사파를 수신하는 단계는,
    상기 객체의 전체에 대해 제1 촬영을 수행하여 상기 제1 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신하는 단계;
    상기 객체의 전체에 대해 제2 촬영을 수행하여 상기 제2 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신하는 단계
    를 포함하는 3차원 이미지 생성 방법.
  10. 제9항에 있어서,
    상기 계산하는 단계는,
    상기 제1 촬영에 의해 수신한 반사파에 기초하여 제1 프레임을 생성하는 단계;
    상기 제1 프레임의 모든 픽셀에 대해 픽셀 값을 계산하는 단계;
    상기 제2 촬영에 의해 수신한 반사파에 기초하여 제2 프레임을 생성하는 단계;
    상기 제2 프레임의 모든 픽셀에 대해 픽셀 값을 계산하는 단계; 및
    상기 제1 프레임 및 상기 제2 프레임의 각 픽셀 값에 기초하여 제1 프레임의 각 픽셀에 대응하는 측정점의 속도를 계산하는 단계
    를 포함하는 3차원 이미지 생성 방법.
  11. 광 신호를 객체에 투사(project)하는 송신기;
    상기 광 신호가 객체 상의 제1 측정점 및 제2 측정점에서 반사된 반사파를 수신하는 수신기; 및
    상이한 위상을 가지는 복수의 복조(demodulation) 신호에 기초하여 상기 반사파를 복조함으로써 상기 반사파의 수신 위치와 상기 제1 측정점 간의 제1 거리 및 상기 반사파의 수신 위치와 상기 제2 측정점 간의 제2 거리를 획득하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 객체의 속도를 계산하는 컨트롤러
    를 포함하는 3차원 이미지 생성 장치.
  12. 제11 항에 있어서,
    상기 컨트롤러는,
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 거리의 오차를 보정하고, 보정된 제1 거리에 기초하여 상기 객체에 대한 3차원 이미지를 생성하는 3차원 이미지 생성 장치.
  13. 제11항에 있어서,
    상기 광 신호는,
    진폭 변조된(amplitude modulated) 광 신호
    를 포함하는 3차원 이미지 생성 장치.
  14. 제11항에 있어서,
    상기 컨트롤러는,
    복수의 초기 위상에 기초하여 상기 복수의 복조 신호를 생성하고, 상기 반사파와 상기 복수의 복조 신호에 기초하여 복수의 픽셀 값(pixel value)을 병렬적으로 생성하고, 상기 초기 위상 및 상기 복수의 픽셀 값에 기초하여 상기 제1 거리 및 제2 거리를 계산하는 3차원 이미지 생성 장치.
  15. 제14항에 있어서,
    상기 컨트롤러는,
    상기 광 신호의 위상 주기를 임의의 비율로 나누어 상기 복수의 초기 위상을 결정하고, 상기 복수의 초기 위상에 기초하여 상기 복수의 복조 신호를 생성하는 3차원 이미지 생성 장치.
  16. 제11항에 있어서,
    상기 수신기는,
    상기 객체의 전체에 대해 스캔을 수행하여 상기 제1 측정점에서 반사된 반사파를 수신하고, 상기 제1 측정점의 다음 스캐닝 포인트인 상기 제2 측정점에서 반사된 반사파를 수신하는 3차원 이미지 생성 장치.
  17. 제11항에 있어서,
    상기 송신기는,
    광학 스캐너를 포함하는 3차원 이미지 생성 장치.
  18. 제11항에 있어서,
    상기 수신기는,
    이미지 센서 어레이 또는 단일 광측정 소자를 포함하는 3차원 이미지 생성 장치.
  19. 제16항에 있어서,
    상기 컨트롤러는,
    상기 제1 측정점에서 반사된 반사파에 기초하여 상기 제1 거리를 계산하고, 상기 제2 측정점에서 반사된 반사파에 기초하여 상기 제2 거리를 계산하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 측정점의 속도를 계산하고, 상기 제1 측정점의 속도에 기초하여 객체의 속도를 계산하는 3차원 이미지 생성 장치.
  20. 제11항에 있어서,
    상기 수신기는,
    상기 객체의 전체에 대해 제1 촬영을 수행하여 상기 제1 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신하고, 상기 객체의 전체에 대해 제2 촬영을 수행하여 상기 제2 측정점이 포함된 상기 객체의 모든 측정점에서 반사된 반사파를 수신하는 3차원 이미지 생성 장치.
  21. 제20항에 있어서,
    상기 컨트롤러는,
    상기 제1 촬영에 의해 수신한 반사파에 기초하여 제1 프레임을 생성하고, 상기 제1 프레임의 모든 픽셀에 대해 픽셀 값을 계산하고, 상기 제2 촬영에 의해 수신한 반사파에 기초하여 제2 프레임을 생성하고, 상기 제2 프레임의 모든 픽셀에 대해 픽셀 값을 계산하고, 상기 제1 프레임 및 상기 제2 프레임의 각 픽셀 값에 기초하여 제1 프레임의 각 픽셀에 대응하는 측정점의 속도를 계산하는 3차원 이미지 생성 장치.
KR1020190091822A 2019-07-29 2019-07-29 3 차원 이미지 생성 방법 및 장치 KR102162019B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190091822A KR102162019B1 (ko) 2019-07-29 2019-07-29 3 차원 이미지 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091822A KR102162019B1 (ko) 2019-07-29 2019-07-29 3 차원 이미지 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102162019B1 true KR102162019B1 (ko) 2020-10-06

Family

ID=72826365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091822A KR102162019B1 (ko) 2019-07-29 2019-07-29 3 차원 이미지 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102162019B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015135274A (ja) * 2014-01-17 2015-07-27 日本電気株式会社 移動体追尾装置及び、移動体追尾方法
KR20170106615A (ko) * 2016-03-12 2017-09-21 배동진 레이저 거리측정 장치를 이용한 주차차량 감지 시스템
KR20170114045A (ko) * 2016-03-31 2017-10-13 주식회사 아이유플러스 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법
JP2018032393A (ja) * 2005-03-11 2018-03-01 ハンド ヘルド プロダクツ インコーポレーティッド グローバル電子シャッター制御を持つイメージ読み取り装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018032393A (ja) * 2005-03-11 2018-03-01 ハンド ヘルド プロダクツ インコーポレーティッド グローバル電子シャッター制御を持つイメージ読み取り装置
JP2015135274A (ja) * 2014-01-17 2015-07-27 日本電気株式会社 移動体追尾装置及び、移動体追尾方法
KR20170106615A (ko) * 2016-03-12 2017-09-21 배동진 레이저 거리측정 장치를 이용한 주차차량 감지 시스템
KR20170114045A (ko) * 2016-03-31 2017-10-13 주식회사 아이유플러스 이미지 센서 및 레이더 센서를 이용하여 타겟의 궤적을 추적하는 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
신준오, "움직이는 물체의 3차원 형상과 속도 이미지의 동시 측정 방법", 한국과학기술원 석사학위논문, 2018.08.31.* *

Similar Documents

Publication Publication Date Title
US10234561B2 (en) Specular reflection removal in time-of-flight camera apparatus
US20200333467A1 (en) Time-of-Flight (TOF) Assisted Structured Light Imaging
KR102252219B1 (ko) 광학 거리 측정 시스템을 이용한 적응형 스캐닝 방법과 시스템
AU2020261259B2 (en) Providing spatial displacement of transmit and receive modes in lidar system
US10430956B2 (en) Time-of-flight (TOF) capturing apparatus and image processing method of reducing distortion of depth caused by multiple reflection
US20160094830A1 (en) System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
AU2019418812B2 (en) Method and system for refractive beam-steering
US20160316193A1 (en) Parametric online calibration and compensation in tof imaging
CN111308482B (zh) 基于编码调制图像的滤波连续波飞行时间测量
US20210263137A1 (en) Phase noise and methods of correction in multi-frequency mode lidar
US20190235063A1 (en) System and method for calibrating light intensity
KR20170134944A (ko) 광학 모듈을 이용하여 특정 영역을 스캔하는 방법 및 장치
US20230134806A1 (en) Denoising depth image data using neural networks
WO2019188509A1 (ja) レーダ画像処理装置、レーダ画像処理方法、および記憶媒体
CN111819602A (zh) 增加点云采样密度的方法、点云扫描系统、可读存储介质
KR102162019B1 (ko) 3 차원 이미지 생성 방법 및 장치
KR102232390B1 (ko) 3 차원 이미지 생성 방법 및 장치
US10607360B2 (en) Image processing apparatus and non-transitory computer-readable storage medium
Gupta et al. Phasor imaging: A generalization of correlation-based time-of-flight imaging
US11651503B2 (en) Determining depth in a depth image
US20230057655A1 (en) Three-dimensional ranging method and device
Jie et al. Three-dimensional imaging by compressed sensing based dual-frequency laser phase ranging
KR102087081B1 (ko) 영상센서 방식 라이다의 측정거리 향상을 위한 광 집속 시스템
US20210400217A1 (en) Time-of-flight down-up sampling using a compressed guide
WO2021113645A1 (en) Combined phase depth imaging

Legal Events

Date Code Title Description
GRNT Written decision to grant