KR20150133086A - 깊이 영상 획득 방법 및 그 영상 획득 장치 - Google Patents

깊이 영상 획득 방법 및 그 영상 획득 장치 Download PDF

Info

Publication number
KR20150133086A
KR20150133086A KR1020140059964A KR20140059964A KR20150133086A KR 20150133086 A KR20150133086 A KR 20150133086A KR 1020140059964 A KR1020140059964 A KR 1020140059964A KR 20140059964 A KR20140059964 A KR 20140059964A KR 20150133086 A KR20150133086 A KR 20150133086A
Authority
KR
South Korea
Prior art keywords
phase images
noise
image
phase
subject
Prior art date
Application number
KR1020140059964A
Other languages
English (en)
Inventor
강병민
김도균
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140059964A priority Critical patent/KR20150133086A/ko
Priority to US14/504,741 priority patent/US9989642B2/en
Publication of KR20150133086A publication Critical patent/KR20150133086A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

깊이 영상 획득 방법 및 그 장치를 제공한다. 본 깊이 영상 획득 방법은, 피사체에 대한 서로 다른 복수 개의 위상 영상을 수신하고, 복수 개의 위상 영상으로부터 노이즈를 제거하며, 노이즈가 제거된 복수 개의 위상 영상을 이용하여 피사체에 대한 깊이 영상을 획득한다.

Description

깊이 영상 획득 방법 및 그 영상 획득 장치{Method for generating depth image and image generating apparatus using thereof}
본 개시는 깊이 영상을 획득하는 방법 및 그 영상 획득 장치에 관한 것이다.
피사체의 깊이(depth) 영상을 취득하는 방법으로서, 적외선(infrared Ray: IR)을 피사체에 조사한 후 조사된 적외선이 반사되어 돌아오는 시간을 이용하는 ToF(Time of Flight) 방법이 있다. 이러한 방법을 채용한 ToF 깊이 카메라는 피사체의 깊이 영상을 획득하는 종전의 다른 카메라(예를 들어, 스테레오(stereo) 카메라, 구조 광(structured light) 카메라)들에 비하여 실시간으로 모든 화소에서 피사체의 깊이를 취득할 수 있다는 장점이 있다.
ToF(Time of Flight) 방식의 깊이 영상은 피사체로 조사된 조사광과 조사광이 피사체로부터 반사되어 돌아오는 반사광 간의 위상차를 이용하여 획득할 수 있다. 다만, 이렇게 획득한 깊이 영상에는 노이즈가 포함되어 있으므로 이를 제거하기 위한 연구가 있어 왔다.
본 개시는 깊이 영상을 획득함에 있어서 노이즈를 제거하는 방법 및 그 영상 획득 장치를 제공한다.
일 유형에 따르는 깊이 영상 획득 방법은, 피사체에 대한 위상이 서로 다른 복수 개의 위상 영상을 수신하는 단계; 상기 복수 개의 위상 영상으로부터 노이즈를 제거하는 단계; 및 노이즈가 제거된 상기 복수 개의 위상 영상을 이용하여 상기 피사체에 대한 깊이 영상을 획득하는 단계;를 포함한다.
그리고, 상기 노이즈를 제거하는 단계는, 상기 복수 개의 위상 영상 중 적어도 하나의 위상 영상으로부터 노이즈를 제거할 수 있다.
또한, 상기 노이즈를 제거하는 단계는, 상기 복수 개의 위상 영상 중 두 개의 위상 영상간의 차 영상으로부터 노이즈를 제거할 수 있다.
그리고, 상기 두 개의 위상 영상간의 위상 차는 180도일 수 있다.
또한, 상기 노이즈는, 가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter), 쌍방 필터(bilateral filter) 중 적어도 하나를 이용하여 제거될 수 있다.
그리고, 상기 복수 개의 위상 영상이 N(N은 2이상의 자연수)개인 경우, 상기 복수 개의 위상 영상 중 이웃하는 위상 영상간의 위상 차는 360/N일 수 있다.
또한, 복수 개의 조사광을 상기 피사체에 순차적으로 조사하는 단계; 상기 복수 개의 조사광에 대응하는 상기 피사체로부터 반사된 복수 개의 반사광을 광 변조하는 단계; 및 변조된 상기 복수 개의 반사광을 이용하여 상기 복수 개의 위상 영상을 획득하는 단계;를 더 포함할 수 있다.
그리고, 상기 복수 개의 조사광은 위상이 서로 다를 수 있다.
또한, 상기 복수 개의 반사광은 서로 다른 이득 파형으로 변조될 수 있다.
한편, 일 실시예에 따른 영상 획득 장치는, 피사체에 대한 서로 다른 복수 개의 위상 영상으로부터 노이즈를 제거하는 노이즈 제거부; 및 노이즈가 제거된 상기 복수 개의 위상 영상을 이용하여 상기 피사체에 대한 깊이 영상을 획득하는 영상 획득부;를 포함한다.
그리고, 상기 노이즈 제거부는 상기 복수 개의 위상 영상 중 적어도 하나의 위상 영상으로부터 노이즈를 제거할 수 있다.
또한, 상기 노이즈 제거부는 상기 복수 개의 위상 영상 중 두 개의 위상 영상간의 차 영상에서 노이즈를 제거할 수 있다.
그리고, 상기 두 개의 위상 영상간의 위상 차는 180도일 수 있다.
또한, 상기 노이즈 제거부는 가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter), 쌍방 필터(bilateral filter) 중 적어도 하나를 이용하여 노이즈를 제거할 수 있다.
그리고, 상기 복수 개의 위상 영상이 N(N은 2이상의 자연수)개인 경우, 상기 복수 개의 위상 영상 중 이웃하는 위상 영상간의 위상 차는 360/N일 수 있다.
또한, 상기 피사체로부터 반사된 복수 개의 반사광을 검출하여 상기 복수 개의 위상 영상을 획득하는 이미지 센서;를 더 포함할 수 있다.
그리고, 상기 이미지 센서는, 상기 복수 개의 반사광을 서로 다른 이득 파형으로 광 변조할 수 있다.
또한, 상기 피사체에 복수 개의 조사광을 순차적으로 조사하는 광원;을 더 포함할 수 있다.
그리고, 상기 복수 개의 조사광은 위상이 서로 다를 수 있다.
일 실시예에 따른 깊이 영상을 획득하기 전에 노이즈를 제거함으로써 깊이 영상의 정밀도를 향상시킬 수 있다.
도 1은 일 실시예에 따른 영상 획득 장치를 나타내는 블록도이다.
도 2a는 시뮬레이션에 적용되는 이상적인 깊이 영상에서 각 픽셀의 깊이 값을 나타내는 그래프이다.
도 2b는 도 2a의 깊이 영상의 기초가 되는 위상 영상으로서, 위상 영상내 각 픽셀의 위상 값을 나타내는 그래프이다.
도 2c는 도 2b의 위상 영상에 노이즈가 추가된 그래프이다.
도 2d는 도 2c에 가우시안 필터를 이용하여 노이즈를 제거한 결과이다.
도 2e는 노이즈 제거에 따른 깊이 영상 정밀도를 설명하는 그래프이다.
도 3은 일 실시예에 따른 깊이 영상을 획득하는 방법을 설명하는 흐름도이다.
이하 첨부된 도면을 참조하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
본 실시예들은 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 신호 처리 장치 및 영상 획득 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일 실시예에 따른 영상 획득 장치(100)를 나타내는 블록도이다. 도 1를 참조하면, 영상 획득 장치(100)는 영상을 촬영하는 촬영 장치(110)와 촬영된 영상 신호에 대하여 신호 처리를 수행하는 신호 처리 장치(120)을 포함할 수 있다. 촬영 장치(110)는 피사체(10)에 광을 조사하는 광원(210), 광원(210)을 구동시키는 광원 구동부(220), 피사체(10)로부터 반사된 광을 검출하여 영상을 획득하는 이미지 센서(250), 및 광원 구동부(220)와 이미지 센서(250)의 동작을 제어하기 위한 제어부(260)를 포함할 수 있다. 또한, 이미지 센서(250)의 광 입사 면에는 반사광을 이미지 센서(250)의 영역 내에 집광하기 위한 제1 렌즈(270)와 소정의 파장을 갖는 광만을 투과시키고, 배경 광 또는 잡광을 제거하는 필터(280)가 더 배치될 수 있다.
광원(210)은, 예를 들어, 인간의 눈에는 보이지 않는 약 850nm의 근 적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원(210)의 종류는 제한을 받지 않는다. 광원 구동부(220)는 제어부(260)로부터 수신된 제어 신호에 따라 광원(210)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(220)의 구동 신호에 따라, 광원(210)으로부터 피사체(10)로 조사되는 광 조사 신호는 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 광 조사 신호는 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
이미지 센서(250)는 피사체(10)로부터 반사된 광을 제어부(260)로부터 수신된 제어 신호에 따라 광 변조한다. 예를 들어, 이미지 센서(250)는 제어부(260)에 의해 제공된 소정의 파형을 갖는 광 변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 이미지 센서(250)는 가변 이득을 갖는다. 이미지 센서(250)는 거리에 따른 빛의 위상 차 또는 이동 시간을 식별하기 위해 수십 내지 수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 이미지 센서(250)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 위상 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등을 포함할 수 있다.
이미지 센서(250)는 검출된 반사광으로부터 영상을 획득할 수도 있다. 만약 피사체(10)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 이미지 센서(250)는 예를 들어 포토 다이오드나 적분기와 같은 하나의 단일한 광센서를 포함할 수 있다. 그러나 피사체(10) 상의 다수의 점들까지의 거리를 동시에 측정하고자 하는 경우, 이미지 센서(250)는 다수의 포토 다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 이미지 센서(250)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CIS일 수도 있다.
신호 처리 장치(120)는 이미지 센서(250)의 출력을 기초로 깊이 영상을 획득할 수 있다. 신호 처리 장치(120)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 영상 획득 장치(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 신호 처리 장치(120)별도의 이동 가능한 저장 매체에 저장될 수도 있다.
이하에서는 영상 획득 장치(100)의 동작을 개략적으로 설명한다. 먼저, 광원(210)은 제어부(260)의 제어에 따라 소정의 주기 및 파형을 갖는 복수 개의 광을 피사체(10)에 순차적으로 조사할 수 있다. 상기한 복수 개의 광은 소정의 주기 및 파형을 가지며 서로 상이할 수 있다. 광원(210)은 복수 개의 조사광을 연속하여 순차적으로 조사할 수도 있고, 일정 시간 간격으로 복수 개의 조사광을 순차적으로 조사할 수도 있다.
예를 들어, 4개의 상이한 조사광을 사용하는 경우, 광원(210)은 시간 T1 동안 조사광 1을 발생시켜 피사체(10)에 조사하고, 다음의 시간 T2 동안 조사광 2를 발생시켜 피사체(10)에 조사하고, 시간 T3 동안 조사광 3을 발생시켜 피사체(10)에 조사하고, 이어서 시간 T4 동안 조사광 4를 피사체(10)에 조사할 수 있다. 이렇게 피사체(10)에 순차적으로 조사되는 조사광들은 사인파, 펄스파와 같은 특정 주기를 갖는 연속 함수의 형태를 가질 수 있다. 예를 들어, 조사광 1-4는 동일한 주기 및 파형을 가지면서 위상만이 서로 다른 주기파(periodic wave)일 수 있다.
조사광이 복수 개인 경우, 인접한 시간대에 조사되는 조사광의 위상 차는 360/N일 수 있으며, 각 조사광의 주기는 광원(210)의 구동 시간보다 작을 수 있다. 광원(210)의 구동 시간내에 N 개의 조사광 모두가 순차적으로 피사체(10)에 조사될 수 있다.
피사체(10)에 조사된 조사광은 피사체(10)의 표면에서 반사된 후, 렌즈(270)로 입사한다. 일반적으로 피사체(10)는 영상 획득 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 깊이가 서로 다른 5개의 표면을 갖는 피사체(10)가 예시적으로 도시되어 있다. 예를 들어, 조사광 1이 피사체(10)의 5개의 표면에서 각각 반사되면서 반사광 1이 발생하며, 조사광 2가 피사체(10)의 5개의 표면에서 각각 반사되면서 반사광 2가 발생하고, 마찬가지로 조사광 N도 피사체(10)의 5개의 표면에서 각각 반사되면서 반사광 N이 발생한다.
렌즈(270)는 반사광을 이미지 센서(250)의 영역 내에 포커싱한다. 렌즈(270)와 이미지 센서(250) 사이에는 사용 파장 이외의 배경광 등의 외광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(280)가 배치될 수 있다. 예를 들어, 광원(210)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(280)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 이미지 센서(250)에 입사하는 광은 광원(210)으로부터 방출되어 피사체(10)에서 반사된 광이 지배적일 수 있지만, 외광도 포함되어 있다. 도 1에는 렌즈(270)와 이미지 센서(250) 사이에 필터(280)가 배치된 것으로 도시되어 있지만, 렌즈(270)와 필터(280)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(280)를 먼저 통과한 근적외선광이 렌즈(270)에 의해 이미지 센서(250)로 포커싱될 수도 있다.
그러면, 이미지 센서(250)는 소정의 파형을 갖는 광변조 신호로 반사광을 변조한다. 이미지 센서(250)에서의 이득 파형의 주기는 조사광의 파형 주기와 동일할 수 있다. 도 1에 도시된 예에서, 이미지 센서(250)는 피사체(10)의 표면에서 반사된 반사광 1을 변조하여 이미지 센서(250)에 제공하고, 이어서 반사광 2 내지 반사광 N을 차례로 변조하여 이미지 센서(250)에 제공할 수 있다. 반사광은 이미지 센서(250)를 통과하면서 그 크기가 광변조 신호를 곱한 양만큼 변조될 수 있다. 광변조 신호는 그 주기가 조사광과 같도록 할 수 있다.
이미지 센서(250)는 크기가 변조된 광을 일정 시간 동안 수광함으로써 각 반사광에 대한 영상을 획득할 수 있다. 예를 들어, 이미지 센서(250)는 피사체(10)의 표면에서 각각 반사된 후 변조된 반사광 1을 소정의 노출 시간 동안 수광하여 영상 1을 획득한다. 이어서, 이미지 센서(250)는 피사체(10)의 표면에서 각각 반사된 후 변조된 반사광 2를 소정의 노출 시간 동안 수광하여 영상 2를 획득한다. 이와 같은 과정을 반복하면서 이미지 센서(250)는 피사체(10) 표면에서 각각 반사된 후 변조된 반사광 N을 소정의 노출 시간 동안 수광하여 영상 N을 획득한다. 이러한 방식으로, 이미지 센서(250)는 N 개의 상이한 영상들을 순차적으로 획득할 수 있다. 이렇게 얻은 영상 1~N은 깊이 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. N개의 상이한 영상들은 위상이 서로 다르므로 이하에서는 위상 영상이라고 한다.
지금까지 N개의 상이한 조사광을 이용하여 서로 다른 N개의 위상 영상을 획득하는 방법에 대해 설명하였다. 그러나, 동일한 조사광을 사용하고, 각 반사광에 대해 이미지 센서(250)가 상이한 이득 파형으로 반사광을 변조함으로서 서로 다른 N개의 위상 영상을 획득할 수도 있다. 상기한 상이한 이득 파형은 위상이 서로 다를 수 있다.
예를 들어, 이미지 센서(250)는 광변조 신호 1로 반사광을 변조하고, 광변조 신호 1과 다른 광변조 신호 2로 반사광을 변조하며, 이미지 센서(250)는 또 다른 광변조 신호 N으로 반사광을 변조한다. 여기서, 광변조 신호 1~N은 완전히 서로 다른 파형의 신호일 수도 있지만, 주기와 파형은 동일하고 단지 위상만이 다른 신호일 수도 있다. 그러면, 이미지 센서(250)는 서로 다른 N개의 위상 영상을 얻을 수 있다.
복수 개의 위상 영상은 조사광의 변조 또는 반사광의 변조에 의해 위상이 서로 다를 수 있다. 복수 개의 위상 영상이 N개 인 경우, 이웃하는 위상 영상간의 위상 차는 360도/N일 수 있다. 예를 들어, 이미지 센서(250)는 각각 0도, 90도, 180도, 270도의 위상을 가지는 4 개의 위상 영상을 획득할 수 있다. 그러나, 이에 한정되지 않는다. 2개 이상의 위상 영상을 획득할 수도 있다. 이미지 센서(250)가 복수 개의 위상 영상을 획득하는 방법에 대해서는 후술하기로 한다.
신호 처리 장치(120)는 이미지 센서(250)로부터 복수 개의 위상 영상을 수신하여 노이즈를 제거하는 노이즈 제거부(310) 및 노이즈가 제거된 복수 개의 위상 영상을 이용하여 피사체(10)에 대한 깊이 영상을 획득하는 영상 획득부(320)를 포함할 수 있다.
노이즈 제거부(310)는 복수 개의 위상 영상으로부터 노이즈를 제거할 수 있다. 노이즈 제거부(310)는 복수 개의 위상 영상 각각에서 노이즈를 제거할 수 있다. 또는 노이즈 제거부(310)는 복수 개의 위상 영상 중 두 개의 위상 영상을 그룹핑하고 두 개의 위상 영상에 대한 차 영상에서 노이즈를 제거할 수 있다. 예를 들어, 노이즈 제거부(310)는 0도, 90도, 180도, 270도의 위상을 가지는 4 개의 위상 영상(
Figure pat00001
,
Figure pat00002
,
Figure pat00003
,
Figure pat00004
) 각각에서 노이즈를 제거할 수 있다. 또는 0도의 위상을 갖는 위상 영상 1(
Figure pat00005
)과 180도의 위상을 갖는 위상 영상 3(
Figure pat00006
)에 대한 차 영상 1(
Figure pat00007
)에서 노이즈를 제거하고, 90도의 위상을 갖는 위상 영상 2(
Figure pat00008
)과 270도의 위상을 가지는 위상 영상 4(
Figure pat00009
)에 대한 차 영상 2(
Figure pat00010
)에서 노이즈를 제거할 수 있다. 노이즈 제거시 차 영상을 이용하면 노이즈를 제거하는 데 소요되는 시간을 줄일 수 있다. 노이즈 제거부(310)는 가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter), 쌍방 필터(bilateral filter) 중 적어도 하나를 이용할 수 있다.
영상 획득부(320)는 노이즈가 제거된 복수 개의 위상 영상을 이용하여 피사체(10)에 대한 깊이 영상을 획득할 수 있다. 영상 획득부(320)는 하기 수학식 1과 같이 깊이 영상을 획득할 수 있다.
[수학식 1]
Figure pat00011
여기서, Rmax는 일 실시예에 따른 영상 획득 장치(100)가 촬영할 수 있는 피사체(10)에 대한 최대 거리를 의미하며, 조사광의 변조 주파수와 광의 속도에 의해 결정된다. 그리고,
Figure pat00012
,
Figure pat00013
,
Figure pat00014
,
Figure pat00015
각각은 노이즈가 제거된 위상 영상 1 내지 4이다.
또는, 영상 획득부(320)는 하기 수학식 2와 같이 깊이 영상을 획득할 수도 있다.
[수학식 2]
Figure pat00016
여기서,
Figure pat00017
각각는 노이즈가 제거된 차 영상 1 및 2이다.
영상 획득부(320)는 노이즈가 제거된 위상 영상과 노이즈가 제거된 차 영상의 조합으로 깊이 영상을 획득할 수 있음도 물론이다. 상기와 같이, 깊이 영상을 획득하기 전의 위상 영상에서 노이즈를 제거함으로써 깊이 영상의 정밀도를 높일 수 있다.
다음은 시뮬레이션 결과를 이용하여 노이즈 제거에 따른 영상 정밀도를 설명한다. 도 2a는 이상적인 깊이 영상에서 각 픽셀의 깊이 값을 나타내는 그래프이다. 도 2a에 도시된 바와 같이, 18번째 픽셀에서 깊이 차이가 발생한다. 도 2b는 도 2a의 깊이 영상의 기초가 되는 위상 영상으로서, 위상 영상내 각 픽셀의 위상 값을 나타내는 그래프이다. 깊이 영상의 기초가 되는 위상 영상은 4개이며, 상기한 4개의 위상 영상 각각은 0도, 90도, 180도 및 270도의 위상을 갖는다. 그리고, 도 2c에 도시된 바와 같이, 4개의 위상 영상에 노이즈를 추가하였다. 도 2d는 도 2c에 가우시안 필터를 이용하여 노이즈를 제거한 결과이고, 도 2e는 노이즈 제거에 따른 영상 정밀도를 설명하는 그래프이다. 도 2e에서 ①는 4 개의 위상 영상을 이용하여 깊이 영상을 획득한 결과이고, ②는 4개의 위상 영상을 이용하여 깊이 영상을 획득하고 깊이 영상으로부터 가우시안 필터를 이용하여 노이즈를 제거한 결과이며, ③은 4개의 위상 영상 각각에서 가우시안 필터를 이용하여 노이즈를 제거하고, 노이즈가 제거된 4개의 위상 영상을 이용하여 깊이 영상을 산출한 결과이다. 도 2e에 도시된 바와 같이 깊이 영상을 획득하기 전 단계에서 노이즈를 제거함으로써 깊이 영상에 대한 정밀도를 향상시킬 수 있음을 확인할 수 있다.
도 3은 일 실시예에 따른 깊이 영상을 획득하는 방법을 설명하는 흐름도이다.
신호 처리 장치(120)는 촬영 장치(110)로부터 피사체(10)에 대한 서로 다른 복수 개의 위상 영상을 수신한다(S310). 촬영 장치(110)의 광원(210)은 복수 개의 조사광을 피사체(10)에 순차적으로 조사할 수 있고, 촬영 장치(110)의 이미지 센서(250)는 피사체(10)로부터 반사된 복수 개의 조사광에 대응하는 복수 개의 반사광을 광 변조할 수 있고, 변조된 복수 개의 반사광으로부터 복수 개의 위상 영상을 획득할 수 있다.
예를 들어, 광원(210)은 위상이 서로 다른 복수 개의 조사광을 피사체(10)에 조사할 수 있고, 이미지 센서(250)는 동일한 이득 파형으로 반사광을 변조함으로써 이미지 센서(250)는 서로 다른 복수 개의 위상 영상을 획득할 수 있다. 또는 광원(210)은 위상의 동일한 복수 개의 조사광을 피사체(10)에 조사할 수 있고, 이미지 센서(250)는 서로 다른 이득 파형으로 반사광을 변조하여 서로 다른 복수 개의 위상 영상을 획득할 수 있다. 복수 개의 위상 영상이 N(N은 2이상의 자연수)개인 경우, 복수 개의 위상 영상 중 이웃하는 위상 영상간의 위상차는 360도/N일 수 있다. 여기서 이웃하는 위상 영상은 인접한 시간대에 획득된 위상 영상을 의미한다.
그리고, 신호 처리 장치(120)의 노이즈 제거부(310)는 복수 개의 위상 영상으로부터 노이즈를 제거할 수 있다(S320). 노이즈 제거부(310)는 복수 개의 위상 영상 중 적어도 하나의 위상 영상으로부터 노이즈를 제거할 수 있다. 예를 들어, 노이즈 제거부(310)는 복수 개의 위상 영상 각각으로부터 노이즈를 제거할 수 있다. 또는 노이즈 제거부(310)는 복수 개의 위상 영상 중 두 개의 위상 영상간의 차 영상으로부터 노이즈를 제거할 수 있다. 이 때, 두 개의 위상 영상간의 위상차는 180도일 수 있다. 예를 들어, 복수 개의 위상 영상이 0도, 90도, 180도 및 270도 각각의 위상을 갖는 위상 영상인 경우, 노이즈 제거부(310)는 0도의 위상을 갖는 위상 영상과 180도의 위상을 갖는 위상 영상간의 차 영상에서 노이즈를 제거할 수 있다. 노이즈 제거부(310)는 가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter), 쌍방 필터(bilateral filter) 중 적어도 하나를 이용하여 노이즈를 제거할 수 있다.
마지막으로, 영상 획득부(320)는 노이즈가 제거된 복수 개의 위상 영상을 이용하여 피사체(10)에 대한 깊이 영상을 획득할 수 있다(S330).
한편, 상술한 본 발명의 실시예에 따른 위상 영상의 노이즈를 제거하고 깊이 영상을 획득하는 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 영상 획득 장치 110: 촬영 장치
120: 신호 처리 장치 210: 광원
220: 광원 구동부 250: 이미지 센서
260: 제어부 310: 노이즈 제거부
320: 영상 획득부

Claims (20)

  1. 피사체에 대한 위상이 서로 다른 복수 개의 위상 영상을 수신하는 단계;
    상기 복수 개의 위상 영상으로부터 노이즈를 제거하는 단계; 및
    노이즈가 제거된 상기 복수 개의 위상 영상을 이용하여 상기 피사체에 대한 깊이 영상을 획득하는 단계;를 포함하는 깊이 영상 획득 방법.
  2. 제 1항에 있어서,
    상기 노이즈를 제거하는 단계는,
    상기 복수 개의 위상 영상 중 적어도 하나의 위상 영상으로부터 노이즈를 제거하는 깊이 영상 획득 방법.
  3. 제 1항에 있어서,
    상기 노이즈를 제거하는 단계는,
    상기 복수 개의 위상 영상 중 두 개의 위상 영상간의 차 영상으로부터 노이즈를 제거하는 깊이 영상 획득 방법.
  4. 제 3항에 있어서,
    상기 두 개의 위상 영상간의 위상 차는 180도인 깊이 영상 획득 방법.
  5. 제 1항에 있어서,
    상기 노이즈는,
    가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter), 쌍방 필터(bilateral filter) 중 적어도 하나를 이용하여 제거되는 깊이 영상 획득 방법.
  6. 제 1항에 있어서,
    상기 복수 개의 위상 영상이 N(N은 2이상의 자연수)개인 경우, 상기 복수 개의 위상 영상 중 이웃하는 위상 영상간의 위상 차는 360도/N인 깊이 영상 획득 방법.
  7. 제 1항에 있어서,
    복수 개의 조사광을 상기 피사체에 순차적으로 조사하는 단계;
    상기 복수 개의 조사광에 대응하는 상기 피사체로부터 반사된 복수 개의 반사광을 검출하는 단계; 및
    검출된 상기 복수 개의 반사광을 이용하여 상기 복수 개의 위상 영상을 획득하는 단계;를 더 포함하는 깊이 영상 획득 방법.
  8. 제 7항에 있어서,
    상기 복수 개의 조사광은 위상이 서로 다른 깊이 영상 획득 방법.
  9. 제 7항에 있어서,
    상기 복수 개의 반사광은 서로 다른 이득 파형으로 변조되는 깊이 영상 획득 방법.
  10. 제 1항 내지 제 6항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 피사체에 대한 위상이 서로 다른 복수 개의 위상 영상으로부터 노이즈를 제거하는 노이즈 제거부; 및
    노이즈가 제거된 상기 복수 개의 위상 영상을 이용하여 상기 피사체에 대한 깊이 영상을 획득하는 영상 획득부;를 포함하는 영상 획득 장치.
  12. 제 11항에 있어서,
    상기 노이즈 제거부는
    상기 복수 개의 위상 영상 중 적어도 하나의 위상 영상으로부터 노이즈를 제거하는 영상 획득 장치.
  13. 제 11항에 있어서,
    상기 노이즈 제거부는
    상기 복수 개의 위상 영상 중 두 개의 위상 영상간의 차 영상에서 노이즈를 제거하는 영상 획득 장치.
  14. 제 13항에 있어서,
    상기 두 개의 위상 영상간의 위상 차는 180도인 영상 획득 장치.
  15. 제 11항에 있어서,
    상기 노이즈 제거부는
    가우시안 필터(Gaussian Filter), 평균 필터(Average Filter), 미디언 필터(Median Filter), 쌍방 필터(bilateral filter) 중 적어도 하나를 이용하여 노이즈를 제거하는 영상 획득 장치.
  16. 제 11항에 있어서,
    상기 복수 개의 위상 영상이 N(N은 2이상의 자연수)개인 경우, 상기 복수 개의 위상 영상 중 이웃하는 위상 영상간의 위상 차는 360도/N인 영상 획득 장치.
  17. 제 11항에 있어서,
    상기 피사체로부터 반사된 복수 개의 반사광을 검출하여 상기 복수 개의 위상 영상을 획득하는 이미지 센서;를 더 포함하는 영상 획득 장치.
  18. 제 17항에 있어서,
    상기 이미지 센서는,
    상기 복수 개의 반사광을 서로 다른 이득 파형으로 광 변조하는 영상 획득 장치.
  19. 제 17항에 있어서,
    상기 피사체에 복수 개의 조사광을 순차적으로 조사하는 광원;을 더 포함하는 영상 획득 장치.
  20. 제 17항에 있어서,
    상기 복수 개의 조사광은 위상이 서로 다른 영상 획득 장치.
KR1020140059964A 2014-05-19 2014-05-19 깊이 영상 획득 방법 및 그 영상 획득 장치 KR20150133086A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140059964A KR20150133086A (ko) 2014-05-19 2014-05-19 깊이 영상 획득 방법 및 그 영상 획득 장치
US14/504,741 US9989642B2 (en) 2014-05-19 2014-10-02 Method of acquiring depth image and image acquiring apparatus using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140059964A KR20150133086A (ko) 2014-05-19 2014-05-19 깊이 영상 획득 방법 및 그 영상 획득 장치

Publications (1)

Publication Number Publication Date
KR20150133086A true KR20150133086A (ko) 2015-11-27

Family

ID=54539575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140059964A KR20150133086A (ko) 2014-05-19 2014-05-19 깊이 영상 획득 방법 및 그 영상 획득 장치

Country Status (2)

Country Link
US (1) US9989642B2 (ko)
KR (1) KR20150133086A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111124B1 (ko) * 2019-05-28 2020-05-15 (주)위아프렌즈 무렌즈 단층 촬영 회절영상의 재구성방법 및 이 방법이 사용되는 휴대용 수질입자 분석장치
WO2024101788A1 (ko) * 2022-11-09 2024-05-16 울산과학기술원 광학 현미경 및 이의 광 입사각 조절방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
WO2009097516A1 (en) 2008-01-30 2009-08-06 Mesa Imaging Ag Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras
KR20110011244A (ko) 2009-07-28 2011-02-08 엘지이노텍 주식회사 Ｔｏｆ 카메라
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US9194953B2 (en) 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US9857469B2 (en) 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
US9584790B2 (en) * 2013-06-03 2017-02-28 Microsoft Technology Licensing, Llc Edge preserving depth filtering

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111124B1 (ko) * 2019-05-28 2020-05-15 (주)위아프렌즈 무렌즈 단층 촬영 회절영상의 재구성방법 및 이 방법이 사용되는 휴대용 수질입자 분석장치
WO2024101788A1 (ko) * 2022-11-09 2024-05-16 울산과학기술원 광학 현미경 및 이의 광 입사각 조절방법

Also Published As

Publication number Publication date
US9989642B2 (en) 2018-06-05
US20150334376A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
KR102372088B1 (ko) 영상 획득 장치 및 영상 획득 방법
KR102040152B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
KR101753312B1 (ko) 뎁스 영상 생성 장치 및 방법
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
WO2019133631A3 (en) System and method of imaging using multiple illumination pulses
KR101951318B1 (ko) 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
KR102460659B1 (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR101296780B1 (ko) 레이저를 이용한 장애물 감지장치 및 방법.
KR102112298B1 (ko) 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
US9258548B2 (en) Apparatus and method for generating depth image
US10670397B2 (en) Distance measuring device and method of measuring distance by using the same
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
CN108616735B (zh) 用于获得对象的三维深度图像的装置和方法
CN114930192B (zh) 红外成像组件
US20160065942A1 (en) Depth image acquisition apparatus and method of acquiring depth information
KR20150133086A (ko) 깊이 영상 획득 방법 및 그 영상 획득 장치
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법
WO2020235458A1 (ja) 画像処理装置、方法及び電子機器
JP2020176956A (ja) 距離計測装置および距離計測方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application