KR20140121710A - 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법 - Google Patents

3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법 Download PDF

Info

Publication number
KR20140121710A
KR20140121710A KR1020130038287A KR20130038287A KR20140121710A KR 20140121710 A KR20140121710 A KR 20140121710A KR 1020130038287 A KR1020130038287 A KR 1020130038287A KR 20130038287 A KR20130038287 A KR 20130038287A KR 20140121710 A KR20140121710 A KR 20140121710A
Authority
KR
South Korea
Prior art keywords
image
degrees
group
light
images
Prior art date
Application number
KR1020130038287A
Other languages
English (en)
Other versions
KR102040152B1 (ko
Inventor
박용화
김선권
윤희선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130038287A priority Critical patent/KR102040152B1/ko
Priority to EP14163725.6A priority patent/EP2790034B1/en
Priority to CN201410138665.9A priority patent/CN104104941B/zh
Priority to US14/247,907 priority patent/US9749613B2/en
Publication of KR20140121710A publication Critical patent/KR20140121710A/ko
Application granted granted Critical
Publication of KR102040152B1 publication Critical patent/KR102040152B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3D 영상 획득 장치 및 3D 영상 획득 장치에서 깊이 영상 생성 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 깊이 영상 생성 방법은 움직이는 물체를 촬영하는 경우, 필연적으로 발생하는 에지 등의 모션 블러를 검출 및 복원하여 깊이 영상을 생성함으로써, 모션 블러로 인한 깊이 영상의 발산 문제를 해결할 수 있다.

Description

3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법{An 3D image apparatus and method for generating a depth image in the 3D image apparatus}
본 발명은 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법에 관한 것이다.
최근에 사물의 거리 정보를 촬영하는 3D 카메라 또는 LIDAR(Light Detection And Ranging)기술이 연구 중에 있는데, 그 중 하나가 빛의 왕복시간 측정법(Time Of Flight, 이하 TOF라 한다)으로서 촬상 장치와 피사체 간의 거리(이하 깊이 영상(Depth)라 한다)를 측정하는 기능을 갖는다.
TOF 방법은 기본적으로 특정 파장의 빛, 예를 들면 근 적외선(850nm)을 LED 또는 LD를 이용하여 피사체로 투사하고, 피사체로부터 반사된 동 파장의 빛을 포토 다이오드 또는 카메라에서 측정 또는 촬영하고 깊이 영상을 추출하는 프로세싱을 거치게 된다. 이러한 광 처리 과정 즉, 광원 투사, 피사체 반사, 광 변조, 촬영, 프로세싱의 일련의 과정에 대한 다양한 TOF 방법이 소개되었다.
그중, Optical Shutter 방법은 촬영 대상으로 특정 파장의 빛 (예: NIR 850nm)을 LED 또는 LD를 이용하여 투사하고 피사체로부터 반사된 동 파장의 광 이미지를 이미지 증폭기(Image Intensifier) 또는 특정 고체 변조기 소자를 이용하여 광 변조를 하고, 그 후단의 PD 또는 CCD, CIS(CMOS Image Sensor, 이하 CIS라 한다) 등의 이미지 센서로 영상을 촬영하고 그 강도(Intensity) 값을 처리하여 결과적으로 깊이 영상을 얻는 방법이다. 이때 빛의 거리에 따른 위상 차 또는 이동 시간을 식별하기 위해 수십 내지 수백 MHz의 초고속의 광변조 속도가 필요하다. 이를 위한 수단으로서는 Multi-Channel Plate(MCP)를 구비한 이미지 증폭기(Image Intensifier)를 사용하거나, GaAs 계열의 고체 변조기소자를 사용한다. 최근에는 그 특성을 개선한 GaAs 기반의 변조기소자 및 전광(Electro-Optic) 물질을 사용하는 박형의 변조기 소자가 개시되었다.
한편, 깊이 영상 또는 깊이 정보(Depth) 추출을 위한 광 처리 과정 시 광원과 광변조 소자를 펄스 구동하는 방법, 또는 삼각형파(ramp 파형) 등의 특별한 파형을 이용하는 방법, 또는 사인파를 사용하는 방법 등이 소개가 되었다. 각각의 파형에 따라 광원과 광변조 소자의 구동 방법 및 촬영된 강도 값을 통한 깊이 영상 추출 계산 방법, 소위 depth 알고리즘이 다양하게 소개가 되었다. 실질적으로는 3D 카메라에서 사용하는 광원, 광 변조기, 촬상소자(CCD 또는 CIS) 등에는 항상 잡음(noise) 또는 신호 왜곡이 존재하며 이러한 잡음은 깊이 영상의 결과에 오차로서 작용한다. 이러한 잡음 또는 왜곡을 제거하기 위해서는 적절한 수단으로 잡음 성분을 제거하는 방법이 필요하며 이를 위해, 특수한 파형인 사인파의 고차항을 사용하는 방법, CDMA기법을 사용하는 방법, 또는 랜덤 오차를 제거하는 방법 등이 공지되었다.
TOF 기법을 이용한 3D 카메라는 기본적으로 위상이 다른 구동 신호, 예를 들면 0도, 90도, 180도, 270도를 이용하여 통상 4개의 IR 이미지를 순차적으로 얻어 1장의 깊이 영상을 생성한다. 이때, 4개의 IR 이미지의 촬영 시점이 서로 다르게 되면, 소위 모션 블러(Motion Blur)가 발생한다. 즉, 움직이는 물체에 대해서 4개의 IR 영상이 순차적으로 촬영되므로 4개의 촬영 전체 시간대 중에 일부 픽셀(또는 영상)의 피사체가 바뀌거나 동일한 깊이 정보가 아닌 다른 깊이 정보의 물체를 촬영하는 경우가 발생한다. 이러한 모션 블러가 발생하는 빈도는 움직이는 물체의 경계면에서 높게 되고 물체가 빨리 움직이거나, 또는 촬영을 천천히 하는 경우에 그 빈도가 높게 된다.
깊이 영상에 있어서의 모션 블러는 통상적인 모션 블러와는 그 결과가 다르다. 통상적인 모션 블러의 경우 움직이는 물체의 경계면은 그 물체와 배경 등 다른 물체와의 평균적인 이미지, 예를 들면 평균적인 밝기 또는 색상이 결과로 남게 되나, 깊이 영상을 획득하는 카메라에서의 모션 블러의 경우는, 깊이 영상의 평균이 나오는 것이 아니라, 계산 과정에서 발산을 일으키므로 평균이 아닌 엉뚱한 결과를 유발하게 되어 모션 블러를 제거하는 것이 매우 중요하다.
본 발명의 일 실시 예는 2개 그룹의 영상 조합을 이용하여 1개의 깊이 영상을 생성함으로써, 깊이 영상 촬영 속도를 개선할 수 있는 3D 영상 획득 장치를 제공하는 것이다.
또한, 본 발명의 다른 실시 예는 TOF 기반에서, 움직이는 물체를 촬영하는 경우, 필연적으로 발생하는 에지 등의 부분의 모션 블러의 검출 및 복원하여 깊이 영상을 생성함으로써, 모션 블러로 인한 깊이 영상의 발산 문제를 해결할 수 있으며, 기존의 깊이 영상 생성 시 사용하는 광원, 광변조기, 촬상장치 등을 사용하므로 추가장치로 인한 비용이 없고 추가 연산량이 줄일 수 있는 3D 영상 획득 장치에서의 깊이 영상 생성 방법을 제공하는 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시 예에 따른 깊이 영상 생성 방법은 광원으로부터 생성된 광 투사 신호를 피사체에 순차적으로 투사하는 단계; 상기 피사체로부터 반사된 반사 광을 광 변조 신호를 이용하여 변조하는 단계; 상기 변조된 반사 광을 촬영한 복수의 영상들 중 2개 그룹의 영상 조합을 이용하여 위상 지연을 계산하는 단계; 및 상기 위상 지연으로부터 깊이 영상을 생성하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 깊이 영상 생성 방법은 광원으로부터 생성된 광 투사 신호를 피사체에 순차적으로 투사하는 단계; 상기 피사체로부터 반사된 반사 광을 광 변조 신호를 이용하여 변조하는 단계; 상기 변조된 반사 광의 위상인 0도에 상응하는 제1 영상, 180도에 상응하는 제2 영상, 90도에 상응하는 제3 영상 및 270도에 상응하는 제4 영상을 획득하는 단계; 상기 제1 영상 및 상기 제2 영상을 포함하는 제1 그룹의 합과, 상기 제3 영상 및 제4 영상을 포함하는 제2 그룹의 합의 차이가 제1 임계값 이상인지 판단함으로써 상기 피사체의 움직임에 의해 발생된 모션 블러가 존재하는지 판단하는 단계; 상기 모션 블러가 존재하는 경우, 상기 제1 그룹의 차이와 상기 제2 그룹의 차이의 크기를 비교함으로써 상기 모션 블러가 존재하는 그룹을 판단하고, 상기 모션 블러가 존재하는 그룹의 영상들을 나머지 그룹의 영상들을 이용하여 복원하는 단계; 상기 나머지 그룹의 영상들 및 상기 복원된 그룹의 영상들을 이용하여 위상 지연을 계산하는 단계; 및 상기 위상 지연으로부터 깊이 영상을 생성하는 단계를 포함한다.
상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 3차원 영상 획득 장치는 광 투사 신호를 생성하여 피사체를 향해 순차적으로 투사하는 광원; 상기 피사체로부터 반사된 반사 광을 이득 파형을 갖는 광 변조 신호를 이용하여 변조하는 광 변조기; 상기 광 변조기에 의해 변조된 반사 광을 촬영하여 복수의 영상들을 생성하는 촬상소자; 및 상기 촬상소자에서 생성된 복수의 영상들 중 2개 그룹의 영상 조합을 이용하여 위상 지연을 계산하고, 상기 위상 지연으로부터 깊이 영상을 생성하는 깊이 영상 처리부를 포함한다.
본 발명의 일 실시 예에 따른 3D 영상 획득 장치는 2개의 영상 조합을 이용하여 1개의 깊이 영상을 생성함으로써, 깊이 영상 촬영 속도를 개선할 수 있다.
또한, 본 발명의 다른 실시 예에 따른 3D 영상 획득 장치는 TOF 기반에서, 움직이는 물체를 촬영하는 경우, 필연적으로 발생하는 에지 등의 부분의 모션 블러의 검출 및 복원하여 깊이 영상을 생성함으로써, 모션 블러로 인한 깊이 영상의 발산 문제를 해결할 수 있으며, 기존의 깊이 영상 생성 시 사용하는 광원, 광변조기, 촬상장치 등을 사용하므로 추가장치로 인한 비용이 없고 추가 연산량이 줄일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 TOF를 이용하여 깊이 영상을 생성하는 3차원 영상 획득 장치의 예시적인 구조를 개략적으로 도시한다.
도 2는 본 발명의 다른 실시 예에 따른 광원에서 서로 다른 4개의 광 투사 신호를 피사체에 투사한 후, 촬상소자에서 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정을 도시한다.
도 3은 본 발명의 또 다른 실시 예에 따른 광 변조기에서 서로 다른 4개의 광 변조 신호를 이용하여 변조한 후, 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정을 도시한다.
도 4는 본 발명의 또 다른 실시 예에 따른 Moving Window 방식으로 깊이 영상을 생성하는 과정을 도시한다.
도 5는 본 발명의 또 다른 실시 예에 따른 광 처리 흐름을 도시한다.
도 6은 본 발명의 또 다른 실시 예에 따른 광원의 출력 파형 및 광 변조기의 출력 파형을 설명하기 위한 도면들이다.
도 7은 본 발명의 또 다른 실시 예에 따른 촬상 소자에서 촬영된 서브 프레임들에서의 모션 블러의 발생 유형을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 깊이 영상 처리부에서 모션 블러를 복원하는 것을 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 3D 영상 획득 장치에서 깊이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 또 다른 실시 예에 따른 3D 영상 획득 장치에서 깊이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 11은 움직이는 피사체를 촬영한 경우, 모션 블러가 발생하는 것을 설명하기 위한 예시 도이다.
도 12는 본 발명의 또 다른 실시 예에 따른 모션 블러 판단을 위한 수학식 19를 적용한 결과를 나타내는 도면이다.
도 13은 본 발명의 또 다른 실시 예에 따른 모션 블러가 발생한 경우의 깊이 영상 및 모션 블러가 복원된 경우 생성된 깊이 영상을 나타내는 도면들이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 TOF를 이용하여 깊이 영상을 생성하는 3차원 영상 획득 장치의 예시적인 구조를 개략적으로 도시한다.
도 1을 참조하면, 3차원 영상 획득 장치(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 광 변조하기 위한 광 변조기(103), 광 변조기(103)를 구동시키기 위한 광 변조기 구동부(104), 광 변조기(103)에 의해 광 변조된 광으로부터 영상을 생성하는 촬상소자(105), 촬상소자(105)의 출력을 기초로 깊이 영상을 생성하기는 깊이 영상 처리부(depth image processor)(107), 및 광원 구동부(102), 광 변조기 구동부(104), 촬상소자(105), 깊이 영상 처리부(107)의 동작을 제어하기 위한 제어부(106)를 포함할 수 있다. 또한, 광 변조기(103)의 광 입사 면에는 반사광을 광 변조기(103)의 영역 내에 집광하기 위한 제1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키고, 배경 광 또는 잡광을 제거하는 필터(109)가 더 배치될 수 있다. 그리고 광 변조기(103)와 촬상소자(105) 사이에는 광 변조된 영상을 촬상소자(105)의 영역 내에 집광하기 위한 제2 렌즈(110)가 더 배치될 수 있다.
광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근 적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(102)의 구동 신호에 따라, 광원(101)으로부터 피사체(200)로 투사되는 광 투사 신호는 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 광 투사 신호는 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다.
광 변조기(103)는 피사체(200)로부터 반사된 광을 광 변조기 구동부(104)의 제어에 따라 광 변조한다. 광 변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 광 변조기(103)를 구동시킨다. 예를 들어, 광 변조기(103)는 광 변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 광 변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 광 변조기(103)는 가변 이득을 갖는다. 광 변조기(103)는 거리에 따른 빛의 위상 차 또는 이동 시간을 식별하기 위해 수십 내지 수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 광 변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 광 변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 광 변조기를 사용하는 것도 가능하다.
촬상소자(105)는 광 변조기(103)에 의해 광 변조된 반사광을 제어부(106)의 제어에 따라 검출하여 영상을 생성하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상소자(105)는 예를 들어 포토 다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리를 동시에 측정하고자 하는 경우, 촬상소자(105)는 다수의 포토 다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 촬상소자(105)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CIS일 수도 있다.
깊이 영상 처리부(107)는 촬상소자(105)의 출력을 기초로, 후술할 깊이 영상 생성 알고리즘에 따라 깊이 영상을 생성한다. 깊이 영상 처리부(107)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 3차원 영상 획득 장치(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 깊이 영상 처리부(107)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.
이하에서는, 상술한 구조를 갖는 3차원 영상 획득 장치(100)의 동작을 개략적으로 설명한다. 본 발명의 일 실시 예에서, 광원(101)의 투사광 또는 광 투사 신호는 사인파 또는 사각파와 같은 특정 주기를 갖는 연속 함수 형태를 갖고 서로 다른 위상 차를 갖는다. 즉, 각각의 파형이 형태는 같고 4개의 서로 다른 위상 차이를 갖도록 제어부(106)의 제어 신호로 조절한다. 여기서, 4개의 서로 다른 위상 차이를 갖도록 광원(101)의 투사광을 구현하는 것으로 설명하였지만, 동일한 위상을 갖는 광원(101)의 투사광을 구현하고, 광 변조기(103)의 광 변조 신호를 4개의 서로 다른 위상 차이를 갖도록 구현하는 것도 가능하다. 또한, 4개의 서로 다른 위상 차이를 갖는 광 투사 신호의 위상 차이는 0도, 180도, 90도 및 270도의 순서로 순차적으로 투사한다. 여기서, 4개의 서로 다른 위상 차이를 갖는 광 투사 신호를 0도, 180도, 90도 및 270도의 순서로 순차적으로 투사하는 것을 중심으로 설명한다.
광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기 및 파형을 갖는 4개의 상이한 투사 광을 차례로 피사체(200)에 투사한다. 예를 들어, 시간 T1 동안 투사광 1(0도)을 발생시켜 피사체(200)에 투사하고, 다음의 시간 T2 동안 투사광 2(180도)를 발생시켜 피사체(200)에 투사하고, 시간 T3 동안 투사광 3(90도)을 발생시켜 피사체(200)에 투사하고, 이어서 시간 T4 동안 투사광 4(270도)를 피사체(200)에 투사할 수 있다. 이렇게 피사체(200)에 순차적으로 투사되는 투사광들은 사인파와 같은 특정 주기를 갖는 연속 함수의 형태를 가질 수 있다.
피사체(200)에 투사된 투사광은 피사체(200)의 표면에서 반사된 후, 제 1 렌즈(108)로 입사한다. 일반적으로 피사체(200)는 3차원 영상 획득 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 깊이가 서로 다른 5개의 표면(P1 내지 P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 깊이가 상이한 5개의 표면(P1 내지 P5)에서 각각 투사광이 반사되면서, 상이하게 시간 지연된(즉, 위상이 상이한) 5개의 반사광이 각각 발생한다. 예를 들어, 투사광 1이 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광 1이 발생하며, 투사광 2가 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광 2가 발생하고, 마찬가지로 투사광 4도 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광 4가 발생한다. 3차원 영상 획득 장치(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 ΦP1 만큼의 위상 지연 후 제1 렌즈(108)에 도달하고, 3차원 영상 획득 장치(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광은 ΦP1보다 작은 ΦP5 만큼의 위상 지연 후 제1 렌즈(108)에 도달한다.
제1 렌즈(108)는 반사광을 광 변조기(103)의 영역 내에 포커싱한다. 제1 렌즈(108)와 광 변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 광 변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제1 렌즈(108)와 광 변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선 광이 제1 렌즈(108)에 의해 광 변조기(103)로 포커싱될 수도 있다.
그러면, 광 변조기(103)는 소정의 파형을 갖는 광 변조 신호로 반사광을 변조한다. 광 변조기(103)에서의 이득 파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 도 1에 도시된 예에서, 광 변조기(103)는 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 5개의 반사광 1을 광 변조하여 촬상소자(105)에 제공하고, 이어서 5개의 반사광 2 내지 5개의 반사광 4를 차례로 광 변조하여 촬상소자(105)에 제공할 수 있다.
광 변조기(103)에 의해 크기가 변조된 광은 제2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 촬상소자(105)에 도달한다. 따라서, 변조된 광은 제2 렌즈(110)에 의해 촬상소자(105)의 영역 내에 집광된다. 촬상소자(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 영상을 생성한다. 예를 들어 촬상소자(105)는, 도 2에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 후 변조된 5개의 반사광 1을 소정의 노출 시간 동안 수광하여 영상 1(CIS Image 1)을 생성한다. 이어서, 도 2에서 (B)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 후 변조된 5개의 반사광 2를 소정의 노출 시간 동안 수광하여 영상 2(CIS Image 2)를 생성한다. 이와 같은 과정을 반복하면서 마지막으로, 도 2에서 (C)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사된 후 변조된 5개의 반사광 4를 소정의 노출 시간 동안 수광하여 영상 4(CIS Image 4)를 생성한다. 이러한 방식으로, 도 2에서 (D)로 표시된 바와 같이, 4 개의 상이한 영상들을 순차적으로 얻을 수 있다. 이렇게 얻은 각각의 영상 1 내지 4는 깊이 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. 예를 들어, 깊이 정보 한 프레임의 주기를 Td라고 한다면, 4개의 영상 1 내지 4 각각을 얻기 위한 촬상소자(105)에서의 노출 시간은 대략 Td/4일 수 있다.
다시 도 2의 (A)를 참조하면, 첫 번째 서브 프레임에서, 광원(101)으로부터 피사체(200)에 투사된 투사광 1이 피사체(200)의 5개의 표면(P1 내지 P5)에서 각각 반사되어 5개의 반사광 1이 생성된다. 5개의 반사광 1은 광 변조기(103)에 의해 변조된 후 촬상소자(105)에 도달한다. 도 2에는, 설명의 용이함을 위해 촬상소자(105)가 5개의 표면(P1 내지 P5)에 각각 대응하는 5개의 화소만을 갖는 것으로 도시되어 있다. 따라서, 5개의 반사광 1은 대응하는 5개의 화소에 각각 입사할 수 있다. 도 2의 (A)에 도시된 바와 같이, 각각의 표면(P1 내지 P5)에서 반사된 5개의 반사광 1은 3차원 영상 획득 장치(100)로부터 표면(P1 내지 P5)까지의 거리에 따라 상이한 위상 지연(ΦP1~ΦP5)을 각각 갖는다. 촬상소자(105)는 예컨대 대략 Td/4의 노출 시간 동안 반사광 1을 촬영하여 영상 1을 생성할 수 있다. 위와 동일한 방식으로, 두 번째 서브 프레임부터 네 번째 서브 프레임까지 영상 2 내지 영상 4가 생성될 수 있다. 도 2의 (B) 및 (C)에 도시된 바와 같이, 2 내지 4번째 서브 프레임에서도 깊이가 다른 5개의 표면(P1 내지 P5)으로부터 상이한 위상 지연(ΦP1~ΦP5)이 발생한다.
도 2에서는 서로 다른 4개의 광 투사 신호를 피사체에 투사한 후, 촬상소자에서 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정에 대해 설명하였지만, 모든 서브 프레임에서 동일한 투사광을 사용하고, 각각의 서브 프레임마다 광 변조기(103)가 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다. 도 3은 본 발명의 또 다른 실시 예에 따른 광 변조기에서 서로 다른 4개의 광 변조 신호를 이용하여 변조한 후, 4개의 서로 다른 영상(서브 프레임)을 생성하는 과정을 도시한다. 도 3을 참조하면, 피사체(200)로부터 반사된 반사광은 모든 서브 프레임에서 동일한 파형과 위상을 갖는다. 각 서브 프레임의 반사광에는 앞서 설명한 바와 같이 피사체(200)의 표면(P1 내지 P5)에 따라 상이한 위상 지연(ΦP1~ΦP5)들이 존재한다. 도 3의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 광 변조기(103)는 광 변조 신호 1(0도)로 반사광을 변조하며, 두 번째 서브 프레임에서 광 변조기(103)는 광 변조 신호 1과 위상이 다른 광 변조 신호 2(180도)로 반사광을 변조하고, 도시되지는 않았지만, 세 번째 서브 프레임에서 광 변조기(103)는 또 다른 위상을 갖는 광 변조 신호 3(90도)으로 반사광을 변조하고, 네 번째 서브 프레임에서 광 변조기(103)는 또 다른 광 변조 신호 4(270도)로 반사광을 변조한다. 여기서, 광 변조 신호 1 내지 4는 위상 차이가 0도, 180도, 90도 및 270도인 신호이다. 또한, 주기와 파형은 동일할 수 있다. 그러면, 도 3의 (D)에 각각 도시된 바와 같이, 서로 다른 4개의 영상 1 내지 4를 얻을 수 있다. 도 2 및 3에서, 변조된 영상의 표시를 CIS 이미지 1 내지 4로 표시하였지만, 촬상 소자(106)는 CIS로 한정되지 않음은 전술한 바와 같다.
상술한 방식(도 2에 도시된 상이한 위상 차(0도, 180도, 90도 및 270도)를 갖는 광 투사 신호를 투사한 경우와 도 3에 도시된 상이한 위상 차(0도, 180도, 90도 및 270도)를 갖는 광 변조 신호로 얻은 4개의 영상들은 깊이 영상 처리부(107)로 전달된다. 깊이 영상 처리부(107)는 상기 4개의 영상들을 이용하여 후술할 알고리즘에 따라 깊이 영상 또는 깊이 정보를 생성한다. 또한, 본 발명의 다른 실시 예에서, 깊이 영상 처리부(107)는 피사체의 움직임에 의해 발생된 모션 블러를 효과적으로 제거하기 위해, 4개의 영상들(0도에 상응하는 제1 영상, 180도에 상응하는 제2 영상, 90도에 상응하는 제3 영상 및 270도에 상응하는 제4 영상)에서 모션 블러가 발생하였는지를 판단하는 알고리즘, 모션 블러가 발생된 경우에 모션 블러가 발생된 영상 또는 픽셀을 복원하는 알고리즘을 설명한다.
도 4는 본 발명의 또 다른 실시 예에 따른 Moving Window 방식으로 깊이 영상을 생성하는 과정을 도시한다.
도 2 및 3에 도시된 바와 같이, 순차적으로 촬영된 4개의 강도 이미지들(Intensity Image 1 내지 4)은 깊이 영상 처리부(107)에서 깊이 영상을 생성하는데 이용된다. 촬영된 4개의 이미지(
Figure pat00001
), 즉 광원의 위상 차가 0도, 180도, 90도 및 270도에 각각 해당하고, CIS로 표시되어 있지만, 도 1에 도시된 촬상소자(106)는 CIS 센서에 한정되지 않음)를 이용하여 깊이 영상을 생성한다.
도 4에 도시된 바와 같이, 4개의 이미지를 얻는 방법은 Moving Window를 이용한다. 영상 촬영을 위해 다음 수학식 1에 도시된 순서로 이미지를 연속적으로 얻는다.
Figure pat00002
즉, 0도, 180도, 90도, 270도의 순서대로, 순차적으로 피사체를 촬영하여, 연속하는 영상들을 얻는다. 이때,
Figure pat00003
을 포함하는 4개 영상들은 도 4에 도시된 바와 같이, 2개의 새로운 영상을 촬영하고 2개의 기존 영상을 순차적으로 제거하는 방식으로 4개의 영상들(400)을 조합하여, 다음 수학식 2와 같은 영상의 조합을 얻는 과정(400)을 수행된다.
Figure pat00004
여기서, p는 임의의 수이다.
상기 Moving Window 방식으로 얻은 4개의 영상들을 2개의 그룹(U, V)으로 나누는 과정(410)을 수행한다. 제1 그룹(U)은
Figure pat00005
과
Figure pat00006
, 제2 그룹(V)은
Figure pat00007
과
Figure pat00008
으로 나눈다. 도 4에 도시된 중간 영상들(411 및 412)은 제1 그룹의 영상 차이와 제2 그룹의 영상 차이로 만들어진다.
상기 수학식 2의 영상들의 조합을 이용하여 다음 수학식 3에 따라 깊이 영상을 계산한다. 여기서, 제1 그룹은
Figure pat00009
과
Figure pat00010
을 포함하고, 제2 그룹은
Figure pat00011
과
Figure pat00012
을 포함한다.
Figure pat00013
상기 수학식 3처럼, 4개의 영상들 중에서 2개의 그룹의 조합을 이용하여 깊이 영상을 생성함으로써, 2개의 영상들을 얻는 시간(즉, 순차적으로 획득된 복수의 영상들에서, 2개의 영상을 촬영하고, 이전 촬영된 2개의 영상을 삭제하는 방식(Moving Window))에, 1개의 깊이 영상을 얻을 수 있게 된다. 이는 종래의 4장의 영상들을 촬영하고 나서, 1개의 깊이 영상을 얻는 것에 비하여 고속의 깊이 영상을 얻을 수 있는 장점이 있다.
전술한 실시 예에서, 픽셀이 2차원 어레이 형태로 배열된 영상 추출의 경우를 설명하였다. 그러나 본 발명의 다른 실시 예들은 픽셀이 1차원 어레이이든지, 아니면 단일 픽셀이던지 그 활용 범위가 제한받지 않는다. 예를 들면, 단일 픽셀의 거리를 측정하는 경우에는 CIS 센서 대신에 포토 다이오드 및 적분기를 사용할 수도 있다.
이하에서는, TOF 기반의 깊이 영상을 생성할 수 있는 3D 영상 획득 장치에서, 모션 블러를 제거하는 방법에 대해 설명한다. 모션 블러의 근본 원인은 4장의 IR 이미지 촬영 구간에 피사체 또는 표면 밝기 등이 급격하게 바뀌는 것이므로, 우선 모션 블러가 발생한 픽셀(또는 영상)을 검출(판단)하는 방법을 설명한다. 그리고 피사체가 바뀌지 않는 부분적인 구간을 검출(판단)하여 이를 기반으로 대표되는 깊이 영상을 생성하여 모션 블러로 인한 연산과정의 발산을 제거하는 방법을 설명한다.
도 5는 본 발명의 또 다른 실시 예에 따른 광 처리 흐름을 도시하고, 도 6은 광원의 출력 파형 및 광 변조기의 출력 파형을 설명하기 위한 도면들이다.
도 5 및 6을 참조하면, 3D 영상 획득 장치(100) 내에서 일어나는 적외선 광의 광 처리 과정이 도시되어 있다. IR 필터(예를 들면, 중심 파장 850nm)를 투과한 적외선 광은 광 변조기(105)에 도달, 변조되어 후단의 촬상소자(150)에 도달한다. 이와 같은 일련의 광 처리 과정을 수식으로 전개하면 다음 설명하는 바와 같다.
도 6a는 광 출력 파형의 예시도이고, 도 6b는 광 변조기의 구동 파형으로서, 각각의 파형은 사인파, 구형파, 램프파 등 다양한 주기파를 가질 수 있다. 편의상 광 출력 파형(광 투사 신호)이 구형파이고, 광 변조기의 구동 파형이 사인파인 경우에 대해 수식 전개한다. 또한, 여기서 정의되는 변수 및 기호는 다음과 같이 정의된다.
Figure pat00014
적외선 광 출력(또는 광 투사 신호)은 구형파 형태이고, 다음 수학식 4와 같이 정의할 수 있다.
Figure pat00015
즉, 구형파(AC 성분)에 DC 성분인 출력 광의 DC 오프셋이 더해진 형태이다. 본 발명의 일 실시 예에서, s는 1 내지 4이고, 서로 다른 위상, 예를 들면 0도, 180도, 90도 및 270도를 갖는다.
IR 필터 투과 후 반사광은 다음 수학식 5와 같다.
Figure pat00016
반사광은 피사체의 표면에 반사되어 돌아오므로 피사체 표면반사도, 렌즈의 크기 등 종합적으로 고려된 반사도 r이 곱해진 형태이며 TOF에 의한 위상 차가 존재하고 외광이 적외선 광과 마찬가지로 존재한다.
광 변조기(광 셔터)의 변조 파형(이득) 또는 광 변조 신호는 다음 수학식 6과 같다.
Figure pat00017
광 변조 신호는 사인파(AC성분)에 DC 성분이 더해진 형태이다.
촬상 소자에 도달하는 광신호는 다음 수학식 7과 같다.
Figure pat00018
촬상 소자에서의 출력 신호(또는 출력 영상)는 상기 수학식 7의 광 신호를 적분한 형태로 다음 수학식 8과 같다.
Figure pat00019
상기 수학식 8로부터 다음과 같이 연속적으로 촬영되는 4개의 영상은 다음 수학식 9 내지 12와 같다.
Figure pat00020
Figure pat00022
Figure pat00023
여기서, A와 B는 다음 수학식 13과 같다.
Figure pat00024
한편, 광원의 출력 파형 또는 광 투사 신호가 구형파가 아닌 사인파인 경우에도 상기 수학식들과 마찬가지로 수식 전개가 가능하며, A값만이 다음 수학식 14과 같이 다른 결과를 나타낸다.
Figure pat00025
상기 수학식 9 내지 12의 4개의 영상들에 대해, 미지수인 r, A 및 B를 소거해서, 위상 지연(ΦTOF)에 대해 풀면 다음 수학식 15와 같이 깊이에 의한 위상지연을 구할 수 있다.
Figure pat00026
여기서 수학식 9 내지 15는 정지영상을 가정한다. 즉 변하지 않는 피사체 및 표면반사도 등을 가정할 때 성립하는 관계식이다. 위 관계식, 특히 수학식 9 내지 12를 후술할 모션 블러 검출 및 복원에 이용한다.
도 7은 본 발명의 또 다른 실시 예에 따른 촬상 소자에서 촬영된 서브 프레임들에서의 모션 블러의 발생 유형을 설명하기 위한 도면이다. 도 7을 참조하여 모션 블러 픽셀(영상)을 검출하는 방법을 설명한다.
도 7a는 물체 A에서 물체 B로 피사체가 변경되는 상황에서, 픽셀에서의 모션 블러가 발생하는 유형을 나타낸다. 3D 영상 획득 장치에서
Figure pat00027
인 4개의 영상을 순차적으로 촬영할 경우, 도 7b에 도시된 바와 같이, 모션 블러 발생 유형을 나눌 수 있다. 4개의 영상 모두 물체 A 또는 물체 B로 동일한 물체를 촬영할 경우(case 0과 5)는 모션 블러가 없이 정지영상과 동일한 안정적인 깊이 영상을 생성할 수 있는 경우이다.
Figure pat00028
의 4개의 영상 중에서 특정한 순간에 피사체 변경이 일어나는 경우 모션 블러가 발생한다(case 1 내지 4). 전술한 수학식 9 내지 11은 정지영상 즉 모션 블러가 발생하지 않는 case 0 및 5에 성립하는 관계식이므로 이를 이용해서 특정 픽셀(또는 영상)에서의 모션 블러의 유무를 판정할 수 있다.
상기 수학식 9 및 10으로부터 다음 수학식 16을 얻을 수 있다.
Figure pat00029
또한, 상기 수학식 11 및 12로부터 다음 수학식 17을 얻을 수 있다.
Figure pat00030
모션 블러가 발생하지 않는 경우에는 상기 수학식 16과 17의 결과는 같아야 하므로, 다음 수학식 18 (모션 블러가 발생하지 않은 경우) 및 수학식 19(모션 블러가 발생한 경우)와 같이 모션 블러 픽셀(영상)의 판정식을 얻을 수 있다.
Figure pat00031
Figure pat00032
여기서, ε는 시스템의 잡음 레벨 또는 장면(scene)에 따라서 적절하게 결정될 수 있는 상수이다.
도 8은 본 발명의 또 다른 실시 예에 따른 깊이 영상 처리부에서 모션 블러를 복원하는 것을 설명하기 위한 도면이다. 도 8을 참조하여 모션 블러 픽셀을 복원하는 방법을 설명한다.
우선, 상기 수학식 9 및 10으로부터 다음 수학식 20을 얻을 수 있다.
Figure pat00033
또한, 상기 수학식 11 및 12로부터 다음 수학식 21을 얻을 수 있다.
Figure pat00034
상기 수학식 20 및 21을 이용하여 다음 수학식 22를 얻을 수 있다.
Figure pat00035
따라서, 상기 수학식 16, 17 및 22를 통해서 다음 수학식 23을 얻을 수 있다.
Figure pat00036
여기서 상수 k는 TOF 시스템의 변조 특성인 복조 대비 상수(Demodulation Contrast)를 나타낸다. k는 다음 수학식 24와 같이 정의되며, 시스템 상수로서, 적외선 영상의 변화 값과 DC 오프셋 값의 비로 나타낸다. 이값은 보정(calibration)을 통해서 촬영 전에 측정하여 알고 있는 값이다.
Figure pat00037
여기서 수학식 9 내지 12에서 알 수 있는 바와 같이 위상 지연에 의한 적외선 영상의 크기가 사인과 코사인의 함수로 표현이 되는데 이를 플로팅하여 그 AC 값과 DC 오프셋 값을 읽어서 A와 B 및 그 비인 k를 실험적으로 계산할 수 있다.
결과적으로,
Figure pat00038
은
Figure pat00039
와 알고 있는 시스템 상수 k를 이용하여 다음 수학식 25 및 26과 같이 표현할 수 있다.
Figure pat00040
Figure pat00041
이와 반대로,
Figure pat00042
는
Figure pat00043
와 알고 있는 시스템 변수 k를 이용하여 다음 수학식 27 및 28과 같이 표현할 수 있다.
Figure pat00044
Figure pat00045
상기 수학식 25 내지 28을 이용하여 복원된 픽셀(또는 영상)을 이용하여 상기 수학식 15에 따른 TOF에 의한 위상 지연을 계산할 수 있다. 또한, 선택적으로, 상기 수학식 26 및 28의 수식은 복잡하고 연산량이 많으므로, 다음 수학식 29 및 30과 같이 단순화한 근사식을 적용할 수도 있다.
Figure pat00046
Figure pat00047
한편, 모션 블러가
Figure pat00048
과
Figure pat00049
에서 발생하였는지(도 8a에 도시된 case 1 또는 case 2), 아니면
Figure pat00050
과
Figure pat00051
에서 발생하였는지(도 8a에 도시된 case 3 또는 case 4)를 판단하는 기준에 대해 설명한다. 즉, 제1 그룹(
Figure pat00052
과
Figure pat00053
) 또는 제2 그룹(
Figure pat00054
과
Figure pat00055
) 중 어느 그룹에서 모션 블러가 발생하였는지를 판단한 후에, 상기 수학식 25 내지 30을 이용하여 모션 블러된 그룹 또는 픽셀들(영상들)을 복원할 수 있다.
일반적으로, 촬영 대상의 물체가 바뀌면 적외선 영상의 밝기 변동폭이 매우 크므로, case 1 및 case 2, case 3과 case 4, 각 구간에서의 영상의 밝기 변동폭을 고려하여 다음 수학식 31 및 32에 따라 모션 블러의 발생 구간을 판정한다.
Figure pat00056
Figure pat00057
즉, 상기 수학식 31을 만족하는 경우에는
Figure pat00058
또는
Figure pat00059
에서 모션 블러가 발생하였다고 판정하고, 상기 수학식 32를 만족하는 경우에는
Figure pat00060
또는
Figure pat00061
에서 모션 블러가 발생하였다고 판정한다.
도 8b에 도시된 것처럼, case 1 또는 2의 경우(
Figure pat00062
또는
Figure pat00063
에서 모션 블러가 발생)에는
Figure pat00064
및
Figure pat00065
의 측정된 값(영상들)은 버리고 상기 수학식 26을 이용하여 복원한 값을 사용한다. 즉, 모션 블러가 발생하지 않은 영상들(
Figure pat00066
및
Figure pat00067
)을 이용하여 모션 블러가 발생된 영상들을 복원한다. 반면, case 3 및 4의 경우, 모션 블러가
Figure pat00068
또는
Figure pat00069
에서 발생하였으므로, 측정된 값은 버리고 상기 수학식 28을 이용하여 복원한 값을 사용한다. 따라서, 도 8b에 도시된 바와 같이 4개의 영상을 촬영하는 전 구간에 있어서 물체 1 또는 물체 2의 단일 물체만을 촬영하는 것과 같이 깊이 영상을 안정적으로 생성할 수 있다.
도 9는 본 발명의 또 다른 실시 예에 따른 3D 영상 획득 장치에서 깊이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 단계 900에서, 광원으로부터 생성된 광 투사 신호를 피사체에 순차적으로 투사한다. 여기서, 광 투사 신호의 위상은 0도, 180도, 90도 및 270도에 상응하도록 서로 다른 위상 차이를 갖거나, 또는 동일한 위상을 가질 수도 있다.
단계 902에서, 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조한다. 광 투사 신호의 위상이 서로 다른 위상 차이를 갖는 경우, 광 변조 신호는 동일한 위상을 가지거나, 또는 광 투사 신호가 동일한 위상으로 투사되는 경우, 반사된 반사광에 대해, 서로 다른 위상 차이, 0도, 180도, 90도 및 270도에 해당하는 광 변조 신호를 이용하여 반사광을 변조한다.
단계 904에서, 변조된 반사광을 촬영한 복수의 영상들 중 2개 그룹의 영상 조합을 이용하여 위상 지연을 계산한다. 단계 902에서, 변조된 광들 중 0도 및 180도에 해당하는 2개의 영상과, 90도 및 270도에 해당하는 2개의 영상 조합을 이용하여 깊이에 의한 위상 지연을 계산한다.
단계 906에서, 위상 지연으로부터 깊이 영상을 생성한다.
도 10은 본 발명의 또 다른 실시 예에 따른 3D 영상 획득 장치에서 깊이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 10을 참조하면, 단계 1000에서, 광원으로부터 생성된 광 투사 신호를 피사체에 순차적으로 투사한다. 단계 1002에서, 피사체로부터 반사된 반사광을 광 변조 신호를 이용하여 변조한다. 여기서, 광원으로부터의 광 투사 신호 또는 광변조기로부터의 광 변조 신호는 각각 0도, 180도, 90도 및 270도 해당하는 위상 차이를 가질 수 있다.
단계 1004에서, 변조된 반사광의 위상인 0도, 180도, 90도 및 270도에 각각 상응하는 제1 내지 제4 영상을 획득한다. 즉, 0도에 상응하는 제1 영상과, 180도에 상응하는 제2 영상, 90도에 상응하는 제3 영상, 270도에 상응하는 제4 영상을 순차적으로 획득한다. 이 경우, 2개의 영상(예를 들면 0도 및 180도에 상응하는 영상)을 촬영하고, 이전 촬영된 2개의 영상(예를 들면 0도 및 180도에 상응하는 영상)을 삭제하는 방식으로, 4개의 영상을 유지한다.
단계 1006에서, 제1 영상 및 제2 영상을 포함하는 제1 그룹의 합과, 제3 영상 및 제4 영상을 포함하는 제4 그룹의 합의 차이가 제1 임계값 이상인지 판단한다. 여기서, 제1 임계값은 시스템의 잡음 레벨 또는 장면에 따라 임의로 결정될 수 있는 값이다. 정지 영상 또는 모션 블러가 발생하지 않은 경우에는 제1 그룹의 합과 제2 그룹의 합은 같아야 하기 때문에, 제1 그룹과 제2 그룹의 합의 차이가 제1 임계값 이상인 경우에는 모션 블러가 존재하는 경우이다. 모션 블러가 존재하지 않는 경우(제1 그룹의 합과 제2 그룹의 합이 같은 경우)에는 단계 1014 및 1016으로 진행하여, 제1 그룹과 제2 그룹의 영상을 이용하여 위상 지연을 계산하고, 깊이 영상을 생성한다.
단계 1008 및 1010에서, 모션 블러가 존재하는 경우, 모션 블러가 제1 그룹 또는 제2 그룹 중 어느 그룹에 존재하는지를 판단한다. 단계 1006에서, 제1 내지 제4 영상 중에 모션 블러가 존재하는 경우에는 제1 그룹과 제2 그룹 중 어느 그룹에 모션 블러가 존재하는지 판단한다. 모션 블러가 존재한다는 것은 영상의 밝기 변화가 크다는 것을 의미하고, 이를 고려하여, 밝기 변화가 큰 그룹에서 모션 블러가 발생하였다고 판단한다. 밝기 변화의 판단은 전술한 수학식 31 및 32를 참조하여 설명한 바와 같다.
단계 1012에서, 모션 블러가 존재하는 그룹의 영상들을 나머지 그룹의 영상들을 이용하여 복원한다. 모션 블러가 존재하는 그룹의 영상들을 포함하여 깊이 영상을 생성하는 경우에 결과 영상에서 발산이 일어나 전혀 다른 결과 값을 얻기 때문에, 모션 블러가 발생된 영상들을 복원한 후 위상 지연 및 깊이 영상을 생성한다. 모션 블러의 복원은 모션 블러가 발생하지 않은 그룹의 영상들과 전술한 시스템 변수(k)를 이용한다. 전술한 바와 같이 수학식 24의 상수인 복조 대비 상수 또는 시스템 변수(k)를 영상테스트를 통해 측정 및 계산할 수 있으며, 상기 수학식 9 내지 12와 같이 위상 지연에 의한 영상의 크기가 사인과 코사인의 함수로 표현이 되고, 이를 그래프로 그려 그 AC 값과 DC 오프셋 값을 읽어서 A와 B 및 그 비인 k를 실험적으로 계산할 수 있다.
단계 1014 및 1016에서, 위상 지연을 계산하고, 깊이 영상을 생성한다.
본 발명의 일 실시 예에 따른 모션 블러 제거 방법을 실제 영상에 적용하여 검증한 결과를 설명한다. 시스템의 복조 대비 상수(k)를 측정하였고, 연속되는 적외선 영상들을 이용하여 깊이 영상을 생성하고, 모션 블러를 제거하지 않는 경우와 제거한 경우를 각각 구하여, 깊이 영상의 정확도, 수렴 여부를 비교하였다.
도 11은 움직이는 피사체를 촬영한 경우, 모션 블러가 발생하는 것을 설명하기 위한 예시 도이다. 도 11a에는 0도, 180도, 90도 및 270도에 상응하는 영상들이 각각 도시되어 있으며, 바(bar) 형태의 물체가 하측 끝단을 축으로 회전하는 장면이다. 도 11b에 도시된 겹친 영상에 도시된 것처럼, 에지의 주변 영상이 블러되어 있음을 알 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 모션 블러 판단을 위한 수학식 19를 적용한 결과를 나타내는 도면이다.
도 11에 도시된 영상에 상기 수학식 19의 모션 블러 판정식을 적용한 결과이다. 0의 값이 대부분이고 에지 부분이 큰 값을 나타내어 모션 블러가 되는 부분을 정확하게 검색하였다.
도 13은 본 발명의 또 다른 실시 예에 따른 모션 블러가 발생한 경우의 깊이 영상 및 모션 블러가 복원된 경우 생성된 깊이 영상을 나타내는 도면들이다.
도 13a는 모션 블러가 복원되기 전의 원 영상이고, 도 13b는 본 발명의 일 실시 예에 따른 모션 블러가 복원된 영상이다. 모션 블러가 발생했던 에지 부분을 보면, 모션 블러 복원 알고리즘 적용 전에는 심하게 발산하여 엉뚱한 결과 값(도 13a)을 주고 있으나 알고리즘 적용 후에는 안정화되어 물리적으로 의미 있는 결과 값(도 13b)을 주고 있음을 알 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
100: 3D 영상 획득 장치
101: 광원
102: 광원 구동부
103: 광변조기
104: 광변조기 구동부
105: 촬상 소자
106: 제어부
107: 깊이 영상 처리부
200: 피사체

Claims (20)

  1. 광원으로부터 생성된 광 투사 신호를 피사체에 순차적으로 투사하는 단계;
    상기 피사체로부터 반사된 반사 광을 광 변조 신호를 이용하여 변조하는 단계;
    상기 변조된 반사 광을 촬영한 복수의 영상들 중 2개 그룹의 영상 조합을 이용하여 위상 지연을 계산하는 단계; 및
    상기 위상 지연으로부터 깊이 영상을 생성하는 단계를 포함하는 깊이 영상 생성 방법.
  2. 제 1 항에 있어서,
    상기 광 투사 신호는 서로 다른 위상을 가지며, 0도, 180도, 90도 및 270도의 순서로 투사되고,
    상기 0도에 상응하는 제1 영상 및 상기 180도에 상응하는 제2 영상을 포함하는 제1 그룹과, 상기 90도에 상응하는 제3 영상 및 상기 270도에 상응하는 제4 영상을 포함하는 제2 그룹을 이용하여 상기 위상 지연을 계산하는 것을 특징으로 하는 깊이 영상 생성 방법.
  3. 제 1 항에 있어서,
    상기 광 변조 신호는 서로 다른 위상을 가지며, 0도, 180도, 90도 및 270도의 순서로 출력되어 상기 반상 광을 변조시키고,
    상기 0도에 상응하는 제1 영상 및 상기 180도에 상응하는 제2 영상을 포함하는 제1 그룹과, 상기 90도에 상응하는 제3 영상 및 상기 270도에 상응하는 제4 영상을 포함하는 제2 그룹을 이용하여 상기 위상 지연을 계산하는 것을 특징으로 하는 깊이 영상 생성 방법.
  4. 제 1 항에 있어서,
    상기 복수의 영상들 중 상기 피사체의 움직임에 의해 발생된 모션 블러 영상이 존재하는지 판단하는 단계를 더 포함하고,
    상기 변조된 반사 광은 위상이 0도, 180도, 90도 및 270도의 순서로 촬영되고, 상기 복수의 영상들은, 상기 0도에 상응하는 제1 영상, 상기 180도에 상응하는 제2 영상, 상기 90도에 상응하는 제3 영상 및 상기 270도에 상응하는 제4 영상을 포함하고,
    상기 판단 단계는,
    상기 제1 영상 및 제2 영상을 포함하는 제1 그룹의 합과, 상기 제3 영상 및 제4 영상을 포함하는 제2 그룹의 합의 차이가 제1 임계값이상인 경우, 상기 모션 블러 영상이 존재하는 것으로 판단하는 것을 특징으로 하는 깊이 영상 생성 방법.
  5. 제 4 항에 있어서,
    상기 판단 결과, 상기 모션 블러 영상이 존재하는 경우, 상기 제1 그룹 또는 상기 제2 그룹 중 상기 모션 블러 영상이 존재하는 그룹을 판단하는 단계를 더 포함하고,
    상기 그룹 판단 단계는,
    상기 제1 그룹 및 제2 그룹에서 영상의 밝기 변동 범위가 더 큰 그룹에서 모션 블러 영상이 존재하는 것으로 판단하는 것을 특징으로 하는 깊이 영상 생성 방법.
  6. 제 5 항에 있어서,
    상기 모션 블러 영상을 복원하는 단계를 더 포함하고,
    상기 복원 단계는,
    상기 모션 블러 영상이 존재하는 것으로 판단된 그룹의 영상들을 나머지 그룹의 영상들을 이용하여 복원하는 것을 특징으로 하는 깊이 영상 생성 방법.
  7. 제 6 항에 있어서,
    상기 복원 단계는,
    상기 나머지 그룹의 영상들, 및 상기 위상 지연에 의한 영상의 AC 변화 값과 DC 오프셋 값의 비율인 복조 대비 상수를 이용하여 상기 모션 블러 영상을 복원하는 것을 특징으로 하는 깊이 영상 생성 방법.
  8. 제 1 항에 있어서,
    상기 2개 그룹의 영상 조합은,
    상기 광 투사 신호 또는 상기 광 변조 신호의 위상인 0도에 상응하는 제1 영상과 180도에 상응하는 제2 영상을 포함하는 제1 그룹, 및 90도에 상응하는 제3 영상과 270도에 상응하는 제4 영상을 포함하는 제2 그룹인 것을 특징으로 하는 깊이 영상 생성 방법.
  9. 제 8 항에 있어서,
    상기 촬영한 복수의 영상들에 대해,
    상기 제1 그룹과 상기 제2 그룹에 대해 상기 위상 지연을 계산하여, 제1 깊이 영상을 생성하고,
    상기 제2 그룹과 다음 제1 그룹에 대해 상기 위상 지연을 계산하여, 제2 깊이 영상을 생성하는 것을 특징으로 하는 깊이 영상 생성 방법.
  10. 광원으로부터 생성된 광 투사 신호를 피사체에 순차적으로 투사하는 단계;
    상기 피사체로부터 반사된 반사 광을 광 변조 신호를 이용하여 변조하는 단계;
    상기 변조된 반사 광의 위상인 0도에 상응하는 제1 영상, 180도에 상응하는 제2 영상, 90도에 상응하는 제3 영상 및 270도에 상응하는 제4 영상을 획득하는 단계;
    상기 제1 영상 및 상기 제2 영상을 포함하는 제1 그룹의 합과, 상기 제3 영상 및 제4 영상을 포함하는 제2 그룹의 합의 차이가 제1 임계값이상인지 판단함으로써 상기 피사체의 움직임에 의해 발생된 모션 블러가 존재하는지 판단하는 단계;
    상기 모션 블러가 존재하는 경우, 상기 제1 그룹의 차이와 상기 제2 그룹의 차이의 크기를 비교함으로써 상기 모션 블러가 존재하는 그룹을 판단하고, 상기 모션 블러가 존재하는 그룹의 영상들을 나머지 그룹의 영상들을 이용하여 복원하는 단계;
    상기 나머지 그룹의 영상들 및 상기 복원된 그룹의 영상들을 이용하여 위상 지연을 계산하는 단계; 및
    상기 위상 지연으로부터 깊이 영상을 생성하는 단계를 포함하는 깊이 영상 생성 방법.
  11. 광 투사 신호를 생성하여 피사체를 향해 순차적으로 투사하는 광원;
    상기 피사체로부터 반사된 반사 광을 이득 파형을 갖는 광 변조 신호를 이용하여 변조하는 광 변조기;
    상기 광 변조기에 의해 변조된 반사 광을 촬영하여 복수의 영상들을 생성하는 촬상소자; 및
    상기 촬상소자에서 생성된 복수의 영상들 중 2개 그룹의 영상 조합을 이용하여 위상 지연을 계산하고, 상기 위상 지연으로부터 깊이 영상을 생성하는 깊이 영상 처리부를 포함하는 3차원 영상 획득 장치.
  12. 제 11 항에 있어서,
    상기 광원을 구동시켜 상기 광 투사 신호의 파형을 제어하는 광원 구동부;
    상기 광 변조기를 구동시켜 상기 이득 파형을 제어하는 광 변조기 구동부; 및
    상기 광원 구동부, 상기 광 변조기 구동부 및 상기 촬상소자의 동작을 제어하는 제어부를 더 포함하는 3차원 영상 획득 장치.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 광 투사 신호가 서로 다른 위상을 가지며, 0도, 180도, 90도, 270도의 순서로 투사되도록 상기 광원 구동부를 제어하고,
    상기 깊이 영상 처리부는,
    상기 0도에 상응하는 제1 영상 및 상기 180도에 상응하는 제2 영상을 포함하는 제1 그룹과, 상기 90도에 상응하는 제3 영상 및 상기 270도에 상응하는 제4 영상을 포함하는 제2 그룹을 이용하여 상기 위상 지연을 계산하는 것을 특징으로 하는 3차원 영상 획득 장치.
  14. 제 12 항에 있어서,
    상기 제어부는,
    상기 광 변조 신호가 서로 다른 위상을 가지며, 0도, 180도, 90도, 270도의 순서로 상기 반사광을 변조하도록 상기 광 변조기 구동부를 제어하고,
    상기 깊이 영상 처리부는,
    상기 0도에 상응하는 제1 영상 및 상기 180도에 상응하는 제2 영상을 포함하는 제1 그룹과, 상기 90도에 상응하는 제3 영상 및 상기 270도에 상응하는 제4 영상을 포함하는 제2 그룹을 이용하여 상기 위상 지연을 계산하는 것을 특징으로 하는 3차원 영상 획득 장치.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 깊이 영상 처리부는,
    상기 복수의 영상들 중 상기 피사체의 움직임에 의해 발생된 모션 블러 영상이 존재하는지 판단하고,
    상기 제1 영상 및 제2 영상을 포함하는 제1 그룹의 합과, 상기 제3 영상 및 제4 영상을 포함하는 제2 그룹의 합의 차이가 제1 임계값이상인 경우, 상기 모션 블러 영상이 존재하는 것으로 판단하는 것을 특징으로 하는 3차원 영상 획득 장치.
  16. 제 15 항에 있어서,
    상기 깊이 영상 처리부는,
    상기 모션 블러 영상이 존재하는 것으로 판단된 그룹의 영상들을 상기 나머지 그룹의 영상들, 및 상기 위상 지연에 의한 영상의 AC 변화 값과 DC 오프셋 값의 비율인 복조 대비 상수를 이용하여 상기 모션 블러 영상을 복원하는 것을 특징으로 하는 3차원 영상 획득 장치.
  17. 제 15 항에 있어서,
    상기 깊이 영상 처리부는,
    상기 제1 그룹과 상기 제2 그룹에 대해 상기 피사체까지의 거리를 계산하여, 제1 깊이 영상을 생성하고, 상기 제2 그룹과 다음 제1 그룹에 대해 상기 위상 지연을 계산하여, 제2 깊이 영상을 생성하는 것을 특징으로 하는 3차원 영상 획득 장치.
  18. 제 15 항에 있어서,
    상기 광 변조기의 광 입사 면에서 반사광을 상기 광 변조기의 영역 내에 집광하는 제1 렌즈;
    상기 제1 렌즈와 상기 광 변조기 사이에서 소정의 파장을 갖는 광을 투과시키고 상기 파장 이외의 광을 제거하는 필터; 및
    상기 광 변조기와 촬상소자 사이에서 상기 변조된 광을 상기 촬상소자의 영역 내에 집광하는 제2 렌즈를 더 포함하는 것을 특징으로 하는 3차원 영상 획득 장치.
  19. 제 15 항에 있어서,
    상기 촬상 소자는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토 다이오드 어레이를 포함하거나, 또는 단일 지점의 거리 측정을 위한 1개의 포토 다이오드를 포함하는 것을 특징으로 하는 3차원 영상 획득 장치.
  20. 제 15 항에 있어서,
    상기 광원은,
    적외선 대역의 LD 또는 LED를 포함하는 고체발광소자인 것을 특징으로 하는 3차원 영상 획득 장치.
KR1020130038287A 2013-04-08 2013-04-08 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법 KR102040152B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130038287A KR102040152B1 (ko) 2013-04-08 2013-04-08 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
EP14163725.6A EP2790034B1 (en) 2013-04-08 2014-04-07 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
CN201410138665.9A CN104104941B (zh) 2013-04-08 2014-04-08 三维图像获取装置以及生成深度图像的方法
US14/247,907 US9749613B2 (en) 2013-04-08 2014-04-08 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130038287A KR102040152B1 (ko) 2013-04-08 2013-04-08 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20140121710A true KR20140121710A (ko) 2014-10-16
KR102040152B1 KR102040152B1 (ko) 2019-12-05

Family

ID=50442385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130038287A KR102040152B1 (ko) 2013-04-08 2013-04-08 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법

Country Status (4)

Country Link
US (1) US9749613B2 (ko)
EP (1) EP2790034B1 (ko)
KR (1) KR102040152B1 (ko)
CN (1) CN104104941B (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067605A (ko) 2014-12-04 2016-06-14 김용기 버섯 재배 용기
KR20160124666A (ko) * 2015-04-20 2016-10-28 삼성전자주식회사 동시 rgbz 센서 및 시스템
KR20170076477A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
KR20170093608A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US10205933B2 (en) 2014-08-29 2019-02-12 Samsung Electronics Co., Ltd. Depth image acquisition apparatus and method of acquiring depth information
US10545237B2 (en) 2016-08-22 2020-01-28 Samsung Electronics Co., Ltd. Method and device for acquiring distance information
KR102274033B1 (ko) * 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치
US11650044B2 (en) 2015-04-20 2023-05-16 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11725933B2 (en) 2015-04-20 2023-08-15 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11924545B2 (en) 2015-04-20 2024-03-05 Samsung Electronics Co., Ltd. Concurrent RGBZ sensor and system

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
RU2014116610A (ru) * 2014-04-24 2015-10-27 ЭлЭсАй Корпорейшн Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
CN104301707B (zh) * 2014-10-22 2016-07-06 中国科学院合肥物质科学研究院 基于dmd扫描和积分相移测距的深度图像获取装置及方法
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
JP2017050830A (ja) * 2015-09-04 2017-03-09 パナソニックＩｐマネジメント株式会社 照明装置、照明システム、及びプログラム
KR102475891B1 (ko) * 2015-10-08 2022-12-12 삼성전자주식회사 측면 발광 레이저 광원, 및 이를 포함한 3차원 영상 획득 장치
KR102523972B1 (ko) * 2015-10-27 2023-04-20 삼성전자주식회사 광 셔터를 포함하는 3차원 깊이 센서를 이용한 거리측정방법
KR102372087B1 (ko) * 2015-10-28 2022-03-08 삼성전자주식회사 깊이 영상 촬영장치 및 방법
KR102372088B1 (ko) 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
KR102473735B1 (ko) * 2015-11-09 2022-12-05 삼성전자주식회사 이미징 장치의 동작 방법
EP3185053B1 (de) * 2015-12-21 2020-02-26 Sick Ag Optischer modulator
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
US20170244482A1 (en) * 2016-02-24 2017-08-24 Qualcomm Incorporated Light-based communication processing
KR102454228B1 (ko) * 2016-04-29 2022-10-14 엘지전자 주식회사 멀티 비전 장치
WO2017213052A1 (ja) * 2016-06-08 2017-12-14 パナソニックＩｐマネジメント株式会社 測距システム及び測距方法
EP3469251B1 (en) * 2016-06-10 2021-07-07 Magic Leap, Inc. Integrating point source for texture projecting bulb
DE102016124594A1 (de) * 2016-12-16 2018-06-21 Jena-Optronik Gmbh Verfahren zur Erfassung einer 3D-Szene mittels eines LIDAR-Systems und LIDAR-System hierzu
KR102457891B1 (ko) * 2017-10-30 2022-10-25 삼성전자주식회사 이미치 처리 방법 및 장치
WO2019109091A1 (en) * 2017-12-03 2019-06-06 Munro Design & Technologies, Llc Digital image processing systems for three-dimensional imaging systems with image intensifiers and methods thereof
WO2019195054A1 (en) * 2018-04-01 2019-10-10 OPSYS Tech Ltd. Noise adaptive solid-state lidar system
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
DE102018222518A1 (de) * 2018-12-20 2020-06-25 Zf Friedrichshafen Ag Kamerasystem mit hoher Updaterate
CN109521434B (zh) * 2018-12-27 2020-09-08 合肥泰禾光电科技股份有限公司 一种激光测量方法及控制处理器
KR102326952B1 (ko) * 2019-01-04 2021-11-16 엘지이노텍 주식회사 광학계 및 이를 포함하는 카메라 모듈
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
CN111798506A (zh) * 2020-06-30 2020-10-20 上海数迹智能科技有限公司 一种图像处理方法、控制方法、终端及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100122988A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
KR20110085785A (ko) * 2010-01-21 2011-07-27 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR20120101174A (ko) * 2010-01-06 2012-09-12 휴스턴 제이. 그랜트 별도의 화소 및 저장 어레이를 갖는 탈모듈화 센서

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
DE69635891T2 (de) 1995-06-22 2006-12-14 3Dv Systems Ltd. Verbesserte optische kamera zur entfernungsmessung
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
ES2194302T3 (es) 1998-02-08 2003-11-16 3Dv Systems Ltd Obturador optico de imagen de gran apertura.
JP3840341B2 (ja) 1998-10-15 2006-11-01 浜松ホトニクス株式会社 立体情報検出方法及び装置
US6118946A (en) 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
US6794628B2 (en) 2000-01-03 2004-09-21 3Dv Systems, Ltd. Solid state optical shutter
WO2005036372A2 (en) 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
US8203699B2 (en) * 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US8619354B2 (en) 2008-12-24 2013-12-31 Samsung Electronics Co., Ltd. High speed optical shutter, method of operating the same and apparatus including the same
KR101520029B1 (ko) 2008-12-31 2015-05-15 삼성전자주식회사 고정세화 패턴을 갖는 광 변조기
KR101547327B1 (ko) 2009-01-15 2015-09-07 삼성전자주식회사 광 이미지 변조기와 이를 포함하는 광학장치와 광 이미지 변조기의 제조 및 구동방법
KR101603778B1 (ko) 2009-01-19 2016-03-25 삼성전자주식회사 광 이미지 셔터
US8988661B2 (en) 2009-05-29 2015-03-24 Microsoft Technology Licensing, Llc Method and system to maximize space-time resolution in a time-of-flight (TOF) system
KR101623960B1 (ko) 2009-06-04 2016-05-25 삼성전자주식회사 광전자 셔터, 이의 동작 방법 및 광전자 셔터를 채용한 광학 장치
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
KR101638974B1 (ko) 2009-06-17 2016-07-13 삼성전자주식회사 광 변조기와 그 제조 및 동작방법과 광 변조기를 포함하는 광학장치
KR101706354B1 (ko) 2009-06-24 2017-02-13 삼성전자주식회사 고속 광 변조기 및 이를 이용한 광 변조방법
KR101675111B1 (ko) 2010-01-08 2016-11-11 삼성전자주식회사 광 이미지 셔터 및 그 제조 방법
KR101638973B1 (ko) 2010-01-22 2016-07-12 삼성전자주식회사 광변조기 및 그 제조 방법
JP2012049773A (ja) 2010-08-26 2012-03-08 Sony Corp 撮像装置および方法、並びにプログラム
KR101753312B1 (ko) 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
KR101598547B1 (ko) 2010-12-03 2016-03-02 삼성전자주식회사 광 이미지 변조기 및 그 제조 방법
KR101660408B1 (ko) 2010-12-20 2016-09-27 삼성전자주식회사 입사광의 입사각 보정기능을 갖는 광 이미지 변조기 및 이를 포함하는 광학장치
KR101722641B1 (ko) 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20120075182A (ko) 2010-12-28 2012-07-06 삼성전자주식회사 다중 패브리-페로 공진 모드를 이용한 광변조기 및 상기 광변조기를 포함하는 3차원 영상 획득 장치
KR101669219B1 (ko) 2010-12-30 2016-10-26 삼성전자주식회사 광변조기 및 이를 채용한 광학장치
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR20120111092A (ko) 2011-03-31 2012-10-10 삼성전자주식회사 촬상 장치
KR101799521B1 (ko) 2011-05-24 2017-11-20 삼성전자 주식회사 광결정형 광변조기 및 이를 구비하는 3차원 영상 획득 장치
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100122988A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
KR20120101174A (ko) * 2010-01-06 2012-09-12 휴스턴 제이. 그랜트 별도의 화소 및 저장 어레이를 갖는 탈모듈화 센서
KR20110085785A (ko) * 2010-01-21 2011-07-27 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10205933B2 (en) 2014-08-29 2019-02-12 Samsung Electronics Co., Ltd. Depth image acquisition apparatus and method of acquiring depth information
KR20160067605A (ko) 2014-12-04 2016-06-14 김용기 버섯 재배 용기
KR20160124666A (ko) * 2015-04-20 2016-10-28 삼성전자주식회사 동시 rgbz 센서 및 시스템
US11650044B2 (en) 2015-04-20 2023-05-16 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11725933B2 (en) 2015-04-20 2023-08-15 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11924545B2 (en) 2015-04-20 2024-03-05 Samsung Electronics Co., Ltd. Concurrent RGBZ sensor and system
KR20170076477A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
US10509125B2 (en) 2015-12-24 2019-12-17 Samsung Electronics Co., Ltd. Method and device for acquiring distance information
KR20170093608A (ko) * 2016-02-05 2017-08-16 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US10545237B2 (en) 2016-08-22 2020-01-28 Samsung Electronics Co., Ltd. Method and device for acquiring distance information
KR102274033B1 (ko) * 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치

Also Published As

Publication number Publication date
KR102040152B1 (ko) 2019-12-05
EP2790034A1 (en) 2014-10-15
CN104104941A (zh) 2014-10-15
US9749613B2 (en) 2017-08-29
CN104104941B (zh) 2018-12-21
US20140300701A1 (en) 2014-10-09
EP2790034B1 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
KR20140121710A (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
JP5739174B2 (ja) 距離情報抽出方法及び該方法を採用した光学装置
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101722641B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US10234561B2 (en) Specular reflection removal in time-of-flight camera apparatus
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
KR101753312B1 (ko) 뎁스 영상 생성 장치 및 방법
KR101955334B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US9194953B2 (en) 3D time-of-light camera and method
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR20170050058A (ko) 깊이 정보 획득 장치 및 방법
Colaço et al. Compressive depth map acquisition using a single photon-counting detector: Parametric signal processing meets sparsity
KR102460659B1 (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
KR102490335B1 (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
KR20170076477A (ko) 거리 정보를 획득하는 방법 및 디바이스
Volak et al. Interference artifacts suppression in systems with multiple depth cameras
WO2018104464A1 (en) Apparatus and method
KR20150133086A (ko) 깊이 영상 획득 방법 및 그 영상 획득 장치
KR20160104968A (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant