KR102389380B1 - 3차원 영상의 깊이 정보 추출 장치 및 그 방법 - Google Patents

3차원 영상의 깊이 정보 추출 장치 및 그 방법 Download PDF

Info

Publication number
KR102389380B1
KR102389380B1 KR1020150027982A KR20150027982A KR102389380B1 KR 102389380 B1 KR102389380 B1 KR 102389380B1 KR 1020150027982 A KR1020150027982 A KR 1020150027982A KR 20150027982 A KR20150027982 A KR 20150027982A KR 102389380 B1 KR102389380 B1 KR 102389380B1
Authority
KR
South Korea
Prior art keywords
image
region
interest
depth information
subject
Prior art date
Application number
KR1020150027982A
Other languages
English (en)
Other versions
KR20160104968A (ko
Inventor
이명욱
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020150027982A priority Critical patent/KR102389380B1/ko
Publication of KR20160104968A publication Critical patent/KR20160104968A/ko
Application granted granted Critical
Publication of KR102389380B1 publication Critical patent/KR102389380B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3차원 영상의 깊이 정보 추출 장치 및 그 방법에 관한 것으로, 본 발명의 실시예에 따른 3차원 영상의 깊이 정보 추출 장치는 피사체를 촬영하여 영상을 획득하는 영상획득부; 상기 영상획득부로부터 영상을 전송받아 영상을 스켈레톤화하는 스켈레톤영상을 생성하는 스켈레톤부; 상기 스켈레톤부로부터 스켈레톤 영상을 전송받아 미리 저장된 관심영역에 대한 특징들과 비교하여 일치하는 부분을 관심영역으로 설정하는 관심영역 설정부; 및 피사체에 대해 TOF 스캔을 수행하여 깊이 정보를 추출하되, 상기 관심영역에 대해서는 스캔 밀도를 높여 세부스캔을 수행하는 깊이 정보 추출부를 포함한다.

Description

3차원 영상의 깊이 정보 추출 장치 및 그 방법{Apparatus and method of extracting depth information of the 3D image}
본 발명은 3차원 영상의 깊이 정보 추출 장치 및 그 방법에 관한 것이다.
3차원 입체 영상은 입체감과 몰입감을 줄 수 있도록 색상 영상과 함께 피사체의 깊이 영상을 기반으로 생성된다.
피사체의 깊이를 측정하는 방법으로는 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 깊이 정보를 얻기 어렵다.
이러한 문제를 개선하기 위하여 비행시간법(Time-of-Flight; TOF)이 도입되었다. TOF 방식은 피사체에 직접 광을 조사하고 상기 물체로부터 되돌아오는 반사광의 시간을 계산함으로써 그 물체의 깊이를 측정하는 방식이다. 즉, 물체에 조사된 광과 그 물체에서 반사된 광의 위상차를 이용하여 물체와 카메라 사이의 거리인 깊이 정보를 취득한다.
TOF 기술에 따르면, 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 포함하는 조명 광학계를 이용하여 특정 파장의 빛(예컨대, 850nm의 근적외선)을 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 기지의 이득 파형을 갖는 변조기로 상기 수광된 빛을 변조하는 등 깊이 정보를 추출하기 위한 일련의 처리 과정을 거치게 된다.
또한, TOF 기술의 깊이 정보 추출을 위한 광처리 과정에서, 광원과 광변조 소자를 펄스 구동하는 방법, 삼각형파(예컨대, 램프(ramp) 파형) 등의 특별한 파형을 이용하는 방법, 또는 사인파를 사용하는 방법 등이 소개되었다. 또한 각각의 사용 파형에 따라 광원과 광변조 소자의 다양한 구동 방법이 소개되어 있으며, 촬영된 세기 값으로부터 깊이 정보를 추출하기 위한 다양한 알고리즘이 소개되어 있다.
TOF는 광원 조사 방식에 따라 면광원 방식과 스캐너 방식으로 구분되는데, 면광원 방식은 면광원을 이용하여 피사체에 동시에 광원 조사하는 방식이고 스캐너방식은 픽셀(pixel) 단위나 라인 단위로 순차적으로 조사하는 방식이다.
하지만 면광원 방식이든 스캐너 방식이든 피사체에 동일하게 광원을 조사하기 때문에 피사체 중 특히 세밀한 부분이 있거나 더 중요한 정보가 있는 경우에도 동일한 해상도를 가진 영상이 추출되어 관심부분에 대한 정확한 정보를 얻을 수 없다는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 피사체의 관심영역에 대한 해상력을 높여 깊이 정보의 정밀도를 향상시킬 수 있는 3차원 영상의 깊이 정보 추출 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는, 전력 소모를 줄일 수 있는 3차원 영상의 깊이 정보 추출 장치 및 방법을 제공하는 것이다.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예에 따른 3차원 영상의 깊이 추정 장치는 피사체를 촬영하여 영상을 획득하는 영상획득부; 상기 영상획득부로부터 영상을 전송받아 영상을 스켈레톤화하는 스켈레톤영상을 생성하는 스켈레톤부; 상기 스켈레톤부로부터 스켈레톤 영상을 전송받아 미리 저장된 관심영역에 대한 특징들과 비교하여 일치하는 부분을 관심영역으로 설정하는 관심영역 설정부; 및 피사체에 대해 TOF 스캔을 수행하여 깊이 정보를 추출하되, 상기 관심영역에 대해서는 스캔 밀도를 높여 세부스캔을 수행하는 깊이 정보 추출부를 포함한다.
상기 관심영역 설정부는 관심영역에 대한 정보를 저장하고 있는 저장부를 포함할 수 있다.
상기 깊이 정보 추출부는 광을 송출하여 상기 피사체에 스캔하는 송광부; 상기 피사체에 반사되어 오는 반사광을 수신하여 위상 차이를 검출하고 깊이 정보를 계산하는 수광부; 및 상기 송광부 및 수광부를 제어하는 제어부를 포함할 수 있다.
상기 제어부는 관심영역에 대한 정보를 수신하고, 상기 피사체의 관심영역에서는 스캔 밀도가 높아지도록 상기 송광부를 제어할 수 있다.
상기 제어부는 관심영역에 대한 정보를 수신하고, 상기 피사체의 비관심영역에서는 스캔 밀도가 낮아지도록 상기 송광부를 제어할 수 있다.
또한, 본 발명의 일실시예에 따른 3차원 영상의 깊이 추정 방법은 피사체의 영상을 스켈레톤화하는 단계; 상기 스켈레톤화된 영상으로 피사체에서 관심영역을 설정하는 단계; 상기 피사체에 대해 TOF 스캔을 하되, 관심영역에 대해서는 다른 영역보다 조밀하게 스캔을 수행하는 세부 스캔 단계; 및 상기 스캔되어진 피사체에서 반사되는 반사파의 위상차이 정보를 이용하여 깊이 정보를 계산하는 단계를 포함한다.
상기 관심영역을 설정하는 단계는 상기 스켈레톤화된 영상과 미리 저장된 관심영역에 대한 특징들을 비교하여 일치하는 부분을 관심영역으로 설정할 수 있다.
상기 피사체의 영상을 스켈레톤화하는 단계 이전에, 피사체를 미리 설정된 간격으로 TOF 스캔하는 단계를 더 포함할 수 있다.
상기 세부스캔 단계는 관심영역에 대해서는 상기 미리 설정된 간격보다 좁게 스캔하고 비관심영역에 대해서는 미리 설정된 간격보다 넓게 스캔할 수 있다.
본 발명에 의하면, 관심영역에서 스캔 밀도를 높여 조밀하게 스캔함으로서 관심영역에 대한 해상력을 높이고 그 결과 정확한 깊이 정보 추출이 가능하다.
또한, 본 발명에 의하면, 비관심영역에서 스캔 밀도를 낮춰 스캔 간격을 넓게함으로서 전력 소모량을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따른 3차원 깊이 정보 추출 장치의 블럭도를 도시한 것이다.
도 2는 도 1의 깊이 정보 추출부(300)의 블럭도를 도시한 것이다.
도 3은 깊이 영상을 추출하는 원리의 예를 나타낸 그래프이다.
도 4는 본 발명의 일실시예에 따른 3차원 깊이 정보 추출 방법의 흐름도를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 TOF 스캔의 예시를 도시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 3차원 깊이 정보 추출 장치 및 방법에 대해 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 3차원 깊이 정보 추출 장치의 블럭도를 도시한 것이다.
도 1을 참조하면, 상기 3D 깊이 정보 추출 장치는 영상 획득부(100), 스켈레톤부(200), 관심영역 설정부(300), 및 깊이 정보 추출부(400)를 포함한다.
상기 영상 획득부(100)는 피사체를 촬영하여 촬영된 영상을 획득하는 장치로 일반적인 RGB 카메라가 사용될 수 있다.
상기 스켈레톤부(200)는 상기 영상획득부로터 영상을 수신하여 이를 스켈레톤화(skeletonization)하여 스켈레톤 영상을 생성한다. 스켈레톤화는 비교적 변형되지 않는 신체부위들의 위치와 그 부위들 사이의 연결정보를 기본으로 표현하는 방법으로 공지된 다양한 알고리즘을 사용할 수 있다.
상기 관심영역 설정부(300)는 스켈레톤 영상을 수신하여 미리 저장된 관심영역이 가지는 특징들과 비교하여 일치 여부를 판단하여 관심영역을 설정한다. 즉, 관심 영역이 가지는 특징들을 영상으로부터 분석하여 탐색하는 방법이 사용될 수 있다. 따라서 관심영역 설정부(300)는 관심영역의 특징들에 대한 정보를 저장하고 있는 저장부를 포함하고 있다.
피사체가 사람이고 사람의 손을 관심 영역으로 설정하는 경우를 예를 들어 보다 구체적으로 설명하기로 한다. 특히 손은 사용자가 가장 손쉽게 사용할 수 있으며 자유도가 높아 다양한 표현을 할 수 있는 매개체이다. 따라서 제스쳐(gesture) 추정을 할 경우 손에 대한 정보가 다른 부분 보다 중요하기 때문에 손을 관심 영역으로 설정할 필요가 있는 경우가 많다.
첫번째 방법으로는 미리 촬영된 손 데이터들의 윤곽 정보를 참고하여 화면에서 손을 탐색하는 방법이 있고, 두 번째 방법으로는 손 끝과 같이 뾰족한 특징(tip)을 가지는 부분과 손가락과 같이 관 형태의 특징(pipe)을 가지는 영역을 영상으로부터 추출한 다음 이를 활용하여 손을 탐색하는 방법이 있고, 세 번째 방법은 거리영상에서 특정 구간을 추출하여 손이라 가정하고 추출된 영역에서 손바닥의 중앙점을 정의한다.
이러한 방법들을 이용하여 스켈레톤 영상과 손의 특징들을 비교하여 일치하는 경우 해당 영역을 관심 영역으로 설정한다.
상기 깊이 정보 추출부(400)는 관심영역이 설정되면 해당 영역에 TOF 스캔을 수행하여 관심영역에 대한 깊이 정보를 계산한다.
깊이 정보 추출부(400)의 상세 구성은 도 2를 참조하여 설명하기로 한다.
도 2를 참조하면, 깊이 정보 추출부(400)는 크게 송광부(410), 수광부(420) 및 제어부(430)로 구성된다.
상기 송광부(410)는 소정의 파장을 갖는 광을 발생시키는 광원(412), 상기 광원(412)을 구동시키기 위한 광원 구동부(414)를 포함한다.
상기 수광부(420)는 피사체로부터 반사된 광을 광변조하기 위한 광변조기(422), 광변조기(422)를 구동시키기 위한 광변조기 구동부(424), 광변조기(422)에 의해 광변조된 광으로부터 영상을 생성하는 광감지부(426), 광감지부(426)의 출력을 기초로 깊이 정보를 계산하기 위한 깊이 정보 계산부(428)를 포함한다. 상기 광변조기의(422)의 전단과 광감지부(426)의 전단에는 반사되는 광을 집광하기 위한 렌즈가 배치될 수 있으며 소정의 파장을 갖는 광만을 투과시키는 필터가 더 배치될 수 있다.
그리고 상기 제어부(430)는 광원구동부(414), 광변조기 구동부(424), 광감지부(426), 및 깊이 정보 계산부(428)의 동작을 제어한다.
광원(412)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(414)는 제어부(430)로부터 수신된 제어 신호에 따라 광원(412)을 예를들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(414)의 구동 신호에 따라, 광원(412)으로부터 피사체 투사되는 투사광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광은 사인파, 램프파, 사각파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다. 특히, 제어부(430)는 상기 관심영역 설정부(300)로부터 데이터를 수신하여 관심영역에 대해서는 세부 스캔을 할 수 있도록 광원 구동부(414)를 제어한다.
광변조기(422)는 피사체로부터 반사된 광을 광변조기 구동부(424)의 제어에 따라 광변조한다. 광변조기 구동부(424)는 제어부(430)로부터 수신된 제어 신호에 따라 광변조기(422)를 구동시킨다. 예를 들어, 광변조기(422)는 광변조기 구동부(424)에 의해 제공된 소정의 파형을 갖는 광변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다.
광감지부(426)는 광변조기(422)에 의해 광변조된 반사광을 제어부(430)의 제어에 따라 검출하여 영상을 생성하는 역할을 한다. 만약 피사체의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 광감지부(426)는 예를 들어 포토다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체 상의 다수의 점들까지의 거리들을 동시에 측정하고자 하는 경우, 광감지부(426)는 다수의 포토다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 광감지부(426)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CMOS 이미지 센서일 수도 있다.
깊이 정보 계산부(428)는 광감지부(426)의 출력을 기초로, 깊이 정보 추출 알고리즘에 따라 깊이 정보를 계산하는 역할을 한다. 깊이 정보 계산부(428)는 전용의 집적회로(IC)로 구현될 수도 있으며, 소프트웨어로도 구현될 수 있다.
이하에서는, 상술한 구조를 갖는 깊이 정보 추출부의 동작을 개략적으로 설명한다.
먼저, 광원(412)은 제어부(430) 및 광원 구동부(414)의 제어에 따라 소정의 주기 및 파형을 갖는 투사광을 차례로 피사체에 투사한다.
피사체에 투사된 투사광은 피사체의 표면에서 반사된 후, 렌즈(미도시)를 거쳐 광변조기로 입사된다. 일반적으로 피사체는 3차원 영상 획득 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들을 갖는다. 깊이가 상이한 표면에서 각각 투사광이 반사되면서, 반사광은 표면의 위치에 따라 시간 지연이 발생한다.
그러면, 광변조기(422)는 소정의 파형을 갖는 신호로 반사광을 변조한다. 광변조기(422)에서의 이득파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 광변조기(422)에 의해 크기가 변조된 광은 광감지부(426)에 도달한다. 광감지부(426)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 이를 전기신호로 변환한다.
깊이 정보 계산부(428)는 광 감지부로부터 수신되는 신호를 근거로 깊이 정보를 계산한다. 즉, 도 3에 나타낸 바와 같이 송광부(110)에서 물체로 방출된 변조 신호와 상기 물체로부터 반사되는 반사 신호의 위상 이동(phase shift) 양을 검출하고 이를 깊이 정보로 변환한다.
도 4은 본 발명의 일실시예에 따른 깊이 정보 추출 방법을 도시한 흐름도이다.
먼저 TOF 광원을 피사체에 조사하여 미리 설정된 일정한 간격으로 스캔한다(S10). 다음으로 피사체를 촬영한 영상으로부터 관심영역을 설정한다(S20). 관심영역 설정은 앞서 살펴본 바와 같이 RGB 카메라를 통해 촬영된 영상을 기반으로 이루어지는 것이므로 반드시 TOF 스캔 뒤에 행해질 필요는 없으나 TOF 스캔은 관심영역 설정전에도 지속적으로 이루어지기 때문에 편의상 TOF 스캔 이후의 절차로 표시하였다. 관심영역을 설정하는 방법은 다양한 방법이 사용될 수 있지만 본 발명에서는 피사체를 스켈레톤화하여 기 저장된 관심영역의 영상과 비교하여 해당영역을 관심영역으로 설정할 수 있다. 자세한 방법은 앞서 설명하였으므로 생략하기로 한다.
관심영역 추출이 완료되면 해당 영역에 대해서는 도 5(b)에 도시된 것과 같이 세부 스캔을 수행한다(S30). 도 5는 TOF 스캔 방식을 도시한 것으로 도 5(a)는 종래기술에 의한 스캔 방식을 도시한 것이고, 도 5(b)는 본 발명의 일실시예에 따른 스캔 방식을 도시한 것이다. 본 실시예에서는 도시된 것과 같이 손에 해당하는 영역이 관심 영역으로 도출되면 해당하는 부분에서는 세부 스캔을 수행하여 영상의 해상도를 높인다. 즉, 듀티 사이클(duty cycle)을 낮춤으로서 해상도를 높일 있다. 그리고 관심영역 밖에서는 듬성듬성하게 스캔한다. 스캔을 듬성듬성하게 되면 영상의 해상도가 떨어지지만 관심영역이 아니기 때문에 문제되지 않는다. 그리고 스캔을 듬성듬성하게 되면 전력 소모를 줄일 수 있기 때문에 관심영역 밖에서는 스캔을 듬성듬성하게 수행하는 것이 바람직하다. 예를 들어 단계(S10)에서 미리 설정된 간격을 기준간격이라고 할 때, 관심영역에서는 기준간격보다 3배 정도 조밀하게 스캔하고, 비관심영역에 대한 기준간격보다 2배 정도 넓게 스캔을 한다면, 관심영역에 대해서는 정확성을 높이면서도 동시에 전력 소모량도 줄일 수 있다.
관심영역에 대한 스캔이 완료되면 스캔 정보를 바탕으로 관심영역에 대한 깊이 정보를 계산한다(S40). 깊이 정보 계산 방법은 앞서 살펴 본바와 같이 피사체에 반사되어 오는 반사파의 위상 차이를 이용해 깊이 정보를 계산한다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
100: 영상획득부 200: 스켈레톤부
300: 관심영역 설정부 400: 깊이 정보 추출부
410: 송광부 420: 수광부
430: 제어부

Claims (9)

  1. 피사체를 촬영하여 영상을 획득하는 영상획득부;
    상기 영상획득부로부터 영상을 전송받아 영상을 스켈레톤화하는 스켈레톤영상을 생성하는 스켈레톤부;
    상기 스켈레톤부로부터 스켈레톤 영상을 전송받아 미리 저장된 관심영역에 대한 특징들과 비교하여 일치하는 부분을 관심영역으로 설정하는 관심영역 설정부; 및
    피사체에 대해 TOF 스캔을 수행하여 깊이 정보를 추출하되, 상기 관심영역에 대해서는 스캔 밀도를 높여 세부스캔을 수행하는 깊이 정보 추출부를 포함하는 3차원 영상의 깊이 정보 추출 장치.
  2. 제1항에 있어서,
    상기 관심영역 설정부는 관심영역에 대한 정보를 저장하고 있는 저장부를 포함하는 3차원 영상의 깊이 정보 추출 장치.
  3. 제1항에 있어서, 상기 깊이 정보 추출부는
    광을 송출하여 상기 피사체에 스캔하는 송광부;
    상기 피사체에 반사되어 오는 반사광을 수신하여 위상 차이를 검출하고 깊이 정보를 계산하는 수광부; 및
    상기 송광부 및 수광부를 제어하는 제어부를 포함하는 3차원 영상의 깊이 정보 추출 장치.
  4. 제3항에 있어서
    상기 제어부는 관심영역에 대한 정보를 수신하고, 상기 피사체의 관심영역에서는 스캔 밀도가 높아지도록 상기 송광부를 제어하는 3차원 영상의 깊이 정보 추출 장치.
  5. 제3항에 있어서,
    상기 제어부는 관심영역에 대한 정보를 수신하고, 상기 피사체의 비관심영역에서는 스캔 밀도가 낮아지도록 상기 송광부를 제어하는 3차원 영상의 깊이 정보 추출 장치.
  6. 피사체의 영상을 스켈레톤화하는 단계;
    상기 스켈레톤화된 영상으로 피사체에서 관심영역을 설정하는 단계;
    상기 피사체에 대해 TOF 스캔을 하되, 관심영역에 대해서는 다른 영역보다 조밀하게 스캔을 수행하는 세부 스캔 단계; 및
    상기 스캔되어진 피사체에서 반사되는 반사파의 위상차이 정보를 이용하여 깊이 정보를 계산하는 단계를 포함하고,
    상기 관심영역을 설정하는 단계는
    상기 스켈레톤화된 영상과 미리 저장된 관심영역에 대한 특징들을 비교하여 일치하는 부분을 관심영역으로 설정하는 3차원 영상의 깊이 정보 추출 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 피사체의 영상을 스켈레톤화하는 단계 이전에, 피사체를 미리 설정된 간격으로 TOF 스캔하는 단계를 더 포함하는 3차원 영상의 깊이 정보 추출 방법.
  9. 제8항에 있어서,
    상기 세부스캔 단계는 관심영역에 대해서는 상기 미리 설정된 간격보다 좁게 스캔하고 비관심영역에 대해서는 미리 설정된 간격보다 넓게 스캔하는 3차원 영상의 깊이 정보 추출 방법.
KR1020150027982A 2015-02-27 2015-02-27 3차원 영상의 깊이 정보 추출 장치 및 그 방법 KR102389380B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150027982A KR102389380B1 (ko) 2015-02-27 2015-02-27 3차원 영상의 깊이 정보 추출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150027982A KR102389380B1 (ko) 2015-02-27 2015-02-27 3차원 영상의 깊이 정보 추출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160104968A KR20160104968A (ko) 2016-09-06
KR102389380B1 true KR102389380B1 (ko) 2022-04-22

Family

ID=56945888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150027982A KR102389380B1 (ko) 2015-02-27 2015-02-27 3차원 영상의 깊이 정보 추출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102389380B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10310064B2 (en) * 2016-08-15 2019-06-04 Qualcomm Incorporated Saliency based beam-forming for object detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613133B1 (ko) * 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
KR101283262B1 (ko) * 2011-10-21 2013-07-11 한양대학교 산학협력단 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
KR20160104968A (ko) 2016-09-06

Similar Documents

Publication Publication Date Title
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
KR102460659B1 (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
JP5739174B2 (ja) 距離情報抽出方法及び該方法を採用した光学装置
KR101722641B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR101613133B1 (ko) 3차원 영상 처리 장치 및 그 방법
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
KR101296780B1 (ko) 레이저를 이용한 장애물 감지장치 및 방법.
KR20150065473A (ko) 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
KR20120030196A (ko) 뎁스 영상 생성 장치 및 방법
US20220146250A1 (en) Detector with a projector for illuminating at least one object
KR102237828B1 (ko) 동작 인식 장치 및 이를 이용한 동작 인식 방법
KR20140121710A (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
CN114930192B (zh) 红外成像组件
US10516875B2 (en) Method and apparatus for obtaining depth image by using time-of-flight sensor
KR20160026189A (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR101802894B1 (ko) Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법
KR20150133086A (ko) 깊이 영상 획득 방법 및 그 영상 획득 장치
JP3668466B2 (ja) 実時間レンジファインダ
KR102251115B1 (ko) 깊이 정보 추출 장치 및 방법
KR102211483B1 (ko) 레이저 어레이 패턴 분석 기반 물체 정보 추정 장치 및 방법
WO2023078986A1 (en) Eye safety for projectors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant