KR20200090296A - 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법 - Google Patents
구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법 Download PDFInfo
- Publication number
- KR20200090296A KR20200090296A KR1020190006885A KR20190006885A KR20200090296A KR 20200090296 A KR20200090296 A KR 20200090296A KR 1020190006885 A KR1020190006885 A KR 1020190006885A KR 20190006885 A KR20190006885 A KR 20190006885A KR 20200090296 A KR20200090296 A KR 20200090296A
- Authority
- KR
- South Korea
- Prior art keywords
- characteristic
- pattern
- distance value
- feature points
- feature point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000012634 fragment Substances 0.000 claims abstract description 68
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 51
- 238000010586 diagram Methods 0.000 description 38
- 238000005259 measurement Methods 0.000 description 24
- 230000014509 gene expression Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- PZTQVMXMKVTIRC-UHFFFAOYSA-L chembl2028348 Chemical compound [Ca+2].[O-]S(=O)(=O)C1=CC(C)=CC=C1N=NC1=C(O)C(C([O-])=O)=CC2=CC=CC=C12 PZTQVMXMKVTIRC-UHFFFAOYSA-L 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001289753 Graphium sarpedon Species 0.000 description 1
- 206010042635 Suspiciousness Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
- G06V2201/121—Acquisition of 3D measurements of objects using special illumination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 개시의 다양한 실시 예들은 구조적 깊이 카메라 시스템에서 객체의 깊이 정보를 기반으로 3차원 이미지를 재 구성하는 인코딩 장치 및 방법에 관한 것이다.
본 개시의 다양한 실시 예에서는 프로젝터와 상기 프로젝터로부터 소스 패턴에 의해 방사되어 장면에 배치된 하나 또는 다수의 피사체들에서 반사된 빛을 수신하는 카메라를 포함하는 구조적 깊이 카메라 시스템에서 깊이를 측정하는 장치 및 방법을 제안한다. 이를 위해, 카메라로부터 수신된 빛으로 인한 전기적 신호를 기반으로 상기 카메라에 의해 수신된 빛에 상응한 인식 패턴을 식별하고, 상기 소스 패턴에서 대상 프래그먼트에 상응한 부분 소스 패턴이 갖는 특성들과 상기 식별한 인식 패턴에서 상기 대상 프래그먼트에 상응한 부분 인식 패턴이 갖는 특성들 간의 총 거리 값 (total distance value)을 획득할 수 있다.
본 개시의 다양한 실시 예에서는 프로젝터와 상기 프로젝터로부터 소스 패턴에 의해 방사되어 장면에 배치된 하나 또는 다수의 피사체들에서 반사된 빛을 수신하는 카메라를 포함하는 구조적 깊이 카메라 시스템에서 깊이를 측정하는 장치 및 방법을 제안한다. 이를 위해, 카메라로부터 수신된 빛으로 인한 전기적 신호를 기반으로 상기 카메라에 의해 수신된 빛에 상응한 인식 패턴을 식별하고, 상기 소스 패턴에서 대상 프래그먼트에 상응한 부분 소스 패턴이 갖는 특성들과 상기 식별한 인식 패턴에서 상기 대상 프래그먼트에 상응한 부분 인식 패턴이 갖는 특성들 간의 총 거리 값 (total distance value)을 획득할 수 있다.
Description
본 개시의 다양한 실시 예들은 구조적 깊이 카메라 시스템에서 객체의 깊이 정보 (depth information)를 기반으로 3차원 (three dimensions, 3D) 이미지를 재 구성하는 인코딩 장치 및 방법에 관한 것이다.
3D 기술은 인간이 시각적으로 느끼는 '입체감'을 살리기 위한 영상 처리 기술이다. 상기 3D 기술이 적용된 이미지 (이하 '3D 이미지'라 칭함)는 평면의 이미지인 2차원 (2D) 이미지에 비해 인간이 실제로 바라보는 것과 유사한 경함을 할 수 있도록 한다. 상기 3D 이미지는 2D 이미지를 표현하기 위해 요소 (색상, 휘도) 외에 깊이 (depth)를 더 고려한다.
상기 3D 기술은 정확한 사용자 얼굴 인식, 현실적인 3D 아바타, 가상 메이크업, 가상 피팅, 3D 사진 촬영, 제스처 인식, 가상 현실 (virtual reality, VR)을 위한 3D 콘텐트 생성, 정확하고 현실적인 증강 현실 (augmented reality, AR) 지원, 장면 (scene) 이해, 3D 스캐닝 등에 활용될 수 있다.
3D 이미지는 카메라에 구비된 이미지 센서에 의해 촬영된 사진 (2D 이미지)에 깊이 정보를 합성하여 재 구성될 수 있다. 상기 깊이 정보는, 예를 들어, 3D 센싱 카메라 (3D sensing camera)에 의해 측정 또는 획득될 수 있다. 일반적으로 3D 센싱 카메라 방식은 멀티 카메라를 이용하는 방식과 깊이 카메라를 이용하는 방식 등으로 구분할 수 있다.
상기 멀티 카메라를 이용하는 방식은 2개 이상의 카메라를 이용하여 가시광선을 포착하고, 이를 기반으로 깊이 정보를 측정하는 방식이다. 상기 깊이 카메라를 이용하는 방식은 적어도 하나의 프로젝터 (projector)와 적어도 하나의 카메라에 의해 깊이 정보를 측정하는 방식이다. 상기 깊이 카메라를 이용하는 방식은 구조광 (structured light, SL) 방식과 비행 시간형 (time of flight, ToF) 방식이 대표적이다.
상기 SL 방식은 전통적인 스테레오 비전에서 필요한 스테레오 영상 간의 대응점 계산 정확도를 높이기 위해 제안된 방식이다. 상술한 SL 방식이 적용된 깊이 카메라 시스템은 구조적 깊이 카메라 시스템이라 칭하여 진다.
상기 SL 방식은 프로젝터를 통해 일정한 규칙을 가지는 패턴을 3차원으로 복원하려는 피사체 (subject) (또는 객체 (object), 이하 '피사체'라 통칭함) 또는 장면 (scene) (또는 촬상면, 이하 '장면'이라 통칭함)에 투영하고, 이를 카메라로 촬영한 다음, 이 영상으로 대응 관계를 구하는 방법이다.
즉, 프로젝터는 소스 패턴 (source pattern) (또는 '방사 패턴 (radiation pattern), 이하 '소스 패턴'이라 통칭함)의 빛 (또는 레이저, 이하 '빛'이라 통칭함)를 방사 (또는 투영)할 수 있다. 카메라는 프로젝터에 의해 방사된 빛이 하나 또는 다수의 피사체들에 맞고 반사되는 빛을 수신하며, 상기 수신한 빛에 의해 인식 패턴 (recognition pattern) (또는 반사 패턴 (reflection pattern), 이하 '인식 패턴'이라 통칭함)과 소스 패턴 간의 변형 정도를 분석하여 깊이 정보를 획득하는 기술이다.
상기 인식 패턴의 변형은 장면의 표면 모양에 의해 발생할 수 있다. 상기 표면 모양은, 예를 들어, 카메라의 장면에 존재하는 피사체, 배경 등의 깊이의 표현일 수 있다.
상기 ToF 방식은 프로젝터에 의해 촘촘하게 방사된 빛이 피사체에 맞고 반사되어 카메라에 의해 수신될 때까지의 소요 시간을 측정하고, 이를 기반으로 깊이 정보를 획득하는 기술이다.
상기 SL 방식은 피사체와의 거리가 가까운 경우 (10m 이내)에 적용함이 바람직하다. 상기 SL 방식은 피사체와의 거리가 먼 경우에 인식률이 떨어질 수 있기 때문이다. 상기 ToF 방식은 피사체와의 거리가 먼 경우 (10m 이상)에 적용됨이 바람직하다. 상기 ToF 방식은 SL 방식에 비해 상대적으로 피사체와의 거리가 먼 경우에 인식률이 좋기 때문이다.
일반적으로 평면과 같이 간단한 장면 혹은 적어도 깊이의 현저한 차이가 없는 장면에 대해서는, 격자 (grid) 혹은 특징 점들(points)과 같은 임의의 균일 패턴을 사용하는 SL 방식을 기반으로 깊이 정보를 획득하는 것이 가능하다. 하지만, 깊이의 차이가 다양하거나 심한 피사체들을 포함하는 복잡한 장면의 경우에는, 상기 피사체들의 깊이를 추정하는 것이 어려울 수 있다.
본 개시의 한 실시 예에 따르면, 구조적 깊이 카메라 시스템에서 깊이의 차이가 다양하거나 심한 피사체들의 깊이 정보를 획득하고, 상기 획득한 깊이 정보를 기반으로 3D 이미지를 재 구성하는 인코딩 장치 및 방법을 제공할 수 있다.
본 개시의 한 실시 예에 따르면, 구조적 깊이 카메라에 대한 패턴의 중복 인코딩 장치 및 방법을 제공할 수 있다.
본 개시의 한 실시 예에 따르면, 구조적 깊이 카메라 시스템에서 카메라의 인식 패턴으로부터 특징 점들을 검출 및 분류한 결과에서 발생한 오류를 정정하는 장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따른 프로젝터와 상기 프로젝터로부터 소스 패턴에 의해 방사되어 장면에 배치된 하나 또는 다수의 피사체들에서 반사된 빛을 수신하는 카메라를 포함하는 구조적 깊이 카메라 시스템에서 심도를 측정하는 장치는, 상기 카메라로부터 수신된 빛으로 인한 전기적 신호를 수신하는 인터페이스부와, 상기 인터페이스부로부터 제공된 전기적 신호를 기반으로 상기 장면의 심도 정보를 획득하는 적어도 하나의 프로세서를 포함하며,
여기서, 상기 적어도 하나의 프로세서는, 상기 전기적 신호를 기반으로 상기 카메라에 의해 수신된 빛에 상응한 인식 패턴을 식별하고, 상기 소스 패턴에서 대상 프래그먼트에 상응한 부분 소스 패턴이 갖는 특성들과 상기 식별한 인식 패턴에서 상기 대상 프래그먼트에 상응한 부분 인식 패턴이 갖는 특성들 간의 총 거리 값을 획득하며, 상기 획득한 총 거리 값을 기반으로 상기 대상 프래그먼트에 대한 심도 정보를 추정하도록 구성됨을 특징으로 한다.
본 개시의 다양한 실시 예에 따른 프로젝터와 상기 프로젝터로부터 소스 패턴에 의해 방사되어 장면에 배치된 하나 또는 다수의 피사체들에서 반사된 빛을 수신하는 카메라를 포함하는 구조적 깊이 카메라 시스템에서 전자 장치가 깊이를 측정하는 방법은, 상기 카메라로부터 수신된 빛으로 인한 전기적 신호를 기반으로 상기 카메라에 의해 수신된 빛에 상응한 인식 패턴을 식별하는 과정과, 상기 소스 패턴에서 대상 프래그먼트에 상응한 부분 소스 패턴이 갖는 특성들과 상기 식별한 인식 패턴에서 상기 대상 프래그먼트에 상응한 부분 인식 패턴이 갖는 특성들 간의 총 거리 값을 획득하는 과정과, 상기 획득한 총 거리 값을 기반으로 상기 대상 프래그먼트에 대한 깊이 정보를 추정하는 과정을 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 프로젝터의 소스 패턴을 변경하는 것만으로 구조적 깊이 카메라 시스템에서의 분류 에러 비율 (classification error rate)을 감소시킬 수 있다. 즉, 정확하게 재구성된 3D 포인트들의 개수를 증가시키고, 홀 (hole) 및 인위적인 결과물 (artifact)을 감소시킬 수 있다.
도 1은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템의 구조를 도시한 도면;
도 2는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 피사체의 깊이로 인해 소스 패턴이 왜곡됨을 도시한 도면;.
도 3은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 화면 내에서의 깊이 차이로 인해 인식 패턴이 왜곡되는 예를 도시한 도면;
도 4는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 깊이를 측정하는 전자장치의 구성을 도시한 도면;
도 5는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 심도를 측정하는 장치의 구성을 도시한 도면;
도 6은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 전자장치가 장면의 깊이 정보를 획득하기 위한 제어 흐름을 도시한 도면;
도 7은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 깊이 측정을 위해 정의된 특성들의 예를 도시한 도면;
도 8a는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 프로젝터에 의해 빛을 방사하는 소스 패턴의 일 예를 도시한 도면;
도 8b는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 장면을 구성하는 배경 또는 피사체로부터 반사된 빛에 의해 카메라가 수신한 인식 패턴의 일 예를 도시한 도면;
도 9a는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 특성 1 (모양)을 사용하여 획득할 수 있는 차이 값의 일 예를 도시한 도면;
도 9b는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 특성 2 (샛)를 사용하여 획득할 수 있는 차이 값의 일 예를 도시한 도면;
도 10은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 하나의 프래그먼트에서 특징 점에 대해 부여될 수 있는 거리 기반 가중치의 일 예를 도시한 도면;
도 11a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴의 셀 구조에 대한 일 예를 도시한 도면;
도 11b는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴의 특징 점들이 배치된 일 예를 도시한 도면;
도 11c는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 가중치 부여를 위한 특징 점들의 구분 예를 도시한 도면;
도 12는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서의 특징 점들을 구분하는 예를 도시한 도면;
도 13a은 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 특징 점들에 대해 특성이 부여된 예를 도시한 도면;
도 13b은 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 특징 점들에 대해 부여된 특성을 표시한 예를 도시한 도면;
도 14a는 본 개시에서 제안된 다양한 실시 예에 따른, 인식 패턴의 일 예를 도시한 도면;
도 14b는 도 14a에서의 패턴에 따른 특징 점들에 특성 값을 부여한 예를 도시한 도면;
도 15a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 일부 특징 점들에 대한 특성을 확인할 수 없는 상황을 도면;
도 15b는 도 15a에 도시된 패턴의 특징 점들에 대해 특성 값을 부여한 예를 도시한 도면;
도 16a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 알고 있는 패턴의 일 예를 도시한 도면; 및
도 16b는 도 16a에 도시된 패턴의 특징 점들에 대해 특성 값을 부여한 예를 도시한 도면이다.
도 2는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 피사체의 깊이로 인해 소스 패턴이 왜곡됨을 도시한 도면;.
도 3은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 화면 내에서의 깊이 차이로 인해 인식 패턴이 왜곡되는 예를 도시한 도면;
도 4는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 깊이를 측정하는 전자장치의 구성을 도시한 도면;
도 5는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 심도를 측정하는 장치의 구성을 도시한 도면;
도 6은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 전자장치가 장면의 깊이 정보를 획득하기 위한 제어 흐름을 도시한 도면;
도 7은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 깊이 측정을 위해 정의된 특성들의 예를 도시한 도면;
도 8a는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 프로젝터에 의해 빛을 방사하는 소스 패턴의 일 예를 도시한 도면;
도 8b는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 장면을 구성하는 배경 또는 피사체로부터 반사된 빛에 의해 카메라가 수신한 인식 패턴의 일 예를 도시한 도면;
도 9a는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 특성 1 (모양)을 사용하여 획득할 수 있는 차이 값의 일 예를 도시한 도면;
도 9b는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 특성 2 (샛)를 사용하여 획득할 수 있는 차이 값의 일 예를 도시한 도면;
도 10은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 하나의 프래그먼트에서 특징 점에 대해 부여될 수 있는 거리 기반 가중치의 일 예를 도시한 도면;
도 11a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴의 셀 구조에 대한 일 예를 도시한 도면;
도 11b는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴의 특징 점들이 배치된 일 예를 도시한 도면;
도 11c는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 가중치 부여를 위한 특징 점들의 구분 예를 도시한 도면;
도 12는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서의 특징 점들을 구분하는 예를 도시한 도면;
도 13a은 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 특징 점들에 대해 특성이 부여된 예를 도시한 도면;
도 13b은 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 특징 점들에 대해 부여된 특성을 표시한 예를 도시한 도면;
도 14a는 본 개시에서 제안된 다양한 실시 예에 따른, 인식 패턴의 일 예를 도시한 도면;
도 14b는 도 14a에서의 패턴에 따른 특징 점들에 특성 값을 부여한 예를 도시한 도면;
도 15a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 일부 특징 점들에 대한 특성을 확인할 수 없는 상황을 도면;
도 15b는 도 15a에 도시된 패턴의 특징 점들에 대해 특성 값을 부여한 예를 도시한 도면;
도 16a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 알고 있는 패턴의 일 예를 도시한 도면; 및
도 16b는 도 16a에 도시된 패턴의 특징 점들에 대해 특성 값을 부여한 예를 도시한 도면이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경 (modification), 균등물 (equivalent), 및/또는 대체물 (alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다" 또는 "가질 수 있다" 또는 “포함한다” 또는 “포함할 수 있다” 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, “또는 B”, “A 또는/및 B 중 적어도 하나” 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “또는 B", “A 및 B 중 적어도 하나” 또는 “A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 “제 1”, “제 2”, “첫째” 또는 “둘째” 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)"있다거나 "접속되어 (connected to)"있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소 (예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소 (예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)", "~하는 능력을 가지는 (having the capacity to)", "~하도록 설계된 (designed to)", "~하도록 변경된 (adapted to)", "~하도록 만들어진 (made to)" 또는 "~를 할 수 있는 (capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성 (또는 설정)된"은 하드웨어적으로 "특별히 설계된 (specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor) (예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
후술될 다양한 실시 예들에 따르면, 구조적 깊이 카메라 시스템에서 프로젝터의 방사 패턴에서 대상 프래그먼트의 특징 점들이 갖는 특성 값들과 카메라의 인식 패턴에서 상기 대상 프래그먼트의 특징 점들이 갖는 특징 값들을 사용하여 상기 대상 프래그먼트에 대한 깊이 정보를 획득하는 방안이 제공될 것이다.
이를 위한 다양한 실시 예에서는, 구조적 깊이 카메라 시스템에서 장면을 구성하는 배경 및 하나 또는 다수의 피사체들에 대한 깊이 정보의 정확도를 향상시킬 수 있도록 하는 소스 패턴과 인식 패턴 사이의 거리 값을 획득하는 방안을 마련할 것이다.
하나의 실시 예에 따르면, 하나의 프래그먼트에 상응한 소스 패턴과 인식 패턴에서 특징 점들의 특성들의 거리 값을 가중치를 이용하여 조정함으로써, 상기 하나의 프래그먼트에 대한 총 거리 값의 정확도가 향상될 수 있도록 한다.
또한 후술될 다양한 실시 예에서는, 구조적 깊이 카메라 시스템에서
이하 제안될 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명하도록 한다.
도 1은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템의 구조를 도시한 도면이다.
도 1을 참조하면, 구조적 깊이 카메라 시스템 (100)은 적어도 하나의 프로젝터 (110)와 적어도 하나의 카메라 (120) 및 장면 (130)을 포함할 수 있다. 하기의 설명에서는 구조적 깊이 카메라 시스템 (100)이 하나의 프로젝터 (110)와 하나의 카메라 (120)로 구성됨을 가정한다. 상기 장면 (130)은 카메라 (120)에 의해 촬영 가능한 범위, 즉 촬상면에 대응할 수 있다. 상기 장면 (130)은, 예를 들어, 카메라 (120)의 화각에 의해 결정될 수 있다. 상기 장면 (130)은 상이한 깊이를 갖는 배경과 적어도 하나의 피사체 (P)를 포함할 수 있다.
상기 프로젝터 (110)와 상기 카메라 (120)는 소정 거리 (이하 '베이스 라인'이라 칭함)만큼 떨어져서 위치할 수 있다. 상기 베이스 라인은 프로젝터 (110)와 카메라 (120) 간의 시차 포인트를 만들 수 있다.
상기 프로젝터 (110)는 소스 패턴에 의해 빛을 방사할 수 있다. 상기 소스 패턴은 실시간 또는 사전에 다양하게 정의될 수 있다. 상기 소스 패턴은, 예를 들어, 하나의 장면 (130)에서 다수의 특징 점들을 정의하고, 상기 특징 점들 각각에 다수의 특성 값들을 부여하는 것에 의해 정의될 수 있다.
상기 프로젝터 (110)가 소스 패턴을 사용하여 방사한 빛은 상기 장면 (130) 내의 배경 및 하나 또는 다수의 피사체들 (P)에 의해 반사될 것이다.
상기 카메라 (120)는 상기 장면 (130) 내의 배경 및 하나 또는 다수의 피사체들 (P)에 의해 반사된 빛을 수신할 수 있다. 상기 카메라 (120)에 의해 수신된 빛은 하나의 인식 패턴을 가질 수 있다. 상기 카메라 (120)는 수신된 빛을 전기적인 신호로 변환하여 출력하거나 상기 수신한 빛이 갖는 인식 패턴을 획득하여 출력할 수도 있다. 상기 인식 패턴은, 예를 들어, 하나의 장면 (130)에서 정의된 다수의 특징 점들과, 상기 특징 점들 각각이 다수의 특성 값들을 가질 수 있다.
상기 프로젝터 (110)가 소스 패턴을 사용하여 방사한 빛은, 예를 들어, 상기 장면 (130) 내의 배경 및 하나 또는 다수의 피사체들 (P)의 깊이에 따라 반사 각이 상이할 수 있다. 상기 장면 (130) 내에서 배경 등과 같이 유사한 깊이를 갖는 경우는 시차 포인트 등을 기반으로 예측이 가능한 정도의 반사 각으로 빛을 반사할 것이다. 상기 장면 (130) 내에서 큰 깊이의 차이를 갖는 피사체 (P)의 경우는 예측이 어려운 반사 각으로 빛을 반사할 것이다. 즉, 상기 장면 (130) 내에서 큰 깊이의 차이를 갖는 피사체 (P)에 의해 반사되는 빛은 다른 반사된 빛에 영향을 미침으로써, 향후 추정할 깊이 정보에 오류를 발생시키는 원인이 될 수 있다.
본 개시에서는 소스 패턴과 인식 패턴에 포함된 특징 점들이 갖는 다수의 특성들을 기반으로 깊이 정보에 발생할 수 있는 오류를 바로 잡는 방안에 관한 다양한 실시 예들을 제안할 것이다.
도 2는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 피사체의 깊이로 인해 소스 패턴이 왜곡됨을 도시한 도면이다.
도 2를 참조하면, 프로젝터(110)는 소스 패턴을 사용하여 빛을 방출한다. 상기 방출된 빛은 타깃 오브젝트 (타깃 피사체)에 반사되어 카메라(120)에 의하여 캡쳐될 수 있다. 상기 캡쳐된 빛의 인식 패턴은 상기 프로젝터(110)에 의해 방출된 빛의 소스 패턴으로부터 변이된 것이다.
상기 프로젝터(110)가 빛을 방사하는 광 패턴인 소스 패턴은 카메라(120)가 캡쳐하는 광 패턴인 인식 패턴과 다를 수 있다. 이는 프로젝터(110)가 광 패턴 (소스 패턴)을 방출하는 위치와 카메라(120)가 광 패턴 (인식 패턴)을 캡쳐하는 위치 간의 시차(parallax)로 인해 발생할 수 있다.
프로젝터(110)가 빛을 방사하기 위해 사용하는 소스 패턴은 사전에 정해질 수 있다. 카메라(120)에 의해 수신된 빛에 의해 캡쳐된 인식 패턴은 사전에 정해진 패턴을 기반으로 분석할 수 있다. 상기 분석에 따른 결과는 장면 속에 위치하는 배경 및 하나 또는 다수의 피사체들의 표면 (즉, 장면 프래그먼트)의 깊이를 측정하기 위해 사용될 수 있다.
상기 소스 패턴 및 인식 패턴인 광 패턴은 레이저 간섭 방법 (laser interference method) 또는 투사법 (또는 투영법, projection method)에 의하여 생성될 수 있다. 본 개시에서의 다양한 실시 예들에서는 광 패턴의 생성 방법을 특정한 방법으로 제한하지는 않는다.
도 3은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 화면 내에서의 깊이 차이로 인해 인식 패턴이 왜곡되는 예를 도시한 도면이다.
도 3을 참조하면, 카메라가 캡쳐하는 방향에서의 인식 패턴은 프로젝터의 방사 방향에서의 소스 패턴과 차이가 있을 수 있다.
프로젝터에서 빛을 방사하기 위해 사용하는 소스 패턴은 장면 내의 배경 및 하나 또는 다수의 피사체들에서 반사되어 카메라에 의해 캡쳐될 것이다. 상기 프로젝터에서의 소스 패턴과 카메라에 의해 캡쳐된 소스 패턴은 일치하지 않을 수 있다.
예컨대, 프로젝터에서의 소스 패턴은 프로젝터와 카메라 사이의 시차(parallax)로 인해, 카메라에 의해 캡쳐된 인식 패턴으로 변이될 수 있다. 상기 프로젝터에서의 소스 패턴은 복수의 제1 패턴 프래그먼트들을 포함할 수 있다. 상기 카메라에 의해 캡쳐된 인식 패턴은 복수의 제2 패턴 프래그먼트들을 포함할 수 있다. 상기 복수의 제1 패턴 프래그먼트들은 하나의 장면의 프래그먼트들에 반사되고, 상기 복수의 제2 패턴 프래그먼트들로 변이될 수 있다.
상기 카메라에 의해 캡쳐된 인식 패턴은 상기 카메라의 위치에서의 시차 효과 (parallax effect)로 인하여, 대응되는 장면 프래그먼트의 깊이에 따라 변이될 수 있다. 여기서 장면은 광 패턴을 반사하는 영역을 지칭할 수 있다. 또한, 장면 프래그먼트는 해당 장면의 일부분을 지칭할 수 있다. 따라서, 장면 프래그먼트는 배경 및 하나 또는 다수의 피사체들의 표면에 따라 특정될 수 있다.
도 4는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 깊이를 측정하는 전자장치의 구성을 도시한 도면이다.
도 4를 참조하면, 전자장치(400)는 빔을 투영하는 프로젝터(410), 빔을 검출하는 카메라(420), 장면의 깊이를 측정하는 측정장치(130)를 포함할 수 있다. 도면에는 도시되고 있지 않지만, 상기 전자장치(400)는 메모리도 포함할 수 있다.
프로젝터(410)는 소스 패턴 (P1)을 기반으로 빔을 생성하여 장면 (scene)(440) 또는 배경 또는 피사체 (object)에 빔을 투영할 수 있다. 장면(440)은 깊이 정보를 획득하기 위해 프로젝터(410)에 의해 생성된 빔들이 투영되는 영역을 지칭할 수 있다. 피사체는 장면 속에 존재하는 물체를 의미할 수 있다. 상기 장면 내에 존재하는 배경 및 하나 또는 다수의 피사체들은 서로 다른 깊이를 가질 수 있다.
상기 프로젝터(410)에 의해 생성된 빔은 적외선 (IR: infrared ray) 빔일 수 있으나, 반드시 이에 한정되는 것은 아니며, 구현에 따라, 가시광선 또는 자외선과 같은 다양한 주파수들의 빔이 사용될 수 있다.
카메라(420)는 프로젝터(410)이 소스 패턴 (P1)을 기반으로 방출한 빔으로부터 장면(440)에 의해 반사된 빔을 수신할 수 있다. 상기 카메라(420)은 반사된 빔의 존재 여부 및 반사된 빔의 밝기 또는 강도를 검출할 수 있다. 상기 카메라(420)는 검출한 빔을 전기적인 신호로 변환하고, 상기 변환된 전기적 신호를 장면의 깊이 정보를 추정하기 위해 제공할 수도 있다. 상기 카메라(420)는 수신한 빔 또는 변환한 전기적 신호를 기반으로 인식 패턴을 검출하고, 상기 검출한 인식 패턴을 장면의 깊이 정보를 추정하기 위해 제공할 수도 있다.
상기 카메라(420)는 IR 빔을 검출할 수 있다. 하지만 상기 카메라(420)가 검출할 수 있는 빔의 주파수 대역은 반드시 IR 대역으로 한정되는 것은 아니다. 상기 카메라(420)는 프로젝터(410)에서 방출된 빔의 주파수 대역의 빔을 검출하도록 구성될 수 있다. 상기 카메라(420)는 반사된 빔의 주파수 대역의 신호를 검출할 수 있으며, 특정한 영역 (예를 들어, 장면(440)의 영역)을 촬영할 수 있는 2D 카메라일 수 있다. 2D 카메라는 광 감지 (photosensitive) 픽셀들의 어레이로서 구성될 수 있다. 몇몇 실시 예에 의하면, 2D 카메라의 광 감지 픽셀들 ToF를 검출하기 위한 픽셀들과 반사된 패턴을 검출하기 위한 픽셀들로 구분될 수 있다. 몇몇 실시 예들에 의하면, 2D 카메라의 광 감지 픽셀들 중 적어도 하나의 픽셀은 ToF 및 반사된 패턴을 검출하는 데 모두 이용될 수 있다.
측정 장치(430)는 프로젝터(410) 및 카메라(420)의 동작을 제어할 수 있다. 상기 측정 장치(430)는 카메라(420)에 의해 검출된 반사된 빔에 기초하여 장면(440) 내에 위치하는 배경 및/또는 하나 또는 다수의 피사체들에 대한 깊이 정보를 획득할 수 있다.
도 5는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 심도를 측정하는 장치의 구성을 도시한 도면이다.
도 5를 참조하면, 장면에 대한 심도 측정을 위한 측정 장치(400)는 스마트 폰 등과 같이 독립적인 전자장치로 구성되거나 독립적인 전자장치에서 심도를 측정하기 위해 구비된 장치일 수도 있다. 후자의 경우, 심도를 측정하는 장치를 포함하는 전자장치는 프로젝터와 카메라를 내부에 구비할 수도 있다.
상기 측정 장치(400)는 인터페이스부(510), 프로세서(420), 메모리(530)를 포함할 수 있다. 도면에서는 전자장치 (400)가 하나의 프로세서(420)로 구성됨을 도시하고 있으나, 그보다 많은 다수의 프로세서들로 구성될 수도 있다. 상기 전자장치(400)를 구성하는 다수의 프로세서들 각각은 기능 별로 구분될 수 있다. 예컨대 스마트 폰의 경우, 통신 기능을 수행하는 프로세서, 그래픽 처리 기능을 수행하는 프로세서, 응용프로그램을 구동하는 프로세서 등과 같이 다수의 프로세서들로 구성될 수 있다.
상기 인터페이스부(510)는 카메라로부터 수신된 빛으로 인한 전기적 신호를 수신할 수 있다. 상기 전기적 신호는 카메라가 장면에 포함된 배경 및/또는 하나 또는 다수의 피사체들에서 반사된 빛을 변환하여 발생한 것이다.
상기 적어도 하나의 프로세서(520)는 상기 인터페이스부(510)로부터 제공된 전기적 신호를 기반으로 장면의 심도 정보를 획득할 수 있다.
적어도 하나의 프로세서(520)는, 인터페이스부(510)를 통해 수신한 전기적 신호를 기반으로 카메라에 의해 수신된 빛에 상응한 인식 패턴을 식별할 수 있다. 상기 적어도 하나의 프로세서(520)는 소스 패턴에서 대상 프래그먼트에 상응한 부분 소스 패턴이 갖는 특성들과 상기 식별한 인식 패턴에서 상기 대상 프래그먼트에 상응한 부분 인식 패턴이 갖는 특성들 간의 총 거리 값을 획득할 수 있다. 상기 적어도 하나의 프로세서(520)는 획득한 총 거리 값을 기반으로 대상 프래그먼트에 대한 심도 정보를 추정할 수 있다.
하나의 실시 예에 따르면, 상기 적어도 하나의 프로세서(520)는 부분 소스 패턴과 상기 부분 인식 패턴을 기반으로 대상 프래그먼트에 포함된 특징 점들 각각에서 특성 별 거리 값을 인지할 수 있다. 상기 적어도 하나의 프로세서(520)는 상기 특성 별 거리 값에 유효 가중 계수를 반영하고, 상기 특징 점들 각각에 대응한 상기 유효 가중 계수를 반영한 특성 별 거리 값들을 가산하여 총 거리 값을 획득할 수 있다.
상기 적어도 하나의 프로세서(520)는 해당 특성 (j번째 특성)에 대한 표준화 (normalization) 계수 (
)와 대상 프래그먼트에서 해당 특징 점 (i번째 특징 점)에 대해 거리 기반 가중치 (
)의 곱에 의해 해당 특성 (j번째 특성)의 유효 가중 계수 (
)를 산출할 수 있다.
메모리(530)에는 특성 별 거리 값을 정의하는 제1 테이블, 특성 별 표준화 계수를 정의하는 제2 테이블 및 하나의 프래그먼트에 포함된 각 특징 점에 대한 거리 기반 가중치를 정의하는 제3 테이블이 기록될 수 있다. 이 경우 적어도 하나의 프로세서(520)는 상기 메모리(530)로부터 획득할 수 있는 정보들, 즉, 특성 별 거리 값, 특성 별 표준화 계수 및 각 특징 점에 대한 거리 기반 가중치를 기반으로 총 거리 값을 획득할 수 있다.
후술될 본 개시에서는 총 거리 값을 획득하기 위한 좀더 구체적이고 다양한 실시 예들을 제안할 것이다.
도 6은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 전자장치가 장면의 깊이 정보를 획득하기 위한 제어 흐름을 도시한 도면이다.
도 6을 참조하면, 전자장치는 610단계에서 하나의 프래그먼트에 상응한 인식 패턴을 식별한다. 상기 인식 패턴은 카메라로부터 제공되는 전기적 신호를 기반으로 식별이 가능할 수 있다. 상기 카메라로부터 제공되는 전기적 신호는 프로젝터에 의해 방사된 빛이 장면 속의 배경 및 하나 또는 다수의 피사체들에 의해 반사된 빛을 변환한 것일 수 있다. 상기 프로젝터에 의해 방사된 빛은 소스 패턴을 기반으로 할 수 있다.
상기 인식 패턴의 식별은 상기 인식 패턴에 포함된 특징 점들과, 상기 특징 점들 각각이 가지는 다수의 특성들 각각을 식별하는 것을 포함할 수 있다. 상기 특징 점들은 깊이 추정을 위해 거리 값을 획득한 하나의 프래그먼트에 상응한 인식 패턴에 위치할 수 있다. 상기 특징 점들은, 예를 들어, 체스 판 모양의 인식 패턴에서 중심 셀과 상기 체스 판 모양으로 배치된 셀들의 교차점들에 해당할 수 있다.
상기 전자장치는 620단계에서 총 거리 값을 획득할 수 있다. 상기 총 거리 값은 소스 패턴과 상기 인식 패턴에서 일대일 대응 관계에 있는 쌍들 (pairs), 즉 두 개의 특징 점들 사이의 거리 값을 계산하고, 모든 쌍들에 대해 계산된 거리 값들의 합에 의해 획득될 수 있다. 상기 전자장치는 모든 쌍들에 대해 계산된 거리 값들을 가산할 때에 유효 가중 계수를 고려할 수 있다. 상기 유효 가중 계수는 특징 점 및/또는 특성 별로 총 거리 값을 획득할 시에 비칠 영향력을 결정할 수 있다. 즉, 상기 유효 가중 계수는 깊이 값을 추장할 때에 비치는 영향 또는 프로젝터에 의해 방사되어 카메라에 의해 수신되기 까지 오류가 발생될 가능성 등을 종합적으로 고려하여 결정될 수 있다.
하나의 실시 예로써, 유효 가중 계수 (
)는 해당 특성 (j번째 특성)에 대한 표준화 계수 (
)와 해당 특징 점 (i번째 특징 점)에 대해 거리 기반 가중치 (
)의 곱으로 정의될 수 있다. 상기 표준화 계수 (
)는 특성 별로 고유 값으로 설정될 수 있고, 상기 거리 기반 가중치 (
)는 중심 셀로부터 떨어진 거리를 고려하여 설정될 수 있다.
상기 소스 패턴은 하나의 프래그먼트에서의 부분에 해당하는 부분 소스 패턴일 수 있다. 상기 인식 패턴 또한 하나의 프래그먼트에서의 부분에 해당하는 부분 소스 패턴일 수 있다.
상술한 바에 따라 총 거리 값을 획득하면, 상기 전자장치는 630단계에서 상기 획득한 총 거리 값을 기반으로 해당 프래그먼트 또는 장면 속에 배치된 배경 및/또는 하나 또는 다수의 피사체들의 깊이 정보를 추정할 수 있다.
도 7은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 깊이 측정을 위해 정의된 특성들의 예를 도시한 도면이다.
도 7에서는, 예를 들어, 구조적 깊이 카메라 시스템에서 깊이 측정을 위해 특성들로 특성 1 (모양)과 특성 2 (색)를 정의하고 있다. 상기 특성 1은, 예를 들어, 특징 점을 구분하기 위한 세 가지 타입의 모양들 (네모, 세모, 원)을 정의하고, 상기 특성 2는, 예를 들어, 특징 점을 구분하기 위한 네 가지 타입의 색들 (노랑, 초록, 빨강, 파랑)을 정의한다.
따라서 특성 1과 특성 2에 의해 12 가지의 조합들이 만들어 질 수 있으므로, 하나의 프래그먼트에 대해 12 가지 타입의 특징 점들이 사용될 수 있을 것이다.
도 8a는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 프로젝터에 의해 빛을 방사하는 소스 패턴의 일 예를 도시한 도면이다.
도 8a를 참조하면, 하나의 프래그먼트는 체스 판 모양의 셀 구조에 따른 소스 패턴을 가질 수 있다. 상기 하나의 프래그먼트에 상응한 소스 패턴은, 예를 들어, 16 개의 셀들이 체스 판 모양으로 배열되고, 네 개 셀들의 꼭지점이 만나는 위치들 각각에 특성 1 (모양)과 특성 2 (색)의 조합에 의해 식별되는 9개의 특징 점들이 위치될 수 있다.
하나의 실시 예에 따르면, 중앙에 파란색의 네모 모양의 제1 특징 점이 위치하고, 상기 제1 특징 점을 기준으로 왼쪽 위에 노란색의 네모 모양의 제2 특징 점이 위치한다. 상기 제2 특징 점으로부터 시계방향으로 제3 내지 제9 특징 점들이 위치할 수 있다. 상기 제3 특징 점은 초록색의 원 모양을 가지고, 상기 제4 특징 점은 노란색의 네모 모양을 가지고, 상기 제5 특징 점은 초록색의 세모 모양을 가지고, 상기 제6 특징 점은 파란색의 원 모양을 가지고, 상기 제7 특징 점은 노란색의 원 모양을 가지고, 상기 제8 특징 점은 빨간색의 세모 모양을 가지며, 상기 제9 특징 점은 초록색의 세모 모양을 가진다.
도시되지는 않았으나 크기를 제3의 특징으로 사용할 경우, 하나의 프래그먼트에 포함된 특징 점들은 소정 개수의 상이한 크기들에 의해 구분될 수 있을 것이다. 예컨대, 특징 3을 세 가지의 서로 다른 크기로 정의할 경우, 특징 점을 구분하기 위한 개수는 36개로 늘릴 수 있을 것이다.
도 8b는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 장면을 구성하는 배경 또는 피사체로부터 반사된 빛에 의해 카메라가 수신한 인식 패턴의 일 예를 도시한 도면이다.
도 8b를 참조하면, 하나의 프래그먼트에 상응한 인식 패턴은 체스 판 모양의 셀 구조를 가질 수 있다. 상기 인식 패턴은, 예를 들어, 16 개의 셀들이 체스 판 모양으로 배열되고, 네 개 셀들의 꼭지점이 만나는 위치들 각각에 특성 1 (모양)과 특성 2 (색)의 조합에 의해 식별되는 9개의 특징 점들이 위치한다.
하나의 실시 예에 따르면, 중앙에 파란색의 세모 모양의 제1 특징 점이 위치하고, 상기 제1 특징 점을 기준으로 왼쪽 위에 초록색의 원 모양의 제2 특징 점이 위치한다. 상기 제2 특징 점으로부터 시계방향으로 제3 내지 제9 특징 점들이 위치한다. 상기 제3 특징 점은 초록색의 네모 모양을 가지고, 상기 제4 특징 점은 노란색의 네모 모양을 가지고, 상기 제5 특징 점은 초록색의 세모 모양을 가지고, 상기 제6 특징 점은 파란색의 세모 모양을 가지고, 상기 제7 특징 점은 초록색의 세모 모양을 가지고, 상기 제8 특징 점은 초록색의 세모 모양을 가지며, 상기 제9 특징 점은 빨간색의 원 모양을 가진다.
도시되지는 않았으나 크기를 제3의 특징으로 사용할 경우, 하나의 프래그먼트에 포함된 특징 점들은 소정 개수의 상이한 크기들에 의해 구분될 수 있을 것이다. 예컨대, 특징 3을 세 가지의 서로 다른 크기로 정의할 경우, 특징 점을 구분하기 위한 개수는 36개로 늘릴 수 있을 것이다.
상술한 바에 따르면, 구조적 깊이 카메라 시스템에서 프로젝터는 도 8a에 도시된 소스 패턴을 사용하여 빛을 방사하였고, 카메라는 도 8b에 도시된 인식 패턴으로 하나의 장면에 대응한 반사된 빛을 수신하였음을 가정할 수 있다.
도 9a는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 특성 1 (모양)을 사용하여 획득할 수 있는 차이 값의 일 예를 도시한 도면이다.
도 9a를 참조하면, 소스 패턴과 인식 패턴에서 같은 위치의 특징 점이 동일한 모양을 가질 경우, 그 차이 값 (δ 1 )을 '0'으로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 네모 모양을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 세모 모양을 가질 경우, 그 차이 값 (δ 1 )을 '3'으로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 네모 모양을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 원 모양을 가질 경우, 그 차이 값 (δ 1 )을 '1'로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 네모 모양을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 원 모양을 가질 경우, 그 차이 값 (δ 1 )을 '2'으로 정의하였다.
도 9a에서 도시한 특성 1을 기반으로 정의된 차이 값들을 테이블로 구성하고, 상기 구성한 테이블을 메모리에 기록할 수 있다. 상기 메모리에 기록된 테이블은 깊이 정보를 획득하기 위해 특성 1이 고려될 시에 사용될 수 있다.
도 9b는 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 특성 2 (샛색)를 사용하여 획득할 수 있는 차이 값의 일 예를 도시한 도면이다.
도 9b를 참조하면, 소스 패턴과 인식 패턴에서 같은 위치의 특징 점이 동일한 색을 가질 경우, 그 차이 값 (δ 2 )을 '0'으로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 노란색을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 초록색을 가질 경우, 그 차이 값 (δ 2 )을 '1'로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 노란색을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 빨간색을 가질 경우, 그 차이 값 (δ 2 )을 '3'으로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 노란색을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 파란색을 가질 경우, 그 차이 값 (δ 2 )을 '8'로 정의하였다.
소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 초록색을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 빨간색을 가질 경우, 그 차이 값 (δ 2 )을 '7'로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 초록색을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 파란색을 가질 경우, 그 차이 값 (δ 2 )을 '5'로 정의하였다. 소스 패턴에서의 특징 점 (또는 인식 패턴의 특징 점)이 파란색을 가지고, 인식 패턴에서의 특징 점 (또는 소스 패턴의 특징 점)이 빨간색을 가질 경우, 그 차이 값 (δ 2 )을 '6'으로 정의하였다.
도 9b에서 도시한 특성 2를 기반으로 정의된 차이 값들을 테이블로 구성하고, 상기 구성한 테이블을 메모리에 기록할 수 있다. 상기 메모리에 기록된 테이블은 깊이 정보를 획득하기 위해 특성 1이 고려될 시에 사용될 수 있다.
한편 도 9a에서 거리 값을 정의하고 있는 특성 1 (모양)과 도 9b에서 거리 값을 정의하고 있는 특성 2 (색) 각각에 대해서는 고유한 표준화 (normalization) 계수 (
)가 설정될 수 있다.
하나의 실시 예에 따르면, j번째 특성에 대한 표준화 계수 (
)는 해당 특성이 변경될 가능성 등을 고려하여 부여될 수 있다. 즉, 표준화 계수 (
)는, 예를 들어, 변경 가능성이 낮은 특성에 대해 상대적으로 높은 가중치를 부여하고, 변경 가능성이 높은 특성에 대해 상대적으로 낮은 가중치를 부여할 수 있다.
예컨대, 특성 1 (모양)에 대한 표준화 계수 (
)는, '1'로 부여하고, 특성 2 (색)에 대한 표준화 계수 (
)는, '2.5'로 부여할 수 있다. 여기서는 특성 2 (색)가 특성 1 (모양)에 비해 상대적으로 변경 또는 변질에 의한 오류 발생 가능성이 낮음을 전제로 한 것이다. 즉, 피사체에 의한 반사로 인해 모양이 변경될 가능성에 비해 색이 변경될 가능성이 낮은 것으로 판단한 것이다.
도 10은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 깊이 카메라 시스템에서 하나의 프래그먼트에서 특징 점에 대해 부여될 수 있는 거리 기반 가중치 (
, 여기서 i는 특징 점의 식별 인덱스, 설명의 편의를 위해 좌측 상단에서 순차적으로 부여함)의 일 예를 도시한 도면이다.
도 10을 참조하면, 하나의 프래그먼트에 상응한 소스 패턴 및 인식 패턴이 9개의 특징 점들을 포함함을 가정하였다. 상기 9개의 특징 점들 중 중앙에 위치하는 특징 점에 대해서는 거리 기반 가중치 (
)로 가장 높은 '1'을 부여하였다. 상기 중앙에 위치하는 특징 점을 기준으로 특징 점들이 위치하는 거리에 비례하여 거리 기반 가중치들을 부여할 수 있다. 즉, 상기 중앙에 위치하는 특징 점에서 상대적으로 가까운 거리에 위치하는 상, 하, 좌, 우에 위치하는 특징 점들에 대해서는 거리 기반 가중치 (
, 
, 
, 
)로 다음으로 높은 '0.75'를 부여하였다. 즉, 상기 중앙에 위치하는 특징 점에서 상대적으로 먼 거리에 위치, 즉 대각 방향 (좌상, 우상, 좌하, 우하)에 위치하는 특징 점들에 대해서는 거리 기반 가중치 (
, 
, 
, 
)로 가장 낮은 '0.5'를 부여하였다.
상술한 바와 같이 거리 기반으로 가중치를 부여하는 것은, 거리가 가까울수록 차이 값에 영향을 미칠 가능성이 높음을 고려한 것이다. 아울러 하나의 프래그먼트에 포함된 특징 점들의 개수가 늘어나더라도 동일한 취지에 따라 거리 기반 가중치가 부여될 수 있을 것이다.
하나의 실시 예에 따르면, 도 8a 내지 도 10을 가정할 때, 구조적 깊이 카메라 시스템에서는 하기와 같이 심도 정보의 추정을 위한 총 거리 값 (total distance value)을 획득할 수 있다.
이를 위해, 우선적으로 도 8a에 도시된 하나의 프래그먼트에 상응한 소스 패턴과 도 8b에 도시된 하나의 프래그먼트에 상응한 인식 패턴을 식별할 수 있다. 즉, 도 8a에 도시된 소스 패턴이 갖는 아홉 개의 특징 점들 각각의 특성 1과 2를 식별하고, 도 8b에 도시된 인식 패턴이 갖는 아홉 개의 특징 점들 각각의 특성 1과 2를 식별할 수 있다.
그 후 소스 패턴이 갖는 아홉 개의 특징 점들을 순차적으로 선택하고, 인식 패턴에서 상기 선택한 소스 패턴의 특징 점과 동일 위치의 특징 점을 선택한다. 도 9a에서 특정 1에 대한 정의하고 있는 차이 값들을 기반으로 상기 소스 패턴에서 선택된 특징 점이 갖는 특성 1과 상기 인식 패턴에서 선택된 특징 점이 갖는 특정 1 간의 차이 값을 산출할 수 있다.
하나의 실시 예에 따르면, 도 8a에서 소스 패턴의 첫 번째 특징 점 (중앙 특징 점을 기준으로 좌상에 위치하는 특징 점)의 특성 1은 네모 모양이고, 도 8b에서 인식 패턴의 첫 번째 특징 점 (중앙 특징 점을 기준으로 좌상에 위치하는 특징 점)의 특성 1은 원 모양이므로, 해당 특징 점의 특성 1에 대한 차이 (또는 거리) 값은 '1'임을 식별할 수 있다. 도 8a에서 소스 패턴의 두 번째 특징 점 (중앙 특징 점을 기준으로 상에 위치하는 특징 점)의 특성 1은 원 모양이고, 도 8b에서 인식 패턴의 두 번째 특징 점 (중앙 특징 점을 기준으로 상에 위치하는 특징 점)의 특성 1은 네모 모양이므로, 해당 특징 점의 특성 1에 대한 차이 (또는 거리) 값은 '1'임을 식별할 수 있다.
상술한 바에 따라, 모든 특징 점들에 대한 특성 1의 차이 값들은 하기 <표 1>과 같이 식별될 수 있다. 하기 <표 1>의 인덱스는 좌측 상단에서 순차적으로 부여함을 가정하였다.
| 특징 점 인덱스 | 소스 패턴 | 인식 패턴 | 거리 값 |
| 0 | 네모 | 원 | 1 |
| 1 | 원 | 네모 | 1 |
| 2 | 네모 | 네모 | 0 |
| 3 | 세모 | 원 | 2 |
| 4 | 네모 | 세모 | 3 |
| 5 | 세모 | 네모 | 3 |
| 6 | 세모 | 세모 | 0 |
| 7 | 원 | 세모 | 2 |
| 8 | 원 | 세모 | 2 |
하나의 실시 예에 따르면, 도 8a에서 소스 패턴의 첫 번째 특징 점 (중앙 특징 점을 기준으로 좌상에 위치하는 특징 점)의 특성 2는 노란색이고, 도 8b에서 인식 패턴의 첫 번째 특징 점 (중앙 특징 점을 기준으로 좌상에 위치하는 특징 점)의 특성 2는 초록색이므로, 해당 특징 점의 특성 2에 대한 차이 (또는 거리) 값은 '1'임을 식별할 수 있다. 도 8a에서 소스 패턴의 두 번째 특징 점 (중앙 특징 점을 기준으로 상에 위치하는 특징 점)의 특성 2는 초록색이고, 도 8b에서 인식 패턴의 두 번째 특징 점 (중앙 특징 점을 기준으로 상에 위치하는 특징 점)의 특성 2는 초록색이므로, 해당 특징 점의 특성 2에 대한 차이 (또는 거리) 값은 '0'임을 식별할 수 있다.
상술한 바에 따라, 모든 특징 점들에 대한 특성 2의 차이 값들은 하기 <표 2>과 같이 식별될 수 있다. 하기 <표 1>의 인덱스는 좌측 상단에서 순차적으로 부여함을 가정하였다.
| 특징 점 인덱스 | 소스 패턴 | 인식 패턴 | 차이 값 |
| 0 | 노랑 | 초록 | 1 |
| 1 | 초록 | 초록 | 0 |
| 2 | 노랑 | 노랑 | 0 |
| 3 | 초록 | 빨강 | 7 |
| 4 | 파랑 | 파랑 | 0 |
| 5 | 초록 | 빨 | 7 |
| 6 | 빨강 | 초록 | 7 |
| 7 | 노랑 | 초록 | 1 |
| 8 | 파랑 | 파랑 | 0 |
해당 프래그먼트에 대한 총 거리 값은 특성 1에 대해 특징 점 별로 식별한 거리 값들의 합과 특성 2에 대해 특징 점 별로 식별한 거리 값들의 합을 가산하여 획득할 수 있다. 상기 총 거리 값을 획득할 시, 각 특징 점의 특성 별로 부여될 수 있는 유효 가중 계수 (
)를 고려할 수 있다. 상기 유효 가중 계수는, 예를 들어, 특성에 대해 부여된 표준화 계수 (
)와 특징 점에 대해 부여된 거리 기반 가중치 (
)에 의해 얻어질 수 있다.
하나의 실시 예에 따르면, 하나의 프래그먼트에 있어서 소스 패턴과 인식 패턴 간의 총 거리 값 (Δ)은 하기 <수학식 1>에 의해 획득할 수 있다.
여기서, i는 프래그먼트에 포함된 특징 점을 지시하는 인덱스이고, j는 특성을 지시하는 인덱스이고, δ i,j 는 i번째 특징 점에서의 j번째 특성의 거리 값이고, ω i,j 는 i번째 특징 점에서의 j번째 특성의 유효 가중 계수이다. 상기 i는 소스 패턴과 인식 패턴에 대해 동일하게 적용될 수 있다.
상기 <수학식 1>에서 i번째 특징 점에서의 j번째 특성의 유효 가중 계수 (ω i,j )는 하기 <수학식 2>에 의해 얻어질 수 있다.
여기서, 
는 j번째 특성에 대한 표준화 계수이고, 
는 i번째 특징 점의 거리 기반 가중치이다.
상기 <수학식 2>에서 j번째 특성에 대한 표준화 계수 (
)는 해당 특성이 변경될 가능성 등을 고려하여 부여될 수 있다. 즉, 표준화 계수 (
)는, 예를 들어, 변경 가능성이 낮은 특성에 대해 상대적으로 높은 가중치를 부여하고, 변경 가능성이 높은 특성에 대해 상대적으로 낮은 가중치를 부여할 수 있다.
예컨대, 특성 1 (모양)에 대한 표준화 계수 (
)는, '1'로 부여하고, 특성 2 (색)에 대한 표준화 계수 (
)는, '2.5'로 부여할 수 있다. 여기서는 특성 2 (색)가 특성 1 (모양)에 비해 상대적으로 변경 또는 변질에 의한 오류 발생 가능성이 낮음을 전제로 한 것이다. 즉, 피사체에 의한 반사로 인해 모양이 변경될 가능성에 비해 색이 변경될 가능성이 낮은 것으로 판단한 것이다.
앞서 제안된 바에 의해 획득된 총 거리 값은 하기 <표 3>과 같을 것이다.
| i | j | 소스패턴 | 인식패턴 | δ i | ν i | π j | ω i | ω i＊ δ i |
| 0 | 0 | 노랑 | 초록 | 1 | 2.5 | 0.5 | 1.25 | 1.25 |
| 1 | 네모 | 원 | 1 | 1 | 0.5 | 0.5 | 0.5 | |
| 1 | 0 | 초록 | 초록 | 0 | 2.5 | 0.75 | 1.875 | 0 |
| 1 | 원 | 네모 | 1 | 1 | 0.75 | 0.75 | 0.75 | |
| 2 | 0 | 노랑 | 노랑 | 0 | 2.5 | 0.5 | 1.25 | 0 |
| 1 | 네모 | 원 | 0 | 1 | 0.5 | 0.5 | 0 | |
| 3 | 0 | 초록 | 빨강 | 7 | 2.5 | 0.75 | 1.875 | 13.125 |
| 1 | 세모 | 원 | 2 | 1 | 0.75 | 0.75 | 1.5 | |
| 4 | 0 | 파랑 | 파랑 | 0 | 2.5 | 1 | 2.5 | 0 |
| 1 | 네모 | 세모 | 3 | 1 | 1 | 1 | 3 | |
| 5 | 0 | 초록 | 빨강 | 7 | 2.5 | 0.75 | 1.875 | 12.125 |
| 1 | 세모 | 네모 | 3 | 1 | 0.75 | 0.75 | 2.25 | |
| 6 | 0 | 빨강 | 초록 | 7 | 2.5 | 0.5 | 1.25 | 8.75 |
| 1 | 세모 | 세모 | 0 | 1 | 0.5 | 0.5 | 0 | |
| 7 | 0 | 노랑 | 초록 | 1 | 2.5 | 0.75 | 1.875 | 1.875 |
| 1 | 원 | 세모 | 2 | 1 | 0.75 | 0.75 | 1.5 | |
| 8 | 0 | 파랑 | 파랑 | 0 | 2.5 | 0.5 | 1.25 | 0 |
| 1 | 원 | 세모 | 2 | 1 | 0.5 | 0.5 | 1 |
상기 <표 3>에 의하면, 총 거리 값 (Δ)은 각 특징 점에서의 특성 별 거리 값들을 가산한 48.625임을 획득할 수 있다.
상술한 실시 예들에 따르면, 장면에서 배경 및 하나 또는 다수의 피사체들의 깊이를 표현하는 거리 값의 정확성을 향상시킬 수 있을 것이다.
다음으로 본 개시에서 하나의 실시 예로 제안하고자 하는 전체 장면에 상응한 인식 패턴으로부터 미리 알고 있는 프래그먼트에 상응한 소스 패턴을 찾는 방안에 대해 설명하고자 한다.
도 11a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴의 셀 구조에 대한 일 예를 도시한 도면이다.
도 11a를 참조하면, 패턴은 체스 판 형태로 셀들이 배치된 구조를 가질 수 있다. 상기 셀들 각각은 하나 또는 다수의 특성들 (색, 휘도 등)을 가질 수 있다. 상기 패턴에서 체스 판 형태로 배치된 셀들은 선들에 의해 구분되고 있다.
도 11b는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴의 특징 점들이 배치된 일 예를 도시한 도면이다.
도 11b를 참조하면, 패턴에서 체스 판 형태로 배치된 셀들을 구분하는 선들이 교차하는 지점들 각각에 특징 점들이 위치할 수 있다. 상기 선들이 교차하는 지점들은 네 개의 셀들의 꼭지점에 대응한다. 상기 특징 점들 각각은 하나 또는 다수의 특성들 (색, 휘도, 모양, 크기 등)을 가질 수 있다. 상기 특징 점들은 특성들에 따라 자신의 강인한 정도를 표현할 수 있다. 여기서 강인한 정보는 주변 셀 또는 특징 점이 갖는 특성들로 인해 자신의 특성들이 변질될 가능성을 나타낼 수 있다.
하나의 실시 예에 따르면, 특징 점들은 3 단계의 밝기 (검정색, 회색, 희색)를 특성으로 사용하고 있다. 동시에 셀들은 2 단계의 밝기 (검정색, 희색)를 특성으로 사용하고 있다. 상기 특징 점 및 셀의 특징들은 주변 특징 점들 또는 셀과 구별될 수 있도록 사용되어야 할 것이다. 상기 셀들 중 패턴의 중앙에 위치하는 중심 셀 또한 특징 점으로 사용될 수 있다. 이 경우 특징 점으로 사용될 중심 셀에 대해서는 셀에 대한 특성이 아닌 특징 점에 대한 특성이 사용되어야 할 것이다.
도 11c는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 가중치 부여를 위한 특징 점들의 구분 예를 도시한 도면이다.
도 11c를 참조하면, 패턴을 구성하는 중심 셀에 대해서는 가장 높은 가중치 (P0)를 부여할 수 있다. 나머지 특징 점들에 대해서는 중심 셀로부터의 거리를 고려하여 가중치를 부여할 수 있다.
하나의 실시 예에 따르면, 중심 셀의 꼭지점들에 상응한 특징 점들에 대해 다음으로 높은 가중치 (P1)를 부여하고, 상기 중심 셀의 상하좌우에 위치하는 셀들의 나머지 꼭지점들에 대해 그 다음으로 높은 가중치 (P2)를 부여하며, 중심 셀의 대각 방향에 위치하는 셀들의 나머지 꼭지점에 대해 가장 낮은 가중치 (P3)을 부여한다.
도 12는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서의 특징 점들을 구분하는 예를 도시한 도면이다.
도 12를 참조하면, 중심 셀을 시작으로 근접하여 위치하는 특징 점들부터 원거리에 위치하는 특징 점들의 순서로 인덱스를 부여할 수 있다.
예컨대, 중심 셀에 식별 인덱스 '0'을 할당하고, 좌상 측에 위치한 특징 점에 식별 인덱스 '1'을 할당하고, 동일 레벨에서 시계 방향으로 위치하는 특징 점들에 식별 인덱스 '2', '3', '4'를 순차적으로 할당할 수 있다.
그 다음으로 상기 중심 셀에서 상 측 방향으로 위치하는 두 개의 특징 점들 각각에 식별 인덱스 '5', '6'을 할당하고, 상기 중심 셀에서 우 측 방향으로 위치하는 두 개의 특징 점들 각각에 식별 인덱스 '7', '8'을 할당하고, 상기 중심 셀에서 하 측 방향으로 위치하는 두 개의 특징 점들 각각에 식별 인덱스 '9', '10'을 할당하며, 상기 중심 셀에서 좌 측 방향으로 위치하는 두 개의 특징 점들 각각에 식별 인덱스 '11', '12'을 할당할 수 있다.
그 다음으로, 상기 패턴의 모서리에 위치하는 특징 점들에 대해서는 좌상 측에 위치하는 특징 점에 식별 인덱스 '13', 우상 측에 위치하는 특징 점에 식별 인덱스 '14', 우하 측에 위치하는 특징 점에 식별 인덱스 '15', 좌하 측에 위치하는 특징 점에 식별 인덱스 '16'을 할당할 수 있다.
도 13a은 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 특징 점들에 대해 특성이 부여된 예를 도시한 도면이다.
도 13a를 참조하면, 식별 인덱스 1, 2, 3, 5, 7, 10, 12, 13, 15에 해당하는 특징 점들에 대한 특성으로 흰색을 할당하고, 식별 인덱스 9, 16에 해당하는 특징 점들에 대한 특성으로 회색을 할당하며, 식별 인덱스 4, 6, 8, 11, 14에 해당하는 특징 점들에 대한 특성으로 검은색을 할당하였다.
도 13b은 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 특징 점들에 대해 부여된 특성을 표시한 예를 도시한 도면이다.
도 13b를 참조하면, 흰색이 부여된 특징 점들에 대해서는 특성 값으로 '2'를 할당하고, 회색이 부여된 특징 점들에 대해서는 특성 값으로 '1'을 할당하며, 검은색이 부여된 특징 점들에 대해서는 특성 값으로 '0'을 할당하였다.
도 14a는 본 개시에서 제안된 다양한 실시 예에 따른, 인식 패턴의 일 예를 도시한 도면이고, 도 14b는 도 14a에서의 패턴에 따른 특징 점들에 특성 값을 부여한 예를 도시한 도면이다.
도 14a에서는 도 13b에 도시된 패턴 (이하 '알려진 패턴'이라 칭함)에 유사한 5개의 후보 패턴들이 선택되었다. 예컨대, 상기 5개의 후보 패턴들은 알려진 패턴에서의 특징 점들에 부여된 특성 값과 유사한 특성 값을 갖는 특징 점들의 패턴들을 선택한 것이다.
도 14b에서는 도 14a에서의 인식 패턴에 포함된 특징 점들 각각에 특성 값을 부여하였다. 이로써, 5개의 선택된 후보 패턴들 각각의 특징 점들에 부여된 특성 값들을 확인할 수 있다.
도 13b에 도시된 알려진 패턴을 기반으로 5개의 후보 패턴들과의 총 거리 값을 산출하면, 하기 <표 4>와 같이 정리될 수 있다
| Weight zone | W→∞ | W=1 | W=0.75 | W=0.5 | Distance | |||||||||||||
| Sub-property | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | |
| Recognized Key-point | 0 | 2 | 2 | 2 | 0 | 2 | 0 | 2 | 0 | 1 | 2 | 0 | 2 | 2 | 0 | 2 | 1 | |
| Key-Point A | 0 | 2 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 2 | 2 | 0 | 0 | 0 | 0 | 0 | 0 | 11 |
| Key-Point B | 0 | 2 | 0 | 1 | 2 | 2 | 0 | 1 | 2 | 2 | 2 | 2 | 2 | 1 | 1 | 2 | 2 | 11 |
| Key-Point C | 0 | 2 | 2 | 0 | 0 | 0 | 2 | 1 | 2 | 2 | 1 | 0 | 2 | 2 | 0 | 2 | 1 | 8.75 |
| Key-Point D | 0 | 2 | 2 | 2 | 1 | 2 | 2 | 0 | 0 | 2 | 0 | 1 | 0 | 2 | 2 | 2 | 2 | 10 |
| Key-point E | 0 | 0 | 2 | 2 | 0 | 2 | 0 | 2 | 0 | 0 | 2 | 2 | 2 | 2 | 0 | 2 | 2 | 4.75 |
상기 <표 4>에 따르면, Key-point E에 해당하는 후보 패턴이 5개의 후보 패턴들 중 알려진 패턴과 가장 유사한 특징을 가짐을 확인할 수 있다.
도 15a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 정의된 패턴에서 일부 특징 점들에 대한 특성을 확인할 수 없는 상황을 도면으로써, 식별 인덱스 8, 13, 16에 해당하는 특징 점들에 대한 특성을 식별할 수 없는 상황을 가정하고 있다.
도 15b는 도 15a에 도시된 패턴의 특징 점들에 대해 특성 값을 부여한 예를 도시한 도면으로써, 특성을 식별할 수 없는 식별 인덱스 8, 13, 16에 대해 특성 값이 존재하지 않음을 알 수 있다
도 16a는 본 개시에서 제안된 다양한 실시 예에 따른, 깊이 측정을 위해 알고 있는 패턴의 일 예를 도시한 도면이고, 도 16b는 도 16a에 도시된 패턴의 특징 점들에 대해 특성 값을 부여한 예를 도시한 도면이다.
도 16b에 도시된 알려진 패턴을 사용하여 도 15b에 도시된 패턴에서 특성 값을 확인할 수 없는 특징 점들의 특징 값은 하기 <표 5>와 같이 예측될 수 있을 것이다.
| Weight zone | W→∞ | W=1 | W=0.75 | W=0.5 | Distance | |||||||||||||
| Sub-property | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | |
| Recognized Key-point | 0 | 2 | 2 | 0 | 0 | 2 | 0 | 2 | ? | 2 | 1 | 2 | 1 | ? | 1 | 2 | ? | |
| Target Key-Point | 0 | 2 | 2 | 0 | 0 | 2 | 0 | 2 | 0 | 1 | 1 | 2 | 1 | 1 | 2 | 2 | 2 | |
| Δ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 2 | 4.75 |
상기 <표 5>에서 알려진 패턴에서 특성 값을 확인하지 못한 식별 인덱스 8, 13, 16에 대응하여 거리 값 (Δ)을 '2', '1', '2'로 예측하였다. 이는 타깃 특징 점에서의 특성 값을 기반으로 가장 큰 차이 값을 예측한 것이다.
예컨대, 식별 인덱스 8에 대응하여 거리 값 (Δ)을 '2'로 예측한 것은, 타깃 특징 점의 특징 값이 '0'이므로, 알려진 패턴에서 대응하는 특징 점에 부여할 수 있는 모든 특성 값들 '0', '1', '2'을 고려할 때, 예상할 수 있는 가장 큰 거리 값은 상기 알려진 패턴에서 대응하는 특징 점의 특성 값이 '2'인 경우에 해당하는 '2'로 예측한 것이다.
식별 인덱스 13에 대응하여 거리 값 (Δ)을 '1'로 예측한 것은, 타깃 특징 점의 특징 값이 '1'이므로, 알려진 패턴에서 대응하는 특징 점에 부여할 수 있는 모든 특성 값들 '0', '1', '2'을 고려할 때, 예상할 수 있는 가장 큰 거리 값은 상기 알려진 패턴에서 대응하는 특징 점의 특성 값이 '0' 또는 '2'인 경우에 해당하는 '1'로 예측한 것이다.
마지막으로 식별 인덱스 16에 대응하여 거리 값 (Δ)을 '2'로 예측한 것은, 타깃 특징 점의 특징 값이 '2'이므로, 알려진 패턴에서 대응하는 특징 점에 부여할 수 있는 모든 특성 값들 '0', '1', '2'을 고려할 때, 예상할 수 있는 가장 큰 거리 값은 상기 알려진 패턴에서 대응하는 특징 점의 특성 값이 '0'인 경우에 해당하는 '2'로 예측한 것이다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시에서 제안한 다양한 실시 예에 따른 범위에서 벗어나지 않는 한도 내에서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 변형에 의한 실시할 수 있음은 물론이다. 그러므로 본 개시에 따른 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐만 아니라, 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다. 그뿐만 아니라, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
Claims (15)
- 프로젝터와 상기 프로젝터로부터 소스 패턴에 의해 방사되어 장면에 배치된 하나 또는 다수의 피사체들에서 반사된 빛을 수신하는 카메라를 포함하는 구조적 깊이 카메라 시스템에서 심도를 측정하는 장치에 있어서,
상기 카메라로부터 수신된 빛으로 인한 전기적 신호를 수신하는 인터페이스부; 및
상기 인터페이스부로부터 제공된 전기적 신호를 기반으로 상기 장면의 심도 정보를 획득하는 적어도 하나의 프로세서를 포함하며,
여기서, 상기 적어도 하나의 프로세서는,
상기 전기적 신호를 기반으로 상기 카메라에 의해 수신된 빛에 상응한 인식 패턴을 식별하고,
상기 소스 패턴에서 대상 프래그먼트에 상응한 부분 소스 패턴이 갖는 특성들과 상기 식별한 인식 패턴에서 상기 대상 프래그먼트에 상응한 부분 인식 패턴이 갖는 특성들 간의 총 거리 값 (total distance value)을 획득하며,
상기 획득한 총 거리 값을 기반으로 상기 대상 프래그먼트에 대한 심도 정보를 추정하도록 구성됨을 특징으로 하는 장치.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는,
상기 부분 소스 패턴과 상기 부분 인식 패턴을 기반으로 상기 대상 프래그먼트에 포함된 특징 점들 각각에서 특성 별 거리 값을 인지하고,
상기 특성 별 거리 값에 유효 가중 계수를 반영하며,
상기 특징 점들 각각에 대응한 상기 유효 가중 계수를 반영한 특성 별 거리 값들을 가산하여 상기 총 거리 값을 획득함을 특징으로 하는 장치.
- 제2항에 있어서,
상기 해당 특성 (j번째 특성)의 유효 가중 계수 ()는 상기 해당 특성 (j번째 특성)에 대한 표준화 (normalization) 계수 (
)와 상기 대상 프래그먼트에서 해당 특징 점 (i번째 특징 점)에 대해 거리 기반 가중치 (
)의 곱임을 특징으로 하는 장치.
- 제3항에 있어서,
특성 별 거리 값을 정의하는 제1 테이블, 특성 별 표준화 계수를 정의하는 제2 테이블 및 하나의 프래그먼트에 포함된 각 특징 점에 대한 거리 기반 가중치를 정의하는 제3 테이블이 기록된 메모리를 더 포함하는 장치.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는,
상기 총 거리 값 (Δ)을,에 의해 획득하며,
여기서, i는 프래그먼트에 포함된 특징 점을 지시하는 인덱스이고, j는 특성을 지시하는 인덱스이고, δ i,j 는 i번째 특징 점에서의 j번째 특성의 거리 값이고, ω i,j 는 i번째 특징 점에서의 j번째 특성의 유효 가중 계수임을 특징으로 하는 장치.
- 제5항에 있어서, 상기 적어도 하나의 프로세서는,
상기 유효 가중 계수 (ω i,j )를,에 의해 획득하며,
여기서,는 j번째 특성에 대한 표준화 계수이고,
는 i번째 특징 점의 거리 기반 가중치임을 특징으로 하는 장치.
- 제1항에 있어서,
i 번째 특징 점의 j 번째 특성에 대한 거리 값들을 정의하는 테이블이 기록된 메모리를 더 포함하며,
여기서, i는 하나의 프래그먼트에 포함된 I개의 특징 점들 중 하나의 특징 점을 지시하는 인덱스이고, j는 하나의 특징 점을 식별하는 J개의 특성들 중 하나의 특성을 지시하는 인덱스임을 특징으로 하는 장치.
- 제7항에 있어서, 상기 적어도 하나의 프로세서는,
상기 부분 소스 패턴과 상기 부분 인식 패턴을 기반으로 상기 메모리에 기록된 테이블로부터 상기 대상 프래그먼트에 포함된 특징 점들 각각에 상응한 거리 값을 획득하고,
상기 대상 프래그먼트에 포함된 특징 점들 각각에 대응하여 획득한 거리 값들을 가산하여 상기 총 거리 값을 획득함을 특징으로 하는 장치.
- 프로젝터와 상기 프로젝터로부터 소스 패턴에 의해 방사되어 장면에 배치된 하나 또는 다수의 피사체들에서 반사된 빛을 수신하는 카메라를 포함하는 구조적 깊이 카메라 시스템에서 전자 장치가 깊이를 측정하는 방법에 있어서,
상기 카메라로부터 수신된 빛으로 인한 전기적 신호를 기반으로 상기 카메라에 의해 수신된 빛에 상응한 인식 패턴을 식별하는 과정과,
상기 소스 패턴에서 대상 프래그먼트에 상응한 부분 소스 패턴이 갖는 특성들과 상기 식별한 인식 패턴에서 상기 대상 프래그먼트에 상응한 부분 인식 패턴이 갖는 특성들 간의 총 거리 값 (total distance value)을 획득하는 과정과,
상기 획득한 총 거리 값을 기반으로 상기 대상 프래그먼트에 대한 깊이 정보를 추정하는 과정을 포함하는 방법.
- 제9항에 있어서, 상기 총 거리 값을 획득하는 과정은,
상기 부분 소스 패턴과 상기 부분 인식 패턴을 기반으로 상기 대상 프래그먼트에 포함된 특징 점들 각각에서 특성 별 거리 값을 인지하는 과정과,
상기 특성 별 거리 값에 유효 가중 계수를 반영하고, 상기 특징 점들 각각에 대응한 상기 유효 가중 계수를 반영한 특성 별 거리 값들을 가산하여 상기 총 거리 값을 획득하는 과정을 포함하는 방법.
- 제10항에 있어서,
메모리에 기록된 테이블로부터 상기 해당 특성 (j번째 특성)에 대한 표준화 (normalization) 계수 ()와 상기 대상 프래그먼트에서 해당 특징 점 (i번째 특징 점)에 대해 거리 기반 가중치 (
)를 획득하는 과정을 더 포함하는 방법.
- 제11항에 있어서,
상기 획득한 표준화 계수 ()와 상기 획득한 거리 기반 가중치 (
)의 곱에 의해 상기 해당 특성 (j번째 특성)의 유효 가중 계수 (
)를 계산하는 과정을 더 포함하는 방법.
- 제9항에 있어서,
상기 총 거리 값 (Δ)은,에 의해 획득하며,
여기서, i는 프래그먼트에 포함된 특징 점을 지시하는 인덱스이고, j는 특성을 지시하는 인덱스이고, δ i,j 는 i번째 특징 점에서의 j번째 특성의 거리 값이고, ω i,j 는 i번째 특징 점에서의 j번째 특성의 유효 가중 계수임을 특징으로 하는 방법.
- 제13항에 있어서,
상기 유효 가중 계수 (ω i,j )는,에 의해 획득하며,
여기서,는 j번째 특성에 대한 표준화 계수이고,
는 i번째 특징 점의 거리 기반 가중치임을 특징으로 하는 방법.
- 제9항에 있어서, 상기 총 거리 값을 획득하는 과정은,
상기 부분 소스 패턴과 상기 부분 인식 패턴을 기반으로 메모리에 기록된 i 번째 특징 점의 j 번째 특성에 대한 거리 값들을 정의하는 테이블로부터 상기 대상 프래그먼트에 포함된 특징 점들 각각에 상응한 거리 값을 획득하는 과정과,
상기 대상 프래그먼트에 포함된 특징 점들 각각에 대응하여 획득한 거리 값들을 가산하여 상기 총 거리 값을 획득하는 과정을 포함하며,
여기서, i는 하나의 프래그먼트에 포함된 I개의 특징 점들 중 하나의 특징 점을 지시하는 인덱스이고, j는 하나의 특징 점을 식별하는 J개의 특징들 중 하나의 특징을 지시하는 인덱스임을 특징으로 하는 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190006885A KR102645539B1 (ko) | 2019-01-18 | 2019-01-18 | 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법 |
| PCT/KR2019/016953 WO2020149527A1 (en) | 2019-01-18 | 2019-12-03 | Apparatus and method for encoding in structured depth camera system |
| US16/743,736 US11195290B2 (en) | 2019-01-18 | 2020-01-15 | Apparatus and method for encoding in structured depth camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190006885A KR102645539B1 (ko) | 2019-01-18 | 2019-01-18 | 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200090296A true KR20200090296A (ko) | 2020-07-29 |
| KR102645539B1 KR102645539B1 (ko) | 2024-03-11 |
Family
ID=71609083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190006885A KR102645539B1 (ko) | 2019-01-18 | 2019-01-18 | 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11195290B2 (ko) |
| KR (1) | KR102645539B1 (ko) |
| WO (1) | WO2020149527A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11909950B1 (en) * | 2021-09-21 | 2024-02-20 | Amazon Technologies, Inc. | Three-dimensional (3D) sensor performance evaluation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180061056A1 (en) * | 2016-08-30 | 2018-03-01 | Microsoft Technology Licensing, Llc | Temperature Compensation for Structured Light Depth Imaging System |
| US20180293746A1 (en) * | 2017-04-07 | 2018-10-11 | Massachusetts Institute Of Technology | System and Method for Adaptive Range 3D Scanning |
| US20190340776A1 (en) * | 2018-05-04 | 2019-11-07 | Qualcomm Incorporated | Depth map interpolation using generalized likelihood ratio test parameter estimation of a coded image |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8326020B2 (en) | 2007-02-28 | 2012-12-04 | Sungkyunkwan University Foundation | Structural light based depth imaging method and system using signal separation coding, and error correction thereof |
| KR101801355B1 (ko) * | 2011-03-25 | 2017-11-24 | 엘지전자 주식회사 | 회절 소자와 광원을 이용한 대상물의 거리 인식 장치 |
| KR101282352B1 (ko) | 2011-09-30 | 2013-07-04 | 주식회사 홀코 | 가변패턴을 이용한 3차원 이미지 촬영장치 및 방법 |
| KR101893788B1 (ko) | 2012-08-27 | 2018-08-31 | 삼성전자주식회사 | 다시점 카메라간 정합 장치 및 방법 |
| JP6101134B2 (ja) * | 2013-04-01 | 2017-03-22 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| US9270386B2 (en) | 2013-06-24 | 2016-02-23 | Intel Corporation | Error detecting and correcting structured light patterns |
| KR101578891B1 (ko) | 2013-10-10 | 2015-12-18 | 재단법인대구경북과학기술원 | 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법 |
| KR102166691B1 (ko) | 2014-02-27 | 2020-10-16 | 엘지전자 주식회사 | 객체의 3차원 형상을 산출하는 장치 및 방법 |
| WO2016024203A2 (en) * | 2014-08-12 | 2016-02-18 | Mantisvision Ltd. | System, method and computer program product to project light pattern |
| JP6189346B2 (ja) | 2015-01-19 | 2017-08-30 | シャープ株式会社 | 制御装置、制御装置の制御プログラム、制御装置の制御方法、および制御システム |
| US9635339B2 (en) | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
| JP6579639B2 (ja) * | 2016-04-08 | 2019-09-25 | 先臨三維科技股▲ふん▼有限公司Ｓｈｉｎｉｎｇ ３Ｄ Ｔｅｃｈ Ｃｏ．， Ｌｔｄ． | マルチ測定モードの３次元測定システムおよび測定方法 |
| US10620316B2 (en) * | 2017-05-05 | 2020-04-14 | Qualcomm Incorporated | Systems and methods for generating a structured light depth map with a non-uniform codeword pattern |
| KR102015540B1 (ko) * | 2017-07-17 | 2019-08-28 | 서강대학교산학협력단 | 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템 |
-
2019
- 2019-01-18 KR KR1020190006885A patent/KR102645539B1/ko active IP Right Grant
- 2019-12-03 WO PCT/KR2019/016953 patent/WO2020149527A1/en active Application Filing
-
2020
- 2020-01-15 US US16/743,736 patent/US11195290B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180061056A1 (en) * | 2016-08-30 | 2018-03-01 | Microsoft Technology Licensing, Llc | Temperature Compensation for Structured Light Depth Imaging System |
| US20180293746A1 (en) * | 2017-04-07 | 2018-10-11 | Massachusetts Institute Of Technology | System and Method for Adaptive Range 3D Scanning |
| US20190340776A1 (en) * | 2018-05-04 | 2019-11-07 | Qualcomm Incorporated | Depth map interpolation using generalized likelihood ratio test parameter estimation of a coded image |
Non-Patent Citations (1)
| Title |
|---|
| Jia, T., Zhou, Z., & Gao, H. (2014). Depth measurement based on infrared coded structured light. Journal of Sensors, 2014. * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11195290B2 (en) | 2021-12-07 |
| US20200234458A1 (en) | 2020-07-23 |
| WO2020149527A1 (en) | 2020-07-23 |
| KR102645539B1 (ko) | 2024-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11580691B2 (en) | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function | |
| JP6855587B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
| US11989896B2 (en) | Depth measurement through display | |
| TWI729995B (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
| CN109477710B (zh) | 基于点的结构化光系统的反射率图估计 | |
| CN112689776B (zh) | 使用彩色图像数据校准深度感测阵列 | |
| CN110689577B (zh) | 单相机环境中主动式刚体的位姿定位方法及相关设备 | |
| US20160134860A1 (en) | Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy | |
| CN107025663A (zh) | 视觉系统中用于3d点云匹配的杂波评分系统及方法 | |
| US10181202B2 (en) | Control apparatus, robot, and control method | |
| US11113875B1 (en) | Visualization tools for point clouds and 3D imagery | |
| WO2020066637A1 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
| EP3069100B1 (en) | 3d mapping device | |
| KR102502310B1 (ko) | 적외선 이미징을 사용한 색상 식별 | |
| JP2016186421A (ja) | 画像処理方法 | |
| US20240044778A1 (en) | Inspection method and inspection system | |
| US20210256729A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
| KR102645539B1 (ko) | 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법 | |
| KR20200049958A (ko) | 3차원 깊이 측정 장치 및 방법 | |
| US11748908B1 (en) | Systems and methods for generating point-accurate three-dimensional models with point-accurate color information from a non-cosited capture | |
| EP3062516B1 (en) | Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium | |
| US20220003875A1 (en) | Distance measurement imaging system, distance measurement imaging method, and non-transitory computer readable storage medium | |
| JP3852285B2 (ja) | ３次元形状計測装置および３次元形状計測方法 | |
| US20180137682A1 (en) | Image synthesis method and image synthesis device for virtual object | |
| KR102567379B1 (ko) | 3d 모델링 자동 보정을 통한 실감 오브젝트 생성 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20190118 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20220118 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20190118 Comment text: Patent Application |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20231215 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240305 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240306 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |