KR20130000356A - 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 - Google Patents

경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 Download PDF

Info

Publication number
KR20130000356A
KR20130000356A KR1020120066977A KR20120066977A KR20130000356A KR 20130000356 A KR20130000356 A KR 20130000356A KR 1020120066977 A KR1020120066977 A KR 1020120066977A KR 20120066977 A KR20120066977 A KR 20120066977A KR 20130000356 A KR20130000356 A KR 20130000356A
Authority
KR
South Korea
Prior art keywords
boundary
boundary point
image
recognized
upper layer
Prior art date
Application number
KR1020120066977A
Other languages
English (en)
Other versions
KR101974651B1 (ko
Inventor
이석한
광 람 부이
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Publication of KR20130000356A publication Critical patent/KR20130000356A/ko
Application granted granted Critical
Publication of KR101974651B1 publication Critical patent/KR101974651B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템은 계층간 동일한 위치에 인코딩된 경계선들을 인식하는 단계와, 상기 계층간 동일한 위치에 인코딩된 경계선들을 인식하는 단계에서 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계를 포함한다. 본 발명은 조사된 구조광의 패턴의 경계선을 영상면의 실 좌표계를 기반으로 정확하게 찾는 방법에 관한 것으로서, 물체 표면의 반사와 무관하게 경계선을 찾고, 낮은 반사(poor radiance) 환경에서 참 경계선과 거짓 경계선을 명확하게 분류할 수 있으며, 다른 계층에 있는 경계선을 상속을 통한 정확도를 높일 수 있다.

Description

경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템{MEASURING METHOD OF 3D IMAGE DEPTH AND A SYSTEM FOR MEASURING 3D IMAGE DEPTH USING BOUNDARY INHERITANCE BASED HIERARCHICAL ORTHOGONAL CODING}
본 발명은 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템에 관한 것으로서, 특히 신호 분리 코딩이라는 새로운 기법을 적용하여 변형된 신호를 정확하게 복원할 수 있으므로 보다 정확한 3차원 거리 영상 측정이 가능한 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템에 관한 것이다.
일반적으로 구조 광(structural light)을 이용한 3차원 거리 영상 측정(3D depth imaging) 방법은 서비스 로봇 공학에서 3차원 환경을 센싱(sensing)하는데 적합하기 때문에 최근 주목을 받고 있다. 능동형 스테레오 기법인 구조광을 이용한 거리 영상 측정의 기본 원리는 물체에 프로젝터 등과 같은 투사 장치를 이용하여 광선을 조사한 다음, 광선이 조사된 물체를 카메라 등과 같은 영상 수신 장치를 이용하여 촬영하고, 물체에 의해 광선이 어느 정도 왜곡되는지를 관찰하여, 물체와의 거리를 계산해 냄으로써 거리 영상(depth imaging)을 얻는 것이다.
도 1은 구조 광 기반의 3차원 거리 영상 측정 시스템의 원리를 설명하기 위한 개략도이다. 도 1에서 보는 바와 같이, 대상물체(100)의 한 점 x의 3차원 위치는 투사 수단의 원점 Op와 투사 장치의 영상면(retinal plane)(200)상의 점 p를 연결하는 직선과, 영상 수신 장치의 원점 Oc와 영상 수신 장치의 영상면(300) 상의 점 q를 연결하는 직선이 만나는 교점으로 정해진다. 따라서, 프로젝터(투사 장치)와 카메라(영상 수신 장치)의 보정이 이루어져 있다면, 점 p와 점 q의 각 영상면에서의 주소값의 쌍으로서 x점의 좌표를 계산하여 거리 영상(depth image)을 얻을 수 있다. 즉, 이와 같은 스테레오 기법에서 거리 영상을 측정하는 방법의 핵심은 수신된 영상과 투사된 영상에서의 픽셀 대응점을 결정하는 것이다. 대응점이 결정되면 단순한 기하학에 의하여 거리를 쉽게 계산할 수 있다.
거리 측정의 정확성을 위해, 투사 장치에서 투사(projection)되는 광 패턴(pattern)은 영상 수신 장치에서 검출된 신호의 공간 및/또는 시간적 주소가 대응하는 투사 장치의 픽셀 대응점을 유일하게 결정할 수 있도록 픽셀 어레이(pixel array) 상에 공간적으로 및/또는 시간 시퀀스에 따라 시간적으로 코딩(coding)된다.
본원 출원인은 직교화된 계층적 구조광을 이용하여 각 투사 장치의 화소를 주소화하여 투사하고, 이를 영상 수신 장치에서 디코딩하는 직교화된 계층적 구조광을 이용한 3차원 영상 생성 장치에 대하여 한국등록특허 제10-0588296호로 등록받은 바 있다. 한국등록특허 제10-0588296호에 제시된 계층적 구조광에 대한 종래 기술을 도 2를 이용하여 간략히 설명하기로 한다. 도 2는 계층적으로 직교화된 광을 투사 영역에 3계층으로 계층화하여 투사하는 투사광을 보여주는 것이다. 계층 1은 도 2(a)에 도시된 바와 같이 t0 시점부터 t3 사이에 투사되는 광에 의해 투사 영역을 주소화한다. t0시점에는 투사 영역을 (1 0 0 0)으로 주소화하여 투사하고, t1 시점에서는 투사 영역을 (0 1 0 0)으로 주소화하여 투사하고, t2 시점에서는 투사 영역을 (0 0 1 0)으로 주소화하여 투사하고, t3 시점에서는 투사 영역을 (0 0 0 1)로 주소화하여 투사한다. 유사한 방식으로 도 2(b)에 도시된 바와 같이 계층 2에서는 계층 1의 각 영역을 세부 영역으로 주소화하여 투사하며, 계층 2는 t4 시점부터 t7 시점으로 구성된다. t4시점에는 투사 영역을 (1000 1000 1000 1000)으로 주소화하여 투사하고, t5 시점에서는 투사 영역을 (0100 0100 0100 0100)으로 주소화하여 투사하고, t6 시점에서는 투사 영역을 (0010 0010 0010 0010)으로 주소화하여 투사하고, t7 시점에서는 투사 영역을 (0001 0001 0001 0001)로 주소화하여 투사한다. 마지막으로 계층 3에서는 도 2(c)에 도시된 바와 같이 계층 2에서 구분된 각 영역을 세부 영역으로 주소화하여 투사하며, 계층 3은 t8 시점부터 t11 시점으로 구성된다. t8시점에는 투사 영역을 (1000100010001000 1000100010001000 1000100010001000 1000100010001000)으로 주소화하여 투사하고, t9 시점에서는 투사 영역을 (0100010001000100 0100010001000100 0100010001000100 0100010001000100)으로 주소화하여 투사하고, t10 시점에서는 투사 영역을 (0010001000100010 0010001000100010 0010001000100010 0010001000100010)으로 주소화하여 투사하고, t11 시점에서는 투사 영역을 (0001000100010001 0001000100010001 0001000100010001 0001000100010001)로 주소화하여 투사한다.
도 2에 도시된 바와 같이 투사 장치에서 영상을 투사하면 영상 수신 장치에서는 각 화소에 대응되는 투사 장치의 주소를 디코딩함으로써 3차원 이미지에 대한 깊이(depth) 정보를 파악할 수 있게 된다. 도 2와 같이 계층화된 구조광을 사용하는 시스템은 영상 수신 장치에서 정확한 타이밍에 따라 영역을 구분하여 광을 투사하는데 실질적으로는 해당 경계 영역에 있는 대상 물체의 기하학적 형상, 광을 반사시키는 정도 및 외부 환경 등에 따라 영상 수신 장치에서 수신되는 영상 신호에서는 경계선이 불명확해지는 문제가 발생된다. 하지만 이러한 문제에도 불구하고 종래 기술에서는 수신된 영상에 포함된 주소를 디코딩할 때 일정한 타이밍에 따라 영상을 구분지은 후 수신된 영상에 포함된 주소를 복원하기 때문에 많은 오류가 발생되고 있었다.
본 발명은 계층화된 구조화 광을 사용하여 3차원 영상 깊이를 파악함에 있어서, 하위 계층의 경계 영역을 명확하여 디코딩 에러를 줄일 수 있는 계층화된 구조 광을 이용하는 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3 차원 거리 영상 측정 시스템을 제공하는 것을 목적으로 한다.
본 발명은 조사된 구조광의 패턴의 경계선을 영상면의 실 좌표계를 기반으로 정확하게 찾는 방법에 관한 것으로서, 물체 표면의 반사와 무관하게 경계선을 찾고, 낮은 반사(poor radiance) 환경에서 참 경계선과 거짓 경계선을 명확하게 분류할 수 있으며, 다른 계층에 있는 경계선을 상속을 통한 정확도를 높이는 것을 목적으로 한다.
본 발명의 상기 목적은 계층적으로 직교화된 주소 정보가 포함된 구조광을 인코딩하여 대상 물체에 조사하고 이를 촬영한 영상으로부터 해당 주소를 디코딩하여 3차원 영상을 획득하는 계층적으로 직교화된 구조광을 디코딩하는 방법에 관한 것으로서, 계층간 동일한 위치에 인코딩된 경계선들을 인식하는 단계와,
상기 계층간 동일한 위치에 인코딩된 경계선들을 인식하는 단계에서 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계를 포함하는 계층적으로 직교화된 구조광을 디코딩하는 방법에 의해서 달성 가능하다.
상기 계층간 동일한 위치에 인코딩된 경계선을 인식하는 단계는, 경계선의 위치를 정확히 측정하기 위하여 상이한 대상 물체 표면의 반사 계수를 고려하여 경계선을 보정하는 단계를 포함할 수 있다.
상기 상이한 대상 물체 표면의 반사 계수를 고려하여 경계선을 보정하는 단계는
Figure pat00001
Figure pat00002
(여기서, fs(x)는 카메라 이미지 내의 캡춰된 광 스트라이프 신호이고, fc(x)는 광 패턴의 표준 형식(canonical form of light pattern)이며, A(x)는 환경광(ambient light)이고, gp(x,σp)는 블러 반경(blur radius) σp 를 가진 x 위치에서의 투사 장치 렌즈들의 가우시언 블러 커널(Gaussian blur kernel)이며, gc(x,σc)는 블러 반경(blur radius) σc를 가진 x 위치에서의 카메라 렌즈들의 가우시언 블러 커널(Gaussian blur kernel)이다. s(x)는 투사 장치 조명을 위한 패턴이며, R(x)는 x에서의 로컬 표면(local surface)의 반사 인덱스이며, σc 는 블러 반경(blur radius)이고, fo(x)는 블랙 패턴(black pattern)이 투영될 경우 캡춰된 이미지이고, f1(x)는 화이트 패턴(white pattern)이 투영될 경우 캡춰된 이미지이고, H는 패턴 이미지의 최대 세기이고, L은 패턴 이미지의 최소 세기임)
를 이용할 수 있다.
상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는,
현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하는 제 1 단계와, 시계열적으로 인식되는 시계열 경계지점(D)을 획득하는 제 2단계와, 인식 경계지점(d)에서 시계열 경계지점(D)의 차이값(d-D)을 구하는 제 3단계와, 상기 제 3단계에서 구해진 차이값이 △d 범위 내에 포함되는 경우에는 인식 경계지점(d)을 시계열 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정하는 제 4단계를 포함할 수 있다. 여기서, 상기 제 1단계 및 상기 제 2단계는 순서와 무관하게 수행될 수 있다.
상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는,
상위 레이어에서 인식된 상위 레이어 경계지점(D)을 획득하는 제 1단계와, 현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하는 제 2단계와, 인식 경계지점(d)에서 상위 레이어 경계지점(D)의 차이값(d-D)을 구하는 제 3단계와, 상기 제 3단계에서 구해진 차이값이 △d 범위 내에 포함되는 경우에는 인식경계지점(d)을 상위 레이어 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정하는 제 4단계를 포함할 수 있다.
상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는, 상기 제 3단계에서 계산된 차이값(d-D)이 영보다 작은 값을 가질 경우에는 현재 레이어에서 d에서 D 사이의 영역은 상위 레이어의 시계열 경계지점(D) 또는 상위 레이어 경계지점(D) 다음 영역에 포함되는 것으로 설정할 수 있다.
상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는,
상기 제 3단계에서 계산된 차이값(d-D)이 영 이상인 값을 가질 경우에는 현재 레이어에서 d에서 D 사이의 영역은 상위 레이어의 시계열 경계지점(D) 또는 상위 레이어 경계지점(D) 이전 영역에 포함되는 것으로 설정할 수 있다.
상기 본 발명의 또 다른 목적은 계층적으로 직교화된 주소가 포함된 구조광을 인코딩하여 대상 물체에 조사하는 투사 장치와, 상기 대상 물체에 조사된 광을 수신하는 영상 수신 장치 및 영상 수신 장치로부터 수신된 영상으로부터 영상 수신 장치의 각 화소에 대응되는 구조화된 광의 주소를 디코딩하여 대상 물체의 3차원 영상 깊이를 연산처리하는 연산처리장치를 포함하는 3차원 거리 영상 측정 시스템에 있어서, 상기 연산처리장치는 계층간 동일한 위치에 인코딩된 경계선들을 인식하고, 상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 과정을 수행한다. 상기 경계선 상속 과정은 현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하고, 시계열적으로 인식되는 시계열 경계지점(D)을 획득하고, 인식경계지점(d)에서 시계열 경계지점(D)의 차이값(d-D)을 구하고, 상기 구해진 상기 차이값이 △d 범위 내에 포함되는 경우에는 인식 경계지점(d)을 시계열 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정할 수 있다. 상기 경계선 상속 과정은 상위 레이어에서 인식된 상위 레이어 경계지점(D)을 획득하고, 현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하고, 인식 경계지점(d)에서 상위 레이어 경계지점(D)의 차이값(d-D)을 구하고, 상기 제 3단계에서 구해진 차이값이 △d 범위 내에 포함되는 경우에는 인식 경계지점(d)을 상위 레이어 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정할 수 있다.
본 발명에 따른 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템은 투사 수단에서 제공되는 계층화된 광의 주소를 계산함에 있어서 실질적인 경계영역을 산출하고, 이를 시계열적으로 파악되는 경계지점과 비교하고, 양자간의 차이가 일정한 범위 내에 존재하는 경우 상위 레이어에 존재하는 경계지점과 일치시킴으로써 3차원 거리 영상 생성 오류를 줄일 수 있게 되었다.
본 발명은 조사된 구조광의 패턴의 경계선을 영상면의 실 좌표계를 기반으로 정확하게 찾는 방법에 관한 것으로서, 물체 표면의 반사와 무관하게 경계선을 찾고, 낮은 반사(poor radiance) 환경에서 참 경계선과 거짓 경계선을 명확하게 분류할 수 있으며, 다른 계층에 있는 경계선을 상속을 통한 정확도를 높일 수 있다.
도 1은 구조 광 기반의 3차원 거리 영상 측정 시스템의 원리를 설명하기 위한 개략도.
도 2는 계층적으로 직교화된 광을 투사 영역에 3계층으로 계층화하여 투사하는 투사광을 보여주는 예시도.
도 3은 본 발명에 따른 영역 기반 주소 할당 계층화된 구조광을 이용하는 3차원 영상 거리 측정 시스템 구조도.
도 4a는 (a) i번째 위치에서의 픽셀 값들의 신호, (b) 직교 매트릭스를 곱함에 의한 신호 분리, (c) 일 세트의 확률 코드(a set of probable codes) 선택, 및 (d) 정확한 주소의 디코딩을 포함하는, HOC 기반 신호 디코딩 프로세스의 개념적 설명.
도 4b는 본 발명에 따른 계층화된 구조광을 디코딩하는 흐름을 보여주는 흐름도.
도 5는 영상 수신 장치 측 그림자 영역을 설명하기 위한 설명도.
도 6은 투사 장치 측 그림자 영역을 설명하기 위한 설명도.
도 7a는 레이어 k 및 k+1에서의 경계 및 HOC 패턴의 신호를 나타낸다.
도 7b는 하나의 레이어에서의 영역 정의 과정을 나타낸다.
도 7c는 HOC 및 해당되는 주소들을 나타낸다.
도 7d는 상속 원리를 보여주며, 하위 레이어내의 각각의 서브 영역은 상위 레이어내의 글로벌 대응 부분(global correspondence)을 상속하여 자신의 대응 부분을 업데이트한다.
도 7e은 합성 경계 좌표를 작성하는 예를 도시한 설명도.
도 8은 상속된 합성 경계 좌표를 작성하는 예를 도시한 설명도.
도 9는 영상 수신 장치에서 획득한 상위 레이어와 하위 레이어의 경계가 서로 일치하지 않는 경우를 나타내는 블록 설명도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 3은 본 발명에 따른 영역 기반 주소 할당 계층화된 구조광을 이용하는 3 차원 영상 거리 측정 시스템 구조를 도시한 것이다. 본 발명에 따른 3차원 영상 거리 측정 시스템은 계층적으로 직교화된 주소가 포함된 구조광을 인코딩하여 대상 물체에 조사하는 투사 장치(110)와, 대상 물체에 조사된 광을 수신하는 영상 수신 장치(150)와, 영상 수신 장치(150)로부터 수신된 영상으로부터 영상 수신 장치(150)의 각 화소에 대응되는 구조화된 광의 주소를 디코딩하여 대상 물체(100)의 3차원 영상 깊이를 연산처리하는 연산처리장치(170)로 구성된다. 투사 장치(110), 영상 수신 장치(150) 및 연산처리장치(170)로 구성되는 본 발명의 3차원 영상 거리 측정 시스템은 3차원 계측 시스템, 품질 검사 시스템, 로봇 시스템 등에 적용될 수 있다.
2.A. 구조 광 패턴(Structured Light Pattern)
이전의 작업 [paper A](S. Lee, J. Choi, D. Kim et al., "Signal Separation Coding for Robust Depth Imaging Based on Structured Light.", Proceedings of the IEEE International Conference on Robotics and Automation, 2005, pp. 4430-4436.)에서는, HOC (Hierarchical Orthogonal Coding)라는 구조적인 광 패턴을 개발하였으며, 여기에서는 코드 길이를 줄이기 위하여 직교 코드들은 계층적으로 배열된다. 코드 신호들의 길이 f는 몇 개의 레이어들 L로 분할되며, 각각의 레이어는 도 2에 재귀적으로 도시된 바와 같이 H 직교 코드들을 포함한다. HOC 내의 신호 코드들은 비록 직교이지 않더라도, 각각의 레이어는 일 조(a set)의 직교 코드들을 가진다. 더 자세한 사항은 [paper A]를 참조한다.
예를 들어, HOC가 4개의 레이어(L=4)를 가지고 있고 각 레이어 내의 직교 코드들의 개수도 또한 4개(H1 = H2 = H3 = H4 = 4)라고 가정한다. 이 경우, 신호 코드를의 총 개수는 256(H1 X H2 X H3 X H4 = 256)이며, 코드 길이는 16(H1+H2+H3+H4 = 16)이다. 즉, 상기 신호들의 디코딩 어드레스들을 위해서 16 프레임의 카메라 이미지가 필요하다.
HOC 패턴들의 디코딩 프로세스는, 도 4a에 도시된 바와 같이, 아래와 같다. 도 4a는 (a) i번째 위치에서의 픽셀 값들의 신호, (b) 직교 매트릭스를 곱함에 의한 신호 분리, (c) 일 세트의 확률 코드(a set of probable codes) 선택, 및 (d) 정확한 주소의 디코딩을 포함하는, HOC 기반 신호 디코딩 프로세스의 개념적 설명한다.
i번째 픽셀 위치에서, 각 레이어는 4개의 패턴으로부터 일단의 픽셀 세기(a set of pixel intensity) yi = (I1; I2; I3; I4)T를 가진다. 상기 신호들은 yi에 직교 매트릭스: ci = Xyi를 곱함으로써 분리되며, 그 다음 ci를 위한 확률 코드(probable code)를 선택한다. 모든 레이어들에 대해 반복한 후, 일단의 확률 코드(probable code)를 가지게 되고, 그 다음 정확한 주소를 디코딩한다.
그러나, 이러한 디코딩 방법은 대상 물체의 표면 반사율의 변화에 민감하며, 특히 상기 패턴들의 경계들에서 민감하며, 광 스트라이프(light stripes)의 정확한 경계들은 찾기가 어려우므로 3D 영상 거리(depth) 측정이 충분히 정확하지 못하다.
2.B.1. 정확한 스트라이프 경계 추정(Accurate Stripe Boundary Estimation)
스트라이프 경계 추정(Stripe Boundary Estimation)
스트라이프 경계(stripe boundary)를 정확히 추정하는 것은 구조 광 3D 카메라 시스템에서 3D 영상 거리(depth) 측정을 개선하는데 있어서 중요하다. 투사장치 대응(projector correspondence)은 카메라 이미지들상의 광 스트라이프들(light stripes)의 경계들에 관하여 계산되기 때문이다.
정확한 경계 추정을 설계에 관한 이전의 작업 [paper B](S. Lee, L.Q. Bui, "Accurate estimation of the boundaries of a structured light pattern," J. Opt. Soc. Am. A, vol. 28, no. 6, 2011, pp. 954-961)의 결과를 여기서 채택한다.
카메라 이미지내의 캡쳐된 광 스트라이프 신호(captured light stripe signal) fs(x)는 아래와 같이 모델링 될 수 있다.
Figure pat00003
(1)
여기서, fs(x)는 카메라 이미지 내의 캡춰된 광 스트라이프 신호이고, fc(x)는 광 패턴의 표준 형식(canonical form of light pattern)이며, A(x)는 환경광(ambient light)이고, gp(x,σp)는 블러 반경(blur radius) σp 를 가진 x 위치에서의 투사 장치 렌즈들의 가우시언 블러 커널(Gaussian blur kernel)이며, gc(x,σc)는 블러 반경(blur radius) σc를 가진 x 위치에서의 카메라 렌즈들의 가우시언 블러 커널(Gaussian blur kernel)이다. s(x)는 투사 장치 조명을 위한 패턴으로서, 스텝 함수(step function)이다.
Figure pat00004
심볼
Figure pat00005
는 컨볼루션 연산자를 나타낸다. 식 (1)에서, 투사 장치 및 카메라렌즈들에 관련된 두개의 블러링(blurring) 프로세스들은 각각의 블러 커널들(blur kernels), gp(x,σp) 및 gc(x,σc)과의 컨볼루션으로서 모델링된다. 상기 블러 커널들(blur kernels), gp(x,σp) 및 gc(x,σc)은 선택되어 gp(x,σp) 및 gc(x,σc)와의 정규화된 가우시안 함수가 되며, 그들 각각의 (중심, 변이)의 쌍을 나타낸다:
Figure pat00006
여기서, i는 p 또는 c이다. R(x)는 x에서의 로컬 표면(local surface)의 반사 인덱스이며,
Figure pat00007
는 환경 광(ambient light)이고, W(x)는 이미지 센서의 잡음을 나타낸다.
또한, 각각의 전부-밝음(all-bright) 및 전부-어두움(all-dark) 패턴 투영들[즉, s1(x) = H 및 s0(x) = L]에 대응되여 상기 이미지상에 캡쳐된 광 패턴들:
Figure pat00008
X에 대응되는 로컬 표면에 부디치는(hitted) 상기 투영장치로부터의 광의 양(amount of light)은 아래와 같이 추정될 수 있다.
Figure pat00009
(2)
여기서, "deconvlucy"는 de-convolution의 계산을 위해 선택한Richardson-Lucy de-convolution 연산자를 의미한다([paper c] (W. H. Richardson, "Bayesian-Based Iterative Method of Image Restoration," J. Opt. Soc. Am. A, vol. 62, 1972, pp. 55-59.) and [paper d](L. B. Lucy, "An iterative technique for the recti_cation of observed distributions," As-tronomical Journal, vol. 79, 1974, pp. 745-754.). σc 는 블러 반경(blur radius)이고, fo(x)는 블랙 패턴(black pattern)이 투영될 경우 캡춰된 이미지이고, f1(x)는 화이트 패턴(white pattern)이 투영될 경우 캡춰된 이미지이고, H는 패턴 이미지의 최대 세기(예를 들어, 여기서는 255)이고, L은 패턴 이미지의 최소 세기(예를 들어, 여기서는 0)이다.
또한, 광 패턴의 표준 형식(canonical form of light pattern), fc(x)는 식 (2)에 의해 계산되며 A(x) 뿐만 아니라 R(x)에 의해 손상된 fs(x)의 에지들(edges)을 교정하는 것으로 간주되며, 그 결과, s(x) 내에 구현된 진정한 경계를 복구하는 수단을 제공한다. 광 패턴의 표준 형식을 그 역 패턴과 교차(intersecting)시킴으로써 광 패턴의 경계들을 추정한다. 자세한 사항은 paper B를 참조한다.
HOC 패턴들의 각각의 레이어에서는, 현재 패턴 내의 광 스트라이프는 다음 패턴내의 광 스트라이프와 공통 경계(common boundary)를 공유한다. 따라서, 동일한 레이어 내의 두개의 연속적인 패턴들은 하나의 패턴 및 그 역 패턴으로 간주될 수 있고, 그 결과, 상기 제안된 경계 추정 방법은 정확한 스트라이프 경계들을 찾는데 적용된다. 실험에서는, 16 HOC 패턴들 및 두개의 추가적인 블랙 및 화이트 패턴들을 사용하였다.
참 및 거짓 경계간의 분명한 차이점 보여주기(Disambiguating Between True and False Boundaries)
위에서 기술된 스트라이프 경계 추정 방법은 낮은 반사율 영역들 또는 그림자영역 근처에서 잘못된 경계(wrong boundaries)를 생성할 수 있다. 여기서, 경계 선택을 위한 두개의 제안을 한다: 검출된 경계는 아래의 조건을 만족하면 진짜(true)이다:
1. 경계를 찾기 위한 위치에서의 정규화된 에지가 하강 에지 또는 상승 에지에 있어야 하고, 그리고
2. 상기 하강 에지 또는 상승 에지(교차점에서는 아님)간의 차이가 상기 위치에서의 잡음 레벨보다는 커야 한다.
상기 요구 조건을 만족하지 않는 경계는 잡음으로 분류되어 폐기(rejected)될 것이다.
기준 1에서, 정규화된 에지, fs(x)는 대상 물체의 표면 반사율 특성에 대한상기 캡춰된 신호의 의존성을 제거하기 위하여 전부-밝음(all-bright) 및 전부-어두움(all-dark) 신호들에 의해 정규화된 스트라이프 신호이다:
Figure pat00010

도 4b는 본 발명에 따른 계층화된 구조광을 디코딩하는 흐름을 보여주는 흐름도이다. 투사장치에서 투사되는 4개 레이어로 구성된 16 패턴을 갖는 8비트의 HOC(HIERARCHICAL ORTHOGONAL CODING) 구조광을 투사하고, 영상 수신 장치는 640*480 화소를 갖는다고 가정하기로 한다. 단, 본 발명에서는 투사되는 광에 주소를 인코딩하고, 영상 수신 장치(150)에서 수신된 광으로부터 해당 주소를 디코딩하는 계층화된 직교 방식(HOC)에 대해서는 전술한 대한민국 등록특허 제10-0588296호에 제시되어 있고, 본 발명의 주요 특징이 아니므로 이에 대한 설명은 생략하기로 한다.
먼저 행을 계산하기 위한 변수(Low)와 레이어를 계산하기 위한 변수(Layer)에 초기값을 할당한다(st100). 수신된 영상이 최종 레이어가 아니거나(st110) 행이 최종 행이 아닌 경우(st120) st140 내지 st200 단계에 의해 수행되는 경계선 설정 단계를 수행한다.
수신된 영상에서 영상 수신 장치상의 그림자(shadow) 영역의 경계 및 투사장치상의 그림자(shadow) 영역 경계를 파악하고(st140), 영상 수신 장치에 의해 인식되는 현재 레이어의 경계지점(d)와 시계열적 경계지점(D)을 파악하고(st150), d-D 값을 연산하고(st155), st140 및 st150 단계에서 파악된 경계지점을 표시한다(st160). 단계 st155에서 파악된 값이 △d 값 이하를 가질 경우에는 시계열적으로 파악된 경계지점에 따라 영상 수신 장치에서 파악된 경계지점을 일치시킨다(st165 및 st170).
수신된 영상이 첫번째 레이어가 아닐 경우(st175)에는 투사 장치의 주소를 계산하기 위해 상위 레이어의 상속 주소를 파악하고(st180), 파악된 상위 레이어 상속 주소에 현재 레이어의 주소를 더한 후(st190), 이를 업데이트 하여 영상 수신장치에 의해 수신된 영상의 주소에 대응되는 투사 장치의 주소를 저장하면(st200) 경계선 설정 단계가 완료된다.
st140 내지 st200 단계를 수행한 후, 행 변수(row)를 '1' 증가시키고(st210), 수신되는 영상의 다음 행에 대해 st140 내지 st200 단계를 마지막 행까지 반복 수행한다. 하나의 레이어에 대한 경계선 설정 단계가 완료되면 레이어 변수(layer)를 '1' 증가시켜(st130) 다음 레이어의 모든 행에 대해 순차적으로 경계지점 설정 단계를 수행한다. 최종 레이어의 모든 행에 대한 경계선 설정 단계가 완료되면 종료한다.
1. 영상 수신 장치 측 그림자 영역
투사 장치(110)에서 투사되는 광이 조사되는 대상 물체(100)의 표면이 도 5에 도시된 굴곡 형상을 갖는다고 가정하면, 투사 장치(110)에서 조사된 광은 대상 물체(100)의 표면 영역 중에서 B~C 영역 상에는 도달하지 않는다. 따라서 투사 장치(110)로부터 어떠한 패턴이 인가되더라도 영상 수신 장치(150)에서는 B~C 영역에 는 배경과 같은 항상 동일한 조도가 할당되므로 그림자 영역으로 파악되며, B~C 영역과 같은 영역을 영상 수신 장치 측 그림자 영역이라 정의하기로 한다. 해당 영상 수신 장치 측 그림자 영역은 투사 장치(110)에서 조사되는 광의 패턴이 변경되더라도 영상 수신 장치에서 항상 동일한 조도가 수신되는 영역을 파악함으로써 손쉽게 파악할 수 있다.
이를 좌표상으로 도시하면 대상 물체의 굴곡면 A ~ D 영역은 투사 장치(110)에서는 하부에 도시된 좌표와 같이 X1 ~ X2의 연속된 영역으로 인식하나,영상 수신 장치(150) 측에서는 하부에 도시된 좌표와 같이 Y1, Y2, Y3, Y4 영역으로 구분하여 표시된다.
2. 투사 장치 측 그림자 영역
투사 장치(110)에서 투사되는 광이 조사되는 대상 물체(100)의 표면이 도 6에 도시된 굴곡 형상을 갖는다고 가정하면, 투사 장치(110)에서 조사된 광은 대상 물체(100)의 표의 전체 영역에 조사되나, 영상 수신 장치(150)에서는 B ~ C 사이 영역에 조사되는 광을 수신할 수 없게 된다. 즉, 영상 수신 장치(150)에서는 대상 물체(100)의 B 지점과 C 지점을 동일한 영역으로 간주하게 되나 해당 지점에서 예상치 못한 패턴의 변화가 발생하게 되며, 도 6상의 B~C 영역과 같은 영역을 투사 장치 측 그림자 영역이라 정의하기로 한다. 투사 장치 측 그림자 영역은 영상 수신 장치(150)에서는 예상치 못한 패턴의 불규칙성이 발생하는 영역을 파악함으로써 손쉽게 파악할 수 있다.
이를 좌표상으로 도시하면 대상 물체의 굴곡면 A ~ D 영역은 투사 장치(110)에서는 하부에 도시된 좌표와 같이 X1, X2, X3 및 X4의 구분된 영역으로 인식하나, 영상 수신 장치(150) 측에서는 하부에 도시된 좌표와 같이 연속된 Y1 ~ Y4 영역으로 표시된다.
2.C. 경계 상속(Boundary Inheritance)
HOC의 서로 다른 레이어들 내의 경계들은 계층 관계들을 가지고 있다. 레이어 k내의 각각의 경계는 하위 레이어 k+1과의 공통 경계이다. 더 나아가, 상위 레이어내의 광 스트라이프는 하위 레이어 보다 4배 더 크며, 이는 상위 레이어내의 경계들이 하위 레이어내의 경계들보다 좀 더 추정이 잘 되며 좀 더 로버스트(robust)함을 의미한다. 따라서, 하위 레이어 내의 공통 경계들은 상위 레이어로부터 상속되며 좀 더 정확하고 로버스트하다. 도 7a는 레이어 k 및 k+1에서의 경계 및 HOC 패턴의 신호를 나타낸다. 상위 레이어 내의 공통 경계들은 하위 레이어로 상속된다. 도 7a에 도시된 바와 같이, 레이어 k+1내의 경계
Figure pat00011
는 상위 레이어 k내의 경계
Figure pat00012
로부터 상속되며, 경계
Figure pat00013
는 경계
Figure pat00014
로부터 상속된다.
상기 경계 상속은 Ray-Tracing codec을 좀 더 정확하고 로버스트하게 만들뿐만 아니라, 거짓(false) 경계들을 검출하고 제거하는데 도움이 되며, 그 결과, 서로 다른 레이어들내의 공통 경계들을 체크함으로서 아웃라이어들(outliers)의 개수를 줄일 수 있다: 레이어 k내의 하나의 경계가 하위 레이어 k+1과의 공통 경계가 아니라면 그것은 거짓 경계이며, 그것은 제거될 것이다.
2.D. 대응 상속(Correspondences Inheritance)
2.D.1. 영역 정의(Defining Regions)
2.B 섹션에서 기술된 것처럼, 모든 경계들을 검출한 후에는, 각 레이어내에 영역들을 정의하며, 각 영역은 도 7b에 도시된 바와 같이 두개의 연속적인 경계들로 형성된다. 도 7b는 하나의 레이어에서의 영역 정의 과정을 나타낸다. 고려할 필요가 있는 두개의 맵이 있다: 카메라 이미지내의 경계들의 맵 및 투사 이미지 내의 경계들의 맵.
캡춰된 패턴 이미지들로부터, 각 레이어내에서, Y1, Y4, Y5 및 그림자 경계들(shadow boundaries) Y2, Y3을 포함하는 모든 경계들을 검출할 수 있다. 이러한 모든 경계들은 맵에 표시된다. 또한, 캡춰된 패턴 이미지들로부터, 각 레이어내에서,각 픽셀에 대한 대응(the correspondence for each pixel)을 계산할 수 있다[paper A]. 이미지의 행(row)를 따라서, 경계라고 불리우는 위치들(positions)을 검색하며, 여기서 상기 픽셀 대응값(pixel correspondence value)은 변한다; 투사 이미지내의 스트라이프 X1, X2, X5의 경계와 그림자(shadow) X3 및 X4의 경계들을 얻는다. X1, X2, X5는 투사 이미지내의 블랙 및 화이트 프린지(black and white fringes)이며, 카메라 이미지내의 대응 위치들(corresponding positions)은 각각 Y1, Y4, Y5이다.
도 5에 도시된 바와같이, 두개의 경계 맵을 조합함으로서 두개의 연속되는 경계들이 영역을 포함하는 영역 맵을 얻는다. 여기서, A1 = Y1, A4 = Y4, A6 = Y5; and B1 = X1, B3 = X2, B6 = X5이다. 카메라 이미지 내의 그림자 영역 [Y2,Y3]에 대하여, 투사 이미지내의 대응 영역은 단지 한 개의 픽셀이다, 그래서 A2 및 A3는 동일한 대응 값(correspondence value) B2를 가진다. 동일한 방식으로, 투사 이미지 내의 그림자 영역 [X3,X4]에 대하여, 카메라 이미지내의 대응 영역은 단지 한 개의 픽셀이며, 그래서 B4, B5 는 동일한 대응 값(correspondence value) A5를 가진다.
2.D.2. 영역 대응 상속에 의한 디코딩(Decoding by Region Correspondence Inheritance)
HOC 설계에 의하면, 각 레이어는 로컬 대응(local correspondences)을 가진 영역을 가진다. 도 7c에 도시된 바와 같이, 이러한 영역들의 각각은 다음 레이어에서 4개의 서브-영역들로 나누어진다. 도 7c는 HOC 및 해당되는 주소들을 나타낸다. 디코딩 대응(decoding correspondence)의 아이디어는 픽셀-와이즈 대응(pixel-wise correspondence) 대신에 영역-와이즈 대응(region-wise correspondence)을 사용한다. 레이어 k+1내의 각 영역의 대응(correspondence)은 상위 레이어 k 내의 포함 영역(containing region)으로부터의 대응(correspondence)을 상속한다. 상속은 도 7d에 기술되어 있다. 도 7d는 상속 원리를 보여주며, 하위 레이어내의 각각의 서브 영역은 상위 레이어내의 글로벌 대응 부분(global correspondence)을 상속하여 자신의 대응 부분을 업데이트한다.
예를 들어, 주소 4를 가진 레이어 k+1내의 영역 b는 주소 16을 가지고 상위레이어 k내의 영역 A내에 있으며, 그 결과, 상속 영역 Ab의 대응(correspondence)은 16+4=20이다. 이러한 절차는 첫번째부터 마지막 레이어까지 반복되며, 마지막 레이어내의 상기 영역들의 대응(correspondence)은 상기 구조 광 패턴 디코딩 프로세스의 출력이 될것이다.
3. 병합 좌표 생성
영상 수신 장치 측 그림자 영역과 투사 장치 측 그림자 영역이 파악되면, 이를 하나의 영역 좌표 상에 표시한다. 도 7e은 합성 경계 좌표를 작성하는 예를 도시한 설명도이다. 우선 영상 수신 장치에서의 경계지점을 표시하며, 이때 영상 수신 장치 측 그림자 영역을 함께 표시한다. 다음으로 투사 장치에서의 경계지점을 표시하며, 이때 투사 장치 측 그림자 영역을 함께 표시한다. 도 7e은 영상 수신 장치에서 그림자 영역이 Y2~Y3 사이에 존재하고, 투사 장치에서 그림자 영역이 X2~X3 사이에 존재하는 것을 표시한다. 이를 합성 좌표에 통합하여 표시한다. 합성 좌표 상측에는 영상 수신 장치의 경계 좌표를 도시하고, 하측에는 투사 장치의 경계 좌표를 나타내었다. 영상 수신 장치 측 그림자 영역에서는 상측에 표시된 영상 수신 장치의 경계 좌표는 Y3, Y4로 경계임으로 표시되는데 비하여 하측에 표시된 투사 장치의 경계 좌표는 X4로 동일한 경계로 나타남을 알 수 있다. 이와 유사하게 투사 장치 측 그림자 영역에서는 상측에 표시된 영상 수신 장치의 경계 좌표는 Y2로 경계 구분이 없는 것으로 표시되는데 비하여 하측에 표시된 투사 장치의 경계 좌표는 X2, X3로 구분되는 경계임을 나타낸다.
4. 상속 좌표 생성
본 발명에서 대상으로 하는 HOC 알고리듬은 상위 레이어의 하나의 영역을 하위 레이어에서 몇 개의 영역으로 구분하여 주소를 적용하는 알고리듬이다. 도 8에 도시된 바와 같이 상위 레이어에서는 영상 수신 장치 영역 경계 주소가 Y1 ~ Y5를 갖는 영역을 하위 레이어에서는 y2, y4, y7, 및 y8 영역을 새롭게 추가하여 세부 영역으로 구분하여, y1 ~ y8 영역을 갖게 되었으며, 이를 투사 장치 영역 경계 주소로 살펴 보면, 상위 레이어에서는 투사 장치 영역 경계 주소가 X1 ~ X5를 갖는 영역을 하위 레이어에서는 x2, x5, x7, 및 x8 영역으로 세부적으로 분할하여 x1 ~x8 영역을 갖도록 세분하였다.
상속 좌표에서 하위 레이어의 투사 장치 경계 주소는 상위 레이어의 투사 장치 경계 주소를 상속함을 알 수 있다. 예를 들어 설명하면 하위 레이어 x3 주소는 상부 레이어 X2 주소에 하위 레이어의 주소 x3를 더한 값으로 계산된다.
5. 디코딩 에러 검증
도 9는 영상 수신 장치에서 획득한 상위 레이어와 하위 레이어의 경계가 서로 일치하지 않는 경우를 나타내는 블록 설명도이다. 도 9는 4개의 레이어로 구성되고, 각 레이어가 4개의 패턴으로 형성되며 전체 256개 주소를 갖는 HOC 알고리듬을 사용하는 것으로 가정하기로 한다. 그리고 도 9(a)는 첫 번째 레이어를 도시하고, 도 9(b) 및 도 9(c)는 두 번째 레이어를 도시한 것으로 가정하기로 한다. 도 9(a)는 HOC 알고리듬에서 상위 레이어에 주소가 할당되는 방식을 설명한 도이고, 도 9(b) 및 도 9(c)는 HOC 알고리듬에서 하위 레이어에 주소가 할당되는 방식을 설명한 설명도이다. HOC 알고리듬을 적용하여 3차원 영상을 획득하는 종래 디코딩 알고리듬은 상위 레이어와 하위 레이어의 경계를 정확한 타이밍에 따라 경계를 정하고 있다. 도 9에서는 종래 방식에 따라 시계열적으로 파악되는 각 레이어상 경계를 점선(D)으로 도시하고, 영상 수신 장치에서 인식되는 각 레이어상 경계를 실선(d)으로 도시하였다.
도 9의 예에서 상위 레이어는 A 영역에는 이진 주소로 '1000'이 할당되며 십진 주소로 '1'이 할당되고, B영역에는 이진 주소로 '0100' 이 할당되며 십진 주소로 '2'이 할당되고, C영역에는 이진 주소로 '0010'이 할당되며 십진 주소로 '3'이 할당되고, D영역에는 이진 주소로 '0001'이 할당되며 십진 주소로 '4'가 할당된다.
하위 레이어에서는 상위 레이어의 각 영역이 4개 영역으로 세분화되면서 각각 십진 주소로 1 ~ 4까지가 할당된다.
이론적으로는 상위 레이어와 하위 레이어의 경계는 정확히 일치하여야 하지만 실질적으로 영상 수신 장치에서 획득되는 경계는 대상 물체 표면의 기하학적 형상 또는 표면의 질감 등에 의해 상위 레이어의 경계와 하위 레이어의 경계는 정확히 일치하지 않는 문제가 발생된다. 예를 들어 도 9의 경우 상위 레이어의 A 영역과 B 영역의 경계지점이 하위 레이어와 정확히 일치하여야 하나 도 9(b)에 도시된 바와 같이 영상 수신 장치에서는 대응되는 하위 레이어의 경계지점으로 인식되는 경계(d)가 왼쪽으로 이동되거나 또는 도 9(c)에 도시된 바와 같이 영상 수신 장치에서는 대응되는 하위 레이어의 경계로 인식되는 경계지점(d)이 오른쪽으로 이동할수 있다.
우선 도 9(b)와 같이 하위 레이어에서 경계지점이 인식되는 경우 종래 디코딩 방식에 따라 디코딩을 처리할 경우 에러량에 대해 설명하기로 한다. 이를 설명하기 위해 도 9의 예시에서 레이어 a (a는 1이상이며 4이하인 값이 할당 가능함)에 속한 하나의 영역이 b (b는 십진수로 1부터 4까지의 값이 할당 가능함) 주소로 인코딩될 경우, 각 레이어에서 영역의 주소는 수학식 1에 의해 구해진다.
Figure pat00015
도 9에 따르면 상위 레이어 영역 A는 이진수 1000 (십진수 1)으로 인코딩된다. 종래 디코딩 방식에 따르면 상위 레이어와 시계열적 타이밍에 의해 일치시키는 경계지점(D)과 영상 수신 장치에서 인식되는 경계지점(d) 사이 영역은 A 영역에 속하는 것으로 디코딩된다. 하위 레이어의 d~D 사이에 놓여지는 영역은 상위 레이어의 십진값 1에 속하는 영역에 포함되고, 하위 레이어의 십진값 1에 속하는 영역에 포함되므로 수학식 2와 같이 '0'으로 산출된다.
Figure pat00016
실제 d~D 사이에 놓여지는 영역의 주소는 대략 64에 가까운 값을 가져야 하
지만 종래 디코딩 방식에 의하면 하위 레이어의 d~D 사이에 놓여지는 영역은 상위 레이어 A 영역(십진수로 1)에 속하면서 주소로 0을 갖는 주소로 인식되므로 상당한 에러량을 보이게 된다.
이에 비해 본 발명에 따른 디코딩 방식에 따라 경계지점을 설정하는 방식에 설명하기로 한다. 현재 레이어에서 영상 수신 장치에 의해 인식되는 경계지점(d)과 시계열적 구분에 의한 가상의 경계지점(D)을 구한 후, 양 경계의 차이값(d-D)이 △d 범위 내에 들어가는 값인지 여부를 판단한다. △d 범위 내에 포함될 경우에는 영상 수신 장치에 의해 인식되는 경계지점(d)과 시계열적 구분에 의한 가상의 경계 지점(D)을 동일한 경계로 인식하고 현재 레이어의 주소를 계산한다. 예를 들어 설명하면, 도 9(b)의 경우 현재 레이어에서 영상 수신 장치에 의해 인식되는 경계(d)와 시계열적 구분에 의한 가상의 경계(D)를 일치시키면 d~D 사이의 영역은 상위 레이어의 십진값 2 영역에 해당하고, 현재 레이어에서는 십진값 1에 해당하는 것으로 간주할 수 있으며 이때 주소는 수학식 3과 같이 구해진다.
Figure pat00017
즉, 본 발명에서는 도 9(b)에서 'd-D' 연산값이 0보다 작은 값을 가지므로 d~D 영역이 속하는 상위 레이어 영역은 시계열적 경계(D) 이후의 영역에 포함되는 것으로 해석하고, 현재 레이어 영역은 인식된 그대로 적용하는 것으로 설정한다.
상기 설명에서 본 발명에 따른 디코딩 방식에서는 영상 수신 장치에 의해 인식되는 경계지점(d)과 시계열적 구분에 의한 가상의 경계지점(D)을 이용하는 것으로 설명하였으나, 시계열적 구분에 의한 가상의 경계지점(D) 대신에 상위 레이어의 경계지점을 사용하여 계산할 수 있음은 물론이다.
다음으로, 도 9(c)에 도시된 바와 같이 영상 수신 장치에서는 대응되는 하위 레이어의 경계로 인식되는 경계지점(d)이 오른쪽으로 이동되는 경우에 대해 설명하기로 한다.
우선 도 9(c)와 같이 하위 레이어에서 경계지점이 인식되는 경우 종래 디코딩 방식에 따라 디코딩을 처리할 경우 발생되는 에러량에 대해 설명하기로 한다.
도 9에 따르면 상위 레이어 영역 A는 이진수 1000 (십진수 1)로 인코딩된다.
종래 디코딩 방식에 따르면 상위 레이어와 시계열적 타이밍에 의해 일치시킨 경계지점(D)과 영상 수신 장치에서 인식되는 경계지점(d) 사이 영역은 B 영역에 속하는것으로 디코딩된다. 하위 레이어의 d~D 사이에 놓여지는 영역은 상위 레이어에서 십진값 2에 해당하는 영역이고, 하위 레이어의 십진값 4에 속하므로 수학식 4와 같이 '112' 주소로 산출된다.
Figure pat00018
실제 D~d 사이에 놓여지는 영역의 주소는 대략 48값을 가져야 하지만 종래 디코딩 방식에 의하면 하위 레이어의 D~d 사이에 놓여지는 영역은 상위 레이어 B 영역에 속하면서 주소로 112을 갖는 주소로 인식되므로 상당한 에러량을 보이게 된다.
이에 비해 본 발명에서는 현재 레이어에서 영상 수신 장치에 의해 인식되는 경계지점(d)과 시계열적 구분에 의한 가상의 경계지점(D)을 구한 후, 양 경계의 차이값(d-D)이 △d 범위 내에 들어 있는 값인지 여부를 판단한다. △d 범위 내에 포함될 경우에는 영상 수신 장치에 의해 인식되는 경계지점(d)과 시계열적 구분에 의한 가상의 경계지점(D)을 동일한 경계로 인식하고 현재 레이어의 주소를 계산한다.
예를 들어 설명하면, 도 9(b)의 경우 현재 레이어에서 영상 수신 장치에 의해 인식되는 경계지점(d)과 시계열적 구분에 의한 가상의 경계지점(D)을 일치시키면 D~d사이의 영역은 상위 레이어의 십진값 1 영역에 해당하고, 현재 레이어에서는 십진값 4에 해당하는 것으로 간주할 수 있다.
Figure pat00019
즉, 본 발명에서는 도 9(c)에 도시된 바와 같이 'd-D' 연산값이 0 이상의 값을 가지므로 d~D 영역이 속하는 상위 레이어 영역은 시계열적 경계지점(D) 이전의 영역에 포함되는 것으로 해석하고, 현재 레이어 영역은 인식된 그대로 적용하는 것으로 설정한다.
상기 설명에서 본 발명에 따른 디코딩 방식에서는 영상 수신 장치에 의해 인식되는 경계지점(d)과 시계열적 구분에 의한 가상의 경계지점(D)을 이용하는 것으로 설명하였으나, 시계열적 구분에 의한 가상의 경계지점(D) 대신에 상위 레이어의 경계지점을 사용하여 계산할 수 있음은 물론이다.
상기 예에서 △d 값은 경험치에 의해 정해지는 것이 일반적이나 현재 레이어(하위 레이어) 내에서 영역을 구분하는 범위값의 1/2 보다 작은 값을 갖는 것이 좋으며, 적어도 영역을 구분하는 범위값을 벗어나지 않는 범위 내에서 정해져야 한다. 예를 들어 도 9의 경우 제 2 레이어에서 영역을 구분하는 범위값은 16이므로, △d 값은 바람직하게는 8 보다 작게 설정하는 것이 좋으며, 가장 큰 값을 갖도록 설정하더라도 16보다는 작게 설정하여야 한다.
6. 실험 결과
카메라(영상 수신 장치)와 거리를 약 80cm 유지한 체스판에 광을 조사하고 본 발명에 따라 경계선을 보정하는 방식과 종래 시계열적 경계선을 사용하는 방식에 대해 각각 30번 반복하여 3차원 영상 거리 측정을 실시하였다. 3차원 복원에서는 최소 좌성 피팅 기법(least squares fitting technique)을 적용하였으며, 피팅된 평면에 대한 3D 포인트 사이의 평균 거리에 대한 평균값과 분산값 및 복원된 3D 포인트의 평균 수를 표 1에 나타내었다.
Figure pat00020
표 1에 도시한 바와 같이 본 발명의 경우가 종래 기술에 비해 분산값이 적어지는 것으로 파악되는 바와 같이 보다 정확한 결과가 도출됨을 확인할 수 있다.
3.B.2. 양적 평가(Quantitative Evaluation)
HOC 및 GCI, HOC 및 GCI에 기초하여 제안된 Ray-Tracing codecs에 대한 표면 반사에서의 변이 효과 뿐만 아니라 정확성을 평가하였다.
첫번째 실험: 캘리브레이션 블록의 얼굴은 투사장치-카메라 평면에 평행하였다. 표 2에서 볼 수 있듯이, 대략 동일한 개수의 포인트들과 함께, Ray-Tracing codecs의 정확성은 기존의 HOC 및 GCI에 대비하여 매우 향상됨을 알 수 있다.
<Table 2> Errors of Reconstructed 3D Data of the checkerboard surface orthogonal to the camera Using Ray-Tracing codecs based on HOC and GCI, HOC and GCI.
Figure pat00021
두번째 실험: 캘리브레이션 블록의 얼굴은 투사장치-카메라 평면에 대하여 45도 각도만큼 경사를 이루었다. 표 3에서 볼 수 있듯이, 얼굴이 경사졌기 때문에, 투사 패턴들은 수축/팽창되고 그 결과 상기 표면의 카메라 및 투사 장치에 대한 각도에 따라서 에러는 증가/감소되었다. 표 3에서 볼 수 있듯이, 좌측 평면상의 3D 데이터의 에러는 감소되고, 우측 평면상의 3D 데이터의 에러는 증가되었다. 그러나, Ray-Tracing codecs의 정확성은 기존의 방법들에 대비하여 여전히 향상됨을 알 수 있다.
<Table 3> Errors of Reconstructed 3D Data of the checkerboard surface slanted 45 degree to the camera Using Ray-Tracing codecs based on HOC and GCI, HOC and GCI.
Figure pat00022

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

  1. 계층적으로 직교화된 주소 정보가 포함된 구조광을 인코딩하여 대상 물체에 조사하고 이를 촬영한 영상으로부터 해당 주소를 디코딩하여 3차원 영상을 획득하는 계층적으로 직교화된 구조광을 디코딩하는 방법에 관한 것으로서,
    계층간 동일한 위치에 인코딩된 경계선들을 인식하는 단계; 및
    상기 계층간 동일한 위치에 인코딩된 경계선들을 인식하는 단계에서 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계를 포함하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  2. 제1항에 있어서, 상기 계층간 동일한 위치에 인코딩된 경계선을 인식하는 단계는,
    경계선의 위치를 정확히 측정하기 위하여 상이한 대상 물체 표면의 반사 계수를 고려하여 경계선을 보정하는 단계를 포함하는 것을 특징으로하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  3. 제2항에 있어서, 상기 상이한 대상 물체 표면의 반사 계수를 고려하여 경계선을 보정하는 단계는
    Figure pat00023

    Figure pat00024

    (여기서, fs(x)는 카메라 이미지 내의 캡춰된 광 스트라이프 신호이고, fc(x)는 광 패턴의 표준 형식(canonical form of light pattern)이며, A(x)는 환경광(ambient light)이고, gp(x,σp)는 블러 반경(blur radius) σp 를 가진 x 위치에서의 투사 장치 렌즈들의 가우시언 블러 커널(Gaussian blur kernel)이며, gc(x,σc)는 블러 반경(blur radius) σc를 가진 x 위치에서의 카메라 렌즈들의 가우시언 블러 커널(Gaussian blur kernel)이다. s(x)는 투사 장치 조명을 위한 패턴이며, R(x)는 x에서의 로컬 표면(local surface)의 반사 인덱스이며, σc 는 블러 반경(blur radius)이고, fo(x)는 블랙 패턴(black pattern)이 투영될 경우 캡춰된 이미지이고, f1(x)는 화이트 패턴(white pattern)이 투영될 경우 캡춰된 이미지이고, H는 패턴 이미지의 최대 세기이고, L은 패턴 이미지의 최소 세기임)
    를 이용하는 것을 특징으로 하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  4. 제1항에 있어서, 상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는,
    현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하는 제 1 단계;
    시계열적으로 인식되는 시계열 경계지점(D)을 획득하는 제 2단계;
    인식 경계지점(d)에서 시계열 경계지점(D)의 차이값(d-D)을 구하는 제 3단계; 및
    상기 제 3단계에서 구해진 차이값이 △d 범위 내에 포함되는 경우에는 인식 경계지점(d)을 시계열 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정하는 제 4단계를 포함하는 것을 특징으로 하고, 상기 제 1단계 및 상기 제 2단계는 순서와 무관하게 수행되는 것을 특징으로 하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  5. 제1항에 있어서, 상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는,
    상위 레이어에서 인식된 상위 레이어 경계지점(D)을 획득하는 제 1단계;
    현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하는 제 2단계;
    인식 경계지점(d)에서 상위 레이어 경계지점(D)의 차이값(d-D)을 구하는 제 3단계; 및
    상기 제 3단계에서 구해진 차이값이 △d 범위 내에 포함되는 경우에는 인식경계지점(d)을 상위 레이어 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정하는 제 4단계를 포함하는 것을 특징으로 하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  6. 제 4항 또는 제 5항에 있어서, 상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는,
    상기 제 3단계에서 계산된 차이값(d-D)이 영보다 작은 값을 가질 경우에는 현재 레이어에서 d에서 D 사이의 영역은 상위 레이어의 시계열 경계지점(D) 또는 상위 레이어 경계지점(D) 다음 영역에 포함되는 것으로 설정하는 것을 특징으로 하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  7. 제 4항 또는 제 5항에 있어서, 상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 단계는,
    상기 제 3단계에서 계산된 차이값(d-D)이 영 이상인 값을 가질 경우에는 현재 레이어에서 d에서 D 사이의 영역은 상위 레이어의 시계열 경계지점(D) 또는 상위 레이어 경계지점(D) 이전 영역에 포함되는 것으로 설정하는 것을 특징으로 하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  8. 제 4항 또는 제 5항에 있어서,
    상기 △d는 현재 레이어 내에서 영역을 구분하는 범위값보다 작게 설정하는 것을 특징으로 하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  9. 제 8항에 있어서,
    상기 △d는 현재 레이어 내에서 영역을 구분하는 범위값의 1/2 보다 작게 설정하는 것을 특징으로 하는 계층적으로 직교화된 구조광을 디코딩하는 방법.
  10. 계층적으로 직교화된 주소가 포함된 구조광을 인코딩하여 대상 물체에 조사하는 투사 장치와, 상기 대상 물체에 조사된 광을 수신하는 영상 수신 장치 및 영상 수신 장치로부터 수신된 영상으로부터 영상 수신 장치의 각 화소에 대응되는 구조화된 광의 주소를 디코딩하여 대상 물체의 3차원 영상 깊이를 연산처리하는 연산처리장치를 포함하는 3차원 거리 영상 측정 시스템에 있어서,
    상기 연산처리장치는
    계층간 동일한 위치에 인코딩된 경계선들을 인식하고,
    상기 인식된 경계선들을 동일한 경계선으로 변환하는 경계선 상속 과정을 수행하는 것을 특징으로 하는 3차원 거리 영상 측정 시스템.
  11. 제10항에 있어서, 상기 경계선 상속 과정은
    현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하고, 시계열적으로 인식되는 시계열 경계지점(D)을 획득하고, 인식경계지점(d)에서 시계열 경계지점(D)의 차이값(d-D)을 구하고, 상기 구해진 상기 차이값이 △d 범위 내에 포함되는 경우에는 인식 경계지점(d)을 시계열 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정하는 것을 특징으로 하는 3차원 거리 영상 측정 시스템.
  12. 제10항에 있어서, 상기 경계선 상속 과정은
    상위 레이어에서 인식된 상위 레이어 경계지점(D)을 획득하고, 현재 레이어에서 영상 인식으로 파악되는 인식 경계지점(d)을 획득하고, 인식 경계지점(d)에서 상위 레이어 경계지점(D)의 차이값(d-D)을 구하고, 상기 제 3단계에서 구해진 차이값이 △d 범위 내에 포함되는 경우에는 인식 경계지점(d)을 상위 레이어 경계지점(D)과 동일한 경계로 변경하고, 포함되지 않는 경우에는 새로운 경계지점으로 설정하는 것을 특징으로 하는 3차원 거리 영상 측정 시스템.
  13. 제 11항 또는 제 12항에 있어서,
    상기 연산처리장치는 계산된 차이값(d-D)이 영보다 작은 값을 가질 경우에는 현재 레이어에서 주소를 구하고자 하는 영역은 상위 레이어의 시계열 경계지점(D) 다음 영역에 포함되는 것으로 설정하는 것을 특징으로 하는 3차원 거리 영상 측정 시스템.
  14. 제 11항 또는 제 12항에 있어서,
    상기 연산처리장치는 계산된 차이값(d-D)이 영 이상인 값을 가질 경우에는 현재 레이어에서 주소를 구하고자 하는 영역은 상위 레이어의 시계열 경계지점(D) 또는 상위 레이어 경계지점(D) 이전 영역에 포함되는 것으로 설정하는 것을 특징으로 하는 3차원 거리 영상 측정 시스템.
  15. 제 11항 또는 제 12항에 있어서,
    상기 △d는 현재 레이어 내에서 영역을 구분하는 범위값보다 작게 설정하는 것을 특징으로 하는 3차원 거리 영상 측정 시스템.
  16. 제 15항에 있어서,
    상기 △d는 현재 레이어 내에서 영역을 구분하는 범위값의 1/2 보다 작게 설정하는 것을 특징으로 하는 3차원 거리 영상 측정 시스템.
KR1020120066977A 2011-06-22 2012-06-21 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 KR101974651B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110060727 2011-06-22
KR1020110060727 2011-06-22

Publications (2)

Publication Number Publication Date
KR20130000356A true KR20130000356A (ko) 2013-01-02
KR101974651B1 KR101974651B1 (ko) 2019-05-02

Family

ID=47361561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120066977A KR101974651B1 (ko) 2011-06-22 2012-06-21 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템

Country Status (2)

Country Link
US (1) US8724121B2 (ko)
KR (1) KR101974651B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376328A (zh) * 2014-11-17 2015-02-25 国家电网公司 基于坐标的分布型编码标志识别方法及系统
WO2020231747A1 (en) * 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11002537B2 (en) 2016-12-07 2021-05-11 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US11062468B2 (en) 2018-03-20 2021-07-13 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6097282B2 (ja) * 2011-05-24 2017-03-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 構造化された照明を用いる３ｄスキャナ
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
CN103292733B (zh) * 2013-05-27 2016-03-02 华中科技大学 一种基于相移和三视张量的对应点查找方法
JP6468802B2 (ja) * 2014-01-20 2019-02-13 キヤノン株式会社 三次元計測装置、三次元計測方法及びプログラム
JP6335011B2 (ja) * 2014-04-25 2018-05-30 キヤノン株式会社 計測装置およびその方法
US9582888B2 (en) 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
CN104506838B (zh) * 2014-12-23 2016-06-29 宁波盈芯信息科技有限公司 一种符号阵列面结构光的深度感知方法、装置及系统
JP6571947B2 (ja) * 2015-02-23 2019-09-04 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6571948B2 (ja) * 2015-02-23 2019-09-04 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
CN105354828B (zh) * 2015-09-30 2016-10-19 深圳大学 读写场景中读物三维坐标的智能认定方法及其应用
CN105335699B (zh) * 2015-09-30 2016-10-19 深圳大学 读写场景中读写元素三维坐标的智能认定方法及其应用
US10574947B2 (en) 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines
CN109833003B (zh) * 2017-11-30 2021-02-09 深圳市无限动力发展有限公司 扫地机器人及其进行区域划分的方法
CN108648225B (zh) 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
CN110864671B (zh) * 2018-08-28 2021-05-28 中国科学院沈阳自动化研究所 基于线结构光拟合平面的机器人重复定位精度测量方法
US10977775B2 (en) * 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
US10825231B2 (en) * 2018-12-10 2020-11-03 Arm Limited Methods of and apparatus for rendering frames for display using ray tracing
CN109816738B (zh) * 2018-12-13 2023-05-09 梁艳玲 一种基于编码结构光的条纹边界提取方法
CN110557622B (zh) * 2019-09-03 2021-04-02 歌尔光学科技有限公司 基于结构光的深度信息获取方法及装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6170677A (ja) * 1984-09-14 1986-04-11 Canon Inc パタ−ン認識装置
JP2010244456A (ja) * 2009-04-09 2010-10-28 Nippon Soken Inc 境界線認識装置
KR20100134403A (ko) * 2009-06-15 2010-12-23 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4846577A (en) * 1987-04-30 1989-07-11 Lbp Partnership Optical means for making measurements of surface contours
JP3378401B2 (ja) * 1994-08-30 2003-02-17 株式会社日立メディコ Ｘ線装置
US6438272B1 (en) * 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7182465B2 (en) * 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
US7916932B2 (en) * 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
WO2006120759A1 (ja) * 2005-05-12 2006-11-16 Techno Dream 21 Co., Ltd. 3次元形状計測方法およびその装置
CA2528791A1 (en) * 2005-12-01 2007-06-01 Peirong Jia Full-field three-dimensional measurement method
US8326020B2 (en) * 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6170677A (ja) * 1984-09-14 1986-04-11 Canon Inc パタ−ン認識装置
JP2010244456A (ja) * 2009-04-09 2010-10-28 Nippon Soken Inc 境界線認識装置
KR20100134403A (ko) * 2009-06-15 2010-12-23 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376328B (zh) * 2014-11-17 2023-10-24 国家电网公司 基于坐标的分布型编码标志识别方法及系统
CN104376328A (zh) * 2014-11-17 2015-02-25 国家电网公司 基于坐标的分布型编码标志识别方法及系统
US11002537B2 (en) 2016-12-07 2021-05-11 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US11199397B2 (en) 2017-10-08 2021-12-14 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11062468B2 (en) 2018-03-20 2021-07-13 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US11381753B2 (en) 2018-03-20 2022-07-05 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11019249B2 (en) 2019-05-12 2021-05-25 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
CN114073075A (zh) * 2019-05-12 2022-02-18 魔眼公司 将三维深度图数据映射到二维图像上
WO2020231747A1 (en) * 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
US11320537B2 (en) 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Also Published As

Publication number Publication date
US20120327430A1 (en) 2012-12-27
US8724121B2 (en) 2014-05-13
KR101974651B1 (ko) 2019-05-02

Similar Documents

Publication Publication Date Title
KR101974651B1 (ko) 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US7570805B2 (en) Creating 3D images of objects by illuminating with infrared patterns
CN108225216B (zh) 结构光系统标定方法及装置、结构光系统及移动设备
JP5484133B2 (ja) 鏡面反射物体の３ｄ姿勢を推定する方法
US20140002610A1 (en) Real-time 3d shape measurement system
US20090268214A1 (en) Photogrammetric system and techniques for 3d acquisition
TW201413653A (zh) 結構化光圖案的產生方法
CN111971525B (zh) 用立体镜测量物体的方法和系统
Tran et al. A Structured Light RGB‐D Camera System for Accurate Depth Measurement
Chiang et al. Active stereo vision system with rotated structured light patterns and two-step denoising process for improved spatial resolution
JP5441752B2 (ja) 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2019238583A1 (en) Deflectometric techniques
CN116188556A (zh) 镜面物体的三维测量方法、计算机可读存储介质
NL2016286B1 (en) Displacement sensor.
CN115456945A (zh) 一种芯片引脚缺陷的检测方法、检测装置及设备
US20200234458A1 (en) Apparatus and method for encoding in structured depth camera system
KR20190103833A (ko) 실시간 3차원 데이터 측정 방법
Gribben et al. Structured light 3D measurement of reflective objects using multiple DMD projectors
Zhang et al. BimodalPS: Causes and corrections for bimodal multi-path in phase-shifting structured light scanners
Vehar et al. Single-shot structured light with diffractive optic elements for real-time 3D imaging in collaborative logistic scenarios
Bui et al. Ray-tracing codec for structured light 3D camera
Hemmati et al. A study on the refractive effect of glass in vision systems
Wei 3D Shape Measurement of Objects in Motion and Objects with Complex Surfaces

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant