KR102015540B1 - 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템 - Google Patents

단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템 Download PDF

Info

Publication number
KR102015540B1
KR102015540B1 KR1020170090438A KR20170090438A KR102015540B1 KR 102015540 B1 KR102015540 B1 KR 102015540B1 KR 1020170090438 A KR1020170090438 A KR 1020170090438A KR 20170090438 A KR20170090438 A KR 20170090438A KR 102015540 B1 KR102015540 B1 KR 102015540B1
Authority
KR
South Korea
Prior art keywords
pattern
structured light
partial
monochromatic
band
Prior art date
Application number
KR1020170090438A
Other languages
English (en)
Other versions
KR20190008715A (ko
Inventor
제창수
박형민
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020170090438A priority Critical patent/KR102015540B1/ko
Priority to US16/036,236 priority patent/US10648799B2/en
Publication of KR20190008715A publication Critical patent/KR20190008715A/ko
Application granted granted Critical
Publication of KR102015540B1 publication Critical patent/KR102015540B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템에 관한 것으로, 단일 색상에 대하여 스칼라 광도값을 달리하여 패턴을 표현하는 단색 구조광 패턴을 생성하는 방법은, 단일 색상으로부터 서로 다른 2개의 광도값을 선택하여 선택된 광도값에 따라 각각 띠를 생성하고, 앞서 선택된 2개의 광도값과는 별도로, 앞서 선택된 2개의 광도값과 같거나 다른, 서로 다른 2개 이상의 광도값의 조합에 의해 적어도 하나의 조합 띠를 생성하고, 생성된 띠들을 원소로 하여 순열(permutation) 코드를 생성하고 각각을 부분 패턴(sub-pattern)으로 설정하며, 설정된 부분 패턴들을 중첩(permutation overlapping)시켜 각각의 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 구조광 패턴을 생성한다.

Description

단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템{Method for generating monochrome permutation structured-light pattern and structured-light system using the method thereof}
본 발명은 3차원 기하 정보 획득, 영상 인식 등을 위하여 광원으로부터 시작되는 빛에 고유한 특성이나 패턴(pattern)을 부가하는 구조광(structured-light) 기술에 관한 것으로, 특히 단색의 구조광 패턴을 생성하는 방법, 그 방법을 기록한 기록매체 및 그 방법을 이용한 구조광 시스템에 관한 것이다.
3차원 기하 정보를 획득하는 광학적 방법은 크게 수동(passive) 방식과 능동(active) 방식으로 나눌 수 있는데, 일반적으로 능동 방식은 수동 방식에 비해 보다 정확하고 빠른 3차원 기하 정보 획득을 가능하게 한다. 능동 방식은 특수한 조명을 채용하는 것이 일반적이며, 레이저나 LCD/DLP 프로젝터 등을 사용하여 대상 표면에 식별 가능한 조명 패턴을 조사하고, 이를 촬영하여 3차원 기하 정보를 추출한다. 이하에서 제시되는 선행기술문헌에는 3차원 방송에 필요한 깊이 정보를 획득하기 위한 기술적 수단을 소개하고 있다.
능동 방식에 따라 조사하는 조명 패턴은 단일 점 또는 단일 선일 수도 있고, 아주 복잡한 패턴이 될 수도 있다. 조사하는 조명 패턴이 단일 점 또는 단일 선인 경우에는 조명 패턴이 담을 수 있는 정보가 부족하여 하나의 영상으로부터 획득 가능한 3차원 정보가 적은 단점이 있고, 그에 반해 많은 수의 점, 선 또는 띠 모양의 패턴을 한꺼번에 조사하는 경우에는 각 부분 패턴(sub-pattern)들을 서로 구분하기가 어려운 단점이 있다. 많은 수의 패턴을 한꺼번에 조사하고 부분 패턴들을 효과적으로 구분하기 위해 컬러를 이용하는 다양한 방법들이 제안되었으나, 조명과 영상 간의 컬러 불일치, 대상 표면 컬러의 영향, 하드웨어 및 소프트웨어의 비용 증가 등 여전히 많은 문제점을 안고 있다. 특히 저비용 깊이 센서의 개발을 위해서는 컬러 패턴의 생성 자체가 높은 복잡도와 고비용을 요구하므로, 단색 패턴을 이용하는 것이 바람직하다.
단색 패턴을 사용할 때에는 컬러가 고정되고, 광도만이 조절 가능하기 때문에 식별 가능한 부분 패턴의 수를 늘리기가 매우 어렵다. 특히 저주파 정현파 패턴과 같은 연속 패턴의 경우에서처럼 낮은 SNR(signal to noise ratio)로 인한 정확도 감소를 막고, 이웃하는 위치 간의 식별도를 향상시켜 높은 SNR의 패턴 이미징을 구현하기 위해서 광도의 경우의 수를 2로 제한하는 이진 패턴을 사용하는 것이 바람직하다. 그런데 이진 패턴으로는 단일 패턴 영상으로 식별 가능한 패턴의 수를 효과적으로 증가시키는 방법이 존재하지 않았다.
한국공개특허 10-2010-0134403, 2010.12.23 공개, 한국전자통신연구원
본 발명이 해결하고자 하는 기술적 과제는, 3차원 기하정보를 획득함에 있어서, 종래의 컬러 패턴을 이용하는 경우에 대상체 자체의 색상에 의한 영향이나 구현에 수반되는 비용이 증가하는 문제를 해소하고, 단색 패턴을 채택할 경우에도 식별 가능한 패턴을 수를 증가시키는데 나타나는 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 적어도 하나의 처리기(processor)를 이용하여 단일 색상에 대하여 스칼라 광도값을 달리하여 패턴을 표현하는 단색 구조광(monochrome structured light) 패턴을 생성하는 방법은, 단일 색상으로부터 서로 다른 2개의 광도값을 선택하여 선택된 광도값에 따라 각각 띠를 생성하는 단계; 상기 2개의 광도값과는 별도로, 상기 2개의 광도값과 같거나 다른, 서로 다른 2개 이상의 광도값의 조합에 의해 적어도 하나의 조합 띠를 생성하는 단계; 생성된 상기 띠들을 원소로 하여 순열(permutation) 코드를 생성하고 각각을 부분 패턴(sub-pattern)으로 설정하는 단계; 및 설정된 부분 패턴들을 중첩(permutation overlapping)시켜 각각의 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 구조광 패턴을 생성하는 단계를 포함한다.
일 실시예에 따른 단색 구조광 패턴을 생성하는 방법에서, 상기 단색 구조광 패턴은, 패턴 상의 임의의 위치에서 하나의 스칼라 광도값으로 표현되는 단색 패턴인 것이 바람직하다.
일 실시예에 따른 단색 구조광 패턴을 생성하는 방법에서, 상기 조합 띠는, 서로 다른 2개 이상의 스칼라 광도값으로 표현되는 화소(pixel)가 미리 설정된 규칙에 따라 배치되어 형성된 띠인 것이 바람직하다.
일 실시예에 따른 단색 구조광 패턴을 생성하는 방법에서, 상기 띠를 생성하는 단계는, 단일 색상으로부터 서로 상대적 스칼라 광도값의 차이가 최대가 되도록 2개의 광도값을 선택하고, 선택된 상기 광도값에 따라 각각 띠를 생성할 수 있다.
일 실시예에 따른 단색 구조광 패턴을 생성하는 방법에서, 상기 조합 띠를 생성하는 단계는, 상기 서로 다른 2개의 스칼라 광도값으로 표현되는 각각의 화소 영역이 교대로 반복 배치되어 일련의 조합 띠를 형성할 수 있다.
일 실시예에 따른 단색 구조광 패턴을 생성하는 방법에서, 상기 부분 패턴으로 설정하는 단계는, 생성된 상기 띠들을 원소로 하되 이웃하는 원소가 서로 다른 중복 순열(permutation with repetition)을 미리 설정된 길이에 따라 생성하고, 생성된 중복 순열 각각을 부분 패턴으로 설정할 수 있다.
일 실시예에 따른 단색 구조광 패턴을 생성하는 방법에서, 상기 단색 구조광 패턴을 생성하는 단계는, 설정된 부분 패턴들 중 하나를 선택하고, 선택된 부분 패턴의 첫 번째 원소를 제외한 나머지 원소와 일치하는 배열로 시작하는 부분 패턴을 검색하며, 검색된 부분 패턴 중 하나를 먼저 선택된 부분 패턴의 두 번째 원소부터 중첩시키는 과정을 반복하여 부분 패턴들을 중첩시키되, 더 이상 유일한 잔여 부분 패턴이 없을 때까지 중첩을 반복하여 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 패턴을 생성할 수 있다.
나아가, 이하에서는 상기 기재된 단색 구조광 패턴을 생성하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 구조광 시스템은, 적어도 하나의 처리기(processor)를 구비하고, 단일 색상에 대하여 스칼라 광도값을 달리하여 패턴을 표현하되 순열 코드에 기반을 둔 단색 구조광 패턴(monochrome structured light)을 제공하는 패턴 제공부; 상기 패턴 제공부를 통해 제공된 단색 구조광 패턴을 대상체(object body)에 영상으로 투사(project)하는 영사부; 투사된 상기 단색 구조광 패턴을 포함하여 상기 대상체를 촬영하는 영상 획득부; 및 촬영된 영상 내에 포함된 단색 구조광 패턴을 분석하여 상기 대상체의 특징 정보를 추출하는 영상 분석부를 포함하고, 상기 단색 구조광 패턴은, 단일 색상으로부터 서로 다른 2개의 광도값을 선택하여 선택된 광도값에 따라 각각 띠를 생성하고, 상기 2개의 광도값과는 별도로, 상기 2개의 광도값과 같거나 다른, 서로 다른 2개 이상의 광도값의 조합에 의해 적어도 하나의 조합 띠를 생성하고, 생성된 상기 띠들을 원소로 하여 순열(permutation) 코드를 생성하고 각각을 부분 패턴(sub-pattern)으로 설정하며, 설정된 부분 패턴들을 중첩(permutation overlapping)시켜 각각의 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 구조광 패턴을 생성함으로써 제공된다.
다른 실시예에 따른 구조광 시스템에서, 상기 단색 구조광 패턴은 패턴 상의 임의의 위치에서 하나의 스칼라 광도값으로 표현되는 단색 패턴이고, 상기 조합 띠는 서로 다른 2개 이상의 스칼라 광도값으로 표현되는 화소(pixel)가 미리 설정된 규칙에 따라 배치되어 형성된 띠인 것이 바람직하다.
다른 실시예에 따른 구조광 시스템에서, 상기 패턴 제공부는, 단일 색상으로부터 서로 상대적 스칼라 광도값의 차이가 최대가 되도록 2개의 광도값을 선택하고, 선택된 상기 광도값에 따라 각각 띠를 생성할 수 있다.
다른 실시예에 따른 구조광 시스템에서, 상기 패턴 제공부는, 서로 다른 2개의 스칼라 광도값으로 표현되는 각각의 화소 영역이 교대로 반복 배치되어 일련의 조합 띠를 형성할 수 있다.
다른 실시예에 따른 구조광 시스템에서, 상기 패턴 제공부는, 생성된 상기 띠들을 원소로 하되 이웃하는 원소가 서로 다른 중복 순열(permutation with repetition)을 미리 설정된 길이에 따라 생성하고, 생성된 중복 순열 각각을 부분 패턴으로 설정할 수 있다.
다른 실시예에 따른 구조광 시스템에서, 상기 패턴 제공부는, 설정된 부분 패턴들 중 하나를 선택하고, 선택된 부분 패턴의 첫 번째 원소를 제외한 나머지 원소와 일치하는 배열로 시작하는 부분 패턴을 검색하며, 검색된 부분 패턴 중 하나를 먼저 선택된 부분 패턴의 두 번째 원소부터 중첩시키는 과정을 반복하여 부분 패턴들을 중첩시키되, 더 이상 유일한 잔여 부분 패턴이 없을 때까지 중첩을 반복하여 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 패턴을 생성할 수 있다.
다른 실시예에 따른 구조광 시스템에서, 상기 영상 분석부는, 촬영된 영상으로부터 단색 구조광 패턴을 식별하고, 원본 단색 구조광 패턴과 식별된 상기 단색 구조광 패턴을 비교함으로써 상기 대상체의 표면에서 투사된 단색 구조광 패턴이 왜곡된 정도를 산출할 수 있다. 또한, 상기 영상 분석부는, 산출된 단색 구조광 패턴의 왜곡 정도로부터 상기 대상체의 표면에 대한 깊이 정보를 추출할 수 있다. 나아가, 상기 영상 분석부는, 추출된 상기 깊이 정보를 이용하여 깊이에 따라 색상을 변화시켜 표현함으로써 상기 촬영된 영상에 대한 평면 기하 추정을 시각적으로 표시할 수 있다.
본 발명의 실시예들은, 컬러 패턴이 아닌 단색 패턴의 채택을 통해 3차원 기하 정보의 획득을 위해 활용되는 구조광의 구현 비용과 하드웨어 복잡도를 현저하게 감소시킬 수 있으며, 단색 패턴을 채택하였음에도 불구하고 단색 패턴의 조합을 통해 식별 가능한 패턴을 수를 확장시킴으로써, 단일 영상만으로도 대상체 상에 조사된 단색 구조광 패턴을 정확하게 디코딩하고 그로부터 깊이 정보를 획득하는 것이 가능하다.
도 1은 능동 방식에 따른 구조광 기술을 설명하기 위한 도면이다.
도 2는 중첩된 중복 순열에 기반을 둔 컬러 띠 패턴 생성의 예를 도시한 도면이다.
도 3은 RGB 띠 패턴 조사 장면의 광도 프로파일 근사를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 단색 구조광(monochrome structured light) 패턴을 생성하는 방법을 도시한 흐름도이다.
도 5는 단일 색상에 대해 서로 다른 2개의 스칼라 광도값으로부터 도출된 띠들을 예시한 도면이다.
도 6은 본 발명의 실시예들이 채택하고 있는 단색 구조광 패턴을 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 단색 구조광 패턴을 이용한 구조광 시스템을 도시한 블록도이다.
도 8 내지 도 10은 단색 구조광 패턴 영상의 디코딩(decoding) 과정에 대한 실험 결과를 예시한 도면이다.
도 11 내지 도 13은 단색 구조광 패턴을 이용하여 구면 왜곡 변환을 수행한 실험 결과를 예시한 도면이다.
도 14는 부드러운 곡면에 조사한 단색 구조광 패턴 영상의 디코딩 과정에 대한 실험 결과를 예시한 도면이다.
● [Je et al. 2004] Changsoo Je, Sang Wook Lee, and Rae-Hong Park, "High-Contrast Color-Stripe Pattern for Rapid Structured-Light Range Imaging," Computer Vision - ECCV 2004, LNCS 3021, pp. 95?107, Springer-Verlag Berlin Heidelberg, May, 2004.
● [Je and Lee 2011] Changsoo Je and Sang Wook Lee, "Method for Generating Structured-Light Pattern," United States Patent, 7,929,752, April 19, 2011.
● [Je et al. 2012] Changsoo Je, Sang Wook Lee, and Rae-Hong Park, "Colour-Stripe Permutation Pattern for Rapid Structured-Light Range Imaging," Optics Communications, Volume 285, Issue 9, pp. 2320-2331, May, 2012.
앞서 소개한 바와 같이 종래의 컬러 패턴에 기반을 둔 구조광 기술들이 대상체 자체의 색상에 의한 영향이나 구현에 수반되는 비용이 증가하는 문제가 지적되었고, 이러한 약점을 고려하여 단색 패턴을 활용하고자 하는 시도를 고려하였다. 그러나, 단색 패턴을 채택하는 경우에는 식별 가능한 패턴을 수를 증가시키는데 어려움이 존재하였다. 왜냐하면, 통상적인 단색 패턴의 경우 이진 패턴이 활용되기 때문이다.
이상의 연구들에서는, 컬러 띠 패턴에서 식별 가능한 부분 패턴의 수를 매우 효과적으로 증가시킬 수 있는 일반적인 순열 기반 띠 패턴 생성 방식은 유감스럽게도 일반적인 이진 띠 구조에서는 아무런 도움도 되지 못함을 확인하였다. 따라서 본 발명에서는 순열 기반으로 이진 패턴의 부분 패턴의 수를 증가시킬 수 있는 새로운 띠 구조를 제시하고자 한다.
도 1은 능동 방식에 따른 통상적인 구조광 기술을 설명하기 위한 도면이다.
3차원 기하 정보를 추출하는 구조광 기술 중에서, 단일 영상 기반으로는 컬러 구조광 방식이 고해상도 데이터 획득에 적합하다고 알려져 있다. 그러나 컬러 구조광은 프로젝터 등과 같이 크고 복잡하며 고비용인 하드웨어를 필요로 하는 단점이 있다.
따라서, 이하에서 기술되는 본 발명의 실시예들에서는 고해상도 3차원 데이터를 획득할 수 있으면서도, 저비용으로 상품화가 가능한 단색 구조광 패턴과 이에 기반을 둔 깊이 정보 획득 방법 및 시스템을 제시하고자 한다.
한편, 키넥트(KinectTM)는 사람과 전자기기 사이의 획기적인 지능적 인터페이스를 제공함으로써 널리 보급되고 있다. 실시간으로 비교적 정확한 깊이 정보를 획득하기 위해서는 단일 프레임으로부터 깊이 정보를 획득하는 것이 요구되며, 또한 계산 복잡도와 상품 제조비용 등을 고려할 때, 적합한 단색 구조광 패턴을 이용하여 이를 통해 영상으로부터 깊이 정보를 획득할 수 있는 기술이 요구된다. 키넥트 v1의 깊이 센서는 임의점(random-dot) 패턴을 사용하고 있으며, 키넥트 v2의 깊이 센서는 ZCam의 ToF(time of flight) 기술을 사용하고 있다.
본 발명의 실시예들에서는 순열 기반 띠 패턴 생성 기술을 고밀도 단색 구조광 패턴 제작에 적용 가능하도록 띠 패턴의 형태를 확장하고, 이렇게 해서 얻어진 단색 패턴으로 단일 영상으로부터 3차원 깊이 정보를 획득할 수 있는 방법을 제시한다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다.
단색 구조광 패턴이라 함은 구조광 패턴 상의 임의의 위치에서 하나의 상대적 스칼라 광도값으로 기술 가능한 구조광 패턴을 의미한다. 가시광선 영역에서 예를 들자면, 흑백(black-and-white), 회색(gray), 적색, 녹색, 청색 중에서 어느 하나에 대한 상대적 광도값들로 구성되는 구조광 패턴을 의미한다. 가령 단색 구조광 패턴의 한 경우로서 녹색 구조광 패턴의 한 경우을 예로 들자면, 밝은 녹색(상대적 광도값: 1), 어두운 녹색(상대적 광도값: 0.5) 및 검정색(상대적 광도값: 0)의 3가지 광도값으로 구성되는 녹색 구조광 패턴을 상정할 수 있다. 전체 전자기파 영역에서 단색 구조광 패턴이라 함은, 하나의 주파수에 해당하거나 또는 하나의 "주파수 구간과 분광 감도(spectral sensitivity)의 쌍"에 해당하는 전자기파에 대해 상대적 스칼라 광도값으로 기술 가능한 구조광 패턴을 의미한다.
본 발명의 실시예들에서는 고밀도 단색 구조광 패턴을 사용하여, 단일 영상 기반으로, 대상 장면의 3차원 기하 형상을 복원하는 방법을 기술한다. 단색 구조광 및 단일 영상으로 3차원 형상을 실용적인 정확도 및 해상도로 획득 가능하게 하는 고밀도 구조광 패턴을 생성하기 위해 순열 기반 띠 패턴을 생성하는 기술과 종래의 단색 구조광의 한계를 극복할 수 있도록 띠 패턴의 형태를 확장하는 방식으로 접근한다.
본 발명의 실시예들에서는 실시간으로 고해상도 깊이 영상을 안정적으로 획득할 수 있는 고밀도 단색 구조광 패턴을 제시하기 위해, 조명과 센서 사이의 동기화에 의존하는 다수 패턴의 순차적 조사 방식은 지양한다. 더욱이 다수 패턴의 순차적 조사 방식은 대상 장면의 시간적 변화에 대해 강인하지 않은 단점도 있다. 따라서 이하에서는 단일 영상에서 고해상도 깊이 영상을 얻을 수 있는 기술을 제시한다.
도 2는 중첩된 중복 순열에 기반을 둔 컬러 띠 패턴 생성의 예를 도시한 도면으로서, 본 발명의 연구자가 제안하였던 컬러 띠의 중첩 순열 인코딩 방식에 따라 다음의 수학식 1과 같이 주어지는 수의 부분 패턴을 생성할 수 있다.
Figure 112017068286181-pat00001
여기서 N은 컬러의 수, k는 하나의 부분 패턴을 구성하는 띠의 수(즉, 부분 패턴의 길이)를 의미한다. 도 2를 참조하면, 3개의 컬러를 사용하되 부분 순열의 길이가 2인 경우에 생성될 수 있는 총 6개의 부분 패턴을 예시하고 있다.
대체로 컬러의 수를 증가시키거나 k를 증가시킴으로써 부분 패턴을 수를 늘려서 고해상도 깊이 영상 생성이 가능할 수 있다. 가령 컬러의 수가 3이고 부분 패턴의 길이가 7인 경우 192개의 부분 패턴을 생성하는 것이 가능하여 고해상도 깊이 영상 획득이 가능하다. 다만 컬러의 수가 늘어나면 각 컬러 간의 차이가 줄어들어서 표면 반사도(surface reflectance)나 주변 조명(ambient light), 음영(shading) 및 잡음의 변이에 민감하게 되어 정확도가 감소하게 되며, k가 커지면 표면 불연속성(surface discontinuity)에 민감하게 되어 정확도가 감소하게 된다. 따라서 대상 장면의 특성에 때라 적합한 N과 k를 결정하는 것이 바람직하다.
그런데, 저비용 깊이 센서를 위한 단색 구조광 패턴을 생성하려 하는 경우에는, 위의 수학식 1에서처럼 부분 패턴의 수를 늘리는 것은 일반적으로 불가능한 문제가 있다. 단색 구조광 띠패턴은 패턴의 인식 정확도를 높이기 위해 많은 경우에 이진 패턴 행태가 된다. 이진 패턴을 구성하는 2가지 화소값(흑/백)의 중간값을 사용할 경우에는 흑/백의 경계 주변에서 얻어지는 화소와 구분이 불가능하다.
도 3은 RGB 띠 패턴 조사 장면의 광도 프로파일 근사를 도시한 도면으로서, 예를 들어, 세 가지 컬러 R, G, B만 사용했을 때 띠 경계에서 생기는 중간 컬러들을 보여준다. 즉 단색 구조광 띠 패턴은 N=2인 경우로서, 이를 위의 수학식 1에 대입하면 아래의 수학식 2와 같은 결과를 얻게 된다.
Figure 112017068286181-pat00002
즉, 아무리 k값을 증가시켜도 식별 가능한 부분 패턴의 수는 2가 된다는 한계를 명확하게 보여준다.
따라서, 단색 구조광 패턴을 채택하고자 하는 본 발명의 실시예들은 식별 가능한 띠 원소의 수(종래의 이진 패턴의 2가지 스칼라 광도값)를 넘어서기 위해 띠 패턴의 구조를 확장하여 제3의 띠 구조를 설계하고 이를 통해 부분 패턴의 수를 증가시키고자 한다.
도 4는 본 발명의 일 실시예에 따른 단색 구조광(monochrome structured light) 패턴을 생성하는 방법을 도시한 흐름도로서, 적어도 하나의 처리기(processor)를 이용하여 단일 색상에 대하여 스칼라 광도값을 달리하여 패턴을 표현하되, 단색 구조광을 사용함에도 불구하고 식별 가능한 띠 원소의 수를 적어도 3개 이상으로 확장하는 기술적 수단을 제공한다. 여기서, 단색 구조광 패턴은, 패턴 상의 임의의 위치에서 하나의 스칼라 광도값으로 표현되는 단색 패턴을 의미한다. 참고로 이와는 대조적으로, 컬러 구조광 패턴은, 패턴 상의 임의의 위치에서 2개 이상의 스칼라 광도값의 조합으로 표현하는 것이 요구된다. 가령 일반적인 RGB 컬러 채널에 의한 구조광 생성인 경우에는, 컬러 구조광 패턴을 임의의 위치에서 RGB 3개 컬러 채널의 광도값들, 즉 3개 광도값의 조합으로 표현하는 것이 요구된다.
S110 단계는, 단일 색상으로부터 서로 다른 2개의 광도값을 선택하여 선택된 광도값에 따라 각각 띠를 생성한다. 또한, 띠를 생성하는 S110 단계는, 단일 색상으로부터 서로 상대적 스칼라 광도값의 차이가 최대가 되도록 2개의 광도값을 선택하고, 선택된 상기 광도값에 따라 각각 띠를 생성함으로써, 띠 패턴이 대상체에 조사되는 경우 보다 정확한 기하 정보의 획득을 도울 수 있다.
예를 들어, 단색 구조광 띠 패턴은 각각 흑과 백의 2가지 광도값에 따라 각각 띠를 생성할 수 있다. 이 경우, 흑색 띠는 백색 띠의 광도값이 없는(또는 0에 가까운) 경우에 해당한다. 앞서 지적한 바와 같이, 이러한 2가지 단색 패턴만으로는 식별 가능한 부분 패턴의 수가 2로 고정되는 문제가 있으므로, 이러한 한계를 극복하기 위해 다음 과정이 수행된다.
S120 단계는, 서로 다른 2개 이상의 광도값의 조합에 의해 적어도 하나의 조합 띠를 생성한다. 이때 앞서 S210 단계를 통해 선택된 상기 2개의 광도값과는 별도로, 상기 2개의 광도값과 같거나 또는 다른, 서로 다른 2개 이상의 광도값을 선택하여 이들의 조합에 의해 새로운 조합 띠를 생성하게 된다. 즉, 조합 띠를 통해, 실제 물리적으로 표현되는 스칼라 광도값의 수는 2개(예를 들어, 흑/백)이지만, 식별 가능한 띠 원소의 수는 실질적으로 3개 이상이 되어 N이 3 이상이 되는 효과를 갖도록 한다. 이러한 조합 띠는, 서로 다른 2개 이상의 스칼라 광도값으로 표현되는 화소(pixel)가 미리 설정된 규칙에 따라 배치되어 형성된 띠인 것이 바람직하다.
보다 구체적으로, 상기 조합 띠를 생성하는 S120 단계는, 상기 서로 다른 2개의 스칼라 광도값으로 표현되는 각각의 화소 영역이 교대로 반복 배치되어 일련의 조합 띠를 형성할 수 있다. 단일 색상에 대해 서로 다른 2개의 스칼라 광도값으로부터 도출된 띠들을 예시한 도 5를 참조하면, (a)의 검정색 띠와 (b)의 흰색 띠는 S110 단계를 통해 생성되는 띠들로서 예시되어 있으며, (c) 내지 (e)의 검정색과 흰색이 반복하여 배치된 띠들은 S120 단계를 통해 생성되는 띠들로서 예시되어 있음을 확인할 수 있다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 광도값들의 선택과 화소 배치의 변이를 통해 도 5에 제시된 조합 띠들과 다른 다양한 조합 띠들을 추가로 생성하는 것이 가능하다.
도 4로 돌아와서, S130 단계는, 생성된 상기 띠들을 원소로 하여 순열(permutation) 코드를 생성하고 각각을 부분 패턴(sub-pattern)으로 설정한다. 보다 구체적으로, 이러한 순열 코드를 생성하는 방법은, 주어진 원소들 중에서 미리 설정된(또는 요구되는) 길이를 갖는 중복 순열을 구하는 방식으로 구현될 수 있다. 즉, 생성된 상기 띠들을 원소로 하되 이웃하는 원소가 서로 다른 중복 순열(permutation with repetition)을 미리 설정된 길이에 따라 생성하고, 생성된 중복 순열 각각을 부분 패턴으로 설정할 수 있다.
중복 순열이란, 서로 다른 원소들 중에서 중복을 허용하여 몇 개를 선택하는 순열을 의미하는 것으로서, 다음의 수학식 3에 따른 개수만큼 중복 순열이 생성된다.
Figure 112017068286181-pat00003
여기서, n은 서로 다른 대상 원소의 수이고, r은 선택 가능한 원소의 수(즉, 원소가 선택되어 생성된 중복 순열의 길이와 같다)이다.
따라서, 원소가 띠인 경우, 생성된 중복 순열은 띠들의 조합이 된다. 예를 들어, 상기 중복 순열은 검정색 띠, 흰색 띠 및 검정색과 흰색의 반복으로 형성된 조합 띠의 적어도 3개를 원소로 포함할 수 있다. 이 경우, 검정색 띠와 흰색 띠의 조합(길이가 2인 경우)이나 조합 띠, 검정색 띠 및 검정색 띠의 조합(길이가 3인 경우) 등이 생성된 중복 순열의 일례이다. 그리고, 이러한 방식에 따라 생성된 각각의 중복 순열을 부분 패턴이라고 한다. 부분 패턴 내에 포함된 원소의 조합이 같다고 할지라도 나열되는 원소의 순서가 다를 경우 서로 다른 부분 패턴이 됨은 당연하다.
본 발명의 실시예들에서, 상기 부분 패턴의 수는 다음의 수학식 4에 의해 결정될 수 있다.
Figure 112017068286181-pat00004
여기서, N은 식별 가능한 띠 원소의 수이고, k는 부분 패턴의 길이이다. 수학식 4는 앞서 소개한 수학식 1과 사실상 동일하다. 다만, 전술한 컬러 띠 패턴에 대해서는 N이 식별 가능한 컬러의 수로서 컬러 띠 원소의 수와 같은 반면, 본 발명의 실시예들이 제시하는 수학식 4의 단색 띠 패턴에 대해서는 N이 식별 가능한 띠 원소의 수로서 사용되는 광도값의 수와 다르다. 특히, S120 단계로 인해 N의 값은 적어도 3 이상이 되는데, 실제 사용되는 광도값의 수는 2개임에도 불구하고 식별 가능한 띠 원소의 수는 실질적으로 3개 이상이 되는 효과를 갖는다는 점이 다르다.
S140 단계는, 설정된 부분 패턴들을 중첩(permutation overlapping)시켜 각각의 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 구조광 패턴을 생성한다. 보다 구체적으로, 상기 단색 구조광 패턴을 생성하는 과정은, 설정된 부분 패턴들 중 하나를 선택하고, 선택된 부분 패턴의 첫 번째 원소를 제외한 나머지 원소와 일치하는 배열로 시작하는 부분 패턴을 검색하며, 검색된 부분 패턴 중 하나를 먼저 선택된 부분 패턴의 두 번째 원소부터 중첩시키는 과정을 반복하여 부분 패턴들을 중첩시키되, 더 이상 유일한 잔여 부분 패턴이 없을 때까지 중첩을 반복하여 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 패턴을 생성한다. 즉, 임의의 연속하여 중첩된 두 부분 패턴들간에 중첩되는 부분의 원소 배열이 동일하도록 각 부분 패턴의 첫 번째 원소 띠의 위치가 옆으로 한 띠씩 차이나게끔 연속적으로 중첩되게 연결하여 하나의 단색 구조광 패턴을 생성한다.
이와 같이 단색 구조광 패턴을 형성할 경우, 상기 단색 구조광 패턴을 구성하는 전체 띠의 수는 다음의 수학식 5와 같이 결정될 수 있다.
Figure 112017068286181-pat00005
여기서, N은 식별 가능한 띠 원소의 수이고, k는 부분 패턴의 길이를 나타낸다. 특히, S120 단계로 인해 N의 값은 적어도 3 이상이 되는데, 실제 사용되는 광도값의 수는 2개임에도 불구하고 식별 가능한 띠 원소의 수는 실질적으로 3개 이상이 되기 때문이다.
도 6은 본 발명의 실시예들이 채택하고 있는 단색 구조광 패턴을 예시한 도면으로서, 임의의 위치에서 단일 컬러(여기서는 백색)의 상대적 스칼라 광도값으로 기술 가능하다. 도 6을 참조하면, 상대적 스칼라 광도값이 2가지이며, 0(흑)과 1(백)로 표현 가능하다. 그러나 세로 방향의 띠 구조를 확장하여 식별 가능한 띠 형태가 ① 검정색 띠, ② 흰색 띠 및 ③ 검정색과 흰색의 반복으로 구성된 띠의 3가지이다. 이러한 띠들은 순열의 각 원소에 대응된다. 따라서 상기 수학식 4에 의해 식별 가능한 부분 패턴의 수를 효과적으로 증가시키는 것이 가능하다.
도 6의 구조광 패턴은 k를 7로 선택하여 생성된 단색 구조광 패턴의 일례이다. 전체 3가지 띠 형태 중에서 검정색만으로 이루어진 띠와 흰색만으로 이루어진 띠는 통상적인 컬러 구조광 패턴에서의 띠 형태와 유사하다. 그러나, 검정색과 흰색의 반복으로 구성된 띠를 추가로 사용하여 순열 기반 구조광 띠 패턴을 구현한 것은 본 발명의 실시예들을 통해 새롭게 제시되는 띠 구조를 포함하고 있으며, 그 중요한 특징은 통상적인 띠 형태와 같이 하나의 컬러나 하나의 상대적 스칼라 광도값으로 완전히 기술되지 않고 서로 다른 두 개 이상의 광도값들 또는 서로 다른 두 개 이상의 컬러들로만 표현이 가능하다는 것이다. 특별히 본 발명의 실시예들이 채택하고 있는 단색 구조광 패턴의 일례를 구성하는 이 새로운 띠 형태는 두 개의 서로 다른 상대적 광도값들의 조합으로 기술이 가능하다.
도 7은 본 발명의 다른 실시예에 따른 단색 구조광 패턴을 이용한 구조광 시스템(700)을 도시한 블록도로서, 도 4의 단색 구조광 패턴을 생성하는 방법을 활용하여 대상체(70)의 3차원 기하 정보를 획득할 수 있는 기술적 수단을 제안하고 있다.
패턴 제공부(10)는, 적어도 하나의 처리기(processor)(미도시)를 구비하고, 단일 색상에 대하여 스칼라 광도값을 달리하여 패턴을 표현하되 순열 코드에 기반을 둔 단색 구조광 패턴(monochrome structured?light pattern)을 제공한다.
보다 구체적으로, 상기 단색 구조광 패턴은, 단일 색상으로부터 서로 다른 2개의 광도값을 선택하여 선택된 광도값에 따라 각각 띠를 생성하고, 상기 2개의 광도값과는 별도로, 상기 2개의 광도값과 같거나 다른, 서로 다른 2개 이상의 광도값의 조합에 의해 적어도 하나의 조합 띠를 생성하고, 생성된 상기 띠들을 원소로 하여 순열(permutation) 코드를 생성하고 각각을 부분 패턴(sub-pattern)으로 설정하며, 설정된 부분 패턴들을 중첩(permutation overlapping)시켜 각각의 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 구조광 패턴을 생성함으로써 제공될 수 있다. 여기서, 상기 단색 구조광 패턴은 패턴 상의 임의의 위치에서 하나의 스칼라 광도값으로 표현되는 단색 패턴이고, 상기 조합 띠는 서로 다른 2개 이상의 스칼라 광도값으로 표현되는 화소(pixel)가 미리 설정된 규칙에 따라 배치되어 형성된 띠를 의미한다.
특히, 패턴 제공부(10)는, 단일 색상으로부터 서로 상대적 스칼라 광도값의 차이가 최대가 되도록 2개의 광도값을 선택하고, 선택된 상기 광도값에 따라 각각 띠를 생성하고, 서로 다른 2개 이상의 스칼라 광도값으로 표현되는 각각의 화소 영역이 교대로 반복 배치되어 일련의 조합 띠를 형성할 수 있다.
또한, 패턴 제공부(10)는, 생성된 상기 띠들을 원소로 하되 이웃하는 원소가 서로 다른 중복 순열(permutation with repetition)을 미리 설정된 길이에 따라 생성하고, 생성된 중복 순열 각각을 부분 패턴으로 설정할 수 있다. 그런 다음, 패턴 제공부(10)는, 설정된 부분 패턴들 중 하나를 선택하고, 선택된 부분 패턴의 첫 번째 원소를 제외한 나머지 원소와 일치하는 배열로 시작하는 부분 패턴을 검색하며, 검색된 부분 패턴 중 하나를 먼저 선택된 부분 패턴의 두 번째 원소부터 중첩시키는 과정을 반복하여 부분 패턴들을 중첩시키되, 더 이상 유일한 잔여 부분 패턴이 없을 때까지 중첩을 반복하여 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 패턴을 생성할 수 있다.
영사부(20)는, 상기 패턴 제공부(10)를 통해 제공된 단색 구조광 패턴을 대상체(object body)(70)에 영상으로 투사(project)한다. 본 발명의 실시예들은 단색 구조광 패턴을 채택하고 있기 때문에 종래의 컬러 구조광 패턴에 비해 영사부의 구조가 간단하게 구현될 수 있으며, 구현 비용을 절감할 수 있다는 장점을 갖는다.
영상 획득부(30)는, 투사된 상기 단색 구조광 패턴을 포함하여 상기 대상체(70)를 촬영한다. 이 역시 단색 구조광 패턴의 채택으로 인해 영상 획득을 위한 하드웨어의 경량과 저비용화가 가능하다.
영상 분석부(40)는, 촬영된 영상 내에 포함된 단색 구조광 패턴을 분석하여 상기 대상체(70)의 특징 정보를 추출한다.
상기 영상 분석부(40)는, 촬영된 영상의 각 위치에서 광도값과 광도값의 방향변화도(directional gradient)를 분석하여 상기 단색 구조광 패턴의 띠 원소를 식별하고 이를 통해 각 위치에서의 부분 패턴을 식별한다.
이러한 영상 분석부(40)는, 촬영된 영상으로부터 단색 구조광 패턴을 식별하고, 원본 단색 구조광 패턴과 식별된 상기 단색 구조광 패턴을 비교함으로써 상기 대상체의 표면에서 투사된 단색 구조광 패턴이 왜곡된 정도를 산출할 수 있다. 그런 다음, 영상 분석부(40)는, 산출된 단색 구조광 패턴의 왜곡 정도로부터 상기 대상체의 표면에 대한 깊이 정보를 추출할 수 있다. 영상 분석부(40)에서 추출된 상기 깊이 정보를 이용하여 깊이값에 따라 색상이나 밝기값을 변화시켜 표현함으로써 상기 촬영된 대상체 표면의 기하 추정 결과를 별도의 디스플레이부(50)를 통해 시각적으로 표시할 수 있다.
이하에서는, 도 8 내지 도 10을 통해 단색 구조광 패턴 영상의 디코딩(decoding) 과정에 대한 실험 결과를 설명하도록 한다.
도 8은 단색 구조광 패턴 영상의 디코딩 테스트를 위해 단순 회전 및 크기 변환한 결과를 예시한 도면이고, 도 9는 도 8에 예시된 영상의 띠 분할 결과를 도시한 도면이다. 도 9를 참조하면, 본 발명의 실시예들이 제안하고 있는 단색 구조광 패턴 영상의 단순 회전 및 크기 변환 영상의 띠 분할 결과 영상에서 원래의 띠가 정확하게 분할된 것을 확인할 수 있다. 도 8의 원본 영상은 흑백 영상이지만, 도 9의 영상에서는 띠 분할 결과를 알기 쉽게 표현하기 위해 의색(false color)으로 처리하였다.
도 10은 도 9에 도시된 띠 분할 결과로부터 구조광 패턴을 디코딩한 후, 깊이 정보를 추출한 결과를 도시한 도면이다. 도 10을 참조하면, 본 발명의 실시예들이 제안하고 있는 단색 구조광 패턴 영상의 단순 회전 및 크기 변환 영상의 띠 분할 결과로부터 구조광 패턴 디코딩 후 깊이 정보를 추출한 결과 영상으로서, 평면 기하 추정이 가능함을 알 수 있다. 도 10의 영상에서는 깊이를 삼색 정현파 컬러로 표현하였다.
도 11 내지 도 13에서는 단색 구조광 패턴을 이용하여 구면 왜곡 변환을 수행한 실험 결과를 예시하였다.
도 11은 단색 구조광 패턴 영상에 회전 및 크기 변환과 곡면 왜곡 변환을 적용한 결과 영상이다. 도 11을 참조하면, 본 발명의 실시예들이 제안하고 있는 단색 구조광 패턴 영상에 회전 및 크기 변환과 곡면 왜곡 변환을 적용한 결과 영상에서 구면 왜곡 변환에 따른 띠 패턴의 공간적 이동을 관찰할 수 있다.
도 12는 단색 구조광 패턴 영상에 회전 및 크기 변환과 곡면 왜곡 변환을 적용한 결과 영상의 띠 분할 결과 영상이다. 도 12를 참조하면, 본 발명의 실시예들이 제안하고 있는 단색 구조광 패턴 영상에 회전 및 크기 변환과 곡면 왜곡 변환을 적용한 결과 영상의 띠 분할 결과 영상에서 대부분의 픽셀을 통해 정확한 띠 분할이 이루어짐을 확인할 수 있다. 도 12의 영상에서의 컬러는 띠 분할 결과를 알기 쉽게 표현하기 위한 의색(false color)이다.
도 13은 단색 구조광 패턴 영상에 회전 및 크기 변환과 곡면 왜곡 변환을 적용한 결과로부터 구조광 패턴 디코딩 후, 깊이 정보를 추출한 결과 영상이다. 도 13을 참조하면, 본 발명의 실시예들이 제안하는 단색 구조광 패턴 영상에 회전 및 크기 변환과 곡면 왜곡 변환을 적용한 결과로부터 구조광 패턴 디코딩 후, 깊이 정보를 추출한 결과 영상에서 구면 기하의 추정이 가능함을 알 수 있다. 도 13의 영상에서도 깊이를 삼색 정현파 컬러로 표현하였다.
도 14는 부드러운 곡면에 조사한 단색 구조광 패턴 영상의 디코딩 과정에 대한 실험 결과를 예시한 도면이다.
(a)는 해당 단색 구조광 패턴을 부드러운 곡면에 조사한 장면을 촬영한 영상이고, (b)는 해당 단색 구조광 패턴을 조사하여 촬영한 영상의 띠 분할 결과 영상을 도시한 것으로 여기서의 컬러는 띠 분할 결과를 알기 쉽게 표현하기 위한 의색(false color)이다. (b)의 영상을 참조하면 띠 분할이 대부분의 픽셀에서 정확하게 이루어졌음을 알 수 있다. (c)는 해당 단색 구조광 패턴을 조사하여 촬영한 영상의 띠 분할 결과로부터 구조광 패턴 디코딩 후, 깊이 정보를 추출한 결과 영상을 도시한 것으로 깊이를 삼색 정현파 컬러로 표현하였다. (c)의 깊이 영상은 단 하나의 촬영 영상으로부터 획득한 것으로서, 대부분의 픽셀에서 정확한 디코딩이 이루어졌음을 확인할 수 있다.
상기된 본 발명의 실시예들에 따르면, 단색 패턴의 채택을 통해 3차원 기하 정보의 획득을 위해 활용되는 구조광의 구현 비용과 하드웨어 복잡도를 현저하게 감소시킬 수 있으며, 단색 패턴을 채택하였음에도 불구하고 두 스칼라 광도값의 조합으로 만든 조합 띠의 사용을 통해 식별 가능한 띠 원소의 수를 3 이상으로 증가시킴으로써, 식별 가능한 부분 패턴의 수를 획기적으로 증가시킬 수 있고, 이를 통해 단일 영상만으로도 대상체 상에 조사된 단색 구조광 패턴을 정확하게 디코딩하고 그로부터 고해상도 깊이 정보를 획득하는 것이 가능하다.
한편, 본 발명의 실시예들에서 제안하고 있듯이, 적어도 하나의 처리기(processor)를 제어하여 단일 색상에 대하여 스칼라 광도값을 달리하여 상기 기재된 패턴을 표현하는 단색 구조광 패턴을 생성하는 방법을 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
700: 구조광 시스템
10: 패턴 제공부
20: 영사부
30: 영상 획득부
40: 영상 분석부
50: 디스플레이부
70: 대상체

Claims (20)

  1. 적어도 하나의 처리기(processor)를 이용하여 단일 색상에 대하여 스칼라 광도값을 달리하여 패턴을 표현하는 단색 구조광(monochrome structured light) 패턴을 생성하는 방법에 있어서,
    단일 색상으로부터 서로 다른 2개의 광도값을 선택하여 선택된 광도값에 따라 각각 띠를 생성하는 단계;
    서로 다른 2개 이상의 광도값의 조합에 의해 적어도 하나의 조합 띠를 생성하는 단계;
    단일 색상의 서로 다른 2개의 광도값만으로 생성된 상기 띠들을 원소로 하여 순열(permutation) 코드를 생성하고 각각을 부분 패턴(sub-pattern)으로 설정하는 단계; 및
    설정된 부분 패턴들을 중첩(permutation overlapping)시켜 각각의 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 구조광 패턴을 생성하는 단계를 포함하며,
    상기 순열 코드는 서로 다른 광도값의 개수인 2개보다 더 많은 개수의 식별 가능한 띠들을 원소로 하는 패턴 생성 방법.
  2. 제 1 항에 있어서,
    상기 단색 구조광 패턴은,
    패턴 상의 임의의 위치에서 하나의 스칼라 광도값으로 표현되는 단색 패턴인 것을 특징으로 하는 패턴 생성 방법.
  3. 제 1 항에 있어서,
    상기 조합 띠는,
    서로 다른 2개 이상의 스칼라 광도값으로 표현되는 화소(pixel)가 미리 설정된 규칙에 따라 배치되어 형성된 띠인 것을 특징으로 하는 패턴 생성 방법.
  4. 제 1 항에 있어서,
    상기 띠를 생성하는 단계는,
    단일 색상으로부터 서로 상대적 스칼라 광도값의 차이가 최대가 되도록 2개의 광도값을 선택하고, 선택된 상기 광도값에 따라 각각 띠를 생성하는 것을 특징으로 하는 패턴 생성 방법.
  5. 제 1 항에 있어서,
    상기 조합 띠를 생성하는 단계는,
    상기 서로 다른 2개의 스칼라 광도값으로 표현되는 각각의 화소 영역이 교대로 반복 배치되어 일련의 조합 띠를 형성하는 것을 특징으로 하는 패턴 생성 방법.
  6. 제 1 항에 있어서,
    상기 부분 패턴으로 설정하는 단계는,
    생성된 상기 띠들을 원소로 하되 이웃하는 원소가 서로 다른 중복 순열(permutation with repetition)을 미리 설정된 길이에 따라 생성하고, 생성된 중복 순열 각각을 부분 패턴으로 설정하는 것을 특징으로 하는 패턴 생성 방법.
  7. 제 6 항에 있어서,
    상기 부분 패턴의 수는 N(N-1)k -1이고, N은 식별 가능한 띠 원소의 수로서 적어도 3 이상이며, k는 부분 패턴의 길이인 것을 특징으로 하는 패턴 생성 방법.
  8. 제 6 항에 있어서,
    상기 중복 순열은,
    검정색 띠, 흰색 띠 및 검정색과 흰색의 반복으로 형성된 띠의 적어도 3개를 원소로 포함하는 것을 특징으로 하는 패턴 생성 방법.
  9. 제 1 항에 있어서,
    상기 단색 구조광 패턴을 생성하는 단계는,
    설정된 부분 패턴들 중 하나를 선택하고, 선택된 부분 패턴의 첫 번째 원소를 제외한 나머지 원소와 일치하는 배열로 시작하는 부분 패턴을 검색하며, 검색된 부분 패턴 중 하나를 먼저 선택된 부분 패턴의 두 번째 원소부터 중첩시키는 과정을 반복하여 부분 패턴들을 중첩시키되, 더 이상 유일한 잔여 부분 패턴이 없을 때까지 중첩을 반복하여 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 패턴을 생성하는 것을 특징으로 하는 패턴 생성 방법.
  10. 제 9 항에 있어서,
    상기 단색 구조광 패턴을 형성하는 전체 띠의 수는 N(N-1)k -1+k-1이고, N은 식별 가능한 띠 원소의 수로서 적어도 3 이상이며, k는 부분 패턴의 길이인 것을 특징으로 하는 패턴 생성 방법.
  11. 제 1 항 내지 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 적어도 하나의 처리기(processor)를 구비하고, 단일 색상에 대하여 스칼라 광도값을 달리하여 패턴을 표현하되 순열 코드에 기반을 둔 단색 구조광 패턴(monochrome structured light)을 제공하는 패턴 제공부;
    상기 패턴 제공부를 통해 제공된 단색 구조광 패턴을 대상체(object body)에 영상으로 투사(project)하는 영사부;
    투사된 상기 단색 구조광 패턴을 포함하여 상기 대상체를 촬영하는 영상 획득부; 및
    촬영된 영상 내에 포함된 단색 구조광 패턴을 분석하여 상기 대상체의 특징 정보를 추출하는 영상 분석부를 포함하고,
    상기 단색 구조광 패턴은,
    단일 색상으로부터 서로 다른 2개의 광도값을 선택하여 선택된 광도값에 따라 각각 띠를 생성하고, 서로 다른 2개 이상의 광도값의 조합에 의해 적어도 하나의 조합 띠를 생성하고, 단일 색상의 서로 다른 2개의 광도값만으로 생성된 상기 띠들을 원소로 하여 순열(permutation) 코드를 생성하고 각각을 부분 패턴(sub-pattern)으로 설정하며, 설정된 부분 패턴들을 중첩(permutation overlapping)시켜 각각의 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 구조광 패턴을 생성함으로써 제공되며, 상기 순열 코드는 서로 다른 광도값의 개수인 2개보다 더 많은 개수의 식별 가능한 띠들을 원소로 하는 것을 특징으로 하는 구조광 시스템.
  13. 제 12 항에 있어서,
    상기 단색 구조광 패턴은 패턴 상의 임의의 위치에서 하나의 스칼라 광도값으로 표현되는 단색 패턴이고,
    상기 조합 띠는 상기 서로 다른 2개 이상의 스칼라 광도값으로 표현되는 화소(pixel)가 미리 설정된 규칙에 따라 배치되어 형성된 띠인 것을 특징으로 하는 구조광 시스템.
  14. 제 12 항에 있어서,
    상기 패턴 제공부는,
    단일 색상으로부터 서로 상대적 스칼라 광도값의 차이가 최대가 되도록 2개의 광도값을 선택하고, 선택된 상기 광도값에 따라 각각 띠를 생성하는 것을 특징으로 하는 구조광 시스템.
  15. 제 12 항에 있어서,
    상기 패턴 제공부는,
    서로 다른 2개의 스칼라 광도값으로 표현되는 각각의 화소 영역이 교대로 반복 배치되어 일련의 조합 띠를 형성하는 것을 특징으로 하는 구조광 시스템.
  16. 제 12 항에 있어서,
    상기 패턴 제공부는,
    생성된 상기 띠들을 원소로 하되 이웃하는 원소가 서로 다른 중복 순열(permutation with repetition)을 미리 설정된 길이에 따라 생성하고, 생성된 중복 순열 각각을 부분 패턴으로 설정하는 것을 특징으로 하는 구조광 시스템.
  17. 제 12 항에 있어서,
    상기 패턴 제공부는,
    설정된 부분 패턴들 중 하나를 선택하고, 선택된 부분 패턴의 첫 번째 원소를 제외한 나머지 원소와 일치하는 배열로 시작하는 부분 패턴을 검색하며, 검색된 부분 패턴 중 하나를 먼저 선택된 부분 패턴의 두 번째 원소부터 중첩시키는 과정을 반복하여 부분 패턴들을 중첩시키되, 더 이상 유일한 잔여 부분 패턴이 없을 때까지 중첩을 반복하여 부분 패턴들이 순차적으로 중첩하여 연결된 하나의 단색 패턴을 생성하는 것을 특징으로 하는 구조광 시스템.
  18. 제 12 항에 있어서,
    상기 영상 분석부는,
    촬영된 영상으로부터 단색 구조광 패턴을 식별하고, 원본 단색 구조광 패턴과 식별된 상기 단색 구조광 패턴을 비교함으로써 상기 대상체의 표면에서 투사된 단색 구조광 패턴이 왜곡된 정도를 산출하는 것을 특징으로 하는 구조광 시스템.
  19. 제 18 항에 있어서,
    상기 영상 분석부는,
    산출된 단색 구조광 패턴의 왜곡 정도로부터 상기 대상체의 표면에 대한 깊이 정보를 추출하는 것을 특징으로 하는 구조광 시스템.
  20. 제 12 항에 있어서,
    상기 영상 분석부는,
    촬영된 영상의 각 위치에서 광도값과 광도값의 방향변화도(directional gradient)를 분석하여 상기 단색 구조광 패턴의 띠 원소를 식별하고 이를 통해 각 위치에서의 부분 패턴을 식별하는 것을 특징으로 하는 구조광 시스템.
KR1020170090438A 2017-07-17 2017-07-17 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템 KR102015540B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170090438A KR102015540B1 (ko) 2017-07-17 2017-07-17 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템
US16/036,236 US10648799B2 (en) 2017-07-17 2018-07-16 Method for generating monochrome permutation structured-light pattern and structured-light system using the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170090438A KR102015540B1 (ko) 2017-07-17 2017-07-17 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템

Publications (2)

Publication Number Publication Date
KR20190008715A KR20190008715A (ko) 2019-01-25
KR102015540B1 true KR102015540B1 (ko) 2019-08-28

Family

ID=64998774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170090438A KR102015540B1 (ko) 2017-07-17 2017-07-17 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템

Country Status (2)

Country Link
US (1) US10648799B2 (ko)
KR (1) KR102015540B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102645539B1 (ko) 2019-01-18 2024-03-11 삼성전자주식회사 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법
CN111174731B (zh) * 2020-02-24 2021-06-08 五邑大学 基于颜色分割的双条纹投影相位展开方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929752B2 (en) * 2003-10-31 2011-04-19 Nano Picture Co., Ltd. Method for generating structured-light pattern
KR20050041523A (ko) * 2003-10-31 2005-05-04 주식회사 나노픽처스 구조광 패턴
TWI414748B (zh) * 2009-01-23 2013-11-11 Univ Nat Taipei Technology 同步色相相移轉換方法以及其三維形貌量測系統
KR101259835B1 (ko) 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
KR20110115508A (ko) * 2010-04-15 2011-10-21 한국전자통신연구원 사용자 인터랙션 장치 및 방법
US9459094B2 (en) * 2013-09-12 2016-10-04 Hong Kong Applied Science and Technology Research Institute Company Limited Color-encoded fringe pattern for three-dimensional shape measurement
US20170277187A1 (en) * 2016-02-29 2017-09-28 Optecks, Llc Aerial Three-Dimensional Scanner
EP3577416B1 (en) * 2017-02-06 2022-03-30 Riven, Inc. System and method for 3d scanning

Also Published As

Publication number Publication date
US20190017814A1 (en) 2019-01-17
US10648799B2 (en) 2020-05-12
KR20190008715A (ko) 2019-01-25

Similar Documents

Publication Publication Date Title
Bestagini et al. Local tampering detection in video sequences
JP6370777B2 (ja) 能動奥行き検知のためのアフィン不変空間マスクの受信
JP4473136B2 (ja) 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得
US11503228B2 (en) Image processing method, image processing apparatus and computer readable storage medium
CN101673412B (zh) 结构光视觉成像系统的光模板匹配方法
KR20100073081A (ko) 전경/배경 분리 장치 및 방법
CN105987805A (zh) 一种投影结构光系统的检测方法
JP2015018554A (ja) 画像を物体の所定部分に投影するための装置、システム及び方法
Petković et al. Single-shot dense 3D reconstruction using self-equalizing De Bruijn sequence
CN109194954B (zh) 鱼眼摄像头性能参数测试方法、装置、设备及可存储介质
KR102015540B1 (ko) 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템
CN108592822A (zh) 一种基于双目相机及结构光编解码的测量系统及方法
JP2016520897A (ja) 画像アウトラインを記述するシステム及び方法
KR101215666B1 (ko) 오브젝트 색상 보정 방법, 시스템 및 컴퓨터 프로그램 제품
US11109006B2 (en) Image processing apparatus and method
EP3527936B1 (en) Three-dimensional measurement device and three-dimensional measurement method
KR100808395B1 (ko) 방법, 시스템 및 장치
CN107515844A (zh) 字体设置方法、装置及移动设备
KR20190103833A (ko) 실시간 3차원 데이터 측정 방법
KR20050051029A (ko) 코드이미지 검출 방법 및 장치
TW201327416A (zh) 動態背景的前景偵測方法
JP2017053812A (ja) ３次元測定装置、照明装置、パターン生成装置、および方法
JP2020160352A (ja) 投写画像調整システム及び方法
JP6118295B2 (ja) マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム
US11676334B2 (en) Method and apparatus for plenoptic point clouds generation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant