KR101359099B1 - 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치 및 방법 - Google Patents

Abstract

카메라의 밝기 조절을 이용한 깊이 정보 획득 장치 및 방법이 개시된다. 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치는 상기 투사된 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하는 카메라 모듈과, 상기 영상에 기초하여 밝기에 연관된 노출을 조정하여, 상기 획득된 영상을 업데이트하는 조정부와, 상기 구조광 패턴 및 상기 업데이트된 영상을 이용하여, 상기 객체에 관한 깊이 정보를 생성하는 프로세서를 포함한다.

Description

카메라의 밝기 조절을 이용한 깊이 정보 획득 장치 및 방법{APPARATUS AND METHOD FOR ACQUIRING DEPTH INFORMATION USING BRIGHTNESS CONTROLLING OF CAMERA}

본 발명의 실시예는 적외선 광원을 이용한 구조광 기법에서 카메라의 노출 조정을 이용하는 깊이 정보 획득 기술에 관한 것이다.

임의의 객체의 3차원 정보는 공간상에서 객체를 정의하는 모든 영역에 대한 좌표 값을 의미하며, 공간상의 모든 방향으로 객체를 나타낼 수 있다.

하지만, 일반적으로 영상표시장치를 통하여 표시되는 3차원 영상은 실제 3차원 정보를 보여주는 것이 아니라, 영상표시장치를 통해서 보여지는 객체와 객체를 촬영한 장치까지의 깊이 정보를 보여주는 것이다.

이러한 깊이 정보를 획득하는 방법은 크게 수동적(Passive) 방식과 능동적(Active) 방식으로 구분될 수 있다.

수동적 방식에는 스테레오(stereo) 방식이 대표적이다. 스테레오 방식은 다수의 카메라로부터 객체를 서로 다른 관찰각도에서 촬영한 영상에서 각각의 카메라에서 촬영된 영상에서 서로 같은 대응점을 찾고, 각 대응점에 해당하는 깊이 정보를 삼각측량법을 통하여 계산할 수 있다. 이때, 스테레오 방식은 다수의 카메라를 통하여 획득한 영상에서 특징(Texture) 정보를 추출하고, 추출한 특징 정보를 서로 다른 카메라의 영상에서 추출한 특징과 일치되는 대응점을 찾게 된다. 스테레오 방식은 특징 정보를 일치시키는 방법을 이용하기 때문에 특징을 추출할 수 없는 벽면과 같은 객체 또는 같은 특징이 반복적으로 나타나는 객체에서는 대응점을 찾을 수 없거나 또는 대응점 검출률이 낮아질 수 있다.

능동적 방식은 특수하게 설계된 구조광 패턴을 깊이 정보를 생성하기 위한 객체에 투사한 후, 카메라를 통하여 구조광 패턴이 투사된 영상 정보를 획득할 수 있다. 능동적 방식은 획득된 영상에서 추출된 패턴에 대해 디코딩을 수행하여 영상과 구조광 패턴 사이의 대응점을 찾아낸다. 능동적 방식은 대응점을 찾은 후 수동적인 방법과 같이, 삼각측량법을 통하여 깊이 정보를 계산할 수 있다.

능동적 방식에서, 적외선 광원을 이용하는 프로젝터를 통해, 구조광 패턴을 객체에 투사할 수 있으나, 프로젝터와 객체 간의 거리에 따라서 적외선 광원의 세기가 달라지기 때문에 구조광 패턴이 객체에 맺히는 경우, 객체를 촬영한 영상으로부터 추출되는 패턴의 밝기와 크기에 영향을 미치는 문제점이 존재한다. 예컨대, 거리 차이가 큰 2개의 객체에 맺힌 패턴의 경우, 원거리의 객체에 맺힌 패턴은 흐릿한 반면, 근거리의 객체에 맺힌 패턴은 밝고 선명할 수 있다.

본 발명의 실시예는 밝기 조절이 가능한 카메라 모듈을 통해, 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하고, 상기 구조광 패턴과 상기 영상으로부터 추출된 패턴을 이용하여 정밀한 깊이 정보를 획득 함으로써, 객체와 광원과의 거리 차이에 따라, 영상으로부터 추출된 패턴의 밝기 및 크기 차이로 인한 깊이 정보의 불명확성을 해소하는 것을 목적으로 한다.

본 발명의 실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치는 상기 투사된 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하는 카메라 모듈과, 상기 영상에 기초하여 밝기에 연관된 노출을 조정하여, 상기 획득된 영상을 업데이트하는 조정부와, 상기 구조광 패턴 및 상기 업데이트된 영상을 이용하여, 상기 객체에 관한 깊이 정보를 생성하는 프로세서를 포함한다.

카메라의 밝기 조절을 이용한 깊이 정보 획득 장치는 상기 획득된 영상에서 패턴을 추출하는 패턴 분할부를 더 포함하고, 상기 조정부는 상기 추출된 패턴에 기초하여, 상기 카메라 모듈의 노출을 조정할 수 있다.

상기 프로세서는 상기 패턴 분할부에 의해, 상기 업데이트된 영상으로부터 추출한 패턴을 디코딩하고, 상기 디코딩된 패턴에 기초하여 최종 패턴을 생성하는 패턴 디코딩부를 포함할 수 있다.

상기 프로세서는 상기 구조광 패턴 및 상기 최종 패턴을 비교하여 상기 구조광 패턴 및 상기 최종 패턴에서의 각 대응점을 검출하고, 상기 검출된 각 대응점 간의 차이를 계산하는 패턴 매칭부와, 상기 계산된 각 대응점 간의 차이를 이용하여, 상기 깊이 정보를 생성하는 삼각 측량부를 더 포함할 수 있다.

상기 프로젝터는 적외선 광원을 이용하여, 상기 구조광 패턴을 투사할 수 있다.

본 발명의 실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 방법은 설정된 구조광 패턴을 투사하는 단계와, 카메라 모듈을 이용하여, 상기 투사된 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하는 단계와, 상기 영상에 기초하여 밝기에 연관된 노출을 조정하여, 상기 획득된 영상을 업데이트하는 단계와, 상기 구조광 패턴 및 상기 업데이트된 영상을 이용하여, 상기 객체에 관한 깊이 정보를 생성하는 단계를 포함한다.

본 발명의 실시예에 따르면, 밝기 조절이 가능한 카메라 모듈을 통해, 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하고, 상기 구조광 패턴과 상기 영상으로부터 추출된 패턴을 이용하여 정밀한 깊이 정보를 획득 함으로써, 객체와 광원과의 거리 차이에 따라, 영상으로부터 추출된 패턴의 밝기 및 크기 차이로 인한 깊이 정보의 불명확성을 해소할 수 있다.

도 1은 본 발명의 일실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치의 구성 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치에서의 패턴 추출 일례를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 방법을 나타내는 흐름도이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치 및 방법에 대해 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치의 구성 일례를 도시한 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치(100)는 프로젝터(101), 카메라 모듈(103), 패턴 분할부(105), 조정부(107) 및 프로세서(109)를 포함할 수 있다.

프로젝터(109)는 설정된 구조광 패턴을 투사할 수 있다. 여기서, 프로젝터(101)는 상기 적외선 광원을 이용하여, 상기 구조광 패턴을 투사 함으로써, 카메라 모듈(103)에 의해, 획득되는 영상에 포함되는 패턴(예컨대, 제1 패턴, 제2 패턴)이 사람의 시야를 방해하지 않도록 한다.

카메라 모듈(103)은 투사된 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하여, 패턴 분할부(105)로 제공할 수 있다.

패턴 분할부(105)는 카메라 모듈(103)에 의해, 획득된 영상으로부터 패턴을 추출할 수 있다.

조정부(107)는 카메라 모듈(103)에 의해, 획득된 영상에서 추출된 패턴을 패턴 분할부(105)로부터 수신하고, 수신된 패턴에 기초하여, 카메라 모듈(103)의 노출(Exposure)을 조정하여, 상기 영상을 업데이트할 수 있다.

프로세서(109)는 상기 구조광 패턴 및 상기 업데이트된 영상을 이용하여, 상기 객체에 관한 깊이 정보를 생성할 수 있다. 이때, 프로세서(109)는 노출 조정을 통한 업데이트된 영상을 이용하여 정밀한 깊이 정보를 획득 함으로써, 객체와 광원과의 거리 차이에 따라, 영상으로부터 추출된 패턴의 밝기 및 크기 차이로 인한 깊이 정보의 불명확성을 해소할 수 있다.

프로세서(109)는 패턴 디코딩부(111), 패턴 매칭부(113) 및 삼각 측량부(115)를 포함할 수 있다.

패턴 디코딩부(111)는 패턴 분할부(105)에 의해, 상기 업데이트된 영상으로부터 추출한 패턴을 디코딩하고, 상기 디코딩된 패턴에 기초하여 최종 패턴을 생성할 수 있다.

패턴 매칭부(113)는 상기 구조광 패턴 및 상기 최종 패턴을 비교하여 상기 구조광 패턴 및 상기 최종 패턴에서의 각 대응점을 검출하고, 상기 검출된 각 대응점 간의 차이를 계산할 수 있다.

삼각 측량부(115)는 상기 계산된 각 대응점 간의 차이를 이용하여, 상기 깊이 정보를 생성할 수 있다.

도 2는 본 발명의 일실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치에서의 패턴 추출 일례를 설명하기 위한 도면이다.

도 2를 참조하면, 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치는 카메라 모듈(203), 패턴 분할부(205) 및 조정부(207)를 포함할 수 있다.

카메라 모듈(203)는 프로젝터(도시하지 않음)에서 투사된 구조광 패턴이 맺힌 객체를 촬영하여 n(n은 자연수)개의 프레임 영상을 획득하고, 획득한 프레임 영상을 패턴 분할부(205)로 제공할 수 있다.

패턴 분할부(205)는 카메라 모듈(203)로부터 n개의 프레임 영상, 예컨대, 1번째 프레임 영상(211-1), 2번째 프레임 영상(211-2), …, n번째 프레임 영상(211-n)을 수신하고, n개의 프레임 영상으로부터 각각의 제1 내지 n 패턴을 추출할 수 있다. 예컨대, 패턴 분할부(205)는 1번째 프레임 영상(211-1)에서 제1 패턴을 추출하고, 2번째 프레임 영상(211-2)에서 제2 패턴을 추출할 수 있다.

조정부(207)는 카메라 모듈(203)에 의해, 획득된 영상에서 추출된 패턴을 패턴 분할부(205)로부터 수신하고, 수신된 패턴에 기초하여, 카메라 모듈(203)의 노출을 조정하여, 각 영상을 업데이트할 수 있다. 예컨대, 조정부(207)는 1번째 프레임 영상(211-1)에서 추출된 패턴을 패턴 분할부(205)로부터 수신하고, 수신된 패턴에 기초하여, 카메라 모듈(203)의 노출을 조정 함으로써, 1번째 프레임 영상(211-1)을 업데이트할 수 있다.

도 3은 본 발명의 일실시예에 따른 카메라의 밝기 조절을 이용한 깊이 정보 획득 방법을 나타내는 흐름도이다.

도 3을 참조하면, 단계 301에서, 깊이 정보 획득 장치는 설정된 구조광 패턴을 투사할 수 있다. 이때, 깊이 정보 획득 장치는 적외선 광원을 이용하여, 상기 구조광 패턴을 투사할 수 있다.

단계 303에서, 깊이 정보 획득 장치는 카메라 모듈을 이용하여, 상기 투사된 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득할 수 있다.

단계 305에서, 깊이 정보 획득 장치는 획득한 영상으로부터 패턴을 추출하고, 추출된 패턴에 기초하여 카메라의 노출을 조정하여, 영상을 업데이트할 수 있다.

단계 307에서, 깊이 정보 획득 장치는 업데이트된 영상으로부터 추출한 패턴을 디코딩하고, 디코딩된 패턴에 기초하여 최종 패턴을 생성할 수 있다.

단계 309에서, 깊이 정보 획득 장치는 상기 구조광 패턴 및 상기 최종 패턴을 비교하여 상기 구조광 패턴 및 상기 최종 패턴에서의 각 대응점을 검출할 수 있다.

단계 311에서, 깊이 정보 획득 장치는 각 대응점 간의 차이를 계산하고, 상기 계산된 각 대응점 간의 차이를 이용하여, 상기 객체에 관한 깊이 정보를 생성할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치
101: 프로젝터 103: 카메라 모듈
105: 패턴 분할부 107: 조정부
109: 프로세서

Claims (10)

1. 설정된 구조광 패턴을 투사하는 프로젝터;
   상기 투사된 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하는 카메라 모듈;
   상기 영상에 기초하여 밝기에 연관된 노출을 조정하여, 상기 획득된 영상을 업데이트하는 조정부; 및
   상기 구조광 패턴 및 상기 업데이트된 영상을 이용하여, 상기 객체에 관한 깊이 정보를 생성하는 프로세서
   를 포함하고,
   상기 프로세서는,
   상기 업데이트된 영상으로부터 추출한 패턴을 디코딩하고, 상기 디코딩된 패턴에 기초하여 최종 패턴을 생성하는 패턴 디코딩부
   를 포함하는 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치.
2. 제1항에 있어서,
   상기 깊이 정보 획득 장치는,
   상기 획득된 영상 또는 상기 업데이트된 영상에서 패턴을 추출하는 패턴 분할부
   를 더 포함하고,
   상기 조정부는,
   상기 추출된 패턴에 기초하여, 상기 카메라 모듈의 노출을 조정하는
   카메라의 밝기 조절을 이용한 깊이 정보 획득 장치.
3. 삭제
4. 제1항에 있어서,
   상기 프로세서는,
   상기 구조광 패턴 및 상기 최종 패턴을 비교하여, 상기 구조광 패턴 및 상기 최종 패턴에서의 각 대응점을 검출하고, 상기 검출된 각 대응점 간의 차이를 계산하는 패턴 매칭부; 및
   상기 계산된 각 대응점 간의 차이를 이용하여, 상기 깊이 정보를 생성하는 삼각 측량부
   를 더 포함하는 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치.
5. 제1항에 있어서,
   상기 프로젝터는,
   적외선 광원을 이용하여, 상기 구조광 패턴을 투사하는
   카메라의 밝기 조절을 이용한 깊이 정보 획득 장치.
6. 설정된 구조광 패턴을 투사하는 단계;
   카메라 모듈을 이용하여, 상기 투사된 구조광 패턴이 맺힌 객체를 촬영하여 영상을 획득하는 단계;
   상기 영상에 기초하여 밝기에 연관된 노출을 조정하여, 상기 획득된 영상을 업데이트하는 단계;
   상기 업데이트된 영상으로부터 추출한 패턴을 디코딩하고, 상기 디코딩된 패턴에 기초하여 최종 패턴을 생성하는 단계; 및
   상기 구조광 패턴 및 상기 업데이트된 영상을 이용하여, 상기 객체에 관한 깊이 정보를 생성하는 단계
   를 포함하는 카메라의 밝기 조절을 이용한 깊이 정보 획득 방법.
7. 제6항에 있어서,
   상기 획득된 영상 또는 상기 업데이트된 영상에서 패턴을 추출하는 단계; 및
   상기 추출된 패턴에 기초하여, 상기 카메라 모듈의 노출을 조정하는 단계
   를 더 포함하는 카메라의 밝기 조절을 이용한 깊이 정보 획득 방법.
8. 삭제
9. 제6항에 있어서,
   상기 객체에 관한 깊이 정보를 생성하는 단계는,
   상기 구조광 패턴 및 상기 최종 패턴을 비교하여, 상기 구조광 패턴 및 상기 최종 패턴에서의 각 대응점을 검출하고, 상기 검출된 각 대응점 간의 차이를 계산하는 단계; 및
   상기 계산된 각 대응점 간의 차이를 이용하여, 상기 깊이 정보를 생성하는 단계
   를 포함하는 카메라의 밝기 조절을 이용한 깊이 정보 획득 방법.
10. 제6항에 있어서,
    상기 설정된 구조광 패턴을 투사하는 단계는,
    적외선 광원을 이용하여, 상기 구조광 패턴을 투사하는 단계
    를 포함하는 카메라의 밝기 조절을 이용한 깊이 정보 획득 방법.
    

Images