KR102135372B1

KR102135372B1 - 구조광 시스템

Info

Publication number: KR102135372B1
Application number: KR1020140032310A
Authority: KR
Inventors: 조아영; 신윤섭; 정용우
Original assignee: 엘지전자 주식회사
Priority date: 2014-03-19
Filing date: 2014-03-19
Publication date: 2020-07-17
Also published as: KR20150109187A

Abstract

본 발명은 복수개의 점들로 이루어지는 구조광을 조사하는 조명부와, 대상체에 반사되는 상기 구조광 및 가시광을 검출하는 어레이 카메라 및 상기 구조광의 기설정된 초점 정보에 근거하여 상기 검출된 구조광의 데이터를 보정하여 뎁스맵(depth map)을 형성하고, 상기 검출된 가시광의 데이터에 근거하여 리포커싱(refocusing)을 수행하여 입체 영상을 생성시키는 제어부를 포함하는 구조광 시스템을 제공한다.

Description

구조광 시스템{STRUCTURED LIGHT SYSTEM}

본 발명은 IR array camera를 구비하는 구조광 시스템에 관한 것이다.

영상 기술의 발전에 기인하여, 촬영 당시에 초점이 맞지 않더라도 하나의 영상 또는 두 영상에서 재초점을 수행하여 영상의 화질을 개선하는 방법들이 제시된다.

하나의 영상에서 재초점을 수행하는 방식은 Single-view depth estimation method를 사용한다. 이는 점들의 퍼진 정도를 척도로 하여 defocus/focus 기반의 뎁스맵(depth map)을 획득하고 뎁스맵 정보에 따라 초점을 변경한다. 하지만, 이 방법은 자연적인 blur로 인한 defocus인지 초점 조절에 의한 blur인지 구별할 수 없다는 문제가 있으며, 색상 정보 등의 추가적인 정보를 이용하여 개선될 수 있지만 오류가 발생의 여지가 남는다.

두 개의 영상에서 재초점을 수행하는 방식은 양안 영상의 disparity를 기반으로 뎁스맵을 구성하고 뎁스맵 정보에 따라 defocus를 수행한다. 이 방식에서는 특징점을 기반으로 하여 disparity를 구한다. 그러므로 특징이 없는 영역이나 미세한 특징이 반복되는 영역에서 오류가 발생할 수 있다. 또한, 수평 방향의 parallax만을 이용하기 때문에 수직 방향의 차이에 의한 경계를 구분하기 어렵다.

또한, 최근 이미지 센서를 구비한 장치들이 개발되어 판매되고 있으며 이미지 센서는 픽셀 또는 포토사이트라고 불리는 작은 포토 다이오드의 어레이로 구성된다. 일반적으로 픽셀은 빛으로부터 색상을 직접 추출하지 않고, 넓은 스펙트럼 밴드의 광자를 전자로 변환시킨다. 따라서, 이미지 센서의 픽셀은 넓은 스펙트럼 밴드의 빛 중 색상 획득에 필요한 밴드의 빛만을 입력받을 필요가 있다. 이미지 센서의 픽셀은 컬러 필터 등과 결합하여 특정 색상에 대응하는 광자만을 전자로 변환시킨다.

이러한 이미지 센서들을 이용하여 3차원 영상을 획득하기 위해서는 색상뿐만 아니라 물체와 이미지 센서 간의 거리에 관한 정보가 필요하다. 일반적으로 물체와 이미지 센서 간의 거리에 관해 재구성된 영상을 해당 분야에서는 뎁스맵(depth map)으로 표현하며, 종래 기술들에서는 이러한 깊이 이미지는 적외선(infrared light)를 이용한 TOF(Time-of-flight) 방식을 이용하여 얻을 수 있다.

하지만, 하나의 카메라에 존재하는 복수의 픽셀에 의한 이미지들과 TOF 이미지를 조합하여 3차원 영상을 구현하는 경우, 근거리 및 원거리 영상 모두의 초점을 정확히 보정하기 어렵다. 따라서, 보다 정확히 초점을 보정할 수 있는 시스템에 대한 필요성이 대두된다.

본 발명의 일 목적은 구조광 및 어레이 커메라를 하나의 시스템으로 결합하여 근거리 및 원거리 영상 모두 초점을 정확히 보정할 수 있는 어레이 카메라 타입의 구조광 시스템을 제공하기 위한 것이다.

상기와 같은 과제를 해결하기 위해 본 발명의 일 실시예에 따르는 구조광 시스템은 복수개의 점들로 이루어지는 구조광을 조사하는 조명부와, 대상체에 반사되는 상기 구조광 및 가시광을 검출하는 어레이 카메라 및 상기 구조광의 기설정된 초점 정보에 근거하여 상기 검출된 구조광의 데이터를 보정하여 뎁스맵(depth map)을 형성하고, 상기 검출된 가시광의 데이터에 근거하여 리포커싱(refocusing)을 수행하여 입체 영상을 생성시키는 제어부를 포함한다.

본 발명의 일 실시예에 따르면, 상기 어레이 카메라는 상기 구조광을 검출하는 IR 카메라 및 상기 가시광을 검출하는 복수의 가시광 카메라들로 구성된다.

본 발명의 일 실시예에 따르면, 상기 가시광 카메라들은 서로 다른 초점 특성을 갖고 초점심도(Depth of focus)의 일부가 겹치도록 설정되는 제1 카메라 및 제2 카메라를 포함한다.

본 발명의 일 실시예에 따르면, 상기 가시광 카메라들은 초점 특성이 같은 제1 및 제2 카메라를 포함하며, 상기 제어부는 상기 제1 및 제2 카메라로부터 입력받은 영상들 중 어느 하나를 기준으로 리포커싱(refocusing)한다. 상기 어느 하나는 상기 영상들 중 원거리 영상일 수 있다.

본 발명의 일 실시예에 따르면, 상기 IR 카메라는 상기 제1 카메라 및 제2 카메라와 동일한 거리를 갖도록 배치된다.

본 발명의 일 실시예에 따르면, 상기 구조광 시스템은 상기 제1 카메라 및 제2 카메라와 동일한 거리를 갖도록 배치되는 제3 카메라를 더 포함한다.

본 발명의 일 실시예에 따르면, 상기 제1 내지 제3 카메라는 레드(red), 그린(green) 및 블루(blue) 색광을 검출하는 카메라로 구성될 수 있다.

상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 구조광 시스템은 초점 정보를 알고 있는 구조광을 대상체에 조사한 후 IR 카메라로 검출하여 뎁스맵을 형성하고, 가시광 카메라의 초점 특성을 이용한 리포커싱을 수행하여 보다 선명한 화질의 3차원 영상을 획득할 수 있다.

도 1은 어레이 카메라에서 영상들을 합성하여 재초점을 수행하는 것을 나타낸 개념도.
도 2 및 도 3은 본 발명의 일 실시에에 따른 구조광 시스템의 구조를 나타내는 개념도.
도 4는 서로 다른 초점심도를 갖는 카메라를 이용하는 실시예.
도 5 및 도 6은 본 발명의 구조광을 검출하는 원리를 설명하기 위한 개념도.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일·유사한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 어레이 카메라(200)에서 영상들을 합성하여 재초점을 수행하는 것을 나타낸 개념도이다.

도 1을 참조하면, 획득한 영상들 안에서 물체와 카메라 사이의 거리에 따라 시차가 다르게 발생한다. 즉, 가까운 물체에서는 시차가 크게 발생하고 먼 물체는 시차가 작게 발생한다. 이 원리에 의해 획득한 영상들의 평행이동 범위를 목표하는 물체 거리(초점면)에 대응되도록 조절하여 중첩시키면 초점면이 아닌 영역은 defocus 되는 효과를 얻을 수 있다.

이에 반해, 입력 영상들의 평균을 구하는 초점면에서는 촬영시 발생할 수 있는 random noise가 상쇄되어 물체의 상이 더욱 선명해지는 효과를 얻을 수 있다.

도 1에는 이러한 원리가 도시되어 있다. 도시된 바에 따르면, 제1 면(Z1)에는 A 물체의 이미지가 존재하고, 제2 면(Z2)에는 B물체의 이미지가 존재한다.

본 실시예에서는 9개의 카메라를 이용하여 물체를 촬영하고 있다. 중앙의 카메라는 A,B 물체의 이미지 연장선 상에 배치되는 것으로 도시되어 있다. 두 이미지가 중첩되어 인식된다. 중앙의 카메라를 제외한 다른 카메라들에서는 A의 이미지와 B의 이미지 간의 거리 차이가 발생하게 된다. 즉, 빨간 점(A)과 파란 점(B)의 상대적 위치가 카메라마다 다르게 결정된다.

도시된 Refocused Images 에서는 제1 면(Z1)을 기준면으로 하여 refocus를 수행한 이미지(왼쪽)와, 2 면(Z2)을 기준면으로 하여 refocus를 수행한 이미지(오른쪽)가 도시되어 있다. 왼쪽의 이미지에서는 카메라들을 통해 촬영된 빨간 점들을 한 점으로 집중시켜 근거리 영상을 기준으로 한 refocused image를 추출하고, 오른쪽의 이미지에서는 카메라들을 통해 촬영된 파란 점들을 한 점으로 집중시켜 원거리 영상을 기준으로 한 refocused image를 추출한다.

왼쪽의 이미지에서 파란점들은 흩어져 defocus되는 효과를 얻으며, 오른쪽의 이미지에서는 빨간점들이 흩어져 defocus되는 효과를 얻을 수 있다.

도 2 및 도 3은 본 발명의 일 실시에에 따른 구조광 시스템의 구조를 나타내는 개념도이다.

도 2 및 도 3을 참조하면, 구조광 시스템은 몸체(1000)와, 조명부(100)와, 어레이 카메라(200)와, 제어부(300) 및 출력부(400) 등을 포함한다.

상기 몸체(1000)에는 조명부(100)와 어레이 카메라(200)가 장착된다. 상기 조명부(100)에는 구조 광원이 존재하여 구조광(structured light)을 대상체(500)에 조사한다. 어레이 카메라(200)는 대상체(500)에 반사된 상기 구조광을 검출한다.

구조 광원은 복수개의 점들로 이루어지는 구조광(spot 기반 구조광)을 대상체(500)에 조사한다. 이때 제어부(300)에는 조사되는 구조광의 초점 정보가 전달된다.

출력부(400)에는 상기 제어부에서 형성시킨 뎁스맵, RGB 영상 또는 3차원 영상 등이 표시될 수 있다. 사용자는 출력부(400)에 표시되는 영상을 선택할 수 있다. 상기 뎁스맵, RGB 영상, 3차원 영상은 구조광 및 어레이 카메라가 유기적으로 결합되어 형성시킨다.

어레이 카메라(200)는 IR 카메라(210) 및 복수 개의 가시광 카메라(220)를 포함한다.

어레이 카메라(200)는 도 3에 도시된 바와 같이 서로 이웃하여 배치되는 복수의 카메라들로 구성된다. 도시된 바에 따르면 어레이 카메라(200)는 1개의 IR 카메라(210) 및 3개의 가시광 카레라를 포함한다. 가시광 카메라(220)는 레드(red), 그린(green), 블루(blue) 색 광을 검출하는 카메라들을 포함한다.

본 발명의 일 실시예에 따르면, IR 카메라(210)는 제1 카메라(221) 및 제2 카메라(222)와 동일한 거리에 배치되고, 제3 카메라(223)는 IR 카메라(210)와 대칭이 되는 위치에 배치된다. 예를 들어, 도 3에서는 제1 카메라(221)와 제3 카메라(223)는 동일한 열에 배치되고 IR 카메라(210)와 제2 카메라(222)가 동일한 열에 배치된다. 이때 제1 카메라(221)와 IR 카메라(210)가 동일한 열에 배치되고 제3 카메라(223)와 제2 카메라(222)가 동일 열에 배치된다. 4개의 카메라가 상하좌우로 이웃하게 배치되어 상하 방향의 refocusing 및 좌우 방향의 refocusing 을 모두 수행할 수 있다. 또한, 본 발명에서는 하나의 카메라에 서로 다른 파장의 빛을 통과시키는 복수의 필터를 사용하는 것이 아니라 복수개의 카메라가 인접하여 배치되는 어레이 카메라(200)를 이용하여 보다 효과적으로 refocusing을 수행할 수 있다.

IR 카메라(210)는 구조 광원에서 조사되어 대상체(500)에 반사된 구조광을 검출한다. IR 카메라(210)를 통해 검출된 구조광의 데이터는 제어부(300)로 전송된다. 제어부(300)는 상기 전송된 데이터를 기반으로 대상체(500)의 뎁스맵(depth map)을 형성시킨다. 보다 구체적으로, 제어부(300)는 구조 광원에서 조사되는 구조광의 초점 정보를 알고 있으므로, 이를 통해 기준 거리에서 반사되는 스팟(spot)의 기준값을 계산할 수 있다. 상기 스팟의 퍼짐 정도에 의해 각 스팟이 기준 거리보다 가까운 곳에서 반사되었는지 먼 곳에서 반사되었는지 판별할 수 있으며 이를 통해 보다 정확한 뎁스맵을 얻을 수 있다.

하지만, 스팟 기반의 구조광 패턴은 초점의 위치와 피사체심도가 매우 중요하며, 초점의 위치에 따라 근거리 또는 원거리 검출 성능이 떨어질 수 있다. 상기와 같이 스팟 기준값을 이용하여 뎁스맵을 보정한다고 하더라도 3차원 영상에서 초점이 흐트러질 수 있지만, 본 발명에서는 이러한 초점의 흐트러짐은 가시광 카메라(220)들을 이용한 refocusing에 의하여 보정할 수 있다.

가시광 카메라(220)들은 서로 초점 특성이 같게 구성될 수 있고 서로 다르게 구성될 수도 있다.

먼저, 초점 특성이 같게 구성되는 경우를 살펴보면, 도 1에 도시된 바와 같이 입력받은 영상을 근거리 또는 원거리 기준의 refocusing을 수행하여 검출 범위를 확장 개선한다. 도 1에 도시된 Refocused Images에서는 제1 면(Z1)을 기준면으로 하여 refocus를 수행한 이미지(왼쪽)와, 2 면(Z2)을 기준면으로 하여 refocus를 수행한 이미지(오른쪽)가 도시되어 있다. 왼쪽의 이미지에서는 카메라들을 통해 촬영된 빨간 점들을 한 점으로 집중시켜 근거리 영상을 기준으로 한 refocused image를 추출하고, 오른쪽의 이미지에서는 카메라들을 통해 촬영된 파란 점들을 한 점으로 집중시켜 원거리 영상을 기준으로 한 refocused image를 추출한다. 왼쪽의 이미지에서 파란점들은 흩어져 defocus되는 효과를 얻으며, 오른쪽의 이미지에서는 빨간점들이 흩어져 defocus되는 효과를 얻을 수 있다.

다음으로 초점 특성이 다르게 구성되는 경우는 도 4에 도시되어 있다.

도 4를 참조하면, 제1 카메라(221)와 제2 카메라(222)의 초점심도가 다르게 설정되어 있다. 즉, 제1 카메라(221)의 초점심도(Depth of focus)는 A영역에 해당하고 스팟의 깊이 정보를 검출할 수 있는 범위는 a영역에 해당한다. 제2 카메라(222)의 초점심도는 B영역에 해당하고 제2 카메라(222)에 의하여 스팟의 깊이 정보를 검출할 수 있는 범위는 b영역에 해당한다.

본 실시예에서는 제1 카메라(221)와 제2 카메라(222)가 서로 다른 초점심도를 갖고 이웃하도록 배치되어 있지만, IR 카메라(210) 2개가 서로 다른 초점심도를 가지며 배치될 수도 있고, 제2 카메라(222)와 제3 카메라(223)가 서로 다른 초점심도를 가질 수도 있다. IR 카메라(210) 2개가 서로 다른 초점심도를 갖고 이웃하여 배치되는 경우 두 개의 뎁스맵을 이용하여 refocusing을 수행할 수 있다.

다시 도 4를 참조하면, 제1 카메라(221)와 제2 카메라(222)의 초점심도가 서로 다르게 설정되어 어레이 카메라(200)는 C영역의 초점심도 및 c영역의 스팟 검출범위를 갖는 것과 마찬가지의 효과를 얻을 수 있다. 또한, 초점심도의 일부가 겹쳐 중복 정보를 얻을 수 있으므로 다중 영상을 합성하기에 용이하다.

도 5 및 도 6은 본 발명의 구조광을 검출하는 원리를 설명하기 위한 개념도이다.

도 5를 참조하면, 대상체(500)의 표면에는 복수개의 스팟으로 구성되는 구조광이 조사된다. 본 실시예에서 구조광은 Z위치에 초점이 맞도록 설정되어 있다. 따라서, Z위치의 스팟은 선명하게 인식되며 Y,X 위치에서는 blur가 발생하는 것을 확인할 수 있다. 이 때, 구조광의 초점값을 이미 알고 있으므로 blur가 발생하는 영역(X,Y)의 깊이를 감지하는 것이 가능하다.

도 6을 참조하면, 구조광을 이용하여 형성된 Depth image와, 가시광 카메라(220)를 이용하여 형성된 RGB image가 도시되어 있다. 본원발명에서는 이 두 개의 이미지를 이용하여 3차원 영상을 형성시킬 수 있다. 다시 말해, depth image에서는 물체의 깊이 정보만을 얻을 수 있으며 초점 정보가 부정확하다. depth image에 RGB image를 중첩시키고 refocusing 처리하여 보다 선명한 3차원 영상을 얻는 것이 가능하다.

상기와 같이 구성되는 구조광 시스템은 초점 정보를 알고 있는 구조광을 대상체(500)에 조사한 후 IR 카메라(210)로 검출하여 뎁스맵을 형성하고, 가시광 카메라(220)의 초점 특성을 이용한 리포커싱을 수행하여 보다 선명한 화질의 3차원 영상을 획득할 수 있다.

이상에서 설명한 구조광 시스템은 위에서 설명된 실시예들의 구성과 방법에 한정되는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims

구조광 시스템으로서,
복수개의 점들로 이루어지는 구조광을 조사하는 조명부;
대상체에 반사되는 상기 구조광 및 가시광을 검출하는 어레이 카메라; 및
상기 구조광의 기설정된 초점 정보에 근거하여 상기 검출된 구조광의 데이터를 보정하여 뎁스맵(depth map)을 형성하고, 상기 검출된 가시광의 데이터에 근거하여 리포커싱(refocusing)을 수행하여 입체 영상을 생성시키는 제어부
를 포함하고,
상기 어레이 카메라는, 상기 구조광을 검출하는 IR 카메라, 및 상기 가시광을 검출하는 복수의 가시광 카메라를 포함하며,
상기 제어부는 추가로,
초점 정보를 알고 있는 구조광을 상기 대상체에 조사한 후 상기 IR 카메라로 검출하여 상기 뎁스맵을 형성하고, 상기 복수의 가시광 카메라의 초점 특성을 이용하여 리포커싱을 수행하는 것을 특징으로 하는 구조광 시스템.
삭제
제1항에 있어서,
상기 가시광 카메라들은,
서로 다른 초점 특성을 갖고 초점심도(Depth of focus)의 일부가 겹치도록 설정되는 제1 카메라 및 제2 카메라를 포함하는 것을 특징으로 하는 구조광 시스템.
제3항에 있어서,
상기 가시광 카메라들은 초점 특성이 같은 제1 및 제2 카메라를 포함하며,
상기 제어부는,
상기 제1 및 제2 카메라로부터 입력받은 영상들 중 어느 하나를 기준으로 리포커싱(refocusing)하는 것을 특징으로 하는 구조광 시스템.
제4항에 있어서,
상기 어느 하나는,
상기 영상들 중 원거리 영상인 것을 특징으로 하는 구조광 시스템.
제3항에 있어서,
상기 IR 카메라는,
상기 제1 카메라 및 제2 카메라와 동일한 거리를 갖도록 배치되는 것을 특징으로 하는 구조광 시스템.
제6항에 있어서,
상기 제1 카메라 및 제2 카메라와 동일한 거리를 갖도록 배치되는 제3 카메라를 더 포함하는 것을 특징으로 하는 구조광 시스템.
제7항에 있어서,
상기 제1 내지 제3 카메라는,
레드(red), 그린(green) 및 블루(blue) 색광을 검출하는 카메라로 구성되는 것을 특징으로 하는 구조광 시스템.