KR20220155242A

KR20220155242A - 센서 모듈 및 이를 포함하는 3차원 영상

Info

Publication number: KR20220155242A
Application number: KR1020220145152A
Authority: KR
Inventors: 정성기; 서은성; 이기석; 이명욱; 이세규; 한경하
Original assignee: 엘지이노텍 주식회사
Priority date: 2020-05-26
Filing date: 2022-11-03
Publication date: 2022-11-22
Also published as: KR20210095842A; KR102464830B1; KR20200064966A; KR102284673B1

Abstract

본 발명의 일 실시 예에 따르면 센서 모듈은, 물체로 광을 조사하는 광원, 상기 광원과 상기 물체 사이에 배치되며, 상기 광원의 조사영역을 조절하는 홀로그래픽 소자, 제1 및 제2프레임주기에서의 상기 조사영역이 서로 다르도록, 상기 홀로그래픽 소자를 구동하는 액추에이터(actuator), 상기 물체에 의해 반사되는 반사광을 수광하는 수광렌즈, 그리고 상기 수광렌즈를 통해 상기 반사광을 수광하며, 상기 제1 및 제2프레임주기 각각에 동기화하여 제1 및 제2영상신호를 출력하는 센서부를 포함한다.

Description

센서 모듈 및 이를 포함하는 3차원 영상{SENSOR MODULE AND 3D IMAGE CAMERA INCLUDING THE SAME}

본 발명은 센서 모듈 및 이를 포함하는 3차원 영상 카메라에 관한 것이다.

비행시간(Time of Flight, TOF) 센서는 광원에서 방출되는 광이 물체에 의해 반사되어 돌아오는 것을 감지하는 센서이다. TOF 센서는 깊이 정보(depth image)를 생성하는 3차원 영상 카메라와 연결되어, 특정 물체까지의 거리를 산출하거나 물체의 움직임을 인식하기 위해 사용될 수 있다.

한편, 3차원 영상 카메라를 이용하여 물체의 움직임을 인식함에 있어, MOS(Minimum Object Size)는 중요한 요소로 작용한다. MOS는 센서로부터 추출한 깊이 영상(depth image)의 해상력에 따라서 달라질 수 있다.

따라서, 움직임 인식 성능을 향상시키기 위해서는 깊이 영상의 해상력을 향상시킬 필요가 있다.

한편, TOF 센서의 구동을 위해 사용하는 광원의 경우, 광의 발산각 조절이 어려워, 센서의 화각을 벗어나는 영역에도 광이 조사되고 이로 인해 광손실이 발생하는 문제가 있다. 또한, 필요한 광량을 얻기 위해 다수의 발광소자를 사용하고 있어 3차원 카메라의 전체적인 사이즈가 증가하는 문제가 있다.

본 발명이 이루고자 하는 기술적 과제는, 해상도가 향상된 깊이 영상을 제공하기 위한 센서 모듈 및 이를 포함하는 3차원 영상 카메라를 제공하는 것이다.

본 발명의 한 실시예에 따른 깊이 정보 생성 장치는 IR 광을 출력하는 광원; 상기 광원으로부터 출력된 후 물체로부터 반사된 광이 입사되는 수광부; TOF(Time of Flight)를 이용하여 제1 영역 및 제2 영역 중 적어도 하나의 깊이 정보를 추출하도록 설정된 제어부; 그리고 상기 광원 및 상기 물체 사이에 배치된 광학 소자를 포함하며, 상기 광학 소자는 상기 수광부의 화각에 대응하는 영역에 조사되도록 상기 광원으로부터 출력된 상기 IR 광을 조절하고, 상기 광학 소자의 위치 또는 기울기는 상기 제1 영역에 상기 IR 광이 조사되거나 상기 제2 영역에 상기 IR 광이 조사되도록 조절되도록 설정되며, 상기 제1 영역 및 상기 제2 영역은 서로 상이하다.

상기 광학 소자는 상기 제1 영역에 상기 IR 광이 조사되도록 상기 IR 광의 발산각을 조절한 후, 상기 제2 영역에 상기 IR 광이 조사되도록 상기 IR 광의 발산각을 조절하도록 설정될 수 있다.

상기 제어부는 상기 광원으로부터 출력되어 상기 제2 영역에 조사된 상기 IR 광이 상기 물체로부터 반사된 후 상기 수광부에 입력되기까지 비행시간을 계산할 수 있다.

상기 광학 소자에 연결되며 상기 광학 소자를 구동시키는 액추에이터를 더 포함할 수 있다.

상기 제1 영역은 상기 제2 영역보다 클 수 있다.

상기 수광부는 복수의 픽셀을 포함하고, 상기 광학 소자의 위치 또는 기울기가 조절되면 상기 IR 광이 입사되는 상기 복수의 픽셀의 영역이 이동할 수 있다.

상기 광학 소자의 위치 또는 기울기를 조절하는 것에 의하여 제1 프레임 주기에서의 상기 제1 영역은 제2 프레임 주기에서의 상기 제2 영역과 상이할 수 있다.

상기 제1 프레임 주기 및 상기 제2 프레임 주기는 상기 제어부에 의하여 제어될 수 있다.

상기 제1 영역에 대응하는 상기 복수의 픽셀 중 제1 픽셀 영역은 상기 제2 영역에 대응하는 상기 복수의 픽셀 중 제2 픽셀 영역으로부터 1 픽셀만큼 이동할 수 있다.

상기 제어부는 상기 제1 프레임 주기의 제1 프레임 및 상기 제2 프레임 주기의 제2 프레임을 이용하여 깊이 정보를 추출하며, 상기 제1 프레임 및 상기 제2 프레임을 이용하여 추출된 깊이 정보의 해상도는 상기 제1 프레임의 제1 해상도 및 상기 제2 프레임의 제2 해상도보다 높을 수 있다.

상기 제1 영역 및 상기 제2 영역은 서로 중첩되지 않고, 상기 광학 소자는 매 프레임 주기마다 상기 IR 광이 조사되는 영역이 변경되도록 상기 IR 광을 조절할 수 있다.

상기 제어부는 제1 프레임 주기에서의 상기 제1 영역에 대한 제1 깊이 정보와 제2 프레임 주기에서의 상기 제2 영역에 대한 제2 깊이 정보를 결합할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 홀로그래픽 소자에 의해 발산각 제어하는 일 예를 설명하기 위한 도면이다.
도 3 내지 도 4는 본 발명의 일 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 3차원 영상 카메라의 깊이 영상 생성 방법을 도시한 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다.
도 7은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 깊이 영상을 획득하는 방법을 도시한 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하, 도 1 내지 도 5를 참조하여, 본 발명의 일 실시 예에 따른 깊이 영상 생성방법 및 이를 수행하기 위한 센서 모듈 및 3차원 영상 카메라의 구성에 대하여 상세하게 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다. 도 2는 본 발명의 일 실시 예에 따른 홀로그래픽 소자에 의해 발산각 제어하는 일 예를 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 3차원 영상 카메라는 깊이 센서 모듈(10), 신호처리부(31) 및 디인터레이서(De-interlacer, 32)를 포함할 수 있다. 도 1에 도시된 구성요소들은 필수적인 것은 아니어서, 본 발명의 일 실시 예에 따른 3차원 영상 카메라는 그 보다 더 많거나 더 적은 구성요소를 포함할 수 있다.

깊이 센서 모듈(10)은 비행시간(Time Of Flight, TOF) 센서모듈로서, 발광부와 수광부를 포함할 수 있다.

깊이 센서 모듈(10)의 발광부는 광원(11), 렌즈(12), 홀로그래픽(Holograhic) 소자(13), 액추에이터(actuator, 14) 및 제어부(15)를 포함할 수 있다.

광원(11)은 발광소자를 포함하며, 발광소자를 구동하여 일정한 위상을 가지는 광을 물체(OB)로 조사하는 기능을 수행한다. 광원(11)은 기 설정된 프레임주기에 동기화하여 점멸을 반복하도록 동작할 수 있다.

광원(11)에 포함되는 발광소자로는 레이저(Laser), 레이저 다이오드(Laser Diode) 등이 포함될 수 있으나, 그 외 다른 종류의 광원도 사용될 수 있다.

레이저 또는 레이저 다이오드로부터 조사되는 광은 발광 다이오드(Light Emitting Diode, LED)로부터 조사되는 광에 비해 상대적으로 지향성이 뛰어난 특성이 있다. 따라서, 레이저 또는 레이저 다이오드를 광원(11)으로 사용하는 경우, 발산각 및 조사영역 조절이 용이하다.

광원(11)에서 조사되는 광의 파장은 적외선(Infrared Ray) 대역에 포함될 수있으나, 그 외 다른 파장 대역에 포함될 수도 있다.

렌즈(12)는 광원(11)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 광원(11)으로부터 조사되는 광을 면광원화하는 기능을 수행한다. 레이저의 경우 지향성이 뛰어나나, 상대적으로 발산각이 작은 특성이 있다. 따라서, 깊이 영상을 획득하기 위해서는 물체(OB) 전체로 균일하게 광을 조사하도록 렌즈(12)를 사용할 수 있다.

홀로그래픽 소자(13)는 광원(11)과 물체(OB) 사이, 또는 렌즈(12)와 물체(OB) 사이에 배치되며, 광원(11)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다.

도 2의 (a)는 광원(LED)으로부터 조사되는 광이 홀로그래픽 소자(13) 없이 물체(OB)로 조사되는 경우를 도시한 것이고, 도 2의 (b)는 광원(LD)으로부터 조사되는 광이 홀로그래픽 소자(13)에 의해 발산각이 조절되어 물체(OB)로 조사되는 경우를 도시한 것이다.

도 2의 (a)를 보면, LED로부터 조사되는 광은 센서에 상이 맺히는 영역 외에 다른 영역(a1, a2)에도 조사되어, 광효율이 떨어진다.

반면에, 도 2의 (b)를 참조하면, LD로부터 조사되는 광은, 홀로그래픽 소자(13)에 의해 센서에 상이 맺히는 영역(화각)을 크게 벗어나지 않도록 발산각이 조절되어, 낭비되는 광이 최소화되고 광효율이 향상될 수 있다.

한편, 렌즈(12)는 필수적인 것은 아니어서, 홀로그래픽 소자(13)에 의해 조도 균일도가 확보되는 경우에는 생략될 수도 있다.

다시, 도 1을 보면, 홀로그래픽 소자(13)는 컴퓨터 홀로그램(Computer Generated Hologram, CGH) 방식으로 제조될 수 있다. 홀로그램(hologram)은 물체로부터 산란되는 정보가 담긴 물체파(signal wave)와 가간섭 참조파(reference wave)로부터 생기는 간섭패턴으로, CGH는 컴퓨터를 이용하여 이러한 간섭패턴을 수학적으로 계산하여 만드는 방식이다.

홀로그래픽 소자(13)는 컴퓨터에 의해 계산된 간섭패턴을 기록매질에 기록하여 형성될 수 있다.

홀로그래픽 소자(13)에서 간섭패턴이 기록되는 기록매질은 감광재료로 형성된 기판을 포함할 수 있다. 감광 재료로는 포토폴리머(photopolymer), UV 포토폴리머, 포토레지스트(photoresist), 실버 팔라이드 에멀젼(silver halide emulsion), 중크롬산 젤라틴(dichromated gelatin), 포토그래픽 에멀젼(photographic emulsion), 포토써모플라스틱(photothermoplastic), 광회절(photorefractive) 재료 등이 사용될 수 있다.

홀로그래픽 소자(13)는 체적 홀로그래픽(volume holographic) 소자 또는 표면 홀로그래픽(surface holographic) 소자일 수 있다.

체적 홀로그래픽 소자는 물체파와 참조파의 간섭으로 공간에 만들어져 있는 간섭패턴을 기록매질에 3차원적으로 기록한 홀로그래픽 광학소자이다. 반면에, 표면 홀로그래픽 소자는 물체파와 참조파의 간섭으로 공간에 만들어져 있는 간섭패턴을 기록매질의 표면에 기록한 홀로그래픽 광학소자이다.

홀로그래픽 소자(13)가 표면 홀로그래픽 소자인 경우, 간섭패턴은 광원(11)으로부터 입사한 광이 출사하는 출사면에 형성될 수 있다.

홀로그래픽 소자(13)는 액추에이터(14)에 연결되며, 액추에이터(14)에 의해 위치, 기울기(tilting) 등이 조절될 수 있다.

액추에이터(14)는 홀로그래픽 소자(13)를 구동하는 구동장치로서, 광원(11)의 광축(Optic Axis)을 기준으로 홀로그래픽 소자(13)의 위치, 기울기(tilting) 등을 조절할 수 있다.

홀로그래픽 소자(13)의 위치, 기울기 등이 변경되면, 홀로그래픽 소자(13)를 통과한 광이 물체(OB)에 조사되는 조사영역이 이동(shift)하며, 이로 인해 물체(OB)에 의해 반사된 광이 센서부(22)의 각 셀에 맺히는 영역 또한 이동하게 된다.

액추에이터(14)는 제어부(15)의 제어신호를 토대로, 홀로그래픽 소자(13)의조사영역이 스위칭되도록 홀로그래픽 소자(13)를 구동시킬 수 있다. 즉, 액추에이터(14)는 홀수번째 프레임주기에 홀로그래픽 소자(13)의 조사영역이, 짝수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역과 다르도록 홀로그래픽 소자(13)를 구동할 수 있다.

홀수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역은, 짝수번째 프레임주기에서의 홀로그래픽 소자(13)의 조사영역에 비해, 센서부(22)의 한 셀에 매칭되는 영역만큼 위 또는 아래로 이동한 영역일 수 있다. 즉, 홀로그래픽 소자(13)의 조사영역은, 홀수번째 프레임주기에서의 센서부(22)의 셀에 맺히는 위치와, 짝수번째 프레임주기에서의 센서부(22)의 셀에 맺히는 위치가 하나의 셀만큼 차이나도록, 매 프레임주기마다 조절될 수 있다. 이에 따라, 동일한 지점에서 반사된 광이더라도 홀수번째 프레임주기에서 센서부(22)의 셀에 맺히는 위치와, 짝수번째 프레임주기에서 센서부(22)의 셀에 맺히는 위치가 하나의 셀만큼 차이날 수 있다.

액추에이터(14)는 VCM(Voice Coil Moto) 액추에이터 또는 MEMS(Microelectromechanical Systems) 액추에이터일 수 있다.

제어부(15)는 기 설정된 프레임(frame)주기를 토대로 광원(11)의 온(On)/오프(Off)를 제어할 수 있다.

도 3을 예로 들면, 제어부(15)는 매 프레임주기마다 광원(11)이 점멸하도록, 광원(11)을 주기적으로 온(On)/오프(Off)할 수 있다. 즉, 제어부(15)는 프레임주기(T1, T2)가 시작되면 광원(11)을 온하여 광을 조사하고, 소정 시간이 흐르면 광원(11)을 오프하여 프레임주기(T1, T2)가 끝날때까지 광 조사를 중단하도록 제어하는 동작을, 매 프레임주기(T1, T2)마다 수행할 수 있다.

제어부(15)는 매 프레임주기마다 홀로그래픽 소자(13)의 조사영역이 스위칭되도록 액추에이터(14)를 제어할 수 있다.

깊이 센서 모듈(10)의 수광부는 수광렌즈(21) 및 센서부(22)를 포함할 수 있다.

수광렌즈(21)는 물체(OB)와 센서부(22) 사이에 배치되며, 물체(OB)측으로부터 반사되는 반사광을 수광하여 센서부(22)로 입사시키는 기능을 수행한다.

센서부(22)는 수광렌즈(21)를 통해 물체(OB)로부터 반사되는 반사광을 수광하고, 이를 전기신호로 변환하여 영상신호를 출력한다.

센서부(22)는 복수의 셀로 이루어지며, 각 셀은 프레임을 구성하는 각 픽셀(pixel)에 대응될 수 있다. 센서부(22)는 셀 단위로 광을 수광하며, 셀 단위로 영상신호를 출력할 수 있다.

센서부(22)를 구성하는 각 셀은, 광을 전기신호로 변환하는 소자를 포함할 수 있다. 각 셀은 이로 한정되는 것은 아니나, 금속산화물반도체(Metal-Oxide Semiconductor,MOS), 전하결합소자(Charge Coupled Device, CCD) 등을 포함할 수 있다.

센서부(22)는 기 설정된 프레임주기에 동기화하여 반사광을 수광하고, 이를 영상신호로 변환하여 출력할 수 있다.

한편, 홀로그래픽 소자(13)에 의해 매 프레임주기마다 조사영역이 스위칭됨에 따라, 센서부(22)에 상이 맺히는 위치 또한 매 프레임주기마다 스위칭될 수 있다.

홀로그래픽 소자(13)는 엑추에이터(14)에 의해 홀수번째 프레임주기와 짝수번째 프레임주기에서 서로 다른 영역에 광을 조사한다. 이에 따라, 물체(OB)의 똑같은 위치에서 반사된 광이라도 홀수번째 프레임주기에서 센서부(22)에 상이 맺히는 위치와 짝수번째 프레임주기에서 센서부(22)에 상이 맺히는 위치가 다를 수 있다.

홀수번째 프레임주기에 센서부(22)에 맺히는 상은 짝수번째 프레임주기에 센서부(22)에 맺히는 상에 비해, 한 셀만큼 위/아래로 이동하여 맺힐 수 있다.

신호처리부(31)는 센서부(22)로부터 출력되는 영상신호에 대해 샘플링(sampling) 등의 신호처리를 수행하여 프레임을 생성한다. 여기서, 프레임은 복수의 픽셀을 포함하며, 각 픽셀의 픽셀값은 각 픽셀에 대응하는 영상신호로부터 획득할 수 있다.

신호처리부(31)는 프레임주기에 대응하여 센서부(22)로부터 출력되는 영상신호를 프레임으로 변환하여 출력할 수 있다.

도 3을 예로 들면, 신호처리부(31)는 매 프레임주기마(T1, T2)다 영상신호를 프레임(5a, 5b)으로 변환하여 출력하며, 홀수번째 프레임주기(T1)와 짝수번째 프레임주기(T2)에 각각 동기화하여 홀수 프레임(5a)과 짝수 프레임(5b)을 출력할 수 있다.

신호처리부(31)는 센서부(22)의 각 셀을 통해 수광한 광과 광원(11)에 의해 조사된 광과의 위상차를 토대로 각 셀 즉, 각 픽셀에 대응하는 깊이정보를 산출할 수도 있다. 산출한 깊이정보는 프레임을 구성하는 각 픽셀에 대응하여 저장된다.

디인터레이서(32)는 신호처리부(31)로부터 홀수 프레임과 짝수 프레임을 각각 수신하고, 두 프레임을 결합하여 하나의 깊이 영상을 생성할 수 있다.

디인터레이서(32)는 신호처리부(31)에서 출력되는 홀수 프레임과 짝수 프레임을 행(line) 단위로 번갈아가며 삽입함으로써, 해상도가 센서부(22)의 해상도보다 2배로 증가한 깊이 영상을 생성할 수 있다. 도 4를 예로 들면, 홀수 프레임과 짝수 프레임은 각각 10(행)*10(열) 픽셀의 해상도를 가지고, 두 프레임을 행 단위로 교차 결합한 깊이 영상의 해상도는 20(행)*10(열) 픽셀로, 수직 방향 해상도가 센서부(22)의 해상도보다 2배 증가하였다.

도 5는 본 발명의 일 실시 예에 따른 3차원 영상 카메라의 깊이 영상 생성 방법을 도시한 흐름도이다.

도 5를 참조하면, 깊이 센서 모듈(10)은 홀수번째 프레임주기에 동기화하여 광을 조사하도록 광원(11)을 제어한다(S101).

상기 S101 단계에서, 광원(11)에서 조사된 광은 홀로그래픽 소자(13)에 의해 조사 영역이 제어될 수 있다.

광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 홀수 프레임을 생성한다(S102).

홀수 프레임이 획득되면, 깊이 센서 모듈(10)은 홀로그래픽 소자(13)를 제어하여 물체에 광이 조사되는 조사영역을 이동시킨다(S103).

상기 S103 단계에서, 깊이 센서 모듈(10)은 액추에이터(14)를 제어하여 홀로그래픽 소자(13)의 기울기를 조절함으로써, 조사영역을 이동시킬 수 있다.

짝수번째 프레임주기가 시작되면, 깊이 센서 모듈(10)은 이에 동기화하여 물체로 광을 조사하도록 광원(11)을 제어한다(S104).

상기 S104 단계에서, 광원(11)에서 조사된 광은 홀로그래픽 소자(13)에 의해 짝수번째 프레임주기와 조사 영역이 다를 수 있다.

광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S105).

디인터레이서(32)는 프레임을 구성하는 픽셀 어레이의 행 단위로 홀수 프레임과 짝수 프레임을 결합하여 깊이 영상을 생성한다(S106).

상기 S106 단계에서, 디인터레이서(32)는 홀수 프레임과 짝수 프레임의 픽셀 행을 순차적으로 교차 결합함으로써 깊이 영상을 생성할 수 있다.

이하, 도 6 내지 도 8을 참조하여, 본 발명의 다른 실시 예에 따른 깊이 영상 생성방법 및 이를 수행하기 위한 센서 모듈 및 3차원 영상 카메라의 구성에 대하여 상세하게 설명하기로 한다.

도 6은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라를 대략적으로 도시한 블록도이다. 도 7은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 프레임주기에 동기화하여 프레임을 생성하는 방법을 설명하기 위한 도면이다.

아래에서는, 중복 설명을 피하기 위해 도 1을 참조하여 설명한 본 발명의 일 실시 예에 따른 3차원 영상 카메라와 그 기능이 동일한 구성요소에 대해서는 상세한 설명을 생략한다.

도 6을 참조하면, 본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 깊이 센서 모듈(10), 신호처리부(31) 및 디인터레이서(32)를 포함할 수 있다. 도 6에 도시된 구성요소들은 필수적인 것은 아니어서, 본 발명의 다른 실시 예에 따른 3차원 영상 카메라는 그 보다 더 많거나 더 적은 구성요소를 포함할 수 있다.

깊이 센서 모듈(10)은 TOF 센서모듈로서, 복수의 발광부와 수광부를 포함할 수 있다.

깊이 센서 모듈(10)을 구성하는 복수의 발광부는, 광원(11a, 11b), 렌즈(12a, 12b) 및 홀로그래픽 소자(13a, 13b)를 각각 포함할 수 있다. 복수의 발광부는 또한 제어부(15)를 더 포함할 수 있다.

복수의 발광부(11a, 11b)는 서로 소정 간격 이격되어 배치될 수 있다. 복수의 발광부(11a, 11b) 사이에는 깊이 센서 모듈(10)의 센서부(22)가 배치될 수 있다.

아래에서는 설명의 편의를 위해, 복수의 발광부를 각각 제1 및 제2발광부로 명명하여 사용하고, 제1발광부를 구성하는 구성요소들을 제1광원(11a), 제1렌즈(12a) 및 제1홀로그래픽 소자(13a)로 명명하여 사용한다. 또한, 제2발광부를 구성하는 구성요소들을 제2광원(11b), 제2렌즈(12b) 및 제2홀로그래픽 소자(13b)로 명명하여 사용한다. 그러나, 상기 구성요소들은 제1, 제2 등과 같이 서수를 포함하는 용어들에 의해 한정되지는 않는다.

제1 및 제2광원(11a, 11b)은 서로 소정 간격 이격되어 배치되며, 발광소자를 구동하여 일정한 위상을 가지는 광을 물체(OB)로 조사하는 기능을 수행한다.

제1 및 제2광원(11a, 11b)에 포함되는 발광소자로는 레이저, 레이저 다이오드 등이 포함될 수 있으나, 그 외 다른 종류의 광원도 사용될 수 있다. 제1 및 제2광원(11a, 11b)에서 조사되는 광의 파장은 적외선 대역에 포함될 수 있으나, 그 외 다른 파장 대역에 포함될 수도 있다.

제1 및 제2광원(11a, 11b)은 서로 다른 프레임주기에 발광하도록 점멸이 제어될 수 있다. 예를 들어, 제1광원(11a)은 홀수번째 프레임주기에 동기화하여 발광하고, 제2광원(11b)은 짝수번째 프레임주기에 동기화하여 발광할 수 있다.

제1렌즈(12a)는 제1광원(11a)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 제1광원(11a)으로부터 조사되는 광을 면광원화하는 기능을 수행한다. 또한, 제2렌즈(12b)는 제2광원(12b)으로부터 조사되는 광의 광경로 상에 배치되며, 점광원인 제2광원(11b)으로부터 조사되는 광을 면광원화하는 기능을 수행한다.

제1홀로그래픽 소자(13a)는 제1광원(11a)과 물체(OB) 사이, 또는 제1렌즈(12a)와 물체(OB) 사이에 배치되며, 제1광원(11a)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다. 또한, 제2홀로그래픽 소자(13b)는 제2광원(11b)과 물체(OB) 사이, 또는 제2렌즈(12b)와 물체(OB) 사이에 배치되며, 제2광원(11b)으로부터 조사되는 광의 발산각 및 조사영역을 제어하는 기능을 수행한다.

한편, 제1 및 제2렌즈(12a, 12b)는 필수적인 것은 아니어서, 제1 및 제2홀로그래픽 소자(13a, 13b)에 의해 조도 균일도가 확보되는 경우에는 생략될 수도 있다.

제1 및 제2홀로그래픽 소자(13a, 13b)는 CGH 방식으로 제조될 수 있다.

제1 및 제2홀로그래픽 소자(13a, 13b)는 컴퓨터에 의해 계산된 간섭패턴을 기록매질에 기록하여 형성되며, 간섭패턴이 기록되는 기록매질은 포토폴리머, UV 포토폴리머, 포토레지스트, 실버 팔라이드 에멀젼, 중크롬산 젤라틴, 포토그래픽 에멀젼, 포토써모플라스틱, 광회절 재료 등 감광재료가 사용될 수 있다.

제1 및 제2홀로그래픽 소자(13a, 13b)는 체적 홀로그래픽 소자 또는 표면 홀로그래픽 소자일 수 있다.

제1 및 제2홀로그래픽 소자(13a, 13b)에 기록되는 간섭패턴은, 제1광원(11a) 및 제2광원(11b)에 의해 조사된 광이 물체(OB)의 서로 다른 영역에 조사되도록 형성될 수 있다.

예를 들어, 제1광원(11a)에서 출사되는 광이 조사되는 영역과, 제2광원(11b)에서 출사되는 광이 조사되는 영역이, 서로 센서부(22)의 한 셀에 매칭되는 영역만큼 차이가 나도록 제1홀로그래픽 소자(13a)와 제2홀로그래픽 소자(13b)의 간섭패턴이 형성될 수 있다.

제어부(15)는 기 설정된 프레임(frame)주기를 토대로 제1 및 제2광원(11a, 11b)의 온/오프를 제어할 수 있다. 도 7을 예로들면, 제어부(15)는 홀수번째 프레임주기(T1)에 동기화하여 제1광원(11a)이 발광하고, 짝수번째 프레임주기(T2)에 동기화하여 제2광원(11b)이 발광하도록 제1 및 제2광원(11a, 11b)의 온/오프를 제어할 수 있다.

이에 따라, 매 프레임주기마다 물체(OB)로 광을 조사하는 광원이 스위칭되고, 제1 및 제2홀로그래픽 소자(13a, 13b)에 의해 광이 조사되는 영역 또한 광원의 스위칭에 대응하여 스위칭될 수 있다.

센서부(22)를 구성하는 각 셀은, 이로 한정되는 것은 아니나, MOS, CCD 등을 포함할 수 있다.

매 프레임주기마다 물체(OB)로 광을 조사하는 광원이 스위칭됨에 따라, 센서부(22)에 상이 맺히는 위치 또한 매 프레임주기마다 스위칭될 수 있다. 즉, 광원의 스위칭으로, 홀수번째 프레임주기에서의 광 조사영역과 짝수번째 프레임주기에서의 광 조사영역이 서로 다르며, 이로 인해 홀수번째 프레임주기에 센서부(22)에 맺히는 상과 짝수번째 프레임주기에 센서부(22)에 맺히는 상은 약간의 위치 차이가 발생할 수 있다. 예를 들어, 홀수번째 프레임주기에 센서부(22)에 맺히는 상은, 짝수번째 프레임주기에 센서부(22)에 맺히는 상에 비해, 한 셀만큼 위/아래로 이동하여 맺힐 수 있다.

도 7을 예로 들면, 신호처리부(31)는 매 프레임주기(T1, T2)마다 영상신호를 프레임(5a, 5b)으로 변환하여 출력하며, 홀수번째 프레임주기(T1)와 짝수번째 프레임주기(T2)에 각각 동기화하여 홀수 프레임(5a)과 짝수 프레임(5b)을 출력할 수 있다.

신호처리부(31)는 센서부(22)의 각 셀을 통해 수광한 광과 제1 및 제2광원(11a, 11b)에 의해 조사된 광과의 위상차를 토대로 각 셀 즉, 각 픽셀에 대응하는 깊이정보를 산출할 수도 있다. 산출한 깊이정보는 프레임을 구성하는 각 픽셀에 대응하여 저장된다.

디인터레이서(32)는 도 4에 도시된 바와 같이, 신호처리부(31)에서 출력되는 홀수 프레임과 짝수 프레임을 행 단위로 번갈아가며 삽입함으로써, 해상도가 센서부(22)의 해상도보다 2배로 증가한 깊이 영상을 생성할 수 있다.

도 8은 본 발명의 다른 실시 예에 따른 3차원 영상 카메라에서 깊이 영상을 획득하는 방법을 도시한 흐름도이다.

도 8을 참조하면, 깊이 센서 모듈(10)은 홀수번째 프레임주기에 동기화하여 광을 조사하도록 제1광원(11a)을 제어한다(S201).

상기 S201 단계에서, 제1광원(11a)에서 조사된 광은 제1홀로그래픽 소자(13a)에 의해 조사 영역이 제어될 수 있다.

제1광원(11a)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 홀수 프레임을 생성한다(S202).

다음으로, 깊이 센서 모듈(10)은 짝수번째 프레임주기에 동기화하여 광을 조사하도록 제2광원(11b)을 제어한다(S203).

상기 S203 단계에서, 제2광원(11b)에서 조사된 광은 제2홀로그래픽 소자(13b)에 의해 상기 S201 단계에서의 조사영역으로부터 위 또는 아래 방향으로 이동하여 조사될 수 있다.

제2광원(11b)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S204).

광원(11)으로부터 조사된 광이 물체로부터 반사되어 센서부(22)로 입사함에 따라, 센서부(22)는 이에 대응하는 영상신호를 각 픽셀 단위로 생성한다. 또한, 신호처리부(31)는 센서부(22)로부터 출력되는 영상신호를 신호처리하여 짝수 프레임을 생성한다(S204).

디인터레이서(32)는 프레임을 구성하는 픽셀 어레이의 행 단위로 홀수 프레임과 짝수 프레임을 결합하여 깊이 영상을 생성한다(S205).

본 발명의 실시 예에 따르면, 홀로그래픽 소자를 사용하여 홀수 프레임주기와 짝수 프레임주기의 광원의 조사영역을 다르게 조절하고, 이에 따라 얻어지는 홀수 프레임과 짝수 프레임을 결합하여 하나의 깊이 영상을 생성함으로써 깊이 영상의 해상도를 향상시키는 효과가 있다.

또한, 홀로그래픽 소자를 이용하여 광 발산각을 조절함으로써, 광효율을 향상시키는 효과가 있다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 기록 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

IR 광을 출력하는 광원;
상기 광원으로부터 출력된 후 물체로부터 반사된 광이 입사되는 수광부;
TOF(Time of Flight)를 이용하여 제1 영역 및 제2 영역 중 적어도 하나의 깊이 정보를 추출하도록 설정된 제어부; 그리고
상기 광원 및 상기 물체 사이에 배치된 광학 소자를 포함하며,
상기 광학 소자는 상기 수광부의 화각에 대응하는 영역에 조사되도록 상기 광원으로부터 출력된 상기 IR 광을 조절하고,
상기 광학 소자의 위치 또는 기울기는 상기 제1 영역에 상기 IR 광이 조사되거나 상기 제2 영역에 상기 IR 광이 조사되도록 조절되도록 설정되며,
상기 제1 영역 및 상기 제2 영역은 서로 상이한 깊이 정보 생성 장치.
제1항에 있어서,
상기 광학 소자는 상기 제1 영역에 상기 IR 광이 조사되도록 상기 IR 광의 발산각을 조절한 후, 상기 제2 영역에 상기 IR 광이 조사되도록 상기 IR 광의 발산각을 조절하도록 설정되는 깊이 정보 생성 장치.
제2항에 있어서,
상기 제어부는 상기 광원으로부터 출력되어 상기 제2 영역에 조사된 상기 IR 광이 상기 물체로부터 반사된 후 상기 수광부에 입력되기까지 비행시간을 계산하는 깊이 정보 생성 장치.
제1항에 있어서,
상기 광학 소자에 연결되며 상기 광학 소자를 구동시키는 액추에이터를 더 포함하는 깊이 정보 생성 장치.
제1항에 있어서,
상기 제1 영역은 상기 제2 영역보다 큰 깊이 정보 생성 장치.
제1항에 있어서,
상기 수광부는 복수의 픽셀을 포함하고,
상기 광학 소자의 위치 또는 기울기가 조절되면 상기 IR 광이 입사되는 상기 복수의 픽셀의 영역이 이동하는 깊이 정보 생성 장치.
제6항에 있어서,
상기 광학 소자의 위치 또는 기울기를 조절하는 것에 의하여 제1 프레임 주기에서의 상기 제1 영역은 제2 프레임 주기에서의 상기 제2 영역과 상이한 깊이 정보 생성 장치.
제7항에 있어서,
상기 제1 프레임 주기 및 상기 제2 프레임 주기는 상기 제어부에 의하여 제어되는 깊이 정보 생성 장치.
제7항에 있어서,
상기 제1 영역에 대응하는 상기 복수의 픽셀 중 제1 픽셀 영역은 상기 제2 영역에 대응하는 상기 복수의 픽셀 중 제2 픽셀 영역으로부터 1 픽셀만큼 이동한 깊이 정보 생성 장치.
제7항에 있어서,
상기 제어부는 상기 제1 프레임 주기의 제1 프레임 및 상기 제2 프레임 주기의 제2 프레임을 이용하여 깊이 정보를 추출하며,
상기 제1 프레임 및 상기 제2 프레임을 이용하여 추출된 깊이 정보의 해상도는 상기 제1 프레임의 제1 해상도 및 상기 제2 프레임의 제2 해상도보다 높은 깊이 정보 생성 장치.
제7항에 있어서,
상기 제1 영역 및 상기 제2 영역은 서로 중첩되지 않고,
상기 광학 소자는 매 프레임 주기마다 상기 IR 광이 조사되는 영역이 변경되도록 상기 IR 광을 조절하는 깊이 정보 생성 장치.
제1항에 있어서,
상기 제어부는 제1 프레임 주기에서의 상기 제1 영역에 대한 제1 깊이 정보와 제2 프레임 주기에서의 상기 제2 영역에 대한 제2 깊이 정보를 결합하는 깊이 정보 생성 장치.