KR102460762B1

KR102460762B1 - 이종 영상 일체형 카메라 장치

Info

Publication number: KR102460762B1
Application number: KR1020210038925A
Authority: KR
Inventors: 박영서; 김대섭; 송인택
Original assignee: 삼성전기주식회사
Priority date: 2021-03-25
Filing date: 2021-03-25
Publication date: 2022-10-31
Also published as: US20220308230A1; CN115134518A; KR20220133607A

Abstract

본 발명의 일 실시 예에 따른 이종 영상 일체형 카메라 장치는, 2D 촬영을 위한 제1 광을 생성하여 피사체에 조사하는 2D 광원; 3D 촬영을 위한 제2 광을 생성하여 상기 피사체에 조사하는 3D 광원; 주파수 분할 모드 또는 시분할 모드중에서, 제1 시간과 제2 시간으로 시분할된 시분할 모드를 수행하여, 상기 제1 시간에, 상기 제1 광이 조사된 상기 피사체를 촬영하여 제1 영상 신호를 생성하고, 상기 제2 시간에 상기 제2 광이 조사된 상기 피사체를 촬영하여 제2 영상 신호를 생성하는 카메라 센서; 및 상기 시분할 모드 동작시, 상기 2D 광원과 상기 카메라 센서의 동기를 제어하고, 상기 3D 광원과 상기 카메라 센서의 동기를 제어하는 제어기를 포함한다.

Description

이종 영상 일체형 카메라 장치{CAMERA APPARATUS WITH INTEGRATED HETEROGENEOUS VIDEO}

본 발명은 이종 영상 일체형 카메라 장치에 관한 것이다.

일반적으로, 차량용 실내 카메라는, 어두운 저조도 환경에서도 실내의 물체를 인식하기 위해, 컬러(예,RGB) 영상뿐 아니라 IR 영상을 사용한다. 이에 따라 조도가 매우 낮을 때에는, 사람의 눈에는 보이지 않는 적외선(IR, Infrared)을 발산하는 LED 광원 또는 빅셀(VCSEL: Vertical Cavity Surface Emitting Laser) 광원을 사용하여 어두운 가운데서도 불(가시광)을 밝히지 않고 실내의 사람이나 사물을 정확하게 인식할 수 있다.

한편, 사람이나 사물을 더욱 정확하게 인식하기 위해서는 3D 카메라를 사용할 수 있다.

일 예로, 스테레오 카메라(Stereo Camera), 스트럭처드 라이트 카메라(Structured Light Camera), 및 TOF (Time of Flight) 카메라는 각 이미지 센서의 픽셀의 깊이(Depth)를 측정하여 3D (3차원) 이미지를 구성하는 3D 카메라이다.

일반적으로, 2D (2차원) 칼라 영상과 3D 영상을 동시에 인식하려면 2개 이상의 카메라가 필요하다.

한편, 최근에는 차량의 카메라는, 실내의 사람이나 사물을 인식하는 성능이 요구되고, 또한 작은 사이즈가 요구되며, 뿐만 아니라 가능한 2D 영상 및 3D 영상을 동시에 획득할 수 있는 성능이 요구되고 있다.

예를 들어, RGB/IR 이미지 센서는 2D 칼라 영상과 IR 영상의 두 종류 영상을 촬영할 수 있다. 상기 RGB/IR 이미지 센서는 4가지의 픽셀을 포함하고, 4가지의 픽셀 중 3가지는 RGB 픽셀이고, 1가지는 IR 픽셀이다.

상기 RGB/IR 이미지 센서를 갖는 카메라는 RGB 대역과 IR 대역의 빛을 동시에 통과시키는 듀얼 패스 필터(Dual Pass Filter)를 포함할 수 있다. 따라서 밝은 실내에서는 RGB 컬러 영상을 촬영할 수 있고 어두운 실내에서는 불을 켜지 않고도 눈에 보이지 않는 IR 광원을 켜서 IR 영상을 촬영할 수 있으며, 이에 따라 어두운 곳에서도 사람이나 사물을 인식할 수 있다.

그러나, 2D 영상과 3D 영상을 동시에 인식하기 위해서는 2개의 카메라가 필요하므로, 기존의 한 개의 카메라로는 2D 영상과 3D 영상을 동시에 촬영하기 어렵다는 문제점이 있다.

예를 들어, 스테레오 3D 카메라는 2개의 카메라를 포함한다. TOF 3D 카메라는 반사된 빛의 도달 시간을 측정할 수 있는 특수한 TOF (Time of Flight) 센서가 필요한데, 현재 TOF 센서에서 RGB 컬러 영상을 모두 인식하는 것은 어려우므로, 2D 영상을 촬영하는 별도의 카메라가 필요하다. 그리고 스트럭처드 라이트(Structured Light) 3D 카메라는 특수한 패턴을 갖는 IR 광원(VCSEL)을 사용하여 3D 영상을 획득할 수 있다.

그러나 특수한 패턴을 가진 IR 광원을 사용하면 2D IR 영상은 그 패턴으로 인하여 정상적인 모습을 갖지 못하는 단점이 있다.

전술한 바와 같이, 기존 카메라는, 하나의 카메라로는 2D 영상과 3D 영상 모두를 촬영할 수 없는 문제점이 있다.

(선행기술문헌)

(특허문헌 1) KR 공개특허공보 10-2002-0069291 (공개일: 2002.08.30)

(특허문헌 2) KR 공개특허공보 10-2001-0040232 (공개일: 2001.05.15)

본 발명의 일 실시 예는, 밝은 곳뿐만 아니라 어두운 곳에서도, 하나의 카메라로 2D 영상과 3D 영상을 모두 촬영할 수 있는 이종 영상 일체형 카메라 장치를 제공한다.

본 발명의 일 실시 예에 의해, 2D 촬영을 위한 제1 광을 생성하여 피사체에 조사하는 2D 광원; 3D 촬영을 위한 제2 광을 생성하여 상기 피사체에 조사하는 3D 광원; 주파수 분할 모드 또는 시분할 모드중에서, 제1 시간과 제2 시간으로 시분할된 시분할 모드를 수행하여, 상기 제1 시간에, 상기 제1 광이 조사된 상기 피사체를 촬영하여 제1 영상 신호를 생성하고, 상기 제2 시간에 상기 제2 광이 조사된 상기 피사체를 촬영하여 제2 영상 신호를 생성하는 카메라 센서; 및 상기 시분할 모드 동작시, 상기 2D 광원과 상기 카메라 센서의 동기를 제어하고, 상기 3D 광원과 상기 카메라 센서의 동기를 제어하는 제어기; 를 포함하는 이종 영상 일체형 카메라 장치가 제안된다.

또한, 본 발명의 다른 일 실시 예에 의해, 3D 촬영을 위한 제2 광을 생성하여 상기 피사체에 조사하는 3D 광원; 주파수 분할 모드를 수행하여, 가시광이 조사된 상기 피사체를 촬영하여 제1 영상 신호를 생성하고, 상기 제2 광이 조사된 상기 피사체를 촬영하여 제2 영상 신호를 생성하는 카메라 센서; 및 상기 주파수 분할 모드 동작시, 상기 제1 영상 신호 및 상기 제2 영상 신호를 생성하도록 상기 카메라 센서를 제어하는 제어기; 를 포함하는 이종 영상 일체형 카메라 장치가 제안된다.

본 발명의 일 실시 예에 따른, 이종 영상 일체형 카메라 장치에 의하면, 밝은 곳뿐만 아니라 어두운 곳에서도, 하나의 카메라로 2D 영상과 3D 영상을 모두 촬영할 수 있는 효과가 있다.

또한, 2D 영상과 3D 영상을 획득하기 위해, 2개 카메라 대신 1개의 카메라를 사용하므로 카메라 설치 공간을 줄일 수 있고 카메라 비용도 절감할 수 있는 효과도 있다.

도 1은 본 발명의 일 실시 예에 따른 카메라 장치의 일 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 카메라 장치의 일 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 카메라 장치의 일 예시도이다.
도 4는 카메라 장치의 시분할 모드 설명도이다.
도 5는 카메라 센서의 일 예시도이다.
도 6은 카메라 장치의 주파수 분할(또는 파장 분할) 모드 설명도이다.
도 7은 도 5는 카메라 센서의 일 예시도이다.

이하에서는, 본 발명은 설명되는 실시 예에 한정되지 않으며, 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다.

또한, 본 발명의 각 실시 예에 있어서, 하나의 예로써 설명되는 구조, 형상 및 수치는 본 발명의 기술적 사항의 이해를 돕기 위한 예에 불과하므로, 이에 한정되는 것이 아니라 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다. 본 발명의 실시 예들은 서로 조합되어 여러 가지 새로운 실시 예가 이루어질 수 있다.

그리고, 본 발명에 참조된 도면에서 본 발명의 전반적인 내용에 비추어 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호를 사용할 것이다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위해서, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 카메라 장치의 일 예시도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 카메라 장치(10)는, 2D 광원(100), 3D 광원(200), 카메라 센서(300), 및 제어기(400)를 포함할 수 있다.

2D 광원(100)은, 제어기(400)의 제어신호(SC1)에 응답하여, 2D 촬영을 위한 제1 광(LT1)을 생성하여 피사체(Object)(1)에 조사할 수 있다.

3D 광원(200)은, 제어기(400)의 제어신호(SC2)에 응답하여, 3D 촬영을 위한 제2 광(LT2)을 생성하여 상기 피사체(Object)(1)에 조사할 수 있다.

예를 들어, 3D 광원(200)은, 3D 촬영을 위해, 특정한 패턴 광인 스트럭처드 라이트(structured light)를 조사하는 IR VCSEL이 될 수 있다.

일 예로, 실내 저조도 촬영시, 먼저 한 프레임의 2D 영상을 촬영하고, 다음 프레임의 3D 영상을 촬영하는 방식으로 반복하며, 이때 한 프레임 동안은 2D IR 영상을 촬영하기 위해, 2D 광원(100)을 이용해 일반 IR LED 광원을 조사할 수 있고, 다음 프레임 동안은 3D 영상을 촬영하기 위해서 스트럭처드 라이트(Structure Light) (패턴을 가진 IR 광원)을 조사할 수 있다.

카메라 센서(300)는, 제어기(400)의 제어에 응답하여, 주파수 분할 모드 또는 시분할 모드중 하나의 모드를 결정할 수 있으며, 시분할된 시분할 모드 또는 주파수 분할 모드를 수행하여, 상기 제1 광(LT1) 또는 가시광(LT3)이 조사된 상기 피사체(Object)(1)를 촬영하여 제1 영상 신호(SV1)를 생성하고, 상기 제2 광(LT2)이 조사된 상기 피사체(Object)(1)를 촬영하여 제2 영상 신호(SV2)를 생성할 수 있다.

제어기(400)는, 외부로부터 입력되는 동작 모드 신호에 기초해서, 주파수 분할 모드 또는 시분할 모드를 수행하여, 각 모드에 적합하도록, 2D 광원(100), 3D 광원(200) 및 카메라 센서(300)를 제어할 수 있다. 여기서, 동작 모드 신호는 조도 신호 또는 사용자 선택 신호에 기초할 수 있다.

제어기(400)는, 일 예로, 시분할 모드 동작시, 정해진 제1 시간에 동작하도록 상기 2D 광원(100)과 상기 카메라 센서(300)의 동기를 제어하고, 정해진 제2 시간에 동작하도록 상기 3D 광원(200)과 상기 카메라 센서(300)의 동기를 제어할 수 있다.

제어기(400)는, 일 예로, 주파수 분할 모드 동작시, 2D 광원(100)을 디스에이블(disable)시키고, 3D 광원(200)을 인에이블(enable)시킬 수 있다.

예를 들어, 시분할 모드 동작시, 2D 광원(100)에서 생성되는 제1 광(LT1)은 초당 30 프레임(fps: frame per second)에 대응하도록 조사되는 IR일 수 있고, 3D 광원(200)에서 생성되는 제3 광(LT3)은 초당 30 프레임(fps)에 대응하도록 조사되는 스트럭처드 라이트(structured light) IR일 수 있다.

이 경우, 카메라 센서(300)는, 2D를 위한 초당 30 프레임(fps)을 갖는 제1 영상신호(SV1)와, 3D를 위한 초당 30 프레임(fps)을 갖는 제2 영상신호(SV2)를 포함하여, 초당 60 프레임(fps)을 갖는 영상신호(SV1+SV2)를 출력할 수 있다.

일 얘로, 카메라 센서(300)는 초당 60 프레임의 영상 신호를 생성할 수 있고, 글로벌 셔터(Global Shutter)를 포함할 수 있다.

다른 한편, 만일 실내가 충분히 밝고 IR 없이 RGB 컬러 영상으로 2D 영상이 충분하다면 시분할 모드에서의 촬영이 필요하지는 않다. 일반적으로 IR 영상은 850nm나 940nm 파장대를 사용하는데 이는 700nm 이하의 파장대를 사용하는 RGB 영상의 간섭을 적게 받을 수 있으며, 이 경우에는 주파수 분할 촬영 (Frequency Division Shooting)이 가능하다. 특히 940nm의 스트럭처드 라이트(Structure Light)(패턴을 가진 IR 광원)가 RGB 컬러 영상에 주는 영향은 더욱 작기 때문에 모든 프레임에서 2D RGB 컬러 영상과 3D IR 영상을 동시에 촬영할 수 있다.

예를 들면, 같은 60fps 이미지 센서를 사용하여 어두운 곳에서는 30fps의 2D 영상과 30fps의 3D 영상을 획득할 수 있지만 밝은 곳에서는 60fps의 2D 영상과 60fps의 3D 영상을 획득할 수 있다. 이는 스트럭처드 라이트(Structured Light)는 모든 프레임 동안 조사되지만 RGB 픽셀을 통해서는 자연광인 가시광을 통해 2D 컬러 영상을 획득하고 IR 픽셀을 통해서는 스트럭처드 IR 라이트(Structured IR Light)을 통해 3D 영상을 획득하기 때문이다.

예를 들어, RGB 영상에 스트럭처드 IR 라이트(Structured IR Light)의 영향을 전혀 받고 싶지 않다면, 전술한 시분할 촬영 (Time Division Shooting)을 통해 2D 영상과 3D 영상을 30fps씩 나누어 촬영할 수도 있다.

또한 만일 저조도에서도 고속의 2D 영상과 3D 영상에 대한 획득이 동시에 필요하여 30fps가 충분하지 않고 60fps가 필요하다면 2D 영상을 보정하는 방법도 있다. 이 경우는 일반 IR 광원은 사용하지 않고 모든 프레임에 Structure Light IR 광원만 사용한다. 이 경우 2D IR 영상은 IR 패턴으로 얼룩진 이미지가 획득될 수 있고, 이 얼룩진 영상을 가지고 영상 프로세싱을 통하여 일반 2D 영상을 복구하여 사용할 수도 있다.

본 발명의 각 도면에 대해, 동일한 부호 및 동일한 기능의 구성요소에 대해서는 가능한 불필요한 중복 설명은 생략될 수 있고, 각 도면에 대해 가능한 차이점에 대한 사항이 설명될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 카메라 장치의 일 예시도이다.

도 2에 도시된 카메라 장치(10)에서, 카메라 센서(300)는 IR 센서(301)를 포함할 수 있다.

카메라 센서(300)는, 제1 시간(T10)과 제2 시간(T20)으로 시분할된 시분할 모드를 수행하여, 상기 제1 시간(T10)에, 상기 제1 광(LT1)이 조사된 상기 피사체(Object)(1)를 촬영하여 제1 영상 신호(SV1)를 생성하고, 상기 제2 시간(T20)에 상기 제2 광(LT2)이 조사된 상기 피사체(Object)(1)를 촬영하여 제2 영상 신호(SV2)를 생성할 수 있다.

예를 들어, 시분할 모드 동작시, 2D 광원(100)에서 생성되는 제1 광(LT1)은 초당 30 프레임(fps)에 대응하도록 조사되는 IR일 수 있고, 3D 광원(200)에서 생성되는 제3 광(LT3)은 초당 30 프레임(fps)에 대응하도록 조사되는 스트럭처드 라이트(structured light) IR일 수 있다.

도 3은 본 발명의 일 실시 예에 따른 카메라 장치의 일 예시도이다.

도 3에 도시된 카메라 장치(10)에서, 카메라 센서(300)는 RGB/IR 센서(302)를 포함할 수 있다.

카메라 센서(300)는, 주파수 분할 모드를 수행하여, 가시광(LT3)이 조사된 상기 피사체(Object)(1)를 촬영하여 제1 영상 신호(SV1)를 생성하고, 상기 제2 광(LT2)이 조사된 상기 피사체(Object)(1)를 촬영하여 제2 영상 신호(SV2)를 생성할 수 있다.

예를 들어, 주파수 분할 모드 동작시, 2D 광원(100)은 오프상태이고, 가시광이 조사된 피사체(1)의 2D 영상(예, 초당 60프레임(fps))이 카메라 센서(300)에 입사되고, 3D 광원(200)에서 생성되는 제3 광(LT3)은 초당 60 프레임(fps)에 대응하도록 조사되는 스트럭처드 라이트(structured light) IR일 수 있다.

도 4는 카메라 장치의 시분할 모드 설명도이다.

도 1, 도 2 및 도 4를 참조하면, 시분할 모드에서의 제1 시간(T10) 및 제2 시간(T20)은, 서로 교대로 할당된 시간을 포함할 수 있다.

예를 들어, 제1 시간(T10)은 할당된 시간(T11, T12, T13)을 포함할 수 있고, 제2 시간(T20)은 상기 제1 시간(T10)과 중복되지 않도록 할당된 시간(T21, T22, T23)을 포함할 수 있다.

상기 제어기(400)는, 상기 제1 시간(T10)에 상기 2D 광원(100)이 동작하여 상기 제1 광(LT1)을 생성하도록 제어할 수 있고, 상기 제어기(400)는, 상기 제2 시간(T20)에 상기 3D 광원(200)이 동작하여 상기 제2 광(LT2)을 생성하도록 제어할 수 있다.

2D 광원(100)은, 상기 제어기(400)의 제어에 따라 상기 제1 시간(T10)에 포함된 시간(T11, T12, T13)에 인에이블되어, 상기 제1 광(LT1)을 생성할 수 있다. 3D 광원(200)은, 상기 제어기(400)의 제어에 따라 상기 제2 시간(T20)에 포함된 시간(T21, T22, T23)에 인에이블되어, 상기 제2 광(LT2)을 생성할 수 있다.

제1 영상 신호(SV1)는, 상기 제1 시간(T10)에 포함된 시간(T11, T12, T13)에 생성된 복수의 프레임(frame 1, frame 3, frame 5)을 포함할 수 있고, 제2 영상 신호(SV2)는, 상기 제2 시간(T20)에 포함된 시간(T21, T22, T23)에 생성된 복수의 프레임(frame 2, frame 4, frame 6)을 포함할 수 있다.

도 5는 카메라 센서의 일 예시도이다.

도 5를 참조하면, 예를 들어, 상기 카메라 센서(300)는, 상기 시분할 모드 동작을 위한 IR 센서(301)를 포함할 수 있다.

상기 IR 센서(301)는, 광학 필터(310) 및 이미지 센서(320)를 포함할 수 있다.

광학 필터(310)는, 상기 제1 광(LT1)과 상기 제2 광(LT2)을 통과시킬 수 있고, 상기 제1 광(LT1)과 상기 제2 광(LT2)을 제외한 광을 차단시킬 수 있다.

이미지 센서(320)는, 상기 광학 필터(310)를 통해 입사되는 상기 제1 광(LT1)과 상기 제2 광(LT2)을 센싱하여 상기 제1 영상 신호(SV1)와 상기 제2 영상신호(SV2)를 생성할 수 있다.

예를 들어, 상기 광학 필터(310)는 제1 필터부(311) 및 제2 필터부(312)를 포함할 수 있다. 상기 제1 필터부(311)는, 상기 제1 광(LT1)을 통과시킬 수 있다. 상기 제2 필터부(312)는, 상기 제2 광(LT2)을 통과시킬 수 있다.

일 예로, 상기 제2 필터부(312)는, 940nm인 적외선(IR: Infrared Ray)인 제2 광(LT1)을 통과시키고, 상기 제1 필터부(311)는, 상기 제2 광(LT2)의 파장보다 짧은 파장을 갖는 가시광을 통과시킬 수 있다. 또는 상기 제1 필터부(311)는, 상기 제2 광(LT2)의 신호의 주파수보다 높은 주파수를 갖는 광의 신호를 통과시킬 수 있다.

일 예로, 상기 이미지 센서(320)는, 제1 픽셀부(321) 및 제2 픽셀부(322)를 포함할 수 있다. 제1 픽셀부(321)는, 상기 광학 필터(310)의 제1 필터부(311)를 통해 입사되는 상기 제1 광(LT1)을 센싱할 수 있다. 제2 픽셀부(322)는, 상기 광학 필터(310)의 제2 필터부(312)를 통해 입사되는 상기 제2 광(LT2)을 센싱할 수 있다.

도 6은 카메라 장치의 주파수 분할(또는 파장 분할) 모드 설명도이다.

도 3 및 도 6을 참조하면, 상기 제어기(400)는, 주파수 분할 모드 동작시, 상기 2D 광원(100)을 디스에이블시키고, 상기 3D 광원(200)을 인에이블시킬 수 있다.

이 경우, 파장이 서로 다른 가시광(LT3)(λ1)(예, 600nm)과, 적외선(IR: Infrared Ray)(λ2)(예, 940nm) 각각에 의한 영상이 카메라 센서(300)에 입사될 수 있다. 통상, 가시광의 파장 범위는 파장　범위가 400~700 nm이고, 일 예로, 본 발명에서 이용하는 가시광 파장은 대략 600nm일 수 있으며, 이에 한정되는 것은 아니다.

이와 같이, 서로 다른 파장을 갖는 광을 이용하는 경우, 상기 카메라 센서(300)는 광학필터를 이용하여 입사되는 영상을 분리하여 처리할 수 있다.

도 7은 도 5는 카메라 센서의 일 예시도이다.

도 3, 도 5 및 도 7을 참조하면, 상기 제어기(400)는, 상기 주파수 분할 모드 동작시, 상기 2D 광원(100)이 디스에이블되도록 제어할 수 있고, 상기 제어기(400)는, 상기 주파수 분할 모드 동작시, 상기 3D 광원(200)이 항시 인에이블되어 상기 제2 광(LT2)을 생성하도록 제어할 수 있다.

예를 들어, 상기 카메라 센서(300)는, 상기 주파수 분할 모드 동작을 위한 RGB/IR 센서(302)를 포함할 수 있다.

상기 RGB/IR 센서(302)는, 상기 주파수 분할 모드 동작시, 가시광(LT3)이 조사된 상기 피사체(Object)(1)를 촬영하여 제1 영상 신호(SV1)를 생성하고, 상기 제2 광(LT2)이 조사된 상기 피사체(Object)(1)를 촬영하여 제2 영상 신호(SV2)를 생성할 수 있다.

상기 RGB/IR 센서(302)는, 광학 필터(310) 및 이미지 센서(320)를 포함할 수 있다. 광학 필터(310)는, 상기 제3 광(LT3)과 상기 제2 광(LT2)을 통과시킬 수 있다. 이미지 센서(320)는, 상기 광학 필터(310)를 통해 입사되는 상기 가시광(LT3)과 상기 제2 광(LT2)을 센싱하여 상기 제1 영상 신호(SV1)와 상기 제2 영상신호(SV2)를 생성할 수 있다.

일 예로, 상기 광학 필터(310)는 제1 필터부(311) 및 제2 필터부(312)를 포함할 수 있다. 제1 필터부(311)는, RGB 필터로써, 상기 가시광(LT3)을 통과시킬 수 있고, 가시광(LT3) 이외의 광을 차단할 수 있다. 제2 필터부(312)는, IR 필터로써, 상기 제2 광(LT2)을 통과시킬 수 있고, 제2 광(LT2) 이외의 광을 차단할 수 있다.

일 예로, 상기 이미지 센서(320)는, 제1 픽셀부(321) 및 제2 픽셀부(322)를 포함할 수 있다. 제1 픽셀부(321)는, 상기 광학 필터(310)의 제1 필터부(311)를 통해 입사되는 가시광인 제3 광(LT3)을 센싱할 수 있다. 제2 픽셀부(322)는, 상기 광학 필터(310)의 제2 필터부(312)를 통해 입사되는 상기 제2 광(LT2)을 센싱할 수 있다.

<시분할 모드 동작 과정>

도1, 도 2, 도 4, 도 5 및 도 7을 참조하면, 일 예로, 카메라 센서(300)로 IR 센서(301, 도 2) 또는 RGB/IR 센서(302, 도 3)가 사용될 수 있다.

일 예로, IR 센서(301, 도 2)는 IR 픽셀만을 포함하는데, IR 센서(301, 도 2)로 어두운 곳에서 IR 픽셀을 사용하고, 제1 광원(일반 IR 광선)과 제2 광원(스트럭처드 라이트 IR 광선)을 이용하여, 시분할 촬영을 사용할 수 있다.

또는, RGB/IR 센서(302, 도 7)는 RGB 픽셀과 IR 픽셀을 포함하는데, RGB/IR 센서(302, 도 7)로 어두워서 RGB 이미지를 획득할 수 없어 IR 픽셀만 사용하는 경우, 시분할 촬영을 사용할 수 있다. 일 예로, RGB/IR 센서(302, 도 7)는 R G B IR 픽셀을 1:1:1:1 비율로 갖는 센서일 수 있으며, IR 센서는 IR 픽셀만 갖는 센서일 수 있다.

본 발명의 카메라 장치가 시분할 모드로 동작하는 과정에 대해, 전술한 설명을 종합하여 도 2를 참조하여 정리하면 하기와 같다.

(1) 제1 광원(100)(예, IR LED 또는 VCSEL)에서 홀수(1,3,5,...) 프레임의 센서 노출(Exposure) 시간에 맞춰 30fps로 제1 광(LT1)(IR 광선)을 조사한다.

(2) 피사체(1)에 반사된 30fps의 IR 광선(LT1)은 카메라 센서(300)의 IR 픽셀을 감광하여 30fps의 IR 영상 신호인 제1 영상신호(SV1)를 획득할 수 있다.

(3) 제2 광원(200)(예, 스트럭처드 라이트(Structured Light) IR VCSEL)에서는 짝수(2,4,6,8) 프레임의 센서 노출(Exposure) 시간에 맞춰 30fps로 제1 광(LT2)(IR 광선)을 조사한다.

(4) 피사체(1)에 반사된 30fps의 스트럭처드 라이트(Structured Light) IR 광선인 제2 광(LT2)은 카메라 센서(300)의 IR 픽셀을 감광하여 30fps의 스트럭처드 라이트(Structured Light) IR 영상 신호인 제2 영상신호(SV2)를 획득할 수 있다.

(5) 카메라 센서(300)의 IR 픽셀을 통하여 획득된 제1 광(일반 IR 광선)에 의한 제1 영상신호는 홀수 프레임의 영상을 포함하여 카메라 센서(300)에서 ECU(20)에 전달되고, 또한 카메라 센서(300)의 IR 픽셀을 통하여 획득된 제2 광(스트럭처드 라이트 IR 광선)에 의한 제2 영상 신호는 짝수 프레임의 영상을 포함하여 카메라 센서(300)에서 ECU(20)에 전달되어, 제1 영상신호와 제2 영상 신호를 합하면 60fps의 영상신호가 카메라 장치(10)에서 ECU(20)로 전달된다.

(6) ECU(20)는 홀수 30fps의 제1 영상과 짝수 30fps의 스트럭처드 라이트(Structured Light) IR 영상으로 분리할 수 있다.

(7) 홀수 30fps의 제1 광(일반 IR 광선)에 의한 제1 영상은 2D 영상으로서 필요에 따라 사용될 수 있다.

(8) 짝수 30fps의 제2 광(Structured Light IR 광선)에 의한 제2 영상은 알고리즘을 사용하여 3D 깊이(Depth)를 계산하여 깊이(Depth) 정보를 포함한 3D 영상으로서 필요에 따라 사용될 수 있다.

<주파수 분할 모드 동작 과정>

도 3, 도 5 및 도 7을 참조하면, 예를 들어, 카메라 센서(300)로 RGB/IR 센서(302, 도 3)를 이용하여 충분히 밝아서 RGB 영상을 획득할 수 있는 경우 주파수 분할 촬영을 사용할 수 있다. 일 예로, RGB/IR 센서(302, 도 3)는 보통 IR 영역(예, 940nm 파장1)과 700nm 이하의 가시광 영역(예, 600nm 파장2)만 통과시키는 듀얼 패스 필터(Dual Pass Filter)를 사용하여 가시광과 IR의 상호 간섭을 최소화 시킬 수 있다.

본 발명의 카메라 장치가 주파수 분할 모드로 동작하는 과정에 대해, 전술한 설명을 종합하여 도 3을 참조하여 정리하면 하기와 같다.

(1) 제1 광원(100)이 오프 상태에서, 자연광인 가시광선이 피사체(1)를 비추며 반사된 가시광(LT3)은 RGB/IR 센서(302)의 RGB 픽셀에 의해 60fps로 감광되어 60fps의 RGB 영상인 제1 영상 신호(SV1)를 획득할 수 있다.

(2) 제2 광원(200)(예, Structured Light IR VCSEL)에서 60fps 프레임의 센서 노출(Exposure) 시간에 맞춰 조사된 IR 광선(LT2)은 피사체(1)에 반사되고 RGB/IR 센서(302)의 IR 픽셀에 감광되어 60fps의 스트럭처드 라이트(Structured Light) IR 영상인 제2 영상신호(SV2)를 획득할 수 있다.

(3) RGB/IR 센서(302)의 RGB 픽셀(전체 픽셀 4개중 3개 픽셀)에서는 일반 영상인 2D 영상을 획득하고, RGB/IR 센서(302)의 IR 픽셀(전체 픽셀 4개중 1개 픽셀)에서는 스트럭처드 라이트(Structured Light) IR 영상인 3D 영상을 획득하여 이들 영상을 합하여 각 60fps인 병합 영상(RGB 영상+IR 영상)을 ECU(20)에 출력할 수 있다.

(4) RGB/IR 센서(302)의 RGB 픽셀을 통하여 획득된 60fps의 일반 영상인 제1 영상은 ECU(20)에 전달되어 2D 영상으로서 필요에 따라 사용될 수 있다.

(5) RGB/IR 센서(302)의 IR 픽셀을 통하여 획득된 60fps의 스트럭처드 라이트(Structured Light) IR 영상인 제2 영상은 ECU(20)에 전달되어 알고리즘을 사용하여 3D 깊이(Depth)를 계산하여 깊이(Depth) 정보를 포함한 3D 영상으로서 필요에 따라 사용될 수 있다.

전술한 바와 같이, 본 발명의 일 실시 예에 따른 카메라 장치는, 밝은 곳 뿐만 아니라 어두운 곳에서도, 하나의 카메라로 2D 영상과 3D 영상을 모두 촬영할 수 있다.

한편, 본 발명의 일 실시 예에 따른 카메라 장치의 제어기는, 프로세서(예: 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등), 메모리(예: 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등), 입력 디바이스(예: 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 등), 출력 디바이스(예: 디스플레이, 스피커, 프린터 등) 및 통신접속장치(예: 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속장치 등)이 서로 상호접속(예: 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조, 네트워크 등)된 컴퓨팅 환경으로 구현될 수 있다.

상기 컴퓨팅 환경은 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등으로 구현될 수 있으나, 이에 한정되지 않는다.

이상에서는 본 발명을 실시 예로써 설명하였으나, 본 발명은 상기한 실시 예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형이 가능할 것이다.

100: 2D 광원
200: 3D 광원
300: 카메라 센서
301: IR 센서
302: RGB/IR 센서
310: 광학 필터
311: 제1 필터부
312: 제2 필터부
320: 이미지 센서
321: 제1 픽셀부
322: 제2 픽셀부
400: 제어기

Claims

2D 촬영을 위한 제1 광을 생성하여 피사체에 조사하는 2D 광원;
3D 촬영을 위한 제2 광을 생성하여 상기 피사체에 조사하는 3D 광원;
주파수 분할 모드 또는 시분할 모드중에서, 제1 시간과 제2 시간으로 시분할된 시분할 모드를 수행하여, 상기 제1 시간에, 상기 제1 광이 조사된 상기 피사체를 촬영하여 제1 영상 신호를 생성하고, 상기 제2 시간에 상기 제2 광이 조사된 상기 피사체를 촬영하여 제2 영상 신호를 생성하는 카메라 센서; 및
상기 시분할 모드 동작시, 상기 2D 광원과 상기 카메라 센서의 동기를 제어하고, 상기 3D 광원과 상기 카메라 센서의 동기를 제어하는 제어기; 를 포함하고,
상기 제어기는,
주파수 분할 모드 동작시, 상기 2D 광원을 디스에이블시키고, 상기 3D 광원을 인에이블시키는
이종 영상 일체형 카메라 장치.
제1항에 있어서, 상기 제어기는,
상기 제1 시간에 상기 2D 광원이 동작하여 상기 제1 광을 생성하도록 제어하는
이종 영상 일체형 카메라 장치.
제1항에 있어서, 상기 제어기는,
상기 제2 시간에 상기 3D 광원이 동작하여 상기 제2 광을 생성하도록 제어하는
이종 영상 일체형 카메라 장치.
제1항에 있어서, 상기 카메라 센서는,
상기 제1 광 또는 가시광인 제3 광 및 상기 제2 광을 통과시키는 광학 필터; 및
상기 광학 필터를 통해 입사되는 상기 제1 광 또는 상기 제3 광 및 상기 제2 광을 센싱하여 상기 제1 영상 신호와 상기 제2 영상신호를 생성하는 이미지 센서;
를 포함하는 이종 영상 일체형 카메라 장치.
제4항에 있어서, 상기 광학 필터는
상기 제1 광 또는 상기 제3 광을 통과시키는 제1 필터부; 및
상기 제2 광을 통과시키는 제2 필터부;
를 포함하는 이종 영상 일체형 카메라 장치.
제5항에 있어서, 상기 카메라 센서는,
상기 시분할 모드 동작을 위한 IR 센서를 포함하고,
상기 이미지 센서는,
상기 광학 필터의 제1 필터부를 통해 입사되는 상기 제1 광을 센싱하는 제1 픽셀부; 및
상기 광학 필터의 제2 필터부를 통해 입사되는 상기 제2 광을 센싱하는 제2 픽셀부;
을 포함하는 이종 영상 일체형 카메라 장치.
삭제
제5항에 있어서, 상기 카메라 센서는,
상기 주파수 분할 모드 동작을 위한 RGB/IR 센서를 포함하고,
상기 이미지 센서는,
상기 광학 필터의 제1 필터부를 통해 입사되는 상기 제3 광을 센싱하는 제1 픽셀부; 및
상기 광학 필터의 제2 필터부를 통해 입사되는 상기 제2 광을 센싱하는 제2 픽셀부;
를 포함하는 이종 영상 일체형 카메라 장치.
3D 촬영을 위한 제2 광을 생성하여 피사체에 조사하는 3D 광원;
2D 촬영을 위한 제1 광을 생성하여 상기 피사체에 조사하는 2D 광원;
주파수 분할 모드를 수행하여, 가시광이 조사된 상기 피사체를 촬영하여 제1 영상 신호를 생성하고, 상기 제2 광이 조사된 상기 피사체를 촬영하여 제2 영상 신호를 생성하는 카메라 센서; 및
상기 주파수 분할 모드 동작시, 상기 제1 영상 신호 및 상기 제2 영상 신호를 생성하도록 상기 카메라 센서를 제어하는 제어기; 를 포함하고,
상기 제어기는,
상기 주파수 분할 모드 동작시, 상기 3D 광원이 인에이블되어 상기 제2 광을 생성하도록 제어하고, 상기 2D 광원이 디스에이블되도록 제어하는
이종 영상 일체형 카메라 장치.
삭제
삭제
제9항에 있어서, 상기 카메라 센서는,
가시광인 제3 광과 상기 제2 광을 통과시키는 광학 필터; 및
상기 광학 필터를 통해 입사되는 상기 가시광과 상기 제2 광을 센싱하여 상기 제1 영상 신호와 상기 제2 영상신호를 생성하는 이미지 센서;
를 포함하는 이종 영상 일체형 카메라 장치.
제12항에 있어서, 상기 광학 필터는
상기 가시광을 통과시키는 제1 필터부; 및
상기 제2 광을 통과시키는 제2 필터부;
를 포함하는 이종 영상 일체형 카메라 장치.
제13항에 있어서, 상기 카메라 센서는,
상기 주파수 분할 모드 동작을 위한 RGB/IR 센서를 포함하고,
상기 RGB/IR 센서는,
상기 주파수 분할 모드 동작시, 가시광이 조사된 상기 피사체를 촬영하여 제1 영상 신호를 생성하고, 상기 제2 광이 조사된 상기 피사체를 촬영하여 제2 영상 신호를 생성하는
이종 영상 일체형 카메라 장치.
제13항에 있어서, 상기 카메라 센서는,
상기 주파수 분할 모드 동작을 위한 RGB/IR 센서를 포함하고,
상기 이미지 센서는,
상기 광학 필터의 제1 필터부를 통해 입사되는 상기 제3 광을 센싱하는 제1 픽셀부; 및
상기 광학 필터의 제2 필터부를 통해 입사되는 상기 제2 광을 센싱하는 제2 픽셀부;
를 포함하는 이종 영상 일체형 카메라 장치.
제13항에 있어서, 상기 제2 필터부는
940nm인 적외선(IR: Infrared Ray)인 제2 광을 통과시키고,
상기 제1 필터부는,
상기 제2 광의 파장보다 짧은 파장을 갖는 가시광을 통과시키는
이종 영상 일체형 카메라 장치.