KR20090036073A - 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치운용방법 - Google Patents

Abstract

본 발명은 광원, 이미지센서를 이용하여 3차원 영상을 획득하기 위한 3차원카메라모듈장치 및 이를 이용한 무인 감시 방법에 관한 것으로, 이 장치는 거리(distance; x), 깊이(depth; z)를 포함하는 3차원 영상 데이터를 생성하는 3차원 카메라 모듈장치에 있어서;

피사체(被寫體)를 비추는 광원(光源); 피사체(被寫體)로부터 반사광을 수집하는 카메라 렌즈; 카메라 렌즈로부터 영상을 감지하여 거리(distance)정보, 깊이(depth)정보, 영상데이터를 추출하는 3차원 이미지센서; 3차원 이미지센서로 부터 추출된 거리(distance)정보와 깊이(depth)정보를 토대로 연산하여 거리(distance)정보, 깊이(depth)정보, 상기 영상데이터를 결합하여 3차원 영상 데이터를 생성하고 데이터를 판단하는 제어부; 제어부에서 생성된 3차원 영상 데이터를 일시 저장, 호출할 수 있는 메모리부; 를 포함하는 3차원 카메라 모듈장치를 제공하고,

더 나아가 상기 3차원 영상 데이터에서 화재, 도난, 침입을 포함하는 특이사항이 감지되면 제어부는 미리설정된 기준치와 비교, 판단하여 경보음, 메시지, 특이사항정보를 출력하는 무인 감시 장치 및 운용 방법을 제공하는 것을 특징으로 한다.

3차원 카메라 모듈, 이미지 센서, 무인 감시 장치

Description

3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치 운용방법 {unmanned monitering methode using the 3 dimension camera module device}

본 발명은 3차원카메라모듈장치에 관한 것으로, 더 상세하게는 광원, 3차원 이미지센서, 카메라 렌즈를 이용하여 3차원 영상을 획득하기 위한 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치와 운용 방법에 관한 것이다.

일반적으로, 3차원 영상을 획득하기 위해서는 적어도 2대의 카메라가 필요한데, 이러한 종래의 과정을 살펴보면 다음과 같다.

종래의 입체영상(Stereo) 카메라는 초점제어와 주시각제어가 각각 독립적으로 수행되며, 줌 기능이 첨부된 입체영상 카메라는 자연스럽게 선명한 입체영상을 획득하기 위해서는 조작이 대단히 어려워지는 단점이 있다.

또한, 좌,우 영상을 각각 초당 15 프레임으로 전송하기 때문에 눈의 피로를 증가시키고 있고 카메라의 무게가 많이 나가며 깜박거림 현상이 있는 문제점을 노출하고 있다.

본 발명의 목적은 상기와 같은 문제를 해결하기 위하여 조작하기에 간단하고, 1개의 3차원 이미지센서 와 광원을 이용하여 3차원 영상 데이터를 얻을 수 있는 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치와 운용 방법을 제공하는데 그 목적이 있다.

본 발명이 구현하려고 하는 기술은 도 1에 나타낸 바와 같이, 카메라는 거리(distance; d) 만큼 이격된 위치에서 제 1 각도(angle; θ)만큼 기울어진 상태에서 피사체를 바라보고 있고, 피사체를 비추는 광원 역시 제 1 각도(angle; θ)만큼 기울어진 상태에서 피사체를 바라보고 있다.

이러한 카메라가 촬영한 영상데이터는 피사체의 거리(distance), 피사체의 깊이(depth)를 나타내는 (x, z)로 이루어진 영상을 획득한다.

상술한 본 실시예의 바람직한 양태에 따르면, 1대의 카메라, 이미지 센서, 광원을 이용하여 3차원 영상데이터를 생성하게 되므로 경제적일 뿐만 아니라, 사용자가 조작하기에 간편한 장점을 제공하고, 더 나아가 3차원 영상데이터의 특이사항을 감지하여 경보해줄 수 있는 무인 감시 장치로 기능할 수 있는 장점이 있다.

상기 목적을 달성하기 위한 본 발명은 거리(distance; x), 깊이(depth; z) 정보를 포함하는 3차원 영상 데이터를 생성하는 3차원 카메라 모듈장치에 있어서; 피사체(被寫體)를 비추는 광원(光源); 피사체(被寫體)로부터 반사광을 수집하는 카메라 렌즈; 카메라 렌즈로부터 영상을 감지하여 거리(distance)정보, 깊이(depth) 정보, 영상데이터를 추출하는 3차원 이미지센서; 3차원 이미지센서로 부터 추출된 거리(distance)정보와 깊이(depth)정보를 토대로 연산하여 거리(distance)정보, 깊이(depth)정보, 상기 영상데이터를 결합하여 3차원 영상 데이터를 생성하고 데이터를 판단하는 제어부; 제어부에서 생성된 3차원 영상 데이터를 일시 저장, 호출할 수 있는 메모리부; 를 포함하는 3차원 카메라 모듈장치를 제공하는 것이다.

바람직한 실시예로서, 상기 메모리부의 저장된 3차원 영상 데이터를 상기 제어부의 판단에 따라 메모리부의 영상데이터를 삭제하는 기능이 더 포함된다.

본 발명의 다른 특징은

피사체(被寫體)를 비추는 광원(光源); 피사체(被寫體)로부터 반사광을 수집하는 카메라 렌즈; 카메라 렌즈로부터 영상을 감지하여 거리(distance)정보, 깊이(depth)정보, 영상데이터를 추출하는 3차원 이미지센서; 3차원 이미지센서로 부터 추출된 거리(distance)정보와 깊이(depth)정보를 토대로 연산하여 거리(distance)정보, 깊이(depth)정보, 상기 영상데이터를 결합하여 3차원 영상 데이터를 생성하고 데이터를 판단하는 제어부; 제어부에서 생성된 3차원 영상 데이터를 일시 저장, 호출할 수 있는 메모리부;로 구성된 3차원 카메라 모듈장치에 있어서; 3차원 영상 데이터에 인가받지 않은 침입 등을 포함하는 특이사항이 감지되면 경보음, 메시지, 특이사항정보를 출력하는 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

3차원 카메라 모듈장치는 TOF(Time of flight)원리에 따라 거리를 측정하고 삼각측량으로 3차원 영상 데이터를 획득한다는 점에서, 기존 방식의 카메라 2대 (stereo)로 목표하는 피사체를 바라보면서 나란히 배열되도록 배치하고, 거리(distance)데이터, 깊이(depth)데이터, 영상 데이터를 결합하여 3차원 영상데이터를 합성한다는 점에서는 동일하다.

종래 기술과 다른 점은, 3차원 카메라 모듈 장치를 이용한 1대의 3차원 카메라만을 사용하여 광원을 투사 후 반사되어 오는 광을 3차원 이미지 센서가 TOF방식에 따라

거리(distance; x)데이터, 깊이(z; depth)데이터, 영상데이터 합성하여 3차원 영상데이터를 합성한다는 것이다.

도1은 3차원 이미지 센서와 광원의 배치를 나타낸다.

참고로, 상기 3차원 영상 데이터의 거리(distance), 깊이(depth)를 연산하는 과정은 3차원 이미지센서부의 하드웨어적인 처리와 제어부 내부에 탑재된 소프트웨어에 의해서 처리된다.

한편, 광원은 레이저 또는 LED(적외선) 배열로 이루어지며, 빛이 3차원 이미지센서에 들어오면 전송 광선의 네모파가 실제 이용되어 하드웨어적으로 사용하기 용이한 사인파로 바꾸어준다.

본 발명의 3차원 카메라 모듈장치는 모듈에 동일하게 장착하는 단일 기판상에 취부할 위치를 식별할 수 있는 지자기 센서와 거리를 측정하는 3차원 이미지 센서를 부착한다.

본 발명의 3차원 카메라 모듈장치를 이용한 무인 감시 장치 및 운용 방법은 3차원 이미지센서의 3차원 영상 데이터,거리(distance)데이터, 깊이(depth)데이터 와, 지자기센서에 의한 카메라 위치에 대한 좌표 데이터를 통합하여 모니터에 표출해 줄 수 있고 이 정보를 정확하게 사용자에게 전달할 수 있도록 하기 위해 유선과 무선으로 데이터를 주고받을 수 있는 통신수단을 포함한다. 이때, 데이터 인터페이스(Data Interface)는 10/100-Base-T Ethernet 을 적용하고, 무선랜 또는 와이브로(WiBro)를 적용할 수 있는 주파수 2.4 내지 2.48GHz 또는 5.7GHz 이상의 듀얼 모드(Dual Mode)의 통신설비를 사용할 수 있다.

한편, 상기 3차원 이미지센서는 CMOS 방식의 120 X 160 화소를 가지며, 저가의 CMOS 센서 칩에 아날로그-디지털 변환기(ADC)를 통합한 칩을 사용해 60fps까지의 프레임 속도를 가지도록 한다.

도 2는 본 발명에 따른 3차원 카메라모듈장치를 이용한 무인 감시 장치를 나타낸 블록도이다.

도 2를 참조하면, 본 발명의 3차원 모듈 장치는 카메라 렌즈(11)와 3차원 이미지 센서(12) 및 광원(13)을 포함하고, 카메라 렌즈(11)는 종래의 일반적인 C-mount 렌즈를 사용하며, 줌렌즈 사용이 가능하다, 3차원 이미지 센서(12)는 제어부로 영상신호를 출력하며, 광원(13)은 레이저(laser), LED(적외선)광원, 자연광이며, LED(적외선)광원은 2.5 내지 5W 로 사람의 눈을 보호하기 위하여 870nm 를 사용한다. 이때, 광원(13)으로부터 피사체에 반사된 빛은 렌즈(11)를 통하여 3차원 이미지 센서(12)에 감지되고 이를 통해 피사체와의 거리를 측정하고, 이 때 3차원 이미지 센서(12)는 광원의 반사된 시간(TOF)을 측정하기 위하여 아날로그 디지털 변환기(ADC)를 내장한다.

또한, 제어부(14)는 중앙처리 장치로 클럭주파수 330 MHz 이상을 사용하며, 변조주파수 44 MHz 를 발생하여 3차원 이미지 센서(12)를 조절하며, 주변장치의 입출력을 제어하고, 취득한 영상 및 거리 데이터에 대한 소프트웨어, 하드웨어적인 3차원 이미지 맵핑 처리를 통해 3차원 이미지 데이터를 생성한다.

전원부(15)는 외부 전력 어댑터로부터 입력된 DC +12V 전원을 필요한 레벨로 변환(DC-DC 변환)하여 공급한다.

그리고, 통신부(16)는 IEEE1394 또는 USB 를 통해 직렬로 연결되고, 10/100-Base-T Ethernet 을 기본 통신 수단으로 하여 다른 방법으로 IEEE802.11a/b 규격에 준한 무선 통신을 행하고, 감지 센서부(17)는 위치 측정을 위해 지자기 센서를 이용해 카메라의 위치를 좌표 X,Y,Z 방향을 추출해 위치를 파악하며 이 데이터와 3차원 이미지센서에서 취득한 거리데이터, 깊이데이터 및 영상 데이터를 합성하여 3차원 영상데이터를 얻은 후 제어부는 미리설정된 기준치와 비교, 판단하여 화재, 도난, 침입 등을 제어부가 판단, 감지하는 기능을 가진다.

메모리부(18)는 제어부에 의해 가공된 3차원 영상데이터의 저장을 저장한 후 제어부의 판단에 따라 삭제할 수 있고, 표시부(20)는 3차원 카메라 모듈장치에서 출력된 영상을 디스플레이하는 패널로 3차원 영상데이터를 볼 수 있으며, 인식된 3차원영상데이터와 지자기 센서로부터 얻어진 위치데이터, 3차원 영상데이터를 통합하여 표시부(20)에 나타낼 수 있다.

도 3은 본 발명의 3차원 카메라 모듈장치를 이용한 무인 감시 장치 운용 방법을 나타낸 것이다.

도 3을 참조하면 오토 아이리스 렌즈를 장착한 3차원 카메라 모듈장치를 무인 작동시키는 단계(S100) 즉 카메라를 정해진 감시위치에 고정(Focus)시키는 단계이며 , 작동된 3차원 카메라 모듈장치에 의해 획득한 거리, 깊이, 영상데이터를 결합하여 3차원 영상 데이터 구성하는 단계(S101), 상기 구성된 3차원 영상데이터를 이상 유무 판단을 위해 미리 입력된 3차원 영상 데이터를 비교하여 변동이 없으면 최초의 단계 즉, S100으로 이동하는 단계(S102), 변동이 발생하였다면 3차원 카메라 모듈장치를 통해 획득한 3차원 영상데이터를 사용자 컴퓨터로 전송하는 단계(단계S103), 3차원카메라 모듈장치로부터 얻어진 3차원 영상데이터를 표시부(20)에 출력해주는 단계(S201), 사용자 컴퓨터는 3차원 카메라모듈장치를 통하여 획득한 3차원 영상데이터를 특이 사항, 즉 화재, 도난, 침입 등을 판단하여 특이사항이 없으면 단계 S100으로 이동하고 특이 사항이 있으면 경보음, 메시지 송출 및 사항에 대한 정보를 사용자 컴퓨터에 실시간으로 저장하는 단계(S203), 강제로 종료할 것인지 판단하는 단계(S204)를 반복하는 것을 특징으로 하는3차원 카메라 모듈장치를 이용한 무인 감시 장치 운용 방법을 나타낸다.

도 1은 종래의 카메라장치를 이용하여 3차원 영상을 획득하는 과정을 설명하기 위한 도면.

도 2는 본 발명의 3차원 카메라 모듈장치의 구성을 나타내는 도면.

도 3은 본 발명의 3차원 카메라 모듈장치를 이용한 무인 감시 장치 운용 방법을 나타낸 순서도.

＜도면의 주요 부분에 대한 부호의 설명＞

10: 무인 감시장치 11: 카메라 렌즈

12: 이미지 센서 13: 광원

14: 제어부 15: 전압부

16: 통신부 17: 감지센서부

18: 메모리부 20: 모니터부

Claims (1)

1. 오토 아이리스 렌즈를 장착한 3차원 카메라 모듈장치를 무인 작동시키는 단계(S100);

   상기 작동된 3차원 카메라 모듈장치에 의해 획득한 거리, 깊이, 영상데이터를 결합하여 3차원 영상 데이터 구성하는 단계(S101);

   상기 3차원 영상데이터와 이상 유무 판단을 위해 미리 입력된 3차원 영상데이터를 비교하여 변동이 없으면 최초의 단계 즉, S100으로 이동하는 단계(S102);

   변동이 발생하였다면 3차원 카메라 모듈장치를 통해 획득한 3차원 영상데이터를 통신부(16)을 통해 사용자 컴퓨터로 전송하는 단계(단계S103);

   상기 3차원 영상데이터를 표시부(20)에 출력해주는 단계(S201);

   사용자 컴퓨터는 3차원 카메라모듈장치를 통하여 획득한 3차원 영상데이터를 특이 사항, 즉 화재, 도난, 침입 등을 판단하여 특이사항이 없으면 단계 S100으로 이동하는 단계(S202);

   특이 사항이 있으면 경보음, 메시지 송출 및 사항에 대한 정보를 사용자 컴퓨터에 실시간으로 저장하는 단계(S203);

   강제로 종료할 것인지 판단하는 단계(S204)를 반복하는 것을 특징으로 하는 3차원 카메라 모듈장치를 이용한 무인 감시 장치 운용 방법.

Images