KR101814040B1 - 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 - Google Patents

Abstract

본 발명은 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치를 공개한다. 이 장치는 관제 대상을 촬영 및 녹화하여 녹화 데이터를 출력하는 영상 녹화부; 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부; 관제 대상의 공간 특징을 추출하고 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및 딥러닝 기법을 이용하여 학습된 모델로부터 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;를 포함하고, 영상 녹화부는 촬영되는 영상, 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 관제 대상의 깊이 변화량 데이터를 출력하는 센서부; 관제 대상을 인식하여 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부; 관제 대상의 3차원 깊이를 계산하여 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부; 초점 거리 제어 신호에 응답하여 카메라 렌즈를 이동시켜 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및 초점 거리 제어 신호에 응답하여 데이터 처리하여 녹화 데이터를 출력하는 임베디드 처리기;를 포함하는 것을 특징으로 한다.

Description

3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치{An integrated surveillance device using 3D depth information focus control}

본 발명은 통합 관제 장치에 관한 것으로서, 특히 관제 대상의 영상 신호 및 열화상 신호를 통해 관제 대상을 인식하고, 카메라 렌즈와 관제 대상과의 거리에 대한 관제 대상의 3차원 깊이를 계산하여 초점 거리를 조절함으로써, 관제 대상의 위치에 따라 CCTV 카메라를 자동 아날로그 줌 인하며, 딥러닝기술 및 기계 대 기계 방식을 이용하여 다양한 모니터 상황에 대해 자동으로 판단하고 통합 연동된 형태로 관제 대상을 추적 및 감시할 수 있는 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치에 관한 것이다.

일반적으로, 삼차원 형상복원 방법은 크게 접촉형, 투과형, 반사형 방법으로 분류되고, 광학형 방법은 반사형 모델의 범주에 속하며 능동형과 수동형으로 나뉜다.

능동형 모델은 시스템이 직접 빛을 투영시켜 얻은 반사광을 이용하며 수동형 모델은 빛의 투영 없이 자연광의 반사를 이용한다.

또한, 수동형 모델은 Shape From X(Stereo, Motion, Shading, Focus)로 분류가 된다.

삼차원 형상복원의 목적은 피사체의 표면에 대응하는 영상의 모든 픽셀들의 깊이(depth map)를 측정하는 것이다.

초점 기반 형상(Shape From Focus, SFF) 기법과 비초점 기반 형상(Shape From Defocus, SFD) 기법에서는 카메라 렌즈와 물체 사이의 간격, 또는 렌즈와 영상 검지기 사이의 간격을 순차적으로 변화시켜가며 영상 시퀀스를 얻는다.

여기에서, 초점 기반 형상(SFF) 기법은 동일 피사 물체를 초점 수준을 바꿔가며 획득한 영상 시퀀스로부터 물체의 깊이와 삼차원 형상을 복원하는 기법을 의미한다.

즉, 영상 시퀀스 내에서 가장 선명한 픽셀의 위치가 깊이(depth)를 계산하는데 사용이 되며, 가장 선명한 픽셀은 초점 연산자를 적용하여 찾는다.

전통적으로 초점 연산자는 영상 시퀀스 내의 2D 영상 프레임에 적용이 된다.

일반적으로, 낮은 심도를 갖는 렌즈로부터 획득된 영상은 초점이 선명한 부분과 흐릿한 부분이 공존하며 이는 피사 물체의 깊이 정보를 제공한다.

초점 기반 형상(SFF) 기법에서는 영상의 각 픽셀의 선명도를 측정하는 초점 연산자가 최종 삼차원 형상 복원에 결정적인 역할을 한다.

도 1은 초점 기반 형상(SFF) 기법을 이용하여 렌즈의 이동을 통해 물체의 영상을 형성하는 동작 원리를 설명하기 위한 개념도이다.

초점 기반 형상(SFF) 기법에서는 동일 장면을 영상 장치들의 파라미터 값들을 변화시켜가며 획득한 여러 개의 영상들로부터 공간 정보를 추출한다.

초점 기반 형상(SFF) 기법의 목적은 렌즈로부터 형성된 물체의 모든 점의 깊이를 찾는 것이다.

즉, 도 1에서 카메라 파라미터 값들은 알려져 있으며, 물체의 깊이인 'u'를 찾는 것이 목적이다.

렌즈 공식을 이용하여 영상 내 모든 픽셀들에 대해 'u'를 계산하여 깊이 맵(depth map)을 얻는다.

영상 검지기(ID)가 정확하게 거리 'v'에 위치할 경우 점 P가 P'에 선명하게 맺힌다.

물체의 거리 u 와 초점 거리 f, 그리고 영상 거리 v 간의 관계는 가우스 렌즈 공식에 의해 수학식 1로 표현이 된다.

[수학식 1]

초점의 정도(s-v)를 변화시켜 그에 해당하는 영상들을 획득한 후, 획득한 영상 시퀀스에 초점 연산자를 적용하여 최대로 초점이 맞은 점들을 찾아낸다.

찾은 점들로부터 상기 수학식 1을 적용하여 상대 깊이를 얻는다.

초점 연산자는 픽셀의 초점 정도(날카로운 정도)를 국부적으로 계산하여 초점값을 계산한다.

즉, 초점값이란 픽셀의 선명도를 국부적으로 계산한 양으로 정의된다.

최근에, 외부 및 특정 지역에는 많은 보안용 CCTV 시스템 설치가 보편화되어 가고 있다.

예를 들면, 빌딩, 아파트단지 등의 경비중앙 관리실에서 모니터링되는 CCTV들도 있고, 보안업체에서 관리하는 CCTV, 경찰 및 관공서에서 범죄 예방, 쓰레기 투기 등의 공익 목적으로 설치 및 관리되는 CCTV들도 있다.

하지만, 이를 모니터링하는 인원의 한계 때문에 감시자가 각각의 카메라들에 대한 영상을 전체적으로 확인하는 것은 불가능한 것이 현실이다.

이러한 부분을 보완하기 위해, CCTV 전문업체에서는 물체 및 인체감지 기능, 특정인 또는 특정집단의 지정 트래킹 기능 등, 많은 부가 기능들을 접목시키고 있다.

하지만, 이러한 기능들은 모니터 화면을 모니터링하는 사람이 직접 조작해야 하며, 또는 이러한 기능들이 소프트웨어적으로 처리가 된다고 하더라도 모니터링 인원이 직접 눈으로 관찰하는 것에 대한 보조적인 기능에 불과하다.

이에 따라, 종래의 CCTV 시스템은 실시간 감시요원의 모니터링의 경우, 주의력의 지속에 한계가 있어 한 조사 결과에 의하면 모니터링 요원 1인당 평균 10대 이상의 CCTV를 관리하면서 2대 이상을 동시 모니터링 해야 하기 때문에 20분 경과 시 약 90 %의 이상 상황을 놓치게 된다는 통계가 있다.

그리고, 종래의 고정형 CCTV는 원거리에 위치한 관제 대상을 확인하기 위해 카메라를 줌 인(Zoom-In)하게 되면 해상도가 현저히 낮아질 뿐 아니라, CCTV 기능이 범죄 발생 후 이를 확인하거나, 또는 증거를 확보하기 위한 수동적인 대처 방법으로 사용될 뿐이다.

예를 들면, 엘리베이터 내에서의 영유아 납치사건, 엘리베이터 내의 폭행/폭력 및 성추행/성폭행 사건, 건물 내 및 아파트 단지 내의 외곽 지역에서의 범죄, 노상의 범죄 등 범죄가 발생된 시점에 적극적으로 대응하는 것이 아니라, 범죄가 일어난 후에 이러한 범죄의 증거 확보의 수단으로 주로 활용되는 것이 현실이다.

종래의 CCTV 시스템의 이와 같은 문제점을 해결하기 위하여 모니터 요원이 일일이 감시 영상을 모니터링하지 않아도, 획득한 영상을 실시간으로 분석하여 감시 구역 내에 출입하는 물체(사람, 차량 등)를 실시간으로 탐지하고, 이를 추적하며, 이들의 행위를 파악하여 위험 상황이 예측되는 경우, 필요한 조처(경보 발생, 출입 통제 등)를 실시간으로 취할 수 있는 지능형 무인 모니터링 CCTV 시스템이 개발되기는 하였으나, 인지 결과의 신뢰도가 매우 저조하고, 긴급상황에 즉각적으로 대처할 수 없으며 획득된 영상과 기 저장된 영상만을 비교하기 때문에 다양한 데이터 유형의 영상에 대응할 수 없는 한계가 있었다.

또한, 종래의 CCTV 시스템은 주로 고정형 CCTV를 구비하므로 커버할 수 있는 영역이 제한되어 있어, 관제 대상이 사람, 차량 등의 이동체인 경우 하나의 고정형 CCTV에서 포착된 위험 상황 등이 해당 고정형 CCTV의 시야에서 벗어나게 되면 소정의 관제 센터 서버에서 이를 감지하여 다른 관제 구역에 설치된 고정형 CCTV를 통해서만 이동체 관제 대상을 추적 및 감시할 수 있다.

즉, CCTV 시스템에서 복수개의 CCTV 간에 통합 연동된 형태의 추적이나 감시가 불가능한 한계가 있었다.

한편, 인공 지능(Artificial Intelligence, AI)은 인간의 뇌와 뉴런 신경망을 모방해 언젠가는 컴퓨터나 로봇들이 인간처럼 사고하고 행동하게 하는 것이다.

예를 들어, 우리는 사진만으로 개와 고양이를 아주 쉽게 구분할 수 있지만 컴퓨터는 구분하지 못한다.

이를 위해 “머신 러닝(Machine Learning, ML)” 기법이 고안되었는데, 이 기법은 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술로서, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다.

데이터를 어떻게 분류할 것인가에 따라, 의사결정 나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트 벡터 머신(support vector machine, SVM), 그리고 인공 신경망(Artificial neural network) 등 많은 머신 러닝 알고리즘이 등장했다.

그 중에 인공 신경망 알고리즘에서 파생된 딥 러닝(Deep Learning, DL)은 인공 신경망을 이용하여 데이터를 군집화하거나 분류하는데 사용하는 기술이다.

머신 러닝과 인지 과학에서의 인공 신경망은 생물학의 신경망(동물의 중추 신경계)에서 영감을 얻은 통계학적 학습 알고리즘이다.

인공 신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(node)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다.

인공 신경망을 이용하는 딥 러닝의 핵심은 분류를 통한 예측이다.

수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나눈다.

이 같은 분별 방식은 지도자(감독자/교사)의 신호(정답) 입력에 의해서 문제에 최적화되어 가는 지도(감독/교사) 학습과 지도자의 교사 신호를 필요로 하지 않는 비지도(감독/교사) 학습이 있다.

일반적으로 입력으로부터 값을 계산하는 뉴런 시스템의 상호 연결로 표현되고 적응성이 있어 패턴 인식과 같은 기계 학습을 수행할 수 있다.

데이터로부터 학습하는 다른 기계 학습과 같이, 신경망은 일반적으로 규칙 기반 프로그래밍으로 풀기 어려운 컴퓨터 비전(vision) 또는 음성 인식과 같은 다양한 범위의 문제를 푸는 데 이용된다.

즉, 어떠한 데이터가 있을 때 이를 컴퓨터가 인지할 수 있는 형태(예를 들어 이미지의 경우 픽셀정보를 열 벡터로 표현하는 툴)로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 심층 신경망(deep neural networks), 합성 곱 신경망(convolutional neural network), 순환 신경망(Recurrent neural network)와 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성 인식, 자연어 처리, 음성/신호 처리 등의 분야에 적용되어 우수한 성능의 응용 프로그램들이 개발되고 있다.

한편, 기계 대 기계(Machine To Machine, M2M) 방식은 방송 통신망을 이용하여 사람이나 지능화된 기기에게 사물정보를 제공하거나, 사람이나 지능화된 기기가 사물의 상태를 제어하기 위한 통신을 의미한다.

M2M은 IOT(Internet of Things), 사물지능 통신(O2N: Object to Object Intelligent Network)란 이름으로도 불린다.

과거 1990년대 전후반의 M2M 통신은 단순한 P2P(Point-to-Point) 연결을 위한 일대일 혹은 일대 다수의 통신을 의미하였다면, 궁극적으로 M2M 통신에서 지향하고자 하는 것은 위치 인식, 상황 인식, 증강 현실 도입 등으로 개인 혹은 상황에 맞춤적으로 인간의 제어 없이 또는 인간의 개입을 최소화한 상태에서 자동적으로 동작하면서 보다 향상된 M2M 통신 서비스의 품질과 안정성을 목표로 한다.

M2M 통신은 종래의 u-City, u-Health, u-교통, u-환경 사업 등을 통해 사회 현안 해결, 재난 및 재해 방지, 에너지 절감 등에 기여할 수 있는 필수적인 인프라로 활용될 수 있다.

현재 대표적으로 원격검침, 건물 또는 시설물 관리, 자판기 관리, 실내 조명 조절 서비스, 교통 정보 및 차량 관제, 긴급 출동, 화재 경보기, 방범 경보 장치, 텔레매틱스, 무선 결재 분야 서비스 등 매우 다양한 서비스가 M2M 서비스로서 제공되고 있다.

또한, 최근에는 맥박계, 심전도계 등의 의료기기에 적용되어 원격 진료 서비스 등을 포함하는 이헬스(e-Health) 분야에서의 적용도 활발하게 진행되고 있다.

M2M 통신은 사물 장치간의 통신으로 기존의 사람 중심의 H2H(Human-to-Human) 통신과는 여러 특징에서 차이를 보인다.

이러한 특성의 차이에서부터 기술적으로 필요한 기술이 달라질 수 있고 M2M 통신을 이용하는 활용 분야에 따라서도 필요한 특성은 조금씩 달라질 수 있다.

KR 10-1344612 B1

본 발명의 목적은 관제 대상의 영상 신호 및 열화상 신호를 통해 관제 대상을 인식하고, 카메라 렌즈와 관제 대상과의 거리에 대한 관제 대상의 3차원 깊이를 계산하여 초점 거리를 조절함으로써, 관제 대상의 위치에 따라 CCTV 카메라를 자동 아날로그 줌 인하며, 딥러닝기술 및 기계 대 기계 방식을 이용하여 자동으로 통합 연동된 형태의 추적 및 감시를 할 수 있는 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치를 제공하는 것이다.

상기 목적을 달성하기 위한 본 발명의 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치는 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부; 상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부; 상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;를 포함하고, 상기 영상 녹화부는 상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부; 상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및 상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부; 상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부; 상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및 상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;를 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치는 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부; 상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부; 상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;를 포함하고, 상기 영상 녹화부는 상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부; 상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및 상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부; 상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부; 상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및 상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;를 포함하며, 복수개의 CCTV 각각에서 산출된 상기 특징 벡터가 기계 대 기계 방식에 따라 연동된 다른 CCTV에 전달되어, 지능적 연계를 통해 상기 관제 대상을 통합 추적 및 감시하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치는 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부; 상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부; 상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;를 포함하고, 상기 영상 녹화부는 상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부; 상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및 상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부; 상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부; 상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및 상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;를 포함하며, 상기 특징 벡터 산출부가 상기 관제 대상에 대한 강화 학습 및 클라우딩 계산을 수행하여 관제 센터 서버 내 빅 데이터베이스에 저장하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 3차원 깊이 정보 초점 조절을 이용한 통합 관제 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부; 상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부; 상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;를 포함하고, 상기 영상 녹화부는 상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부; 상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및 상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부; 상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부; 상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및 상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;를 포함하며, 상기 영상 분석부는 상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상기 상황 데이터를 출력하는 상황 인지부; 상기 추출 데이터를 인가받아 특징 기반 기법을 이용하여 상기 관제 대상의 인상 착의에 대한 상기 공간 특징을 추출하여 상기 특징 데이터를 출력하는 대상 특징 분석부; 및 상기 추출 데이터를 인가받아 주요 성분 분석 기법을 이용하여 차원을 축소시키고, 상기 관제 대상의 상기 벡터 공간을 생성하여 상기 관제 대상의 얼굴을 판별하여 상기 얼굴 데이터를 출력하는 얼굴 인식부; 를 포함하는 것을 특징으로 특징으로 한다.

상기 목적을 달성하기 위한 본 발명의 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치는 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부; 상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부; 상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;를 포함하고, 상기 영상 녹화부는 상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부; 상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및 상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부; 상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부; 상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및 상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;를 포함하며, 상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터는 상기 관제 대상의 이미지 픽셀 정보의 열 벡터로 처리 및 전송되는 것을 특징으로 한다.

기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 의할 경우, 관제 대상의 3차원 깊이 정보 초점 조절을 통한 자동 줌 인 기능을 이용하여 원거리 관제 대상에 대한 해상도 및 인지 결과의 신뢰도를 향상시킬 수 있다.

또한, 복수개의 CCTV로부터 획득되는 영상에 딥러닝기술을적용하여 상황 인지, 대상 특징, 얼굴 인식 등에 대해 빅 데이터베이스화가 가능하므로, 다양한 모니터 상황에 대해 자동으로 판단이 가능해 진다.

또한, 입력영상에대한 처리 및 전송할 데이터 용량을 최소화시키며, 관제 센터 서버와 영상 정보를 이미지 데이터로 전송할 때 수반되는 네트워크 트래픽을 획기적으로 감소시킬 수 있게 된다.

또한, 관제 대상이 해당 고정형 CCTV의 시야에서 벗어나게 되어도 관제 대상의 이동 궤적을 추적 및 감시할 필요 없이 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 추적 및 감시가 가능하게 된다.

도 1은 초점 기반 형상(SFF) 기법을 이용하여 렌즈의 이동을 통해 물체의 영상을 형성하는 동작 원리를 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치를 구현하기 위한 영상 인식 시스템의 블록도이다.
도 3은 도 2에 도시된 영상 인식 시스템 내 복수개의 CCTV(100-1 내지 100-N) 각각의 블록도이다.
도 4는 도 3에 도시된 영상 녹화부(110)의 내부 블록도이다.
도 5는 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 피사체로부터 조사되는 광의 방향에 따라 초점(F’)을 통과하는지 여부의 동작 원리를 설명하기 위한 개념도이다.
도 6은 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 특정한 3차원 깊이를 가지는 피사체로부터 광이 평행하게 조사되는 경우의 동작 원리를 설명하기 위한 개념도이다.
도 7은 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 주어진 초점 거리에 대해 적합하지 않은 3차원 깊이를 가지는 피사체로부터 광이 평행하게 조사되는 경우의 동작 원리를 설명하기 위한 개념도이다.
도 8은 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 상면에 사상되는 상이 뚜렷하게 투영되도록 카메라 렌즈를 이동시키는 경우의 동작 원리를 설명하기 위한 개념도이다.
도 9는 도 2 및 도 3에 도시된 영상 인식 시스템을 이용한 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치의 동작을 설명하기 위한 순서도이다.
도 10은 도 9에 도시된 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 내 단계(S300)의 부분 동작을 설명하기 위한 순서도이다.
도 11은 도 10에 도시된 단계(S330)의 부분 동작을 설명하기 위한 순서도이다.
도 12는 도 10에 도시된 단계(S330)의 부분 동작을 위한 얼굴 인식부(133)의 처리 과정에 대한 개념도이다.
도 13은 도 3에 도시된 영상 인식 장치 내 얼굴 인식부(133)의 동작 원리를 설명하기 위한 개념도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있다.

더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니다.

이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있다.

또한, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있다.

또한, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있다.

한편, 상기 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용된다.

하지만, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 한다.

또한, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

더욱이, 본 발명의 명세서에서는, "부", "기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미한다.

이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.

도 2는 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 영상 인식 시스템의 블록도로서, 복수개의 CCTV(100-1 내지 100-N), 광 링크부(200) 및 관제 센터 서버(300)를 구비하고, 관제 센터 서버(300)는 운영 단말기(310), 관제 상황판(320) 및 빅 데이터베이스(330)를 구비한다.

도 3은 도 1에 도시된 영상 인식 시스템 내 복수개의 CCTV(100-1 내지 100-N) 각각의 블록도로서, 영상 녹화부(110), 배경 추출부(120), 영상 분석부(130), 특징 벡터 산출부(140), 제어부(150) 및 인공 지능부(160)를 구비하고, 영상 분석부(130)는 상황 인지부(131), 대상 특징 분석부(132) 및 얼굴 인식부(133)를 포함한다.

도 9는 도 2 및 도 3에 도시된 영상 인식 시스템을 이용한 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치의 동작을 설명하기 위한 순서도이다.

도 2, 도 3 및 도 9를 참조하여 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치의 개략적인 동작을 설명하면 다음과 같다.

영상 녹화부(110)가 내장된 카메라를 이용하여 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력한다(S100).

배경 추출부(120)가 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 하고 추출 데이터를 출력한다(S200).

영상 분석부(130)가 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여, 관제 대상의 공간 특징을 추출하고 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력한다(S300).

특징 벡터 산출부(140)가 상황 데이터, 특징 데이터 및 얼굴 데이터를 인가받아, 딥러닝 기법을 이용하여 학습된 모델로부터 관제 대상의 특징 벡터를 산출한다(S400).

복수개의 CCTV 각각에서 산출된 특징 벡터가 기계 대 기계 방식에 따라 연동된 다른 CCTV에 전달되어, 지능적 연계를 통해 관제 대상을 통합 추적 및 감시한다(S500).

특징 벡터 산출부(140)는 관제 대상에 대한 강화 학습 및 클라우딩 계산(Clouding Computing)을 수행하여(S600) 관제 센터 서버(300)에 위치한 빅 데이터베이스(330)에 저장한다(S700).

도 4는 도 3에 도시된 영상 녹화부(110)의 블록도로서, 가시 센서(111), 적외선 센서(112) 및 이동 추적 센서(117)를 포함하는 센서부, 관제 대상 인식부(113), 초점 자동 추정부(114), 피에조 제어부(115), 카메라(116) 및 임베디드 처리기(118)를 구비한다.

도 2 내지 도 4를 참조하여 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 영상 녹화부(110)의 개략적인 동작을 설명하면 다음과 같다.

가시 센서(visibility sensor, 111)는 외부로부터 입력되는 영상을 감지하여 전기적 신호인 영상 신호를 출력한다.

적외선 센서(112)는 관제 대상으로부터 발생되는 열을 감지하여 전기적 신호인 열화상 신호를 출력한다.

관제 대상 인식부(113)는 영상 신호 및 열화상 신호를 인가받아 관제 대상의 인식 및 탐색을 수행하여 관제 대상의 위치 데이터를 출력한다.

초점 자동 추정부(114)는 관제 대상 인식부(113)로부터 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력한다.

피에조(Piezo) 제어부(115)는 초점 자동 추정부(114)로부터 추정된 초점 거리 데이터를 인가받아 카메라 렌즈와 관제 대상과의 거리, 즉 관제 대상의 3차원 깊이를 계산하여 초점 거리를 조절하는 초점 거리 제어 신호를 출력한다.

카메라(116)는 피에조 제어부(115)로부터 초점 거리 제어 신호를 인가받아 카메라 렌즈를 이동시켜 관제 대상의 3차원 깊이를 조절하여 상면에 관제 대상의 상이 뚜렷하게 사상되도록 자동 아날로그 줌 인 또는 줌 아웃된다.

이동 추적 센서(117)는 관제 대상이 이동하는 경우 관제 대상의 3차원 깊이의 변화를 감지하여 관제 대상의 깊이 변화량 데이터를 출력한다.

임베디드 처리기(118)는 가시 센서(111)로부터 영상 신호를, 적외선 센서(112)로부터 열화상 신호를, 이동 추적 센서(117)로부터 관제 대상의 깊이 변화량 데이터를 인가받아 초점 거리 제어 신호에 응답하여 영상 신호를 데이터 처리하여 근접 고해상도 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력한다.

도 5는 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 피사체로부터 조사되는 광의 방향에 따라 초점(F’)을 통과하는지 여부의 동작 원리를 설명하기 위한 개념도이다.

도 6은 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 특정한 3차원 깊이를 가지는 피사체로부터 광이 평행하게 조사되는 경우의 동작 원리를 설명하기 위한 개념도이다.

도 7은 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 주어진 초점 거리에 대해 적합하지 않은 3차원 깊이를 가지는 피사체로부터 광이 평행하게 조사되는 경우의 동작 원리를 설명하기 위한 개념도이다.

도 8은 도 4에 도시된 영상 녹화부(110) 내 카메라(116)에서 상면에 사상되는 상이 뚜렷하게 투영되도록 카메라 렌즈를 이동시키는 경우의 동작 원리를 설명하기 위한 개념도이다.

도 4에 도시된 피에조 제어부(115)에서 초점 거리 데이터를 이용하여 피사체의 3차원 깊이를 계산하는 원리에 대해 상세히 설명하면 다음과 같다.

도 5에서 보는 바와 같이, 피사체로부터 조사되는 광 중에서 카메라 렌즈의 중심 (C)를 통과하는 광은 직진하고, 광 축에 평행인 모든 광은 초점(F’)을 통과한다.

즉, 도 6에서 보는 바와 같이, 주어진 초점 거리에 대해 특정한 3차원 깊이를 가지는 피사체로부터 평행하게 조사되는 광 만이 초점이 정확하게 잡히고 상면에 뚜렷한 상이 투영된다.

만일, 도 7에서와 같이, 피사체가 주어진 초점 거리에 대해 적합하지 않은 3차원 깊이를 가지고 있다면, 광 만이 피사체에서 평행하게 조사되더라도 상면에 여러 부분으로 사상되어 상이 퍼지거나 흐릿한 상이 투영된다.

따라서, 도 8에서와 같이, 상면에 사상되는 상이 뚜렷하게 투영되게 하려면, 카메라 렌즈를 초점에 맞는 정확한 3차원 깊이로 이동시켜야 하는데, 다음과 같은 수학식 2와 같이 초점 거리, 초점과 상면간 거리, 피사체의 높이 등 광학적 관계를 이용하면 피사체의 정확한 3차원 깊이가 산출된다.

본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치의 상세한 동작 설명은 후술하도록 한다.

도 10은 도 9에 도시된 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 내 단계(S300)의 부분 동작을 설명하기 위한 순서도이다.

도 2 내지 도 10을 참조하여 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 내 단계(S300)의 개략적인 동작을 설명하면 다음과 같다.

상황 인지부(131)가 추출 데이터를 인가받아 차영상을 분석하여 상황 데이터를 출력한다(S310).

대상 특징 분석부(132)가 추출 데이터를 인가받아 특징 기반 기법을 이용하여 관제 대상의 인상 착의에 대한 공간 특징을 추출하여 특징 데이터를 출력한다(S320).

얼굴 인식부(133)가 추출 데이터를 인가받아 주요 성분 분석 기법을 이용하여 차원을 축소시키고, 관제 대상의 벡터 공간을 생성하여 관제 대상의 얼굴을 판별하여 얼굴 데이터를 출력한다(S330).

도 11은 도 10에 도시된 단계(S330)의 부분 동작을 설명하기 위한 순서도이다.

도 1 내지 도 11을 참조하여 본 발명의 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 내 단계(S330)의 개략적인 동작을 설명하면 다음과 같다.

딥 러닝 기법의 학습 단계에서 관제 대상의 얼굴 이미지들을 하나의 집합으로 취합한다(S331).

이때, 취합된 얼굴 이미지들의 고유한 벡터를 찾는다(S332).

관제 대상과 유사한 패턴의 복수개의 고유한 얼굴을 선택하여(S333) 얼굴 영역에 관제 대상의 얼굴 이미지를 투영한다(S334).

딥 러닝 기법의 인식 단계에서 획득한 동일한 얼굴 영역에 새로운 얼굴을 주요 성분 분석 기법에 의해 투영하여(S335) 관제 대상의 얼굴을 판별한다(S336).

도 12는 도 10에 도시된 단계(S330)의 부분 동작을 위한 얼굴 인식부(133)의 처리 과정에 대한 개념도이다.

도 13은 도 3에 도시된 영상 인식 장치 내 얼굴 인식부(133)의 동작 원리를 설명하기 위한 개념도이다.

도 2 내지 도 13을 참조하여 본 발명에 따른 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치의 상세한 동작을 구체적인 실시예를 들어 설명하면 다음과 같다.

먼저, 본 발명에 따른 딥 러닝 기반 CCTV용 영상 인식 시스템이 설치된 관제 구역에 범죄 용의자로 의심되는 사람(이하, 관제 대상)이 진입했다고 가정한다.

영상 녹화부(110)는 내장된 카메라(116)를 이용하여 관제 대상을 촬영 및 녹화하여 관제 대상의 얼굴, 크기, 복장 등의 인상 착의에 대한 형상 정보 및 이동 방향, 이동 속도 등의 이동 정보에 대한 녹화 데이터를 출력한다.

이때, 영상 녹화부(110)에 내장된 카메라(116)는 고정 가시 CCTV 카메라에 열적외선 카메라 및 이동추적 카메라를 일체형으로 구성하여 야간, 안개, 우천 등의 특이 상황에서도 정확한 영상 분석이 가능할 뿐 아니라, 자동 아날로그 줌-인(Zoom In)을 가능하게 하여 원거리에 위치한 관제 대상을 신속한 카메라 자세 제어와 고해상도로 촬영이 가능하다.

영상 녹화부(110)에서의 자동 아날로그 줌-인 동작을 상세하게 설명하면 다음과 같다.

영상 녹화부(110)에서 관제 대상을 촬영하는데 있어서, 관제 대상이 CCTV 카메라로부터 원거리에 위치해 있기 때문에 이동하는 관제 대상의 얼굴, 크기, 복장 등의 인상 착의에 대한 형상이 명확하게 판별이 되지 않는 경우를 가정한다.

가시 센서(111)는 이동하는 관제 대상의 영상을 감지하여 영상 신호를 출력하고, 적외선 센서(112)는 관제 대상으로부터 발생되는 열을 감지하여 열화상 신호를 출력한다.

관제 대상 인식부(113)는 관제 대상의 영상 신호 및 열화상 신호를 인가받아 이동하는 관제 대상이 사람이라고 인식하여 관제 대상의 2차원 위치 데이터를 출력한다.

초점 자동 추정부(114)는 관제 대상 인식부(113)로부터 관제 대상의 2차원 위치 데이터를 인가받아 해당 CCTV 카메라의 초점 거리를 추정하여 초점 거리 데이터를 출력한다.

피에조 제어부(115)는 초점 자동 추정부(114)에서 추정된 해당 CCTV 카메라의 초점 거리 데이터를 인가받아 카메라 렌즈와 관제 대상과의 거리, 즉 관제 대상의 3차원 깊이를 다음의 원리를 이용하여 산출한다.

도 5에서 보는 바와 같이, 피사체인 관제 대상으로부터 조사되는 반사광 중에서 카메라 렌즈의 중심 (C)를 통과하는 반사광은 직진하고, 광 축에 평행인 모든 반사광은 초점(F’)을 통과한다.

즉, 도 6에서 보는 바와 같이, 주어진 초점 거리에 대해 특정한 3차원 깊이를 가지는 피사체로부터 평행하게 조사되는 반사광 만이 초점이 정확하게 잡히고 상면에 뚜렷한 상이 투영된다.

만일, 도 7에서와 같이, 피사체가 주어진 초점 거리에 대해 적합하지 않은 3차원 깊이를 가지고 있다면, 반사광이 피사체에서 평행하게 조사되더라도 상면에 여러 부분으로 사상되어 상이 퍼지거나 도 7에서와 같이, 흐릿한 상이 투영된다.

따라서, 도 8에서와 같이, 상면에 사상되는 상이 뚜렷하게 투영되게 하려면, 카메라 렌즈를 초점에 맞는 정확한 3차원 깊이로 이동시켜야 하는데, 다음과 같은 수학식 2와 같이 초점 거리, 초점과 상면간 거리, 관제 대상의 높이 등 광학적 관계를 이용하면 관제 대상의 정확한 3차원 깊이가 산출된다.

[수학식 2]

피에조 제어부(115)가 상기와 같은 방법으로 관제 대상의 3차원 깊이를 산출한 후에, 해당 CCTV 카메라의 초점 거리를 조절하는 초점 거리 제어 신호를 출력한다.

카메라는 피에조 제어부(115)로부터 초점 거리 제어 신호를 인가받아 해당 CCTV 카메라의 카메라 렌즈를 이동시켜 관제 대상의 3차원 깊이를 조절하여 상면에 관제 대상의 상이 뚜렷하게 사상되도록 자동 아날로그 줌 인 또는 줌 아웃된다.

이동 추적 센서(117)는 관제 대상이 이동하고 있으므로 관제 대상의 3차원 깊이의 변화를 감지하여 관제 대상의 깊이 변화량 데이터를 출력한다.

임베디드 처리기(118)는 가시 센서(111)로부터 영상 신호를, 적외선 센서(112)로부터 열화상 신호를, 이동 추적 센서(117)로부터 관제 대상의 깊이 변화량 데이터를 인가받아 초점 거리 제어 신호에 응답하여 영상 신호를 데이터 처리하여 관제 대상의 근접 고해상도 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력한다.

한편, 배경 추출부(120)는 영상 녹화부(110)로부터 녹화 데이터를 인가받아 촬영된 관제 대상의 형상을 통해 현재 프레임 내에서 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 및 등록하고, 추출 데이터를 출력한다.

상황 인지부(131)는 배경 추출부(120)로부터 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상황 데이터를 출력한다.

즉, 관제 대상의 이동 정보를 통해 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하고, 관제 대상의 형상 정보를 통해 크기, 중심 위치, 색상, 형태 등에 대한 이진 라벨링 객체(Binary Labeling Object: BLOB) 성분을 분석한다.

상황 인지부(131)의 동작에 대한 다양한 실시예에 대해서는 후술하도록 한다.

대상 특징 분석부(132)는 배경 추출부(120)로부터 추출 데이터를 인가받아 특징 기반 기법을 이용하여 관제 대상의 눈, 코, 입 등의 인상 착의에 대한 공간 특징을 추출하여 특징 데이터를 출력하고, 기하학을 이용하여 관제 대상의 외형에 대한 위치 및 공간 특성을 입력한다.

대상 특징 분석부(132)의 동작 원리에 대해서는 후술하도록 한다.

얼굴 인식부(133)는 배경 추출부(120)로부터 추출 데이터를 인가받아 주요 성분 분석 (Principal Component Analysis) 기법을 이용하여 차원을 축소시키고, 관제 대상의 벡터 공간을 생성한다.

즉, 학습 단계에서는 관제 대상인 사람의 얼굴 이미지들을 하나의 집합으로 취합하고, 취합된 얼굴 이미지들의 고유한 벡터를 찾은 후 관제 대상인 사람과 유사한 패턴의 m개의 고유한 얼굴을 선택하여 얼굴 영역에 관제 대상의 얼굴 이미지를 투영한다.

또한, 인식 단계에서는 학습 단계에서 획득한 동일한 얼굴 영역에 새로운 얼굴을 주요 성분 분석 기법에 의해 투영한다.

이때, 차원을 축소시키는 이유는 배경 추출부(120)로부터 인가받은 추출 데이터의 용량이 너무 방대하여 관제 대상의 중요한 특징만 추출하여 처리할 데이터 용량을 최소화시키기 위함이다.

따라서, 얼굴 인식부(133)는 학습 단계를 통해 관제 대상의 얼굴 벡터 공간을 구성하고, 인식 단계를 통해 관제 대상이 사람의 얼굴인지 여부와 누구의 얼굴인지를 판별하여 얼굴 데이터를 출력한다.

얼굴 인식부(133)의 동작 원리에 대해서는 후술하도록 한다.

특징 벡터 산출부(140)는 상황 인지부(131), 대상 특징 분석부(132), 얼굴 인식부(133) 각각으로부터 인지된 관제 대상의 상황 데이터, 분석된 특징 데이터, 인식된 얼굴 데이터를 인가받아, 인공 지능부(160)의 딥러닝(Deep Learning) 동작과 연동되어 빅 데이터베이스(330)에 학습된 모델로부터 관제 대상의 특징 벡터를 산출한다.

즉, 인공 신경망(Artificial neural network)에 형성되어 있는 신경 레이어(Layer)들을 상호 연결하여 빅 데이터베이스(330)에 기 저장된 패턴 중 관제 대상과 유사한 패턴이 인가되면 해당 신경 레이어에 가중치(Weight)를 더하는 등 학습 과정에 의해 심층 신경망이 조정 및 업데이트된다.

본 실시예의 경우, 관제 대상의 인지된 상황 데이터, 분석된 특징 데이터, 인식된 얼굴 데이터는 단순히 이미지의 픽셀 데이터로 처리 및 전송되지 않고, 컴퓨터가 인지할 수 있는 형태인 관제 대상의 이미지 픽셀 정보의 열 벡터로 처리 및 전송되어 학습에 적용된다.

따라서, 특징 벡터 산출부(140)는 인지된 관제 대상의 상황 데이터로부터 이벤트 유무 및 종류에 대한 데이터와, 분석된 관제 대상의 특징 데이터로부터 대상 특징 판정 데이터 및 인식된 관제 대상의 얼굴 데이터로부터 얼굴 여부 판정 및 인식 결과 데이터를 열 벡터로 변환하여 관제 대상의 특징 벡터를 산출한다.

이를 통하여 종래의 복수개의 CCTV 시스템이 관제 센터 서버(300)와 영상 정보를 이미지 데이터로 전송할 때 수반되는 네트워크 트래픽을 획기적으로 감소시킬 수 있게 된다.

이와 같은 과정을 통해 복수개의 CCTV 각각에서 산출된 특징 벡터는 기계 대 기계(Machine To Machine, M2M) 방식에 따라 연동된 다른 CCTV에 광 링크부(200)를 통해 전달되어 CCTV 모듈 간 지능적 연계를 통해 통합 연동된 형태의 추적 및 감시를 하게 된다.

예를 들어, 복수개의 CCTV 중 제1 관제 구역에 설치된 제1 CCTV에서 범죄 용의자로 의심되는 관제 대상을 포착하여 영상 녹화부(110), 배경 추출부(120), 상황 인지부(131), 대상 특징 분석부(132), 얼굴 인식부(133) 및 특징 벡터 산출부(140)가 인공 지능부(160)와 연동하여 최종 산출한 관제 대상의 특징 벡터를 제2 내지 제N 관제 구역에 설치된 제2 내지 제N CCTV에 연속적으로 전달한다.

이를 통하여 복수개의 CCTV 중 해당 고정형 CCTV의 시야에서 관제 대상이 벗어나게 되어도 관제 센터 서버(300)에서 관제 대상을 복수개의 CCTV 각각을 연이어 일일이 추적 확인하여 관제 대상의 이동 궤적을 추적 및 감시할 필요 없이 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 관제 대상의 추적 및 감시가 가능하게 된다.

또한, 복수개의 CCTV 각각에서 분석 및 산출된 관제 대상의 특징 벡터를 인접한 CCTV에 연속적으로 전달하므로, 관제 대상의 특징 벡터를 수신한 CCTV에서 별도로 영상 재해석을 할 필요가 없어진다.

한편, 특징 벡터 산출부(140)는 관제 대상에 대한 강화 학습 및 클라우딩 계산(Clouding Computing)을 수행하여 관제 센터 서버(300)에 위치한 빅 데이터베이스(330)에 저장한다.

이렇게 빅 데이터베이스(330)에 저장된 데이터는 추후 또 다른 인식 단계에서 수많은 데이터 속에서 데이터의 군집화 및 분류를 통해 관제 대상의 형상의 패턴을 발견하여 관제 대상의 정확한 형상의 예측에 활용된다.

상황 인지부(131)의 동작

도 10은 도 9에 도시된 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치 내 단계(S300)의 부분 동작을 설명하기 위한 순서도이다.

상황 인지부(131)는 어떤 혼잡한 상황에서도 위험상 상황을 인지하고 판별할 수 있다.

예를 들어, 백화점, 할인점, 공연장 등 공적 책임이 따르는 장소에서 고객 및 직원의 미끄러짐을 감지하고, 교량, 선박에서의 차량 또는 사람의 추락, 자살 시도 등을 감지할 수 있다.

상황 인지부(131)는 비 혼잡지역에서도 의심스런 상황을 인지하고 판별할 수 있다.

예를 들어, 은행, 박물관 등 관제 구역 내에서 배회하는 사람을 감시하다가 침입, 절도, 방화, 도주 행위 등 수상 행동을 감지할 수 있고, 비 혼잡지역에 방치된 물체를 감지하여 잠재적 폭탄이나 분실물 등을 판별할 수 있다.

상황 인지부(131)는 공공 장소에서 군중 수를 계산하고 과도한 군중일 경우, 과밀 상황을 인지하고 경보할 수 있다.

예를 들어, 백화점, 쇼핑 센터, 공연장 등 일정 공간 안에서의 인원을 계산 하여, 일정 인원 초과시(% 혹은 수량) 경보 발생으로 사전 안전을 확보할 수 있다.

대상 특징 분석부(132)의 동작 원리

대상 특징 분석부(132)는 특징 기반 방법을 이용하여 공간 특징(눈, 코, 입)을 먼저 추출한 후, 공간 특징들의 위치와 공간 특성(기하학과 외형)을 입력한다.

보통 얼굴에 많은 특징들이 있고 대부분의 얼굴 인식 결과의 성능은 얼굴 인식을 위하여 최적의 특징들을 어떻게 선택하는지에 의해서 결정해야 하기 때문에 특징 기반 방법의 대부분은 복잡하다.

하지만, 순전한 기하학적 방법, 동적 연결 구조 방법, 숨겨진 마코브 모델 방법은 전체론적인 매칭 방법보다 더 좋은 성능을 가진다.

먼저, 순전한 기하학적 방법은 실제적인 얼굴 특징(눈, 코, 입)을 사람 얼굴의 관점과 이런 특징들의 기하학적인 설계로 만든다.

즉, 눈, 코, 입의 위치 관계와 눈과 코 거리, 눈과 입 거리를 이용하여 얼굴을 인식한다.

다음으로, 동적 연결 구조 방법은 탄력 있는 묶음의 그래프 매치에 의해 개별적인 얼굴을 나타내기 위하여 그래프 이미지를 사용하여 동적 연결 구조를 만든다.

하나의 얼굴 이미지를 나타내기 위한 이미지 그래프는 에지에 의해 다양하게 연결된 노드들이 기하학적으로 구성된다.

복잡한 가보 파형 계수의 한 집합의 각 노드는 공간 특징들로서 사용되고, 학습되는 이미지들의 집합은 복수개의 이미지에서 일치하는 이미지 그래프 묶음에 의해 나타나진다.

마지막으로, 숨겨진 마코브 모델 방법은 관찰의 결과에서 한 집합에 대하여 통계적인 모델을 제공한다.

숨겨진 마코브 모델의 파라미터들은 얼굴을 위한 통계적 모델의 형태로 설계될 수 있고, 하나 또는 그 이상의 학습 관찰 결과가 주어진다.

숨겨진 마코브 모델의 인식을 사용하기 위하여, 관찰 결과는 알려지지 않은 얼굴로부터 추출된 후, 숨겨진 마코브 모델은 동일하게 각 얼굴이 계산된 것에 의해 생성된다.

숨겨진 마코브 모델 방법은 가장 높은 동일성을 가질 때 알려지지 않은 얼굴의 신원을 확인할 수 있다.

얼굴 인식부(133)의 동작 원리

도 11은 도 10에 도시된 단계(S330)의 부분 동작을 설명하기 위한 순서도이다.

도 12는 도 10에 도시된 단계(S330)의 부분 동작을 위한 얼굴 인식부(133)의 처리 과정에 대한 개념도이다.

도 13은 도 3에 도시된 영상 인식 장치 내 얼굴 인식부(133)의 동작 원리를 설명하기 위한 개념도이다.

도 11 및 도 12에서 보는 바와 같이, 관제 대상의 얼굴을 인식하기 위해 얼굴 인식부(133)는 하나의 이미지를 처리한다.

특징 점의 패턴을 결정하고, 다른 사람들로부터 다른 개별적인 포인트를 만든다.

얼굴의 평균값 기반의 랜덤 한 패턴을 만들어 각각 선택된 것에 대하여 얼굴 이미지와 인식하기 위한 목표 얼굴을 비교한다.

양 얼굴이 매치되지 않으면 목표 얼굴과 일치하는 얼굴을 만들 때까지 새로운 패턴들을 생성한다.

목표 얼굴과 일치하는 얼굴을 검색하여 실제 관제 대상의 얼굴과의 일치를 위하여 빅 데이터베이스(330)를 써치한다.

도 13에서 보는 바와 같이, 얼굴 인식부(133)는 얼굴 벡터 공간 상(on the face vector space)에 위치하는 제1 및 제2 관제 대상(SO1, SO2)을 얼굴로 인식한다.

그리고, 얼굴 벡터 공간의 상부(off the face vector space)에 위치하는 제3 및 제4 관제 대상(SO3, SO4)을 얼굴이 아닌 것으로 인식한다.

본 실시예에서는 얼굴로 인식된 제1 및 제2 관제 대상(SO1, SO2) 중에 제1 관제 대상(SO1)만 학습 단계에서 학습되어 있다고 가정한다.

따라서, 얼굴 인식부(133)는 제1 관제 대상(SO1)을 학습된 얼굴들 중 제1 얼굴(F1)로 인식되고, 제2 관제 대상(SO2)은 학습된 얼굴들 중에서 발견되지 않으므로 빅 데이터베이스(330)에 새 얼굴(F2)로 등록되어 추후 인식 단계에서 활용된다.

이와 같이, 본 발명은 관제 대상의 영상 신호 및 열화상 신호를 통해 관제 대상을 인식하고, 카메라 렌즈와 관제 대상과의 거리에 대한 관제 대상의 3차원 깊이를 계산하여 초점 거리를 조절함으로써, 관제 대상의 위치에 따라 CCTV 카메라를 자동 아날로그 줌 인하며, 딥러닝기술 및 기계 대 기계 방식을 이용하여 자동으로 통합 연동된 형태의 추적 및 감시를 할 수 있는 3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치를 제공한다.

이를 통하여, 본 발명은 관제 대상의 3차원 깊이 정보 초점 조절을 통한 자동 줌 인 기능을 이용하여 원거리 관제 대상에 대한 해상도 및 인지 결과의 신뢰도를 향상시킬 수 있다.

또한, 복수개의 CCTV로부터 획득되는 영상에 딥러닝기술을적용하여 상황 인지, 대상 특징, 얼굴 인식 등에 대해 빅 데이터베이스화가 가능하므로, 다양한 모니터 상황에 대해 자동으로 판단이 가능해 진다.

또한, 입력영상에대한 처리 및 전송할 데이터 용량을 최소화시키며, 관제 센터 서버와 영상 정보를 이미지 데이터로 전송할 때 수반되는 네트워크 트래픽을 획기적으로 감소시킬 수 있게 된다.

또한, 관제 대상이 해당 고정형 CCTV의 시야에서 벗어나게 되어도 관제 대상의 이동 궤적을 추적 및 감시할 필요 없이 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태의 추적 및 감시가 가능하게 된다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

100-1 내지 100-N: 복수개의 CCTV
110 : 영상 녹화부
111 : 가시 센서
112 : 적외선 센서
113 : 관제 대상 인식부
114 : 초점 자동 추정부
115 : 피에조 제어부
116 : 카메라
117 : 이동 추적 센서
118 : 임베디드 처리기
120 : 배경 추출부
130 : 영상 분석부
131 : 상황 인지부
132 : 대상 특징 분석부
133 : 얼굴 인식부
140 : 특징 벡터 산출부
150 : 제어부
160 : 인공 지능부
200 : 광 링크부
300 : 관제 센터 서버
310 : 운영 단말기
320 : 관제 상황판
330 : 빅 데이터베이스

Claims (5)

1. 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부;
   상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부;
   상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및
   상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;
   를 포함하고,
   상기 영상 녹화부는
   상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부;
   상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및
   상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부;
   상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부;
   상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및
   상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;
   를 포함하며,
   상기 영상 분석부는
   상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상기 상황 데이터를 출력하는 상황 인지부;
   를 포함하되,
   상기 상황 인지부는 상기 관제 대상의 이동 정보를 통해 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하고, 상기 관제 대상의 형상 정보를 통해 이진 라벨링 객체 성분을 분석하여 위험상 상황 및 의심스런 상황을 인지 및 판별하며, 공공 장소에서 군중의 과밀 상황을 인지 및 경보하는 것을 특징으로 하는,
   3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치.
   
2. 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부;
   상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부;
   상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및
   상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;
   를 포함하고,
   상기 영상 녹화부는
   상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부;
   상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및
   상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부;
   상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부;
   상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및
   상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;
   를 포함하며,
   복수개의 CCTV 각각에서 산출된 상기 특징 벡터가 기계 대 기계 방식에 따라 연동된 다른 CCTV에 전달되어, 지능적 연계를 통해 상기 관제 대상을 통합 추적 및
   감시하며,
   상기 영상 분석부는
   상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상기 상황 데이터를 출력하는 상황 인지부;
   를 포함하되,
   상기 상황 인지부는 상기 관제 대상의 이동 정보를 통해 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하고, 상기 관제 대상의 형상 정보를 통해 이진 라벨링 객체 성분을 분석하여 위험상 상황 및 의심스런 상황을 인지 및 판별하며, 공공 장소에서 군중의 과밀 상황을 인지 및 경보하는 것을 특징으로 하는,
   3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치.
   
3. 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부;
   상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부;
   상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및
   상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;
   를 포함하고,
   상기 영상 녹화부는
   상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부;
   상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및
   상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부;
   상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부;
   상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및
   상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;
   를 포함하며,
   상기 특징 벡터 산출부가 상기 관제 대상에 대한 강화 학습 및 클라우딩 계산을 수행하여 관제 센터 서버 내 빅 데이터베이스에 저장하며,
   상기 영상 분석부는
   상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상기 상황 데이터를 출력하는 상황 인지부;
   를 포함하되,
   상기 상황 인지부는 상기 관제 대상의 이동 정보를 통해 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하고, 상기 관제 대상의 형상 정보를 통해 이진 라벨링 객체 성분을 분석하여 위험상 상황 및 의심스런 상황을 인지 및 판별하며, 공공 장소에서 군중의 과밀 상황을 인지 및 경보하는 것을 특징으로 하는,
   3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치.
   
4. 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부;
   상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부;
   상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및
   상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;
   를 포함하고,
   상기 영상 녹화부는
   상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부;
   상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및
   상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부;
   상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부;
   상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및
   상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;
   를 포함하며,
   상기 영상 분석부는
   상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상기 상황 데이터를 출력하는 상황 인지부;
   상기 추출 데이터를 인가받아 특징 기반 기법을 이용하여 상기 관제 대상의 인상 착의에 대한 상기 공간 특징을 추출하여 상기 특징 데이터를 출력하는 대상 특징 분석부; 및
   상기 추출 데이터를 인가받아 주요 성분 분석 기법을 이용하여 차원을 축소시키고, 상기 관제 대상의 상기 벡터 공간을 생성하여 상기 관제 대상의 얼굴을 판별하여 상기 얼굴 데이터를 출력하는 얼굴 인식부;
   를 포함하며,
   상기 상황 인지부는 상기 관제 대상의 이동 정보를 통해 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하고, 상기 관제 대상의 형상 정보를 통해 이진 라벨링 객체 성분을 분석하여 위험상 상황 및 의심스런 상황을 인지 및 판별하며, 공공 장소에서 군중의 과밀 상황을 인지 및 경보하는 것을 특징으로 하는,
   3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치.
   
5. 관제 대상을 촬영 및 녹화하여 형상 정보 및 이동 정보에 대한 녹화 데이터를 출력하는 영상 녹화부;
   상기 녹화 데이터를 인가받아 상기 관제 대상의 이미지를 배경 이미지로부터 분리하여 추출 데이터를 출력하는 배경 추출부;
   상기 추출 데이터를 인가받아 상기 관제 대상의 공간 특징을 추출하고, 벡터 공간을 생성하여 상황 데이터, 특징 데이터 및 얼굴 데이터를 출력하는 영상 분석부; 및
   상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터를 인가받아 딥러닝 기법을 이용하여 학습된 모델로부터 상기 관제 대상의 특징 벡터를 산출하는 특징 벡터 산출부;
   를 포함하고,
   상기 영상 녹화부는
   상기 촬영되는 영상, 상기 관제 대상으로부터 발생되는 열 및 카메라 렌즈와 상기 관제 대상과의 거리를 감지하여 각각 영상 신호, 열화상 신호 및 상기 관제 대상의 깊이 변화량 데이터를 출력하는 센서부;
   상기 영상 신호 및 상기 열화상 신호를 인가받아 상기 관제 대상을 인식하여 상기 관제 대상의 위치 데이터를 출력하는 객체 인식부; 및
   상기 관제 대상의 위치 데이터를 인가받아 초점 거리를 추정하여 초점 거리 데이터를 출력하는 초점 자동 추정부;
   상기 추정된 초점 거리 데이터를 인가받아 상기 관제 대상의 3차원 깊이를 계산하여 상기 초점 거리를 조절하는 초점 거리 제어 신호를 출력하는 피에조 제어부;
   상기 초점 거리 제어 신호를 인가받아 상기 카메라 렌즈를 이동시켜 상기 관제 대상의 3차원 깊이를 조절하여 자동 아날로그 줌 인 또는 줌 아웃하는 카메라; 및
   상기 영상 신호, 상기 열화상 신호, 상기 관제 대상의 깊이 변화량 데이터를 인가받아 상기 초점 거리 제어 신호에 응답하여 데이터 처리하여 상기 녹화 데이터를 출력하는 임베디드 처리기;
   를 포함하며,
   상기 영상 분석부는
   상기 추출 데이터를 인가받아 현재 프레임과 차기 프레임의 차영상을 분석하여 상기 상황 데이터를 출력하는 상황 인지부;
   를 포함하되,
   상기 상황 인지부는 상기 관제 대상의 이동 정보를 통해 이동 방향 및 이동 속도에 대한 이동 벡터를 분석하고, 상기 관제 대상의 형상 정보를 통해 이진 라벨링 객체 성분을 분석하여 위험상 상황 및 의심스런 상황을 인지 및 판별하며, 공공 장소에서 군중의 과밀 상황을 인지 및 경보하고,
   상기 상황 데이터, 상기 특징 데이터 및 상기 얼굴 데이터는 상기 관제 대상의 이미지 픽셀 정보의 열 벡터로 처리 및 전송되는 것을 특징으로 하는,
   3차원 깊이 정보 초점 조절을 이용한 통합 관제 장치.
   

Images