KR101570339B1 - 영상분석 서버를 통한 미래 발생범죄 예측 시스템 - Google Patents

Abstract

마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 영상분석 서버를 통한 미래 발생범죄 예측 시스템에 있어서,
상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 원본 영상데이터에서 화소변화가 발생하는 영역을 사각형 객체로 체인코딩하여 디지털 줌 확대한 사각형 객체영상을 객체인식모듈로 전송하며;
상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송하며;
상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하며;
상기 객체인식모듈은 상기 사각형 객체영상에서 객체분류한 객체분류 영상 및 객체영상의 행동패턴을 추출한 행동패턴 영상을 주제어부로 전송하며;
주제어부는 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 사각형 객체영상을 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

Description

영상분석 서버를 통한 미래 발생범죄 예측 시스템 { The predicting system for anti-crime through analyzing server of images }

국내외 인식 기술은 주로 신경망과 패턴의 특징을 정확히 판단할 수 있는 특징점 추출을 주로 사용하고 있다.

기존 신경망은 구조적인 문제로 인하여 데이터베이스 수집 속도나 학습 속도가 많이 소요된다.

그러나, 기존의 연구에서는 이러한 구조적인 문제를 해결하기보다는 동일한 구조를 사용하면서 인식률을 향상시키기 위해 새로운 특징점 도입이나, 새로운 변화에 의한 것과 신경망에 사용되는 인자를 최적화하는 방법들이 주로 연구되고 있다.

인식률의 향상과 학습 속도를 개선하기 위해서는 기존 신경망의 구조적인 문제를 해결하는 방향으로 연구되어야 바람직할 것이다.

객체 추적, 안면인식, 차량번호인식 등 지능형 감시시스템을 위해서는 최소한 광역을 감시하는 고정형 카메라와 이벤트 영역을 PTZ(Pan Tilt Zoom) 촬영하는 PTZ카메라로 구성된 최소 2대 이상의 카메라가 필요하였다.

그러나, 이벤트 영역을 탐지하기 위한 방법으로 사용되는 고성능 다중센서(음향센서를 통한 비명소리 감지 등) 또는 영상분석(행태인식 등)에 의해 검출되는 이벤트 영역이 중복 발생할 경우 PTZ 동시 촬영이 불가능한 등의 상황에 대한 문제점이 있어왔다.

또한, 연구에 의하면 사람은 22분간 연속해서 CCTV의 영상을 모니터하면 위험상황을 인지할 확률이 5%미만으로 떨어진다는 보고가 있다.

본 발명은 영화 '마이너리티 리포트'와 같은 미래범죄를 예측하고 모니터 이벤트 기능을 제공하는 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 예측 시스템이다.

우범지대, 어린이보호구역에 설치되는 방범용 감시카메라로 광역을 촬영하는 고정형 카메라와 고해상도(1~2.3Mega Pixels) PTZ카메라(또는 열화상카메라)를 조합하여 사용하지 않고, 본 발명에서는 초고해상도(최소 5Mega Pixels이상으로 10Mega Pixel 이상을 권장) 고정형 카메라를 사용하는 것을 특징으로 한다.

즉, 촬상부에서 획득하는 영상이 기존의 촬영 영상과 다른 방법과 해상도를 요구하며, 상기와 같은 특징에 따른 요구 사항과 영상 해석기법은 종래에 존재하지 않는 신기술(신규성)을 필요로 한다.

모니터 요원에게 이벤트 영상을 실시간으로 추출 및 전달하여 모니터링의 효율성을 높이는 방법에 있어 기존에는 물리적으로 센서 반응 또는 소프트웨어적인 방법으로 영상 객체의 패턴 특징점 추출을 주로 사용하였으나, 본 발명에서는 물리적인 센서의 도입은 추가 가능한 공지 기술일 뿐이며 신경망의 구조적인 문제를 해결하기 위한 것으로 특수 기능을 구현하기 위해 고정형 카메라와 PTZ카메라를 조합 연동 운영하는 다수의 특수카메라를 적용하지 않고 최소 5메가픽셀 이상의 초고해상도 고정형 카메라에서 촬영된 영상에 대해 영상분할 가변인식 기술에 의해 소프트웨어적인 방법으로 객체 행동패턴의 이벤트 영상을 추출하며, 상기 이벤트 영상에 대해 해마 신경망 학습을 이용한 미래 발생 범죄확률을 예측 표시하여 모니터 요원에게 우선 순위 이벤트 영상을 제공한다.

초고해상도 고정형 카메라 촬영영상에서 이벤트 영상을 영상분할 가변인식 기술에 의해 소프트웨어적인 방법으로 객체 행동패턴의 이벤트 영상을 추출하며, 상기 이벤트 영상에 대해 해마 신경망 학습을 이용한 미래 발생범죄 확률 우선순위 이벤트 영상을 예측 표시하여 모니터 요원에게 제공한다.

특수 기능을 구현하기 위한 다수의 특수카메라를 적용하지 않고 최소 5메가픽셀 이상의 초고해상도 고정형 카메라에서 촬영된 영상에 대해 영상분할 가변인식 기술에 의해 소프트웨어적인 방법으로 객체 행동패턴의 이벤트 영상을 추출하며, 상기 이벤트 영상에 대해 해마 신경망 학습을 이용한 미래 발생 범죄확률을 예측 표시하여 모니터 요원에게 미래 범죄발생 확률 우선 순위 이벤트 객체 영상을 제공하여 종래의 선행기술과 다른 차원의 미래 예측 지능형 방범시스템을 구축한다.

도1 ~ 도4는 본 발명의 이해를 위한 일 실시 예 간략도

광역을 촬영하는 고정형 카메라와 팬틸트 줌인 확대 촬영하는 PTZ카메라를 조합 연동 운영하는 종래의 카메라 기술을 사용하지 않고 초고해상도(최소 5메가픽셀 이상으로 10메가픽셀 이상의 메가픽셀디지탈카메라 권장) 카메라를 사용해 촬영된 영상을 상기와 같은 PTZ 기계적인 동작이 아닌 소프트웨어적인 방법에 의해 PTZ 기능을 구현한 후 인간의 인지학적인 두뇌 원리인 대뇌피질과 해마 신경망을 공학적으로 모델링하여 내용기반 특징 벡터들을 고속 학습하고 최적의 특징을 구성하도록 해마 신경망 알고리즘을 적용하여 미래 범죄 발생 확률을 계산하여 모니터 요원에게 우선적으로 제공하는 것을 특징으로 한다.

일 실시 예로, 촬영된 화면을 분할하여 소프트웨어적으로 확대하여 번호인식 및 객체인식프로그램으로 스캔한 후 수배차량의 차량이 검색될 경우 범죄 확률 우선순위 특징값(가중치 값)을 100% 주어 최우선적으로 모니터 팝업 유지하고, 객체가 사람일 경우 50%의 우선순위 특징값을 부여한 후 칼, 방망이, 송곳 등의 객체가 추가로 검색시 가중치 값은 80%이며 객체의 이동 속도 또는 신체 일부의 움직임이 빨라지면 가중치 값을 100%로 상향하여 가중치 값에 따라 모니터 팝업 우선 순위를 결정하며 모니터 요원의 '통과' '주시' '신고' 등의 행동에 따라 추가적으로 특징 벡터들을 고속 학습하고 최적의 특징을 구성하도록 해마 신경망 알고리즘을 적용하여 미래 범죄 발생 확률을 계산하여 영상분석 서버를 통한 미래 발생범죄 예측 시스템를 학습시킨다.

고해상도 영상복원(super resolution) 기법은 고해상도 영상과 저해상도 영상 간에 신호처리기법(warping, burring, down sampling)을 이용하여 저해상도 영상을 고해상도 영상으로 변환하는 것이다. 워핑(warping)은 영상 내의 일부 영역을 지정하여 정의된 영역에 맞는 형태로 변형하는 것으로 보간법(bilinear 또는 nearest neighbor)을 사용한다.

본 발명에서는 보다 넓은 단속영역을 확보하기 위해 고해상도 카메라 렌즈의 초점거리를 짧게 해서 초광역 전방위 영상을 취득하거나, 복수의 카메라를 통해 초광역 또는 파노라마 영상을 얻는다.

일 실시 예로, 광각 60도의 카메라를 3대 또는 6대로 촬영하여 180도 또는 360도 촬영 영상을 획득할 수 있다.

초광역 영상에서 차량, 사람, 번호판과 같은 이벤트 객체를 워핑(warping)할 때 객체 크기가 작으면 고해상도 영상복원(super resolution) 기법으로 확대하고, 차량크기가 크면 고해상도 영상복원 기법으로 축소해서 처리한다.

종래의 기술은 보통 2개 이상의 감시카메라로 구성되어, 광역의 영역을 촬영하는 전방위감시카메라를 통해서 영상에 화소 변화가 발생하는 X-Y축 좌표로 추적감시카메라를 팬 틸트 렌즈 줌인 확대 촬영하면서 팬 틸트와 렌즈 줌인을 수치화 하여 Z축 좌표를 연산하여 3차원 영상으로 수치화하여 데이터 값을 연산한다.

특히 불법주정차 단속을 위해서는 상기 감시카메라의 초점거리, 팬각도, 틸트각도(팬각도, 틸트각도, 초점거리)를 계산하고 이를 이용하여 영상 픽셀좌표로 3차원의 단속현장에 실제 공간의 위치와 거리 등을 산출해야 영역(ZONE)의 형성과 오차를 줄일 수 있다.

이상과 같은 종래의 기술은 기계적인 팬 틸트 렌즈 줌인 등의 기계적인 방법으로 처리를 하기 때문에 오차의 발생, 기계적인 결함 및 고장으로 정확성이 떨어지며, 이벤트 검지해야할 객체(사람, 차량)가 복수일 경우 동시에 처리할 수 있는 객체의 개수에 한계가 있어왔다.

또한 촬영된 영상에 대해서는 영상 전처리 기법으로는 평활화(smmothing), 히스토그램 등화(histogram equaliztion), 팽창 또는 수축 모폴로지(morphology) 기법을 사용하며, 야간영상에 대하여는 저역통과 필터링, 가우시안 필터링, 중간값 필터링 등의 전처리(pre-processing)를 수행하며, 주간영상에 대해서는 입력영상을 전처리 없이 히스토그램 알고리즘, 에지(edge) 알고리즘, 레이블링(labeling) 알고리즘 등에 따라 처리하며, 히스토그램 알고리즘에서는 빈번히 발생하는 최저 비트값을 할당하고 빈도수의 크기가 적어짐에 따라 좀더 큰 비트값을 할당하여 영상값을 분석한다.

에지 알고리즘은 영상에서 색이나 농도가 급격히 변화되는 부분을 에지로 인식하는 방법이다.

레이블링 알고리즘은 위에 분석된 결과를 바탕으로 최종적으로 객체(사람, 차량)이라고 예상되는 영역을 추출하며 이와 같은 과정을 통하여 이벤트 검지영역 내의 사람, 차량 등의 개수, 크기, 색상, 좌표값 등을 알 수 있다.

이상을 통해 이벤트 객체의 추출 및 분류 등을 하며, 특히 야간의 경우 적외선투시필터 "IR X-RAY VISION CCTV FILTERS" (URL http://www.kaya-optics.com/)를 활용하여 야간, 먼지, 안개 등의 열악한 외부환경에 대응하며, 추가로 열화상감시카메라를 적용하여 침입자 감시용 등 다양한 응용기술을 구현한다.

원영상과 전처리된 영상을 입력받아 영상 이진화 작업을 하며, 영상 이진화를 위해서는 영상평균, 분산값으로 가우시안 분포를 산출하여 임계치를 정한 후 복수의 이진화된 영상에 대해 4방향(상하좌우) 연결 체인코딩(chain coding) 기법에 의해서 지역경계(region boundary) 작업을 수행하여 지역경계 작업에 의해 사각형 객체(object rectangle)값이 생성된다.

사각형 객체값이 생성되면 객체 분류(사람, 얼굴, 차량번호판(차량번호판 규격에 따른 제한조건 즉, 숫자 높이비율, 간격거리 등에 의한 매칭작업) 등을 한다.

객체 이미지 보정 작업 후 구분된 각 객체 데이터에 대해 인식엔진에 의해 객체에 대한 세부 인식으로 얼굴인식, 키, 옷 색깔, 차량 번호판 데이터를 인식하며 인식엔진은 해마신경망 학습기법을 사용한다.

더욱 상세하게는 상기 에지 알고리즘과 레이블링 알고리즘에 있어서 MPEG-7 표준화 시각 기술자 중 컬러 질감을 이용하여 내용 기반 특징을 추출하고, PCA 기법을 적용하여 특징 데이터를 축소한 후 인간의 인지학적인 두뇌 원리인 대뇌피질과 해마 신경망을 공학적으로 모델링하여 내용기반 특징 벡터들을 고속 학습하고 최적의 특징을 구성하도록 해마 신경망 알고리즘을 적용하여 객체 분류(사람, 얼굴, 차량번호판(차량번호판 규격에 따른 제한조건 즉, 숫자 높이비율, 간격거리 등에 의한 매칭작업) 및 객체 이미지 보정 작업 후 구분된 각 객체 데이터에 대해 인식엔진에 의해 객체에 대한 세부 인식으로 얼굴인식, 키, 옷 색깔, 차량 번호판 데이터를 해마신경망 학습 인식엔진을 사용하여 범죄 미래 발생 범죄확률을 예측 표시하여 모니터 요원에게 미래 범죄발생 확률 우선 순위로 이벤트 객체 영상을 제공한다.

일 실시 예로, 초고해상도 감시카메라부터 획득된 영상으로부터 행동패턴을 추출하고, 추출된 행동패턴 영상을 기저장된 행동패턴 영상과 비교하여 상기 감시 영역의 위험 상황을 자동으로 판단하며, 각각의 상황별로 우선순위 가중치 값을 부여한다.

여기서, 행동패턴(motion pattern)은 획득된 영상 내의 사람이나 동물의 동작 뿐만 아니라, 획득된 영상 내의 위험도구 또는 위험 인상착의 등의 사물을 포함하며, 고정된 영상에 추가되는 부가 영상일 수 있다. 또한, 획득된 영상으로부터 일정 패턴을 추출하여 상기 행동패턴 DB에 신규로 등록하며, 위험도구, 위험 인상착의를 포함하는 사물 데이터는 단일 프레임을 캡처하고, 사람의 행동패턴 추출은 복수의 프레임을 캡처할 수 있다.

즉, 사물 데이터는 단일 프레임의 캡처 영상으로 확인할 수 있고, 사람의 행동패턴은 복수의 프레임을 추출함으로써 정확한 동작을 확인할 수 있다.

본 발명의 실시 예에 따른 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위를 이용한 영상감시 시스템은 위험 상황 발생 시, 위험 상황이 발생된 CCTV의 화면을 모니터에 팝업하고 팝업된 영상을 감시자가 모니터링한 후 '통과' '주시' '신고'를 결정하게 된다.

따라서 본 발명에 따른 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 CCTV 영상분석 서버 및 영상처리 방법에 따라 감시자가 다수의 CCTV를 전체적으로 모니터링할 수 없는 한계를 극복할 수 있으며, 범죄 및 이와 유사한 위급상황 발생을 예측하여 능동적으로 대처를 할 수 있어, 범죄예방의 기능 및 범죄의 조기 진압이 가능하게 된다.

행동패턴 데이터베이스의 데이터 유형별 항목은 비정상적 행동패턴, 위험도구, 위험 인상착의, 가려진 얼굴 등으로 이루어진 데이터 유형들로 구분될 수 있고 상기 각각의 데이터 유형은 우선순위를 갖는 적어도 하나 이상의 데이터 항목들로 구분된다.

세부적인 일 예로, 모자를 쓴 사람, 칼, 목조르는 객체행동이 포함된 경우, 엘리베이터 내에 여성이 존재한 상태에서 모자를 쓴 남성이 탑승을 하였을 경우, 모자를 쓴 사람이 영상에 잡혔을 경우 우선순위 특징값(가중치값)을 부여하여 모니터에 우선 순위별로 팝업되며 모니터 요원은 상황을 판단하고 위험상황이 아님을 인지한 경우, "통과" 버튼/스위치를 누르면, CCTV 감시카메라는 원상태로 전환된다.

그러나, 위험 상황이라고 판단될 경우, "주시" 하고 신고를 필요로 할 경우 "신고" 버튼으로 해당 기관에 즉각적으로 통보하도록 선택사항을 입력한다.

일 실시 예로,

5메가픽셀 이상의 디지탈감시카메라, 통합방범센터 내부의 센터제어서버 및 전체 운영제어 O/S를 탑재한 마이크로프로세서로 구성된 주제어부, 영상분석 API(Application Programming Interface), 해마신경망 메모리를 포함하는 객체인식모듈, 송수신부로 구성된 영상분석 서버를 통한 미래 발생범죄 예측 시스템에 있어서, 디지탈감시카메라는 최소 5메가픽셀 이상으로 10메가 픽셀 이상을 권장한다. 영상분석 서버를 통한 미래 발생범죄 예측 시스템는 상기 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 장기저장 메모리에 원본 영상데이터를 저장 및 해마신경망 메모리에 전송한다.

현재 전용선의 대역폭은 10Mbps, 100Mbps을 수용할 수 있으나, 100Mbps의 경우 통신 비용이 과다하게 발생하게 되어 장기저장 메모리에 원본 영상데이터를 저장하고 필요할 경우 통합방범센터 센터제어서버에서 다운로드 받거나 현장에서 다운로드 받을 수 있게 한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 해마신경망 메모리에 수신된 원본 영상데이터를 저화질 저용량으로 암호화 압축(H.246, MPEG 등)한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.

영상분석 서버 내부의 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상의 분할영상으로 분할하여 X-Y좌표 값과 현재 촬영 시점의 시간 데이터를 매칭시켜 저장한다.

상기 영상분석 서버를 통한 미래 발생범죄 예측 시스템는 저장된 분할영상을 디지털 줌 확대한다.

도 1을 참고하면, 원본 영상데이터를 X축으로 10분할, Y측으로 10분할 한 후 원거리의 분할 영상은 확대비율을 크게하고 근거리의 분할영상은 확대 비율을 작게할 수 있다.

또한, 도3 도4와 같이 원거리는 분할화면을 작게하여 크게 확대하고, 근거리는 분할화면을 크게하고 확대를 작게할 수 있다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 저장된 분할영상을 디지털 줌 확대한 후 행동패턴을 추출하고 인지학적인 두뇌 원리인 대뇌 피질과 해마 신경망을 공학적으로 모델링하여 내용 기반 특징 벡터를 고속 학습하고 해마 신경망 알고리즘을 적용하며 장기저장 메모리에 저장되어 있는 위험 행동과 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 상기 영상분할단계의 분할영상 중 불법주정차 단속영역, 갓길차로영역, 과속단속영역, 신호위반단속영역 중 어느 하나 이상의 이벤트 구역을 설정한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 각 각의 디지털 줌 확대된 분할영상을 번호인식 프로그램에 의해 번호인식 스캔 및 객체인식 프로그램에 의해 객체인식 후 인식된 객체에 대해 세부적으로 분류한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 객체인식단계에서 번호인식 스캔 후 차량번호판의 차량번호를 인식할 경우 수배차량 차량번호와 비교하여 수배차량일 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 수배차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 수배차량이벤트전송단계에서 불법주정차 단속영역에서 불법주정차 단속시간 이상 인식될 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 불법주정차이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 불법주정차이벤트전송단계에서 차량객체가 불법주정차 단속영역 내에서 차량번호판 번호인식이 되어 차량객체는 지속적으로 인식되나 차량번호판 번호인식이 안 될 경우 가려진 차량번호판으로 판단하고 차량객체에 대해 해마 신경망(해마신경망 메모리)에 저장하고 불법주정차 단속시간 이상 이벤트 추적한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 추적단계의 이벤트 차량객체와 가려진 차량번호판이 불법주정차 단속시간 이상 지속적으로 불법주정차 단속영역에서 검출되면 특징값의 선호도 가중치(차간거리를 좁혀 가려진 번호판, 방해물로 고의로 가려진 번호판, 사선주차로 인해 번호인식이 되지 않는 번호판)에 따라 장기 기억 또는 단기 기억으로 저장하고 인지학적인 두뇌 원리인 대뇌 피질과 해마 신경망을 공학적으로 모델링하여 내용 기반 특징 벡터를 고속 학습하고 해마 신경망 알고리즘을 적용하여 고의적으로 가려진 차량객체의 차량번호판으로 판단 후 차량객체의 가려진 차량번호판으로 판단 직전 번호인식된 영상부터 현재 영상 또는 가려진 번호판이 다시 번호인식될 경우 다시 인식된 시점의 영상과 차량번호판 정보를 암호화 압축한 가려진불법주차차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 이벤트분할영상설정단계에서 이벤트구역의 분할 영상에서 갓길차로영역에 차량번호판이 인식될 경우 차량 영상과 차량번호판정보를 암호화 압축한 갓길차로위반차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 과속단속영역에 설치된 루프코일 또는 과속단속영역을 초점으로 하는 레이져검지기에 의해 검지된 객체가 차량이고 그 속도가 과속단속 대상 이상일 경우 차량의 영상과 차량번호판 및 측정 속도정보를 암호화 압축한 과속단속차량이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.

영상분석 서버를 통한 미래 발생범죄 예측 시스템는 과속단속영역에 설치된 루프코일 또는 과속단속영역을 초점으로 하는 레이져검지기에 의해 검지된 객체가 차량이고 신호위반 단속 대상일 경우 차량의 영상과 차량번호판 정보를 암호화 압축한 신호위반차량압축파일을 통합방범센터 센터제어서버로 전송한다.

통합방범센터의 센터제어서버는 영상분석 서버를 통한 미래 발생범죄 예측 시스템로부터 네트워크망을 통해 수신한 어느 하나 이상의 수신된 위험이벤트압축파일, 저용량영상압축파일, 수배차량이벤트압축파일, 불법주정차이벤트압축파일, 가려진불법주차차량이벤트압축파일, 갓길차로위반차량이벤트압축파일, 과속단속차량이벤트압축파일, 신호위반차량압축파일 중 어느 하나 이상에 있어서, 센터제어서버는 불법주정차이벤트압축파일, 가려진불법주차차량이벤트압축파일, 갓길차로위반차량이벤트압축파일, 과속단속차량이벤트압축파일을 수신할 경우 단속서버로 전송하여 과태료발행서버에서 과태료를 발행한다.

센터제어서버는 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 위험행동 우선순위 특징값 및 수배차량이벤트압축파일에 부여된 우선순위 특징값을 비교하여 우선순위에 따라 우선적으로 팝업하여 디스플레이하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

일 실시 예로,

장기저장 메모리를 포함하며 전체 운영제어 O/S를 탑재한 마이크로프로세서로 구성된 주제어부, 영상분석 API(Application Programming Interface), 해마신경망 메모리를 포함하는 객체인식모듈, 송수신부로 기본 구성된 영상분석 서버를 통한 미래 발생범죄 예측 시스템 관련이다.(입출력장치(마우스. 키보드, USB 포트, 모니터 등) 등과 같은 기본적인 구성에 대한 설명은 본 발명의 명확한 이해를 위해 생략한다.)

영상분석 API는 5메가픽셀 이상의 초고해상도 디지탈감시카메라 촬영된 원본 영상데이터를 전송받아 주제어부 장기저장 메모리에 원본 영상데이터를 저장 및 객체인식모듈 해마신경망 메모리로 전송한다.

영상분석 API는 원본 영상데이터에서 화소 변화 경계를 에지 알고리즘에서 색이나 농도가 급격히 변화되는 부분을 에지로 인식한 후 레이블링 알고리즘으로 객체 영역을 추출하여 체인코딩(chain coding) 기법에 의해서 지역경계(region boundary) 작업을 수행하여 지역경계 작업에 의해 사각형 객체(object rectangle)를 형성하면 고해상도 영상복원(super resolution) 기법으로 객체의 크기에 따라 확대/축소(객체크기가 크면 축소, 작으면 확대)하여 상기 사각형 객체영상을 객체인식모듈로 전송한다.

송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 측정값을 주제어부로 전송한다.

주제어부는 해마신경망 메모리에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.

일 예로, 5M(Mega Pixels) 디지탈감시카메라에서 촬영된 해마신경망 메모리에 수신된 5M(Mega Pixels) 원본 영상데이터를 상기 송수신부에서 측정된 트래픽이 3Mbps(Mega bits per second)일 경우 관리자의 지정 값(일 예로 측정 트래픽의 50%) 이하의 저화질 저용량인 화소수를 1.5M(Mega Pixels) 또는 전송프레임 수를 1/3로 축소한 저화질로 포맷 변경하여 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.

객체인식모듈은 상기 사각형 객체영상에서 객체 분류 후 해마신경망 학습 인식엔진에 의해 객체에 대한 세부 인식으로 얼굴인식, 키, 옷 색깔, 차량 번호판, 흉기를 인식하여 분류한 객체분류 영상을 주제어부로 전송한다.

상기 객체인식모듈은 객체영상의 행동패턴을 추출하고 인지학적인 두뇌 원리인 대뇌 피질과 해마 신경망을 공학적으로 모델링하여 내용 기반 특징 벡터를 고속 학습하고 해마신경망 학습 인식엔진에 의해 행동패턴 영상을 주제어부로 전송한다.

주제어부는 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 사각형 객체영상을 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송한다.

일 예로, 상기 사각형 객체영상 안에 객체분류하여 사람이 인식될 경우 위험행동 우선순위 특징값 50%적용 후 얼굴이 모자, 마스크 등에 가려져 얼굴 인식이 되지 않을 경우 10% 추가한 60% 적용 후, 흉기(칼)이 객체 인식될 경우 10% 추가한 70% 적용 후, 객체영상의 행동패턴을 추출 한 결과 사람 객체가 빠르게 이동(뛰어감)할 경우 10% 추가한 80%적용 또는 사람 객체 2명이 근접 인식된 후 신체의 일부가 빠르게 이동할 경우 10% 추가한 80%를 적용하며, 상대 객체 사람이 쓰러질 경우 20%를 추가하여 100%의 위험행동 우선순위 특징값을 부여한다.

상기와 같이 50% ~ 100%의 위험행동 우선순위 특징값에 따라 우선순위로 모니터에 팝업되어 미래범죄 발생확률 우선순위 이벤트 팝업이 되어 범죄 확률이 높은 영상 위주로 모니터링을 집중화시켜 범죄 발생 예측·예방을 한다.

일 예로, 촬영된 화면을 분할하여 소프트웨어적으로 확대하여 번호인식 및 객체인식프로그램으로 스캔한 후 수배차량의 차량이 검색될 경우 범죄 확률 우선순위 특징값(가중치 값)을 100% 주어 최우선적으로 모니터 팝업 유지하고, 객체가 사람일 경우 50%의 우선순위 특징값을 부여한 후 칼, 방망이, 송곳 등의 객체가 추가로 검색시 가중치 값은 80%이며 객체의 이동 속도 또는 신체 일부의 움직임이 빨라지면 가중치 값을 100%로 상향하여 가중치 값에 따라 모니터 팝업 우선 순위를 결정하며 모니터 요원의 '통과' '주시' '신고' 등의 행동에 따라 추가적으로 특징 벡터들을 고속 학습하고 최적의 특징을 구성하도록 해마 신경망 알고리즘을 적용하여 미래 범죄 발생 확률을 계산하여 영상분석 서버를 통한 미래 발생범죄 예측 시스템를 학습시킨다.

주제어부는 차량 번호판 객체분류 영상을 번호인식 프로그램을 통해 번호인식 후 수배차량 차량번호와 비교하여 수배차량일 경우 수배차량 우선순위 특징값을 부여하여 차량객체 영상과 차량번호판 정보를 암호화 압축한 수배차량이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

일 실시 예로,

마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 영상분석 서버를 통한 미래 발생범죄 예측 시스템 관련이다.

상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 주제어부 장기저장 메모리에 원본 영상데이터를 저장 및 원본 영상데이터에서 화소변화가 발생하는 영역을 사각형 객체로 체인코딩하여 디지털 줌 확대한 사각형 객체영상을 객체인식모듈로 전송한다.

상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송한다.

상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송한다.

상기 객체인식모듈은 상기 사각형 객체영상에서 객체분류한 객체분류 영상 및 객체영상의 행동패턴을 추출한 행동패턴 영상을 주제어부로 전송한다.

주제어부는 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 사각형 객체영상을 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

일 실시 예로,

마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 영상분석 서버를 통한 미래 발생범죄 예측 시스템에 있어서, 상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 주제어부 장기저장 메모리에 원본 영상데이터를 저장 및 객체인식모듈 해마신경망 메모리에 저장하며; 상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송하며; 상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하며; 상기 객체인식모듈은 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상으로 분할하여 X-Y좌표 값과 현재 촬영 시점의 시간 데이터를 매칭시켜 디지털 줌 확대하여 분할영상을 저장하며; 상기 객체인식모듈은 각 각의 디지털 줌 확대된 분할영상 및 분할영상에 대해 객체인식 프로그램에 의해 객체인식 후 인식된 객체를 분류한 객체분류 영상을 주제어부로 전송하며; 상기 주제어부는 상기 객체분류 영상 및 상기 분할영상의 행동패턴을 분류한 행동패턴 영상에 대하여 장기저장 메모리에 저장되어 있는 위험객체 및 행동패턴과 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

상기에 있어서,

객체인식모듈에서 인식된 객체분류 영상과 주제어부의 장기저장 메모리에 저장된 위험객체를 비교하여 사람, 모자쓴 얼굴, 가려진 얼굴, 수배자, 수배차량, 흉기에 따라 위험행동 우선순위 특징값을 부여하며; 주제어부는 분할영상의 행동패턴을 분류한 행동패턴 영상에 대하여 장기저장 메모리에 저장되어 있는 신체일부의 움직임이 빨라지는 행동패턴, 사람 객체가 뛰어가는 행동패턴, 다른 사람에게 위해를 가하는 행동패턴과 비교하여 위험행동 우선순위 특징값을 부여하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

상기에 있어서,

주제어부는 객체분류 영상에서 차량의 번호판이 인식될 경우 번호인식프로그램에의해 차량번호판을 텍스트화하여 수배차량의 차량번호 텍스트와 비교하여 일치할 경우 우선순위 특징값을 부여하여 객체분류 영상을 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

상기에 있어서,

주제어부는 객체분류 영상에서 불법주정차단속 영역에서 차량의 번호판이 인식될 경우 불법주정차 단속시간이상 주정차할 경우 번호인식프로그램에 의해 차량번호판을 텍스트화한 데이터와 객체분류 영상을 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

상기에 있어서,

주제어부는 불법주정차 단속영역에서 불법주정차 차량객체가 단속시간 이상 인식될 경우 차량객체 영상과 차량번호판 정보를 암호화 압축한 불법주정차이벤트압축파일을 통합방범센터 센터제어서버로 전송하며; 주제어부는 차량객체가 불법주정차 단속영역 내에서 최초 차량번호판 번호인식이 되었으나, 그 후 차량객체는 인식되나 차량번호판 번호인식이 안 될 경우 가려진 차량번호판으로 판단하고 차량객체에 대해 해마신경망 메모리에 저장하고 불법주정차 단속시간 이상 이벤트 추적하여 추적된 이벤트 차량객체와 가려진 차량번호판이 불법주정차 단속시간 이상 지속적으로 불법주정차 단속영역에서 검출되면 인지학적인 두뇌 원리인 대뇌 피질과 해마 신경망을 공학적으로 모델링하여 내용 기반 특징 벡터를 고속 학습하고 해마 신경망 알고리즘을 적용하여 고의적으로 가려진 차량객체의 차량번호판으로 판단 후 차량객체의 가려진 차량번호판으로 판단 직전 번호인식된 영상부터 현재 영상 또는 가려진 번호판이 다시 번호인식될 경우 다시 인식된 시점의 영상과 차량번호판 정보를 암호화 압축한 가려진불법주차차량이벤트압축파일을 통합방범센터 센터제어서버로 전송하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

상기에 있어서,

통합방범센터 센터제어서버는 영상분석 서버를 통한 미래 발생범죄 예측 시스템의 주제어부로부터 전송받은 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 우선순위 특징값의 우선순위에 따라 우선적으로 모니터에 팝업하여 디스플레이 하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

일 실시 예로,

상기에 있어서 우선순위 특징값을 비교하여 우선순위에 따라 우선적으로 팝업하여 디스플레이하며 관리자에 의해 '통과' '주시' '신고' 값에 따라 영상분석 서버를 통한 미래 발생범죄 예측 시스템는 인지학적인 두뇌 원리인 대뇌 피질과 해마 신경망을 공학적으로 모델링하여 내용 기반 특징 벡터를 고속 학습하고 해마 신경망 알고리즘을 적용하며 장기저장 메모리에 저장되어 있는 위험 행동 특징 벡터를 추가 갱신하여 위험행동 우선순위 특징값을 학습하는 것을 특징으로 하는 객체 행동패턴의 해마 신경망 학습을 이용한 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

일 실시 예로,

통합방범센터 센터제어서버는 영상분석 서버 주제어부로부터 저용량영상압축파일 및 위험행동 우선순위 특징값이 부여된 위험이벤트압축파일 및 수배차량 우선순위 특징값이 부여된 수배차량이벤트압축파일을 수신하여 저용량영상압축파일을 압축 해제하여 모니터에 디스플레이하나, 우선순위 특징값이 부여된 위험이벤트압축파일 또는 수배차량 우선순위 특징값이 부여된 수배차량이벤트압축파일 중 어느 하나 이상이 수신될 경우 우선순위 특징값을 비교하여 우선순위에 따라 우선적으로 모니터에 팝업하여 디스플레이하며 관리자에 의해 입력되는 '통과' '주시' '신고' 값에 따라 영상분석 서버는 인지학적인 두뇌 원리인 대뇌 피질과 해마 신경망을 공학적으로 모델링하여 내용 기반 특징 벡터를 고속 학습하고 해마 신경망 알고리즘을 적용하며 장기저장 메모리에 저장되어 있는 위험 행동 특징 벡터를 추가 갱신하여 위험행동 우선순위 특징값을 학습하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템.

일 실시 예로,

디지탈감시카메라는 200만화소 디지탈감시카메라 , 270만화소 디지탈감시카메라, 500만화소 디지탈감시카메라, 1000만화소 디지탈감시카메라 중 어느 하나로 대체되는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템이다.

1 ~ 2 : 분할영상

Claims (1)

1. 마이크로프로세서로 구성된 주제어부, 영상분석 API, 객체인식모듈, 송수신부로 구성된 영상분석 서버 및 네트워크망으로 연결된 통합방범센터 센터제어서버를 통한 미래 발생범죄 예측 시스템에 있어서,
   상기 영상분석 API는 디지탈감시카메라에서 촬영된 원본 영상데이터를 전송받아 주제어부 장기저장 메모리에 원본 영상데이터를 저장 및 객체인식모듈 해마신경망 메모리에 저장하며;
   상기 송수신부는 네트워크망을 통해 연결된 통합방범센터 센터제어서버와의 전송 트래픽을 측정하여 주제어부로 전송하며;
   상기 주제어부는 객체인식모듈에 수신된 원본 영상데이터를 상기 송수신부에서 측정된 트래픽 이하의 저화질 저용량으로 암호화 압축한 저용량영상압축파일을 네트워크망을 통해 통합방범센터 센터제어서버로 전송하며;
   상기 객체인식모듈은 해마신경망 메모리에 수신된 원본 영상데이터를 중첩되게 X축 Y축으로 하나 이상으로 분할하여 X-Y좌표 값과 현재 촬영 시점의 시간 데이터를 매칭시켜 디지털 줌 확대하여 분할영상을 저장하며;
   상기 객체인식모듈은 각 각의 디지털 줌 확대된 분할영상 및 분할영상에 대해 객체인식 프로그램에 의해 객체인식 후 인식된 객체를 분류한 객체분류 영상을 주제어부로 전송하며;
   주제어부는 장기저장 메모리에 저장되어 있는 위험객체 영상과 객체분류 영상을 비교하여 위험행동 우선순위 특징값을 부여하여 암호화 압축한 위험이벤트압축파일을 통합방범센터 센터제어서버로 전송하며;
   통합방범센터 센터제어서버는 영상 분석서버의 주제어부로부터 전송받은 저용량영상압축파일을 압축 해제하여 모니터에 분할 화면으로 디스플레이하나 우선순위 특징값의 우선순위에 따라 우선적으로 모니터에 팝업하여 디스플레이 하는 것을 특징으로 하는 것을 특징으로 하는 영상분석 서버를 통한 미래 발생범죄 예측 시스템.
   

Images