KR101623332B1 - 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법 - Google Patents

Abstract

영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법이 개시된다. 본 발명의 촬영 방법은 객체감지카메라에서 촬영된 영상 중 부스트림(Second Stream) 영상의 프레임(frame)을 분석하여 메타 데이터를 생성하고, 메타 데이터 빛의 절대값 변화율로 객체를 검지하고, 메타 데이터의 다중 분석 수치를 OR Gate 또는 AND Gate로 선택한 다음, 객체의 방향성을 매칭하여 분석 데이타에서 제외하고, 객체에 대한 색상 정보를 먼셀 번호(Munsell number)로 구분하여 우선 검지한 다음, 객체추적카메라를 이용하여 객체 전체크기의 1/3 크기로 근접 촬영하거나 또는 1/2 크기로 확대 촬영하는 단계를 포함하게 함으로써, 색상의 정보 등을 통해 긴급 수배, 집중 감시 및 신속한 검색이 가능해 지고 객체를 근접 확대 촬영할 수 있다.

Description

영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법{DETECTION AND CLOSE UP SHOOTING METHOD USING IMAGES OF MOVING OBJECTS}

본 발명은 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법에 관한 것으로, 보다 상세하게는 객체를 정확하게 구분하고 식별할 수 있게 근접 확대 촬영할 수 있는 정밀 보안 촬영시스템에 관한 것이다.

CCTV를 이용한 방범시스템은, 녹화하고 모니터링하는 일반적인 보안시스템 방식과 이 일반적인 방식에 지능형을 추가하여 자동으로 객체를 추적하고 알람을 발생시키는 방식으로 구분하여 적용하고 있다.

한 명의 운영자가 많게는 수백대의 영상을 모니터링하고 관리해야 하는 문제로 인해, 보다 효율적인 운영이 가능하도록 다양한 지능형의 기능들을 제공하여 활용하도록 하고 있다.

일반적으로 CCTV를 이용한 방범시스템은 실제 문제가 발생되었을 때 신속한 대처가 가능할 수 있는 실시간 모니터링과 범죄 등에 대한 증거 자료 및 경찰, 검찰의 수사에 도움이 되는 영상 자료를 제공하기 위해 녹화를 하고 있는데, 비교적 한적한 장소의 경우에는 그 단점이 크게 부각되지 않지만, 일반적인 장소 및 인구 밀집 공간의 경우에는 어떤 사람과 어떤 자동차를 촬영해야 하는지에 대한 구분이 명확하지 않아 오히려 지능형 시스템이 사각지대를 발생시키고 있으며, 대부분의 경우, 촬영된 영상과 녹화 자료는 사람의 얼굴과 자동차의 번호를 정확하게 식별 할 수 없는 경우가 대부분으로 실제적인 자료로 활용하는데 제약을 초래하게 된다.

또한, 긴급하게 수배해야 하는 미아, 치매 환자, 범죄자 등에 대해 집중 감시 및 검색을 할 수 없기 때문에 현재의 지능형 시스템은 운영의 한계가 있는 실정이다.

KR 공개특허공보 제10-2009-0070698호(2009.07.01)

이러한 과제를 해결하기 위한 본 발명은 객체의 색상에 대한 정보를 활용하여 집중 감시를 가능하게 하고 시간과 장소에 맞게 유동적으로 절대값을 설정하여 객체를 정확하게 확인할 수 있는 근접 촬영 및 확대 촬영을 지원하여 사각지대를 없애는 것을 목적으로 한다.

이러한 과제를 해결하기 위한 본 발명의 영상을 촬영하는 객체검지카메라와 추적기능의 객체추적카메라를 포함하는 영상검지부와 상기 영상검지부의 각각의 객체검지카메라로부터 획득된 고정영상으로부터 객체의 형태를 추정하여 설정된 객체의 존재여부를 판단하고, 판단결과 설정된 객체가 존재하면 메타 데이터를 생성하고 이를 근거로 메타 데이터를 분석하여 객체추적카메라를 구동하여 자동추적, 근접촬영 또는 확대 촬영 중 어느 하나의 기능을 수행하는 영상분석제어기를 이용한 이동객체 검지 및 근접 확대 촬영 방법은, (a)영상분석제어기의 메타데이터생성부가 상기 객체검지카메라에서 촬영된 영상에서 프레임(frame)을 분석하여 객체가 존재하면 메타 데이터를 생성하는 단계와, (b)상기 메타데이터생성부는 1/25초 이전의 frame과 실시간 촬영된 frame을 매칭하여 1차적으로 변화율의 값을 검지하고, 설정된 객체검지카메라 화각에 있는 고정된 건물 및 배경들을 인식시켜 빛의 절대값을 0으로 세팅(전체화면이 검정(Black)인 상태)하고 임의의 객체가 그 화각에 포함될 경우 빛의 가법혼색에 의해 발생되는 그 구역의 빛의 절대값 변화를 2차적으로 검지하는 방식으로 상기 메타 데이터 빛의 절대값 변화율로 객체를 검지하여 상기 1차적 frame변화율에 의해 생성된 메타데이터와 2차적인 빛의 절대값의 변화율에 의해 생성된 메타 데이터를 해당 메타데이터의 좌표값과 함께 실시간으로 영상분석제어기의 데이터 필터부로 전달하는 단계, (c)상기 메타 데이터 생성부에서 생성된 다중 검지 메타데이터를 설정한 하나의 조건이라도 부합한 경우 OR Gate로 분석을 하고, 설정한 조건이 모두 만족이 되었을 때 AND Gate로 분석하는 단계, (d)영상분석제어기의 데이터 필터부는 객체검지카메라가 설치되는 지점을 A로 설정하고, 기준이 되는 A점에서 좌우로 임의의 직선을 X, 상하로 임의의 직선을 Y로 설정한 이후 순차적으로 변동된 절대값 X와 절대값 Y가 처음 수신한 절대값 X, 절대값 Y보다 크지게 되면 검지의 대상에서 제외하거나 또는 X, Y 좌표에 실제 거리 10M 단위로 객체인 사람 또는 자동차에 대해 크기 및 속도를 설정하고 각 좌표값에 미리 설정된 속도, 크기의 절대값 37% 이상, 또는 37% 이하의 경우 객체의 방향성을 매칭하여 검지의 대상에서 제외한 나머지 데이타들을 실시간 영상분석제어기의 데이터 비교부로 메타데이터와 해당 메타데이터의 X,Y좌표값을 데이터 비교부로 전달하는 단계, (e)상기 데이터비교부는 상기 (d)단계에서 생성된 메타 데이터를 수신하여 객체의 종류를 식별하고 색상정보를 획득하여, 자동 추적, 근접 및 확대 촬영등을 데이터계측부에 명령하되, 2개 이상의 객체가 겹쳐진 경우 먼저 움직임이 감지되는 객체에 대한 정보와 좌표를 영상분석제어기의 데이터계측부로 전달하고, 기존 자동 추적을 실행하고 있는 객체에 대한 연속 촬영이 우선인 경우 선택 항목을 통해 기존 방향과 동일한 움직임, 기존 색 정보와 동일한 객체를 우선 선택하여 검지하도록 제어하며, 상기 (d)단계의 데이터필터부로부터 전달받은 메타데이터의 X,Y좌표값을 상기 데이터계측부로 실시간 전달함과 동시에, 상기 데이터계측부로부터 전송받은 이미지의 1/10 크기로 사용자 명령입력부에서 전달받은 설정값과 기 설정된 객체에 대한 설정값을 매칭시키되, 상기 객체에 대한 색상 정보로 객체를 분석하여 최대 3개의 먼셀 번호(Munsell number)로 색상을 구분하여 저장하고, 상기 영상분석제어기와 네트워크를 통하여 연결된 단말기의 사용자 명령입력부에서 입력된 긴급하게 수배해야 하는 객체의 색상 정보와 일치할 경우 집중 검지 및 알람을 발생시킬 수 있도록 먼셀 번호(Munsell number)로 구분하여 우선 검지하는 단계, (f)상기 데이터 계측부는 상기 데이터비교부를 통해 전달받은 메타 데이터의 X,Y좌표값을 상기 객체추적카메라에 명령하여 전체 이미지 크기의 1/10이미지를 25 frame/sec의 속도로 획득하여 다시 데이터비교부로 전달하고, 상기 메타 데이터의 계속적인 이동에 대한 X,Y좌표값을 전달받아 자동으로 추적하면서 25frame/sec의 속도로 촬영을 지속하고, 상기 사용자 명령입력부에서 특정 객체 또는 X,Y좌표값이 지정되는 경우 가장 우선하여 추적하도록 제어하며, 상기 (e)단계에서 검지된 객체가 사람 또는 자동차로 인식된 경우 수신한 X,Y좌표값으로 미리 설정된 시간 동안 상기 객체를 기준으로 상기 객체추적카메라를 이용하여 객체 전체크기의 1/3 크기로 3초 동안 75frame의 속도로 촬영하고 X,Y 좌표의 기준점은 메타 데이터의 하위 20%를 강제 제외한 지점으로 임의 지정하여 근접 촬영하는 단계, 및 (g)상기 (f)단계에서 객체 전체 크기의 1/3 크기로 근접 촬영한 후에는 하위 43%를 강제 제외한 지점을 X,Y 좌표 기준점으로 하여 상기 객체추적카메라를 이용하여 객체 전체크기의 1/2 크기로 2초 동안 50frame의 속도로 확대 촬영하는 단계를 포함하고, 상기 (d)단계에서의 절대값은 해상도가 높아질수록 절대값이 낮아지도록 동작한다.

따라서, 본 발명의 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법에 의하면, 색상의 정보 등을 통해 긴급 수배, 집중 감시 및 신속한 검색이 가능해 지고 객체를 근접 확대 촬영함으로써, 정확하게 얼굴과 차량 번호 등을 식별할 수 있으며 인구 밀집 장소의 경우에는 사각지대를 없애는 효율적인 시스템을 구현할 수 있다.

도 1은 영상을 활용한 이동객체 검지 및 근접 확대 촬영 장치의 주요 구성도,
도 2는 본 발명의 실시예에 따른 영상분석 제어기의 세부 구성도,
도 3은 본 발명의 실시예에 따른 현장 영상 검지 및 추적 장비들과 영상분석 제어기가 연결되는 상태를 도식화한 도면.
도 4는 본 발명의 실시예에 따른 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법을 설명하기 위한 흐름도,
그리고,
도 5는 본 발명의 실시예에 따른 분석 제외 메타 데이터를 예시한 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서 "및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.

명세서 전체에서 각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하, 도면을 참고하여 본 발명의 일실시예에 대하여 설명한다.

도 1은 본 발명의 일실시예에 의한 영상을 활용한 이동객체 검지 및 근접 확대 촬영 장치의 주요 구성도로서, 도시된 바와 같이, 본 발명은 영상을 촬영하는 현장의 객체검지카메라 장치들과 그 영상을 검지하고 분석하여 객체에 대해 근접 및 확대 촬영하는 영상분석 제어기가 결합된 것으로 복수의 영상을 촬영하는 객체검지카메라 장치와 유, 무선으로 영상분석 제어기가 실시간 통신하는 것을 포함한다.

또한, 객체검지카메라에서 지원하는 Dual Stream 중 부스트림(Second Stream)을 영상 분석용으로 활용하며 현장에서 촬영된 영상을 프레임(Frame) 단위로 분석하여 객체를 검지 분석하여, 객체의 종류를 식별하고 사람이나 자동차 등으로 인식하면 데이터 계측부에서 상하좌우를 제어하는 객체추적 카메라에 그 객체에 대한 전체 1/3 크기의 X1, Y1 좌표 값을 실시간 전달하여 근접 촬영을 하고, 이후 즉시 생성된 메타 데이터에서 전체의 1/2에 해당되는 상부측 X2, Y2 좌표 값을 다시 실시간 전달하여 객체를 확대 촬영할 수 있도록 하는 것을 특징으로 한다.

이를 위하여, 본 발명의 영상을 활용한 이동객체 검지 및 근접 확대 촬영 장치는 현장에 설치하여 검지 및 추적 영상부를 통해 메타 데이터의 영상을 획득하는 고해상도 영상 검지부(110), 이들 영상을 분석하고 객체의 종류를 구분하며 색상 등을 획득한 이후, 근접 확대 촬영 등을 명령하는 영상분석 제어기(120)와 하나 이상의 영상분석제어기(120)를 연결하여 실시간 이더넷 통신 또는 Lora 무선 통신 등의 양방향 네트워크 통신(130)을 통하여 이들 시스템을 원격에서 제어하고 관리할 수 있는 원격제어/모니터링 단말기(140)를 포함한다.

영상 검지부(110)는 현장에 설치되어 이동 객체를 검지하는 객체 검지 카메라(121n)를 포함하는 검지영상획득부(121)와 팬 틸트(Tilt), 줌인 줌아웃 기능을 갖는 객체추적카메라(127n)를 포함하는 추적 영상부(127)를 통해 메타 데이터의 영상을 획득하도록 구성한다.

검지영상획득부(121)는 사람이나 자동차와 같이 이동하는 객체에 대한 영상을 객체검지카메라(121n)로부터 획득하여, 획득한 영상을 처리하는 영상처리부(122), 영상압축부(123), 디지털영상생성부(124), 그리고 추적영상부(127)를 포함한다.

객체검지카메라(121n)는 고정된 방향의 고정영상을 촬영하여 영상 데이터를 출력하도록 하나 이상의 카메라로 구성되며, 디지털 비디오 카메라, 컬러 카메라, 흑백 카메라(monochrome camera), 카메라. 캠코더, PC 카메라, 웹캠, 적외선(IR) 비디오 카메라, 저조도(low-light) 비디오 카메라, 감열식(thermal) 비디오 카메라, 폐쇄-회로 텔레비전(CCTV) 카메라, 팬, 틸트, 줌(Pan, Tilt, Zoom: PTZ) 카메라, 또는 비디오 센싱 장치 중 하나 또는 그 이상을 포함하여 구성할 수 있음은 물론이다.

검지영상획득부(121)는 입력된 영상으로부터 객체가 포함된 영상을 획득하고, 영상처리부(122)는 검지영상획득부(121)에서 획득한 특정 알고리즘을 이용하여 처리하여 품질을 향상시키고, 변질 또는 훼손될 영상을 복원한다.

영상압축부(123)는 복원된 영상을 압축하여 디지털영상생성부(124)로 전송하면, 디지털영상생성부(124)는 압축된 아날로그 영상을 디지털영상으로 생성한다.

이때, 디지털영상생성부(124)는 듀얼 스트림(Dual stream)으로 즉, 주스트림(First stream;125)과 부스트림(Second stream;126)으로 디지털 영상을 지원하는 데 본 발명에서는 주스트림은 CCTV의 원래의 기능인 녹화 기능을 수행하는 데 사용되고, 부스트림(126)을 출력신호로 영상분석제어기(110)로 전송하여 영상을 분석하고 객체의 종류를 구분하며 색상 등을 획득할 수 있도록 사용된다.

즉, 본 발명에서는 Daul Stream 중 Second stream를 활용하여 방범시스템의 원래 기능에 방해를 받지 않게 한다.

추적영상부(127)는 객체가 검지된 객체검지카메라(121n)의 위치 정보로 객체추적카메라(127n)를 이동하여 해당 객체의 객체 정보를 추출하도록 동작된다.

이를 위하여 추적영상부(127)는 객체 추적카메라(127n)를 팬, 틸트, 줌(Pan, Tilt, Zoom: PTZ)으로 구동할 수 있도록 하고, 영상검지부(120)에서 검지된 객체를 자동추적하여 근접 및 확대 촬영을 할 수 있도록 구성된다.

이하, 도면을 참고하여 본 발명의 영상분석제어기에 대하여 설명한다.

영상분석제어기(110)는 영상검지부(120)의 각각의 객체검지카메라(121n)로부터 획득된 고정영상으로부터 객체(사람 또는 자동차)의 형태를 추정하여 설정된 객체의 존재여부를 판단하고, 판단결과 설정된 객체가 존재하면 메타데이터를 생성하고 이를 근거로 메타데이터를 분석하여 객체추적카메라(127n)를 구동하여 자동추적, 근접 및 확대 촬영 등을 할 수 있도록 동작한다.

이를 위하여 영상분석제어기의 구체적인 구성에 대하여 설명한다.

도 2의 본 발명의 실시예에 따른 영상분석 제어기의 세부 구성도를 참고하면, 도시된 바와 같이, 본 발명의 영상분석제어기(110)는 영상검지부(120)의 부스트림(second stream) 디지털 영상에 대하여 크기나 특정 영역의 크기를 알아내고 디지털 영상의 형태를 파악하여 디지털 영상의 윤곽선을 찾고, 색상 및 무늬를 구별하여 변화율에 대해 최초의 분석 소스를 생성하는 메타 데이터 생성부(210), 메타 데이터 생성부(210)에서 생성된 메타 데이터에 대해 분석이 필요한 객체와 제외되어야 하는 데이터를 구분하는 데이터 필터부(220), 객체의 종류를 식별하고 색상 정보를 획득하며, 자동추적, 근접 및 확대 촬영 등을 명령하는 데이터 비교부(230), 데이터 비교부(230)로부터 객체의 종류와 X, Y 좌표 값을 수신하여 추적 영상부(127)를 제어하는 데이터 계측부(240), 그리고, 긴급 수배 및 집중 감시를 위해 운영자가 임의의 객체를 지정하거나 색상 정보 등을 입력하여 조건부 감시 및 알람을 발생시키는 사용자 명령 입력부(250)를 포함하여 구성한다.

메타 데이터 생성부(111)에서는 1/25초 이전의 frame과 실시간 촬영된 frame을 매칭하여, 1차적인 변화율에 대한 값을 검지할 수 있게 한다.

또한 검지영상획득부(121)의 화각에 있는 고정된 건물 및 배경 들을 인식시켜, 빛의 절대값을 0으로 세팅(전체 화면이 Black인 상태)하고, 임의의 객체가 그 화각에 포함될 경우 빛의 가법혼색에 의해 발생되는 그 구역의 빛의 절대값 변화를 2차적으로 검지할 수 있게 한다.

이렇게 1차적인 frame 변화율에 의해 생성된 메타 데이타와 2차적인 빛의 절대값의 변화율에 의해 생성된 메타 데이터를 OR Gate 또는 AND Gate로 선택하여 설치 환경에 맞게 설정할 수 있는 것을 포함한다.

또한 메타데이터 생성부(111)에서 생성된 메타 데이타와 메타 데이타의 X,Y 좌표값은 실시간으로 데이터 필터부(112)로 전달된다.

데이터 필터부(112)에서는 본 특허의 효율성과 신뢰성을 높이기 위해 필요 없는 데이타를 분석하지 않게 하는 것을 주요 기능으로 한다.

검지영상획득부(121)의 화각의 X, Y 좌표에 실제 거리 10M 단위로 객체인 사람과 자동차 등에 대해 크기, 속도 등을 설정하고 각 좌표값에 미리 설정된 속도, 크기의 절대값 37% 이상, 이하의 경우 검지의 대상에서 제외하는 것을 포함한다.

절대값의 37%는 41만화소 해상도 카메라의 기준으로 적용되며, 200만화소 해상도의 카메라는 21%, 300만화소 해상도의 카메라는 16%로 적용되는 것을 포함한다.

즉, 절대값은 해상도가 높아질수록 상대적으로 낮아지게 설정하여야 한다.

또한, 메타데이터 생성부(111)에서 생성된 메타 데이타에서 검지 제외 대상을 제외한 나머지 데이타들은 실시간 데이터 비교부(113)로 메타 데이타와 그 X, Y 좌표값을 실시간 전달된다.

데이터 비교부(113)에서는 데이터 필터부(112)를 통해 전달받은 메타 데이타의 X, Y 좌표 값을 데이터 계측부(114)에게 실시간 전달하여 추적 영상부(127)를 통해 전체 크기의 1/10 이미지를 획득받아 사용자 명령 입력부(115)에서 전달받은 설정 값과 기 설정된 다양한 객체에 대한 설정값과 매칭을 시작한다.

또한, 객체에 대한 색상 정보를 최대 3개의 먼셀 번호(Munsell number)로 구분하여 저장한다.

또한, 추적 영상부(127)로부터 전달받은 이미지와 그 X, Y 좌표 값에 미리 설정된 객체에 대한 크기, 속도 등을 매칭하여, 객체 중 사람과 자동차 등을 구분하여, 데이터 계측부(114)에 전달하는 것을 포함한다.

이때, 사용자 명령 입력부(115)에서 전달받은 먼셀 번호(Munsell number)와 일치하는 색상이 감지될 경우 알람을 발생시켜 운영자가 집중 감시를 할 수 있도록 한다.

또한, 데이터 계측부(114)로부터 전달받은 1/10 이미지를 분석하여, 사람 또는 자동차 등으로 객체를 인식한 경우 데이터 계측부(114)에 확대 근접 촬영에 대한 정보를 전달하는 것을 포함한다.

또한, 2개 이상의 객체가 겹쳐진 경우 기본적으로 먼저 움직임이 감지되는 객체에 대한 정보와 좌표를 데이터 계측부(114)로 전달하나, 기존 자동 추적을 실행하고 있던 객체에 대한 연속 촬영이 우선인 경우, 선택 항목을 통해 기존 방향과 동일한 움직임, 기존 색 정보와 동일한 객체 우선을 선택하여 그 기능을 유지하는 것을 포함한다.

데이터 계측부(114)에서는 데이타 비교부(113)을 통해 전달받은 메타 데이타의 X, Y 좌표 값을 추적 영상부(127)에 명령하여 전체 크기의 1/10 이미지를 25 frame/sec의 속도로 획득하여 다시 데이터 비교부(113)에 전달하는 것을 포함한다.

이때, 메타 데이타의 계속적인 이동에 대한 X, Y 좌표 값을 전달받아 자동으로 추적하면서 25 frame/sec의 속도로 촬영을 지속하는 것을 포함한다.

또한, 운영자가 특정한 객체나 임의의 X, Y 좌표를 지정하는 경우, 가장 우선하여 추적 영상부(127)를 제어할 수 있게 하는 것을 포함한다.

또한, 현재의 메타 데이타에 대한 촬영을 하고 있는 도중, 또 다른 메타 테이타가 발생하게 되면 미리 설정된 시간만큼 역할을 수행한 이후 즉시 또 다른 메타 데이타로 목표를 이전하여, 해당 역할을 중복 실행하는 것을 포함한다.

또한, 데이터 비교부(113)에서 메타 데이타를 사람 또는 자동차로 인식하여 확대 근접 촬영을 요청받을 경우 메타 데이터 전체 크기의 1/3을 원칙적으로 3초 동안 75 frame의 속도로 촬영하고 이때 근접 촬영 X, Y 좌표 기준점은 메타 데이터의 하위 20%를 강제 제외한 지점으로 임의 지정하는 것을 포함한다.

이렇게, 1/3 근접 촬영 이후 그 이미지의 하위 43%를 강제 제외한 지점을 X, Y 좌표 기준점으로 하여, 2초 동안 50 frame의 속도로 확대 촬영한다.

사용사 명령 입력부(115)에서는 설치 환경에 따라 기본 기능을 우선하여 명령을 입력할 수 있으며 이는 모든 것에서 우선하여 실행할 수 있게 하는 것을 포함한다.

운영자가 임의로 객체를 선택한 경우, 나머지 알람 및 검지에 대한 것은 제외하는 것을 포함한다.

이때 운영자가 임의로 선택한 객체는 데이터 계측부(114)를 통해 자동으로 근접 촬영(전체 1/3)과 확대 촬영(전체 1/2)을 반복하며 이는 운영자가 임의 선택을 해제하거나, 그 객체가 카메라의 화각에서 벗어났을 때 운영자가 객체를 임의로 선택하기 이전으로 복귀하여 그 상태를 유지할 수 있도록 한다.

또한, 먼셀 번호(Munsell number)를 최대 3개 입력하여, 같은 색상의 객체에 대해서만 검지와 알람을 발생시킬 수 있다.

그리고, 영상검지부(120)와 영상분석제어기(110)에 각각의 IP어드레스와 같은 ID를 부여하면, 이들 각각을 제어할 수 있다.

즉, 하나의 영상분석제어기로 다수의 영상검지부를 제어할 수도 있으며, 영상검지부와 영상분석제어기에 하나의 ID를 부여하면, 단말기(130)에서 이들을 각각 제어할 수도 있다.

따라서 단말기(130)에 영상검지부(120)의 객체 검지용 카메라(121n)의 ID정보와, 객체 추적용 카메라(127n)의 ID정보와 위치정보를 저장하고 있다가, 수신된 ID정보에서 해당 객체 검지 카메라(121n)의 위치정보를 추출하여 객체추적 카메라(127n)가 해당 객체를 추적하도록 제어하게 할 수도 있다.

또한, 단말기(130)와 네트워크(140)를 통하여 원격으로 연결되어 객체 검지카메라(121n)의 영상데이터와 객체 추적카메라(127n)의 영상데이터를 모니터링하고, 영상분석제어기(110)에서 객체가 감지되면 알람설정 또는 팝업 기능이 가능하게 하고, 객체 추적카메라(127n)를 원격으로 제어할 수 있게 할 수 있다.

이하, 상술한 장치를 이용하여 본 발명의 일실시예에 의한 이동객체 검지 및 근접 확대 촬영 방법을 설명한다.

도 4는 본 발명의 실시예에 따른 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법을 설명하기 위한 흐름도로서, 도시된 바와 같이, 검지영상획득부(121)에서 객체 영상을 획득하면(S110), 단계 S110에서 획득된 객체 영상을 입력받은 메타데이터생성부(111)는 이전 프레임 변화율을 매칭시키고, 가법혼색기준빛의 절대값을 매칭시킨다(S120).

즉, 메타 데이터 생성부(111)에서는 1/25초 이전의 frame과 실시간 촬영된 frame을 매칭하여, 1차적인 frame 변화율에 대한 값을 검지하고 frame 변화율에 따라 메타 데이터를 생성하고, 또한 영상검지획득부(121)에 화각에 있는 고정된 건물 및 배경 들을 인식시켜, 빛의 절대값을 0으로 세팅(전체 화면이 Black인 상태)하고, 임의의 객체가 그 화각에 포함될 경우 빛의 가법혼색에 의해 발생되는 그 구역의 빛의 절대값 변화를 2차적으로 검지하여 2차적인 빛의 절대값의 변화율로 메타데이터를 생성하는 것이다.

단계 S120에서 변화율과 절대값에 대한 메타데이터와 좌표가 생성되면, 메타 데이터 생성부(111)는 다중으로 검지된 메타 데이터를 하나의 조건이라도 부합했을 때 분석을 시작하는 OR Gate와 다중 조건이 모두 만족이 되었을 때 분석을 시작하는 AND Gate를 선택한다(S130).

이러한 OR Gate 또는 AND Gate의 선택은 설치를 할 때 환경에 맞게 설정될 수 있다.

단계 S130에서 하나의 조건이 부합하는 OR gate인 경우와 다중 조건이 모두 만족된 경우에는 AND gate를 선택하고 객체의 색상정보를 수집하여(S140), 방향 필터와 크기와 속도를 매칭시킨다(S150).

단계 S150에서는 메타 데이터 생성부(111)에서 생성된 메타 데이타와 메타 데이타의 좌표값을 기초로 데이터 필터부(112)가 본 특허의 효율성과 신뢰성을 높이기 위해 필요없는 데이타를 분석하지 않게 하는 것을 주요 기능으로 한다.

검지 영상획득부(331)를 통하여 화각의 X, Y 좌표에 실제 거리 10M 단위로 객체인 사람과 자동차 등에 대해 크기, 속도 등을 설정하고 각 좌표값에 미리 설정된 속도, 크기의 절대 값 37% 이상, 이하의 경우 검지의 대상에서 제외하는 것이다.

따라서, 메타데이터 생성부(111)에서 생성된 메타 데이타에서 검지 제외 대상을 제외한 나머지 데이타들은 실시간 데이터 비교부(113)로 메타 데이타와 그 X, Y 좌표값을 실시간 전달된다.

따라서, 데이터 비교부(113)에서는 데이터 필터부(112)를 통해 전달받은 메타 데이타의 X, Y 좌표 값을 데이터 계측부(114)에게 실시간 전달하여 추적 영상부(127)를 통해 전체 크기의 1/10 이미지를 획득받아 사용자 명령 입력부(115)에서 전달받은 설정 값과 기 설정된 다양한 객체에 대한 설정값과 매칭을 시작한다.

단계 S150에서 방향필터와 크기 및 속도가 매칭되면, 단계 S160에서는 추적카메라 영상을 수집하고, 객체에 대한 정보를 분석한다(S160).

단계 S160에서는 추적 영상부(127)로부터 전달받은 이미지와 그 X, Y 좌표 값에 미리 설정된 객체에 대한 크기, 속도 등을 매칭하여, 객체 중 사람과 자동차 등을 구분하여 데이터게측부(114)로 전달한다.

이때 색상정보 수집이 발생한 경우에는 먼셀번호처리를 행하고(S170~S180), 색상정보 수집이 필요없는 경우에는 객체에 대한 좌표분석처리를 행한다(S190).

단계 S180은 메타 데이터의 색상에 대한 정보를 분석하여 자동 저장하는 먼셀 번호(Munsell number) 처리를 행하는 단계로, 운영자가 긴급 수배 등을 위해 조건 검지 방식으로 색상정보를 입력하여 집중 감시할 수 있게 하는 것이다.

즉, 사용자 명령 입력부(115)에서 전달받은 먼셀 번호(Munsell number)와 일치하는 색상이 감지될 경우 알람을 발생시켜 운영자가 집중 감시를 할 수 있도록 하는 것이다.

단계 S190에서 좌표분석처리가 완료되면, 전체촬영좌표와 근접촬영좌표, 그리고 확대촬영좌표를 행한다.

구체적으로 또한, 데이터 비교부(113)에서 메타 데이타를 사람 또는 자동차로 인식하여 확대 근접 촬영을 요청받을 경우 메타 데이터 전체 크기의 1/3을 원칙적으로 3초 동안 75 frame의 속도로 촬영하고 이때 근접 촬영 X, Y 좌표 기준점은 메타 데이터의 하위 20%를 강제 제외한 지점으로 임의 지정하는 것을 포함한다.

이렇게, 1/3 근접 촬영 이후 그 이미지의 하위 43%를 강제 제외한 지점을 X, Y 좌표 기준점으로 하여, 2초 동안 50 frame의 속도로 확대 촬영하는 것이다.

도 5는 본 발명의 실시예에 따른 분석 제외 메타 데이터를 예시한 도면으로, 분석이 필요 없는 데이터를 제외시키는 것을 설명하기 위한 참고도면이다.

예를 들어 카메라가 설치되는 지점을 "0"으로 설정하고 기준이 되는 0 위치에서 좌우로 임의의 직선을 X, 상하로 임의의 직선을 Y로 세팅하고, 이때, 최초로 검지된 객체의 좌표 절대값 보다, 움직임에 의해 계속적으로 변동되는 객체의 좌표 절대값이 크지게 되면 분석의 대상에서 제외하는 것이다.

예를 들어, 최초 검지된 객체의 위치를 A1로 가정하였을 경우, A1의 좌표 절대값은 lXl=3, lYl=4이며, 이 객체가 움직여 A2로 이동하였을 때 A2의 좌표 절대값은 lXl=4, lYl=5가 되게된다.

이것은 카메라가 설치되는 지점 "0"의 위치에서 멀어지는 방향인 반대 방향으로 이동하고 있는 객체로서, 분석의 대상에서 제외하는 것이다.

즉, 이렇게 객체의 좌표 절대값이 작아진 경우 크진 경우, 분석의 대상에서 제외하는 것이다.

또한, 예를 들어, 최초 검지된 객체의 위치를 A2로 가정하였을 경우, A2의 좌표 절대값은 lXl=4, lYl=5이며, 이 객체가 움직여 A1으로 이동하였을 때 A1의 좌표 절대값은 lXl=3, lYl=4가 되게된다.

이렇게 객체의 좌표 절대값이 작아진 경우, 분석 대상에 포함되는 것이다.

이상에서 본 발명은 기재된 구체예에 대하여 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.

110 : 영상분석제어기 111 : 메타데이터생성부
112 : 데이터필터부 113 : 데이터비교부
114 : 데이터계측부 115 : 사용자명령입력부
120 : 영상검지부 121 : 검지영상획득부
127 : 추적영상부 130 : 단말기
140 : 네트워크

Claims (1)

1. 영상을 촬영하는 객체검지카메라와 추적기능의 객체추적카메라를 포함하는 영상검지부와 상기 영상검지부의 각각의 객체검지카메라로부터 획득된 고정영상으로부터 객체의 형태를 추정하여 설정된 객체의 존재여부를 판단하고, 판단결과 설정된 객체가 존재하면 메타 데이터를 생성하고 이를 근거로 메타 데이터를 분석하여 객체추적카메라를 구동하여 자동추적, 근접촬영 또는 확대 촬영 중 어느 하나의 기능을 수행하는 영상분석제어기를 이용한 이동객체 검지 및 근접 확대 촬영 방법에 있어서,
   (a)영상분석제어기의 메타데이터생성부가 상기 객체검지카메라에서 촬영된 영상에서 프레임(frame)을 분석하여 객체가 존재하면 메타 데이터를 생성하는 단계;
   (b)상기 메타데이터생성부는 1/25초 이전의 frame과 실시간 촬영된 frame을 매칭하여 1차적으로 변화율의 값을 검지하고, 설정된 객체검지카메라 화각에 있는 고정된 건물 및 배경들을 인식시켜 빛의 절대값을 0으로 세팅(전체화면이 검정(Black)인 상태)하고 임의의 객체가 그 화각에 포함될 경우 빛의 가법혼색에 의해 발생되는 그 구역의 빛의 절대값 변화를 2차적으로 검지하는 방식으로 상기 메타 데이터 빛의 절대값 변화율로 객체를 검지하여 상기 1차적 frame변화율에 의해 생성된 메타데이터와 2차적인 빛의 절대값의 변화율에 의해 생성된 메타 데이터를 해당 메타데이터의 좌표값과 함께 실시간으로 영상분석제어기의 데이터 필터부로 전달하는 단계;
   (c)상기 메타 데이터 생성부에서 생성된 다중 검지 메타데이터를 설정한 하나의 조건이라도 부합한 경우 OR Gate로 분석을 하고, 설정한 조건이 모두 만족이 되었을 때 AND Gate로 분석하는 단계;
   (d)영상분석제어기의 데이터 필터부는 객체검지카메라가 설치되는 지점을 A로 설정하고, 기준이 되는 A점에서 좌우로 임의의 직선을 X, 상하로 임의의 직선을 Y로 설정한 이후 순차적으로 변동된 절대값 X와 절대값 Y가 처음 수신한 절대값 X, 절대값 Y보다 크지게 되면 검지의 대상에서 제외하거나 또는 X, Y 좌표에 실제 거리 10M 단위로 객체인 사람 또는 자동차에 대해 크기 및 속도를 설정하고 각 좌표값에 미리 설정된 속도, 크기의 절대값 37% 이상, 또는 37% 이하의 경우 객체의 방향성을 매칭하여 검지의 대상에서 제외한 나머지 데이타들을 실시간 영상분석제어기의 데이터 비교부로 메타데이터와 해당 메타데이터의 X,Y좌표값을 데이터 비교부로 전달하는 단계;
   (e)상기 데이터비교부는 상기 (d)단계에서 생성된 메타 데이터를 수신하여 객체의 종류를 식별하고 색상정보를 획득하여, 자동 추적, 근접 및 확대 촬영등을 데이터계측부에 명령하되, 2개 이상의 객체가 겹쳐진 경우 먼저 움직임이 감지되는 객체에 대한 정보와 좌표를 영상분석제어기의 데이터계측부로 전달하고, 기존 자동 추적을 실행하고 있는 객체에 대한 연속 촬영이 우선인 경우 선택 항목을 통해 기존 방향과 동일한 움직임, 기존 색 정보와 동일한 객체를 우선 선택하여 검지하도록 제어하며, 상기 (d)단계의 데이터필터부로부터 전달받은 메타데이터의 X,Y좌표값을 상기 데이터계측부로 실시간 전달함과 동시에, 상기 데이터계측부로부터 전송받은 이미지의 1/10 크기로 사용자 명령입력부에서 전달받은 설정값과 기 설정된 객체에 대한 설정값을 매칭시키되, 상기 객체에 대한 색상 정보로 객체를 분석하여 최대 3개의 먼셀 번호(Munsell number)로 색상을 구분하여 저장하고, 상기 영상분석제어기와 네트워크를 통하여 연결된 단말기의 사용자 명령입력부에서 입력된 긴급하게 수배해야 하는 객체의 색상 정보와 일치할 경우 집중 검지 및 알람을 발생시킬 수 있도록 먼셀 번호(Munsell number)로 구분하여 우선 검지하는 단계;
   (f)상기 데이터 계측부는 상기 데이터비교부를 통해 전달받은 메타 데이터의 X,Y좌표값을 상기 객체추적카메라에 명령하여 전체 이미지 크기의 1/10이미지를 25 frame/sec의 속도로 획득하여 다시 데이터비교부로 전달하고, 상기 메타 데이터의 계속적인 이동에 대한 X,Y좌표값을 전달받아 자동으로 추적하면서 25frame/sec의 속도로 촬영을 지속하고, 상기 사용자 명령입력부에서 특정 객체 또는 X,Y좌표값이 지정되는 경우 가장 우선하여 추적하도록 제어하며, 상기 (e)단계에서 검지된 객체가 사람 또는 자동차로 인식된 경우 수신한 X,Y좌표값으로 미리 설정된 시간 동안 상기 객체를 기준으로 상기 객체추적카메라를 이용하여 객체 전체크기의 1/3 크기로 3초 동안 75frame의 속도로 촬영하고 X,Y 좌표의 기준점은 메타 데이터의 하위 20%를 강제 제외한 지점으로 임의 지정하여 근접 촬영하는 단계;및
   (g)상기 (f)단계에서 객체 전체 크기의 1/3 크기로 근접 촬영한 후에는 하위 43%를 강제 제외한 지점을 X,Y 좌표 기준점으로 하여 상기 객체추적카메라를 이용하여 객체 전체크기의 1/2 크기로 2초 동안 50frame의 속도로 확대 촬영하는 단계;
   를 포함하고, 상기 (d)단계에서의 절대값은 해상도가 높아질수록 절대값이 낮아지도록 동작하는 영상을 활용한 이동객체 검지 및 근접 확대 촬영 방법.
   
   

Images