KR20240002340A - Ptz 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 - Google Patents

Ptz 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR20240002340A
KR20240002340A KR1020220079426A KR20220079426A KR20240002340A KR 20240002340 A KR20240002340 A KR 20240002340A KR 1020220079426 A KR1020220079426 A KR 1020220079426A KR 20220079426 A KR20220079426 A KR 20220079426A KR 20240002340 A KR20240002340 A KR 20240002340A
Authority
KR
South Korea
Prior art keywords
surveillance
ptz
view
camera
cameras
Prior art date
Application number
KR1020220079426A
Other languages
English (en)
Inventor
이상봉
안홍락
양성영
한정국
여은수
배경수
최준호
Original Assignee
삼성물산 주식회사
주식회사 인텔리빅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성물산 주식회사, 주식회사 인텔리빅스 filed Critical 삼성물산 주식회사
Priority to KR1020220079426A priority Critical patent/KR20240002340A/ko
Publication of KR20240002340A publication Critical patent/KR20240002340A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PTZ 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 개시된다. PTZ 카메라의 협업을 이용한 영상 감시 시스템은 전역뷰 입력부, 감시 객체 검출부, 지역뷰 입력부, 감시 객체 인식부, 및 이벤트 검출부를 포함한다. 전역뷰 입력부는 제 1 PTZ 카메라를 이용하여 미리 설정된 지역에 대한 전역적 영상인 전역뷰를 입력하고, 감시 객체 검출부는 전역뷰로부터 감시 객체를 검출하고, 지역뷰 입력부는 제 2 PTZ 카메라를 이용하여 감시 객체에 대한 확대 영상인 지역뷰를 입력하고, 감시 객체 인식부는 지역뷰로부터 감시 객체를 검출하고 감시 객체에 대한 정보를 인식하며, 이벤트 검출부는 감시 객체에 대한 정보로부터 감시 객체에 대한 이벤트를 검출한다.

Description

PTZ 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 {System and method for surveilling video using collaboration of PTZ cameras, and a recording medium recording a computer readable program for executing the method}
본 발명은 카메라 영상을 이용한 감시 관련 기술에 관한 것으로서, 더욱 상세하게는 광범위한 지역을 PTZ 카메라 사이의 협업을 이용하여 감시하기 위한 시스템 및 방법에 관한 것이다.
최근에는 딥러닝 객체 검출 기술을 바탕으로 많은 응용기술이 개발되고 있으며 기존의 CCTV 카메라 영상을 활용하여 실시간으로 분석하고, 그 결과를 이용한 서비스 분야가 점점 확대되고 있다.
특히, 산업안전 환경에서 다수 카메라를 이용한 감시가 많이 수행되고 있다. 하지만, 감시지역이 매우 광범위하고 작업지역이 매번 변경되기 때문에 카메라 설치에 어려움이 있다. PTZ 카메라에 의한 감시 및 객체 인식 방법도 대안이 될 수 있으나, PTZ 카메라가 특정 객체를 인식하고 추적하는 동안에는 전체 상황을 인지하기 어려운 단점이 있다.
종래 기술로는, 대한민국 등록특허공보 제10-0879623호의 'PTZ 카메라를 이용한 자동화된 광역 감시 시스템 및 그 방법'에서는 PTZ 카메라의 프리셋과 스캔 방식 이동에서 이벤트 이벤트를 검출하는 방법을 제시하였다.
또한, 대한민국 등록특허공보 제10-0888935호 '지능형 영상 감시 시스템에서 두 카메라 연동 방법'에서는 PTZ-PTZ 간의 객체를 추적하기 위하여 두 PTZ의 관계를 특정 감시지역을 평면으로 가정하였을 때의 호모그래피의 관계에 의하여 맵하여 추적하는 방법을 제시하였으나, 두 카메라 간의 객체 인식 및 이벤트 검출 방법에 대해서는 상세한 방법이 제시되지 않았다.
또한, 대한민국 등록특허공보 제10-2362695호의 '다중카메라 연계추적을 위한 AI 기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ 카메라 제어방법'에서는 전방향 파노라마 카메라와 PTZ 카메라를 이용하여 방향 추적 방법을 제시를 하였으나, 객체의 추적을 담당하는 전방향 카메라의 경우 해상력의 제한으로 추적 및 감시가능거리가 제한될 수밖에 없다.
또한, 대한민국 등록특허공보 제10-1228341호의 '카메라 간 협업을 이용한 영상 감시 시스템 및 방법'에서는 서로 다른 곳에 설치되어 있는 PTZ 카메라 간 협업을 통한 객체의 추적 감시를 수행하는 방법을 제공하고 있다.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, PTZ 카메라의 협업을 이용해 넓은 감시지역에서 효과적인 객체의 검출 및 인식을 수행할 수 있는 자동화된 광역 감시 방법 및 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명에 따른 PTZ 카메라의 협업을 이용한 영상 감시 시스템은 전역뷰 입력부, 감시 객체 검출부, 지역뷰 입력부, 감시 객체 인식부, 및 이벤트 검출부를 포함한다.
전역뷰 입력부는 제 1 PTZ 카메라를 이용하여 미리 설정된 지역에 대한 전역적 영상인 전역뷰를 입력하고, 감시 객체 검출부는 전역뷰로부터 감시 객체를 검출하고, 지역뷰 입력부는 제 2 PTZ 카메라를 이용하여 감시 객체에 대한 확대 영상인 지역뷰를 입력하고, 감시 객체 인식부는 지역뷰로부터 감시 객체를 검출하고 감시 객체에 대한 정보를 인식하며, 이벤트 검출부는 감시 객체에 대한 정보로부터 감시 객체에 대한 이벤트를 검출한다.
이와 같은 구성에 의하면, 서로 다른 PTZ 카메라를 이용하여, 광각뷰를 통해 상대적으로 넓은 관심지역을 조망하여 다수의 객체에 대한 검출을 수행하면서도 지역뷰를 통해 특정 객체만 집중하여 인식함으로써, 넓은 감시지역에서 효과적인 객체의 검출 및 인식을 수행할 수 있게 된다.
이때, 제 1 PTZ 카메라 및 제 2 PTZ 카메라를 이용하여 감시 객체를 추적하는 감시 객체 추적부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 이동하는 감시 객체에 대해서도 계속적으로 추적하며 검출 및 인식을 수행할 수 있게 된다.
또한, 제 1 PTZ 카메라와 제 2 PTZ 카메라는 미리 설정된 형태로 인접하게 배치될 수 있다. 이와 같은 구성에 의하면, 두 카메라의 보정관계가 용이하고, 한 번의 캘리브레이션으로 두 카메라의 관계를 설정할 수 있어 설치시마다 두 카메라 간의 보정을 수행해야 하는 불편을 방지할 수 있게 된다.
또한, 감시 객체 검출부는 지역뷰에 복수의 감시 객체가 존재하는 경우 복수의 감시 객체에 대한 감시 객체 인식부의 인식 순서를 산출할 수 있다. 이와 같은 구성에 의하면, 감시 객체 인식부는 지역뷰에 존재하는 다수의 감시 객체에 대해서도 신속하고 효과적으로 상세 인식을 수행할 수 있게 된다.
또한, 감시 객체 인식부는 감시 객체에 대한 인식이 완료되는 경우 감시 객체 검출부로 인식 완료에 대한 정보를 전달할 수 있다. 이와 같은 구성에 의하면, 감시 객체의 인식에 요구되는 시간과 조건에도 불구하고 다수의 감시 객체 모두에 대한 상세 인식을 효과적으로 수행할 수 있게 된다.
또한, 전역뷰와 지역뷰에서의 객체의 속성을 동기화하는 객체 속성 동기화부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 지역뷰에서 인식된 객체정보를 이용하여 광역뷰에서도 이벤트를 발생시킬 수 있게 된다.
또한, 미리 설정된 제 1 PTZ 카메라 영상의 복수의 특징점에 대응하여 제 2 PTZ 카메라의 영상 중심을 각각 일치시키고 제 2 PTZ 카메라의 동작 정보를 획득하는 카메라 사전 보정부, 및 광역뷰에서의 제 1 PTZ 카메라의 동작 정보를 획득하여 제 2 PTZ 카메라의 동작을 제어하는 카메라 동작 제어부를 더 포함할 수 있다. 이와 같은 구성에 의하면, 서로 다른 PTZ 카메라를 사전 보정하여, 광역뷰 카메라의 동작 정보만으로도 지역뷰 카메라의 동작을 효과적으로 제어할 수 있게 된다.
아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.
본 발명에 의하면, 서로 다른 PTZ 카메라를 이용하여, 광각뷰를 통해 상대적으로 넓은 관심지역을 조망하여 다수의 객체에 대한 검출을 수행하면서도 지역뷰를 통해 특정 객체만 집중하여 인식함으로써, 넓은 감시지역에서 효과적인 객체의 검출 및 인식을 수행할 수 있게 된다.
또한, 이동하는 감시 객체에 대해서도 계속적으로 추적하며 검출 및 인식을 수행할 수 있게 된다.
또한, 두 카메라의 보정관계가 용이하고, 한 번의 캘리브레이션으로 두 카메라의 관계를 설정할 수 있어 설치시마다 두 카메라 간의 보정을 수행해야 하는 불편을 방지할 수 있게 된다.
또한, 감시 객체 인식부는 지역뷰에 존재하는 다수의 감시 객체에 대해서도 신속하고 효과적으로 상세 인식을 수행할 수 있게 된다.
또한, 감시 객체의 인식에 요구되는 시간과 조건에도 불구하고 다수의 감시 객체 모두에 대한 상세 인식을 효과적으로 수행할 수 있게 된다.
또한, 지역뷰에서 인식된 객체정보를 이용하여 광역뷰에서도 이벤트를 발생시킬 수 있게 된다.
또한, 서로 다른 PTZ 카메라를 사전 보정하여, 광역뷰 카메라의 동작 정보만으로도 지역뷰 카메라의 동작을 효과적으로 제어할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 PTZ 카메라의 협업을 이용한 영상 감시 시스템의 개략적인 블록도.
도 2는 도 1의 영상 감시 시스템에서, 광역뷰 PTZ 카메라가 객체를 검출하고 지역뷰 PTZ 카메라가 검출된 객체 중 하나를 목표로 하여 확대 영상기반 인식을 수행하는 상태를 설명하기 위한 도면.
도 3은 도 1의 영상 감시 시스템에서, 광역뷰 PTZ 카메라가 설정된 프리셋을 이동할 때마다 지역뷰 카메라가 이를 추적하는 개념을 설명하기 위한 도면.
도 4는 도 1의 영상 감시 시스템에서, 광역뷰 PTZ 카메라에서 검출된 객체와 지역뷰 카메라에서 객체 인식여부에 따른 투어링 개념을 설명하기 위한 도면.
도 5는 도 1의 영상 감시 시스템에서, 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라 간의 협업제어를 통한 인식기능의 전반적인 흐름을 설명하기 위한 도면.
도 6은 도 1의 영상 감시 시스템에서, 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라 간의 캘리브레이션을 수행하는 방법에 대한 도면.
도 7은 도 1의 영상 감시 시스템에서, 개별 카메라에서 보정을 수행하는 순서와 줌배율별로 정확한 HW 줌값을 맵핑한 테이블에 대한 예시 도면.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다. 도 1은 본 발명의 일 실시예에 따른 PTZ 카메라의 협업을 이용한 영상 감시 시스템의 개략적인 블록도이다. 도 1에서, PTZ 카메라의 협업을 이용한 영상 감시 시스템은 전역뷰 입력부(110), 감시 객체 검출부(120), 지역뷰 입력부(130), 감시 객체 인식부(140), 이벤트 검출부(150), 감시 객체 추적부(160), 객체 속성 동기화부(170), 카메라 사전 보정부(180), 카메라 동작 제어부(190), 지역뷰 PTZ 추적객체 관리부(162), 프리셋 투어링 제어부(192), 및 지역뷰 감시객체 추적 제어부(164)를 포함한다.
카메라 사전 보정부(180)는 미리 설정된 제 1 PTZ 카메라 영상의 복수의 특징점에 대응하여 제 2 PTZ 카메라의 영상 중심을 각각 일치시키는 방식으로 제 1 PTZ 카메라와 제 2 PTZ 카메라간의 보정을 수행하고, 그 보정정보를 저장하여 추후 지역뷰 추적객체에 대응되는 지역뷰 PTZ 카메라의 좌표를 얻을 수 있게 한다.
이때, 제 1 PTZ 카메라와 제 2 PTZ 카메라는 미리 설정된 형태로 인접하게 배치될 수 있다. 이와 같은 구성에 의하면, 두 카메라의 보정관계가 용이하고, 한 번의 캘리브레이션으로 두 카메라의 관계를 설정할 수 있어 설치시마다 두 카메라 간의 보정을 수행해야 하는 불편을 방지할 수 있게 된다.
전역뷰 입력부(110)는 제 1 PTZ 카메라를 이용하여 미리 설정된 지역에 대한 전역뷰 영상을 입력 받는다. 지역뷰 입력부(130)는 제 2 PTZ 카메라를 이용하여 제 1 PTZ 카메라에서 검출된 객체에 대한 확대 영상을 입력 받는다.
영상 분석부는 객체 검출, 검출된 물체 추적, 추적물체의 인식을 하고 이를 기반으로 이벤트를 검출한다. 다만, 지역뷰 카메라에서 줌인된 영상에서 인식이 수행되기 때문에 지역뷰 카메라 영상에서 객체 역할 인식의 비중이 더 크다.
이때, 감시 객체 검출부(120)는 영상에서 관심객체를 검출한다. 검출방식은 컴퓨터 비전 방식과 딥러닝 방식 모두 사용될 수 있다. 감시 객체 추적부(160)는 앞선 단계에서 검출된 객체들을 연속된 프레임에서 추적하는 구성으로서, 현재 프레임에서 검출된 객체가 이전객체와 유사도를 측정하여 동일한 객체인지를 판단하며, 객체 아이디를 부여하여 관리를 한다.
감시 객체 인식부(140)는 추적중인 객체에 대하여 상세 분류 및 인식을 하는 구성이고, 이벤트 검출부(150)는 추적 중인 객체 정보와 인식정보를 기반으로 이벤트를 검출하는 구성이다. 이벤트 검출은 전역뷰 카메라 또는 지역뷰 카메라에서 수행될 수 있다.
객체 속성 동기화부(170)는 전역뷰와 지역뷰에서의 객체의 속성을 동기화한다. 이와 같은 구성에 의하면, 지역뷰에서 인식된 객체정보를 이용하여 광역뷰에서도 이벤트를 발생시킬 수 있게 된다.
또한, 지역뷰에서 감시 객체에 대한 인식이 완료되는 경우 객체 속성 동기화부(170)를 통하여 인식 완료에 대한 정보를 전달할 수 있다. 이와 같은 구성에 의하면, 감시 객체의 인식에 요구되는 시간과 조건에도 불구하고 다수의 감시 객체 모두에 대한 상세 인식을 효과적으로 수행할 수 있게 된다.
지역뷰 PTZ 추적객체 관리부(162)는 전역뷰 영상에서 복수의 인식 객체가 존재하는 경우 복수의 감시 객체에 대한 인식 순서를 정하고 현재 지역뷰 PTZ가 추적해야할 객체를 관리한다. 또한, 지역뷰 카메라에게 PTZ가 이동 위치해야할 정보들을 감시객체 PTZ 추적 제어부(164)에 전달하게 된다.
전역뷰에서 추적하는 객체를 PTZ 카메라에서 이동추적하기 위해서는 제 2 PTZ 카메라의 Pan, Tilt, Zoom 값으로 변환해야 하는데 이는 카메라 사전 보정부(180)를 통하여 얻을 수 있다.
프리셋 투어링 제어부(192)는 전역뷰 카메라에서 감지지역을 이동하기 위해서 사용될 수 있다. 프리셋 이동시 객체 인식 완료 여부에 따라 프리셋 이동 여부를 결정하는 옵션을 제공할 수 있다.
감시객체 PTZ 추적 제어부(164)는 전역뷰 카메라에서 PTZ 카메라에 추적하도록 지정된 객체에 대하여 지속적으로 줌인 추적하는 구성이다. PTZ 카메라의 중심이 인식하려는 물체에 중심에 오도록 하며 이를 위하여 카메라 사전 보정부(180)의 맵핑 정보를 이용한다.
이와 같은 구성에 의하면, 서로 다른 PTZ 카메라를 이용하여, 광각뷰를 통해 상대적으로 넓은 관심지역을 조망하여 다수의 객체에 대한 검출을 수행하면서도 지역뷰를 통해 특정 객체만 집중하여 인식함으로써, 넓은 감시지역에서 효과적인 객체의 검출 및 인식을 수행할 수 있게 된다.
이하, 상기 실시예를 보다 구체적인 예와 함께 더욱 상세히 설명한다. 도 2는 본 발명의 일 실시예에 따른 광역 PTZ 카메라에서 객체를 검출하고 이 검출된 객체 중 하나를 목표로 하여 지역뷰 PTZ 카메라에서 확대 영상기반 인식을 수행하는 방법에 대한 예시도이다.
기본적으로 두 대의 PTZ 카메라로, 카메라가 설치기 어려운 지역을 PTZ를 통하여 인식하는 개념을 설명한다. 광역뷰 PTZ 카메라는 객체를 식별하고 추적하기에 적합한 줌배율로 세팅하여 최대한 넓은 지역을 감시하는 것이 목적이다.
광역뷰 카메라에서는 영상분석을 통하여 객체를 검출하고 추적한다. 각각 객체는 ID를 부여받아 추적을 하며, 이 객체들을 지역뷰 PTZ 카메라가 줌인하여 확대할 수 있도록 객체를 순차적으로 선택하게 된다.
지역뷰 PTZ 카메라가 추적할 객체가 선택되면, 이를 상세하게 인식할 수 있도록 줌인을 하게 되는데 안전모, 안전고리와 같이 객체의 크기가 작은 물체들을 인식이 충분히 가능한 크기가 되도록 지역뷰 카메라를 줌인하게 된다.
객체의 크기가 일정이상 되면 상세객체 인식을 수행함으로써, 인식 정확도를 획기적으로 높일 수 있게 된다. PTZ 단독으로 투어링을 하는 방법도 있겠으나, 상세인식을 위해 하나의 카메라에서 줌인을 너무 많이 하게 되면 전체적인 상황을 모니터링 할 수가 없게 된다. 또한, 반대로 줌아웃을 많이 하게 되면, 객체의 식별은 가능하게 되나 모니터링하고자 하는 객체의 상세 인식을 수행할 수 없게 된다.
도 2에서는 이러한 복수의 PTZ 카메라를 이용하여 보다 넓은 지역의 객체를 식별하면서 동시에 개별 객체 별로 상세인식을 통한 이벤트 검출에 대한 기본 방법에 대한 개념을 설명하였다.
도 3은 PTZ 카메라의 설치 예시와 프리셋 투어링을 통한 감시방법에 대한 예시를 설명한다. 두 개의 PTZ 카메라는 최대한 근접하여 설치가 되도록 하였다. 두 대의 PTZ 카메라가 상호 떨어져 있는 경우에는 설치시 매번 두 카메라 간의 보정을 수행해야 하는 반면, 일정거리상에서 고정으로 설치되어 있는 경우에는 두 카메라의 보정관계가 용이하고 한 번의 캘리브레이션으로 두 카메라의 관계를 설정할 수 있기 때문이다.
이와 같이 설치된 카메라에서 광역뷰 카메라가 프리셋을 이동할 때마다 로컬뷰 PTZ 카메라가 관심 물체를 인식가능한 크기로 줌인하여 PTZ로 추적하면서 인식하게 된다.
도 4는 본 발명의 일 실시예에 따른 광역뷰 PTZ 카메라에서 검출된 객체와 지역뷰 카메라에서 객체 인식여부에 따른 투어링 개념을 설명하기 위한 도면이다. 광역 카메라가 특정 프리셋 위치를 모니터링할 때 다수의 인식해야할 객체가 존재하는 경우 이를 순차적으로 감시를 해야 한다.
이때, 최대한 넓은 지역의 물체들에 대한 인식을 빠르게 순차적으로 수행하기 위해서, 감시해야할 객체를 선정하는 순서를 정하는 문제와 지역뷰 카메라가 대상 물체 인식을 위해 대기해야 하는 시간을 결정해야 한다.
도 4에서 광역뷰 PTZ 카메라의 1번 객체를 가장 먼저 선택한다고 가정하자. 이때, 1번 객체의 주변에 2개의 객체가 같이 있다고 한다면, 지역뷰 카메라에서 1번 객체 외 2번, 3번 객체가 같이 보여지면서 지역뷰 카메라 영상에서 객체 검출이 된다. 지역뷰 카메라에서 검출된 객체들의 상세 인식을 위해서는 일정 시간과 조건들이 필요하다.
예를 들자면, 안전모 착용여부 판단에 필요한 최소시간을 설정하고 이를 만족하는지를 판단할 필요가 있다. 또는, 사람의 머리부분이 가려져서 인식할 수 없는 경우에는 인식 불가 판단을 내려야 할 필요가 있다. 따라서 지역뷰 카메라에서 개별 물체들에 대한 인식이 모두 완료되었는지를 판단할 필요가 있다.
지역뷰 PTZ 카메라에서 검출된 객체들이 모두 인식이 완료되었음을 체크하고, 모두 완료된 경우에는 전역뷰 카메라에게 이 정보를 전달한다. 전역뷰 카메라에서 지역뷰 카메라의 객체들에 대한 인식이 모두 완료되었을 경우에는 빠르게 다음 물체의 위치로 지역뷰 PTZ를 제어하게 한다.
위 내용을 정리하면, 전역뷰 객체를 순차적으로 선택하면서 이 객체를 지역뷰 카메라로 추적하게 되고, 이때 지역뷰 카메라 노출된 객체들이 모두 인식완료 상태에 놓이게 되면 다음 객체를 선택하게 된다.
도 5는 본 발명의 일 실시예에 따른 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라 간의 협업제어를 통한 인식기능의 전반적인 흐름을 설명하기 위한 도면이다.
첫 번째 단계는 광역뷰 PTZ 카메라에서 PTZ 카메라 스캐닝 또는 프리셋 투어 링을 시작하는 단계이다. 광역뷰 PTZ에서 프리셋을 설정할 때에는 객체를 추적 크기 정도까지 줌을 설정한다.
두 번째 단계는 광역뷰 PT 카메라에서 객체 검출 및 추적을 수행하는 단계이다. 객체 검출과 추적은 영상을 기반으로 딥러닝 또는 모션 방식으로 수행할 수 있으며 필요시 상세속성 인식도 수행할 수 있다.
세 번째 단계는 광역뷰 PTZ 카메라에서 지역뷰 카메라가 추적할 객체를 선택하는 단계이다. 광역뷰 PTZ 카메라에서 추적객체를 선택하는 방안에 대한 설명은 도 4에 의해 이미 설명되어 있다.
네 번째 단계는 지역뷰 PTZ 카메라에서 줌인 확대하여 객체를 인식하는 단계이다. 지역뷰 PTZ 카메라의 줌제어는 객체 상세인식에 충분하도록 한다.
다섯 번째 단계는 지역뷰 PTZ 카메라에서 객체 인식 결과를 바탕으로 이벤트를 검출하는 단계이다. 특정 객체를 인식할 때에는 특정 장면에 대한 인식뿐만 아니라 일정 프레임을 모아서 인식을 수행하는 방식도 존재하기 때문에, 인식이 완료할 때까지 일정 시간이 필요하다.
다음 단계는 광역뷰 카메라에서 순차적으로 객체의 인식을 모두 완료하였을 경우, 다음 프리셋으로 이동여부를 판단하게 된다. 이동할 다음 프리셋이 없는 경우에는 지속적으로 객체를 순환하면서 인식을 수행하게 된다.
광역뷰 PTZ 카메라에서 다음 객체로 전환하는 조건으로, 현재 지역뷰 카메라에서 검출된 객체들에 대해 모든 인식이 완료되었는지를 체크한다. 광역뷰 PTZ 카메라에서 선택한 객체와 지역뷰 PTZ 카메라에서 검출된 객체와 동일한 객체 여부를 판별하여 광역뷰 객체와 객체의 속성을 동기화하는 방법이 있다. 이 방법을 사용하면 지역뷰에서 인식된 객체정보를 광역뷰에 전달함으로써, 이 정보를 기반으로 광역뷰에서 이 속성을 기반으로 이벤트를 발생시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라 간의 캘리브레이션을 수행하는 단계를 설명하기 위한 도면이다. 두 개의 PTZ 카메라의 연계 협업을 통하여 서로 동일한 객체를 실시간으로 동시에 바라보게 하기 위해서는 우선적으로 개별 카메라에 대한 보정이 필요하다. 카메라 보정은 특정 제품에 대하여 1회만 하면 된다. 즉, 카메라 모델이 동일하다면 동일한 카메라 파라미터를 적용하면 된다. 카메라 보정 순서는 다음과 같다.
우선, 1배율에서의 초점거리를 구한다. 이때, 초점거리는 실측단위의 초점거리가 아닌 픽셀단위로 표현하고 관리하는 것이 영상처리에 더 유용하다. 초점거리를 측정하는 방식은 패턴을 이용한 방식과 수동으로 측정하는 방식이 있다.
본 특허에서는 상세한 내용을 설명하지는 않는다. 측정된 초점거리의 예는 도 7에 FocalLength로 표현되어 있으며, FHD(1920x1080) 영상에서 측정된 값이다. 초점거리가 측정되면, 정확한 줌 값을 얻기 위하여 실제 줌배율과 PTZ 카메라에서 사용하는 줌 값에 대한 맵핑 테이블을 구한다. 정확한 줌을 제어할 수 있게 된다는 것으로서, 어떠한 줌 위치에서도 정확한 FocalLength를 구할 수 있다.
다음 단계는 두 PTZ 카메라의 보정을 하는 작업이다. 두 카메라는 최대한 인접하게 설치한다. 이때 광역뷰는 미리 지정된 홈위치로 고정시킨다. 다음 광역뷰 영상 위에서 보정을 위한 정점들을 일정개수 이상 설정한다. 다음은 이 대응점에 대하여 지역뷰 PTZ를 수동 제어하여 PTZ 카메라 영상의 중심을 광역뷰에서 설정된 정점에 일치시킨다. 이때, PTZ 카메라로부터 팬, 틸트 각(Angle) 좌표를 읽어온다. 이렇게 얻어진 정점 정보와 팬, 틸트 좌표로 보정을 수행한다.
다음 단계는 사전 보정작업이 모두 끝나고 실시간으로 협업추적 과정에서의 실시간 보정작업이 수행된다. 이전 보정단계에서 광역뷰 PTZ 카메라를 홈위치로 고정한 이후 보정을 수행하였기 때문에, 광역뷰가 이동하는 단계에서는 광역뷰에서 실시간을 팬/틸트 좌표를 획득하여 홈위치 팬/틸트 기준의 오프셋 각 좌표만 보정하면 된다.
정리하면, 본 발명은 광범위한 지역을 2개의 PTZ 카메라에 의하여 감시하고 인식하기 위한 시스템 및 방법에 관한 것으로서, 보다 상세하게는 광역뷰를 담당하는 PTZ 카메라에서 설정된 구역을 투어링하여 감시하고, 투어링하면서 검출된 객체를 지역뷰 PTZ 카메라가 줌인하여, 보다 많은 정보를 담고 있는 확대영상에서 인식하게 하는 장치 및 그 방법에 대한 것이다.
이를 위해, 본 발명에서는 PTZ 카메라 2개를 최대한 인접하게 설치한 후 두개의 카메라의 좌표를 연계하기 위하여 제 1 광역뷰 PTZ 카메라와 제 2 지역뷰 PTZ 카메라 간의 카메라 간의 보정이 되었다고 하였을 때, 광각 카메라가 PTZ 프리셋 투어 또는 스캔을 수행하고 이 광각 카메라에서 영상 분석을 수행하여 객체를 검출하게 되면, 이 지역뷰 PTZ 카메라가 광각카메라에서 검출된 객체를 PTZ로 보다 줌인하여 상세한 객체 검출 및 인식기반의 이벤트를 발생시키는 방법을 제공한다.
본 발명에서는 다음의 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라 간의 연동방법 및 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라의 협업 기반 인식 방법을 특징으로 제시할 수 있다.
광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라 간의 연동방법은, 복수의 카메라 PTZ 카메라를 이용한 자동화된 감시를 위한 연동방법에 있어서 각각의 줌이 가능한 카메라의 특성을 얻기 위하여, 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라의 초첨거리와 정확한 줌배율을 측정하는 단계; 두 인접한 PTZ 간의 보정을 위하여, 광역뷰 PTZ 영상 상에서 소정 개수 이상의 특징점들에 대응하는 제1 고정식 카메라 영상에서의 픽셀좌표와 상기 특징점들에 대응하는 고정식 카메라 영상에 서의 픽셀 좌표와 PTZ 카메라의 팬/틸트 각(Angle)의 대응쌍들로부터 상기 고정식 카메라와 상기 PTZ 카메라 사이의 카메라 보정을 수행하는 단계; 및 상기 보정결과와 광역뷰 PTZ 카메라가 팬, 틸트, 줌 함에 따라 실시간으로 변경되는 오프셋 값을 실시간으로 반영하여 두 카메라가 항상 같은 방향을 바라보도록 제어하는 단계를 포함할 수 있다.
이때, 광역뷰 PTZ 카메라와 지역뷰 PTZ 카메라의 협업 기반 인식 방법은, 두개의 PTZ가 협업하여 추적 및 인식하는 단계는 전역뷰 PTZ 카메라는 감시할 객체를 전역적으로 감시하기 위하여, 프리셋 투어링이나 PTZ 스캔 방식으로 제어를 하는 단계; 전역뷰 객체의 검출과 추적을 하고 관심구역에 객체가 출현하였을 경우 영상분석을 통하여 객체를 검출하고 추적하는 단계; 검출된 객체들을 순차적으로 지역뷰 PTZ 카메라로 팬, 틸트, 줌제어를 하여 객체를 상세하게 인식할수 있도록 확대 추적하는 단계; 상세하게 추적하는 영상을 기반으로 객체를 검출하고 인식하는 단계; 및 지역뷰 PTZ 카메라에서 상세하게 인식된 객체 인식결과를 바탕으로 이벤트를 검출하는 단계를 포함할 수 있다.
본 발명에 따르면, 넓은 지역을 두 대의 PTZ 카메라를 이용하여 광각뷰의 역할을 맡은 PTZ 카메라의 투어링을 통하여 순회 감시하면서 객체를 검출하고, 이 광각뷰에서 검출되고 추적되고 있는 객체를 줌인하여 인식하기 때문에, 특정 객체만 집중 추적하는 문제점을 해결할 수 있다. 또한, 광역뷰 카메라에 의하여 상대적으로 넓은 관심 지역을 이동하면서 조망하기 때문에, 다수의 객체에 대한 인식을 수행할 수 있다.
이에 따라, CCTV 화면 내 원거리 작업자의 시공안전 모니터링이 가능하며, 화면 내 원거리 작업자에 대한 판독 정확도를 높일 수 있게 된다. 또한, 넓은 감시지역에서 효과적인 객체 검출 및 인식을 위하여 2대의 PTZ 간의 협업을 통한 자동화된 광역감시 방법 및 시스템을 제공할 수 있게 된다.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야할 것이다.
110: 전역뷰 입력부
120: 감시 객체 검출부
130: 지역뷰 입력부
140: 감시 객체 인식부
150: 이벤트 검출부
160: 감시 객체 추적부
162: 지역뷰 PTZ 추적객체 관리부
164: 감시객체 PTZ 추적 제어부
170: 객체 속성 동기화부
180: 카메라 사전 보정부
190: 카메라 동작 제어부
192: 프리셋 투어링 제어부

Claims (9)

  1. 제 1 PTZ 카메라를 이용하여 미리 설정된 지역에 대한 전역적 영상인 전역뷰를 입력하는 전역뷰 입력부;
    상기 전역뷰로부터 감시 객체를 검출하는 감시 객체 검출부;
    제 2 PTZ 카메라를 이용하여 상기 감시 객체에 대한 확대 영상인 지역뷰를 입력하는 지역뷰 입력부;
    상기 지역뷰로부터 상기 감시 객체를 검출하고 상기 감시 객체에 대한 정보를 인식하는 감시 객체 인식부; 및
    상기 감시 객체에 대한 정보로부터 상기 감시 객체에 대한 이벤트를 검출하는 이벤트 검출부를 포함하는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 시스템.
  2. 청구항 1에 있어서,
    상기 제 1 PTZ 카메라 및 상기 제 2 PTZ 카메라를 이용하여 상기 감시 객체를 추적하는 감시 객체 추적부를 더 포함하는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 시스템.
  3. 청구항 2에 있어서,
    상기 제 1 PTZ 카메라와 상기 제 2 PTZ 카메라는 미리 설정된 형태로 인접하게 배치되는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 시스템.
  4. 청구항 3에 있어서,
    상기 감시 객체 검출부는 상기 지역뷰에 복수의 감시 객체가 존재하는 경우 상기 복수의 감시 객체에 대한 상기 감시 객체 인식부의 인식 순서를 산출하는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 시스템.
  5. 청구항 4에 있어서,
    상기 감시 객체 인식부는 상기 감시 객체에 대한 인식이 완료되는 경우 상기 감시 객체 검출부로 인식 완료에 대한 정보를 전달하는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 시스템.
  6. 청구항 5에 있어서,
    상기 전역뷰와 상기 지역뷰에서의 객체의 속성을 동기화하는 객체 속성 동기화부를 더 포함하는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 시스템.
  7. 청구항 6에 있어서,
    미리 설정된 상기 제 1 PTZ 카메라 영상의 복수의 특징점에 대응하여 상기 제 2 PTZ 카메라의 영상 중심을 각각 일치시키고 상기 제 2 PTZ 카메라의 동작 정보를 획득하는 카메라 사전 보정부; 및
    상기 광역뷰에서의 상기 제 1 PTZ 카메라의 동작 정보를 획득하여 상기 제 2 PTZ 카메라의 동작을 제어하는 카메라 동작 제어부를 더 포함하는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 시스템.
  8. PTZ 카메라의 협업을 이용한 영상 감시 시스템이 수행하는 영상 감시 방법으로서,
    제 1 PTZ 카메라를 이용하여 미리 설정된 지역에 대한 전역적 영상인 전역뷰를 입력하는 전역뷰 입력 담계;
    상기 전역뷰로부터 감시 객체를 검출하는 감시 객체 검출 단계;
    제 2 PTZ 카메라를 이용하여 상기 감시 객체에 대한 확대 영상인 지역뷰를 입력하는 지역뷰 입력 단계;
    상기 지역뷰로부터 상기 감시 객체를 검출하고 상기 감시 객체에 대한 정보를 인식하는 감시 객체 인식 단계; 및
    상기 감시 객체에 대한 정보로부터 상기 감시 객체에 대한 이벤트를 검출하는 이벤트 검출 단계를 포함하는 것을 특징으로 하는 PTZ 카메라의 협업을 이용한 영상 감시 방법.
  9. 청구항 8의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
KR1020220079426A 2022-06-29 2022-06-29 Ptz 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 KR20240002340A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220079426A KR20240002340A (ko) 2022-06-29 2022-06-29 Ptz 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220079426A KR20240002340A (ko) 2022-06-29 2022-06-29 Ptz 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Publications (1)

Publication Number Publication Date
KR20240002340A true KR20240002340A (ko) 2024-01-05

Family

ID=89541198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220079426A KR20240002340A (ko) 2022-06-29 2022-06-29 Ptz 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Country Status (1)

Country Link
KR (1) KR20240002340A (ko)

Similar Documents

Publication Publication Date Title
US8488001B2 (en) Semi-automatic relative calibration method for master slave camera control
US7583815B2 (en) Wide-area site-based video surveillance system
JP4568009B2 (ja) カメラ連携による監視装置
US6690374B2 (en) Security camera system for tracking moving objects in both forward and reverse directions
EP1765014B1 (en) Surveillance camera apparatus and surveillance camera system
US7796154B2 (en) Automatic multiscale image acquisition from a steerable camera
US20080291278A1 (en) Wide-area site-based video surveillance system
JP2006523043A (ja) 監視を行なう方法及びシステム
WO2012023766A2 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US20090040302A1 (en) Automated surveillance system
JP2002064812A (ja) 移動物体追尾装置
CN114693746A (zh) 基于身份识别和跨摄像头目标追踪的智能监控系统及方法
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
JP2007036756A (ja) 視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
KR101204870B1 (ko) 감시 카메라 시스템 및 그의 제어방법
JP2011109630A (ja) カメラ装置用雲台
KR101916093B1 (ko) 객체 추적 방법
KR101619956B1 (ko) 감시카메라용 자동 다중 추적 영상처리장치
KR20240002340A (ko) Ptz 카메라의 협업을 이용한 영상 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
US20230064953A1 (en) Surveillance device, surveillance system, and surveillance method
KR102441436B1 (ko) 보안 감시 시스템 및 이를 이용한 보안 감시 방법
JPH10188145A (ja) 自動ズーム監視装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application