KR20200010690A - 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법 - Google Patents

다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법 Download PDF

Info

Publication number
KR20200010690A
KR20200010690A KR1020180083540A KR20180083540A KR20200010690A KR 20200010690 A KR20200010690 A KR 20200010690A KR 1020180083540 A KR1020180083540 A KR 1020180083540A KR 20180083540 A KR20180083540 A KR 20180083540A KR 20200010690 A KR20200010690 A KR 20200010690A
Authority
KR
South Korea
Prior art keywords
person
moving object
camera
cameras
surveillance area
Prior art date
Application number
KR1020180083540A
Other languages
English (en)
Other versions
KR102108391B1 (ko
Inventor
김지태
김배훈
Original Assignee
주식회사 영국전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 영국전자 filed Critical 주식회사 영국전자
Priority to KR1020180083540A priority Critical patent/KR102108391B1/ko
Publication of KR20200010690A publication Critical patent/KR20200010690A/ko
Application granted granted Critical
Publication of KR102108391B1 publication Critical patent/KR102108391B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2259—
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것으로, 보다 상세하게는 고정카메라 및 PTZ카메라를 동시에 연동하여 사용하며, 고정카메라는 감시영역에서의 인물을 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 정보를 제공한다. 이로 인해 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능한 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것이다.

Description

다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법 {Moving Object Linkage Tracking System and Method Using Multiple Cameras}
본 발명은 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것으로, 보다 상세하게는 고정카메라 및 PTZ(Pan-Tilt-Zoom)카메라를 동시에 연동하여 사용하며, 고정카메라는 감시영역에서의 인물을 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 정보를 제공한다. 이로 인해 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능한 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법에 관한 것이다.
추적촬영 즉, 트래킹레코딩(Tracking Recording)은 고정점을 가지며 일지점에 고정된 하나 이상의 카메라가 움직이는 피사체를 향해 해당 피사체의 이동속도 및 방향에 대응되도록 틸팅되며 해당 피사체를 추적촬영하는 것을 의미한다.
또한 PTZ카메라란, 상하 좌우로 피사체를 따라가며, 확대, 축소 기능을 가진 CCTV 카메라를 말한다. PTZ 돔 네트워크 카메라는 팬/틸트/줌 기능을 통해 넓은 구역을 감시하며 줌인 기능을 통해 상세 이미지를 제공하는 것이 가능하다.
PTZ 돔 카메라는 가드 투어, 투어 레코딩, 오디오, 외부 알람 장치용 입출력 포트, 게이트키퍼(Gatekeeper) 기능, 지능형 비디오 애플리케이션을 위한 AXIS Camera Application Platform, 온도 제어를 포함한 내후성 등의 기능을 지원가능한 모델이 최근 출시되고 있다.
종래 PTZ카메라를 이용하여 인물 등의 추적촬영을 위해서는 적어도 2개 이상의 PTZ카메라를 사용하여다수의 카메라간 상호 촬영대상의 위치를 공유하며 촬영대상의 이동여부 및 경로를 좌표상에 나타내고 상호 카메라간 거리 및 설치높이 등을 고려하여 별도의 연산로직을 통해 촬영대상의 이동여부 및 경로를 추적하며 촬영을 연속할 수 있는 시스템이 존재하였으나, 넓은 감시영역 내부에 다수의 인물 및 정지물체 등이 동시에 존재하는 경우, 각각의 인물 또는 움직이는 물체에 대해 인물여부를 판별하여 이를 트래킹하며 동선을 추적촬영하는 것이 매우 곤란한 문제점이 존재하였다.
이와 같은 문제점을 극복하기 위해서, 넓은 감시공간에 존재하는 인물을 물체와 구별하여 인식하는 기술을 이용가능한 카메라와, 물체와 구별되어 인식된 인물 각각을 객체로 지정하여 이에 대한 위치정보를 PTZ카메라로 전송하여 PTZ카메라를 통해 개별 객체에 대한 디테일한 트래킹촬영이 진행되도록 하는 보다 진보된 이동물체 연계추적시스템 및 방법의 개발이 요구된다.
대한민국 공개특허공보 10-2012-0139914
전술한 문제점을 해결하기 위해 고정카메라, 관리서버 및 PTZ카메라를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적시스템 구성을 구비하여 감시영역 내의 인물에 대한 효율적인 인식 및 추적이 가능한 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법을 제공하는 것이 가능하다.
전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법은 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역을 촬영하는 고정카메라, 상기 고정카메라의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버 및 상기 관리서버로부터 감시영역내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ 카메라를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적시스템의 구성으로써 제공되는 것이 가능하다.
상기 고정카메라는 상기 감시영역내에 다수개가 마련되며, 서로 상이한 방향에서 동일한 감시영역을 촬영하는 것이 가능하고, 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 바람직하다.
또한, 상기 고정카메라는 산출된 인물검출용 데이터를 종합하여 단일 수치 스코어를 생성하는 것이 가능하며, 감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것이 바람직하다 할 것이다.
상기 고정카메라는 검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버로 전송하는 것이 가능하다.
상기 PTZ카메라는 상기 관리서버로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신하는 것이 가능하다.
전술한 시스템구성 외에도, 고정된 위치에 설치되어 소정의 화각을 가지는 고정카메라를 이용하여 감시영역을 촬영하는 고정카메라 촬영단계, 상기 고정카메라의 촬상정보를 관리서버로 송신하는 관리서버 전송단계, 상기 관리서버로부터 감시영역내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계, 상기 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계 및 상기 유사성 판단단계 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적방법이 제공되는 것이 가능하다.
상기 고정카메라 촬영단계는 감시영역 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계, 감시영역내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계 및 상기 인물 얼굴인식단계 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계를 포함할 수 있다.
상기 이동물체 판단단계는 프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단할 수 있다.
상기 인물 얼굴인식단계(S120)는 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출할 수 있다.
상기 PTZ카메라 촬영단계(S300)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310) 및 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320)를 포함하는 것이 가능하다.
고정카메라 및 PTZ카메라를 동시에 연동하여 사용하며, 고정카메라는 감시영역에서의 인물을 고정된 물체와 구별하여 개별객체로써 검출하고, PTZ카메라는 인물의 개인특성을 캐치하고 이를 구분하기 위한 디테일한 정보를 제공할 수 있다.
이와 같은 구체적인 구성특성으로 인해, 인물 피부 등의 색상 세분화 및 형상 정보를 토대로 특정화된 인물을 등록하고 관리하며 고정카메라와 PTZ카메라를 연동하여 연계추적이 가능하며, 넓은 감시영역에서 다수의 인물에 대해 효율적으로 인식하고, 다수의 개별 인물에 대해 동시다발적인 정밀추적촬영이 가능한 효과가 존재한다.
도 1은 본 발명의 일 실시예 따른 고정카메라와 PTZ카메라가 설치되어 감시영역을 감시하는 감시상태를 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 고정카메라와 PTZ카메라 및 관리서버의 구성관계를 도시한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적방법을 도시한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 발사체지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예 따른 고정카메라와 PTZ카메라가 설치되어 감시영역을 감시하는 감시상태를 도시한 개략도이며. 도 2는 본 발명의 일 실시예에 따른 고정카메라와 PTZ카메라 및 관리서버의 구성관계를 도시한 개략도이다.
도 1 및 2를 참고하면, 넓은 감시영역에서 다수의 인물에 대해 개별 연계추적이 가능한 시스템을 위한 다수개의 고정카메라 및 PTZ카메라의 구성을 포함한 전체 시스템을 구성하는 개별구성에 대한 확인이 가능하다.
보다 구체적으로 설명하면, 넓은 감시영역(100)에 존재하는 다수의 인물에 대한 추적촬영을 실시하기 위해서는, 우선, 인물을 고정된 물체와 구별하는 것이 필요하고, 구별된 인물에 각각 개별객체로 지정하여 저장하며, 저장된 객체에 따라 별도의 PTZ카메라를 이용한 개별 트래킹레코딩 또는 트래킹촬영이 요구된다 할 것이다.
도 1 및 도 2에서 확인가능한 본 발명의 고정카메라(200) 구성은 해당 감시영역(100)에서의 사람들을 검출하는데 사용될 수 있으며, PTZ카메라(400)는 검출된 사람 각각의 특성을 디테일하게 서치하여 이를 고정카메라의 판별정보와 대조하고, 추적하여 촬영하는 역할을 수행할 수 있다.
본 시스템에서는 PTZ카메라(400) 간의 특정 오브젝트(사람 또는 물체)에 대한 일관성 있는 추적내용을 제공하는 것이 가능하며, 인물이 서로간 교차하거나 사물 등에 가릴 경우에도 안정적인 추적이 가능하다.
본 발명의 실시예에 따르면, 특정인물을 구별하기 위한 프로세스로써, 인물(피부) 색상의 세분화, 인물의 모양 전보를 사용하여 특정인물을 구별하고 관리하며 연계추적이 가능할 수 있다.
종래 감시영역 내의 사람 또는 인물들을 추적하는 고정카메라 촬영시스템에서는 해당 고정카메라가 이동객체에 대한 얼굴인식 및 표현인식 등과 같은 명확한 분석을 위한 개별 고해상도 영상을 제공할 수 없으며, 감시영역내에 존재하는 장애물로 인한 폐색에 대해서 대처할 수 없다는 문제점이 존재하였다.
이러한 문제점을 극복하고 감시영역내에서 여러 인물들에 대한 효율적인 추적을 위해서는 고정카메라(200) 및 PTZ카메라(400)를 동시에 사용하여 추적촬영하는 기법이 요구된다.
구체적으로는, 감시영역내의 인물에 대한 검출을 위해서는 감시영역 내에 존재하는 이동물체(사람 등)에 대한 얼굴형상 및 피부색상 등을 토대로 인물을 검출하는 프로세스를 거치며, 검출된 인물에 대해서는 고정카메라로부터 획득된 각각의 인물의 위치정보를 관리서버를 통해 전송받은 PTZ카메라(400)가 PTZ카메라(400) 제어구동을 통해 해당 검출 인물에 대한 추적촬영을 실시하여 고해상도의 구별 이미지를 획득하고, 물체 또는 사람간의 중첩과 폐색을 극복하여 해당 검출 인물에 대한 추적촬영을 진행하는 프로세스를 거칠 수 있다.
이를 위해 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역(100)을 촬영하는 고정카메라(200), 상기 고정카메라(200)의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버(300) 및 상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ카메라(400)를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적시스템이 제공될 수 있다.
이 경우, 상기 고정카메라(200)는 상기 감시영역(100)내에 다수개가 마련되며, 서로 상이한 방향에서 동일한 감시영역을 촬영하는 것이 가능하다.
또한, 상기 고정카메라(200)는 감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 가능하다.
상기 고정카메라는 다수개가 구비될 수 있으며, 각각의 고정카메라가 대응되는 PTZ카메라 또는 상기 고정카메라의 갯수보다 많은 양의 PTZ카메라와 연계되어, 상기 고정카메라의 촬영을 통해 객체로 저장된 인물에 대해 위치좌표 및 인물특성을 전송하여 디테일한 연계추적이 가능하다.
전술한 구성을 통하여 종래 다수개의 PTZ카메라만을 사용하여 각각의 인물에 대한 정보 전체를 서버로 전송하며, 인물여부를 판별하는 과정을 포함함으로써 데이터 전송량 부하가 상당한 문제점을 해결하여, 신속한 데이터 송수신에 따른 신속응답이 가능하고 및 서버 저장 메모리의 용이한 확보가 가능한 특징이 존재한다.
구체적으로, 우선 피부색 세그먼테이션 등을 사용하여 인물들에 대한 초기 얼굴 세트를 얻을 수 있다.
이러한 방법을 사용할 경우, 고정카메라(200)에 촬영되는 인물의 피부색이 정규화된 색 영역에 집중되며, 특정 조명 조건에서 피부색 분포가 다변량 정규 가우스 분포로서 특성화 될 수 있다.
이 경우, 상기 고정카메라(200)의 이미지 픽셀은 빨강(Gr), 초록(Gg) 및 파랑(Gb)과 같이 정의된 정규화 된 색 공간으로 투영될 수 있다.
각각의 정규화 된 색은 정규화 된 공간에 존재하는 픽셀에 투영된 성분을 나타나며, 이는 전체 빨강(Gr), 초록(Gg) 및 파랑(Gb)의 성분을 더한 수치 중 빨강(Gr), 초록(Gg) 및 파랑(Gb)의 해당 색상의 수치비로 표현하는 것이 가능하다.
추가적으로 오프라인으로 획득한 피부 톤 샘플을 처리하여 가우스 모델 매개변수(평균 및 분산)를 얻고, 가우스 피크에 대한 픽셀의 근접성을 기반으로 픽셀을 수락 또는 거부하는데 사용되는 룩업 테이블(LUT)을 생성하는데에 해당 가우시안 분포가 사용될 수 있다.
또한, 메디안 필터링(Median-filtering)기술을 이용함으로써 점 잡음 노이즈가 촬영된 이미지 프레임에서 제거될 수 있다.
상기 메디안 필터링은 경계의 선병성을 유지하면서 임펄스 노이즈를 제거가능한 필터기법이다.
이를 위해 마스크영역내의 이미지에 대하여 화소들을 정렬한 후, 중간값을 취해 저장하는 방식으로 필터링을 진행하게 된다.
해당 노이즈가 제거된 이미지는 평활화(I(x,y))되며, 해당 이미지의 수평투영 및 수직투영을 계산하여 인물의 얼굴 크기, 형태 및 면적 등에 대한 정보를 획득한다.
전술한 방법을 이용하여 획득한 인물의 얼굴 크기, 형태 및 면적 등에 대한 정보를 토대로 인물 얼굴의 크기 및 종횡비에 대한 휴리스틱스(Heuristics)를 사용하여 일지하지 않는 상당수의 얼굴 후보영역을 제거하여 고정물체와 인물간을 명확하게 구분하는 것이 가능하다.
상기 고정카메라(200)는 피부의 색상, 얼굴 면적 및 얼굴 종횡비 속성을 기반으로 하여 촬영프레임간에 인물의 정보등록을 수행하고, 해당 데이터를 결합하여 인물 후보영역이 실제 얼굴일 가능성이 대한 단일 수치 스코어를 생성하는 스코어링 방법을 사용할 수 있다.
해당 단일 수치 스코어가 기 설정된 소정의 임계값보다 클 경우 인물의 얼굴로 인식이 되는 것이 바람직하다.
또한, 상기 고정카메라(200)는 감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것이 가능하며, 검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버(300)로 전송하는 것이 바람직하다.
이 경우, 상기 PTZ카메라(400)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, PTZ카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN(Convolutional Neural Network) 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신할 수 있다.
상기 슬라이딩 윈도우 처리기법은 흐름제어의 방식으로서 전송스테이션이 윈도우 안에 순서화된 PDU(Protocol Data Unit)를 전송하는 것이 가능하다. 이 경우에 윈도우는 동적으로 변화함으로써 PDU를 전송하는 처리기법을 의미할 수 있다.
도 3은 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적방법을 도시한 순서도이다.
도 3 (a) 내지 (c)을 참조하여, 본 발명의 일 실시예에 따른 다수개의 카메라를 활용한 이동물체 연계추적방법을 설명하도록 한다.
구체적으로, 도 3 (a) 내지 (c)를 토대로 고정된 위치에 설치되어 소정의 화각을 가지는 고정카메라(200)를 이용하여 감시영역(100)을 촬영하는 고정카메라 촬영단계(S100), 상기 고정카메라(200)의 촬상정보를 관리서버(300)로 송신하는 관리서버 전송단계(S200), 상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계(S300), 상기 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계(S400) 및 상기 유사성 판단단계(S400) 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계(S500)를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적방법이 제공될 수 있다.
이 경우, 상기 고정카메라 촬영단계(S100)는 감시영역(100) 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계(S110), 감시영역(100)내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계(S120) 및 상기 인물 얼굴인식단계(S120) 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계(S130)를 포함할 수 있다.
상기 이동물체 판단단계(S110)는 프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단하는 것이 바람직하며, 상기 인물 얼굴인식단계(S120)는,
감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하거나, 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것이 바람작하다.
또한, 상기 PTZ카메라 촬영단계(S300)는 상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310) 및 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320)를 포함하는 것이 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 감시영역
200 : 고정카메라
300 : 관리서버
400 : PTZ카메라
S100 : 고정카메라 촬영단계
S110 : 이동물체 판단단계
S120 : 인물 얼굴 인식단계
S130 : 객체번호 부여 및 좌표산출단계
S200 : 관리서버 전송단계
S300 : PTZ카메라 촬영단계
S310 : PTZ카메라 구동단계
S320 : 세부정보 추출 및 필터링단계
S400 : 유사성 판단단계
S500 : 동선정보 저장단계

Claims (14)

  1. 고정된 위치에 설치되어 소정의 화각을 가지고 감시영역(100)을 촬영하는 고정카메라(200);
    상기 고정카메라(200)의 촬상정보를 수신하며, 촬상정보를 토대로 감시영역내 인물의 위치정보를 가공, 저장 및 송신하는 관리서버(300); 및
    상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물의 특정정보를 구체적으로 추출하고 필터링하여 서버로 송신하는 PTZ카메라(400);
    를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  2. 제1항에 있어서,
    상기 고정카메라(200)는,
    상기 감시영역(100)내에 다수개가 마련되며, 서로 상이한 방향에서 동일한 감시영역을 촬영하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  3. 제1항에 있어서,
    상기 고정카메라(200)는,
    감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  4. 제1항에 있어서,
    상기 고정카메라(200)는,
    감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  5. 제3항 또는 제4항에 있어서,
    상기 고정카메라(200)는,
    산출된 인물검출용 데이터를 종합하여 단일 수치 스코어를 생성하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  6. 제1항에 있어서,
    상기 고정카메라(200)는,
    감시영역내의 인물에 대한 착용중인 옷의 색상 및 패턴 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  7. 제5항에 있어서,
    상기 고정카메라(200)는,
    검출된 인물에 대하여 일련번호를 부여하고, 검출된 인물에 대한 위치좌표를 산출하여 관리서버(300)로 전송하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  8. 제1항에 있어서,
    상기 PTZ카메라(400)는,
    상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, PTZ카메라 구동제어를 실시하고, 슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 관리서버로 송신하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적시스템
  9. 고정된 위치에 설치되어 소정의 화각을 가지는 고정카메라(200)를 이용하여 감시영역(100)을 촬영하는 고정카메라 촬영단계(S100);
    상기 고정카메라(200)의 촬상정보를 관리서버(300)로 송신하는 관리서버 전송단계(S200);
    상기 관리서버(300)로부터 감시영역(100)내 인물의 위치정보를 수신받으며, 상기 인물의 위치정보를 토대로 팬 틸트 및 줌 제어를 하여 인물을 촬영하여 특정정보를 구체적으로 추출하고 필터링하는 PTZ카메라 촬영단계(S300);
    상기 고정카메라의 촬영에 따른 인물의 개체특성과 상기 PTZ카메라의 촬영에 따른 인물의 개체특성을 비교하여 유사성을 판단하는 유사성 판단단계(S400); 및
    상기 유사성 판단단계(S400) 결과, 유사성이 인정될 경우, 동일 개체로 판단하고 해당 개체의 동선을 추적하여 저장하는 동선정보 저장단계(S500);
    를 포함하는 다수개의 카메라를 활용한 이동물체 연계추적방법
  10. 제9항에 있어서,
    상기 고정카메라 촬영단계(S100)는,
    감시영역(100) 내의 고정물체를 제외한 이동물체를 판단하는 이동물체 판단단계(S110);
    감시영역(100)내의 인물에 대한 피부색상 또는 감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물의 얼굴을 인식하는 인물 얼굴인식단계(S120); 및
    상기 인물 얼굴인식단계(S120) 결과, 인물에 대한 얼굴로 인식될 경우, 각각의 인물에 대해 객체번호를 부여하고, 실시간 위치좌표를 산출하는 객체번호 부여 및 좌표산출단계(S130);
    를 포함하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
  11. 제10항에 있어서,
    상기 이동물체 판단단계(S110)는,
    프레임비교 알고리즘을 통해 감시영역내의 이동물체 여부를 판단하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
  12. 제10항에 있어서,
    상기 인물 얼굴인식단계(S120)는,
    감시영역내의 인물에 대한 피부색상을 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
  13. 제10항에 있어서,
    상기 인물 얼굴인식단계(S120)는,
    감시영역내의 인물에 대한 얼굴크기 및 종횡비를 토대로 인물검출용 데이터를 산출하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
  14. 제9항에 있어서,
    상기 PTZ카메라 촬영단계(S300)는,
    상기 관리서버(300)로부터 수신받은 검출된 인물별 위치정보 등을 이용하여, 카메라 구동제어를 실시하는 PTZ카메라 구동단계(S310); 및
    슬라이딩 윈도우처리기법 및 CNN 학습모델을 통해 각각의 검출된 인물에 대한 세부정보를 추출하고 이를 필터링하는 세부정보 추출 및 필터링단계(S320);
    를 포함하는 것을 특징으로 하는 다수개의 카메라를 활용한 이동물체 연계추적방법
KR1020180083540A 2018-07-18 2018-07-18 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법 KR102108391B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180083540A KR102108391B1 (ko) 2018-07-18 2018-07-18 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180083540A KR102108391B1 (ko) 2018-07-18 2018-07-18 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200010690A true KR20200010690A (ko) 2020-01-31
KR102108391B1 KR102108391B1 (ko) 2020-05-12

Family

ID=69369279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180083540A KR102108391B1 (ko) 2018-07-18 2018-07-18 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102108391B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015040A (ko) * 2020-07-30 2022-02-08 주식회사 영국전자 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230015221A (ko) 2021-07-22 2023-01-31 주식회사 영국전자 객체 추적 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148915A (ja) * 2003-11-12 2005-06-09 Noritsu Koki Co Ltd 適正顔判別方法及びこの方法を実施する装置
KR20120139914A (ko) 2011-06-20 2012-12-28 주식회사 드림정보기술 자동 위치 추적 및 녹화 시스템
JP2017076909A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20180060335A (ko) * 2016-11-28 2018-06-07 주식회사 올로케이션 고정카메라와 다중 ptz 카메라를 이용한 원거리 얼굴인식 방법
KR20180062423A (ko) * 2016-11-30 2018-06-08 알텀뷰 시스템즈 인크. 임베디드 시스템용 소규모 컨볼루션 뉴트럴 네트워크(cnn) 모듈을 이용한 얼굴 인식

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148915A (ja) * 2003-11-12 2005-06-09 Noritsu Koki Co Ltd 適正顔判別方法及びこの方法を実施する装置
KR20120139914A (ko) 2011-06-20 2012-12-28 주식회사 드림정보기술 자동 위치 추적 및 녹화 시스템
JP2017076909A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20180060335A (ko) * 2016-11-28 2018-06-07 주식회사 올로케이션 고정카메라와 다중 ptz 카메라를 이용한 원거리 얼굴인식 방법
KR20180062423A (ko) * 2016-11-30 2018-06-08 알텀뷰 시스템즈 인크. 임베디드 시스템용 소규모 컨볼루션 뉴트럴 네트워크(cnn) 모듈을 이용한 얼굴 인식

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015040A (ko) * 2020-07-30 2022-02-08 주식회사 영국전자 다중카메라 연계추적을 위한 AI기반의 복수 이동물체추적 Embedded 영상처리시스템을 통한 전방향 검지카메라 연계 정밀영상획득용 PTZ카메라 제어방법

Also Published As

Publication number Publication date
KR102108391B1 (ko) 2020-05-12

Similar Documents

Publication Publication Date Title
EP3648448B1 (en) Target feature extraction method and device, and application system
CN105894702B (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
KR101172747B1 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
KR102126498B1 (ko) 영상 인식 기반의 위험상황 감지방법, 위험 관리 장치 및 위험상황 감지시스템
JP3999561B2 (ja) 監視システムと監視カメラ
JP4568009B2 (ja) カメラ連携による監視装置
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
CN114842397B (zh) 一种基于异常检测的实时老人跌倒检测方法
JPH07168932A (ja) ビデオ画像中の人間を探索する方法
CN108376246A (zh) 一种多人脸识别及跟踪系统及方法
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
CN106060470A (zh) 一种视频监控方法及其系统
CN109905641B (zh) 一种目标监控方法、装置、设备及系统
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
CN110633648B (zh) 一种自然行走状态下的人脸识别方法和系统
KR101002712B1 (ko) 지능형 카메라 보안 시스템
KR102108391B1 (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
KR102128319B1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
CN205883437U (zh) 一种视频监控系统
KR20200010691A (ko) 이종 카메라를 활용한 인물인식 및 교통통제시스템
JP2002245560A (ja) 監視システム
JP4574509B2 (ja) システム用カメラ、監視システム及び監視方法
JP2012212238A (ja) 物品検出装置および静止人物検出装置
JP6548306B2 (ja) カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法
KR100536747B1 (ko) 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right