KR102467366B1 - 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법 - Google Patents

다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법 Download PDF

Info

Publication number
KR102467366B1
KR102467366B1 KR1020200012374A KR20200012374A KR102467366B1 KR 102467366 B1 KR102467366 B1 KR 102467366B1 KR 1020200012374 A KR1020200012374 A KR 1020200012374A KR 20200012374 A KR20200012374 A KR 20200012374A KR 102467366 B1 KR102467366 B1 KR 102467366B1
Authority
KR
South Korea
Prior art keywords
moving object
identified
image
processing unit
threat
Prior art date
Application number
KR1020200012374A
Other languages
English (en)
Other versions
KR20210098624A (ko
Inventor
조영찬
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020200012374A priority Critical patent/KR102467366B1/ko
Publication of KR20210098624A publication Critical patent/KR20210098624A/ko
Application granted granted Critical
Publication of KR102467366B1 publication Critical patent/KR102467366B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G06T5/003—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법에 관한 것이다.
보호 대상에 분산 설치되며, 할당된 감시 영역을 촬영하여 영상을 획득하는 다중 광각 카메라; 및 각 채널을 통해 각각의 광각 카메라로부터 입력되는 영상 정보를 이용하여 이동 객체의 식별, 관리, 위협도 판단을 수행하는 이동 객체 관리 장치;를 포함하는 것이 바람직하다.

Description

다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법{SYSTEM AND METHOD FOR MANAGING MOVING OBJECT WITH MULTIPLE WIDE ANGLE CAMERAS}
본 발명은 광학 탐색 시스템에 관한 것으로, 더욱 상세하게는 다중 광각 카메라로부터 입력된 영상 정보를 이용하여 이동 객체의 식별/관리, 위협도 판단을 자동화할 수 있도록 하는 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법에 관한 것이다.
일반적으로 감시 시스템은 건물, 함정, 차량 등 보호를 목적으로 하는 곳을 감시하는 시스템으로, CCTV 방식의 감시 시스템, 레이더(RADAR) 방식의 감시 시스템, 광학(Optical) 방식의 감시 시스템 등이 있다.
CCTV 방식의 감시 시스템은 운용자가 다수의 영상을 실시간으로 감시해야 하고, 영상을 분석하여 이동 여부만을 식별할 수 있는 문제점이 있다.
레이더 방식의 감시 시스템은 탐지(Searching) 방식과 추적(Tracking) 방식 시스템이 모두 구현되어 사용되며, 능동 센서로 장거리의 객체 탐지는 가능하나, 근접 거리의 소형 객체의 탐지에는 용이하지 않은 문제점이 있다.
광학 방식의 시스템은 추적 방식의 시스템 분야만 구현되어 있는 문제점이 있다.
한편, 근래에는 사우디 유전 테러와 같이 드론을 이용한 테러가 발생하고 있는데, 기존 감시 시스템으로는 드론과 같은 소형/저고도/저속 객체에 대한 탐지가 어려운 문제점이 있다.
한국공개특허공보 제10-2019-0050113호(공개일 2019.05.10.)
본 발명은 이러한 문제점을 해결하기 위해 안출된 것으로, 다중 광각 카메라로부터 입력된 영상 정보를 이용하여 이동 객체의 식별/관리, 위협도 판단을 자동화할 수 있도록 하는 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법을 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 시스템은, 보호 대상에 분산 설치되며, 할당된 감시 영역을 촬영하여 영상을 획득하는 다중 광각 카메라; 및 각 채널을 통해 각각의 광각 카메라로부터 입력되는 영상 정보를 이용하여 이동 객체의 식별, 관리, 위협도 판단을 수행하는 이동 객체 관리 장치;를 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 이동 객체 관리 장치는, 각 채널을 통해 각각의 광각 카메라로부터 입력되는 영상을 처리하여 각 영상의 왜곡을 보정하고, 영상 선명도를 최적화하는 영상 처리부; 상기 영상 처리부에서 처리된 영상과 이전 영상을 비교하여 이미지상 상이한 부분이 있는지를 분석하여 객체를 식별하고, 식별된 객체에 식별번호를 부여하는 객체 관리/추적부; 상기 객체 관리/추적부에서 식별된 각 객체에 대한 이동 성분을 분석하고, 각 객체에 대한 위협도를 분석하는 객체 처리부; 및 상기 영상 처리부에서 처리된 영상 정보와 상기 객체 처리부에서 인가받은 위협 객체에 대한 객체 정보를 합성하여 전시부에 전시하는 영상 합성부;를 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 이동 객체 관리 장치는, 상기 영상 처리부에서 처리된 각 채널의 영상 정보를 저장하는 프레임 영상 DB;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 이동 객체 관리 장치는, 상기 객체 관리/추적부에 의해 식별부호가 부여된 객체에 대한 정보를 저장하는 라벨링된 객체 DB;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 이동 객체 관리 장치는, 상기 객체 관리/추적부에서 식별된 객체에 대한 정체성을 구분하고, 위협도 분석 시에 사용되는 객체의 형상/기동 특성을 저장하는 객체 특성 DB;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 객체 처리부는, 식별된 각 객체의 정체성, 식별된 각 객체의 이동 성분을 기반으로 각 객체에 대한 위협도를 분석하는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 방법은, 영상 처리부가, 각 채널을 통해 각각의 광각 카메라로부터 입력되는 영상을 처리하여 각 영상의 왜곡을 보정하고, 영상 선명도를 최적화하는 단계; 객체 관리/추적부가, 상기 영상 처리부에서 처리된 영상과 이전 영상을 비교하여 이미지상 상이한 부분이 있는지를 분석하여 객체를 식별하고, 식별된 객체에 식별번호를 부여하는 단계; 상기 객체 처리부가, 상기 객체 관리/추적부에서 식별된 각 객체에 대한 이동 성분을 분석하고, 각 객체에 대한 위협도를 분석하는 단계; 및 영상 합성부가, 상기 영상 처리부에서 처리된 영상 정보와 상기 객체 처리부에서 인가받은 위협 객체에 대한 객체 정보를 합성하여 전시부에 전시하는 단계;를 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 영상 처리부가, 각 채널을 통해 각각의 광각 카메라로부터 입력되는 영상을 처리하여 각 영상의 왜곡을 보정하고, 영상 선명도를 최적화하는 단계는, 각 채널을 통해 입력되는 각각의 영상에 대응하여 카메라 렌즈의 왜곡 특성 정보를 반영하여 각 영상의 왜곡을 보정하는 단계인 것이 바람직하다.
본 발명의 일 실시예에서, 상기 영상 처리부가, 각 채널을 통해 각각의 광각 카메라로부터 입력되는 영상을 처리하여 각 영상의 왜곡을 보정하고, 영상 선명도를 최적화하는 단계는, 각각의 채널을 통해 입력되는 각각의 영상을 색상차 및 경계에 대한 샤픈(Sharpen) 기법을 통해 영상 선명도를 향상시키는 단계인 것이 바람직하다.
본 발명의 일 실시예에서, 상기 객체 처리부가, 상기 객체 관리/추적부에서 식별된 각 객체에 대한 이동 성분을 분석하고, 각 객체에 대한 위협도를 분석하는 단계는, 식별된 객체 별로 픽셀 크기 변화를 통해 거리 변화를 산출하고, 식별된 객체 별로 픽셀 이동 변화를 통해 각도 변화를 산출하여 식별된 객체 별로 이동 성분을 분석하는 단계; 식별된 객체의 형태, 기동 특성을 기반으로 식별된 객체에 대한 정체성을 구분하는 단계; 및 식별된 객체의 이동 특성, 식별된 객체의 정체성을 기반으로 위협도를 분석하는 단계;를 포함하는 것이 바람직하다.
본 발명의 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법은, 다중 광각 카메라로부터 입력된 영상 정보를 이용하여 이동 객체의 식별/관리, 위협도 판단을 자동화함으로써, 운용자가 효율적으로 감시의 진행 및 판단을 수행할 수 있게 된다.
또한 다중 광각 카메라를 이용하여 보호하고자 하는 대상에 대해 전방위의 이동 객체를 관리할 수 있게 되고, 위협도가 높은 객체를 능동 추적 장치에 할당하여 해당 객체를 추적할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 시스템의 구성을 개략적으로 보인 도면이다.
도 2 및 도 3은 본 발명에 적용되는 객체 이동 분석 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 방법을 설명하기 위한 처리도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특성 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특성 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법에 대해서 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 시스템의 구성을 개략적으로 보인 도면이다.
도 1에 도시하는 바와 같이, 본 발명의 일 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 시스템은 다중 광각 카메라(10), 이동 객체 관리 장치(100), 능동 추적 장치(200), 무장 대응 장치(300) 등을 포함하여 이루어질 수 있다.
각각의 광각 카메라(10)는 건물, 함정, 차량 등 보호를 목적으로 하는 대상에 분산 설치되어, 할당된 감시 영역을 촬영하여 영상을 획득하고, 획득한 영상을 이동 객체 관리 장치(100)의 영상 처리부(111)로 인가할 수 있다.
본 발명의 실시예에서는 할당된 감시 영역을 촬영하여 영상을 획득하는 영상 획득 장치로 광각 카메라를 이용하여 탐지 시야(범위)를 최대화할 수 있다.
전방위/광시야 감시가 가능하도록 보호하고자 하는 대상에 따라 카메라의 수량 및 광각도 등은 조정될 수 있다.
앞서 설명한 바와 같이 본 발명의 실시예에서는 레이더 대신 광각 카메라를 사용하는데, 레이더 대비 카메라 모듈이 소형이므로, 외부에 노출되는 부피를 줄일 수 있게 된다.
한편, 이동 객체 관리 장치(100)는 각 채널 통해 다중 광각 카메라(10)로부터 입력되는 영상 정보를 이용하여 이동 객체의 식별/관리, 위협도 판단 등을 수행할 수 있다.
이러한 이동 객체 관리 장치(100)는 크게 다중 광각 카메라(10)의 각 채널을 통해 입력된 영상 정보를 처리하는 신호 처리부(110)와 운용자 제어부(120)로 구성될 수 있다.
신호 처리부(110)는 다시 영상 처리부(111), 프레임(Frame) 영상 DB(112), 객체 관리/추적부(113), 라벨링된(Labelled) 객체 DB(114), 객체 처리부(115), 객체 특성 DB(116), 영상 합성부(117) 등을 포함하여 이루어질 수 있으며, 운용자 제어부(120)는 전시부(121), 처리부(123) 등을 포함하여 이루어질 수 있다.
여기서 영상 처리부(111)는 각각의 채널을 통해 각각의 광각 카메라(10)로부터 입력되는 다중 영상을 처리하여 다중 영상의 왜곡을 보정하고, 최적화할 수 있다.
영상 처리부(111)는 각각의 채널을 통해 입력되는 각각의 영상에 대응하는 카메라의 왜곡 특성 정보를 반영하여 각 영상의 왜곡을 보정할 수 있다.
일반적으로 광각 카메라를 이용한 왜곡 보정은, 객체가 영상의 중간에 위치한 경우와 외곽에 위치한 경우에 대해 객체의 형태, 크기 및 대칭성을 분석하여 왜곡이 없는 이미지를 생성하는데, 본 발명의 실시예에서는 영상을 처리하기 위해 발생하는 시스템의 부하를 최소화하기 위해, 카메라 렌즈의 왜곡 특성을 미리 파악(Calibration)하여 중심을 기준으로 각 픽셀의 오프셋(Offset)을 상수로 지정하고, 이를 영상에 반영하여 각 영상의 왜곡을 보정할 수 있다.
이에 따라, 별도의 왜곡 보정 프로세싱 없이도 다른 이미지 상에서 식별된 객체의 동일 객체 여부를 식별할 수 있게 된다.
또한 카메라 렌즈의 왜곡 특성을 분석하여 픽셀별 오프셋 값을 부여하는 방식으로 왜곡 보정(정보의 가공)을 위한 프로세스의 리소스 소모를 최소화할 수 있게 된다.
영상 처리부(111)는 각각의 채널을 통해 입력되는 영상을 색상차 및 경계에 대한 샤픈(Sharpen) 기법을 통해 영상 선명도를 향상시켜 객체 식별이 용이하도록 최적화할 수 있다.
영상 처리부(111)는 왜곡이 보정되고 최적화된 영상을 프레임 영상 DB(112)에 실시간 저장함과 동시에 객체 관리/추적부(113)로 인가할 수 있다.
프레임 영상 DB(112)는 다중 광각 카메라(10)를 통해 촬영된 영상을 실시간으로 수집 저장할 수 있다.
객체 관리/추적부(113)는 영상 처리부(111)로부터 인가받은 영상과 프레임 영상 DB(112)에 저장되어 있는 이전 저장 영상을 비교하여 이미지상 상이한 부분이 있는지를 분석할 수 있다.
분석결과 이미지상 상이한 부분이 있는 경우에는 상이한 부분을 객체로 식별하고, 식별된 객체에 식별번호(Label)을 부여할 수 있다.
이와 같이 식별된 객체에 식별번호를 부여한 객체 관리/추적부(113)는 식별번호를 부여한 객체를 라벨링된 객체 DB(114)에 저장하여 관리할 수 있다.
식별된 객체에 식별번호를 부여하여 관리하게 되면, 각 객체의 이동을 추적관리할 수 있게 된다.
객체 관리/추적부(113)에서 식별된 객체에 식별번호를 부여한 후, 식별번호가 부여된 객체에 대한 각종 정보를 라벨링된 객체 DB(114)에 저장하여 관리함으로써, 이전 이동 성분을 관리할 수 있게 되고, 분석 필터를 이용하여 미래 이동점을 예측할 수 있게 된다.
객체 처리부(115)는 객체 관리/추적부(113)에서 식별된 각 객체에 대한 픽셀 크기를 통해 거리 변화(종 이동 성분)를 산출할 수 있다.
구체적으로 도 2에 도시하는 바와 같이 거리가 Y/X가 되면, 객체의 크기(픽셀)의 가로/세로 크기 성분은 X/Y배가 되고, 화면에 전시되는 범위(넓이)는 (X/Y)2가 된다.
예를 들어, 카메라와 객체 간의 거리가 100m일 경우, 카메라가 50m 전진하면 거리는 1/2이 되고, 객체의 전시 면적은 4배가 된다.
그리고 객체 A가 100m, 객체 B가 1,000m만큼 카메라에서 떨어져 있는 경우, 카메라를 50m 전진시키면 객체 A의 전시 면적은 400%, 객체 B의 전시 면적은 110.8% 확대된다.
전술한 바와 같이 객체 처리부(115)는 픽셀 크기를 통한 거리 변화 산출을 통해 종 이동 성분(X)을 측정할 수 있으며, 거리 변화를 통해 객체의 접근/멀어짐, 가속/감속을 확인할 수 있게 된다.
객체 처리부(115)는 객체 관리/추적부(113)에서 식별된 각 객체에 대한 픽셀 이동을 통해 각도 변화(횡 이동 성분)를 산출할 수 있다.
구체적으로 도 3에 도시하는 바와 같이 삼각함수 또는 픽셀 넓이를 이용하여 거리 데이터를 산출할 수 있다.
이를 위해 카메라의 시야각 및 화소 정보(화소별 각도 정보)를 사전에 알고 있고 있어야 한다. 그리고 도 3에서 α는 카메라 간의 거리, θ, θ', γ, γ'는 이미지의 픽셀 위치로부터 객체의 각도 정보, λ는 A 기준 B의 영상 넓이 비율인 (B의 면적)/(A의 면적)이다.
전술한 바와 같이 객체 처리부(115)는 픽셀 이동을 통한 각도 변화 산출을 통해 횡 이동 성분(Y, Z)을 측정할 수 있으며, 각도 변화를 통해 2차원 이동 성분을 분석할 수 있게 된다.
전술한 바와 같이 식별된 객체의 픽셀 크기 변화를 통해 거리 변화(종 이동 성분 X)를 산출할 수 있고, 식별된 객체 별로 픽셀 이동 변화를 통해 각도 변화(횡 이동 성분 Y, Z)를 산출할 수 있게 됨에 따라, 2차원의 픽셀 좌표계 정보를 객관적인 위치 표현이 가능한 3차원 표준 좌표계 정보로 변환할 수 있다.
한편 객체 특성 DB(116)는 객체 관리/추적부(113)에서 식별된 객체에 대한 정체성 구분, 위협도 분석 시에 참고될 수 있도록 새, 드론, 비행기, 헬기, 동물, 차량, 함정 등 식별 가능한 객체의 형상/기동 특성을 DB화하여 저장하고 있다.
객체 처리부(115)는 객체 특성 DB(116)를 검색하여 객체 관리/추적부(113)에서 식별된 객체에 대한 정체성을 구분할 수 있다.
객체 처리부(115)는 구분된 객체에 대한 정체성, 식별된 객체가 보호하고자 하는 대상에 근접하는지 또는 멀어지는지, 식별된 객체의 접근 이동 속도, 보호하고자 하는 대상과 식별된 객체 간의 거리 등을 기반으로 각 객체의 위협도를 분석할 수 있다.
객체 처리부(115)는 위협도 분석 결과에 따라 위협 우선순위를 정하여 관리할 수 있다.
객체 처리부(115)는 위협도 분석 결과에 따라 보호하고자 하는 대상에 위협이 될 수 있는 객체가 존재하는 것으로 판단되면, 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대한 정보를 운용자에게 제공하기 위해 영상 합성부(117)로 인가할 수 있다.
영상 합성부(117)로부터 인가받은 영상 정보와 객체 처리부(115)로부터 인가받은 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대한 정보를 합성하여 전시부(121)로 인가할 수 있다.
전시부(121)는 영상 합성부(117)로부터 인가받은 영상을 화면에 표시하여 운용자가 보호하고자 하는 대상에 위협이 될 수 있는 객체를 확인토록 할 수 있다.
이때, 전시부(121)는 영상 합성부(117)와 연동하여 객체의 위협도에 따라 색상을 구분하여 전시할 수 있다. 예를 들어, 보호하고자 하는 대상에 위협이 될 수 있는 객체는 적색으로 전시할 수 있다.
전시부(121)는 영상 합성부(117)와 연동하여 보호하고자 하는 대상에 위협이 될 수 있는 객체를 위협 우선순위에 따라 리스트로 전시할 수 있다.
처리부(123)는 운용자의 조작에 따라 시스템을 관리하고, 객체를 관리할 수 있다.
처리부(123)는 객체를 지정 또는 삭제할 수 있다.
처리부(123)는 전시부(121)를 통해 영상 합성부(117)로부터 전달받은 보호하고자 하는 대상에 위협이 될 수 있는 객체의 위협 우선순위에 따라 보호하고자 하는 대상에 위협이 될 수 있는 객체를 추적할 수 있도록 능동 추적 장치(예를 들어, 전자 광학 센서, 능동 레이더 등)(200)에 추적할 객체를 할당할 수 있다. 여기서 객체를 할당받은 능동 추적 장치(200)은 할당받은 객체를 추적할 수 있다.
또한 처리부(123)는 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대해 무장 대응할 수 있도록 무장 대응 장치(예를 들어, 능동 무장 장치, 수동 무장 장치)(300)에 무장 대응할 객체를 할당할 수 있다. 여기서 무장 대응할 객체를 할당받은 능동 무장 장치(예를 들어, 대포, 총기 등)는 할당받은 객체에 대해 능동적으로 무장 대응할 수 있다.
도 4는 본 발명의 일 실시예에 따른 다중 광각 카메라를 이용한 이동 객체 관리 방법을 설명하기 위한 처리도이다.
우선, 영상 처리부(111)는 보호를 목적으로 하는 대상에 분산 설치되어 있는 다중 광각 카메라(10)로부터 각각의 채널을 통해 입력되는 다중 영상의 왜곡을 보정하고 최적화할 수 있다(S10).
상기한 단계 S10에서 다중 광각 카메라(10)는 보호를 목적으로 하는 대상에 분산 설치되어, 할당된 감시 영역을 촬영하여 영상을 획득하고, 획득한 영상을 이동 객체 관리 장치(100)의 영상 처리부(111)로 인가할 수 있다.
상기한 단계 S10에서 영상 처리부(111)는 각각의 채널을 통해 입력되는 각각의 영상에 대응하는 카메라 렌즈의 왜곡 특성 정보를 반영하여 각 영상의 왜곡을 보정하는데, 카메라 렌즈의 왜곡 특성을 미리 파악(Calibration)하여 중심을 기준으로 각 픽셀의 오프셋(Offset)을 상수로 지정하고, 이를 영상에 반영하여 각 영상의 왜곡을 보정할 수 있다.
그리고 상기한 단계 S10에서 영상 처리부(111)는 각각의 채널을 통해 입력되는 영상을 색상차 및 경계에 대한 샤픈(Sharpen) 기법을 통해 영상 선명도를 향상시켜 객체 식별이 용이하도록 최적화할 수 있다.
상기한 단계 S10에서 왜곡이 보정되고 최적화된 영상은 프레임 영상 DB(112)에 저장될 수 있다.
이후 객체 관리/추적부(113)는 영상 처리부(111)로부터 인가받은 영상과 프레임 영상 DB(112)에 저장되어 있는 이전 저장 영상을 비교하여 이미지상 상이한 부분이 있는지를 분석할 수 있다(S20).
상기한 단계 S20의 분석결과 이미지상 상이한 부분이 있는 경우에는 상이한 부분을 객체로 식별하고, 식별된 객체에 식별번호(Label)을 부여할 수 있다(S30).
객체 관리/추적부(113)는 상기한 단계 S30에서 식별번호가 부여된 객체에 대한 정보를 라벨링된 객체 DB(114)에 저장하여 관리할 수 있다(40).
이후 객체 처리부(115)는 상기한 단계 S30에서 식별된 객체 별로 이동 성분을 분석할 수 있다(S50).
구체적으로 식별된 객체 별로 픽셀 크기 변화를 통해 거리 변화(종 이동 성분)를 산출할 수 있고, 식별된 객체 별로 픽셀 이동 변화를 통해 각도 변화(횡 이동 성분)를 산출할 수 있다.
이후 객체 처리부(115)는 객체 특성 DB(116)를 검색하여 상기한 단계 S30에서 식별된 객체에 대한 정체성을 구분할 수 있다(S60).
상기한 단계 S60에서 객체 처리부(115)는 식별된 객체의 형태, 기동 특성 등을 통해 객체를 구분할 수 있게 된다.
이후에는 상기한 단계 S60에서 구분된 객체에 대한 정체성, 식별된 객체의 이동 특성(보호하고자 하는 대상에 근접하는지 또는 멀어지는지), 식별된 객체의 접근 특성(접근 속도, 보호하고자 하는 대상과의 거리) 등을 기반으로 각 객체의 위협도를 분석할 수 있다(S70).
상기한 단계 S70에서 각 객체의 위협도가 분석되면, 객체 처리부(115)는 위협도 분석 결과에 따라 위협 우선순위를 정하여 관리할 수 있다.
이후 객체 처리부(115)는 상기한 단계 S70의 위협도 분석 결과에 따라 보호하고자 하는 대상에 위협이 될 수 있는 객체가 존재하는 지를 판단하여, 보호하고자 하는 대상에 위협이 될 수 있는 객체가 존재하는 경우에는, 보호하고자 하는 대상에 위협이 될 수 있는 객체의 존재를 운용자에게 알리기 위해 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대한 정보를 영상 정보와 합성하여 전시부(121)에 전시할 수 있다(S80).
상기한 단계 S80에서 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대한 정보를 영상 정보와 합성하여 전시부(121)에 전시할 때, 객체의 위협도에 따라 보호하고자 하는 대상에 위협이 될 수 있는 객체를 직관적으로 인지할 수 있도록 적색으로 전시할 수 있다.
상기한 단계 S80에서 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대한 정보를 영상 정보와 합성하여 전시부(121)에 전시할 때, 보호하고자 하는 대상에 위협이 될 수 있는 객체를 위협 우선순위에 따라 리스트로 전시할 수 있다.
상기한 단계 S80에서 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대한 정보를 영상 정보와 합성하여 전시부(121)에 전시할 때, 경고음을 발생시켜 운용자에게 위협 객체가 나타났음을 알릴 수 있다.
한편, 운용자 제어부(120)의 처리부(123)는 상기한 단계 S70을 통해 분석된 객체별 위협도에 따라 보호하고자 하는 대상에 위협이 될 수 있는 객체가 존재하는 경우에는, 보호하고자 하는 대상에 위협이 될 수 있는 객체를 추적할 수 있도록 능동 추적 장치(예를 들어, 전자 광학 센서, 능동 레이더 등)(200)에 추적할 객체를 할당할 수 있으며, 추적할 객체를 할당받은 능동 추적 장치(200)는 할당받은 객체를 추적할 수 있다.
또한, 운용자 제어부(120)의 처리부(123)는 상기한 단계 S70을 통해 분석된 객체별 위협도에 따라 보호하고자 하는 대상에 위협이 될 수 있는 객체가 존재하는 경우에는, 보호하고자 하는 대상에 위협이 될 수 있는 객체에 대해 무장 대응할 수 있도록 무장 대응 장치(예를 들어, 능동 무장 장치, 수동 무장 장치)(300)에 무장 대응할 객체를 할당할 수 있으며, 무장 대응할 객체를 할당받은 능동 무장 장치(예를 들어, 대포, 총기 등)는 할당받은 객체에 대해 무장 대응할 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10. 광각 카메라, 100. 이동 객체 관리 장치,
110. 신호 처리부, 111. 영상 처리부,
112. 프레임 영상 DB, 113. 객체 관리/추적부,
114. 라벨링된 객체 DB, 115. 객체 처리부,
116. 객체 특성 DB, 117. 영상 합성부,
120. 운용자 제어부, 121. 전시부,
123. 처리부, 200. 능동 추적 장치,
300. 무장 대응 장치

Claims (10)

  1. 보호 대상의 주변에 분산 설치되며, 할당된 감시 영역을 촬영하여 영상을 각각 생성하는 다수의 다중 광각 카메라들; 및
    각 채널을 통해 상기 다중 광각 카메라들로부터 입력되는 다수의 영상들을 이용하여 적어도 하나의 이동 객체를 식별하며, 상기 식별된 이동 객체를 관리하고, 상기 보호 대상에 대한 상기 식별된 이동 객체의 위협도를 결정하는 이동 객체 관리 장치;를 포함하고,
    상기 이동 객체 관리 장치는,
    상기 채널을 통해 상기 다중 광각 카메라들로부터 입력되는 상기 영상들을 처리하여 상기 영상들 각각에서 상기 다중 광각 카메라들의 다수의 카메라 렌즈들에 의해 발생된 왜곡을 보정한 후, 선명도를 최적화하는 영상 처리부;
    상기 영상 처리부에서 처리된 영상들과 프레임 영상 데이터베이스에 최근에 저장된 이전 영상들을 비교하여 이미지가 상이한 부분이 발생하는지를 분석하며, 상기 분석의 결과를 기반으로 상기 이동 객체를 식별하고, 상기 식별된 이동 객체에 적어도 하나의 식별번호를 부여하는 객체 관리/추적부;
    상기 객체 관리/추적부에서 상기 식별된 이동 객체의 정체성을 구분하며, 상기 보호 대상의 위치를 기준으로 상기 식별된 이동 객체의 이동 특성 및 접근 특성을 분석하고, 상기 정체성, 상기 이동 특성 및 상기 접근 특성을 기반으로 상기 보호 대상에 대한 상기 이동 객체의 위협도를 분석하고, 상기 이동 객체의 위협도를 기반으로 상기 이동 객체를 위협 객체로 결정하는 객체 처리부; 및
    상기 영상 처리부에서 처리된 상기 영상들에 상기 객체 처리부에서 출력된 상기 위협 객체에 대한 객체 정보를 합성하여 합성 영상을 생성하고, 전시부에 상기 합성 영상을 전시하는 영상 합성부;를 포함하는, 다중 광각 카메라를 이용한 이동 객체 관리 시스템.
  2. 제1항에 있어서,
    상기 영상 처리부는, 상기 다중 광각 카메라들의 다수의 카메라 렌즈들에 대한 왜곡 특성이 미리 파악되어 지정된 픽셀별 오프셋 값을 상기 영상들 각각에 반영하여 상기 영상들 각각에 대한 왜곡을 보정하고, 샤픈 기법을 통해 상기 왜곡이 보정된 영상들 각각의 선명도를 향상시키는 것을 특징으로 하는, 다중 광각 카메라를 이용한 이동 객체 관리 시스템.
  3. 제1항에 있어서,
    상기 이동 객체 관리 장치는,
    상기 영상 처리부에서 처리된 상기 영상들을 저장하는 상기 프레임 영상 데이터베이스;를 더 포함하는, 다중 광각 카메라를 이용한 이동 객체 관리 시스템.
  4. 제1항에 있어서,
    상기 이동 객체 관리 장치는,
    상기 객체 관리/추적부에 의해 상기 식별번호가 부여된 상기 이동 객체에 대한 객체 정보를 저장하는 라벨링된 객체 데이터베이스;를 더 포함하는, 다중 광각 카메라를 이용한 이동 객체 관리 시스템.
  5. 제1항에 있어서,
    상기 이동 객체 관리 장치는,
    상기 객체 관리/추적부에서 식별된 상기 이동 객체에 대한 상기 정체성의 구분 및 상기 위협도의 분석 시에 사용되는 다수의 식별 가능한 객체들 별로 형상/기동 특성을 미리 저장하는 객체 특성 데이터베이스;를 더 포함하는, 다중 광각 카메라를 이용한 이동 객체 관리 시스템.
  6. 제5항에 있어서,
    상기 객체 처리부는,
    픽셀 크기 변화를 통해 상기 식별된 이동 객체에 대한 종 이동 성분인 거리 변화를 산출하며, 픽셀 이동 변화를 통해 상기 식별된 이동 객체에 대한 횡 이동 성분인 각도 변화를 산출하고, 상기 산출된 거리 변화 및 상기 산출된 각도 변화를 기반으로 상기 식별된 이동 객체에 대한 3차원 표준 좌표계 정보를 계산하며, 상기 식별 가능한 객체들 별로 저장된 형상/기동 특성을 기반으로 상기 식별된 이동 객체에 대한 형상/기동 특성을 결정하고, 상기 결정된 형상/기동 특성을 이용하여 상기 식별된 이동 객체의 상기 정체성을 구분하며, 상기 3차원 표준 좌표계 정보와 상기 보호 대상의 위치 정보를 기반으로 상기 식별된 이동 객체의 상기 이동 특성 및 상기 접근 특성을 분석하고, 상기 식별된 이동 객체의 상기 정체성, 상기 이동 특성 및 상기 접근 특성을 기반으로 상기 보호 대상에 대한 상기 식별된 이동 객체의 상기 위협도를 분석하며, 상기 분석된 위협도를 기반으로 상기 식별된 이동 객체를 상기 위협 객체로 결정하는 것을 특징으로 하는, 다중 광각 카메라를 이용한 이동 객체 관리 시스템.
  7. 영상 처리부가, 각 채널을 통해 다수의 다중 광각 카메라들로부터 입력되는 다수의 영상들을 처리하여 상기 영상들 각각에서 상기 다중 광각 카메라들의 다수의 카메라 렌즈들에 의해 발생된 왜곡을 보정한 후, 선명도를 최적화하는 단계;
    객체 관리/추적부가, 상기 영상 처리부에서 처리된 영상들과 프레임 영상 데이터베이스에 최근에 저장된 이전 영상들을 비교하여 이미지가 상이한 부분이 발생하는지를 분석하는 단계;
    상기 객체 관리/추적부가, 상기 분석의 결과를 기반으로 적어도 하나의 이동 객체를 식별하고, 상기 식별된 이동 객체에 적어도 하나의 식별번호를 부여하는 단계;
    객체 처리부가, 상기 객체 관리/추적부에서 상기 식별된 이동 객체의 정체성을 구분하며, 보호 대상의 위치를 기준으로 상기 식별된 이동 객체의 이동 특성 및 접근 특성을 분석하고, 상기 정체성, 상기 이동 특성 및 상기 접근 특성을 기반으로 상기 보호 대상에 대한 상기 이동 객체의 위협도를 분석하는 단계;
    상기 객체 처리부가, 상기 이동 객체의 위협도를 기반으로 상기 이동 객체를 위협 객체로 결정하는 단계; 및
    영상 합성부가, 상기 영상 처리부에서 처리된 상기 영상들에 상기 객체 처리부에서 출력된 상기 위협 객체에 대한 객체 정보를 합성하여 합성 영상을 생성하고, 전시부에 상기 합성 영상을 전시하는 단계;를 포함하는, 다중 광각 카메라를 이용한 이동 객체 관리 방법.
  8. 제7항에 있어서,
    상기 영상들 각각에 대한 왜곡을 보정한 후, 선명도를 최적화하는 단계는,
    상기 다중 광각 카메라들의 다수의 카메라 렌즈들에 대한 왜곡 특성이 미리 파악되어 지정된 픽셀별 오프셋 값을 상기 영상들 각각에 반영하여 상기 영상들 각각에 대한 왜곡을 보정하는 단계; 및
    샤픈 기법을 통해 상기 왜곡이 보정된 영상들 각각의 선명도를 향상시키는 단계를 포함하는 것을 특징으로 하는, 다중 광각 카메라를 이용한 이동 객체 관리 방법.
  9. 제7항에 있어서,
    상기 이동 특성은, 상기 식별된 이동 객체가 상기 보호 대상에 근접하는지 또는 멀어지는지를 나타내고,
    상기 접근 특성은, 상기 식별된 이동 객체가 상기 보호 대상에 접근하는 접근 속도 및 상기 식별된 이동 객체와 상기 보호 대상 간의 거리를 나타내는 것을 특징으로 하는, 다중 광각 카메라를 이용한 이동 객체 관리 방법.
  10. 제7항에 있어서,
    상기 보호대상에 대한 상기 이동 객체의 위협도를 분석하는 단계는,
    픽셀 크기 변화를 통해 상기 식별된 이동 객체에 대한 종 이동 성분인 거리 변화를 산출하는 단계;
    픽셀 이동 변화를 통해 상기 식별된 이동 객체에 대한 횡 이동 성분인 각도 변화를 산출하는 단계;
    상기 산출된 거리 변화 및 상기 산출된 각도 변화를 기반으로 상기 식별된 이동 객체에 대한 3차원 표준 좌표계 정보를 계산하는 단계;
    객체 특성 데이터베이스에 미리 저장된 식별 가능한 객체들 별 형상/기동 특성을 기반으로 상기 식별된 이동 객체에 대한 형상/기동 특성을 결정하는 단계;
    상기 결정된 형상/기동 특성을 이용하여 상기 식별된 이동 객체의 상기 정체성을 구분하는 단계;
    상기 3차원 표준 좌표계 정보와 상기 보호 대상의 위치 정보를 기반으로 상기 식별된 이동 객체의 상기 이동 특성 및 상기 접근 특성을 분석하는 단계; 및
    상기 식별된 이동 객체의 상기 정체성, 상기 이동 특성 및 상기 접근 특성을 기반으로 상기 보호 대상에 대한 상기 식별된 이동 객체의 상기 위협도를 분석하는 단계를 포함하는 것을 특징으로 하는, 다중 광각 카메라를 이용한 이동 객체 관리 방법.
KR1020200012374A 2020-02-03 2020-02-03 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법 KR102467366B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200012374A KR102467366B1 (ko) 2020-02-03 2020-02-03 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200012374A KR102467366B1 (ko) 2020-02-03 2020-02-03 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210098624A KR20210098624A (ko) 2021-08-11
KR102467366B1 true KR102467366B1 (ko) 2022-11-15

Family

ID=77314076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200012374A KR102467366B1 (ko) 2020-02-03 2020-02-03 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102467366B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101200560B1 (ko) * 2012-09-18 2012-11-13 브이씨에이 테크놀러지 엘티디 광각 감시 카메라의 영상 분석 장치, 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101180887B1 (ko) * 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR20190050113A (ko) 2017-11-02 2019-05-10 주식회사 월드씨엔에스 이동 물체 자동 추적 영상 감시 시스템
KR102459717B1 (ko) * 2018-03-29 2022-10-27 삼성전자 주식회사 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101200560B1 (ko) * 2012-09-18 2012-11-13 브이씨에이 테크놀러지 엘티디 광각 감시 카메라의 영상 분석 장치, 시스템 및 방법

Also Published As

Publication number Publication date
KR20210098624A (ko) 2021-08-11

Similar Documents

Publication Publication Date Title
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
JP4568009B2 (ja) カメラ連携による監視装置
US7385626B2 (en) Method and system for performing surveillance
CN108521808B (zh) 一种障碍信息显示方法、显示装置、无人机及系统
US7239719B2 (en) Automatic target detection and motion analysis from image data
US8111289B2 (en) Method and apparatus for implementing multipurpose monitoring system
US9928707B2 (en) Surveillance system
US20100013917A1 (en) Method and system for performing surveillance
US8761445B2 (en) Method and system for detection and tracking employing multi-view multi-spectral imaging
US20160019427A1 (en) Video surveillence system for detecting firearms
US11393102B2 (en) Autonomous camera-to-camera change detection system
EP2284814A1 (en) Systems and methods for night time surveillance
US20050012817A1 (en) Selective surveillance system with active sensor management policies
JP2019526846A (ja) ビークルのための受動光学検出方法およびシステム
KR102051032B1 (ko) 객체 탐지 장치 및 제어 방법
AU2013316068A1 (en) Identifying and tracking targets within captured image data
US9471845B1 (en) Background modeling for imaging surveillance
KR101596896B1 (ko) 이종 카메라로부터의 영상을 이용하여 불법 주정차 단속을 수행하는 단속 시스템 및 이를 포함하는 관제 시스템
KR102310192B1 (ko) 객체 인식률 및 감시 정확성을 높인 융복합 카메라 및 이를 이용한 경계 감시시스템
GB2503481A (en) Increased frame rate for tracked region of interest in surveillance image processing
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
GB2520243A (en) Image processor
CN112802100A (zh) 一种入侵检测方法、装置、设备和计算机可读存储介质
KR102467366B1 (ko) 다중 광각 카메라를 이용한 이동 객체 관리 시스템 및 방법
CN113994381A (zh) 检测移动物体的方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant