KR20190001873A - 객체 탐지 및 추적 장치 및 그 방법 - Google Patents

객체 탐지 및 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20190001873A
KR20190001873A KR1020170082067A KR20170082067A KR20190001873A KR 20190001873 A KR20190001873 A KR 20190001873A KR 1020170082067 A KR1020170082067 A KR 1020170082067A KR 20170082067 A KR20170082067 A KR 20170082067A KR 20190001873 A KR20190001873 A KR 20190001873A
Authority
KR
South Korea
Prior art keywords
camera
tracking
unit
peripheral
setting
Prior art date
Application number
KR1020170082067A
Other languages
English (en)
Inventor
이종석
김경화
이미숙
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170082067A priority Critical patent/KR20190001873A/ko
Publication of KR20190001873A publication Critical patent/KR20190001873A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

객체 탐지 및 추적 장치 및 그 방법이 개시된다.
이 장치에서, 객체 추출부는 다수의 카메라에 의해 각각 촬영되어 수신되는 다수의 카메라 영상으로부터 객체를 추출한다. 주변 카메라 설정부는 상기 객체 추출부에 의해 객체가 추출된 카메라 영상으로부터 객체의 메타 데이터를 추출하고, 상기 객체가 추출된 카메라 영상을 촬영한 제1 카메라를 기준으로, 상기 다수의 카메라 영상으로부터 상기 메타 데이터의 값이 일치하는 카메라 영상을 촬영한 적어도 하나의 제2 카메라를 주변 카메라로 설정한다. 객체 추적부는 상기 주변 카메라 설정부에 의해 상기 다수의 카메라별로 각각 대응되는 주변 카메라가 설정된 후, 상기 객체 추출부에 의해 상기 다수의 카메라 영상으로부터 객체가 추출되는 경우, 객체가 추출된 카메라 영상을 촬영한 제3 카메라와, 상기 제3 카메라에 대응되어 상기 주변 카메라 설정부에 설정되어 있는 주변 카메라를 추적 영역으로 설정하여 객체를 추적한다.

Description

객체 탐지 및 추적 장치 및 그 방법 {APPARATUS FOR SEARCHING OBJECT AND METHOD THEREOF}
본 발명은 객체 탐지 및 추적 장치 및 그 방법에 관한 것이다.
최근 영상 분석 기술이 발전함에 따라 IP(Internet Protocol) 카메라와 같은 네트워크 카메라는 물론 CCTV(Closed Circuit Television) 카메라 등을 통해 촬영되는 영상으로부터 임의의 객체 또는 원하는 객체를 탐지하고 추적하는 영상 보안 서비스가 매우 다양한 형태로 제공되고 있다.
그런데, 촬영된 영상으로부터 객체를 탐지하여 추적하는 기술은 많은 컴퓨팅 자원을 필요로 하고, 이것은 프로세서, 메모리 등의 하드웨어 자원의 확작을 필요로 한다.
따라서, 영상 보안을 위한 서비스 장치 구성시, 영상을 탐지하고 추적하는 기능의 최적화를 통해 소모 컴퓨팅 자원을 줄이고 이를 통해 영상 보안 장치의 규격 또한 낮춰서 영상 보안 서비스를 제공하기 위한 전체 비용을 감소시키기 위한 방안이 요구된다.
본 발명이 해결하고자 하는 과제는 영상 관제 시 객체 객체 탐지 및 추적의 효율을 높일 수 있는 객체 탐지 및 추적 장치 및 그 방법을 제공하는 것이다.
본 발명의 하나의 특징에 따른 객체 탐지 및 추적 장치는,
다수의 카메라에 의해 각각 촬영되어 수신되는 다수의 카메라 영상으로부터 객체를 추출하는 객체 추출부; 상기 객체 추출부에 의해 객체가 추출된 카메라 영상으로부터 객체의 메타 데이터를 추출하고, 상기 객체가 추출된 카메라 영상을 촬영한 제1 카메라를 기준으로, 상기 다수의 카메라 영상으로부터 상기 메타 데이터의 값이 일치하는 카메라 영상을 촬영한 적어도 하나의 제2 카메라를 주변 카메라로 설정하는 주변 카메라 설정부; 및 상기 주변 카메라 설정부에 의해 상기 다수의 카메라별로 각각 대응되는 주변 카메라가 설정된 후, 상기 객체 추출부에 의해 상기 다수의 카메라 영상으로부터 객체가 추출되는 경우, 객체가 추출된 카메라 영상을 촬영한 제3 카메라와, 상기 제3 카메라에 대응되어 상기 주변 카메라 설정부에 설정되어 있는 주변 카메라를 추적 영역으로 설정하여 객체를 추적하는 객체 추적부를 포함한다.
여기서, 상기 객체 추출부는, 사용자에 의해 입력되는 탐지 및 추적을 원하는 객체를 등록하는 객체 등록부; 상기 다수의 카메라 영상 중 객체의 등장으로 인해 카메라 영상이 변화되는 카메라 영상을 탐지하는 영상 변화 탐지부; 및 상기 다수의 카메라 영상 중 조도의 변화로 인해 카메라 영상이 변화되는 카메라 영상을 탐지하는 조도 변화 탐지부를 포함한다.
또한, 상기 주변 카메라 설정부는, 상기 객체 추출부에 의해 객체가 추출되는 카메라 영상을 분석하여 추출되는 객체의 메타 데이터를 추출하는 메타 데이터 추출부; 상기 객체 추출부에 의해 객체가 추출되는 경우, 상기 다수의 카메라 영상을 분석하여 상기 메타 데이터와 일치하는 메타 데이터를 포함하는 카메라 영상을 촬영한 상기 제2 카메라를 추출하는 영상 분석부; 및 상기 영상 분석부에 의해 추출되는 카메라를 상기 제1 카메라의 주변 카메라로 대응하여 설정하는 과정을 반복 수행하여, 상기 다수의 카메라별로 주변 카메라 설정을 학습시키는 주변 카메라 학습부를 포함한다.
또한, 상기 객체 추적부는, 상기 제1 카메라를 추적 카메라로 하고, 상기 제2 카메라를 탐지 카메라로 하여, 상기 제1 카메라와 상기 제2 카메라에 의한 촬영 영역을 추적 영역으로 설정하는 추적 영역 설정부; 및 상기 추적 영역 설정부에 의해 설정되는 추적 영역 내에서 객체를 추적하고, 객체가 상기 추적 영역 내에서 다른 카메라의 촬영 영역으로 이동하는 경우, 이동된 촬영 영역의 상기 제3 카메라를 기준으로 새로운 주변 카메라를 상기 주변 카메라 설정부로부터 획득하여 상기 추적 영역 설정부에 의해 새로운 추적 영역을 설정하도록 한 후 상기 새로운 추적 영역 내에서 객체의 추적을 계속 실행하는 추적 실행부를 포함한다.
또한, 상기 조도 변화 탐지부는 카메라 영상의 RGB값이 변동되는 것을 통해 카메라 영상의 조도 변화를 탐지한다.
또한, 상기 주변 카메라 설정부는 상기 주변 카메라 중에서 상기 메타 데이터의 값이 일치하는 카메라 영상이 촬영된 시간 순으로 상기 제1 카메라에 근접한 주변 카메라인 것으로 설정한다.
본 발명의 다른 특징에 따른 객체 탐지 및 추적 방법은,
다수의 카메라별로 대응되는 주변 카메라를 설정 학습시키는 단계; 상기 다수의 카메라에 의해 각각 촬영되어 수신되는 다수의 카메라 영상으로부터 객체를 추출하는 단계; 객체가 추출된 카메라 영상을 촬영한 제1 카메라와 상기 제1 카메라에 대응하여 설정되어 있는 주변 카메라인 제2 카메라를 추적 영역의 카메라로 설정하는 단계; 및 상기 추적 영역의 카메라를 통해 객체의 추적을 실행하는 단계를 포함한다.
여기서, 상기 설정 학습시키는 단계는, 상기 다수의 카메라 영상으로부터 객체를 추출하는 단계; 추출되는 객체의 메타 데이터를 추출하는 단계; 상기 다수의 카메라 영상으로부터 상기 메타 데이터의 값이 일치하는 카메라 영상을 촬영한 적어도 하나의 카메라를 주변 카메라로 설정하는 단계; 및 상기 객체를 추출하는 단계, 상기 메타 데이터를 추출하는 단계, 및 상기 주변 카메라를 설정하는 단계를 반복 수행하여, 상기 다수의 카메라별로 대응되는 주변 카메라 설정을 수행하는 단계를 포함한다.
또한, 상기 객체의 추적을 실행하는 단계는, 상기 추적 영역 내에서 객체의 이동으로 인해 객체를 추출하는 카메라가 변경되는 경우, 변경된 카메라와 상기 변경된 카메라에 대응되어 설정된 주변 카메라를 새로운 추적 영역의 카메라로 설정하는 단계; 및 상기 새로운 추적 영역의 카메라에 의한 영상 촬영에 의해 객체의 추적을 계속 실행하는 단계를 포함한다.
본 발명의 실시예에 따르면, 최초의 주변 카메라 설정 외에 적은 양의 컴퓨팅 파워로 객체를 탐지 및 추적 가능하게 된다. 즉, 객체 탐지 및 추적을 위한 가격 경쟁력이 향상된다.
또한, 객체를 탐지하고 추적하는 시간을 줄일 수 있다. 즉, 객체 탐지 및 추적을 위한 서비스 경쟁력이 향상된다.
또한, 100 채널 이상의 카메라를 운영하는 구축형 영상 보안 관제의 특성에서 여러 카메라에 각각 사람이 수동으로 주변 카메라를 설정하지 않아도 된다.
또한, 플랫폼 스스로 데이터를 축적하여 주변 카메라를 설정하기 때문에, 지능형 서비스를 제공 할 수 있다.
따라서, 영상 관제 시 객체 객체 탐지 및 추적의 효율을 높일 수 있다.
도 1은 본 발명의 실시예에 따른 객체 추적 장치의 구체적인 구성도이다.
도 2는 도 1에 도시된 객체 추출부의 구체적인 구성도이다.
도 3은 도 1에 도시된 주변 카메라 설정부의 구체적인 구성도이다.
도 4는 도 1에 도시된 객체 추적부(150)의 구체적인 구성도이다.
도 5는 본 발명의 실시예에 따른 객체 추적을 위한 주변 카메라 설정 학습 방법의 흐름도이다.
도 6은 본 발명의 실시예에 따른 객체 추적 방법의 흐름도이다.
도 7은 본 발명의 실시예에 따른 객체 추적 장치에서 다수의 카메라에 의해 촬영되는 영상을 다수의 디스플레이를 통해 각각 표시하는 예를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 객체 추적 방법에 의해 추적 영역이 설정되는 상황을 예시한 도면이다.
도 9는 도 8에서 설정된 추적 영역이 객체의 이동으로 인해 새로이 설정되는 상황을 예시한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 도면을 참고하여 본 발명의 실시예에 따른 다수의 카메라 영상에서 객체를 탐지하여 추적하는 장치 및 그 방법에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 객체 추적 장치의 구체적인 구성도이다.
도 1에 도시된 바와 같이, 객체 추적 장치(100)는 영상 수신부(110), 저장부(120), 객체 추출부(130), 주변 카메라 설정부(140), 객체 추적부(150) 및 영상 출력부(160)를 포함한다.
영상 수신부(110)는 본 발명의 실시예에 따라 객체를 탐지하여 추적하기 위한 영역에 설치된 다수의 카메라(200)에 의해 각각 촬영되는 영상을 수신한다. 이 때, 다수의 카메라(200)는 CCTV 카메라, IP 카메라 등일 수 있다.
저장부(120)는 영상 수신부(110)에 의해 수신되는 다수의 영상을 저장한다.
객체 추출부(130)는 영상 수신부(110)에 의해 수신되는 다수의 카메라 영상으로부터 객체를 추출한다. 여기서, 추출되는 객체는 사람 얼굴, 차량, 동물 등으로서, 이러한 객체에 대한 정보는 미리 등록되어 저장부(120)에 저장되어 있다.
객체 추출부(130)는 다수의 카메라 영상에서 객체가 나타나 영상의 뷰(view)가 변경되거나 또는 조도가 바뀌어 뷰가 변경되는 경우 객체가 추출된 것으로 판단하여 해당 영상에 대한 정보를 출력한다. 이 때, 객체 추출부(130)는 객체가 추출된 카메라 영상의 촬영된 시간도 함께 추출할 수 있다. 또한, 조도가 바뀌어 뷰가 변경되는 것은 조도가 바뀌어 뷰의 RGB값이 변동되는 것을 의미한다.
주변 카메라 설정부(140)는 객체 추출부(130)에 의해 추출된 객체의 메타 데이터를 추출하고, 모든 카메라 영상을 분석하여 추출한 메타 데이터의 값이 일치하는 카메라 영상을 추출하며, 추출된 카메라 영상들을 촬영한 카메라들을 객체가 추출된 카메라의 주변 카메라로 설정한다. 여기서, 주변 카메라로 설정되는 카메라들에 의해 영상이 촬영된 시간을 참조하여 시간 순으로 주변 카메라의 설정할 수 있다. 즉, 주변 카메라 중에서 촬영된 시간 순으로 객체가 추출된 카메라에 근접한 주변 카메라인 것으로 설정될 수 있다.
주변 카메라 설정부(140)는 객체가 추출된 카메라와 그 주변 카메라로 설정된 카메라 정보들을 저장부(120)에 상호 대응되도록 저장한다.
주변 카메라 설정부(140)는 상기한 객체 추출과 주변 카메라 설정 과정을 반복 학습하여 카메라별로 주변 카메라를 설정함으로써, 해당 카메라에 객체가 등장했을 때 다음에 주변 카메라로 설정된 카메라에 등장할 확률이 높아지므로 객체 탐지 및 추적의 효율을 높일 수 있다.
객체 추적부(150)는 주변 카메라 설정부(140)에 의해 카메라별로 주변 카메라가 설정된 후, 객체 추출부(130)에 의해 특정 카메라에서 객체 추출에 의해 객체가 탐지되는 경우, 객체가 탐지된 카메라를 기준으로 해당 카메라의 주변 카메라를 포함하여 객체 추적 영영으로 설정한다. 이 때, 객체가 탐지된 카메라는 객체를 추적하는 카메라로 설정되고, 그 주변 카메라들은 추후의 객체를 탐지하는 카메라들로 설정된다. 또한, 객체 추적부(150)에 의해 설정되는 객체 추적 영역을 구성하는 카메라 정보가 저장부(120)에 저장될 수 있다.
객체 추적부(150)는 객체가 탐지되는 카메라가 변경되는 경우 해당 객체가 탐지된 카메라와 그 카메라의 주변 카메라들로서 다시 새로운 객체 추적 영역을 재설정하면서 해당 객체에 대한 추적을 실행한다.
영상 출력부(160)는 영상 수신부(110)에 의해 수신되는 다수의 카메라 영상을 각각 대응되는 디스플레이(300)를 통해 영상으로 출력하여 표시한다. 예를 들어, 도 7에 도시된 바와 같이, 영상 출력부(160)가 9개의 디스플레이(300)를 통해 9개의 카메라(200)에 의해 촬영되는 영상을 각각 표시하고, 사용자는 이러한 디스플레이(300)를 통해 각 카메라(200)에 의해 촬영되는 영상을 통해 해당 구역을 관찰할 수 있다.
또한, 영상 출력부(160)는 객체 추적부(150)에 의해 객체가 탐지되어 객체 추적 영역을 설정하여 객체를 추적하는 상태를 각 카메라에 대응되는 디스플레이(300)를 통해 표시할 수 있다.
도 2는 도 1에 도시된 객체 추출부(130)의 구체적인 구성도이다.
도 2에 도시된 바와 같이, 객체 추출부(130)는 객체 등록부(131), 영상 변화 탐지부(132) 및 조도 변화 탐지부(133)를 포함한다.
객체 등록부(131)는 사용자에 의해 탐지 및 추적을 원하는 객체를 등록받아서 저장부(120)에 저장한다.
영상 변화 탐지부(132)는 카메라(200)에 의해 촬영된 카메라 영상 내에 객체가 나타나 영상의 뷰(view)가 변경되는 카메라 영상을 탐지하여 해당 카메라 영상에 대응되는 카메라의 정보를 출력한다.
조도 변화 탐지부(133)는 카메라(200)에 의해 촬영된 카메라 영상의 조도가 바뀌어 뷰가 변경되는 카메라 영상을 탐지하여 해당 카메라 영상에 대응되는 카메라의 정보를 출력한다.
이와 같이, 영상 변화 탐지부(132) 또는 조도 변화 탐지부(133)에 의해 탐지되는 카메라가 객체 추출부(130)에 의해 객체가 추출된 카메라로서 출력된다.
도 3은 도 1에 도시된 주변 카메라 설정부(140)의 구체적인 구성도이다.
도 3에 도시된 바와 같이, 주변 카메라 설정부(140)는 메타 데이터 추출부(141), 영상 분석부(142) 및 주변 카메라 학습부(143)를 포함한다.
메타 데이터 추출부(141)는 객체 추출부(130)에 의해 객체가 추출되는 카메라 영상을 분석하여 추출된 객체의 메타 데이터를 추출한다. 이러한 메타 데이터는 객체를 특정할 수 있는 속성 정보로서 설정될 수 있다.
영상 분석부(142)는 객체 추출부(130)에서 객체가 추출되는 경우, 영상 수신부(110)에 의해 수신되는 모든 카메라 영상을 분석하여, 메타 데이터 추출부(141)에서 추출되는 메타 데이터와 일치하는 메타 데이터를 포함하는 영상을 인지하고 인지되는 영상에 해당하는 카메라들을 추출한다.
주변 카메라 학습부(143)는 영상 분석부(142)에 의해 인지된 영상이 촬영된 시간과 매핑하여 영상 분석부(142)에 의해 추출된 카메라들을 객체 추출부(130)에서 객체가 추출된 카메라의 주변 카메라로 대응하여 설정한 후 저장부(120)에 저장하고, 객체 추출부(130)에 의한 객체 추출, 메타 데이터 추출부(141)에 의한 메타 데이터 추출, 영상 분석부(142)에 의한 주변 카메라 추출, 객체 추출부(130)에 의해 객체가 추출된 카메라에 대응되어 영상 분석부9142)에 의해 추출되는 주변 카메라 설정 등의 과정을 반복 학습하여 카메라(200)별로 주변 카메라를 설정함으로써 카메라(200)별로 객체가 추출된 가능성이 높은 주변 카메라 설정 효율을 향상시킨다.
도 4는 도 1에 도시된 객체 추적부(150)의 구체적인 구성도이다.
도 4에 도시된 바와 같이, 객체 추적부(150)는 추적 영역 설정부(151) 및 추적 실행부(153)를 포함한다.
추적 영역 설정부(151)는 주변 카메라 설정부(140)로부터 객체 추출부(130)에 의해 객체가 추출된 카메라에 대응하여 설정된 주변 카메라의 정보를 전달받아서 객체 추출부(130)에 의해 객체가 추출된 카메라와 주변 카메라 설정부(140)로부터 전달되는 주변 카메라를 추적 영역으로 설정하여 저장부(120)에 저장한다. 이 때, 객체 추출부(130)에 의해 객체가 추출된 카메라가 추적 카메라로 설정되고, 주변 카메라 설정부(140)로부터 전달되는 주변 카메라가 탐지 카메라로 설정된다. 즉, 객체를 탐지하여 추적하기 위한 추적 영역은 추적 카메라와 적어도 하나의 탐지 카메라로 설정된다.
추적 실행부(152)는 추적 영역 설정부(151)에 의해 설정된 추적 영역 내에서 객체가 다른 카메라가 촬영하는 구획으로 이동하는 경우, 즉, 추적 카메라에서 객체가 검출되지 않고 탐지 카메라 중에서 객체가 다시 검출되는 경우, 객체가 다시 검출된 카메라 정보를 사용하여 주변 카메라 설정부(140)로부터 주변 카메라 정보를 새로 전달받아서 객체가 다시 검출된 카메라와 주변 카메라 설정부(140)로부터 다시 전달받은 주변 카메라를 새로운 추적 영역으로 재설정하고, 재설정된 추적 영역을 통해 객체에 대한 추적을 실행한다. 이 때 재설정된 추적 영역 정보도 저장부(120)에 저장된다.
이하, 도면을 참조하여, 본 발명의 실시예에 따른 다수의 카메라 영상에서 객체를 탐지하여 추적하는 방법에 대해 설명한다.
먼저, 다수의 카메라 영상에서 객체를 추적하기 위한 추적 영역을 설정하기 위해 카메라별로 주변 카메라를 설정 학습하는 방법에 대해 설명한다.
도 5는 본 발명의 실시예에 따른 객체 추적을 위한 주변 카메라 설정 학습 방법의 흐름도이다.
도 5를 참조하면, 도 1에 도시된 바와 같은 객체 추적 장치(200)는 먼저 사용자에 의해 탐지 및 추적을 원하는 객체를 등록받아서 저장한다(S100). 여기서, 등록되는 객체의 정보는 저장부(120)에 저장되며, 이하 다양한 정보들이 저장되는 경우 이 때의 저장소는 저장부(120)가 될 것이므로 이하에서는 구체적으로 기재하지 않는다.
다음, 다수의 카메라(200)에 의해 촬영되는 다수의 카메라 영상 내에서 객체가 검출되는지를 판단하고(S110), 객체가 검출되면 객체가 검출된 카메라 영상에서 객체에 대한 메타 데이터를 추출한다(S120). 여기서, 객체의 검출은 카메라 영상에서 객체의 등장으로 인한 카메라 영상의 변화가 발생하거나 또는 조도의 변화로 인해 카메라의 뷰가 변경되는 경우에 발생된다.
그 후, 모든 카메라 영상을 분석하여 상기 단계(S120)에서 추출되는 메타 데이터의 값이 일치하는 카메라 영상을 추출하고(S130), 추출된 카메라 영상에 해당하는 카메라들을 객체가 추출된 카메라의 주변 카메라로 설정하여 저장한다(S140).
그 후, 주변 카메라 설정에 대한 학습이 종료되는지를 확인하고(S150), 종료되지 않으면, 종료될 때까지 촬영되는 카메라 영상들로부터 객체를 추출하여 주변 카메라를 설정하는 상기 단계(S110 내지 S140)를 반복 수행하여 주변 카메라 설정 학습을 계속 수행한다.
이와 같이, 본 발명의 실시예에 따른 객체 추적 방법에서는 객체가 검출된 카메라를 기준으로 동일한 객체가 검출된 카메라들을 주변 카메라로 설정하는 과정을 반복 수행하는 학습을 통해 후속으로 수행되는 객체 탐지 및 추적의 시간을 감소시킴으로써 객체 추적 효율을 향상시킬 수 있다.
다음, 다수의 카메라 영상에서 객체를 추적하는 방법에 대해 설명한다.
도 6은 본 발명의 실시예에 따른 객체 추적 방법의 흐름도이다.
먼저, 본 발명의 실시예에 따른 객체 추적 방법에서는, 도 5를 참조하여 설명한 객체 추적을 위한 주변 카메라 설정 학습이 수행된 것을 가정한다.
도 6을 참조하면, 다수의 카메라(200)에 의해 촬영되는 다수의 카메라 영상 내에서 객체가 검출되는지를 판단한다(S200).
객체가 검출되지 않으면 객체가 검출될 때까지 상기 단계(S200)가 반복 수행되지만, 만약 객체가 검출되면, 객체가 검출된 카메라에 대응하여 설정된 주변 카메라 정보를 획득한다(S210).
그리고, 객체가 검출된 카메라와 상기 단계(S210)에서 획득되는 주변 카메라를 사용하여 객체를 추적하기 위한 추적 영역을 설정한다(S220). 이 때, 추적 영역 중에서 객체가 검출된 카메라는 추적 카메라로 설정되고, 그 주변 카메라들은 탐지 카메라로 설정된다. 이러한 추적 카메라와 탐지 카메라의 설정은 해당 카메라들의 영상을 표시하는 디스플레이(300)를 통해 설정 내용이 표시될 수 있다. 예를 들어, 도 8을 참조하면, 객체가 추출된 카메라, 즉 추적 카메라에 의해 촬영된 영상을 표시하는 디스플레이(310)가 추적 카메라의 영상으로 표시되어 해당 영상을 촬영한 카메라에 의해 객체가 검출된 것을 알 수 있다. 도면에서는 해당 영상에 대해 추적 카메라에 의해 촬영된 영상임을 알 수 있도록 "추적"이라고 큰 문자로 표시하였으나, 이는 설명을 위한 것으로, 실질적으로는 촬영 영상을 볼 수 있도록 작은 문자, 색깔 표시, 점멸 표시 등을 통해 표시할 수 있다.
또한, 도 8을 참조하면, 추적 카메라의 영상이 표시된 후, 그 추적 카메라를 기준으로 설정된 주변 카메라에 대해서도 해당 주변 카메라에 의해 촬영된 영상을 표시하는 디스플레이(321, 322, 323)를 통해 주변 카메라를 탐지 카메라로 설정한 내용이 표시될 수 있다. 도 8의 예를 참조하면, 상기한 "추적"의 표시와 마찬가지로, 주변 카메라(321, 322, 323)에 의해 촬영된 영상임을 알 수 있도록 "탐지"라고 표시되어 있다. 이러한 문자 표시도 상기한 "추적"의 경우와 같이 다른 표현을 통해 표시될 수 있다.
이와 같이, 본 발명의 실시예에서는 특정 카메라에 의해 객체가 검출되면, 객체가 검출된 카메라를 추적 카메라로 하고, 추적 카메라의 주변 카메라를 탐지 카메라로 설정하여 추적 영역을 신속하게 설정하여 객체를 추적함으로써 객체 탐지 및 추적하는 시간을 매우 효과적으로 줄일 수 있다.
한편, 상기한 바와 같이, 추적 영역이 설정된 후, 추적 카메라에서 객체가 주변 카메라인 탐지 카메라 구역으로 이동하여 결과적으로 객체의 추적 위치가 변경되는지를 판단한다(S230).
객체가 추적 카메라의 구역에서 다른 카메라의 구역으로 이동하지 않아서 추적 위치가 변경되지 않는 경우에는 상기한 추적 영역에서의 객체 추적이 계속 수행되지만, 만약 객체가 추적 카메라의 구역에서 다른 주변 카메라의 구역으로 이동하여 결과적으로 추적 위치가 변경되는 경우, 객체가 이동하여 위치하게 되는 주변 카메라, 즉 새로운 객체 검출 카메라를 인지하고, 인지되는 새로운 객체 검출 카메라에 대응되어 설정되어 있는 새로운 주변 카메라 정보를 획득한 후, 새로운 객체 검출 카메라와 새로운 주변 카메라 정보를 사용하여 새로운 추적 영역을 설정하여 새로운 추적 영역을 통해서 객체를 계속 추적하는 단계(S210, S220, S230)를 수행한다.
예를 들면, 도 8에서 추적 영역이, 추적 카메라(310)와 주변 카메라(321, 322, 323)에 의해 설정되어 객체 추적이 수행되는 중에, 객체가 추적 카메라(310)에서 주변 카메라(322)로 이동하는 경우, 도 9에 도시된 바와 같이, 주변 카메라(322)에서 해당 객체가 검출되었으므로, 주변 카메라(322)가 새로운 객체 검출 카메라(322)가 되고, 이 새로운 객체 검출 카메라(322)의 주변 카메라(331, 332, 323)가 새로운 주변 카메라로 되어, 객체의 이동으로 인해, 새로운 객체 검출 카메라(322)가 새로운 추적 카메라로 되고, 새로운 주변 카메라(331, 332, 323)가 새로운 탐지 카메라로 되어 새로운 추적 영역을 설정한 후, 이 새로운 추적 영역을 통해 객체의 추적이 계속 수행된다.
이와 같이, 본 발명의 실시예에 따른 객체 추적 방법에 따르면, 추적 영역 내에서 객체가 이동하더라도 이동된 영역의 주변 카메라를 새로이 설정하여 추적 영역이 신속하게 설정함으로써 객체를 추적하는 시간을 줄일 수 있는 것은 물론 객체 탐지 및 추적의 효율 또한 향상시킬 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (9)

  1. 다수의 카메라에 의해 각각 촬영되어 수신되는 다수의 카메라 영상으로부터 객체를 추출하는 객체 추출부;
    상기 객체 추출부에 의해 객체가 추출된 카메라 영상으로부터 객체의 메타 데이터를 추출하고, 상기 객체가 추출된 카메라 영상을 촬영한 제1 카메라를 기준으로, 상기 다수의 카메라 영상으로부터 상기 메타 데이터의 값이 일치하는 카메라 영상을 촬영한 적어도 하나의 제2 카메라를 주변 카메라로 설정하는 주변 카메라 설정부; 및
    상기 주변 카메라 설정부에 의해 상기 다수의 카메라별로 각각 대응되는 주변 카메라가 설정된 후, 상기 객체 추출부에 의해 상기 다수의 카메라 영상으로부터 객체가 추출되는 경우, 객체가 추출된 카메라 영상을 촬영한 제3 카메라와, 상기 제3 카메라에 대응되어 상기 주변 카메라 설정부에 설정되어 있는 주변 카메라를 추적 영역으로 설정하여 객체를 추적하는 객체 추적부
    를 포함하는 객체 탐지 및 추적 장치.
  2. 제1항에 있어서,
    상기 객체 추출부는,
    사용자에 의해 입력되는 탐지 및 추적을 원하는 객체를 등록하는 객체 등록부;
    상기 다수의 카메라 영상 중 객체의 등장으로 인해 카메라 영상이 변화되는 카메라 영상을 탐지하는 영상 변화 탐지부; 및
    상기 다수의 카메라 영상 중 조도의 변화로 인해 카메라 영상이 변화되는 카메라 영상을 탐지하는 조도 변화 탐지부
    를 포함하는, 객체 탐지 및 추적 장치.
  3. 제1항에 있어서,
    상기 주변 카메라 설정부는,
    상기 객체 추출부에 의해 객체가 추출되는 카메라 영상을 분석하여 추출되는 객체의 메타 데이터를 추출하는 메타 데이터 추출부;
    상기 객체 추출부에 의해 객체가 추출되는 경우, 상기 다수의 카메라 영상을 분석하여 상기 메타 데이터와 일치하는 메타 데이터를 포함하는 카메라 영상을 촬영한 상기 제2 카메라를 추출하는 영상 분석부; 및
    상기 영상 분석부에 의해 추출되는 카메라를 상기 제1 카메라의 주변 카메라로 대응하여 설정하는 과정을 반복 수행하여, 상기 다수의 카메라별로 주변 카메라 설정을 학습시키는 주변 카메라 학습부
    를 포함하는, 객체 탐지 및 추적 장치.
  4. 제1항에 있어서,
    상기 객체 추적부는,
    상기 제1 카메라를 추적 카메라로 하고, 상기 제2 카메라를 탐지 카메라로 하여, 상기 제1 카메라와 상기 제2 카메라에 의한 촬영 영역을 추적 영역으로 설정하는 추적 영역 설정부; 및
    상기 추적 영역 설정부에 의해 설정되는 추적 영역 내에서 객체를 추적하고, 객체가 상기 추적 영역 내에서 다른 카메라의 촬영 영역으로 이동하는 경우, 이동된 촬영 영역의 상기 제3 카메라를 기준으로 새로운 주변 카메라를 상기 주변 카메라 설정부로부터 획득하여 상기 추적 영역 설정부에 의해 새로운 추적 영역을 설정하도록 한 후 상기 새로운 추적 영역 내에서 객체의 추적을 계속 실행하는 추적 실행부
    를 포함하는, 객체 탐지 및 추적 장치.
  5. 제2항에 있어서,
    상기 조도 변화 탐지부는 카메라 영상의 RGB값이 변동되는 것을 통해 카메라 영상의 조도 변화를 탐지하는, 객체 탐지 및 추적 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 주변 카메라 설정부는 상기 주변 카메라 중에서 상기 메타 데이터의 값이 일치하는 카메라 영상이 촬영된 시간 순으로 상기 제1 카메라에 근접한 주변 카메라인 것으로 설정하는, 객체 탐지 및 추적 장치.
  7. 객체를 탐지하여 추적하는 방법으로서,
    다수의 카메라별로 대응되는 주변 카메라를 설정 학습시키는 단계;
    상기 다수의 카메라에 의해 각각 촬영되어 수신되는 다수의 카메라 영상으로부터 객체를 추출하는 단계;
    객체가 추출된 카메라 영상을 촬영한 제1 카메라와 상기 제1 카메라에 대응하여 설정되어 있는 주변 카메라인 제2 카메라를 추적 영역의 카메라로 설정하는 단계; 및
    상기 추적 영역의 카메라를 통해 객체의 추적을 실행하는 단계
    를 포함하는 객체 탐지 및 추적 방법.
  8. 제7항에 있어서,
    상기 설정 학습시키는 단계는,
    상기 다수의 카메라 영상으로부터 객체를 추출하는 단계;
    추출되는 객체의 메타 데이터를 추출하는 단계;
    상기 다수의 카메라 영상으로부터 상기 메타 데이터의 값이 일치하는 카메라 영상을 촬영한 적어도 하나의 카메라를 주변 카메라로 설정하는 단계; 및
    상기 객체를 추출하는 단계, 상기 메타 데이터를 추출하는 단계, 및 상기 주변 카메라를 설정하는 단계를 반복 수행하여, 상기 다수의 카메라별로 대응되는 주변 카메라 설정을 수행하는 단계
    를 포함하는, 객체 탐지 및 추적 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 객체의 추적을 실행하는 단계는,
    상기 추적 영역 내에서 객체의 이동으로 인해 객체를 추출하는 카메라가 변경되는 경우, 변경된 카메라와 상기 변경된 카메라에 대응되어 설정된 주변 카메라를 새로운 추적 영역의 카메라로 설정하는 단계; 및
    상기 새로운 추적 영역의 카메라에 의한 영상 촬영에 의해 객체의 추적을 계속 실행하는 단계
    를 포함하는, 객체 탐지 및 추적 방법.
KR1020170082067A 2017-06-28 2017-06-28 객체 탐지 및 추적 장치 및 그 방법 KR20190001873A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170082067A KR20190001873A (ko) 2017-06-28 2017-06-28 객체 탐지 및 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170082067A KR20190001873A (ko) 2017-06-28 2017-06-28 객체 탐지 및 추적 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20190001873A true KR20190001873A (ko) 2019-01-07

Family

ID=65016836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082067A KR20190001873A (ko) 2017-06-28 2017-06-28 객체 탐지 및 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20190001873A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102270858B1 (ko) * 2021-04-08 2021-06-29 주식회사 코앨 객체 추적을 위한 cctv 카메라 시스템
US11956530B2 (en) 2020-04-17 2024-04-09 Samsung Electronics Co., Ltd. Electronic device comprising multi-camera, and photographing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11956530B2 (en) 2020-04-17 2024-04-09 Samsung Electronics Co., Ltd. Electronic device comprising multi-camera, and photographing method
KR102270858B1 (ko) * 2021-04-08 2021-06-29 주식회사 코앨 객체 추적을 위한 cctv 카메라 시스템

Similar Documents

Publication Publication Date Title
CN110232369B (zh) 一种人脸识别方法和电子设备
US11790553B2 (en) Method and apparatus for detecting target object, electronic device and storage medium
CN108665476B (zh) 一种行人跟踪方法以及电子设备
US11861810B2 (en) Image dehazing method, apparatus, and device, and computer storage medium
US8948452B2 (en) Image processing apparatus and control method thereof
US9767387B2 (en) Predicting accuracy of object recognition in a stitched image
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
KR102297217B1 (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
JP2016134803A (ja) 画像処理装置及び画像処理方法
CN106651797B (zh) 一种信号灯有效区域的确定方法和装置
JP2019079357A (ja) 所定画像領域をマスクした撮影映像を学習映像として選択する学習映像選択装置、プログラム及び方法
CN110866473B (zh) 目标对象的跟踪检测方法及装置、存储介质、电子装置
TW201448585A (zh) 利用行動電話及雲端可視化搜尋引擎之即時物體掃描
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
KR20190001873A (ko) 객체 탐지 및 추적 장치 및 그 방법
CN111428740A (zh) 网络翻拍照片的检测方法、装置、计算机设备及存储介质
CN106910207B (zh) 用于识别图像局部区域的方法、装置及终端设备
JP6669390B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
US10909379B2 (en) Image processing apparatus and method, and storage medium storing instruction
JP2000030033A (ja) 人物検出方法
CN113469138A (zh) 对象检测方法和装置、存储介质及电子设备
US20150169088A1 (en) Interactive writing device and operating method thereof using adaptive color identification mechanism
JP2016152467A (ja) 追尾装置、追尾方法及び追尾プログラム
US11037015B2 (en) Identification of key points in multimedia data elements