KR20240054043A - 영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템 - Google Patents

영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템 Download PDF

Info

Publication number
KR20240054043A
KR20240054043A KR1020220134301A KR20220134301A KR20240054043A KR 20240054043 A KR20240054043 A KR 20240054043A KR 1020220134301 A KR1020220134301 A KR 1020220134301A KR 20220134301 A KR20220134301 A KR 20220134301A KR 20240054043 A KR20240054043 A KR 20240054043A
Authority
KR
South Korea
Prior art keywords
image
tracking
unit
identification unit
imaging device
Prior art date
Application number
KR1020220134301A
Other languages
English (en)
Inventor
민동기
박민우
홍은재
Original Assignee
에이치디한국조선해양 주식회사
에이치디현대중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치디한국조선해양 주식회사, 에이치디현대중공업 주식회사 filed Critical 에이치디한국조선해양 주식회사
Priority to KR1020220134301A priority Critical patent/KR20240054043A/ko
Publication of KR20240054043A publication Critical patent/KR20240054043A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 추적이 가능한 영상 처리 기법 및 이를 적용한 객체 위치 연계 CCTV 시스템을 제공하는 것으로, 일실시예에서, 제1 영상장치가 촬영한 제1 영상과 제2 영상장치가 촬영한 제2 영상이 통합서버에 송신되어 저장되는 저장단계, 상기 통합서버 내의 객체식별부가 상기 제1 영상장치가 촬영한 제1 객체와 상기 제2 영상장치가 촬영한 제2 객체를 식별하고, 추적필터를 적용하여 추적하는 추적단계, 객체분석부가 상기 객체식별부로부터 상기 제1 객체 및 제2 객체의 정보를 전달받아 상기 제1 객체 및 제2 객체 사이의 유사도를 판단하여, 상기 객체분석부가 상기 제1 객체 및 제2 객체가 유사하다고 판단되면 상기 객체식별부에 추적신호를 전달하는 분석단계 및 상기 추적신호를 전달받은 상기 객체식별부가 상기 제1 객체 및 제2 객체에 대하여 동일한 트랙킹 아이디를 부여하는 연계단계를 포함하는 영상 처리 기법을 제공한다.

Description

영상 처리 기법 및 이를 적용한 객체 위치 연계 CCTV 시스템{IMAGE PROCESSING TECHNIQUE AND CCTV SYSTEM RELATED TO OBJECT LOCATION APPLYING IT}
본 발명은 객체 추적이 가능한 영상 처리 기법 및 이를 적용한 객체 위치 연계 CCTV 시스템에 관한 것이다.
CCTV(Closed Circuit Television) 시스템은 CCTV용 카메라에서 촬영된 화상정보를 특정 소수의 수신자를 대상으로 화상정보를 전송하고, 전송된 화상정보를 통해서 특정 소수의 사용자가 원하는 정보를 획득하여 감시하고자 하는 지역을 관찰할 수 있도록 영상으로 디스플레이하는 텔레비전 방식을 말한다.
CCTV 시스템은 용도에 따라 디스플레이되는 영상을 저장하도록 할 수 있고, 화상의 송수신은 유선 또는 무선으로 연결되며 수신대상자 이외의 사용자는 임의로 수신할 수 없도록 되어 있어 폐쇄회로 텔레비전으로도 불리우고 있으며, 원거리의 관찰 보이지 않는 영역의 관찰 또는 특정지역을 집중 감시하기 위하여 사용되고 있다. 이때, CCTV 시스템은 복수대의 CCTV용 카메라가 인접지역을 관찰할 수 있으며, 각각의 CCTV용 카메라로 촬영한 영상을 수신하여 객체(사람, 차량 등)을 식별하고, 정보를 공유하여 객체를 추적할 수 있다.
다만, 종래의 추적 시스템은 CCTV 개별 영상에서 객체의 추적 정보를 활용하기 때문에, 동시간으로 촬영하고 있는 다른 CCTV 영상의 추적 정보를 연계할 수 없다는 문제가 있다.
(특허문헌 1) KR10-2376479
본 발명은 위와 같은 문제를 해결하기 위한 것으로, 객체 추적이 가능한 영상 처리 기법 및 이를 적용한 객체 위치 연계 CCTV 시스템을 제공하는 것을 목적으로 한다.
본 발명은 위와 같은 목적을 달성하기 위하여 다음과 같은 영상 처리 기법 및 이를 적용한 객체 위치 연계 CCTV 시스템을 제공한다.
본 발명은 일실시예에서, 제1 영상장치가 촬영한 제1 영상과 제2 영상장치가 촬영한 제2 영상이 통합서버에 송신되어 저장되는 저장단계, 상기 통합서버 내의 객체식별부가 상기 제1 영상장치가 촬영한 제1 객체와 상기 제2 영상장치가 촬영한 제2 객체를 식별하고, 추적필터를 적용하여 추적하는 추적단계, 객체분석부가 상기 객체식별부로부터 상기 제1 객체 및 제2 객체의 정보를 전달받아 상기 제1 객체 및 제2 객체 사이의 유사도를 판단하여, 상기 객체분석부가 상기 제1 객체 및 제2 객체가 유사하다고 판단되면 상기 객체식별부에 추적신호를 전달하는 분석단계 및 상기 추적신호를 전달받은 상기 객체식별부가 상기 제1 객체 및 제2 객체에 대하여 동일한 트랙킹 아이디를 부여하는 연계단계를 포함하는 영상 처리 기법을 제공한다.
일실시예에서, 상기 추적단계는 상기 객체식별부가 상기 제1 영상 및 제2 영상에서 상기 제1 객체 및 제2 객체의 추적을 개별적으로 수행할 수 있다.
일실시예에서, 상기 추적단계 이전에 수행되며, 상기 통합서버 내의 영상정합부가 상기 제1 영상 및 제2 영상을 정합하여 정합영상을 생성하는 정합단계를 더 포함할 수 있다.
일실시예에서, 상기 추적단계는 상기 정합영상에 대하여 상기 제1 객체 및 제2 객체의 추적이 동시에 수행될 수 있다.
일실시예에서, 상기 연계단계 이후, 모니터부가 상기 통합서버로부터 추적 처리된 상기 제1 영상 및 제2 영상을 전달받아 사용자에게 제공하는 디스플레이 단계를 더 포함하며, 상기 모니터부는 상기 제1 영상을 디스플레이하는 제1 모니터와 상기 제2 영상을 디스플레이하는 제2 모니터를 포함하며 상기 제1 모니터 및 제2 모니터는 상기 제1 객체 및 제2 객체에 대하여 상기 동일한 트랙킹 아이디를 디스플레이할 수 있다.
일실시예에서, 상기 추적필터는 SORT(Simple Online and Real-Time Tracking) 알고리즘을 통하여 상기 제1 객체 및 제2 객체를 추적할 수 있다.
본 발명은 일실시예에서, 제1 영상을 촬영하는 제1 영상장치와 제2 영상을 촬영하는 제2 영상장치를 포함하는 카메라부, 상기 카메라부로부터 상기 제1 영상 및 제2 영상을 전달받아 저장하는 저장부, 상기 제1 영상 및 제2 영상에 촬영된 객체들을 추적하는 객체식별부와 상기 객체식별부로부터 정보를 전달받아 상기 객체들 간의 유사도를 판단하는 객체분석부를 포함하는 통합서버, 상기 통합서버로부터 전달받은 영상을 디스플레이하는 모니터부를 포함하며, 상기 객체분석부는 상기 제1 영상에서 촬영된 제1 객체와 상기 제2 영상에서 촬영된 제2 객체 사이의 유사도를 판단하며, 상기 제1 객체 및 제2 객체가 유사하다고 판단될 경우, 상기 객체식별부에 추적신호를 전송하며, 상기 객체식별부는 상기 추적신호를 전달받아 상기 제1 객체 및 제2 객체에 대하여 동일한 트랙킹 아이디를 부여하고, 상기 모니터부는 상기 제1 객체 및 제2 객체에 대하여 상기 동일한 트랙킹 아이디를 디스플레이하는 것을 특징으로 하는 객체 위치 연계 CCTV 시스템을 제공한다.
일실시예에서, 상기 객체식별부는 SORT 알고리즘이 적용된 추적필터를 통하여 상기 제1 객체 및 제2 객체를 추적할 수 있다.
일실시예에서, 상기 통합서버는 상기 저장부 내에 저장된 영상들을 정합하여 정합영상을 생성하는 영상정합부를 더 포함하며 상기 객체식별부는 상기 정합영상에 대하여 상기 객체들을 식별할 수 있다.
본 발명은 복수의 CCTV 영상 간의 추적 정보 연계가 가능하며, 영상 정합에 의하여 추적 시간을 단축할 수 있는 영상 처리 기법 및 이를 적용한 객체 위치 연계 CCTV 시스템을 제공할 수 있다.
도 1은 종래의 영상 처리 기법에 의한 제1 영상 및 제2 영상을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 객체 위치 연계 CCTV 시스템의 구성도이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 기법의 순서도이다.
도 4는 본 발명의 일실시예에 따른 분석단계를 구체적으로 설명하기 위한 순서도이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 기법에 의한 제1 영상 및 제2 영상을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 다른 실시예에 따른 영상 처리 기법에 의한 제1 영상 및 제2 영상을 개략적으로 나타낸 도면이다.
이하에서는 첨부된 도면을 참고로 하여, 본 발명의 구체적인 실시예에 대하여 설명하도록 한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경 또는 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상의 범위 내에 포함된다고 할 것이다.
아울러, 명세서 전체에서, 어떤 구성이 다른 구성과 '연결'되어 있다 함은 이들 구성들이 '직접적으로 연결'되어 있는 경우뿐만 아니라, 다른 구성을 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함하는 것을 의미한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
또한, 본 발명을 설명함에 있어, '~ 부' 또는 '유닛'은 다양한 방식, 예를 들면 프로세서, 프로세서에 의해 수행되는 프로그램 명령들, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 프로그램 생성물, 로직 회로, 애플리케이션 전용 집적 회로, 펌웨어 등에 의해 구현될 수 있다.
본 출원의 실시예에 개시된 방법의 내용은 하드웨어 프로세서로 직접 구현될 수 있으며, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합으로 구현되어 수행 완성될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능 프로그래머블 메모리, 레지스터 등과 같은 종래의 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리에 위치하며, 프로세서는 메모리에 저장된 정보를 판독하여, 그 하드웨어와 결합하여 상술한 방법의 내용을 완성한다. 중복되는 것을 방지하기 위해, 여기서는 상세한 설명을 생략한다.
구현 과정에서, 상술한 방법의 각 내용은 프로세서 중 하드웨어의 논리 집적 회로 또는 소프트웨어 형태의 인스트럭션에 의해 완성될 수 있다. 본 출원의 실시예에 개시된 방법의 내용은 하드웨어 프로세서로 직접 구현될 수 있으며, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합으로 구현되어 수행 완성될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능 프로그래머블 메모리, 레지스터 등과 같은 종래의 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리에 위치하며, 프로세서는 메모리에 저장된 정보를 판독하여, 그 하드웨어와 결합하여 상술한 방법의 내용을 완성한다.
즉, 본 분야에서 통상의 지식을 가진 자들은, 본 명세서에서 개시한 실시예에서 설명하는 각 예시적인 유닛 및 알고리즘 단계를 결합하여, 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 결합으로 실현할 수 있음을 알 수 있다. 이러한 기능을 하드웨어 방식으로 수행할 것인지 아니면 소프트웨어 방식으로 수행할 것인지는, 기술방안의 특정 응용과 설계 제약 조건에 의해 결정된다. 통상의 지식을 가진 자들은 특정된 응용 각각에 대해 서로 다른 방법을 사용하여 설명한 기능을 실현할 수 있지만, 이러한 실현은 본 출원의 범위를 벗어난 것으로 간주되어서는 안된다.
본 출원에서 제공하는 몇 개의 실시예에서, 이해해야 할 것은 개시된 장치와 방법은 기타 방식을 통해 실현될 수 있다. 예를 들어, 위에서 설명한 장치 실시예는 단지 예시적인 것으로서, 예를 들어, 상기 유닛의 구분은 단지 일종 논리적 기능 구분으로서, 실제 실현 시 기타의 구분 방식이 존재할 수 있으며, 예를 들어, 복수의 유닛 또는 어셈블리는 다른 하나의 시스템에 결합되거나 집적될 수 있고, 또는 일부 특징은 무시하거나 수행하지 않을 수 있다. 다른 한편, 표시되거나 논의되는 서로 사이의 커플링 또는 직접적인 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접적인 커플링 또는 통신 연결일 수 있고, 전기적, 기계적 또는 기타 형태일 수 있다.
위에서 분리된 부품으로서 설명된 유닛은 물리적으로 분리된 것일 수 있고, 유닛으로서 표시되는 부품은 물리적 유닛이거나 아닐 수 있는 바, 즉 한 곳에 위치하거나 복수의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 따라 그 중 일부 또는 모든 유닛을 선택하여 본 실시예의 방안의 목적을 실현할 수 있다.
즉, 본 출원의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 집적될 수 있고, 각 유닛이 단독으로 존재할 수도 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수도 있다.
상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로서 판매되거나 사용될 경우, 하나의 컴퓨터 판독 가능 저장매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 기술방안에서 본질적으로 또는 선행기술에 대해 기여한 부분 또는 상기 기술방안의 일부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장매체에 저장되며, 약간의 인스트럭션을 포함하여 하나의 컴퓨터 장치(개인 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 출원의 각 실시예에서 설명하는 방법의 전부 또는 일부 단계를 수행하도록 한다. 상술한 저장매체는 USB 메모리, 모바일 하드디스크, 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 시디롬 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
도 1은 종래의 영상 처리 기법에 의한 제1 영상(10) 및 제2 영상(20)을 개략적으로 나타내고 있다.
CCTV 시스템은 제1 영상장치(110, 도 2 참조)와 제2 영상장치(120, 도 2 참조)를 포함하며, 상기 제1 영상장치(110, 도 2 참조) 및 제2 영상장치(120, 도 2 참조)는 도로의 인접지역을 나누어서 각각 촬영하고 있다. 도 1은 상기 제1 영상장치(110, 도 2 참조)가 촬영하는 제1 영상(10)과 상기 제2 영상장치(120, 도 2 참조)가 촬영하는 제2 영상(20)을 각각 도시하고 있으며, 이때, 시간순으로 상기 제1 영상(10)은 상기 제1-1 프레임(10a)과 상기 제1-2 프레임(10b)을 포함하며, 상기 제2 영상(20)은 상기 제2-1 프레임(20a)과 상기 제2-2 프레임(20b)을 포함한다.
도 1에 도시되어 있듯이, 종래 CCTV 시스템은 상기 제1-1 프레임(10a)에서 제1 차량(C1)을 인식하고 제1 아이디(ID1)를 부여할 수 있으며, 상기 제2-1 프레임(20a)에는 차량이 나타나 있지 않다. 시간이 지나 상기 제1 차량(C1)이 이동하여 상기 제1 영상(10)에서 사라지고 상기 제2 영상(20)에 나타날 수 있다. 이때, 종래의 CCTV 시스템은 각각의 개별영상(10, 20)에서 객체들을 인식하므로, 상기 제2 영상(20)에서 제2 차량(C2)이 상기 제1 차량(C1)보다 먼저 촬영된 경우 상기 제1 아이디(ID1)를 부여받을 수 있고, 상기 제1 차량(C1)은 제2 아이디(ID2)를 부여받을 수 있다. 즉, 상기 제1 차량(C1)은 상기 제1-1 프레임(10a)에서 제1 아이디(ID1)로 디스플레이될 수 있으나, 상기 제2-2 프레임(20b)에서는 제2 아이디(ID2)로 디스플레이될 수 있다.
이처럼 종래의 CCTV 시스템은 각각의 영상장치(110, 120, 도 2 참조)를 통해 촬영된 영상(10, 20)에서 개별적으로 객체를 추적하며, 상기 복수개의 영상장치 간 추적 정보를 연계하지 않으므로, 상기 제1 영상(10)에서의 제1 차량(C1)은 제1 아이디(ID1)로 인식되는 반면, 상기 제2 영상(20)에서의 제1 차량(C1)은 제2 아이디로(ID2)로 인식되는 경우가 발생할 수 있다.
본 발명은 위와 같은 문제점을 인식한 것으로, 본 발명은 복수개의 CCTV 영상 간 추적 정보를 연계할 수 있는 영상 처리 기법 및 이를 적용한 객체 위치 연계 CCTV 시스템을 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 객체 위치 연계 CCTV 시스템의 구성도이다. 도 2를 참조하여 본 발명의 일실시예에 따른 객체 위치 연계 CCTV 시스템에 대하여 설명한다.
본 발명의 일실시예에 따른 객체 위치 연계 CCTV 시스템은 영상을 촬영하여 획득하는 카메라부(100), 촬영된 영상들을 저장하고 처리하는 통합서버(200) 및 처리된 영상들을 사용자에게 디스플레이하는 모니터부(300)로 구성된다. 상기 카메라부(100)는 복수개의 영상장치를 포함할 수 있으며, 예를 들어, 제1 영상(10, 도 5 참조)을 촬영하는 제1 영상장치(110)와 제2 영상(20, 도 5 참조)을 촬영하는 제2 영상장치(120)를 포함할 수 있다. 이때, 상기 카메라부(100)는 제3 영상(미도시)을 촬영하는 제3 영상장치(미도시), 제4 영상(미도시)을 촬영하는 제4 영상장치(미도시)를 더 포함할 수 있고, 본 명세서에서는 상기 제1 영상장치(110) 및 제2 영상장치(120)에서 촬영하는 상기 제1 영상(10, 도 5 참조) 및 제2 영상(20, 도 5 참조)으로 설명하나, 복수개의 영상장치와 복수개의 영상이 적용될 수 있음은 물론이다.
상기 통합서버(200)는 저장부(210), 객체식별부(220), 객체분석부(230) 및 영상정합부(240)를 포함하며, 상기 카메라부(200)에서 촬영되어 획득된 영상들을 전달받아 저장 및 처리할 수 있다. 보다 구체적으로, 상기 저장부(210)는 상기 카메라부(100)에서 촬영된 영상들을 전달받아 저장하며, 상기 객체식별부(220)는 저장된 상기 영상에 촬영된 객체들을 인공지능에 기반하여 식별하고 추적필터를 적용하여 추적하며, 상기 객체분석부(230)는 상기 객체식별부(220)로부터 상기 객체들의 정보를 전달받아 상기 객체들 간의 유사도를 판단할 수 있다. 이때, 상기 객체분석부(230)는 상기 객체들 중 유사하다고 판단될 경우 상기 객체식별부(220)에 상기 객체들 중 일부가 유사하다는 추적신호를 전송할 수 있고, 상기 객체식별부(220)는 상기 추적신호를 전달받아 유사하다고 판단된 상기 객체들 중 일부에게 동일한 트랙킹 아이디를 부여할 수 있다.
이때, 상기 객체식별부(220)는 SORT(Simple Online and Real-Time Tracking) 알고리즘이 적용된 추적필터를 통하여 상기 객체들을 추적할 수 있다. 예를들어, 상기 객체식별부(220)는 상기 영상들에서 촬영된 객체들의 속도를 칼만 필터(Kalman Filter)로 추정하여 다음 프레임에서 객체의 위치를 예측할 수 있다. 따라서, 상기 객체들이 이동함에 따라 상기 제1 영상장치(110)의 촬영지역에서 벗어나더라도 일정 시간동안 상기 객체들의 추적 정보를 저장하고 예측할 수 있다. 이에 의하여, 상기 객체식별부(220)는 각각의 개별영상에서 객체들의 추적이 개별적으로 수행될 수 있다.
상기 모니터부(300)는 상기 통합서버(200)로부터 전달받은 영상들을 사용자에게 디스플레이한다. 이때, 상기 모니터부(300)는 상기 제1 영상장치(110)에서 촬영된 영상을 디스플레이하는 제1 모니터(310)와 상기 제2 영상장치(120)에서 촬영된 영상을 디스플레이하는 제2 모니터(320)를 포함한다. 이때, 상기 모니터부(300)는 각각의 영상장치(110, 120)에서 촬영된 영상을 곧바로 디스플레이할 수 있으며, 본 발명의 일실시예에 따른 객체 위치 연계 CCTV 시스템은 상기 모니터부(300)가 상기 통합서버(200)에서 추적 처리된 영상을 전달받아 디스플레이할 수 있다. 따라서, 상기 제1 모니터(310) 및 제2 모니터(320)는 각각의 영상장치(110, 120)에서 촬영된 영상을 개별적으로 디스플레이 하되, 유사하다고 판단된 객체들에 대해서는 상기 동일한 트랙킹 아이디를 부여할 수 있다.
나아가, 상기 통합서버(200)는 상기 저장부(210) 내에 저장된 영상들을 정합하여 정합영상을 생성하는 영상정합부(240)를 더 포함할 수 있다. 상기 영상정합부(240)는 각각의 영상장치(110, 120)에서 촬영된 영상들을 2차원 또는 3차원에서 좌표로 변환시킬 수 있으며, 예를 들어, 상기 영상정합부(240)는 Affine transform 또는 Perspective transform을 통해 영상을 좌표로 변환시킬 수 있다. 이에 의하여 변환된 좌표들에서 매칭(matching)되는 특징점을 찾아 연결하여 영상을 정합하여 정합영상을 생성할 수 있으며, 예를들어, SIFT(Scale-Invariant Feature Transform), SURF(Speeded-UP Robust Features), FAST(Features from Accelerated Segment Test), ORB(Oriented FAST and Rotated BRIEF) 등의 기법을 사용하여 정합영상을 생성할 수 있다. 즉, 상기 객체식별부(220)는 상기 정합영상에 대하여 상기 객체들을 식별할 수 있으며, 각각의 개별영상에 대하여 추적을 진행하지 않고, 정합영상에 대하여 상기 객체들의 추적이 동시에 수행될 수 있으므로, 추적 시간을 단축할 수 있다.
도 3은 본 발명의 일실시예에 따른 영상 처리 기법의 순서도이며, 도 4는 본 발명의 일실시예에 따른 분석단계를 구체적으로 설명하기 위한 순서도이며, 도 5는 본 발명의 일실시예에 따른 영상 처리 기법에 의한 제1 영상 및 제2 영상을 개략적으로 나타내고 있다. 도 3 내지 도 5를 참조하여 본 발명의 일실시예에 따른 영상 처리 기법에 대하여 설명하며, 상기 영상 처리 기법은 본 발명의 일실시예에 따른 객체 위치 연계 CCTV 시스템의 구성들이 적용될 수 있으므로 도 2를 함께 참조하여 설명한다.
본 발명의 일실시예에 따른 영상 처리 기법은 저장단계(S100), 추적단계(S200), 분석단계(S300) 및 연계단계(S400)를 포함한다. 상기 저장단계(S100)에서는 제1 영상장치(110)가 촬영한 제1 영상(10)과 제2 영상장치(120)가 촬영한 제2 영상(20)이 상기 통합서버(200)에 송신되어 저장되며, 상기 저장부(210)에 저장될 수 있다. 상기 추적단계(S200)에서는 상기 객체식별부(220)가 상기 제1 영상장치(110)가 촬영한 제1 객체(1)와 상기 제2 영상장치(120)가 촬영한 제2 객체(2)를 식별하고, 추적필터를 적용하여 추적할 수 있다. 상기 분석단계(S300)에서는 상기 객체분석부(230)가 상기 객체식별부(220)로부터 상기 제1 객체(1) 및 제2 객체(2)의 정보를 전달받아 상기 제1 객체(1) 및 제2 객체(2) 사이의 유사도를 판단하고, 상기 객체분석부(230)가 상기 제1 객체(1) 및 제2 객체(2)가 유사하다고 판단되면 상기 객체식별부(220)에 추적신호를 전달할 수 있다. 상기 연계단계(S400)에서는 상기 추적신호를 전달받은 상기 객체식별부(220)가 상기 제1 객체(1) 및 제2 객체(2)에 대하여 동일한 트랙킹 아이디를 부여할 수 있다. 이때, 상기 트랙킹 아이디는 상기 객체(1, 2)들의 추적 정보, 위치 등을 식별하기 위한 아이디이므로, 동일한 아이디의 경우, 동일한 추적 정보, 위치 등을 공유하는 객체임을 알 수 있다. 여기서, 상기 트랙킹 아이디는 제1 아이디(ID1) 및 제2 아이디(ID2)를 포함한다.
한편, 도 5에 도시된 바와 같이, 본 명세서에서 상기 객체(1, 2, 3)는 각각의 개별 프레임에서 촬영되는 대상들을 구별하기 위해 사용될 수 있으며, 제1-1 프레임(10a)에서 촬영된 차량은 제1 객체(1)라고 부를 수 있고, 제2-2 프레임(20b)에서 촬영된 상기 차량은 제2 객체(2)라고 부를 수 있으며, 상기 제2-2 프레임(20b)에서 상기 제2 객체(2)가 아닌 차량을 제3 객체(3)라고 부를 수 있다. 따라서, 상기 제1 객체(1) 및 제2 객체(2)는 동일한 대상을 지시할 수 있으며, 상기 제1 객체(1) 및 제2 객체(2)와 상기 제3 객체(3)는 서로 다른 대상을 지시할 수 있다.
상기 추적단계(S200)는 상기 객체식별부(220)가 상기 제1 영상(10) 및 제2 영상(20)에서 상기 제1 객체(1) 및 제2 객체(2)의 추적을 개별적으로 수행할 수 있다. 이때, 상기 추적필터는 SORT(Simple Online and Real-Time Tracking) 알고리즘을 통하여 상기 제1 객체(1) 및 제2 객체(2)를 추적할 수 있으며, 상기 제1 객체(1)가 상기 제1-1 프레임(10a)을 잠시 벗어나더라도 추적 정보가 저장되어 남아있을 수 있으며, 이에 의하여 상기 제1 객체(1)의 위치 정보를 예측할 수 있다.
본 발명의 일실시예에 따른 영상 처리 기법은 디스플레이 단계(S500)를 더 포함할 수 있으며, 상기 디스플레이 단계(S500)는 상기 연계단계(S400) 이후, 상기 모니터부(300)가 상기 통합서버(200)로부터 추적 처리된 상기 제1 영상(10) 및 제2 영상(20)을 전달받아 사용자에게 제공할 수 있다. 이때, 상기 모니터부(300)는 상기 제1 영상(10)을 디스플레이하는 상기 제1 모니터(310) 및 상기 제2 영상(20)을 디스플레이하는 제2 모니터(320)를 포함하며, 상기 제1 모니터(310) 및 제2 모니터(320)는 상기 제1 객체(1) 및 제2 객체(2)에 대하여 동일한 트랙킹 아이디를 디스플레이할 수 있다.
또한, 도 4를 참조하면, 상기 분석단계(S300)는 상기 객체식별부(220)로부터 상기 제1 객체(1) 및 제2 객체(2)의 정보를 수신하는 단계(S310), 상기 제1 객체(1) 및 제2 객체(2) 사이의 유사도를 판단하는 단계(S320), 상기 제1 객체(1) 및 제2 객체(2)가 유사한지 유사하지 않는지 결정하는 단계(S330) 및 유사하다고 결정할 경우 상기 객체식별부(220)에 추적신호를 전달하는 단계(S340)를 포함한다. 이때, 상기 제1 객체(1) 및 제2 객체(2) 사이의 유사도 판단은 인공지능에 기반한 알고리즘을 적용하여 계산할 수 있으며, 유사도를 판단하는 방법은 제한되지 않고 당해 기술분야의 통상의 기술자가 사용할 수 있는 주지의 기술을 포함한다.
다시 한번 도 2, 도 3 및 도 5를 참조하여 본 발명의 일실시예에 따른 영상 처리 기법의 구체적인 예를 설명하면, 상기 저장단계(S100)에서 상기 저장부(210)는 상기 제1 영상장치(110) 및 제2 영상장치(120)로부터 각각 상기 제1 영상(10) 및 제2 영상(20)을 전달받아 저장할 수 있으며, 상기 추적단계(S200)에서 상기 객체식별부(220)는 상기 제1 영상(10) 및 제2 영상(20)에 각각 촬영된 제1 객체(1), 제2 객체(2), 제3 객체(3)를 인공지능에 기반하여 식별하고 추적필터를 적용하여 객체(1, 2, 3)들의 속도 및 위치를 예측하여 추적할 수 있다.
상기 분석단계(S300)에서 상기 객체분석부(230)는 상기 객체식별부(220)로부터 정보를 전달받아 상기 제1 객체(1), 상기 제2 객체(2) 및 제3 객체(3) 간의 유사도를 판단할 수 있다. 이때, 상기 객체분석부(230)가 상기 제1 객체(1), 상기 제2 객체(2) 및 제3 객체(3) 간의 유사도를 판단한 결과, 상기 제1 객체(1) 및 제2 객체(2)는 유사하다고 판단되는 경우 상기 제1 객체(1) 및 제2 객체(2)가 유사하다는 추적신호를 상기 객체식별부(220)에 전송할 수 있다. 이에 의하여, 상기 객체식별부(220)는 상기 제1 객체(1) 및 제2 객체(2)에 동일한 제1 아이디(ID1)를 부여할 수 있고, 상기 제3 객체(3)에 대해서는 제2 아이디(ID2)를 부여할 수 있다. 따라서, 상기 제1 영상(10) 및 제2 영상(20)에서 동일하다고 판단되는 객체에게는 동일한 트랙킹 아이디인 제1 아이디(ID1)를 부여할 수 있다.
따라서, 본 발명의 일실시예에 따른 영상 처리 기법에 의하면 실시간으로 객체들의 위치 정보를 탐지하여 추적할 수 있으며, 탐지된 객체의 위치 정보를 통해 동선을 추적할 수 있다. 또한, 동일한 트랙킹 아이디를 부여함에 따라 복수개의 영상장치 간 정보의 연계가 가능하므로, 과속 및 달리기, 안전위반 등 특별한 이벤트가 발생했던 객체의 위치 정보를 CCTV 위치 정보와 연계하여 현장 관리자에게 용이하게 알리고 신속하게 대응할 수 있다.
도 2, 도 3 및 도 6을 참조하여 본 발명의 다른 실시예에 따른 영상 처리 기법에 대하여 설명한다. 본 발명의 다른 실시예에 따른 영상 처리 기법은 상기 추적단계(S200) 이전에 수행되는 정합단계(S150)를 더 포함할 수 있다. 상기 통합서버(200) 내의 영상정합부(240)가 상기 제1 영상(10) 및 제2 영상(20)을 정합하여 정합영상(30)을 생성할 수 있다.
상기 정합단게(S150)에서 상기 영상정합부(240)는 상기 제1 영상(10) 및 제2 영상(20)을 2차원 또는 3차원에서 좌표로 변환시킬 수 있으며, 변환된 좌표들에서 매칭(matching)되는 특징점을 찾아 연결하여 영상을 정합하여 정합영상(30)을 생성할 수 있다.
이때, 본 발명의 다른 실시예에 따른 영상 처리 기법은 상기 추적단계(S200)에서 상기 객체식별부(220)가 상기 정합영상(30)에 대하여 시간에 따른 프레임(30a, 30b)별로 상기 제3-1 객체(31), 제3-2 객체(32) 및 제3-3 객체(33)를 추적할 수 있다. 이때, 상기 객체식별부(220)가 도 5에서와 같이 각각의 영상(10, 20)에서 개별적으로 추적이 수행되는 것이 아니라, 상기 정합영상(30)에서 동시에 추적이 수행될 수 있으므로 객체 추적 시간을 단축할 수 있다. 상기 객체분석부(230)는 상기 객체식별부(220)로부터 상기 제3-1 객체(31), 제3-2 객체(32) 및 제3-3 객체(33)의 정보를 전달받아 유사도를 판단할 수 있으며, 상기 제3-1 객쳬(31) 및 제3-2 객체(32)가 유사하다고 판단될 경우 추적신호를 전달할 수 있다. 따라서, 상기 객체식별부(220)는 추적신호를 전달받아 상기 제3-1 객체(31) 및 제3-2 객체(32)에 대하여 동일한 트랙킹 아이디인 제1 아이디(ID1)를 부여할 수 있다. 더하여, 상기 정합단계(S150)는 본 명세서에서 두 개의 영상장치(110, 120)를 예시로 설명하였으나, 복수개의 영상장치에서 촬영된 영상들을 대상으로 수행될 수 있음은 물론이다.
나아가, 상기 디스플레이 단계(S500)에서는 상기 연계단계(S400)를 거친 후, 상기 제1 모니터(310)에서 추적 처리된 상기 제1 영상(10)을 디스플레이하고, 상기 제2 모니터(320)에서 추적 처리된 상기 제2 영상(20)을 디스플레이할 수 있으나. 정합모니터(미도시)를 통해 상기 정합영상(30)을 한번에 디스플레이할 수 있다. 이에 의하여 복수의 영상장치에서 획득할 수 있는 객체들의 위치 및 추적 정보를 연계함에 따라 객체의 추적 및 탐지가 용이하게 수행될 수 있다.
이상에서는 본 발명을 실시예를 중심으로 설명하였지만, 본 발명은 상술한 실시예에 한정되지 않으며, 청구범위에서 청구되는 본 발명의 기술적 사상의 변화 없이 통상의 기술자에 의해서 변형되어 실시될 수 있음은 물론이다.
1: 제1 객체 2: 제2 객체
3: 제3 객체 10: 제1 영상
10a: 제1-1 프레임 10b: 제1-2 프레임
20: 제2 영상 20a: 제2-1 프레임
20b: 제2-2 프레임 30: 정합영상
30a, 30b: 정합영상 프레임 100: 카메라부
110: 제1 영상장치 120: 제2 영상장치
200: 통합서버 210: 저장부
220: 객체식별부 230: 객체분석부
240: 영상정합부 300: 모니터부
310: 제1 모니터 320: 제2 모니터
C1: 제1 차량 C2: 제2 차량
ID1: 제1 아이디 ID2: 제2 아이디

Claims (9)

  1. 제1 영상장치가 촬영한 제1 영상과 제2 영상장치가 촬영한 제2 영상이 통합서버에 송신되어 저장되는 저장단계;
    상기 통합서버 내의 객체식별부가 상기 제1 영상장치가 촬영한 제1 객체와 상기 제2 영상장치가 촬영한 제2 객체를 식별하고, 추적필터를 적용하여 추적하는 추적단계;
    객체분석부가 상기 객체식별부로부터 상기 제1 객체 및 제2 객체의 정보를 전달받아 상기 제1 객체 및 제2 객체 사이의 유사도를 판단하여, 상기 객체분석부가 상기 제1 객체 및 제2 객체가 유사하다고 판단되면 상기 객체식별부에 추적신호를 전달하는 분석단계; 및
    상기 추적신호를 전달받은 상기 객체식별부가 상기 제1 객체 및 제2 객체에 대하여 동일한 트랙킹 아이디를 부여하는 연계단계;
    를 포함하는 영상 처리 기법.
  2. 제 1 항에 있어서,
    상기 추적단계는,
    상기 객체식별부가 상기 제1 영상 및 제2 영상에서 상기 제1 객체 및 제2 객체의 추적을 개별적으로 수행하는 것을 특징으로 하는 영상 처리 기법.
  3. 제 1 항에 있어서,
    상기 추적단계 이전에 수행되며, 상기 통합서버 내의 영상정합부가 상기 제1 영상 및 제2 영상을 정합하여 정합영상을 생성하는 정합단계;
    를 더 포함하는 영상 처리 기법.
  4. 제 3 항에 있어서,
    상기 추적단계는,
    상기 정합영상에 대하여 상기 제1 객체 및 제2 객체의 추적이 동시에 수행되는 것을 특징으로 하는 영상 처리 기법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 연계단계 이후, 모니터부가 상기 통합서버로부터 추적 처리된 상기 제1 영상 및 제2 영상을 전달받아 사용자에게 제공하는 디스플레이 단계;
    를 더 포함하며,
    상기 모니터부는,
    상기 제1 영상을 디스플레이하는 제1 모니터와 상기 제2 영상을 디스플레이하는 제2 모니터를 포함하며,
    상기 제1 모니터 및 제2 모니터는,
    상기 제1 객체 및 제2 객체에 대하여 상기 동일한 트랙킹 아이디를 디스플레이하는 영상 처리 기법.
  6. 제 5 항에 있어서,
    상기 추적필터는,
    SORT(Simple Online and Real-Time Tracking) 알고리즘을 통하여 상기 제1 객체 및 제2 객체를 추적하는 영상 처리 기법.
  7. 제1 영상을 촬영하는 제1 영상장치와 제2 영상을 촬영하는 제2 영상장치를 포함하는 카메라부;
    상기 카메라부로부터 상기 제1 영상 및 제2 영상을 전달받아 저장하는 저장부, 상기 제1 영상 및 제2 영상에 촬영된 객체들을 추적하는 객체식별부와 상기 객체식별부로부터 정보를 전달받아 상기 객체들 간의 유사도를 판단하는 객체분석부를 포함하는 통합서버;
    상기 통합서버로부터 전달받은 영상을 디스플레이하는 모니터부;
    를 포함하며,
    상기 객체분석부는,
    상기 제1 영상에서 촬영된 제1 객체와 상기 제2 영상에서 촬영된 제2 객체 사이의 유사도를 판단하며, 상기 제1 객체 및 제2 객체가 유사하다고 판단될 경우, 상기 객체식별부에 추적신호를 전송하며,
    상기 객체식별부는,
    상기 추적신호를 전달받아 상기 제1 객체 및 제2 객체에 대하여 동일한 트랙킹 아이디를 부여하고,
    상기 모니터부는,
    상기 제1 객체 및 제2 객체에 대하여 상기 동일한 트랙킹 아이디를 디스플레이하는 것을 특징으로 하는 객체 위치 연계 CCTV 시스템.
  8. 제 7 항에 있어서,
    상기 객체식별부는,
    SORT 알고리즘이 적용된 추적필터를 통하여 상기 제1 객체 및 제2 객체를 추적하는 객체 위치 연계 CCTV 시스템.
  9. 제 8 항에 있어서,
    상기 통합서버는,
    상기 저장부 내에 저장된 영상들을 정합하여 정합영상을 생성하는 영상정합부;
    를 더 포함하며,
    상기 객체식별부는,
    상기 정합영상에 대하여 상기 객체들을 식별하는 것을 특징으로 하는 객체 위치 연계 CCTV 시스템.
KR1020220134301A 2022-10-18 2022-10-18 영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템 KR20240054043A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220134301A KR20240054043A (ko) 2022-10-18 2022-10-18 영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220134301A KR20240054043A (ko) 2022-10-18 2022-10-18 영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템

Publications (1)

Publication Number Publication Date
KR20240054043A true KR20240054043A (ko) 2024-04-25

Family

ID=90885267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220134301A KR20240054043A (ko) 2022-10-18 2022-10-18 영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템

Country Status (1)

Country Link
KR (1) KR20240054043A (ko)

Similar Documents

Publication Publication Date Title
CN109325933B (zh) 一种翻拍图像识别方法及装置
US9477891B2 (en) Surveillance system and method based on accumulated feature of object
JP4177826B2 (ja) 画像処理装置および画像処理方法
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
CN108073890A (zh) 视频序列中的动作识别
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
WO2012023766A2 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
JPWO2018198373A1 (ja) 映像監視システム
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP2013168757A (ja) 映像監視装置、監視システム、監視システム構築方法
US20230403375A1 (en) Duration and potential region of interest for suspicious activities
JP2012185540A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR102297217B1 (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
US20170201723A1 (en) Method of providing object image based on object tracking
CN112419233A (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112215037A (zh) 对象追踪方法及装置、电子设备及计算机可读存储介质
JP6396682B2 (ja) 監視カメラシステム
JP5088463B2 (ja) 監視システム
KR20170119379A (ko) Cctv 영상에 대한 실시간 얼굴 인식 시스템 및 방법
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
CN110728249B (zh) 目标行人的跨摄像机识别方法、装置及系统
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
KR20240054043A (ko) 영상 처리 기법 및 이를 적용한 객체 위치 연계 cctv 시스템
JP5712401B2 (ja) 行動監視システム、行動監視プログラム、及び行動監視方法
KR20150117935A (ko) 다중 구역에 대한 카메라 영상파일 통합 시스템