KR102137654B1 - Cctv를 이용한 객체 추출 방법 및 장치 - Google Patents

Cctv를 이용한 객체 추출 방법 및 장치 Download PDF

Info

Publication number
KR102137654B1
KR102137654B1 KR1020200039545A KR20200039545A KR102137654B1 KR 102137654 B1 KR102137654 B1 KR 102137654B1 KR 1020200039545 A KR1020200039545 A KR 1020200039545A KR 20200039545 A KR20200039545 A KR 20200039545A KR 102137654 B1 KR102137654 B1 KR 102137654B1
Authority
KR
South Korea
Prior art keywords
image
coding algorithm
information
area
region
Prior art date
Application number
KR1020200039545A
Other languages
English (en)
Inventor
김창수
Original Assignee
김창수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김창수 filed Critical 김창수
Priority to KR1020200039545A priority Critical patent/KR102137654B1/ko
Application granted granted Critical
Publication of KR102137654B1 publication Critical patent/KR102137654B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 CCTV를 이용한 객체 추출 방법으로서, CCTV 장치를 통해 제1 영상을 획득하는 단계, 상기 CCTV 장치에 인접하여 동일한 영역을 비추는 열화상 촬영 장치를 통해 제2 영상을 획득하고, 상기 제2 영상은 상기 제1 영상과 시간적으로 동기화되고, 동일한 영역을 나타내는 단계, 상기 제1 영상 내에서 사람으로 판단되는 객체를 추출하여 상기 객체에 대한 제1 영역을 설정하는 단계, 상기 제2 영상 내에서 상기 제1 영상 내의 상기 제1 영역과 동일한 위치의 제2 영역을 설정하는 단계, 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되는 경우, 상기 객체를 타겟 객체로 판단하여 탐지 정보를 생성하는 단계 및 상기 탐지 정보에 따라 영상 코딩 알고리즘 후보들 중 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 단계를 포함하고, 상기 영상 코딩 알고리즘 후보들은 상기 제1 영상 코딩 알고리즘 및 상기 제1 영상 코딩 알고리즘보다 낮은 해상도로 코딩하는 제2 영상 코딩 알고리즘을 포함하는 것을 특징으로 한다.

Description

CCTV를 이용한 객체 추출 방법 및 장치{METHOD AND APPARATUS FOR EXTRACTING OBJECTS USING CLOSED-CIRCUIT TELEVISION}
본 발명은 CCTV(closed-circuit television)을 이용한 객체 추출 방법 및 장치에 관한 것으로, 더욱 상세하게는 CCTV 장치 및 열화상 촬영 장치를 이용하여 특정 조건을 만족하는 객체를 추출하고, 추출한 객체의 영상 정보를 생성하는 방법 및 장치에 관한 것이다.
최근 열화상 촬영 장치를 통해 전염병뿐만 아니라 건강에 이상이 있는 사람들을 판별하는 기술들이 급속도로 발전되고 있다. 다만, 열화상 촬영 장치는 사람의 외관을 나타내지 않고, 단순히 온도만을 표시하므로, 이상 온도 발견 시 알림이 울리거나, 이를 관리자가 관찰하고 있어야 하는 불편함이 있었다.
또한, 전염병이 창궐한 경우, 접촉자 또는 인접하게 위치하였던 사람에 대한 정보들의 추척이 요구될 수도 있으나, 이를 관리자가 한 명씩 확인하기 어려운 문제점도 존재하였다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 CCTV를 이용한 객체 추출 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 CCTV를 이용한 객체 추출 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 CCTV(Closed circuit television)를 이용한 객체 추출 방법은, CCTV 장치를 통해 제1 영상을 획득하는 단계, 상기 CCTV 장치에 인접하여 동일한 영역을 비추는 열화상 촬영 장치를 통해 제2 영상을 획득하고, 상기 제2 영상은 상기 제1 영상과 시간적으로 동기화되고, 동일한 영역을 나타내는 단계, 상기 제1 영상 내에서 사람으로 판단되는 객체를 추출하여 상기 객체에 대한 제1 영역을 설정하는 단계, 상기 제2 영상 내에서 상기 제1 영상 내의 상기 제1 영역과 동일한 위치의 제2 영역을 설정하는 단계, 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되는 경우, 상기 객체를 타겟 객체로 판단하여 탐지 정보를 생성하는 단계 및 상기 탐지 정보에 따라 영상 코딩 알고리즘 후보들 중 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 단계를 포함하고, 상기 영상 코딩 알고리즘 후보들은 상기 제1 영상 코딩 알고리즘 및 상기 제1 영상 코딩 알고리즘보다 낮은 해상도로 코딩하는 제2 영상 코딩 알고리즘을 포함할 수 있다.
여기서, 상기 탐지 정보에 따라 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 단계는, 상기 제1 영상 내에서 상기 제1 영역을 확대하는 단계 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제1 영역에 대한 영상 정보를 생성하는 단계를 포함할 수 있다.
여기서, 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되지 않는 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 타겟 객체가 상기 제1 영상을 벗어난 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 타겟 객체가 존재하지 않는 상기 제1 영상에 대한 영상 정보를 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 영상 내에 사람으로 판단되는 복수의 객체가 존재하는 경우, 상기 제1 영상 내에 상기 복수의 객체 중 상기 타겟 객체로부터 일정한 거리 내에 위치하는 적어도 하나의 인접 객체를 추출하는 단계, 상기 제1 영상 내에서 상기 적어도 하나의 인접 객체에 대한 적어도 하나의 제3 영역을 설정하는 단계, 상기 제1 영상 내에서 상기 제3 영역을 확대하는 단계 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제3 영역에 대한 영상 정보를 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 제1 영상 내에 상기 복수의 객체에 대한 진행 방향 정보 및 진행 속도 정보를 도출하는 단계, 상기 진행 방향 정보 및 상기 진행 속도 정보를 기반으로 상기 복수의 객체 중 상기 제1 영상 밖에서 상기 타겟 객체로부터 일정한 거리 내에 위치할 것으로 예측되는 적어도 하나의 인접 예정 객체를 추출하는 단계, 상기 제1 영상 내에서 상기 적어도 하나의 인접 예정 객체에 대한 적어도 하나의 제4 영역을 설정하는 단계, 상기 제1 영상 내에서 상기 제4 영역을 확대하는 단계 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제4 영역에 대한 영상 정보를 생성하는 단계를 더 포함할 수 있다.
여기서, 상기 진행 방향 정보 및 상기 진행 속도 정보는 상기 제1 영상에 대한 복수의 프레임들 내에서 상기 복수의 객체들의 위치를 비교하여 도출될 수 있다.
여기서, 상기 제1 영상은 휘도 성분 및 색차 성분으로 구성되는 컬러 영상을 포함하고, 상기 제1 영상 코딩 알고리즘은 상기 휘도 성분에 대하여 멀티 참조 라인(multi reference line, MRL) 인트라 예측을 수행하고, 상기 색차 성분에 대하여 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함하고, 상기 제2 영상 코딩 알고리즘은 상기 휘도 성분 및 상기 색차 성분에 대하여 상기 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 CCTV(Closed circuit television)를 이용한 객체 추출 장치는, CCTV 장치, 상기 CCTV 장치에 인접하여 동일한 영역을 비추는 열화상 촬영 장치, 프로세서(processor) 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은 상기 CCTV 장치를 통해 제1 영상을 획득하는 명령, 상기 열화상 촬영 장치를 통해 제2 영상을 획득하고, 상기 제2 영상은 상기 제1 영상과 시간적으로 동기화되고, 동일한 영역을 나타내는 명령, 상기 제1 영상 내에서 사람으로 판단되는 객체를 추출하여 상기 객체에 대한 제1 영역을 설정하는 명령, 상기 제2 영상 내에서 상기 제1 영상 내의 상기 제1 영역과 동일한 위치의 제2 영역을 설정하는 명령, 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되는 경우, 상기 객체를 타겟 객체로 판단하여 탐지 정보를 생성하는 명령 및 상기 탐지 정보에 따라 영상 코딩 알고리즘 후보들 중 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 명령을 포함하고, 상기 영상 코딩 알고리즘 후보들은 상기 제1 영상 코딩 알고리즘 및 상기 제1 영상 코딩 알고리즘보다 낮은 해상도로 코딩하는 제2 영상 코딩 알고리즘을 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 탐지 정보에 따라 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 명령은, 상기 제1 영상 내에서 상기 제1 영역을 확대하는 명령 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제1 영역에 대한 영상 정보를 생성하는 명령을 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되지 않는 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 타겟 객체가 상기 제1 영상을 벗어난 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 타겟 객체가 존재하지 않는 상기 제1 영상에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 제1 영상 내에 사람으로 판단되는 복수의 객체가 존재하는 경우, 상기 제1 영상 내에 상기 복수의 객체 중 상기 타겟 객체로부터 일정한 거리 내에 위치하는 적어도 하나의 인접 객체를 추출하는 명령, 상기 제1 영상 내에서 상기 적어도 하나의 인접 객체에 대한 적어도 하나의 제3 영역을 설정하는 명령, 상기 제1 영상 내에서 상기 제3 영역을 확대하는 명령 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제3 영역에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 제1 영상 내에 상기 복수의 객체에 대한 진행 방향 정보 및 진행 속도 정보를 도출하는 명령, 상기 진행 방향 정보 및 상기 진행 속도 정보를 기반으로 상기 복수의 객체 중 상기 제1 영상 밖에서 상기 타겟 객체로부터 일정한 거리 내에 위치할 것으로 예측되는 적어도 하나의 인접 예정 객체를 추출하는 명령, 상기 제1 영상 내에서 상기 적어도 하나의 인접 예정 객체에 대한 적어도 하나의 제4 영역을 설정하는 명령, 상기 제1 영상 내에서 상기 제4 영역을 확대하는 명령 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제4 영역에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 진행 방향 정보 및 상기 진행 속도 정보는 상기 제1 영상에 대한 복수의 프레임들 내에서 상기 복수의 객체들의 위치를 비교하여 도출될 수 있다.
여기서, 상기 제1 영상은 휘도 성분 및 색차 성분으로 구성되는 컬러 영상을 포함하고, 상기 제1 영상 코딩 알고리즘은 상기 휘도 성분에 대하여 멀티 참조 라인(multi reference line, MRL) 인트라 예측을 수행하고, 상기 색차 성분에 대하여 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함하고, 상기 제2 영상 코딩 알고리즘은 상기 휘도 성분 및 상기 색차 성분에 대하여 상기 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함할 수 있다.
본 발명에 따르면, 특정 조건을 만족하는 객체에 대한 고해상도 이미지를 효율적으로 제공할 수 있다.
본 발명에 따르면, 상대적으로 적은 메모리를 통해 일반적인 CCTV 기능과 특정 조건을 만족하는 객체를 추출하는 기능을 함께 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 추출 방법을 설명하기 위한 CCTV의 촬영 범위를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체에 대한 고해상도 이미지 추출을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치의 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 코딩 알고리즘을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 객체 추출 방법을 설명하기 위한 CCTV의 촬영 범위를 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 객체에 대한 고해상도 이미지 추출을 설명하기 위한 개념도이다.
본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 방법은 CCTV 장치 및 열화상 촬영 장치를 통해 특정 조건을 만족하는 객체를 추출할 수 있다. 예를 들어, CCTV 장치 및 열화상 촬영 장치는 인접하게 위치할 수 있으며, 동일한 영역을 비추고 있을 수 있다. 즉, CCTV 장치 및 열화상 촬영 장치는 동일한 촬영 범위를 가질 수 있다. 예를 들어, CCTV 장치 및 열화상 촬영 장치는 하나의 촬영 장치에 탑재될 수 있으며, 하나의 촬영 장치는 다목적 촬영 장치라고 불릴 수도 있다. 이 경우, 각도를 변경하거나 회전하는 경우, CCTV 장치 및 열화상 촬영 장치는 함께 각도가 변경되거나 회전되어 여전히 동일한 촬영 범위를 가질 수도 있다.
예를 들어, 촬영 범위가 도 1과 같은 경우, 일 실시예에 따른 CCTV를 이용한 객체 추출 방법은 촬영 범위 내에서 사람으로 판단되는 객체를 추출할 수 있다. 즉, CCTV 장치를 통해 획득되는 제1 영상을 기반으로 인공신경망 알고리즘을 통해 사람으로 판단되는 객체를 추출할 수 있으며, 제1 영상 내에서 상기 객체에 대한 제1 영역을 설정할 수 있다. 여기서, 인공신경망 알고리즘은 다양한 인공신경망 알고리즘들 중 적어도 하나가 이용될 수 있으며, 이용되는 인공신경망 알고리즘의 종류는 성능에 따라 변경될 수 있으므로, 일 실시예는 특정 알고리즘에 한정되지 않는다.
일 실시예는 상기 제1 영역을 설정한 이후, 제1 영상 내의 제1 영역에 대한 위치 정보를 도출할 수 있고, 상기 위치 정보를 이용하여 제2 영상 내에서 상기 제1 영상 내의 제1 영역과 동일한 위치의 제2 영역을 설정할 수 있다. 여기서, 제2 영상은 열화상 촬영 장치를 통해 획득되는 영상을 나타낼 수 있다. 예를 들어, 제2 영상은 온도에 따라 다른 색상을 나타내는 영상을 나타낼 수 있으나, 다른 방식으로 온도를 나타낼 수도 있으므로, 이에 한정되는 것은 아니다. 다시 말해, 제2 영상은 촬영 범위의 온도를 나타내는 영상이라 나타낼 수도 있다. 즉, 제1 영상 및 제2 영상은 동일한 촬영 범위를 가지고 있으며, 시간적으로 동기화되어 있으므로, 제1 영역 및 제2 영역은 동일한 객체에 대한 영역을 나타낼 수 있다.
이후, 일 실시예는 상기 제2 영역 내의 일부가 미리 설정한 온도 범위 내에 포함되는지 판단할 수 있다. 또는 예를 들어, 일 실시예는 상기 제2 영역 내의 일부가 미리 설정한 임계치보다 높은지를 판단할 수도 있다. 예를 들어, 온도 범위는 37도 내지 40도일 수 있으나, 설정에 따라 변경될 수 있다. 또는 예를 들어, 임계치는 37도일 수 있으나, 이도 설정에 따라 변경될 수 있다. 다만, 온도 범위 내에 포함되는지 판단하는 것이 커피 또는 다른 물체로 인한 오류율을 감소시킬 수도 있다. 뿐만 아니라, 일 실시예는 제2 영상이 아닌 제2 영역을 기준으로 판단함으로써 사람으로 판단되는 객체 이외의 영역에서 발생되는 온도로 인한 오류를 방지할 수도 있다.
예를 들어, 일 실시예는 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되는 경우, 상기 객체를 타겟 객체로 판단할 수 있다. 즉, 상기 객체를 특정 조건이 만족하는 객체라 판단할 수 있으며, 타겟 객체로 나타낼 수 있다. 또한, 타겟 객체를 탐지한 경우, 이를 나타내는 탐지 정보를 생성할 수 있다.
도 2를 참조하면, 일 실시예는 (조건 판단에 따른) 탐지 정보를 기반으로 일반적으로 사용되던 영상 코딩 알고리즘이 아닌 상대적으로 고해상도 영상 정보를 획득하기 위한 영상 코딩 알고리즘으로 알고리즘을 변경할 수 있다. 즉, 일 실시예는 CCTV의 기능으로서 지속적으로 상기 촬영 범위를 촬영하고 있을 수 있으며, 이 경우 일반적으로 사용되는 영상 코딩 알고리즘을 이용할 수 있고, 타겟 객체를 탐지한 경우, 다른 영상 코딩 알고리즘을 사용하여 용량 대비 고해상도의 영상 정보를 생성할 수 있다. 즉, 타겟 객체에 대한 고해상도 이미지 또는 영상을 제공할 수 있다. 여기서, 용량 대비 고해상도의 영상 정보를 생성하기 위한 영상 코딩 알고리즘을 제1 영상 코딩 알고리즘이라고 나타낼 수 있으며, 일반적으로 사용하던 영상 코딩 알고리즘을 제2 영상 코딩 알고리즘이라 나타낼 수 있다.
즉, 일 실시예는 타겟 객체를 탐지 또는 감지하지 못한 경우, 제2 영상 코딩 알고리즘을 이용하여 제1 영상에 대한 영상 정보를 생성하고 있을 수 있으며, 타겟 객체를 탐지한 경우, 제1 영상 코딩 알고리즘을 이용하여 제1 영상에 대한 영상 정보를 생성할 수 있고, 타겟 객체가 제1 영상 즉, 촬영 범위를 벗어난 경우, 다시 제2 영상 코딩 알고리즘을 이용하여 제1 영상에 대한 영상 정보를 생성할 수 있다. 예를 들어, 일 실시예는 타겟 객체를 탐지한 경우, 제1 영상 내에서 타겟 객체에 대한 제1 영역에 대하여만 제1 영상 코딩 알고리즘을 이용하여 영상 정보를 생성할 수도 있다. 이 때에 상기 제1 영역을 확대할 수 있고, 확대한 제1 영역에 대하여 제1 영상 코딩 알고리즘을 이용할 수도 있다. 즉, 타겟 객체를 확대하고, 확대한 타겟 객체 영상을 기반으로 영상 정보를 생성할 수도 있다.
또는 예를 들어, 일 실시예는 제1 영상으로부터 타겟 객체에 대한 인접 객체 또는 인접 예정 객체를 추출할 수도 있으며, 인접 객체 또는 인접 예정 객체에 대하여 제1 영상 코딩 알고리즘을 이용할 수도 있다. 여기서, 확대 절차 또한 이용될 수 있다.
예를 들어, 인접 객체는 상기 제1 영상 내에서 상기 타겟 객체로부터 일정한 거리 내에 위치하는 객체를 나타낼 수 있으며, 상기 제1 영상의 타겟 객체가 존재하는 프레임들을 기반으로 도출할 수 있다.
예를 들어, 인접 예정 객체는 제1 영상 내의 사람으로 판단되는 객체들의 이동성을 파악하여, 제1 영상 밖에서 즉, 촬영 범위 밖에서 상기 타겟 객체의 일정한 거리 내로 들어올 예정인 객체를 나타낼 수 있다. 예를 들어, 일 실시예는 제1 영상의 프레임들을 기반으로 제1 영상 내의 사람으로 판단되는 모든 객체의 이동성 정보 즉, 진행 방향 정보 및/또는 진행 속도 정보를 도출할 수 있고, 타겟 객체의 이동성 정보 및 다른 객체들의 이동성 정보를 기반으로 인접 예정 객체를 추출할 수 있다.
예를 들어, 인접 객체를 추출한 경우, 제1 영상 내에서 인접 객체가 위치하는 영역은 제3 영역이라 나타낼 수 있다. 또는 인접 예정 객체를 추출한 경우, 제1 영상 내에서 인접 예정 객체가 위치하는 영역은 제4 영역이라 나타낼 수도 있다.
상술한 과정을 통해 생성한 타겟 객체에 대한 영상 정보, 인접 객체에 대한 영상 정보 또는 인접 예정 객체에 대한 영상 정보는 별도의 파일로 서버에 저장될 수 있으며, 관리자 단말로 알람과 함께 곧바로 전송될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치의 블록 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치(300)는 적어도 하나의 프로세서(310), 메모리(320) 및 저장 장치(330)를 포함할 수 있다. 예를 들어, CCTV를 이용한 객체 추출 장치는 CCTV 장치 및 상기 CCTV 장치에 인접하여 동일한 영역을 비추는 열화상 촬영 장치를 더 포함할 수 있다.
프로세서(310)는 메모리(320) 및/또는 저장 장치(330)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(310)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(320)와 저장 장치(330)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(320)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
메모리(320)는 프로세서(310)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 상기 CCTV 장치를 통해 제1 영상을 획득하는 명령, 상기 열화상 촬영 장치를 통해 제2 영상을 획득하고, 상기 제2 영상은 상기 제1 영상과 시간적으로 동기화되고, 동일한 영역을 나타내는 명령, 상기 제1 영상 내에서 사람으로 판단되는 객체를 추출하여 상기 객체에 대한 제1 영역을 설정하는 명령, 상기 제2 영상 내에서 상기 제1 영상 내의 상기 제1 영역과 동일한 위치의 제2 영역을 설정하는 명령, 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되는 경우, 상기 객체를 타겟 객체로 판단하여 탐지 정보를 생성하는 명령 및 상기 탐지 정보에 따라 영상 코딩 알고리즘 후보들 중 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 명령을 포함하고, 상기 영상 코딩 알고리즘 후보들은 상기 제1 영상 코딩 알고리즘 및 상기 제1 영상 코딩 알고리즘보다 낮은 해상도로 코딩하는 제2 영상 코딩 알고리즘을 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 탐지 정보에 따라 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 명령은, 상기 제1 영상 내에서 상기 제1 영역을 확대하는 명령 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제1 영역에 대한 영상 정보를 생성하는 명령을 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되지 않는 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 타겟 객체가 상기 제1 영상을 벗어난 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 타겟 객체가 존재하지 않는 상기 제1 영상에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 제1 영상 내에 사람으로 판단되는 복수의 객체가 존재하는 경우, 상기 제1 영상 내에 상기 복수의 객체 중 상기 타겟 객체로부터 일정한 거리 내에 위치하는 적어도 하나의 인접 객체를 추출하는 명령, 상기 제1 영상 내에서 상기 적어도 하나의 인접 객체에 대한 적어도 하나의 제3 영역을 설정하는 명령, 상기 제1 영상 내에서 상기 제3 영역을 확대하는 명령 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제3 영역에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은 상기 제1 영상 내에 상기 복수의 객체에 대한 진행 방향 정보 및 진행 속도 정보를 도출하는 명령, 상기 진행 방향 정보 및 상기 진행 속도 정보를 기반으로 상기 복수의 객체 중 상기 제1 영상 밖에서 상기 타겟 객체로부터 일정한 거리 내에 위치할 것으로 예측되는 적어도 하나의 인접 예정 객체를 추출하는 명령, 상기 제1 영상 내에서 상기 적어도 하나의 인접 예정 객체에 대한 적어도 하나의 제4 영역을 설정하는 명령, 상기 제1 영상 내에서 상기 제4 영역을 확대하는 명령 및 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제4 영역에 대한 영상 정보를 생성하는 명령을 더 포함할 수 있다.
여기서, 상기 진행 방향 정보 및 상기 진행 속도 정보는 상기 제1 영상에 대한 복수의 프레임들 내에서 상기 복수의 객체들의 위치를 비교하여 도출될 수 있다.
여기서, 상기 제1 영상은 휘도 성분 및 색차 성분으로 구성되는 컬러 영상을 포함하고, 상기 제1 영상 코딩 알고리즘은 상기 휘도 성분에 대하여 멀티 참조 라인(multi reference line, MRL) 인트라 예측을 수행하고, 상기 색차 성분에 대하여 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함하고, 상기 제2 영상 코딩 알고리즘은 상기 휘도 성분 및 상기 색차 성분에 대하여 상기 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 방법의 순서도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치는 CCTV 장치를 통해 제1 영상을 획득할 수 있다(S410). 즉, 제1 영상은 일반적인 카메라를 통해 획득되는 영상을 나타낼 수 있다.
본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치는 상기 CCTV 장치에 인접하여 동일한 영역을 비추는 열화상 촬영 장치를 통해 제2 영상을 획득할 수 있다(S420). 여기서, 상기 제2 영상은 상기 제1 영상과 시간적으로 동기화되고, 동일한 영역을 나타낼 수 있다. 즉, 제2 영상은 온도에 따라 다른 색상을 나타내는 영상을 나타낼 수 있으나, 다른 방식으로 온도를 나타낼 수도 있으므로, 이에 한정되는 것은 아니다. 다시 말해, 제2 영상은 촬영 범위의 온도를 나타내는 영상이라 나타낼 수도 있다.
본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치는 상기 제1 영상 내에서 사람으로 판단되는 객체를 추출하여 상기 객체에 대한 제1 영역을 설정할 수 있다(S430). 여기서, 객체를 추출하는 방법은 다양한 인공신경망 기술들 중 적어도 하나가 적용될 수 있다. 또한, 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치는 상기 제2 영상 내에서 상기 제1 영상 내의 상기 제1 영역과 동일한 위치의 제2 영역을 설정할 수 있다(S440). 여기서, 제1 영상 및 제2 영상은 동일한 영역을 비추고 있으므로, 제1 영상 내의 제1 영역의 위치 정보를 기반으로 제2 영상 내에서 제2 영역을 설정할 수 있다.
본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치는 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되는 경우, 상기 객체를 타겟 객체로 판단하여 탐지 정보를 생성할 수 있다(S450). 또한, 본 발명의 일 실시예에 따른 CCTV를 이용한 객체 추출 장치는 상기 탐지 정보에 따라 영상 코딩 알고리즘 후보들 중 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성할 수 있다(S460). 여기서, 상기 영상 코딩 알고리즘 후보들은 상기 제1 영상 코딩 알고리즘 및 상기 제1 영상 코딩 알고리즘보다 낮은 해상도로 코딩하는 제2 영상 코딩 알고리즘을 포함할 수 있다.
또는 예를 들어, 일 실시예는 타겟 객체에 대하여 또는 타겟 객체가 포함된 제1 영상에 대하여 높은 해상도를 가지는 영상 정보를 생성할 수 있으며, 타겟 객체가 없는 제1 영상 또는 타겟 객체가 촬영 범위를 벗어난 경우 제1 영상에 대하여 낮은 해상도를 가지는 영상 정보를 생성할 수 있다. 예를 들어, 일 실시예는 상기 제1 영상 내에서 상기 제1 영역을 확대할 수 있으며, 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제1 영역에 대한 영상 정보를 생성할 수도 있다. 또는 예를 들어, 일 실시예는 상기 타겟 객체가 상기 제1 영상을 벗어난 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 타겟 객체가 존재하지 않는 상기 제1 영상에 대한 영상 정보를 생성할 수 있다. 또는 예를 들어, 일 실시예는 상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되지 않는 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성할 수 있다. 즉, 타겟 객체를 탐지하지 않을 수 있으며, 이에 따라 탐지 정보도 생성하지 않을 수 있다.
또는 예를 들어, 일 실시예는 타겟 객체에 대한 인접 객체를 추출하여 인접 객체에 대한 영상 정보를 생성할 수 있다. 예를 들어, 일 실시예는 상기 제1 영상 내에 사람으로 판단되는 복수의 객체가 존재하는 경우, 상기 제1 영상 내에 상기 복수의 객체 중 상기 타겟 객체로부터 일정한 거리 내에 위치하는 적어도 하나의 인접 객체를 추출할 수 있으며, 상기 제1 영상 내에서 상기 적어도 하나의 인접 객체에 대한 적어도 하나의 제3 영역을 설정할 수 있다. 또한, 일 실시예는 상기 제1 영상 내에서 상기 제3 영역을 확대할 수 있으며, 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제3 영역에 대한 영상 정보를 생성할 수 있다.
또는 예를 들어, 일 실시예는 타겟 객체에 대한 인접 예정 객체를 추출하여 인접 예정 객체에 대한 영상 정보를 생성할 수 있다. 예를 들어, 일 실시예는 상기 제1 영상 내에 상기 복수의 객체에 대한 진행 방향 정보 및 진행 속도 정보를 도출할 수 있고, 상기 진행 방향 정보 및 상기 진행 속도 정보를 기반으로 상기 복수의 객체 중 상기 제1 영상 밖에서 상기 타겟 객체로부터 일정한 거리 내에 위치할 것으로 예측되는 적어도 하나의 인접 예정 객체를 추출할 수 있다. 또한, 일 실시예는 상기 제1 영상 내에서 상기 적어도 하나의 인접 예정 객체에 대한 적어도 하나의 제4 영역을 설정할 수 있으며, 상기 제1 영상 내에서 상기 제4 영역을 확대할 수 있고, 상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제4 영역에 대한 영상 정보를 생성할 수 있다. 여기서, 상기 진행 방향 정보 및 상기 진행 속도 정보는 상기 제1 영상에 대한 복수의 프레임들 내에서 상기 복수의 객체들의 위치를 비교하여 도출될 수도 있으나, 다른 방법들이 이용될 수도 있으므로, 이에 한정되는 것은 아니다.
또는 예를 들어, 일 실시예에 따른 상기 제1 영상은 휘도 성분 및 색차 성분으로 구성되는 컬러 영상을 포함할 수 있다. 여기서, 휘도 성분은 루마 성분이라 불릴 수 있고, 색차 성분은 크로마 성분이라 불릴 수 있다. 예를 들어, 상기 제1 영상 코딩 알고리즘은 상기 휘도 성분에 대하여 멀티 참조 라인(multi reference line, MRL) 인트라 예측을 수행하고, 상기 색차 성분에 대하여 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함할 수 있으며, 상기 제2 영상 코딩 알고리즘은 상기 휘도 성분 및 상기 색차 성분에 대하여 상기 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함할 수 있다. 즉, 타겟 객체, 인접 객체 또는 인접 예정 객체를 포함하는 영상 정보에 상기 제1 영상 코딩 알고리즘을 이용하여 상기 제2 영상 코딩 알고리즘이 비하여 정밀한 예측을 수행할 수 있고, 상대적으로 높은 코딩 효율을 야기하여 용량 대비 높은 해상도의 영상 정보를 생성할 수 있다. 멀티 참조 라인 인트라 예측 또는 싱글 참조 라인 인트라 예측에 대해서는 도 5에서 부가적으로 설명하겠다.
도 4와 함께 설명한 동작은 일 예로서 본 발명의 일 실시예에 따른 동작들 중 일부일 수 있다. 즉, 본 발명의 일 실시예는 도 4에서 도시하지 않았어도 도 1 내지 도 5와 함께 설명한 다양한 동작들 또는 기능들 중 적어도 일부를 더 수행할 수 있음은 자명하다.
도 5는 본 발명의 일 실시예에 따른 코딩 알고리즘을 설명하기 위한 도면이다.
본 발명의 일 실시예에 CCTV를 이용한 객체 추출 방법은 영상으로부터 영상 정보를 생성하기 위해 영상 인코딩 방법을 수행할 수 있다. 즉, 상기 영상 정보는 인코딩된 정보를 나타낼 수도 있다.
일 실시예에 따른 영상 인코딩 방법은 영상을 하나 이상의 유닛으로 분할할 수 있으며, 각 유닛을 기반으로 인코딩 절차를 수행할 수 있다. 여기서, 유닛은 처리 유닛, 코딩 유닛, 블록 또는 블록 유닛이라 불릴 수도 있다. 일 실시예는 유닛 별로 예측을 수행할 수 있고, 예측을 수행한 예측 정보와 입력된 영상을 비교하여 레지듀얼 정보를 생성할 수 있고, 레지듀얼 정보에 대하여 변환 및 양자화 절차를 수행한 후, 엔트로피 인코딩을 수행할 수 있다.
여기서, 일 실시예는 예측 방법으로서 인트라 예측 및/또는 인터 예측을 수행할 수 있다. 예를 들어, 인트라 예측은 현재 프레임 내 현재 처리하는 유닛에 인접한 영역을 참조하여 예측을 수행하는 것을 나타낼 수 있고, 인터 예측은 다른 프레임을 참조하여 예측을 수행하는 것을 나타낼 수 있다.
예를 들어, 일 실시예에 따른 제1 영상 코딩 알고리즘 및 제2 영상 코딩 알고리즘은 모두 상술한 절차를 수행할 수 있으며, 프레임 또는 유닛 마다 인트라 예측 및/또는 인터 예측이 적용될 수 있다. 다만, 제1 영상 코딩 알고리즘에서는 보다 정확한 예측을 위해 현재 처리하는 유닛으로부터 참조할 수 있는 영역을 보다 넓힌 멀티 참조 라인 인트라 예측이 수행될 수 있다. 다만, 이는 영상을 구성하는 휘도 성분 및 색차 성분 중 너무 높은 복잡도를 방지하기 위해 휘도 성분에 대해서만 적용될 수도 있다.
도 5를 참조하면, block unit은 현재 처리하는 유닛을 나타낼 수 있으며, reference line 0 (참조 라인 0)은 상기 현재 처리하는 유닛에 좌측 및 상측으로 바로 인접한 0번 화소들을 나타낼 수 있고, reference line 1 (참조 라인 1)은 상기 현재 처리하는 유닛에 좌측 및 상측으로 상기 0번 화소들의 다음에 위치하는 1번 화소들을 나타낼 수 있고, reference line 2 (참조 라인 2)는 상기 현재 처리하는 유닛에 좌측 및 상측으로 상기 1번 화소들의 다음에 위치하는 2번 화소들을 나타낼 수 있고, reference line 3 (참조 라인 3)은 상기 현재 처리하는 유닛에 좌측 및 상측으로 상기 2번 화소들의 다음에 위치하는 3번 화소들을 나타낼 수 있다.
예를 들어, 멀티 참조 라인 인트라 예측은 현재 처리하는 유닛을 예측하기 위해 참조 라인 0 내지 3에 위치하는 화소들을 참조할 수 있으며, 싱글 참조 라인 인트라 예측은 참조라인 0에 위치하는 화소들만을 참조할 수 있다. 이에 따라 멀티 참조 라인 인트라 예측을 이용하는 제1 영상 코딩 알고리즘은 싱글 참조 라인 인트라 예측을 이용하는 제2 영상 코딩 알고리즘보다 정확한 예측을 수행할 수 있으며, 이에 따라 레지듀얼 정보의 양이 낮을 수 있고, 생성되는 영상 정보의 용량이 상대적으로 적을 수 있다. 또한, 동일한 용량이 되도록 코딩을 설정하는 경우, 제1 영상 코딩 알고리즘은 제2 영상 코딩 알고리즘 보다 높은 해상도를 가지는 영상 정보를 생성할 수 있다.
본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. CCTV(Closed circuit television)를 이용한 객체 추출 방법에 있어서,
    CCTV 장치를 통해 제1 영상을 획득하는 단계;
    상기 CCTV 장치에 인접하여 동일한 영역을 비추는 열화상 촬영 장치를 통해 제2 영상을 획득하고, 상기 제2 영상은 상기 제1 영상과 시간적으로 동기화되고, 동일한 영역을 나타내는 단계;
    상기 제1 영상 내에서 사람으로 판단되는 객체를 추출하여 상기 객체에 대한 제1 영역을 설정하는 단계;
    상기 제2 영상 내에서 상기 제1 영상 내의 상기 제1 영역과 동일한 위치의 제2 영역을 설정하는 단계;
    상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되는 경우, 상기 객체를 타겟 객체로 판단하여 탐지 정보를 생성하는 단계; 및
    상기 탐지 정보에 따라 영상 코딩 알고리즘 후보들 중 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 단계를 포함하고,
    상기 영상 코딩 알고리즘 후보들은 상기 제1 영상 코딩 알고리즘 및 상기 제1 영상 코딩 알고리즘보다 낮은 해상도로 코딩하는 제2 영상 코딩 알고리즘을 포함하고,
    상기 제1 영상 내에 사람으로 판단되는 복수의 객체가 존재하는 경우, 상기 제1 영상 내에 상기 복수의 객체 중 상기 타겟 객체로부터 일정한 거리 내에 위치하는 적어도 하나의 인접 객체를 추출하는 단계;
    상기 제1 영상 내에서 상기 적어도 하나의 인접 객체에 대한 적어도 하나의 제3 영역을 설정하는 단계;
    상기 제1 영상 내에서 상기 제3 영역을 확대하는 단계;
    상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제3 영역에 대한 영상 정보를 생성하는 단계;
    상기 제1 영상 내에 상기 복수의 객체에 대한 진행 방향 정보 및 진행 속도 정보를 도출하는 단계;
    상기 진행 방향 정보 및 상기 진행 속도 정보를 기반으로 상기 복수의 객체 중 상기 제1 영상 밖에서 상기 타겟 객체로부터 일정한 거리 내에 위치할 것으로 예측되는 적어도 하나의 인접 예정 객체를 추출하는 단계;
    상기 제1 영상 내에서 상기 적어도 하나의 인접 예정 객체에 대한 적어도 하나의 제4 영역을 설정하는 단계;
    상기 제1 영상 내에서 상기 제4 영역을 확대하는 단계; 및
    상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제4 영역에 대한 영상 정보를 생성하는 단계를 더 포함하고,
    상기 제1 영상은 휘도 성분 및 색차 성분으로 구성되는 컬러 영상을 포함하고,
    상기 제1 영상 코딩 알고리즘은 상기 휘도 성분에 대하여 멀티 참조 라인(multi reference line, MRL) 인트라 예측을 수행하고, 상기 색차 성분에 대하여 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함하고,
    상기 제2 영상 코딩 알고리즘은 상기 휘도 성분 및 상기 색차 성분에 대하여 상기 싱글 참조 라인 인트라 예측을 수행하는 알고리즘을 포함하고,
    상기 제2 영역 내의 적어도 일부가 미리 설정된 온도 범위 내에 포함되지 않는 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는,
    객체 추출 방법.
  2. 청구항 1에 있어서,
    상기 탐지 정보에 따라 제1 영상 코딩 알고리즘을 기반으로 상기 제1 영상에 대한 영상 정보를 생성하는 단계는,
    상기 제1 영상 내에서 상기 제1 영역을 확대하는 단계; 및
    상기 제1 영상 코딩 알고리즘을 기반으로 상기 확대한 제1 영역에 대한 영상 정보를 생성하는 단계를 포함하는 것을 특징으로 하는,
    객체 추출 방법.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 타겟 객체가 상기 제1 영상을 벗어난 경우, 상기 제2 영상 코딩 알고리즘을 기반으로 상기 타겟 객체가 존재하지 않는 상기 제1 영상에 대한 영상 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는,
    객체 추출 방법.
  5. 삭제
KR1020200039545A 2020-04-01 2020-04-01 Cctv를 이용한 객체 추출 방법 및 장치 KR102137654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200039545A KR102137654B1 (ko) 2020-04-01 2020-04-01 Cctv를 이용한 객체 추출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200039545A KR102137654B1 (ko) 2020-04-01 2020-04-01 Cctv를 이용한 객체 추출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102137654B1 true KR102137654B1 (ko) 2020-07-24

Family

ID=71892636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200039545A KR102137654B1 (ko) 2020-04-01 2020-04-01 Cctv를 이용한 객체 추출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102137654B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101852058B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 듀얼 카메라를 이용한 돌발 상황 감지방법
KR102051829B1 (ko) * 2019-05-31 2020-01-08 임철규 차량번호 인식을 통한 빅데이터 예측뷰포트 다중해상도 영상전송 기반의 스마트 교통정보 수집장치 및 그 장치를 이용한 교통관제 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101852058B1 (ko) * 2017-11-23 2018-04-25 주식회사 아이티아이비전 듀얼 카메라를 이용한 돌발 상황 감지방법
KR102051829B1 (ko) * 2019-05-31 2020-01-08 임철규 차량번호 인식을 통한 빅데이터 예측뷰포트 다중해상도 영상전송 기반의 스마트 교통정보 수집장치 및 그 장치를 이용한 교통관제 방법

Similar Documents

Publication Publication Date Title
US10671877B2 (en) Method and apparatus for performing privacy masking by reflecting characteristic information of objects
KR101780761B1 (ko) 비디오 카메라 내의 비디오 스트림을 프로세싱하는 방법 및 디바이스
CN108182421B (zh) 视频分割方法和装置
EP1542155B1 (en) Object detection
US7421149B2 (en) Object detection
JP7063039B2 (ja) 目標検出方法、目標検出装置及び画像処理装置
US7522772B2 (en) Object detection
US11004214B2 (en) Image processing apparatus, image processing method, and storage medium
US10863113B2 (en) Image processing apparatus, image processing method, and storage medium
EP3796655B1 (en) Video privacy mask in forward predicted video frame
EP1542152B1 (en) Object detection
EP1542154A2 (en) Object detection
US20230360297A1 (en) Method and apparatus for performing privacy masking by reflecting characteristic information of objects
KR101281850B1 (ko) 영상 디스크립터 생성 장치
US8699750B2 (en) Image processing apparatus
TWI521473B (zh) 影像分析裝置、方法及電腦可讀取媒體
US20190156138A1 (en) Method, system, and computer-readable recording medium for image-based object tracking
JP5247338B2 (ja) 画像処理装置及び画像処理方法
KR102137654B1 (ko) Cctv를 이용한 객체 추출 방법 및 장치
US10049436B1 (en) Adaptive denoising for real-time video on mobile devices
KR20190021993A (ko) 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
KR102080456B1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
US7257265B2 (en) Image processing apparatus and method
EP3503548A1 (en) Video encoding method and system
KR100429107B1 (ko) 웨이블릿 압축 데이터를 이용한 피사체의 움직임 검출방법및 검출장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant