KR102599190B1 - 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법 - Google Patents

통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR102599190B1
KR102599190B1 KR1020220077406A KR20220077406A KR102599190B1 KR 102599190 B1 KR102599190 B1 KR 102599190B1 KR 1020220077406 A KR1020220077406 A KR 1020220077406A KR 20220077406 A KR20220077406 A KR 20220077406A KR 102599190 B1 KR102599190 B1 KR 102599190B1
Authority
KR
South Korea
Prior art keywords
image
resolution
interest
region
super
Prior art date
Application number
KR1020220077406A
Other languages
English (en)
Inventor
정재호
Original Assignee
주식회사 포딕스시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포딕스시스템 filed Critical 주식회사 포딕스시스템
Priority to KR1020220077406A priority Critical patent/KR102599190B1/ko
Application granted granted Critical
Publication of KR102599190B1 publication Critical patent/KR102599190B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 객체 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는 원본 이미지로부터 관심영역을 제외한 전경을 제거하여 추출한 대상 객체를 통합시킨 단일 통합 객체 이미지를 생성하며, 상기 단일 통합 객체 이미지를 초고해상도의 이미지로 변환하는 초해상화(Super Resolution: SR)를 적용한 후, 딥러닝 기반의 객체 검출을 수행하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법에 관한 것이다.

Description

통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법{Apparatus and method for object detection based on image super-resolution of an integrated region of interest}
본 발명은 객체 검출 장치 및 방법에 관한 것으로, 더욱 상세하게는 원본 이미지로부터 관심영역을 제외한 전경을 제거하여 추출한 대상 객체를 통합시킨 단일 통합 객체 이미지를 생성하며, 상기 단일 통합 객체 이미지를 초고해상도의 이미지로 변환하는 초해상화(Super Resolution: SR)를 적용한 후, 딥러닝 기반의 객체 검출을 수행하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법에 관한 것이다.
영상기술 및 카메라 기술이 발전함에 따라 다양한 분야에 영상기술을 접목한 시도와 사례가 증가하고 있다.
시, 도, 군 등과 같은 정부 지자체들은 시민의 치안과 보안을 확립하기 위하여 거리, 건물 등과 같은 다양한 장소에 다수의 폐쇄 회로 텔레비전(Closed Circuit Television: CCTV)을 설치하고 있다. 특히 건물 내 보안 확립에 다수의 CCTV 설치는 그 실효성을 입증하였으며, 이로 인해 최근에는 일반 가정에도 치안, 보안 및 육아 돌봄 등을 위한 가정용 CCTV가 증가하는 추세이다.
이런 CCTV 영상저장장치는 촬영 영상에 대하여 저장수단을 통한 저장기능과 해당 영상에 대한 실시간 확인 및 관리기능을 네트워크를 통해 제공한다.
일반적인 CCTV 영상저장장치의 경우, 관리자가 직접 촬영 영상을 확인하여 발생한 이벤트 및 상황을 분석하는 것이 일반적이다. 하지만 소수의 관리자가 다수의 영상에서 동시다발적으로 발생한 이벤트를 감지하는 것은 큰 어려움이 존재한다.
이러한 문제점을 해결하기 위해 최근에는 촬영된 영상을 자동으로 분석하여 영상 내에서 발생하는 침입, 폭력, 사고, 특정 객체 추적 등과 같은 다양한 이벤트를 검출하는 영상 분석 시스템이 개발되어 적용되고 있다.
상기한 영상 분석 시스템은 딥러닝(Deep Learning) 등과 같은 인공지능(AI)기술이 접목되어 영상 내의 객체 검출 및 분류를 수행하며, 검출한 객체를 활용하여 영상 내 상황과 다양한 이벤트를 빠르게 감지 및 판단한다.
또한, 최근 영상 분석 시스템은 이러한 이벤트의 감지를 넘어, 사고를 예방하는 선제적 보안 단계의 실현이 가능할 것으로 기대받고 있다.
딥러닝 알고리즘은 비지도 학습 및 지도 학습, 합성곱신경망(Convolution Neural Network: CNN), 순환신경망(Recursive Neural Network: RNN) 등으로 고도화되고 있으며, 이를 처리하는 하드웨어의 성능도 발전하는 추세이다. 통상적으로 영상의 처리는 그래픽 프로세싱 유닛(Graphic Processing Unit: GPU)에서 수행된다.
그러나 수많은 영상을 빠르게 분석하여야 하므로 영상을 처리하기 위한 GPU 등과 같은 하드웨어의 속도가 빨라져야 하나, 하드웨어의 속도를 향상시키기 위해서는 그 가격이 비싸지는 문제점이 있으며, 가격이 저렴한 하드웨어로는 사용자가 원하는 속도를 확보하기 어려운 문제점이 있었다.
또한, 속도가 빠른 하드웨어라도 물리적으로 그 속도를 향상시키는 것은 한계가 존재한다.
또한, CCTV 등을 통해 획득되는 영상의 해상도가 떨어지므로 영상 내의 객체 검출 성능 및 영상 분석 능력이 떨어져 객체의 검출 성능 및 분석 성능이 떨어지는 문제점이 있다.
이를 해결하기 위해 종래 객체 검출 장치는 획득된 영상의 스냅샷 이미지인 프레임 이미지(이하 "원본 이미지"라 함)를 초해상화(Super-Resolution: SR)에 적용하여 초해상도의 이미지로 변환한 후 객체 검출을 수행한다. 상기 초해상화(SR)는 낮은 해상도의 영상을 딥러닝 알고리즘을 사용해 초해상도 영상으로 변환하는 기술이다.
도 1 내지 도 3은 종래 객체 검출 장치에서의 초해상도 이미지 기반의 객체 검출 방법을 나타낸 도면이다.
도 1 내지 도 3을 참조하면, 종래 객체 검출 장치는 도 1에서 보이는 바와 같이 제1해상도(104X104)의 원본 이미지(1)에 대해 초해상도 이미지 변환부(11)를 통해 초해상화(SR)를 수행하여, 객체 검출에 최적인 미리 설정된 최적 해상도인 제2해상도(416X416)의 초해상도 이미지(2)로 변환한다. 상기 제2해상도는 객체 검출 모델이 적용된 하드웨어의 처리 속도에 영향을 주므로, 상기 제2해상도는 하드웨어 성능에 따라 서로 다른 값을 가질 수 있으나, 통상 416X416이 적용될 수 있을 것이다.
상기 초해상도 이미지(2)로 변환한 후 종래 객체 검출 장치는 객체 검출을 위한 딥러닝 인공지능모델이 적용된 객체 검출부(12)를 통해 상기 제2해상도로 변환된 초해상도 이미지(2) 내의 객체를 검출하고, 초해상도 이미지(2) 내의 객체 검출이 완료된 이미지(3)를 출력한다.
그러나 도 2와 같이 원본 이미지(4)의 해상도(예: CCTV 이미지 해상도, 400X400)와 객체 검출에 최적인 최적 해상도(416X416: 딥러닝 인공지능 모델의 최적 해상도)의 크기가 비슷하고 400X400 해상도의 원본 이미지(4)를 4배의 초해상도 이미지(5)로 변환하는 경우, 400X400 해상도의 상기 원본 이미지(4)는 4배 확대 초해상화(SR, 21)를 통해 1600X1600 해상도의 초해상도 이미지(5)로 변환된다. 이렇게 해상도가 높은 초해상도 이미지(5)는 바로 객체 검출 모델에 적용할 수 없어 크기 변환(Resize, 22)을 통해 객체 검출 모델에 최적인 416X416 해상도의 객체 검출 해상도로 낮춰 객체 검출(14)을 수행하고, 객체가 검출된 객체 검출 이미지(7)를 출력한다.
도 2의 경우 해상도 변환을 수행하므로 원본 이미지(4)의 400X400 해상도와 해상도가 변환된 이미지(6)의 해상도 416X416의 차이가 없어 초해상도 변환을 수행하는 효과가 없어지는 문제점이 있다.
이러한 이유로, 원본 이미지 해상도와 객체 검출 해상도가 유사한 경우, 종래 객체 검출 장치는 도 3과 같이 원본 이미지(4)를 그대로 객체 검출 모델에 적용하여 객체가 검출된 이미지(8)를 생성한 후 검출된 객체들을 추출한 후 추출된 각 객체에 대해 초해상화를 수행하여 초고해상도로 변환(32)한 후 딥러닝 인공지능모델을 적용하여 객체를 검출 및 분류한다.
그러나 객체수가 많은 경우 각 객체의 해상도를 초해상도로 변환하는데 많은 시간이 소요되는 문제점이 발생한다.
이는 초해상도 알고리즘의 해상도 변환 속도가 느리기 때문이며, 이는 실시간 사용을 불가능하게 하는 문제점이 있다.
대한민국 등록특허 제1637193호(2016.07.08.공고)
따라서 본 발명의 목적은 원본 이미지로부터 관심영역을 제외한 전경을 제거하여 추출한 대상 객체를 통합시킨 단일 통합 객체 이미지를 생성하며, 상기 단일 통합 객체 이미지를 초고해상도의 이미지로 변환하는 초해상화(Super Resolution: SR)를 적용한 후, 딥러닝 기반의 객체 검출을 수행하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치는: 기준 해상도의 원본 이미지를 획득하여 출력하는 이미지 획득부; 상기 원본 이미지에 포함된 객체를 검출하고, 검출된 객체에 대한 관심 영역을 적어도 하나 이상 추출하고, 추출된 각 객체의 관심 영역에 대응하고 상기 기준 해상도 이하의 하나 이상의 후보 객체 이미지를 출력하는 관심영역 추출부; 상기 후보 객체 이미지를 통합시키되 상기 기준 해상도보다 해상도가 떨어지는 미리 설정된 통합 해상도의 단일 통합 객체 이미지를 생성하여 출력하는 객체 이미지 생성부; 상기 단일 통합 객체 이미지를 상기 기준 해상도에 상응하는 미리 설정된 초해상도로 변환하여 초해상도 단일 통합 객체 이미지를 출력하는 초해상도 변환부; 및 상기 초해상도 단일 통합 객체 이미지로부터 객체 검출 및 분류를 수행하는 객체 검출부를 포함하는 것을 특징으로 한다.
상기 관심영역 추출부는, 상기 원본 이미지로부터 배경 이미지를 추출하여 출력하는 배경 이미지 추출부; 상기 원본 이미지 및 배경 이미지를 입력받고 원본 이미지와 배경 이미지를 비교하여 원본 이미지에서 배경을 제거하고 미리 설정된 기준치와 비교하여 후보 객체에 대응하는 관심영역을 포함하는 전경 마스크를 생성하는 전경 마스크 생성부; 및 상기 원본 이미지와 상기 전경 마스크를 입력받고, 상기 원본 이미지와 전경 마스크를 비교하여 상기 원본 이미지에 포함된 객체 관심 영역을 추출하고, 추출된 객체 관심영역만을 포함하는 하나 이상의 후보 객체 이미지를 상기 단일 통합 객체 이미지 생성부로 출력하는 객체 후보 출력부를 포함하는 것을 특징으로 한다.
상기 단일 통합 객체 이미지 생성부는, 고해상도로 변환된 상기 초해상도 단일 통합 객체 이미지의 해상도보다 일정 비율로 낮은 상기 통합 해상도의 단일 통합 객체 이미지를 생성하는 것을 특징으로 한다.
상기 관심영역 추출부는, 상기 객체의 관심 영역 추출 시 추출된 관심 영역을 포함하는 사각형의 경계영역에 대응하는 객체 해상도를 가지는 후보 객체 이미지를 출력하되, 상기 단일 통합 객체 이미지 생성부는, 상기 후보 객체 이미지의 객체 해상도 및 상기 통합 해상도에 따라, 단일 통합 객체 이미지 수, 상기 통합 해상도에 포함될 수 있는 후보 객체 이미지 및 후보 객체 이미지의 수를 결정하고 결정된 상기 후보 객체 이미지 수의 해당 후보 객체 이미지를 결합하여 상기 단일 통합 객체 이미지를 생성하는 것을 특징으로 한다.
상기 단일 통합 객체 이미지의 상기 통합 해상도는 104X104이고, 상기 초해상도 단일 통합 객체 이미지의 해상도는 416X416인 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법은: 이미지 획득부가 기준 해상도의 원본 이미지를 획득하여 출력하는 이미지 획득 과정; 관심영역 추출부가 상기 원본 이미지에 포함된 객체를 검출하고, 검출된 객체에 대한 관심 영역을 적어도 하나 이상 추출하고, 추출된 각 객체의 관심 영역에 대응하는 하나 이상의 후보 객체 이미지를 출력하는 관심영역 추출 과정; 객체 이미지 생성부가 상기 후보 객체 이미지를 통합시키되 상기 기준 해상도보다 해상도가 떨어지는 미리 설정된 통합 해상도의 단일 통합 객체 이미지를 생성하여 출력하는 객체 이미지 생성 과정; 초해상도 변환부가 상기 단일 통합 객체 이미지를 상기 기준 해상도에 상응하는 미리 설정된 초해상도로 변환하여 초해상도 단일 통합 객체 이미지를 출력하는 초해상도 변환 과정; 및 객체 검출부가 상기 초해상도 단일 통합 객체 이미지로부터 객체 검출 및 분류를 수행하는 딥러닝 객체 검출 과정을 포함하는 것을 특징으로 한다.
상기 관심영역 추출 과정은, 상기 관심영역 추출부가 배경 이미지 추출부를 통해 상기 원본 이미지로부터 배경 이미지를 추출하여 출력하는 배경 이미지 추출 단계; 상기 관심영역 추출부가 전경 마스크 생성부를 통해 상기 원본 이미지 및 배경 이미지를 입력받고 원본 이미지와 배경 이미지를 비교하여 원본 이미지에서 배경을 제거하고 미리 설정된 기준치와 비교하여 후보 객체에 대응하는 관심영역을 포함하는 전경 마스크를 생성하는 전경 마스크 생성 단계; 및 상기 관심영역 추출부가 객체 후보 출력부를 통해 상기 원본 이미지와 상기 전경 마스크를 입력받고, 상기 원본 이미지와 전경 마스크를 비교하여 상기 원본 이미지에 포함된 객체 관심 영역을 추출하고, 추출된 객체 감시 영역만을 포함하는 하나 이상의 후보 객체 이미지를 상기 단일 통합 객체 이미지 생성부로 출력하는 상기 객체 후보 출력 단계를 포함하는 것을 특징으로 한다.
상기 단일 통합 객체 이미지 생성 과정에서, 상기 단일 통합 객체 이미지 생성부가 상기 초해상도보다 일정 비율로 낮은 상기 통합 해상도의 단일 통합 객체 이미지를 생성하는 것을 특징으로 한다.
상기 관심영역 추출 과정에서, 상기 관심영역 추출부가 관심 객체의 검출 시 검출된 상기 관심 객체를 포함하는 사각형의 경계영역에 대응하는 객체 해상도를 가지는 후보 객체 이미지를 출력하되, 상기 단일 통합 객체 이미지 생성 과정에서, 상기 단일 통합 객체 이미지 생성부가 상기 후보 객체 이미지의 객체 해상도 및 상기 통합 해상도에 따라, 단일 통합 객체 이미지 수, 상기 통합 해상도에 포함될 수 있는 후보 객체 이미지 및 후보 객체 이미지의 수를 결정하고 결정된 상기 객체 이미지 수의 해당 후보 객체 이미지를 결합하여 상기 단일 통합 객체 이미지를 생성하는 것을 특징으로 한다.
상기 단일 통합 객체 이미지의 상기 통합 해상도는 104X104이고, 상기 초해상도 단일 통합 객체 이미지의 해상도는 416X416인 것을 특징으로 한다.
본 발명은 원본 이미지로부터 검출되는 객체만을 추출하여 원본 이미지의 해상도 보다 낮은 해상도를 갖고 하나 이상의 객체를 포함하도록 재구성된 통합 이미지를 생성한 후 초해상도로 변환하므로, 원본 이미지 내의 불필요한 부분(전경부분)까지 초해상도로 변환을 수행할 필요가 없으므로 초해상도 변환 시간을 줄일 수 있는 효과가 있다.
또한, 본 발명은 원본 이미지로부터 추출된 검출 대상 객체만을 포함하는 하나 이상의 후보 객체 이미지를 생성하고, 생성된 후보 객체 이미지를 초해상화를 수행한 해상도보다 작고 미리 설정된 해상도(=통합 해상도)를 가지는 단일 통합 객체 이미지로 재구성하므로 초해상화(SR)를 위한 최적화된 이미지(=단일 통합 객체 이미지)를 획득할 수 있는 효과가 있다.
또한, 본 발명은 전경이 제거되고 객체만을 포함하며, 최적화된 초해상도의 초해상도 단일 통합 객체 이미지를 생성하여 객체 검출 및 분류를 수행하므로 객체 검출 및 분류의 정확도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 전경이 제거된 객체만을 포함하는 단일 통합 객체 이미지를 딥러닝 기반의 객체 검출 모델에 적용하므로 이미지의 전경에 대한 분석을 수행하지 않아도 되므로 검출 및 분류 시간을 줄일 수 있는 효과가 있다.
도 1은 일반적인 객체 검출 장치에서 객체 검출을 위한 전처리 및 객체 검출 방법을 나타낸 도면이다.
도 2는 일반적인 객체 검출 장치에서 CCTV 영상으로부터 객체 검출을 위한 전처리 및 객체 검출 방법을 나타낸 도면이다.
도 3은 일반적인 객체 검출 장치에서 원본 이미지로부터 객체 검출 후 초해상도 변환을 수행하는 객체 검출을 위한 전처리 및 객체 검출 방법을 나타낸 도면이다.
도 4는 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치의 구성을 나타낸 도면이다.
도 5는 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 객체 검출 장치의 관심영역 추출부의 구성을 나타낸 도면이다.
도 7은 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법 중 관심영역에 대응하는 관심 객체 추출 방법을 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치의 구성 및 동작을 상세히 설명하고, 상기 장치에서의 원본 이미지 전처리 방법 및 객체 검출 방법을 설명한다.
도 4는 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치의 구성을 나타낸 도면이고, 도 5는 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법을 설명하기 위한 도면이다. 이하 도 4 및 도 5를 참조하여 설명한다.
본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치는 이미지 획득부(110), 관심영역 추출부(120), 단일 통합 객체 이미지 생성부(130), 초해상도 변환부(140) 및 객체 검출부(150)를 포함한다.
상기 이미지 획득부(110)는 폐쇠회로텔레비션(Closed Circuit Television: CCTV) 등과 같은 카메라로부터 직접 획득된 영상, 또는 상기 카메라로부터 획득되어 영상저장장치 등과 같은 영상관리시스템에 저장된 영상으로부터 도 5의 스크린샷 이미지인 기준 해상도 이하의 원본 이미지(101)를 획득한다. 상기 기준 해상도는 객체 검출부(150)로 입력하는 초해상도 단일 통합 객체 이미지(104)의 객체 검출 해상도에 대응할 수 있을 것이다. 예를 들어, 상기 원본 이미지(101)의 기준 해상도는 400X400(CCTV 원본 이미지)일 수 있으며, 상기 초해상도 단일 통합 객체 이미지(104)의 객체 검출 해상도는 416X416일 수 있을 것이다. 상기 기준 해상도는 객체 검출 해상도보다 일정 범위 내에서 높을 수도 있으나, 낮은 것이 바람직할 것이다.
관심영역 추출부(120)는 이미지 획득부(110)로부터 원본 이미지(101)를 입력받고, 원본 이미지(101)에 포함된 적어도 하나 이상의 관심 객체(111)를 추출하고, 추출된 관심 객체(111)에 대한 이미지인 후보 객체 이미지(102)를 단일 통합 객체 이미지 생성부(130)로 출력한다. 상기 후보 객체 이미지(102)의 해상도인 객체 해상도는 도 5의 원본 이미지(101)에서 보이는 바와 같이 원본 이미지(101)의 해상도보다 클 수 없으며, 단일 통합 객체 이미지(103)의 해상도인 통합 해상도보다 낮은 것이 바람직할 것이다. 또한, 후보 객체 이미지들의 객체 해상도는 동일할 수도 있고, 서로 다를 수도 있을 것이다.
단일 통합 객체 이미지 생성부(130)는 적어도 하나 이상의 후보 객체 이미지(102)를 입력받고, 입력되는 후보 객체 이미지(102)들의 객체 해상도 및 통합 해상도를 고려하여 생성할 단일 통합 객체 이미지 수, 각 단일 통합 객체 이미지(103)에 통합할 후보 객체 이미지(102) 및 각 단일 통합 객체 이미지(103)에 통합할 후보 객체 이미지 수를 결정한 후, 하나의 이미지로 통합하기로 결정된 하나 이상의 후보 객체 이미지(102)를 통합하여 하나 이상의 단일 통합 객체 이미지(103)를 생성하여 초해상도 변환부(140)로 출력한다. 상술한 바와 같이 단일 통합 객체 이미지 생성부(130)는 하나의 원본 이미지(101)에 대해 하나 이상의 단일 통합 객체 이미지를 생성하여 출력할 수도 있을 것이다.
도 5를 예를 들면, 단일 통합 객체 이미지 생성부(130)는 8개의 후보 객체 이미지(102) 중 통합 해상도, 104X104 내에 통합할 수 있는 후보 객체 이미지 수를 8개로 결정하고, 8개의 후보 객체 이미지(102)를 포함하는 하나의 단일 통합 객체 이미지(103)를 생성한다. 만일 후보 객체 이미지(102)의 해상도가 커, 단일 통합 객체 이미지 수가 2개로 결정되고, 각 단일 통합 객체 이미지에 통합할 후보 객체 이미지 수가 4개로 결정되면, 단일 통합 객체 이미지 생성부(130)는 각각 4개의 후보 객체 이미지를 포함하는 2개의 단일 통합 객체 이미지(103)를 생성하여 초해상도 변환부(140)로 출력할 것이다.
한편, 단일 통합 객체 이미지 생성부(130)는 관심영역 추출부(120)로부터 입력되는 후보 객체 이미지(102) 중 미리 설정된 단일 통합 객체 이미지(103)의 통합 해상도보다 높은 후보 객체 이미지(102)가 존재하면, 즉, 단일 통합 객체 이미지(130) 내에 최소 하나의 후보 객체 이미지를 포함시킬 수 없는 경우가 발생하면 통합 해상도를 2배 높여(예: 이전 통합 해상도가 104X104인 경우, 208X208로 높임), 단일 통합 객체 이미지(103)를 생성한다.
고해상도 변환부(140)는 단일 통합 객체 이미지 생성부(130)로부터 단일 통합 객체 이미지(103)가 입력되면 초해상화(SR)를 수행하여, 상기 단일 통합 객체 이미지(103)의 해상도를 객체 검출부(150)에서 최적 분석을 수행할 수 있는 (초)고해상도로 변환한 초해상도 단일 통합 객체 이미지(104)를 객체 검출부(150)로 출력한다. 상기 최적 분석이란 이미지를 딥러닝 인공지능모델에 적용하여 하드웨어에 부담을 주지 않으면서도 빠른 시간 내에 분석을 수행할 수 있고, 객체 검출 및 분류 정확도를 높일 수 있는 분석을 의미한다. 상기 초해상도는 딥러닝 인공지능모델을 처리하는 하드웨어의 성능에 따라 달라질 수 있으나, 416X416인 것이 바람직할 것이다.
상기 초해상도 변환부(140)는 초해상화(Super-Resolution: SR) 알고리즘을 통해 입력되는 이미지의 해상도를 4배까지 향상시킨다. 따라서 단일 통합 객체 이미지의 상기 초해상도의 1/4인 104X104인 것이 바람직하나, 이에 한정되는 것은 아니다.
객체 검출부(150)는 초해상도 변환부(140)로부터 초해상도 단일 통합 객체 이미지를 입력받고, 입력된 초해상도 단일 통합 객체 이미지(104)를 미리 학습된 딥러닝 인공지능모델에 적용하여 상기 초해상도 단일 통합 객체 이미지(104)에 포함되어 있는 관심 객체를 검출하고, 검출된 관심 객체를 분류한 초해상도 단일 통합 객체 검출 이미지(105)를 출력한다. 도 5에서는 객체 검출부(150)가 차량으로 분류된 관심 객체만을 포함하는 초해상도 단일 통합 객체 검출 이미지(105)를 출력하는 경우를 나타내었다.
도 6은 본 발명에 따른 객체 검출 장치의 관심영역 추출부의 구성을 나타낸 도면이고, 도 7은 본 발명에 따른 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법 중 관심영역에 대응하는 관심 객체 추출 방법을 설명하기 위한 도면이다.
도 6을 참조하여 관심영역 추출부(120)의 구성 및 동작을 좀 더 상세히 설명하면, 관심영역 추출부(120)는 배경 이미지 추출부(121), 전경 마스크 생성부(122) 및 객체 후보 추출부(123)를 포함한다.
배경 이미지 추출부(121)는 도 7에서 보이는 바와 같이 원본 이미지(101)로부터 배경 이미지(106)를 추출하여 전경 마스크 생성부(122)로 출력한다.
전경 마스크 생성부(122)는 원본 이미지(101) 및 배경 이미지(106)를 입력받고, 원본 이미지(101)에서 배경 이미지를 제거하여 원본 이미지(101)에 포함된 적어도 하나의 관심 객체(111)를 포함하는 하나 이상의 관심영역을 추출하고, 기준치와 관심영역을 비교하여, 도 7에서 나타낸 전경 마스크(107)를 생성하여 객체 후보 추출부(123)로 출력한다. 상기 관심영역은 도 7에서와 같이 관심 객체 형상으로 형성될 수도 있고, 원, 사각형 등의 경계박스 형태로 형성될 수도 있을 것이다.
객체 후보 추출부(123)는 원본 이미지(101) 및 전경 마스크(107)를 입력받고, 원본 이미지(101)와 전경 마스크(107)를 비교하여 하나 이상의 관심 객체(111)를 추출하고, 하나의 관심객체(111)를 포함하는 하나 이상의 후보 객체 이미지(102)를 출력한다.
한편, 본 발명은 전술한 전형적인 바람직한 실시 예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
101: 원본 이미지 102: 후보 객체 이미지
103: 단일 통합 객체 이미지 104: 초해상도 단일 통합 객체 이미지
105: 초해상도 단일 통합 객체 검출 이미지
106: 배경 이미지 107: 전경 마스크
110: 이미지 획득부 120: 관심영역 추출부
121: 배경 이미지 추출부 122: 전경 마스크 생성부
123: 객체 후보 추출부 130: 단일 통합 객체 이미지 생성부
140: 초해상도 변환부 150: 객체 검출부

Claims (10)

  1. 기준 해상도의 원본 이미지를 획득하여 출력하는 이미지 획득부;
    상기 원본 이미지에 포함된 객체를 검출하고, 검출된 객체에 대한 관심 영역을 적어도 하나 이상 추출하고, 추출된 각 객체의 관심 영역에 대응하고 상기 기준 해상도 이하의 하나 이상의 후보 객체 이미지를 출력하는 관심영역 추출부;
    상기 후보 객체 이미지를 통합시키되 상기 기준 해상도보다 해상도가 떨어지는 미리 설정된 통합 해상도의 단일 통합 객체 이미지를 생성하여 출력하는 객체 이미지 생성부;
    상기 단일 통합 객체 이미지를 상기 기준 해상도에 상응하는 미리 설정된 초해상도로 변환하여 초해상도 단일 통합 객체 이미지를 출력하는 초해상도 변환부; 및
    상기 초해상도 단일 통합 객체 이미지로부터 객체 검출 및 분류를 수행하는 객체 검출부를 포함하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치.
  2. 제1항에 있어서,
    상기 관심영역 추출부는,
    상기 원본 이미지로부터 배경 이미지를 추출하여 출력하는 배경 이미지 추출부;
    상기 원본 이미지 및 배경 이미지를 입력받고 원본 이미지와 배경 이미지를 비교하여 원본 이미지에서 배경을 제거하고 미리 설정된 기준치와 비교하여 후보 객체에 대응하는 관심영역을 포함하는 전경 마스크를 생성하는 전경 마스크 생성부; 및
    상기 원본 이미지와 상기 전경 마스크를 입력받고, 상기 원본 이미지와 전경 마스크를 비교하여 상기 원본 이미지에 포함된 객체 관심 영역을 추출하고, 추출된 객체 관심영역만을 포함하는 하나 이상의 후보 객체 이미지를 상기 단일 통합 객체 이미지 생성부로 출력하는 객체 후보 출력부를 포함하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치.
  3. 제1항에 있어서,
    상기 단일 통합 객체 이미지 생성부는,
    고해상도로 변환된 상기 초해상도 단일 통합 객체 이미지의 해상도보다 일정 비율로 낮은 상기 통합 해상도의 단일 통합 객체 이미지를 생성하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치.
  4. 제3항에 있어서,
    상기 관심영역 추출부는,
    상기 객체의 관심 영역 추출 시 추출된 관심 영역을 포함하는 사각형의 경계영역에 대응하는 객체 해상도를 가지는 후보 객체 이미지를 출력하되,
    상기 단일 통합 객체 이미지 생성부는,
    상기 후보 객체 이미지의 객체 해상도 및 상기 통합 해상도에 따라, 단일 통합 객체 이미지 수, 상기 통합 해상도에 포함될 수 있는 후보 객체 이미지 및 후보 객체 이미지의 수를 결정하고 결정된 상기 후보 객체 이미지 수의 해당 후보 객체 이미지를 결합하여 상기 단일 통합 객체 이미지를 생성하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치.
  5. 제4항에 있어서,
    상기 단일 통합 객체 이미지의 상기 통합 해상도는 104X104이고, 상기 초해상도 단일 통합 객체 이미지의 해상도는 416X416인 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치.
  6. 이미지 획득부가 기준 해상도의 원본 이미지를 획득하여 출력하는 이미지 획득 과정;
    관심영역 추출부가 상기 원본 이미지에 포함된 객체를 검출하고, 검출된 객체에 대한 관심 영역을 적어도 하나 이상 추출하고, 추출된 각 객체의 관심 영역에 대응하는 하나 이상의 후보 객체 이미지를 출력하는 관심영역 추출 과정;
    객체 이미지 생성부가 상기 후보 객체 이미지를 통합시키되 상기 기준 해상도보다 해상도가 떨어지는 미리 설정된 통합 해상도의 단일 통합 객체 이미지를 생성하여 출력하는 객체 이미지 생성 과정;
    초해상도 변환부가 상기 단일 통합 객체 이미지를 상기 기준 해상도에 상응하는 미리 설정된 초해상도로 변환하여 초해상도 단일 통합 객체 이미지를 출력하는 초해상도 변환 과정; 및
    객체 검출부가 상기 초해상도 단일 통합 객체 이미지로부터 객체 검출 및 분류를 수행하는 딥러닝 객체 검출 과정을 포함하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법.
  7. 제6항에 있어서,
    상기 관심영역 추출 과정은,
    상기 관심영역 추출부가 배경 이미지 추출부를 통해 상기 원본 이미지로부터 배경 이미지를 추출하여 출력하는 배경 이미지 추출 단계;
    상기 관심영역 추출부가 전경 마스크 생성부를 통해 상기 원본 이미지 및 배경 이미지를 입력받고 원본 이미지와 배경 이미지를 비교하여 원본 이미지에서 배경을 제거하고 미리 설정된 기준치와 비교하여 후보 객체에 대응하는 관심영역을 포함하는 전경 마스크를 생성하는 전경 마스크 생성 단계; 및
    상기 관심영역 추출부가 객체 후보 출력부를 통해 상기 원본 이미지와 상기 전경 마스크를 입력받고, 상기 원본 이미지와 전경 마스크를 비교하여 상기 원본 이미지에 포함된 객체 관심 영역을 추출하고, 추출된 객체 감시 영역만을 포함하는 하나 이상의 후보 객체 이미지를 상기 단일 통합 객체 이미지 생성부로 출력하는 상기 객체 후보 출력 단계를 포함하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법.
  8. 제6항에 있어서,
    상기 단일 통합 객체 이미지 생성 과정에서, 상기 단일 통합 객체 이미지 생성부가 상기 초해상도보다 일정 비율로 낮은 상기 통합 해상도의 단일 통합 객체 이미지를 생성하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법.
  9. 제8항에 있어서,
    상기 관심영역 추출 과정에서, 상기 관심영역 추출부가 관심 객체의 검출 시 검출된 상기 관심 객체를 포함하는 사각형의 경계영역에 대응하는 객체 해상도를 가지는 후보 객체 이미지를 출력하되,
    상기 단일 통합 객체 이미지 생성 과정에서, 상기 단일 통합 객체 이미지 생성부가 상기 후보 객체 이미지의 객체 해상도 및 상기 통합 해상도에 따라, 단일 통합 객체 이미지 수, 상기 통합 해상도에 포함될 수 있는 후보 객체 이미지 및 후보 객체 이미지의 수를 결정하고 결정된 상기 객체 이미지 수의 해당 후보 객체 이미지를 결합하여 상기 단일 통합 객체 이미지를 생성하는 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법.
  10. 제9항에 있어서,
    상기 단일 통합 객체 이미지의 상기 통합 해상도는 104X104이고, 상기 초해상도 단일 통합 객체 이미지의 해상도는 416X416인 것을 특징으로 하는 통합 관심 영역의 초해상도 이미지 기반 객체 검출 방법.
KR1020220077406A 2022-06-24 2022-06-24 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법 KR102599190B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220077406A KR102599190B1 (ko) 2022-06-24 2022-06-24 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220077406A KR102599190B1 (ko) 2022-06-24 2022-06-24 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102599190B1 true KR102599190B1 (ko) 2023-11-07

Family

ID=88747000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220077406A KR102599190B1 (ko) 2022-06-24 2022-06-24 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102599190B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090024898A (ko) * 2007-09-05 2009-03-10 한국전자통신연구원 영상 객체 추출 장치 및 그 방법
KR101637193B1 (ko) 2015-02-24 2016-07-08 (주)네스테크놀로지 레이어 설정이 가능한 분산 처리형 다채널 영상합성 시스템 및 그 제어방법
CN110147753A (zh) * 2019-05-17 2019-08-20 电子科技大学 一种检测图像中小物体的方法及装置
US20190312985A1 (en) * 2018-04-06 2019-10-10 Motorola Solutions, Inc. Systems and methods for processing digital image data representing multiple views of an object of interest

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090024898A (ko) * 2007-09-05 2009-03-10 한국전자통신연구원 영상 객체 추출 장치 및 그 방법
KR101637193B1 (ko) 2015-02-24 2016-07-08 (주)네스테크놀로지 레이어 설정이 가능한 분산 처리형 다채널 영상합성 시스템 및 그 제어방법
US20190312985A1 (en) * 2018-04-06 2019-10-10 Motorola Solutions, Inc. Systems and methods for processing digital image data representing multiple views of an object of interest
CN110147753A (zh) * 2019-05-17 2019-08-20 电子科技大学 一种检测图像中小物体的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Athindran Ramesh Kumar 외 2명, "Pack and Detect: Fast Object Detection in Videos Using Region-of-Interest Packing", arXiv:1809.01701, pp.1-14(2021.03.22.) 1부.* *
한국 공개특허공보 제10-2009-0024898호(2009.03.10.) 1부.*

Similar Documents

Publication Publication Date Title
KR102194499B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
Tian et al. Robust and efficient foreground analysis for real-time video surveillance
KR102139582B1 (ko) 다중 roi 및 객체 검출 dcnn 기반의 cctv 영상분석장치 및 그 장치의 구동방법
EP1868162A2 (en) Unusual action detection based on image analysis involving CHLAC feature extraction
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
Ippalapally et al. Object detection using thermal imaging
JP6668514B1 (ja) ディープランニング基盤陰影映像の時空間的な特性分析を活用した暴力検出用フレームワーキング方法およびその装置
KR102127276B1 (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
Mishra et al. An intelligent motion detection using OpenCV
CN111460964A (zh) 一种广电传输机房低照度条件下运动目标检测方法
KR100828183B1 (ko) 에이다부스트와 에스브이엠 학습 분류기를 이용한 눈영역 추출기 및 추출방법
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
Murari et al. Algorithms for the automatic identification of MARFEs and UFOs in JET database of visible camera videos
Choudhary et al. Violence detection in videos using transfer learning and LSTM
KR102599190B1 (ko) 통합 관심 영역의 초해상도 이미지 기반 객체 검출 장치 및 방법
US20220392225A1 (en) Concept for Detecting an Anomaly in Input Data
Bangare et al. An approach for detecting abandoned object from real time video
Becker et al. The effects of camera jitter for background subtraction algorithms on fused infrared-visible video streams
KR102520729B1 (ko) 영상 분석 시스템의 다채널 영상 단일 채널 처리 시스템 및 방법
Molina-Cabello et al. Foreground detection by ensembles of random polygonal tilings
Atone et al. Moving Object Detection with an IP camera
Tahir et al. Implementation of intrusion detection system in CUDA for real-time multi-node streaming
Suarez-Paez et al. Reduced computational cost prototype for street theft detection based on depth decrement in Convolutional Neural Network. Application to Command and Control Information Systems (C2IS) in the National Police of Colombia.
Sharma et al. Efficient object detection with its enhancement
Molina-Cabello et al. Foreground object detection enhancement by adaptive super resolution for video surveillance

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant