KR102593677B1 - 객체 검출 이미지 전처리 장치 및 방법 - Google Patents

객체 검출 이미지 전처리 장치 및 방법 Download PDF

Info

Publication number
KR102593677B1
KR102593677B1 KR1020220079140A KR20220079140A KR102593677B1 KR 102593677 B1 KR102593677 B1 KR 102593677B1 KR 1020220079140 A KR1020220079140 A KR 1020220079140A KR 20220079140 A KR20220079140 A KR 20220079140A KR 102593677 B1 KR102593677 B1 KR 102593677B1
Authority
KR
South Korea
Prior art keywords
image
unit
information
detection
frame image
Prior art date
Application number
KR1020220079140A
Other languages
English (en)
Inventor
정재호
강인구
Original Assignee
주식회사 포딕스시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포딕스시스템 filed Critical 주식회사 포딕스시스템
Priority to KR1020220079140A priority Critical patent/KR102593677B1/ko
Application granted granted Critical
Publication of KR102593677B1 publication Critical patent/KR102593677B1/ko

Links

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 객체 검출 이미지 전처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 획득되는 이미지에 존재하는 목표 객체의 인식률을 높이기 위해 상기 이미지의 화질을 개선하고, 상기 이미지에서 목표 객체의 인식률을 떨어트릴수 있는 작은 크기의 객체가 존재하는 경우 객체의 크기에 대응하여 상기 이미지를 타일링(Tiling)한 후 타일링된 각 분할 이미지의 해상도를 향상시키는 이미지 전처리를 수행하여 출력하는 객체 검출 이미지 전처리 장치 및 방법에 관한 것이다.

Description

객체 검출 이미지 전처리 장치 및 방법{Object detection image preprocessing apparatus and method thereof}
본 발명은 객체 검출 이미지 전처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 획득되는 이미지에 존재하는 목표 객체의 인식률을 높이기 위해 상기 이미지의 화질을 개선하고, 상기 이미지에서 목표 객체의 인식률을 떨어트릴수 있는 작은 크기의 객체가 존재하는 경우 객체의 크기에 대응하여 상기 이미지를 타일링(Tiling)한 후 타일링된 각 분할 이미지의 해상도를 향상시키는 이미지 전처리를 수행하여 출력하는 객체 검출 이미지 전처리 장치 및 방법에 관한 것이다.
일반적으로 영상에서의 목표 객체 검출 및 분류는 영상 분석 및 컴퓨터 비전 분야의 기본 요소 기술로, 자율주행, 방범, 보안 등에 적용되기 시작하면서 많은 연구가 진행되고 있다.
목표 객체 분류는 미리 정해진 카테고리(Category)에 따라 영상을 분류하는 것이고, 목표 객체 검출은 정해진 카테고리의 목표 객체들과 위치정보를 찾는 것이다.
이처럼 영상에서의 목표 객체 검출 및 분류는 얼마나 정확하게 검출하고자 하는 목표 객체를 검출하고, 정확하게 인식하여 분류하느냐가 중요하다. 즉 정확성 및 인식률이 중요하다.
따라서 영상으로부터 더 정확하게 객체를 검출하고 검출된 객체를 인식하여 분류하는 다양한 알고리즘들이 개발되어 적용되고 있다.
그러나 향상된 알고리즘을 적용할지라도 종래 목표 객체 검출 및 분류 장치는 객체 검출 및 객체 분류를 수행할 원본 이미지의 해상도가 낮거나, 블러링(Blurring)이 존재하거나, 어둡거나, 객체가 작은 경우에는 하기 표 1의 객체 검출 메쏘드(Method) 및 객체 크기(APS: 작은 객체, APM: 중간 객체, APL: 큰 객체)에 따른 인식률에서 보이는 바와 같이 그 객체 검출률, 인식률 및 정확도가 떨어지는 문제가 있다.
대한민국 등록특허 제10-17795271호(2017.11.07.공고) 대한민국 등록특허 제10-0815010호(2008.03.18.공고)
따라서 본 발명의 목적은 획득되는 이미지에 존재하는 목표 객체의 인식률을 높이기 위해 상기 이미지의 화질을 개선하고, 상기 이미지에서 목표 객체의 인식률을 떨어트릴수 있는 작은 크기의 객체가 존재하는 경우 객체의 크기에 대응하여 상기 이미지를 타일링(Tiling)한 후 타일링된 각 분할 이미지의 해상도를 향상시키는 이미지 전처리를 수행하여 출력하는 객체 검출 이미지 전처리 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 객체 검출 이미지 전처리 장치는: 프레임 이미지를 획득하여 출력하는 이미지 획득부; 상기 프레임 이미지 및 객체 검출 확률을 높인 객체 검출 개선 이미지를 저장하는 이미지 저장부; 상기 프레임 이미지에 대한 화질 상태 및 객체 상태를 포함하는 이미지 상태를 분석하고, 분석된 화질 상태정보 및 객체 상태정보를 포함하는 이미지 상태정보를 출력하는 영상 분석부; 및 상기 이미지 획득부를 통해 획득되는 프레임 이미지를 상기 이미지 저장부에 저장한 후 상기 영상 분석부로 출력하고, 상기 프레임 이미지에 대한 이미지 상태정보를 상기 영상 분석부로부터 입력받고 상기 이미지 상태정보의 화질 상태정보에 따라 화질을 개선하고, 작은 크기의 객체 존재 시 상기 객체의 크기에 따라 타일링한 객체 검출 개선 이미지를 생성한 후 상기 이미지 저장부에 저장하는 이미지 개선 제어부를 포함하는 것을 특징으로 한다.
상기 영상 분석부는, 상기 프레임 이미지에 대한 화질 상태를 검출하여 상기 프레임 이미지에 대한 화질 상태정보를 생성하는 이미지 화질 상태 검출부; 및 상기 프레임 이미지에 존재하는 목표 객체를 검출하고, 목표 객체 및 목표 객체별 크기에 대한 목표 객체 정보를 포함하는 객체 상태정보를 생성하는 객체 검출부를 포함하되, 상기 화질 상태정보 및 상기 객체 상태정보를 포함하는 이미지 상태정보를 생성하여 상기 이미지 개선 제어부로 출력하는 것을 특징으로 한다.
상기 이미지 화질 상태 검출부는, 상기 프레임 이미지의 해상도를 검출하고 해상도 정보를 생성하는 해상도 검출부; 상기 프레임 이미지에 블러링이 존재하는지를 검사하고, 블러링 존재 시 블러링 존재 여부를 포함하는 블러링 정보를 생성하는 블러링 검출부; 및 상기 프레임 이미지의 평균 조도를 검출하고, 검출된 평균 조도를 포함하는 조도 정보를 생성하는 조도 검출부를 포함하여, 상기 해상도 정보, 조도 정보 및 블러링 정보 중 어느 하나 이상을 포함하는 화질 상태정보를 생성하는 것을 특징으로 한다.
상기 이미지 개선 제어부는, 상기 영상 분석부로부터 이미지 상태정보를 입력받아 상기 프레임 이미지의 화질 상태 및 객체 상태를 판단하는 객체 상태 감지부; 상기 객체 상태 감지부를 통해 감지된 상기 프레임 이미지의 화질 상태에 대응하여 구동되어, 상기 프레임 이미지의 해상도 및 조도 중 어느 하나 이상을 조절하여 선명도를 높여 출력하는 화질 개선부; 상기 객체 상태 감지부를 통해 감지된 상기 프레임 이미지의 객체 상태에 대응하여 구동되어, 상기 이미지 상태정보에 포함된 객체 상태정보의 방해 객체 정보에 따라 상기 화질 개선부에서 출력되는 프레임 이미지에 포함된 방해 객체를 제거하여 객체 검출 개선 이미지로서 상기 이미지 저장부에 저장하는 방해 객체 제거부를 포함하는 것을 특징으로 한다.
상기 화질 개선부는, 상기 객체 상태 감지부를 통해 감지된 상기 프레임 이미지의 화질 상태정보에 포함된 해상도가 미리 설정된 기준 해상도 미만이면 상기 프레임 이미지를 초해상화(Super Resolution: SR)를 수행하여 미리 설정된 초고해상도로 변환하는 고화질 처리부; 상기 프레임 이미지의 화질 상태정보에 포함된 조도가 미리 설정된 기준 조도 미만이면 저조도 강화(Low Light Image Enhancement) 처리를 수행하여 미리 설정된 권장 조도로 변경하는 조도 조절부; 및 상기 프레임 이미지의 화질 상태정보에 블러링 정보가 존재하면 블러링 정보에 따른 디블러를 수행하여 상기 프레임 이미지의 블러링을 제거하는 블러링 제거부를 포함하는 것을 특징으로 한다.
상기 영상 분석부는, 이미지 획득부로부터 연속적으로 획득되는 프레임 이미지 중 임의의 프레임 이미지에서 템퍼링이 검출되는지를 모니터링하고, 템퍼링 검출 시 템퍼링 검출 정보를 상기 이미지 개선 제어부로 출력하는 템퍼링 검출부를 포함하되, 상기 이미지 개선 제어부는, 상기 템퍼링 검출부로부터 템퍼링 검출 정보의 수신 시 객체 상태 감지부에 의해 구동되어 상기 템퍼링이 검출된 프레임 이미지의 이전 영상을 이미지 저장부로부터 로드하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하는 탬퍼링 방지부를 더 포함하는 것을 특징으로 한다.
상기 이미지 개선 제어부는, 상기 이미지 상태정보의 객체 상태정보에 포함된 앵커 박스 크기별 객체 검출 수를 검사하여 가장 크기가 작은 앵커 박스의 크기에 대응하는 타일 수를 결정하고, 결정된 타일 수로 상기 프레임 이미지를 타일링 한 후, 타일링된 분할 프레임 이미지를 상기 고화질 처리부로 출력하는 작은 객체 처리부를 더 포함하되, 상기 고화질 처리부는, 상기 타일링되어 상기 작은 객체 처리부로부터 입력되는 각 분할 프레임 이미지를 초고해상도화하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 객체 검출 이미지 전처리 방법은: 이미지 획득부가 프레임 이미지를 획득하여 이미지 개선 제어부로 출력하는 이미지 획득 과정; 영상 분석부가 상기 프레임 이미지에 대한 화질 상태 및 객체 상태를 포함하는 이미지 상태를 분석하고, 분석된 화질 상태정보 및 객체 상태정보를 포함하는 이미지 상태정보를 이미지 개선 제어부로 출력하는 영상 분석 과정; 및 상기 이미지 개선 제어부가 상기 이미지 획득부를 통해 획득되는 프레임 이미지를 이미지 저장부에 저장하고, 상기 프레임 이미지에 대한 이미지 상태정보를 상기 영상 분석부로부터 입력받고 상기 이미지 상태정보의 화질 상태정보에 따라 화질을 개선하고, 객체 상태정보에 작은 크기의 객체 존재 시 상기 객체의 크기에 따라 타일링하여 객체 검출 개선 이미지를 생성한 후 상기 이미지 저장부에 저장하는 이미지 개선 과정을 포함하는 것을 특징으로 한다.
상기 영상 분석 과정은, 상기 영상 분석부가 이미지 화질 상태 검출부를 통해 상기 프레임 이미지에 대한 화질 상태를 검출하여 상기 프레임 이미지에 대한 화질 상태정보를 생성하는 이미지 화질 상태 검출 단계; 상기 영상 분석부가 객체 검출부를 통해 상기 프레임 이미지에 존재하는 목표 객체를 검출하고, 검출된 목표 객체 및 목표 객체별 크기를 포함하는 목표 객체 정보를 포함하는 객체 상태정보를 생성하는 객체 검출 단계; 및 상기 영상 분석부가 상기 화질 상태정보 및 객체 상태정보를 포함하는 이미지 상태정보를 생성하여 이미지 개선 제어부로 출력하는 이미지 상태정보 제공 단계를 포함하는 것을 특징으로 한다.
상기 이미지 화질 상태 검출 단계는, 상기 이미지 화질 상태 검출부가 해상도 검출부를 통해 상기 프레임 이미지의 해상도를 검출하는 해상도 검출 단계; 상기 이미지 화질 상태 검출부가 블러링 검출부를 통해 상기 프레임 이미지에 블러링이 존재하는지를 검사하고, 블러링 존재 시 블러링 정보를 생성하는 블러링 검출 단계; 상기 이미지 화질 상태 검출부가 조도 검출부를 통해 상기 프레임 이미지의 평균 조도를 검출하고, 검출된 평균 조도를 포함하는 조도 정보를 생성하는 조도 검출 단계; 및 상기 해상도 정보, 조도 정보 및 블러링 정보 중 어느 하나 이상을 포함하는 화질 상태정보를 생성하는 화질 상태정보 생성 단계를 포함하는 것을 특징으로 한다.
상기 이미지 개선 과정은, 상기 이미지 개선 제어부가 객체 상태 감지부를 통해 상기 영상 분석부로부터 이미지 상태정보를 입력받아 상기 프레임 이미지의 화질 상태 및 객체 상태를 판단하는 객체 상태 감지 단계; 및 상기 이미지 개선 제어부가 화질 개선부를 통해 상기 객체 상태 감지부로부터 감지된 상기 프레임 이미지의 화질 상태에 대응하여 상기 프레임 이미지의 해상도 및 조도를 조절하여 선명도를 높여 출력하는 화질 개선 단계를 포함하는 것을 특징으로 한다.
상기 화질 개선 단계는, 상기 화질 개선부가 고화질 처리부를 통해 상기 객체 상태 감지부에서 감지된 상기 프레임 이미지의 화질 상태정보에 포함된 해상도가 미리 설정된 기준 해상도 미만이면 상기 프레임 이미지를 초해상화(Super Resolution: SR)를 수행하여 미리 설정된 초고해상도로 변환하는 고화질 처리 단계; 상기 화질 개선부가 조도 조절부를 통해 상기 프레임 이미지의 화질 상태정보에 포함된 조도가 미리 설정된 기준 조도 미만이면 저조도 강화(Low Light Image Enhancement) 처리를 수행하여 미리 설정된 권장 조도로 변경하는 조도 조절 단계; 및 상기 화질 개선부가 블러링 제거부를 통해 상기 프레임 이미지의 화질 상태정보에 블러링 정보가 존재하면 블러링 정보에 따른 디블러를 수행하여 상기 프레임 이미지의 블러링을 제거하는 블러링 제거 단계를 포함하는 것을 특징으로 한다.
상기 영상 분석 과정은, 상기 영상 분석부가 템퍼링 검출부를 통해 이미지 획득부로부터 연속적으로 획득되는 프레임 이미지 중 임의의 프레임 이미지에서 템퍼링이 검출되는지를 모니터링하고, 템퍼링 검출 시 템퍼링 검출 정보를 상기 이미지 개선 제어부로 출력하는 템퍼링 검출 단계를 포함하되, 상기 이미지 개선 과정은, 상기 이미지 개선 제어부가 템퍼링 방지부를 통해 상기 템퍼링 검출부로부터 템퍼링 검출 정보의 수신 시 상기 템퍼링이 검출된 프레임 이미지의 이전 영상을 이미지 저장부로부터 로드하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하는 탬퍼링 방지 단계를 더 포함하는 것을 특징으로 한다.
상기 이미지 개선 제어 과정은, 상기 이미지 개선 제어부가 작은 객체 처리부를 통해 상기 이미지 상태정보의 객체 상태정보에 포함된 앵커 박스 크기별 객체 검출 수를 검사하여, 가장 작은 크기의 앵커 박스의 크기에 대응하는 타일 수를 결정하고, 결정된 타일 수로 상기 프레임 이미지를 타일링한 후, 타일링된 분할 프레임 이미지를 고화질 처리부로 출력하는 작은 객체 처리 단계; 및 상기 이미지 개선 제어부의 화질 개선부가 고화질 처리부를 통해 상기 타일링되어 상기 작은 객체 처리부로부터 입력되는 각 분할 프레임 이미지를 초고화질화하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하는 타일링 이미지 초고화질 변환 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 획득되는 이미지의 상태를 분석하고, 이미지의 상태에 따른 객체 검출 향상을 위한 이미지 개선 전처리를 수행하므로 이미지에서의 객체 검출 및 분류의 인식률 및 정확성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 획득되는 이미지에 서로 다른 크기를 가지는 앵커 박스(Anchor Box)를 적용하여 검출된 각각의 객체 수를 검사하여 작은 크기의 객체가 존재하는 경우 작은 크기의 객체를 검출하는 데 적용한 앵커 박스의 크기(작은 목표 객체의 크기)에 대응하여 타일링 수(분할 수)를 결정한 후, 상기 결정된 타일링 수로 상기 획득된 이미지를 타일링하고, 타일링된 분할 이미지를 초고해상도화시키므로 객체의 검출, 객체 분류 인식률 및 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 객체 검출 이미지 전처리 장치의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 객체 검출 이미지의 초해상화 및 저조도 개선 일례를 나타낸 도면이다.
도 3은 본 발명에 따른 객체 검출 이미지의 블러링 제거 일례를 나타낸 도면이다.
도 4는 본 발명의 일실시 예에 따른 객체 검출 이미지의 타일링 방법을 설명하기 위한 도면이다.
도 5는 본발명의 일실시 예에 따른 탬퍼링 방지 방법을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 객체 검출 이미지 전처리 방법을 나타낸 흐름도이다.
도 7은 본 발명에 따른 객체 검출 이미지 전처리 방법 중 객체 검출 방해 요소 분석 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일실시 예에 따른 객체 검출 이미지 전처리 방법 중 객체 검출 방해 요소별 전처리 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 객체 검출 이미지 전처리 장치의 구성 및 동작을 상세히 설명하고, 상기 장치에서의 객체 검출 이미지 전처리 방법을 설명한다.
도 1은 본 발명에 따른 객체 검출 이미지 전처리 장치의 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 객체 검출 이미지의 초해상화(초고해상도 변환) 및 저조도 개선 일례를 나타낸 도면이고, 도 3은 본 발명에 따른 객체 검출 이미지의 블러링 제거 일례를 나타낸 도면이고, 도 4는 본 발명의 일실시 예에 따른 객체 검출 이미지의 타일링 방법을 설명하기 위한 이미지를 나타낸 도면이며, 도 5는 본 발명의 일실시 예에 따른 탬퍼링 방지 방법을 설명하기 위한 도면이다. 이하 도 1 내지 도 5를 참조하여 설명한다.
본 발명에 따른 객체 검출 이미지 전처리 장치는 이미지 저장부(10), 이미지 획득부(20), 영상 분석부(30) 및 이미지 개선 제어부(100)를 포함한다.
이미지 저장부(10)는 본 발명에 따라 이미지 획득부(20)로부터 획득되는 동영상의 연속적인 프레임 이미지 또는 정지영상인 단일 프레임 이미지를 저장하고, 상기 프레임 이미지에 대한 객체 검출 개선 이미지를 저장한다. 상기 이미지 저장부는 데이터베이서 서버 형태로 구성될 수도 있을 것이다. 상기 객체 검출 개선 이미지는 임의 프레임 이미지 내에서 목표 객체의 검출 확률을 높일 수 있도록 화질 개선(해상도 향상, 조도 조절, 블러링 제거 등), 작은 객체를 포함하는 프레임 이미지의 타일링 및 해상도 향상 등을 수행하여 개선된 이미지를 의미한다.
이미지 획득부(20)는 카메라, 영상 저장 장치 등으로부터 동영상에 대한 연속적인 프레임 이미지 또는 정지영상인 단일 프레임 이미지를 획득하여 이미지 개선 제어부(100)로 출력하도록 구성될 수도 있고, 상기 프레임 이미지를 이미지 저장부(10)에 저장하도록 구성될 수도 있을 것이다.
영상 분석부(30)는 이미지 화질 상태 검출부(40) 및 객체 검출부(50)를 포함하고, 실시 예에 따라 탬퍼링 검출부(60)를 포함하여, 입력되는 프레임 이미지의 화질 상태 및 객체 상태를 분석하고, 분석된 화질 상태에 대한 화질 상태정보 및 분석된 객체 상태에 대한 객체 상태정보를 포함하는 이미지 상태정보를 생성하여 이미지 개선 제어부(100)로 출력한다.
이미지 화질 상태 검출부(40)는 해상도 검출부(41), 블러링 검출부(42) 및 조도 검출부(43)를 포함하여, 이미지 개선 제어부(100)로부터 입력되는 프레임 이미지에 대한 화질 상태를 검출하고, 검출된 화질 상태에 따른 화질 상태정보를 생성한다.
상기 해상도 검출부(41)는 프레임 이미지의 해상도를 검출한다.
블러링 검출부(42)는 프레임 이미지에 블러링이 존재하는지를 검출한다. 블러링 검출부(42)는 블러링 존재 여부만 검출할 수도 있고, 블러링이 존재하는 프레임 이미지 내 위치를 검출할 수도 있을 것이다.
조도 검출부(43)는 프레임 이미지의 평균 조도를 검출한다.
즉 이미지 화질 상태 검출부(40)는 상기 프레임 이미지의 해상도와, 블러링 존재 여부 및 위치와, 평균 조도를 포함하는 화질 상태정보를 생성한다.
객체 검출부(50)는 이미지 개선 제어부(100)로부터 입력되는 프레임 이미지에 존재하는 목표 객체들에 대한 객체 상태정보를 생성한다.
구체적으로 객체 검출부(50)는 도 4의 501에서와 같이 상기 프레임 이미지로부터 객체를 검출하기 위한 서로 다른 크기의 앵커 박스(511)를 정의하고, 정의된 앵커 박스(511) 각각을 적용하여, 앵커 박스에 대응하는 크기의 목표 객체를 검출하고, 앵커 박스(511-1, 511-2, 511-3, 511-4)별 검출된 목표 객체 수를 포함하는 목표 객체 정보를 생성한다. 상기 앵커 박스(511)의 크기는 64픽셀, 32픽셀, 16픽셀, 8픽셀 등으로 정의될 수 있을 것이다.
탬퍼링(Tampering) 검출부(60)는 이미지 개선 제어부(100)로부터 연속적인 프레임 이미지에 대해 수행되며, 임의의 프레임 이미지에서 카메라의 인위적인 조작, 훼손, 비인위적으로 카메라 시야가 가려지는 현상인 탬퍼링이 발생되면, 탬퍼링이 발생된 프레임 이미지에 대한 프레임 이미지 정보를 포함하는 탬퍼링 검출 정보를 생성한다. 상기 탬퍼링 검출 정보는 직접 이미지 개선 제어부(100)로 전송될 수도 있고, 이미지 상태정보에 포함되어 이미지 개선 제어부(100)로 전송될 수도 있을 것이다.
상기 영상 분석부(30)는 상술한 화질 상태정보 및 목표 객체별 크기에 대한 정보인 목표 객체 정보를 포함하는 객체 상태 정보와, 상기 프레임 이미지 정보를 포함하는 이미지 상태정보를 이미지 개선 제어부(100)로 출력한다.
이미지 개선 제어부(100)는 객체 상태 감지부(110) 및 화질 개선부(120)를 포함하고, 실시 예에 따라 탬퍼링 방지부(140) 및 작은 객체 처리부(150)를 더 포함하여, 본 발명에 따른 객체 검출 이미지 전처리 장치의 전반적인 동작을 제어한다.
객체 상태 감지부(110)는 이미지 획득부(20)를 통해 획득되는 프레임 이미지를 이미지 저장부(10)에 저장하고, 영상 분석부(30)로 출력하며, 상기 영상 분석부(30)로 출력한 프레임 이미지에 대한 이미지 상태정보를 상기 영상 분석부(30)로부터 수신받고, 이미지 상태정보에 따라 상기 프레임 이미지의 화질 상태, 객체 상태, 탬퍼링 발생 여부, 작은 객체 존재 여부를 판단하여 화질 개선부(120), 탬퍼링 방지부(140) 및 작은 객체 처리부(150) 중 어느 하나 이상을 구동한다.
객체 상태 감지부(110)는 화질 상태정보에 포함된 해상도가 미리 설정된 기준 해상도 미만이면 화질 개선부(120)의 고화질 처리부(121)를 구동하고, 화질 상태정보의 조도가 미리 설정된 기준 조도 미만이면 조도 조절부(122)를 구동하며, 상기 프레임 이미지에 블러링이 존재하면 블러링 제거부(123)를 구동한다.
또한, 객체 상태 감지부(110)는 이미지 상태정보에 탬퍼링 검출 정보가 포함되어 있거나, 이미지 상태정보와 별도로 탬퍼링 검출 정보가 수신되면 탬퍼링 방지부(140)를 구동한다.
또한, 객체 상태 감지부(110)는 객체 상태정보에 적어도 하나 이상의 앵커 박스별 객체 수가 포함되어 있으면 작은 객체 처리부(150)를 구동한다.
화질 개선부(120)는 고화질 처리부(121), 조도 조절부(122), 블러링 제거부(123)를 포함하여, 상기 객체 상태 감지부(110)를 통해 감지된 상기 프레임 이미지의 화질 상태정보에 대응하여 상기 프레임 이미지의 해상도 및 조도를 조절하여 선명도를 높여 출력한다.
구체적으로, 고화질 처리부(121)는 도 2의 201에서 나타낸 바와 같이 입력되는 프레임 이미지(211)를 초해상화(SR) 처리를 수행하여 초고해상도로 변환된 객체 검출 개선 이미지(212)를 출력한다.
조도 조절부(122)는 도 2의 202에서 나타낸 바와 같이 입력되는 기준 조도 미만의 프레임 이미지(221)를 저조도 이미지 향상(Low Light Image Enhancement)(알고리즘)을 수행하여 조도가 향상된 객체 검출 개선 이미지(222)를 출력한다.
블러링 제거부(123)는 도 3의 301의 1, 2, 3의 위치 등의 부분 이미지(311, 312, 313)에 블러링이 존재하는 프레임 이미지를 디블러(DeBlur: 블러링 제거 알고리즘)를 1차 수행하여 302와 같이 블러링이 개선된 프레임 이미지를 출력한다.
그러나 1차 디블러를 수행했음에도 302와 같이 프레임 이미지의 1, 2, 3 위치의 부분 이미지(321, 322, 323)에 블러링이 남아 있을 수 있다.
따라서 블러링 제거부(123)는 부분 이미지(321, 322, 323) 또는 전체 프레임 이미지에 대해 2차 디블러를 수행하여, 303과 같이 프레임 이미지의 1, 2, 3 위치의 부분 이미지(331, 332, 333)와 같이 블러링이 제거된 프레임 이미지인 객체 검출 개선 이미지를 출력한다.
즉, 블러링 제거부(123)는 디블러의 수행 후 블러링의 제거 여부를 판단하고, 블러링이 제거되지 않은 경우, 한 번 이상의 디블러를 반복 수행하여 블러링을 제거한다. 상기 블러링의 제거 여부 판단은 블러링 검출부(42)를 통해 수행되며, 디블러 반복 수행은 블러가 제거됨이 블러링 검출부를 통해 확인되거나 일정 횟수 반복될 때까지 수행된다.
탬퍼링 방지부(140)는 영상 분석부(30)의 탬퍼링 검출부(60)를 통해 탬퍼링이 검출되면 탬퍼링 검출부(60)로부터 입력되는 탬퍼링 검출 정보에 포함된 탬퍼링이 발생한 프레임 이미지 정보에 의해 탬퍼링이 발생된 프레임 이미지를 식별하고, 탬퍼링이 발생된 프레임 이미지의 이전 프레임 이미지를 로드하여 상기 탬퍼링이 발생한 프레임 이미지를 객체를 검출한 객체 검출 개선 이미지로 저장한다. 상기와 같이 탬퍼링이 일정 횟수 지속되면 탬퍼링 방지부(140)는 미리 설정된 관리자에게 탬퍼링이 발생했음을 알리는 통지정보를 전송하도록 구성될 수도 있을 것이다.
도 5를 예를 들어 설명하면, 탬퍼링 방지부(140)는 연속되는 프레임 이미지 또는 상기 프레임 이미지에 대해 화질 개선부(120) 및 작은 객체 처리부(140)를 통해 출력되어 이미지 저장부(10)에 저장되는 객체 검출 개선 이미지(551)들을 검사하여 탬퍼링이 발생되는지를 검사한다.
도 5의 임의의 시점(tn-1)에서 탬퍼링이 발생하는 경우, 탬퍼링 방지부(140)는 그 다음 시점(tn)에서 탬퍼링을 감지하고, 상기 탬퍼링 발생 시점(tn-1) 이전의 객체 검출 개선 이미지(551-n-1)을 로딩하여 상기 tn 시점의 객체 검출 개선 이미지로써 저장한다.
작은 객체 처리부(150)는 객체 수 확인부(151), 타일 수 결정부(152) 및 타일링부(153)를 포함한다.
객체 수 확인부(151)는 객체 상태 감지부(110)로부터 객체 상태정보 중 하나인 서로 다른 크기를 가지는 앵커 박스별 객체 수를 검사하여 검출된 객체 수를 가지는 앵커 박스 중 가장 작은 앵커 박스를 찾고, 찾아진 앵커 박스의 크기값을 타일 수 결정부(152)로 출력한다.
다른 실시예에 따라 객체 수 확인부(151)는 객체 상태 감지부(110)로부터 객체 상태정보 중 하나인 서로 다른 크기를 가지는 앵커 박스별 객체 수를 비교하여 객체 수가 가장 많은 앵커 박스를 찾고, 찾아진 앵커 박스의 크기값을 타일 수 결정부(152)로 출력하도록 구성될 수도 있을 것이다.
타일 수 결정부(152)는 객체 수 확인부(151)로부터 앵커 박스의 크기값을 입력받고, 앵커 박스의 크기에 대응하는 타일 수, 즉 분할 수를 결정한다. 예를 들어, 타일 수 결정부(152)는 앵커 박스의 크기가 64픽셀이면 타일 수를 1(현재 상태 유지)로 결정하고, 32픽셀이면 타일 수를 2로 결정하며, 16픽셀이면 타일 수를 4로, 8픽셀이면 타일 수를 8로 결정할 수 있을 것이다. 또한, 다른 실시예로, 타일 수는 1, 2, 4, 6, 8 등으로 결정되도록 구성될 수도 있을 것이다. 또한, 다른 실시 예로 타일 수는 가로 및 세로 각각 2, 3, 4로 나누도록 구성되는 경우 타일 수는 4, 9, 16 등으로 결정되도록 구성될 수도 있을 것이다. 즉 앵커 박스의 크기가 64픽셀이면 타일 수를 1로 결정하고, 32픽셀이면 타일 수를 4로 결정하며, 16픽셀이면 타일 수를 9로 결정하며, 8픽셀이면 타일 수를 16으로 결정할 수 있을 것이다.
타일링부(153)는 상기 타일 수 결정부(152)에서 타일 수가 결정되면 결정된 타일 수로 프레임 이미지를 분할한다.
예를 들어 설명하면, 타일 수 결정부(152)는 도 4의 501에서와 같이 4개의 앵커박스(511-1, 511-2, 511-3, 511-4) 중 32픽셀 크기의 앵커박스에 의해 2개의 목표 객체(521-1, 521-2)가 검출된 경우, 앵커박스의 크기가 32픽셀인 것으로 결정하여 타일 수를 4로 결정한다.
타일 수가 4로 결정된 경우 타일링부(153)는 도 4의 502와 같이 프레임 이미지를 4개의 타일링 이미지(512-1, 512-2, 512-3, 512-4)로 분할하고, 분할된 타일링 이미지 중 상기 객체(521-1, 521-2)를 포함하는 타일링 이미지(512-4)를 고화질 처리부(121)로 출력한다.
이때 고화질 처리부(121)는 타일링 이미지를 초해상화(SR)를 수행하여 초해상도의 객체 검출 개선 이미지(513)를 이미지 저장부(10)에 저장한다.
도 4에서 보이는 바와 같이 초해상도로 초해상화된 객체 검출 개선 이미지(513)로부터는 타일링 및 초해상화 이전의 이미지에서 검출된 목표 객체 수보다 많은 6개(521-1 ~ 521-6) 목표 객체가 검출되었음을 알 수 있다.
도 6은 본 발명에 따른 객체 검출 이미지 전처리 방법을 나타낸 흐름도이다.
도 6을 참조하면, 이미지 개선 제어부(100)는 이미지 획득부(20)를 통해 동영상의 연속적인 프레임 이미지 또는 단일 프레임 이미지(정지영상)을 획득하여 이미지 저장부(10)에 저장한 후 영상 분석부(30)로 출력한다(S111),
영상 분석부(30)는 프레임 이미지 단위로 객체 검출 방해 요소를 분석하고, 분석된 이미지 상태정보를 생성하여 이미지 개선 제어부(100)로 출력한다(S113).
구체적으로 영상 분석부(30)는 객체 검출 방해 요소인 프레임 이미지의 해상도, 조도 및 블러링을 포함하는 화질 상태를 분석한 화질 상태정보와 앵커 박스별 객체 검출 수를 포함하는 객체 상태정보를 포함하는 이미지 상태정보를 생성하여 이미지 개선 제어부(100)로 출력한다.
이미지 상태정보를 수신한 이미지 개선 제어부(100)는 이미지 상태정보에 포함된 화질 상태정보 및 객체 상태정보에 대응하여 프레임 이미지 개선 동작을 수행하여, 상기 프레임 이미지로부터 화질 및 객체 검출에 방해가 되는 방해 객체가 제거한(S115) 후 이미지 저장부(10)에 객체 검출 개선 이미지로써 저장한다(S117).
도 7은 본 발명에 따른 객체 검출 이미지 전처리 방법 중 객체 검출 방해 요소 분석 방법을 나타낸 흐름도이다.
도 7을 참조하면, 영상 분석부(30)는 이미지 화질 상태 검출부(40)의 해상도 검출부(41)를 통해 이미지 개선 제어부(100)로부터 입력되는 프레임 이미지의 해상도를 검출한다(S211).
영상 분석부(30)는 이미지 화질 상태 검출부(40)의 조도 검출부(43)를 통해 상기 프레임 이미지의 평균 조도를 측정한다(S213).
영상 분석부(30)는 이미지 화질 상태 검출부(40)의 블러링 검출부(42)를 통해 상기 프레임 이미지에 블러링이 존재하는지를 검사하고, 블러링의 존재 여부 및 블러링이 존재하는 프레임 이미지 내의 위치를 검출한다(S215).
영상 분석부(30)는 프레임 이미지에 대한 해상도, 조도, 블러링에 대한 정보가 획득되는 해상도, 평균 조도, 블러링 존재 여부, 블러링 존재 위치 등을 포함하는 화질 상태정보를 생성한다(S217).
영상 분석부(30)는 객체 검출부(50)를 통해 서로 다른 크기의 앵커 박스를 상기 프레임 이미지에 순차적으로 적용하여 각 앵커 박스에 대응하는 크기의 (관심) 객체(검출하고자 하는 객체)를 검출하고, 객체 수를 카운트한다(S219).
상기 영상 분석부(30)는 객체별 크기에 따른 앵커 박스별 검출 객체 수를 포함하는 객체 상태정보를 생성하고, 상기 화질 상태정보 및 객체 상태정보를 포함하는 이미지 상태정보를 생성한(S221) 후, 이미지 개선 제어부(100)로 출력한다(S223).
도 8은 본 발명의 일실시 예에 따른 객체 검출 이미지 전처리 방법 중 객체 검출 방해 요소별 전처리 방법을 나타낸 흐름도이다.
도 8을 참조하면, 이미지 개선 제어부(100)는 영상 분석부(30)로부터 이미지 상태정보가 입력하면 이미지 상태정보의 해상도가 미리 설정된 기준 해상도 이하인지(S311), 상기 이미지 상태정보의 평균 조도가 미리 설정된 기준 조도 이하의 저조도인지(S313), 상기 이미지 상태정보에 블러링 정보가 포함되어 있는지(S315), 이미지 상태정보의 객체 상태정보에 앵커 박스별 객체 수를 검사하여 작은 객체 요소가 존재하는지(S317)를 판단한다.
판단 결과 이미지 상태정보의 해상도가 미리 설정된 기준 해상도 이하이면 이미지 개선 제어부(100)는 상기 프레임 이미지에 대해 초해상화(SR)를 수행하여 초고해상도화하여 미리 설정된 초고해상도의 프레임 이미지로 변환한다(S321)
상기 프레임 이미지가 저조도의 이미지이면 이미지 개선 제어부(100)는 S311에서 저해상도가 아닌 것으로 판단된 프레임 이미지 또는 초고해상도로 변환된 프레임 이미지에 대해 저조도 이미지 향상(Low Light Image Enhancement) 처리를 수행하여 상기 프레임 이미지의 조도를 향상시킨다(S323).
블러링 정보가 포함되어 있으면, 이미지 개선 제어부(100)는 상기 저해상도 및 저조도가 아닌 프레임 이미지, 또는 초고해상도 변환 및 저조도 이미지 향상 중 어느 하나 이상이 수행된 프레임 이미지에 대해 디블러(DeBlur)를 수행하여 상기 프레임 이미지에 존재하는 블러링을 제거한다(S325).
상술한 바와 같이 화질, 즉 저해상도, 저조도 및 블러링에 대한 프레임 이미지 개선 후,
작은 객체 요소가 존재하는 경우, 이미지 개선 제어부(100)는 가장 작은 크기의 앵커 박스 크기 또는 다른 실시 예에 따른 가장 많은 객체를 검출한 앵커 박스 크기에 대응하는 타일 수를 결정하고(S327), 결정된 타일 수로 프레임 이미지를 타일링하여 상기 프레임 이미지를 분할한다(S329).
이미지 개선 제어부(100)는 상기 타일링되어 분할된 분할 프레임 이미지를 초해상화(SR)를 수행하여 초고해상도로 변환한 후, 최종 객체 검출 개선 이미지로서 이미지 저장부(10)에 저장한다(S331).
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
10: 이미지 저장부 20: 이미지 획득부
30: 영상 분석부 40: 이미지 화질 상태 검출부
41: 해상도 검출부 42: 블러링 검출부
43: 조도 검출부 50: 객체 검출부
60: 탬퍼링 검출부 100: 이미지 개선 제어부
110: 객체 상태 감지부 120: 화질 개선부
121: 고화질 처리부 122: 조도 조절부
123: 블러링 제거부 140: 탬퍼링 방지부
150: 작은 객체 처리부 151: 객체 수 확인부
152: 타일 수 결정부 153: 타일링부

Claims (14)

  1. 프레임 이미지를 획득하여 출력하는 이미지 획득부;
    상기 프레임 이미지 및 객체 검출 확률을 높인 객체 검출 개선 이미지를 저장하는 이미지 저장부;
    상기 프레임 이미지에 대한 화질 상태 및 객체 상태를 포함하는 이미지 상태를 분석하고, 분석된 화질 상태정보 및 객체 상태정보를 포함하는 이미지 상태정보를 출력하는 영상 분석부; 및
    상기 이미지 획득부를 통해 획득되는 프레임 이미지를 상기 이미지 저장부에 저장한 후 상기 영상 분석부로 출력하고, 상기 프레임 이미지에 대한 이미지 상태정보를 상기 영상 분석부로부터 입력받고 상기 이미지 상태정보의 화질 상태정보에 따라 화질을 개선하고, 작은 크기의 객체 존재 시 상기 객체의 크기에 따라 타일링한 객체 검출 개선 이미지를 생성한 후 상기 이미지 저장부에 저장하는 이미지 개선 제어부를 포함하고,
    상기 이미지 개선 제어부는,
    상기 영상 분석부로부터 이미지 상태정보를 입력받아 상기 프레임 이미지의 화질 상태 및 객체 상태를 판단하는 객체 상태 감지부;
    상기 객체 상태 감지부를 통해 감지된 상기 프레임 이미지의 화질 상태에 대응하여 구동되어, 상기 프레임 이미지의 해상도 및 조도 중 어느 하나 이상을 조절하여 선명도를 높여 출력하는 화질 개선부;
    상기 객체 상태 감지부를 통해 감지된 상기 프레임 이미지의 객체 상태에 대응하여 구동되어, 상기 이미지 상태정보에 포함된 객체 상태정보의 방해 객체 정보에 따라 상기 화질 개선부에서 출력되는 프레임 이미지에 포함된 방해 객체를 제거하여 객체 검출 개선 이미지로서 상기 이미지 저장부에 저장하는 방해 객체 제거부를 포함하며,
    상기 화질 개선부는,
    상기 객체 상태 감지부를 통해 감지된 상기 프레임 이미지의 화질 상태정보에 포함된 해상도가 미리 설정된 기준 해상도 미만이면 상기 프레임 이미지를 초해상화(Super Resolution: SR)를 수행하여 미리 설정된 초고해상도로 변환하는 고화질 처리부;
    상기 프레임 이미지의 화질 상태정보에 포함된 조도가 미리 설정된 기준 조도 미만이면 저조도 강화(Low Light Image Enhancement) 처리를 수행하여 미리 설정된 권장 조도로 변경하는 조도 조절부; 및
    상기 프레임 이미지의 화질 상태정보에 블러링 정보가 존재하면 블러링 정보에 따른 디블러를 수행하여 상기 프레임 이미지의 블러링을 제거하는 블러링 제거부를 포함하고,
    상기 이미지 개선 제어부는,
    상기 이미지 상태정보의 객체 상태정보에 포함된 서로 다른 크기를 가지는 앵커 박스 크기별 객체 검출 수를 검사하여 객체 수가 가장 많은 앵커 박스의 크기에 대응하는 타일 수를 결정하고, 결정된 타일 수로 상기 프레임 이미지를 타일링 한 후, 타일링된 분할 프레임 이미지를 상기 고화질 처리부로 출력하는 작은 객체 처리부를 더 포함하되,
    상기 고화질 처리부는,
    상기 타일링되어 상기 작은 객체 처리부로부터 입력되는 각 분할 프레임 이미지를 초고해상도화하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하되,
    상기 영상 분석부는,
    이미지 획득부로부터 연속적으로 획득되는 프레임 이미지 중 임의의 프레임 이미지에서 템퍼링이 검출되는지를 모니터링하고, 템퍼링 검출 시 템퍼링 검출 정보를 상기 이미지 개선 제어부로 출력하는 템퍼링 검출부를 포함하되,
    상기 이미지 개선 제어부는,
    상기 템퍼링 검출부로부터 템퍼링 검출 정보의 수신 시 객체 상태 감지부에 의해 구동되어 상기 템퍼링이 검출된 프레임 이미지의 이전 영상을 이미지 저장부로부터 로드하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하는 탬퍼링 방지부를 더 포함하는 것을 특징으로 하는 객체 검출 이미지 전처리 장치.
  2. 제1항에 있어서,
    상기 영상 분석부는,
    상기 프레임 이미지에 대한 화질 상태를 검출하여 상기 프레임 이미지에 대한 화질 상태정보를 생성하는 이미지 화질 상태 검출부; 및
    상기 프레임 이미지에 존재하는 목표 객체를 검출하고, 목표 객체 및 목표 객체별 크기에 대한 목표 객체 정보를 포함하는 객체 상태정보를 생성하는 객체 검출부를 포함하되,
    상기 화질 상태정보 및 상기 객체 상태정보를 포함하는 이미지 상태정보를 생성하여 상기 이미지 개선 제어부로 출력하는 것을 특징으로 하는 객체 검출 이미지 전처리 장치.
  3. 제2항에 있어서,
    상기 이미지 화질 상태 검출부는,
    상기 프레임 이미지의 해상도를 검출하고 해상도 정보를 생성하는 해상도 검출부;
    상기 프레임 이미지에 블러링이 존재하는지를 검사하고, 블러링 존재 시 블러링 존재 여부를 포함하는 블러링 정보를 생성하는 블러링 검출부; 및
    상기 프레임 이미지의 평균 조도를 검출하고, 검출된 평균 조도를 포함하는 조도 정보를 생성하는 조도 검출부를 포함하여, 상기 해상도 정보, 조도 정보 및 블러링 정보 중 어느 하나 이상을 포함하는 화질 상태정보를 생성하는 것을 특징으로 하는 객체 검출 이미지 전처리 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 이미지 획득부가 프레임 이미지를 획득하여 이미지 개선 제어부로 출력하는 이미지 획득 과정;
    영상 분석부가 상기 프레임 이미지에 대한 화질 상태 및 객체 상태를 포함하는 이미지 상태를 분석하고, 분석된 화질 상태정보 및 객체 상태정보를 포함하는 이미지 상태정보를 이미지 개선 제어부로 출력하는 영상 분석 과정; 및
    상기 이미지 개선 제어부가 상기 이미지 획득부를 통해 획득되는 프레임 이미지를 이미지 저장부에 저장하고, 상기 프레임 이미지에 대한 이미지 상태정보를 상기 영상 분석부로부터 입력받고 상기 이미지 상태정보의 화질 상태정보에 따라 화질을 개선하고, 객체 상태정보에 작은 크기의 객체 존재 시 상기 객체의 크기에 따라 타일링하여 객체 검출 개선 이미지를 생성한 후 상기 이미지 저장부에 저장하는 이미지 개선 과정을 포함하고,
    상기 영상 분석 과정은,
    상기 영상 분석부가 이미지 화질 상태 검출부를 통해 상기 프레임 이미지에 대한 화질 상태를 검출하여 상기 프레임 이미지에 대한 화질 상태정보를 생성하는 이미지 화질 상태 검출 단계;
    상기 영상 분석부가 객체 검출부를 통해 상기 프레임 이미지에 존재하는 목표 객체를 검출하고, 검출된 목표 객체 및 목표 객체별 크기를 포함하는 목표 객체 정보를 포함하는 객체 상태정보를 생성하는 객체 검출 단계; 및
    상기 영상 분석부가 상기 화질 상태정보 및 객체 상태정보를 포함하는 이미지 상태정보를 생성하여 이미지 개선 제어부로 출력하는 이미지 상태정보 제공 단계를 포함하며,
    상기 이미지 개선 과정은,
    상기 이미지 개선 제어부가 객체 상태 감지부를 통해 상기 영상 분석부로부터 이미지 상태정보를 입력받아 상기 프레임 이미지의 화질 상태 및 객체 상태를 판단하는 객체 상태 감지 단계; 및
    상기 이미지 개선 제어부가 화질 개선부를 통해 상기 객체 상태 감지부로부터 감지된 상기 프레임 이미지의 화질 상태에 대응하여 상기 프레임 이미지의 해상도 및 조도를 조절하여 선명도를 높여 출력하는 화질 개선 단계를 포함하고,
    상기 화질 개선 단계는,
    상기 화질 개선부가 고화질 처리부를 통해 상기 객체 상태 감지부에서 감지된 상기 프레임 이미지의 화질 상태정보에 포함된 해상도가 미리 설정된 기준 해상도 미만이면 상기 프레임 이미지를 초해상화(Super Resolution: SR)를 수행하여 미리 설정된 초고해상도로 변환하는 고화질 처리 단계;
    상기 화질 개선부가 조도 조절부를 통해 상기 프레임 이미지의 화질 상태정보에 포함된 조도가 미리 설정된 기준 조도 미만이면 저조도 강화(Low Light Image Enhancement) 처리를 수행하여 미리 설정된 권장 조도로 변경하는 조도 조절 단계; 및
    상기 화질 개선부가 블러링 제거부를 통해 상기 프레임 이미지의 화질 상태정보에 블러링 정보가 존재하면 블러링 정보에 따른 디블러를 수행하여 상기 프레임 이미지의 블러링을 제거하는 블러링 제거 단계를 포함하고,
    상기 영상 분석 과정은,
    상기 영상 분석부가 템퍼링 검출부를 통해 이미지 획득부로부터 연속적으로 획득되는 프레임 이미지 중 임의의 프레임 이미지에서 템퍼링이 검출되는지를 모니터링하고, 템퍼링 검출 시 템퍼링 검출 정보를 상기 이미지 개선 제어부로 출력하는 템퍼링 검출 단계를 포함하되,
    상기 이미지 개선 과정은,
    상기 이미지 개선 제어부가 템퍼링 방지부를 통해 상기 템퍼링 검출부로부터 템퍼링 검출 정보의 수신 시 상기 템퍼링이 검출된 프레임 이미지의 이전 영상을 이미지 저장부로부터 로드하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하는 탬퍼링 방지 단계를 더 포함하고,
    상기 이미지 개선 제어 과정은,
    상기 이미지 개선 제어부가 작은 객체 처리부를 통해 상기 이미지 상태정보의 객체 상태정보에 포함된 서로 다른 크기를 가지는 앵커 박스 크기별 객체 검출 수를 검사하여, 객체 검출 수가 가장 많은 크기의 앵커 박스의 크기에 대응하는 타일 수를 결정하고, 결정된 타일 수로 상기 프레임 이미지를 타일링한 후, 타일링된 분할 프레임 이미지를 고화질 처리부로 출력하는 작은 객체 처리 단계; 및
    상기 이미지 개선 제어부의 화질 개선부가 고화질 처리부를 통해 상기 타일링되어 상기 작은 객체 처리부로부터 입력되는 각 분할 프레임 이미지를 초고화질화하여 객체 검출 개선 이미지로서 이미지 저장부에 저장하는 타일링 이미지 초고화질 변환 단계를 더 포함하는 것을 특징으로 하는 객체 검출 이미지 전처리 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 이미지 화질 상태 검출 단계는,
    상기 이미지 화질 상태 검출부가 해상도 검출부를 통해 상기 프레임 이미지의 해상도를 검출하는 해상도 검출 단계;
    상기 이미지 화질 상태 검출부가 블러링 검출부를 통해 상기 프레임 이미지에 블러링이 존재하는지를 검사하고, 블러링 존재 시 블러링 정보를 생성하는 블러링 검출 단계;
    상기 이미지 화질 상태 검출부가 조도 검출부를 통해 상기 프레임 이미지의 평균 조도를 검출하고, 검출된 평균 조도를 포함하는 조도 정보를 생성하는 조도 검출 단계; 및
    상기 해상도 정보, 조도 정보 및 블러링 정보 중 어느 하나 이상을 포함하는 화질 상태정보를 생성하는 화질 상태정보 생성 단계를 포함하는 것을 특징으로 하는 객체 검출 이미지 전처리 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020220079140A 2022-06-28 2022-06-28 객체 검출 이미지 전처리 장치 및 방법 KR102593677B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220079140A KR102593677B1 (ko) 2022-06-28 2022-06-28 객체 검출 이미지 전처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220079140A KR102593677B1 (ko) 2022-06-28 2022-06-28 객체 검출 이미지 전처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102593677B1 true KR102593677B1 (ko) 2023-10-25

Family

ID=88515477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220079140A KR102593677B1 (ko) 2022-06-28 2022-06-28 객체 검출 이미지 전처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102593677B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815010B1 (ko) 2005-06-13 2008-03-18 세이코 엡슨 가부시키가이샤 Ｌｃｄ 모션 블러 선보상 방법
JP2011103618A (ja) * 2009-11-12 2011-05-26 Panasonic Corp 撮像装置
KR101795271B1 (ko) 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
KR20190095567A (ko) * 2018-01-03 2019-08-16 삼성전자주식회사 객체를 인식하는 방법 및 장치
JP2020086545A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP2021117533A (ja) * 2020-01-22 2021-08-10 三菱電機インフォメーションシステムズ株式会社 物体検出装置、物体検出方法及び物体検出プログラム
KR20220040025A (ko) * 2020-09-23 2022-03-30 이후시스(주) 딥러닝 기반 열 영상 재구성 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815010B1 (ko) 2005-06-13 2008-03-18 세이코 엡슨 가부시키가이샤 Ｌｃｄ 모션 블러 선보상 방법
JP2011103618A (ja) * 2009-11-12 2011-05-26 Panasonic Corp 撮像装置
KR101795271B1 (ko) 2016-06-10 2017-11-07 현대자동차주식회사 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법
KR20190095567A (ko) * 2018-01-03 2019-08-16 삼성전자주식회사 객체를 인식하는 방법 및 장치
JP2020086545A (ja) * 2018-11-15 2020-06-04 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP2021117533A (ja) * 2020-01-22 2021-08-10 三菱電機インフォメーションシステムズ株式会社 物体検出装置、物体検出方法及び物体検出プログラム
KR20220040025A (ko) * 2020-09-23 2022-03-30 이후시스(주) 딥러닝 기반 열 영상 재구성 장치 및 방법

Similar Documents

Publication Publication Date Title
CN109241985B (zh) 一种图像识别方法及装置
US10204275B2 (en) Image monitoring system and surveillance camera
US7809173B2 (en) Face detection method, apparatus, and program
US20070286482A1 (en) Method and system for the detection of removed objects in video images
US8724850B1 (en) Small object detection using meaningful features and generalized histograms
CN105279772B (zh) 一种红外序列图像的可跟踪性判别方法
CN107315990B (zh) 一种基于xcs-lbp特征的行人检测算法
CN107563985B (zh) 一种红外图像空中运动目标的检测方法
US20060221181A1 (en) Video ghost detection by outline
KR20070060496A (ko) 영상처리를 이용한 지질재료 분류 방법 및 그 장치
JP2011210179A (ja) 移動物体検出装置及び方法、並びにプログラム
Syrjasuo et al. Numeric image features for detection of aurora
WO2020130799A1 (en) A system and method for licence plate detection
CN107564041B (zh) 一种可见光图像空中运动目标的检测方法
KR100828183B1 (ko) 에이다부스트와 에스브이엠 학습 분류기를 이용한 눈영역 추출기 및 추출방법
KR102593677B1 (ko) 객체 검출 이미지 전처리 장치 및 방법
Lech et al. Binarization of document images using the modified local-global Otsu and Kapur algorithms
JPWO2020149001A1 (ja) 情報処理装置、制御方法、及びプログラム
Pavithra et al. Real-time color classification of objects from video streams
US20220392225A1 (en) Concept for Detecting an Anomaly in Input Data
CN116309270A (zh) 一种基于双目图像的输电线路典型缺陷识别方法
Yakimov Preprocessing digital images for quickly and reliably detecting road signs
US11961269B2 (en) Apparatus, method and non-transitory computer-readable medium storing program for controlling imaging environment of target object
RU2661793C1 (ru) Способ обработки матрицы чисел
Thike et al. Vehicle detection using upper local ternary features with SVM classification

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant