KR102521524B1 - 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법 - Google Patents

객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102521524B1
KR102521524B1 KR1020220190803A KR20220190803A KR102521524B1 KR 102521524 B1 KR102521524 B1 KR 102521524B1 KR 1020220190803 A KR1020220190803 A KR 1020220190803A KR 20220190803 A KR20220190803 A KR 20220190803A KR 102521524 B1 KR102521524 B1 KR 102521524B1
Authority
KR
South Korea
Prior art keywords
image
weather
super
image data
resolution
Prior art date
Application number
KR1020220190803A
Other languages
English (en)
Inventor
박천수
Original Assignee
주식회사 에이아이프로
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이프로, 성균관대학교산학협력단 filed Critical 주식회사 에이아이프로
Priority to KR1020220190803A priority Critical patent/KR102521524B1/ko
Application granted granted Critical
Publication of KR102521524B1 publication Critical patent/KR102521524B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서는 저화질 영상을 효율적으로 초고해상화할 수 있는 영상 처리 장치 및 방법을 개시한다. 본 명세서에 따른 영상 처리 장치 및 방법은 입력 영상 전체가 아닌 국소 영역에 초고해상화 모델을 적용하여 영상의 품질을 변환하는 아이디어를 제안한다. 특히, 본 명세서에 따른 영상 처리 장치 및 방법은 초고해상화를 적용하는 국소 영역의 특성을 반영하므로, 결과 영상의 화질을 최대화 할 수 있다.

Description

객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS FOR SUPER RESOLUTION CONSIDERING A CHARACTERISTICS OF OBJECT AND METHOD THEREOF}
본 발명은 초고해상화에 관한 것이며, 보다 상세하게는 객체의 특성을 고려한 초고해상화에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 명세서에 기재된 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래 기술을 구성하는 것은 아니다.
인공 신경망(Artificial Neural Network, ANN)은 인간의 뇌를 구성하고 있는 뉴런들을 수학적으로 모델링한 인공 뉴런들을 서로 연결하여 인공 지능을 구현한 것이다. 인공 신경망 즉, 인공 지능을 이용한 다양한 기술이 발전되고 있으며, 특히 영상 처리 분야에서 인공 지능의 발전이 많이 이루어지고 있다. 최근, 합성곱 신경망(Convolutional neural network, CNN)을 사용하여 원본 영상의 해상도보다 높은 고해상도 영상으로 재구성하는 딥러닝 기술이 제안 되고 있다.
한편, 폐쇄회로카메라(CCTV)는 널리 보급된 감시 장비로서, 카메라로 촬영한 영상을 중계 또는 녹화한다. 이러한 CCTV는 비용문제로 인해 저화소 카메라가 사용된다. 통계에 따르면, 차 번호, 사람 등 식별하기 위해서는 100만화소 이상의 카메라가 요구되나, 기존 설치된 CCTV 카메라 중 약 35% 이상은 100만화소 미만의 저화질 카메라인 것으로 알려져 있다.
공개특허공보 제10-2019-0139781호
본 명세서는 저화질 영상을 효율적으로 초고해상화할 수 있는 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 명세서에 따른 영상 처리 장치는, 대상의 특성에 따른 적어도 2이상의 초고해상화 모델 및 객체 검출 모델을 저장하는 메모리부; 입력 영상을 수신하여 이미지 데이터를 출력하는 영상 수신부; 상기 이미지 데이터에 포함된 적어도 하나의 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 객체 검출부; 및 상기 이미지 데이터 중 상기 객체 검출부에서 검출된 대상의 영역에 대하여 상기 메모리부에 저장된 2이상의 초고해상화 모델 중 상기 객체 검출부에서 검출된 객체의 특성에 따른 초고해상화 모델을 실행하는 초고해상화부;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 메모리부는 초고해상화 모델의 특성에 대한 맵핑 테이블을 더 저장할 수 있다. 이 경우, 상기 객체 검출부는 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하고, 상기 초고해상화부는 상기 맵핑 테이블 내에서 상기 객체 검출부에서 산출된 객체의 특성에 맵핑된 초고해상화 모델을 실행할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 메모리부는 범용 초고해상화 모델을 더 저장할 수 있다. 이 경우, 상기 객체 검출부가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하지 못 할 때, 상기 초고해상화부는 상기 메모리부에 저장된 범용 초고해상화 모델을 실행할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 영상 수신부는, 입력 영상의 기상 환경을 판단하는 기상 판단 모듈; 및 적어도 하나 이상의 날씨 영향 제거 모듈;을 더 포함할 수 있다. 입력 영상의 기상 환경이 상기 날씨 영향 제거 모듈에 해당하는 기상 환경이 아닌 경우, 상기 기상 판단 모듈은 상기 입력 영상에서 이미지 데이터를 추출하여 상기 객체 검출부에 출력할 수 있다. 입력 영상의 기상 환경이 상기 날씨 영향 제거 모듈에 해당하는 기상 환경인 경우, 상기 기상 판단 모듈은 상기 입력 영상의 기상 환경에 해당하는 날씨 영상 제거 모듈을 실행시키고, 날씨 영상이 제거된 입력 영상에서 이미지 데이터를 추출하여 상기 객체 검출부에 출력할 수 있다.
본 명세서에 따른 영상 처리 장치는, 영상 처리 장치; 및 영상을 출력하는 카메라;를 포함하는 CCTV 영상 시스템의 일 구성요소가 될 수 있다.
상술한 과제를 해결하기 위한 본 명세서에 따른 영상 처리 방법은, 대상의 특성에 따른 적어도 2이상의 초고해상화 모델 및 객체 검출 모델을 저장하는 메모리부 및 프로세서를 포함하는 장치를 이용하여 영상을 처리하는 방법으로서, (a) 상기 프로세서가 입력 영상에서 이미지 데이터를 추출하는 단계; (b) 상기 프로세서가 상기 이미지 데이터에 포함된 적어도 하나의 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 단계; 및 (c) 상기 프로세서가 상기 이미지 데이터 중 상기 (b) 단계에서 검출된 대상의 영역에 대하여 상기 메모리부에 저장된 2이상의 초고해상화 모델 중 상기 (b) 단계에서 검출된 대상의 특성에 따른 초고해상화 모델을 실행하는 단계;를 포함할 수 있다.
본 명세서의 일 실시예에 따르면, 상기 메모리부는 초고해상화 모델의 특성에 대한 맵핑 테이블을 더 저장할 수 있다. 이 경우, 상기 (b) 단계는 상기 프로세서가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하는 단계이고, 상기 (c) 단계는 상기 프로세서가 상기 맵핑 테이블 내에서 상기 (b) 단계에서 산출된 객체의 특성에 맵핑된 초고해상화 모델을 실행하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 메모리부는 범용 초고해상화 모델을 더 저장할 수 있다. 이 경우, 상기 (b) 단계에서 상기 프로세서가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하지 못 할 때, 상기 (c) 단계는 상기 프로세서가 상기 메모리부에 저장된 범용 초고해상화 모델을 실행하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 (a) 단계는 상기 프로세서가 입력 영상의 기상 환경을 더 판단하는 단계일 수 있다. 이 경우, 상기 (a) 단계는 상기 프로세서가 입력 영상의 기상 환경이 미리 설정된 기상 환경에 해당하지 않는 경우, 상기 입력 영상에서 이미지 데이터를 추출하고, 입력 영상의 기상 환경이 미리 설정된 기상 환경에 해당하는 경우, 상기 입력 영상의 기상 환경에 해당하는 날씨 영상 제거 모듈을 실행시키고, 날씨 영상이 제거된 입력 영상에서 이미지 데이터를 추출하는 단계일 수 있다.
본 명세서에 따른 영상 처리 방법은, 컴퓨터에서 영상 처리 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터 프로그램의 형태로 구현될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서에 따르면, 저화질 영상 내 객체의 특성에 따라 초고해상화가 이루어지는바 보다 효율적인 영상 처리가 가능하다. 이를 통해 저가의 저화질 카메라를 사용한 CCTV라도 사람 또는 문자 등을 식별하는데 도움을 줄 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 명세서에 따른 영상 처리 장치의 영상 처리 과정에 대한 참고도이다.
도 3은 입력 영상의 기상 환경 영향을 제거하는 과정의 참고도이다.
도 4는 본 명세서에 따른 영상 처리 방법의 개략적인 흐름도이다.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
초고해상화(SR: Super Resolution) 기술은 입력되는 영상의 해상도를 화질 저하 없이 높이는 기술로, 이미지 또는 비디오 프레임에 적용하는 방식으로 이용되고 있다. 초고해상화 기술은 인공 지능 특히, 합성곱 신경망(Convolutional neural network, CNN)을 사용하여 구현할 수 있다. 이러한 인공 지능 모델은 입력된 학습 데이터의 특성에 따라 영상의 품질이 크게 달라질 수 있다. 예를 들어, 의료용 영상의 초고해상화를 위해 의료 영상을 학습한 인공 지능 모델과 자동차 번호 식별을 위해 자동차 번호판이 포함된 영상을 학습한 인공 지능 모델은 그 특성이 다를 수 밖에 없다. 만약 의료용 인공 지능 모델에 자동차 번호 영상을 입력하여 초고해상화를 진행할 경우, 자동차 번호판용 인공 지능 모델에 비해 출력된 영상의 품질이 저하될 것이다. 이처럼 인공 지능 모델의 사용 목적에 맞게 특정 학습 데이터로 학습시키는 것이 일반적이다.
하지만, 공공 장소에 설치된 CCTV와 같이, 사람, 동물, 자동차, 오토바이, 간판 등 불특정 다수의 객체가 불규칙적으로 등장과 퇴장을 반복하는 영상의 경우, 특정 인공 지능 모델을 적용하기 어려운 것이 현실이다. 이러한 경우, 일반적으로 범용 초고해상화 모델을 사용하거나, 감시하고자 하는 특정 대상(예: 자동차 번호판)에 맞는 초고해상화 모델을 적용하는 것이 일반적이다. 범용 초고해상화 모델을 적용한 경우, 다양한 객체에 대해서 평균적인 영상의 품질을 얻을 수 있지만, 하향평준화된 영상을 얻게 될 가능성이 높다. 특정 대상에 맞는 초고해상화 모델을 적용한 경우, 해당 객체에 대해서는 고품질의 영상을 얻을 수 있지만, 이를 제외한 다른 객체에 대해서는 저품질 영상을 얻을 가능성이 상당히 높다. 이렇게 모순된 특성을 가진 초고해상화 모델을 효율적으로 적용할 수 있는 방법이 필요하다.
본 명세서에 따른 영상 처리 장치 및 방법은 입력 영상 전체가 아닌 국소 영역에 초고해상화 모델을 적용하여 영상의 품질을 변환하는 아이디어를 제안한다. 특히, 본 명세서에 따른 영상 처리 장치 및 방법은 초고해상화를 적용하는 국소 영역의 특성을 반영하므로, 결과 영상의 화질을 최대화 할 수 있다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 명세서에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 명세서에 따른 영상 처리 장치(100)는 메모리부(110), 영상 수신부(120), 객체 검출부(130) 및 초고해상화부(140)를 포함할 수 있다.
상기 메모리부(110)는 대상의 특성에 따른 적어도 2이상의 초고해상화 모델 및 객체 검출 모델을 저장할 수 있다.
상기 초고해상화(Super Resolution) 모델은 저해상도 영상을 고해상도 영상으로 변환하는 모델로서, 데이터에 의해 학습된 상태이다. 이때, 각 초고해상화 모델은 학습 데이터의 특성에 따라 서로 다른 모델로 구별될 수 있다. 예를 들어, 사람 영상, 얼굴 영상, 문자 영상, 동물 영상, 간판 영상, 자동차 영상, 번호판 영상 등 특정 객체로 이루어진 영상 데이터에 의해 학습이 이루어진 복수의 초고해상화 모델이 상기 메모리부(110)에 저장될 수 있다.
상기 객체 검출(Object Detection) 모델은 영상에 포함된 객체를 식별하는 컴퓨터 비전 기술을 의미한다. 상기 객체 검출 모델은 영상에 포함된 객체의 종류를 분류(classification)하고, 해당 객체의 위치를 추출하는(localization) 과정을 동시에 수행할 수 있다.
상기 영상 수신부(120)는 입력 영상을 수신하여 이미지 데이터를 출력할 수 있다. 일반적인 CCTV의 카메라는 연속적으로 영상을 출력하므로, 상기 영상 수신부(120)는 연속적으로 출력된 영상을 수신하여 각 프레임별 영상을 이미지 데이터로 출력할 수 있다.
상기 객체 검출부(130)는 상기 이미지 데이터에 포함된 적어도 하나의 객체를 검출하도록 상기 메모리부(110)에 저장된 객체 검출 모델을 실행할 수 있다. 상기 객체 검출부(130)는 이미지 데이터에 2이상의 객체가 포함된 경우, 각 객체를 구별하여 검출할 수도 있다. 또한, 상기 객체 검출부(130)는 상기 이미지 데이터에서 객체 영역만 이미지를 추출할 수도 있다. 객체 검출 모델은 일명 바운딩 박스(Bounding Box)로 객체의 위치를 표시할 수 있다. 이때, 상기 객체 검출부(130)는 상기 객체의 위치 즉, 바운딩 박스를 ROI(Region of Interest)로 설정하고, ROI 영역을 이미지 데이터에서 추출할 수 있다.
상기 초고해상화부(140)는 상기 이미지 데이터 중 상기 객체 검출부(130)에서 검출된 대상의 영역에 대하여 상기 메모리부(110)에 저장된 2이상의 초고해상화 모델 중 상기 객체 검출부에서 검출된 객체의 특성에 따른 초고해상화 모델을 실행할 수 있다. 상기 객체 검출부(130)는 객체의 위치와 함께 객체의 종류를 분류(예: 사람, 문자, 동물, 자동차 등)할 수 있다. 상기 초고해상화부(140)는 상기 객체 검출부(130)에서 분류한 객체의 특성에 해당하는 초고해상화 모델을 적용하여 해당 객체 영역에 대해서 해상도를 높이는 처리를 할 수 있다.
보다 구체적으로, 상기 메모리부(110)는 초고해상화 모델의 특성에 대한 맵핑 테이블을 더 저장할 수 있다. 이때, 상기 객체 검출부(130)는 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하고, 상기 초고해상화부(140)는 상기 맵핑 테이블 내에서 상기 객체 검출부(130)에서 산출된 객체의 특성에 맵핑된 초고해상화 모델을 실행할 수 있다.
도 2는 본 명세서에 따른 영상 처리 장치의 영상 처리 과정에 대한 참고도이다.
도 2를 참조하면, 입력 영상이 수신되면 상기 객체 검출부(130)가 사람과 자동차 번호판을 타겟으로 검출할 수 있다. 검출된 타겟은 국소 영상으로 편집될 수 있다. 각각 검출된 타겟은 상기 객체 검출부(130)가 객체의 특성을 "사람"과 "번호판"으로 분류한 상태이다. 따라서, 상기 초고해상화부(140)는 메모리부(110)에 저장된 초고해상화(SR) 모델 중 "사람"과 "번호판"에 해당하는 모델을 맵핑하여 각각 초고해상화를 진행할 수 있다. 도 2에 도시된 예시와 같이, 본 명세서에 따른 영상 처리 장치(100)는 하나의 입력 영상에 대해서 2이상의 서로 다른 초고해상화 모델이 각각 실행될 수 있다.
한편, 상기 메모리부(110)의 저장 용량 등으로 인해 모든 종류의 객체에 대한 초고해상화 모델이 구비되지 않을 수 있다. 따라서, 상기 객체 검출부(130)에서 검출된 객체에 매핑된 초고해상화 모델이 상기 메모리부(110)에 저장되어 있지 않을 수도 있다. 이 경우, 상기 메모리부(110)는 범용 초고해상화 모델을 더 저장하고, 상기 객체 검출부(130)가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하지 못 할 때, 상기 초고해상화부(140)는 상기 메모리부(110)에 저장된 범용 초고해상화 모델을 실행할 수 있다.
일반적으로 물체 검출, 문자 인식 등의 객체 검출 모델과 해상도를 높여 주는 초고해상화 모델은 일반적인 날씨 환경(맑음, 흐림)에서 촬영된 훈련 영상을 이용해 학습(훈련, 제작)된다. 만약 안개 낀 날, 비오는 날, 눈오는 날 촬영된 영상을 이용하여 모델을 학습할 경우, 모델의 성능이 저하되기 때문에 일반적인 날씨 환경의 데이터를 이용하는 것이 바람직하다. 하지만 이런 방식으로 훈련된 모델의 성능은 안개 상황, 비 상황, 눈 상황에서 그 성능이 제한된다. CCTV가 실외에 설치된 경우, 날씨가 맑은 날뿐만 아니라 날씨가 안 좋은 날에 촬영된 영상이 입력 영상으로 수신될 수 있는 바, 이에 대한 해결방법이 필요하다.
이를 위해, 본 명세서에 따른 영상 처리 장치(100)의 상기 영상 수신부(120)는 입력 영상의 기상 환경을 판단하는 기상 판단 모듈(121) 및 적어도 하나 이상의 날씨 영향 제거 모듈(122)을 더 포함할 수 있다.
도 3은 입력 영상의 기상 환경 영향을 제거하는 과정의 참고도이다.
도 3을 참조하면, 상기 기상 판단 모듈(121)은 입력 영상의 기상 환경이 일반 기상 환경인지 아닌지 판단할 수 있다. 만약, 입력 영상의 기상 환경이 상기 날씨 영향 제거 모듈에 해당하는 기상 환경이 아닌 경우, 상기 기상 판단 모듈(121)은 상기 입력 영상에서 이미지 데이터를 추출하여 상기 객체 검출부(130)에 출력할 수 있다. 반면, 입력 영상의 기상 환경이 상기 날씨 영향 제거 모듈에 해당하는 기상 환경인 경우, 상기 기상 판단 모듈(121)은 상기 입력 영상의 기상 환경에 해당하는 날씨 영상 제거 모듈을 실행시키고, 날씨 영상이 제거된 입력 영상에서 이미지 데이터를 추출하여 상기 객체 검출부에 출력할 수 있다.
본 명세서에 따른 영상 처리 장치(100)는, 영상을 출력하는 카메라를 포함하는 CCTV 영상 시스템의 일 구성요소가 될 수 있다. 일반적인 CCTV의 카메라는 고정된 위치에서 고정된 방향을 촬영한다. 일부 카메라의 경우 상하 좌우 회전을 통해 더 넓은 영역을 촬영하기도 하지만, 고정된 위치를 벗어나지 않기 때문에 카메라에 촬영된 영상의 배경은 항상 일정할 수 있다. 이처럼 입력 영상에 고정된 배경이 포함된 경우, 이미지 데이터가 입력될 때마다 이미지 내 모든 객체 식별하고 분석하는 것은 비효율적일 수 있다. 예를 들어, 입력 영상 내 번호판을 식별하고 초고해상화 모델을 적용할 목적으로 영상 처리 장치를 사용을 가정해 보겠다. 그리고 CCTV 카메라가 촬영하는 방향에 다수의 상점이 존재하여 배경 영상에 많은 간판이 함께 촬영된다고 가정해 보겠다. 배경 영상에 대한 별도의 처리가 없다면, 입력 영상의 모든 프레임이 이미지 데이터로 출력될 때마다, 상점이 간판들이 객체로 식별될 것이고, 이러한 간판들에게 모두 초고해상화 모델이 실행될 경우, 불필요한 연산 자원 및 전력, 시간 등 낭비로 이어진다. 이러한 비효율을 방지하기 위해, 상기 메모리부(110)는 배경 이미지에 대한 데이터를 더 저장할 수 있다. 상기 배경 이미지 데이터는 제작자, 사용자 또는 관리자가 직접 입력할 수 있다. 한편, 본 명세서에 따른 영상 처리 장치(100)는 입력 영상에서 복수의 이미지 데이터에서 동일 영상인지 여부를 비교하여 배경인지 판별하는 배경 판단부(도면 미도시)를 더 포함할 수 있다. 상기 배경 판단부는 주기적으로 복수의 입력 영상을 비교하여 이미지 데이터 내 배경인지 여부를 판단할 수 있다. 그리고 상기 객체 검출부(130)는 상기 이미지 데이터에 포함된 객체 중 상기 배경 이미지에 포함된 객체를 제외한 적어도 하나의 객체를 검출할 수 있다.
이하에서는 본 명세서에 따른 영상 처리 방법에 대해서 설명하겠다. 본 명세서에 따른 영상 처리 방법은 앞서 설명한 영상 처리 장치(100)를 이용하여 영상을 처리하는 방법으로서, 앞서 설명한 구성요소에 대한 반복적인 설명은 생략한다.
한편, 본 명세서에 따른 영상 처리 방법은 컴퓨터에서 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터 프로그램의 형태로 구현될 수 있다. 상기 영상 수신부(120), 객체 검출부(130), 초고해상화부(140)는, 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 영상 수신부(120), 객체 검출부(130), 초고해상화부(140)는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리부(110)에 저장되고, 프로세서에 의해 실행될 수 있다. 이하에서 본 명세서에 따른 영상 처리 방법은 프로세서에 의해 처리되는 경우를 전제로 설명한다.
도 4는 본 명세서에 따른 영상 처리 방법의 개략적인 흐름도이다.
도 4를 참조하면, 단계 S100에서 프로세서는 입력 영상에서 이미지 데이터를 추출할 수 있다. 다음 단계 S200에서 상기 프로세서는 상기 이미지 데이터에 포함된 적어도 하나의 객체를 검출하도록 상기 메모리부(110)에 저장된 객체 검출 모델을 실행시킬 수 있다. 다음 단계 S300에서 상기 프로세서는 상기 이미지 데이터 중 상기 단계 S200에서 검출된 대상의 영역에 대하여 상기 메모리부(110)에 저장된 2이상의 초고해상화 모델 중 상기 단계 S200에서 검출된 객체의 특성에 따른 초고해상화 모델을 실행시킬 수 있다.
본 명세서의 일 실시예에 따르면, 상기 메모리부(110)는 초고해상화 모델의 특성에 대한 맵핑 테이블을 더 저장할 수 있다. 이 경우, 상기 단계 S200은 상기 프로세서가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하는 단계이고, 상기 단계 S300은 상기 프로세서가 상기 맵핑 테이블 내에서 상기 (b) 단계에서 산출된 객체의 특성에 맵핑된 초고해상화 모델을 실행하는 단계일 수 있다.
본 명세서의 일 실시예에 따르면, 상기 메모리부(110)는 범용 초고해상화 모델을 더 저장할 수 있다. 이 경우, 상기 단계 S200에서 상기 프로세서가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하지 못 할 때, 상기 단계 S300에서 상기 프로세서는 상기 메모리부에 저장된 범용 초고해상화 모델을 실행시킬 수 있다.
한편, 단계 S100에서 상기 프로세서는 입력 영상의 기상 환경을 더 판단할 수 있다. 이 경우, 상기 단계 S100에서 상기 프로세서는, 입력 영상의 기상 환경이 미리 설정된 기상 환경에 해당하지 않는 경우, 상기 입력 영상에서 이미지 데이터를 추출하고, 입력 영상의 기상 환경이 미리 설정된 기상 환경에 해당하는 경우, 상기 입력 영상의 기상 환경에 해당하는 날씨 영상 제거 모듈을 실행시키고, 날씨 영상이 제거된 입력 영상에서 이미지 데이터를 추출할 수 있다.
상기 전술한 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 영상 처리 장치
110 : 메모리부
120 : 영상 수신부
121 : 기상 판단 모듈
122 : 날씨 영향 제거 모듈
130 : 객체 검출부
140 : 초고해상화부

Claims (12)

  1. 배경 이미지 데이터, 대상의 특성에 따른 적어도 2이상의 초고해상화 모델 및 객체 검출 모델을 저장하는 메모리부;
    입력 영상의 기상 환경을 판단하는 기상 판단 모듈; 및 적어도 하나 이상의 날씨 영향 제거 모듈;을 포함하고, 입력 영상을 수신하여 이미지 데이터를 출력하는 영상 수신부;
    복수의 이미지 데이터에서 동일 영상인지 여부를 비교하여 배경인지 판별하는 배경 판단부;
    상기 이미지 데이터에 포함된 객체 중 상기 배경 이미지에 포함된 객체를 제외한 적어도 하나의 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 객체 검출부; 및
    상기 이미지 데이터 중 상기 객체 검출부에서 검출된 대상의 영역에 대하여 상기 메모리부에 저장된 2이상의 초고해상화 모델 중 상기 객체 검출부에서 검출된 객체의 특성에 따른 초고해상화 모델을 실행하는 초고해상화부;를 포함하되,
    상기 기상 판단 모듈은
    입력 영상의 기상 환경이 상기 날씨 영향 제거 모듈에 해당하는 기상 환경이 아닌 경우, 상기 입력 영상에서 이미지 데이터를 추출하여 상기 객체 검출부에 출력하고,
    입력 영상의 기상 환경이 상기 날씨 영향 제거 모듈에 해당하는 기상 환경인 경우, 상기 입력 영상의 기상 환경에 해당하는 날씨 영상 제거 모듈을 실행시키고, 날씨 영상이 제거된 입력 영상에서 이미지 데이터를 추출하여 상기 객체 검출부에 출력하는, 영상 처리 장치.
  2. 청구항 1에 있어서,
    상기 메모리부는 초고해상화 모델의 특성에 대한 맵핑 테이블을 더 저장하고,
    상기 객체 검출부는 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하고,
    상기 초고해상화부는 상기 맵핑 테이블 내에서 상기 객체 검출부에서 산출된 객체의 특성에 맵핑된 초고해상화 모델을 실행하는, 영상 처리 장치.
  3. 청구항 2에 있어서,
    상기 메모리부는 범용 초고해상화 모델을 더 저장하고,
    상기 객체 검출부가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하지 못 할 때,
    상기 초고해상화부는 상기 메모리부에 저장된 범용 초고해상화 모델을 실행하는, 영상 처리 장치.
  4. 삭제
  5. 삭제
  6. 청구항 1 내지 청구항 3 중 어느 한 청구항에 따른 영상 처리 장치; 및
    영상을 출력하는 카메라;를 포함하는 CCTV 영상 시스템.
  7. 배경 이미지 데이터, 대상의 특성에 따른 적어도 2이상의 초고해상화 모델 및 객체 검출 모델을 저장하는 메모리부 및 프로세서를 포함하는 장치를 이용하여 영상을 처리하는 방법으로서,
    (a) 상기 프로세서가 입력 영상에서 입력 영상의 기상 환경이 미리 설정된 기상 환경에 해당하지 않는 경우, 상기 입력 영상에서 이미지 데이터를 추출하고, 입력 영상의 기상 환경이 미리 설정된 기상 환경에 해당하는 경우, 상기 입력 영상의 기상 환경에 해당하는 날씨 영상 제거 모듈을 실행시키고, 날씨 영상이 제거된 입력 영상에서 이미지 데이터를 추출하는 단계;
    (b) 상기 프로세서가 상기 이미지 데이터에 포함된 적어도 하나의 객체를 검출하도록 상기 메모리부에 저장된 객체 검출 모델을 실행하는 단계; 및
    (c) 상기 프로세서가 복수의 이미지 데이터에서 동일 영상인지 여부를 비교하여 배경인지 판별하고, 상기 이미지 데이터에 포함된 객체 중 상기 배경 이미지에 포함된 객체를 제외하고, 상기 이미지 데이터 중 상기 (b) 단계에서 검출된 대상의 영역에 대하여 상기 메모리부에 저장된 2이상의 초고해상화 모델 중 상기 (b) 단계에서 검출된 대상의 특성에 따른 초고해상화 모델을 실행하는 단계;를 포함하는 영상 처리 방법.
  8. 청구항 7에 있어서,
    상기 메모리부는 초고해상화 모델의 특성에 대한 맵핑 테이블을 더 저장하고,
    상기 (b) 단계는 상기 프로세서가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하는 단계이고,
    상기 (c) 단계는 상기 프로세서가 상기 맵핑 테이블 내에서 상기 (b) 단계에서 산출된 객체의 특성에 맵핑된 초고해상화 모델을 실행하는 단계인, 영상 처리 방법.
  9. 청구항 8에 있어서,
    상기 메모리부는 범용 초고해상화 모델을 더 저장하고,
    상기 (b) 단계에서 상기 프로세서가 객체의 특성을 상기 맵핑 테이블에 포함된 특성 중 어느 하나로 산출하지 못 할 때,
    상기 (c) 단계는 상기 프로세서가 상기 메모리부에 저장된 범용 초고해상화 모델을 실행하는 단계인, 영상 처리 방법.
  10. 삭제
  11. 삭제
  12. 컴퓨터에서 청구항 7 내지 청구항 9 중 어느 한 청구항에 따른 영상 처리 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램.
KR1020220190803A 2022-12-30 2022-12-30 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법 KR102521524B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220190803A KR102521524B1 (ko) 2022-12-30 2022-12-30 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220190803A KR102521524B1 (ko) 2022-12-30 2022-12-30 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102521524B1 true KR102521524B1 (ko) 2023-04-14

Family

ID=85946751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220190803A KR102521524B1 (ko) 2022-12-30 2022-12-30 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102521524B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190076645A (ko) * 2017-12-22 2019-07-02 삼성전자주식회사 객체 검출 장치 및 방법
KR20190110965A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 이미지 해상도를 향상시키기 위한 방법 및 장치
KR20190139781A (ko) 2018-06-08 2019-12-18 연세대학교 산학협력단 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
KR20210128927A (ko) * 2020-04-17 2021-10-27 삼성전자주식회사 3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190076645A (ko) * 2017-12-22 2019-07-02 삼성전자주식회사 객체 검출 장치 및 방법
KR20190139781A (ko) 2018-06-08 2019-12-18 연세대학교 산학협력단 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
KR20190110965A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 이미지 해상도를 향상시키기 위한 방법 및 장치
KR20210128927A (ko) * 2020-04-17 2021-10-27 삼성전자주식회사 3차원 이미징을 제공하기 위한 하이브리드 센서 시스템과 방법

Similar Documents

Publication Publication Date Title
Tsakanikas et al. Video surveillance systems-current status and future trends
WO2018130016A1 (zh) 一种基于监控视频的停车检测方法及装置
US8798314B2 (en) Detection of vehicles in images of a night time scene
CN109063667B (zh) 一种基于场景的视频识别方式优化及推送方法
Khalifa et al. Malaysian Vehicle License Plate Recognition.
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
KR20210137213A (ko) 이미지 처리 방법 및 장치, 프로세서, 전자 기기, 저장 매체
Krišto et al. Thermal imaging dataset for person detection
US20210201501A1 (en) Motion-based object detection method, object detection apparatus and electronic device
WO2023082453A1 (zh) 一种图像处理方法及装置
CN112949648A (zh) 一种图像分割模型训练样本数据集的获取方法及设备
KR102127276B1 (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
Rajagopal Intelligent traffic analysis system for Indian road conditions
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
Banerjee et al. Report on ugˆ2+ challenge track 1: Assessing algorithms to improve video object detection and classification from unconstrained mobility platforms
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN114155472A (zh) 厂区场景临空面防护设备异常状态检测方法、装置和设备
Usha Rani et al. Real-time human detection for intelligent video surveillance: an empirical research and in-depth review of its applications
KR102521524B1 (ko) 객체의 특성을 고려한 초고해상화 영상 처리 장치 및 방법
CN117115412A (zh) 一种基于加权得分标签分配的小目标检测方法
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
CN113243015A (zh) 一种视频监控系统和方法
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
CN116958561A (zh) 检测异常对象的方法、装置和存储介质
Gong et al. Pedestrian detection algorithm based on integral channel features

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant