KR20230065610A - 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법 - Google Patents

전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법 Download PDF

Info

Publication number
KR20230065610A
KR20230065610A KR1020210151354A KR20210151354A KR20230065610A KR 20230065610 A KR20230065610 A KR 20230065610A KR 1020210151354 A KR1020210151354 A KR 1020210151354A KR 20210151354 A KR20210151354 A KR 20210151354A KR 20230065610 A KR20230065610 A KR 20230065610A
Authority
KR
South Korea
Prior art keywords
image
channel
network
original image
sampling
Prior art date
Application number
KR1020210151354A
Other languages
English (en)
Other versions
KR102650701B1 (ko
Inventor
최광남
이두희
차기순
이크발 에테샴
송현철
Original Assignee
중앙대학교 산학협력단
남서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 남서울대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020210151354A priority Critical patent/KR102650701B1/ko
Publication of KR20230065610A publication Critical patent/KR20230065610A/ko
Application granted granted Critical
Publication of KR102650701B1 publication Critical patent/KR102650701B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 관한 것으로, 보다 상세하게는 기계 학습 절차를 통해 이미지의 개체를 감지할 뿐만 아니라 실제 시나리오에서 작고 불분명한 개체를 감지할 수 있는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 관한 것으로, 검출대상 객체를 포함하는 원본 이미지를 획득하는 이미지수집부;와 상기 원본 이미지를 샘플링하는 샘플링전처리부; 와 콘볼루션 계층의 네트워크를 기반으로 상기 샘플링전처리부로부터 도출된 이미지를 채널 이미지로 변환하는 다채널변환부; 및 상기 채널 이미지로부터 상기 검출대상 객체를 검출하는 객체검출부;를 포함한다.

Description

전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법{Improvement of Detection Rate for Small Objects Using Pre-processing Network}
본 발명은 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 관한 것으로, 보다 상세하게는 콘볼루션 네트워트를 이용한 실제 시나리오에서 작고 불분명한 개체를 감지할 수 있는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 관한 것이다.
최근, 기계 학습은 하나의 분야가 아니라 과학의 모든 분야에서 많은 응용 프로그램을 보여주고 있다. 기계 학습은, 컴퓨터가 인간이 하는 방식과 유사한 방식으로 생각하도록 가르치는 인공 지능(AI)의 한 분야로, 과거의 경험에 따라 학습하고 개선한다. 따라서, 기계 학습은 데이터를 탐색하고 패턴을 식별하여 작동하며 최소한의 인간의 개입을 수반한다.
한편, 이와 같은 기계 학습은 이미지 내 작은 물체 감지를 위해 적용되는데 이를 머신 비전 기술이라고 한다. 객체 감지는 머신 비전에서 가장 중요한 응용 프로그램 중 하나이며, 객체 감지는 디지털 이미지 및 비디오에서 특정 클래스(예: 인간, 건물 또는 자동차)의 의미 체계 인스턴스를 감지하는 컴퓨터 비전 및 이미지 처리와 관련된 컴퓨터 기술이다. 이는 이미지에서 개체를 인식할 뿐만 아니라 클래스 및 개체의 좌표를 나타내는 것을 의미한다. 예를 들어, 사람이 이미지에 있는 것으로 가정되는 경우 학습된 네트워크는 사람을 찾고 사람이 이미지에 있는 위치를 추출하는 것을 의미한다.
현재까지 객체 감지 분야는 다양한 방식으로 개발되었으며, 한 단계 검출기와 두 단계 검출기는 일반적인 유형의 네트워크이다. 한 단계 검출기는 욜로(yolo), 망막넷, 그리고 두 단계 검출기는 RCNN, 빠른 RCNN가 있다. 한 단계 검출기는 이미지에서 분류 및 지역화 문제를 동시에 수행하는 방법이며, 전체 입력 이미지를 사용하여 이미지의 분류 및 지역화를 하는 과정이 상대적으로 빠르지만 덜 정확하다는 단점이 있다. 한편, 두 단계 검출기는 분류 및 지역화 문제를 순차적으로 진행하는 것으로, 두 단계 검출기는 영역 제안이라는 방법이 있는데, 이는 이미지 내에 찾고자 하는 객체가 있을 가능성이 있는 관심 영역을 찾는 알고리즘이다.
해당 두 단계 검출기는 지역 제안 방법을 사용하여 관심 영역을 찾아 네트워크에 대한 입력으로 사용하는데 이것은 높은 정확도를 나타내지만, 저속이라는 단점을 가지고 있는 문제점이 존재한다.
등록특허공보 (KR) 제10-1896357호 (2018.09.03.) 공개특허공보 (KR) 제10-2021-0119672호 (2021.10.06.)
본 발명은 이와 같은 문제점을 감안한 것으로서, 네트워크에 입력된 입력 이미지의 관심 영역의 작고 조밀한 물체 감지를 위한 높은 정확도와, 더 나은 검출률을 갖춘 사전 처리를 제공하는 전처리 새로운 컨볼루션 신경망 네트워크를 이용한 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 관한 것이다.
본 발명의 실시 예들에 따른, 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템은 검출대상 객체를 포함하는 원본 이미지를 획득하는 이미지수집부; 와 상기 원본 이미지를 샘플링하는 샘플링전처리부; 와 콘볼루션 계층의 네트워크를 기반으로 상기 샘플링전처리부로부터 도출된 이미지를 채널 이미지로 변환하는 다채널변환부; 및 상기 채널 이미지로부터 상기 검출대상 객체를 검출하는 객체검출부;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 콘볼루션 계층의 네트워크는, 망막넷(RetinaNet) 알고리즘을 기반으로 하며, 상기 콘볼루션 계층의 네트워크가 오류 이미지 샘플과 상기 원본 이미지를 구성하는 복수의 클래스의 불균형을 학습하여 차이점을 찾아내어, 상기 오류 이미지 샘플과 상기 원본 이미지를 구분한다.
본 발명의 실시 예들에 있어서, 상기 샘플링전처리부는, 상기 원본 이미지를 업 샘플링하여 상기 원본 이미지의 크기는 2배가 되고, 업 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 업샘플링부; 와 상기 원본 이미지를 다운 샘플링하여 상기 원본 이미지의 크기는 1/2배가 되고, 다운 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 다운샘플링부;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 샘플링전처리부는, 상기 업샘플링부 혹은 상기 다운샘플링부로부터 도출된 상기 검출대상 객체의 특징맵의 8개의 형상데이터를 1열로 쌓아 순차적 벡터(sequential vector)로 변환하는 벡터변환부;를 더 포함한다.
본 발명의 실시 예들에 있어서, 상기 다채널변환부는, 상기 벡터변환부로부터 변환된 벡터값을 기반으로, 하나의 채널(one-channel) 이미지를 생성하는 원채널이미지생성부; 와 상기 하나의 채널(one-channel) 이미지를 원본 이미지와 결합하여, 네트워크의 계층(layer)을 통과하여 4개의 채널(four-channel) 이미지를 생성하는 다채널이미지생성부;를 더 포함한다.
본 발명의 실시 예들에 있어서, 상기 콘볼루션 계층은, 계층(layer)에서 픽셀(Pixel)의 위치를 추가하여 3개의 채널(tree-channel) 이미지를 다채널(multi-channel) 이미지로 변환하면, 상기 다채널(multi-channel) 이미지를 상기 3개의 채널(tree-channel)과 다른 좌표값을 갖는 3개의 채널(tree-channel)로 변환한다.
본 발명의 실시 예들에 있어서, 상기 다채널변환부는, 상기 콘볼루션 계층을 기반으로, 상기 4개의 채널(four-channel) 이미지를 또 다른 좌표값을 나타내는 3개의 채널 이미지(tree-channel)로 변환하는 채널변환이미지생성부;를 더 포함한다.
본 발명의 실시 예들에 있어서, 상기 객체검출부는, 상기 다채널변환부로부터 도출된 상기 채널 이미지로부터 32x32 픽셀 이하의 사이즈의 상기 검출대상 객체를 검출한다.
본 발명의 또 다른 실시 예들에 따른, 전처리 네트워크를 이용한 이미지 내 작은 객체 검출하는 방법에 있어서, 검출대상 객체를 포함하는 원본 이미지를 획득하는 단계; 와 상기 원본 이미지를 샘플링하여 전처리하는 단계;와 콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계; 및 상기 채널 이미지로부터 상기 검출대상 객체를 검출하는 단계;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 원본 이미지를 샘플링하여 전처리하는 단계는, 상기 원본 이미지를 업 샘플링하여 상기 원본 이미지의 크기는 2배가 되고, 업 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 단계; 및 상기 원본 이미지를 다운 샘플링하여 상기 원본 이미지의 크기는 1/2배가 되고, 다운 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 단계;를 포함한다.
본 발명의 실시 예들에 있어서, 상기 원본 이미지를 샘플링하여 전처리하는 단계는, 상기 업 샘플링 혹은 다운 샘플링한 상기 검출대상 객체의 특징맵의 8개의 형상데이터를 1열로 쌓아 순차적 벡터(sequential vector)로 변환하는 단계;를 더 포함한다.
본 발명의 실시 예들에 있어서, 상기 콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계는, 상기 순차적 벡터(sequential vector)로 변환한 값을 기반으로, 하나의 채널(one-channel) 이미지를 생성하는 단계; 및 상기 하나의 채널(one-channel) 이미지를 원본 이미지와 결합하여, 네트워크의 계층(layer)을 통과하여 4개의 채널(four-channel) 이미지를 생성하는 단계;를 더 포함한다.
본 발명의 실시 예들에 있어서, 상기 콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계는, 상기 콘볼루션 계층을 기반으로, 상기 4개의 채널(four-channel) 이미지를 또 다른 좌표값을 나타내는 3개의 채널 이미지(tree-channel)로 변환하는 단계;를 더 포함한다.
이상에서 설명한 바와 같은 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 따르면 다음과 같은 효과가 있다.
첫째, 콘볼루션 사전 처리 네트워크를 통해, 작고 조밀한 물체 감지를 위한 높은 정확도를 나타낸다.
둘째, 콘볼루션 사전 처리 네트워크를 통해, 작고 조밀한 물체 감지를 위한 종래의 기술보다 향상된 검출률을 나타낸다.
셋째, 콘볼루션 사전 처리 네트워크를 통해, 최종 생성된 이미지는 원본 이미지보다 해상도가 더 높다.
넷째, 콘볼루션 사전 처리 네트워크를 통해, 작은 물체 감지에 대한 평균 회수율을 향상할 수 있다.
도 1은 본 발명의 구성도이다.
도 2는 본 발명의 일실시 예에 따른, 샘플링전처리부와 다채널변환부의 모식도이다.
도 3는 본 발명의 일실시 예에 따른, 샘플링전처리부의 모식도이다.
도 4는 본 발명의 일실시 예에 따른, 다채널변환부의 구성도이다.
도 5는 본 발명의 일실시 예에 따른, 다채널변환부의 모식도이다.
도 6은 본 발명의 흐름도이다.
도 7과 도 8은 기존의 전처리의 네트워크를 이용한 이미지 내 객체 검출 결과 이미지와 본 발명의 일실시 예에 따른 이미지 내 작은 객체 검출 결과의 비교도이다.
첨부한 도면을 참조하여 본 발명의 실시예들에 따른 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 이와 같은 문제점을 감안한 것으로서, 네트워크에 입력된 입력 이미지의 관심 영역의 작고 조밀한 물체 감지를 위한 높은 정확도와, 더 나은 검출률을 갖춘 사전 처리를 제공하는 전처리 새로운 컨볼루션 신경망 네트워크를 이용한 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 관한 것이다.
도 1은 본 발명의 구성도이다.
도 1을 참고하면, 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템은 이미지수집부(100)와 샘플링전처리부(200)와 다채널변환부(300) 및 객체검출부(400)로 구성된다.
이미지수집부(100)의 경우, 검출대상 객체를 포함하는 원본 이미지를 획득하며, 샘플링전처리부(200)는 상기 원본 이미지를 샘플링하며, 다채널변환부(300)는 콘볼루션 계층의 네트워크를 기반으로 상기 샘플링전처리부로부터 도출된 이미지를 채널 이미지로 변환한다. 객체검출부(400)의 경우, 다채널변환부(300)로부터 도출된 상기 채널 이미지로부터 작은 사이즈인 즉, 32x32 픽셀 이하의 사이즈의 상기 검출대상 객체를 검출한다.
도 2는 본 발명의 일실시 예에 따른, 샘플링전처리부와 다채널변환부의 모식도이다. 도 2를 참고하면, 샘플링전처리부(200)의 구성부인 업샘플링부(205)와 다운샘플링부(210) 및 벡터변환부(215)의 기능의 흐름도와, 다채널변환부(300)의 구성부인 원채널이미지생성부(305)와 다채널이미지생성부(310) 및 채널변환이미지생성부(315)의 기능의 흐름도를 나타낸다.
도 3는 본 발명의 일실시 예에 따른, 샘플링전처리부의 모식도이다.
도 3을 참고하면, 업샘플링부(205)는 상기 원본 이미지를 업 샘플링하여 상기 원본 이미지의 크기는 2배가 되고, 업 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하며, 다운샘플링부(210)는 상기 원본 이미지를 다운 샘플링하여 상기 원본 이미지의 크기는 1/2배가 되고, 다운 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달한다. 또한, 벡터변환부(215)는 업샘플링부(205) 혹은 다운샘플링부(210)로부터 도출된 상기 검출대상 객체의 특징맵의 8개의 형상데이터를 1열로 쌓아 순차적 벡터(sequential vector)로 변환한다.
여기서, 상기 콘볼루션 계층의 네트워크는, 망막넷(RetinaNet) 알고리즘을 기반으로 하며, 상기 콘볼루션 계층의 네트워크가 오류 이미지 샘플과 상기 원본 이미지를 구성하는 복수의 클래스의 불균형을 학습하여 차이점을 찾아내어, 상기 오류 이미지 샘플과 상기 원본 이미지를 구분한다. 좀 더 상세하게 설명하자면, 상기 망막넷(RetinaNet) 알고리즘은 레스넷(ResNet)을 백본으로 사용하고, 피처 피라미드 네트워크(FPN)를 사용하여 다양한 척도에서 추출된 특징맵(검출대상 객체의 특징맵)을 학습한 다음, 마지막 추출한 상기 특징맵(검출대상 객체의 특징맵)을 분류 및 경계상자(BBox) 회귀 단락에 넣어, 개체 감지를 위한 변환 단락하여 초점 손실(FL)을 학습합니다. 상기 망막넷(RetinaNet)에서 사용하는 상기 초점 손실(FL)은 첫 번째 손실기능으로, 기존 분류의 정확도를 크게 향상시킵니다. 즉, 상기 초점 손실(FL)은 하드 또는 쉽게 잘못 분류된 예제(즉, 시끄러운 텍스처 또는 부분 물체 또는 관심 대상을 가진 배경)에 더 많은 가중치를 할당합니다. 다음의 초점 손실(FL)은 클래스 불균형 문제를 처리하려고 시도하는 교차 엔트로피 손실(CE)의 개선된 버전이며, 상기 경계상자(BBox) 회귀 손실은 IoU 손실을 사용하여 학습합니다.
도 4는 본 발명의 일실시 예에 따른, 다채널변환부의 구성도이다.
도 4를 참고하면, 다채널변환부(300)는 원채널이미지생성부(305)와 다채널이미지생성부(310) 및 채널변환이미지생성부(315)를 포함한다.
원채널이미지생성부(305)는 상기 벡터변환부로부터 변환된 벡터값을 기반으로, 하나의 채널(one-channel) 이미지를 생성하며, 다채널이미지생성부(310)는 상기 하나의 채널(one-channel) 이미지를 원본 이미지와 결합하여, 네트워크의 계층(layer)을 통과하여 4개의 채널(four-channel) 이미지를 생성한다. 또한, 채널변환이미지생성부(315)는 상기 콘볼루션 계층을 기반으로, 상기 4개의 채널(four-channel) 이미지를 또 다른 좌표값을 나타내는 3개의 채널 이미지(tree-channel)로 변환한다.
도 5는 본 발명의 일실시 예에 따른, 다채널변환부의 모식도이다.
도 5를 참고하면, 상기 콘볼루션 계층은, 계층(layer)에서 픽셀(Pixel)의 위치를 추가하여 3개의 채널(tree-channel) 이미지를 다채널(multi-channel) 이미지로 변환하면, 상기 다채널(multi-channel) 이미지를 상기 3개의 채널(tree-channel)과 다른 좌표값을 갖는 3개의 채널(tree-channel)로 변환한다는 특징을 갖고 있다. 좀 더 상세하게 설명하자면, 상기 콘볼루션의(CoordConv) 계층은 몇 가지 매개 변수의 특성과 효율적인 계산을 연속적으로 유지하지만, 네트워크가 학습 중인 작업에 필요한 번역 작업의 변동을 지속하거나 혹은 폐기하는 방법도 학습할 수 있다. 또한, 상기 콘볼루션의(CoordConv) 계층은 상기 원본 이미지의 형태로 상기 원본 이미지의 픽셀 위치 값을 만들고, 상기 원본 이미지에 추가하여 이미지의 채널 변환을 이끈다. 즉, 계층(레이어)에 픽셀 위치를 추가하면, 3채널 이미지를 5채널 이미지로 변경한 다음 3개의 채널 이미지를 변경하기 위해 콘볼루션 계층이 적용된다. 이를 통해 종래의 콘볼루션 네트워크의 단순 분류 및 개체 감지 분야에서 높은 정확도와 개선을 이끈다.
도 6은 본 발명의 흐름도이다.
도 6을 참고하면, 전처리 네트워크를 이용한 이미지 내 작은 객체 검출하는 방법에 있어서, 검출대상 객체를 포함하는 원본 이미지를 획득하는 단계(S601);와 상기 원본 이미지를 샘플링하여 전처리하는 단계(S602); 와 콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계(S603); 및 상기 채널 이미지로부터 상기 검출대상 객체를 검출하는 단계(S604);를 포함한다.
좀 더 상세하게 설명하자면, 원본 이미지를 샘플링하여 전처리하는 단계(S601)는, 상기 원본 이미지를 업 샘플링하여 상기 원본 이미지의 크기는 2배가 되고, 업 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 단계; 및 상기 원본 이미지를 다운 샘플링하여 상기 원본 이미지의 크기는 1/2배가 되고, 다운 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 단계;를 거쳐, 상기 업 샘플링 혹은 다운 샘플링한 상기 검출대상 객체의 특징맵의 8개의 형상데이터를 1열로 쌓아 순차적 벡터(sequential vector)로 변환한다. 이후, 콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계(S602)는, 상기 순차적 벡터(sequential vector)로 변환한 값을 기반으로, 하나의 채널(one-channel) 이미지를 생성하는 단계;를 거쳐 상기 하나의 채널(one-channel) 이미지를 원본 이미지와 결합하여, 네트워크의 계층(layer)을 통과하여 4개의 채널(four-channel) 이미지를 생성한다. 이후, 상기 콘볼루션 계층을 기반으로, 상기 4개의 채널(four-channel) 이미지를 또 다른 좌표값을 나타내는 3개의 채널 이미지(tree-channel)로 변환한다.
도 7과 도 8은 기존의 전처리의 네트워크를 이용한 이미지 내 객체 검출 결과 이미지와 본 발명의 일실시 예에 따른 이미지 내 작은 객체 검출 결과의 비교도이다. 도 7 및 도 8을 참고하면, 왼쪽의 이미지는 종래의 전처리 네트워크를 이용한 이미지내 객체 검출 방법의 결과 이미지이며, 오른쪽 이미지의 경우는 본 발명의 일실시예에 따른 전처리의 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템에 따라 상기 작은 이미지[초록색 경계 박스]를 비교할 수 있도록 한 비교도이다.
이상에서 설명한 바와 같은 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법에 따르면 다음과 같은 효과가 있다. 첫째, 콘볼루션 사전 처리 네트워크를 통해, 작고 조밀한 물체 감지를 위한 높은 정확도를 나타낸다. 둘째, 콘볼루션 사전 처리 네트워크를 통해, 작고 조밀한 물체 감지를 위한 종래의 기술보다 향상된 검출률을 나타낸다. 셋째, 콘볼루션 사전 처리 네트워크를 통해, 최종 생성된 이미지는 원본 이미지보다 해상도가 더 높다. 넷째, 콘볼루션 사전 처리 네트워크를 통해, 작은 물체 감지에 대한 평균 회수율을 향상할 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이미지수집부 200: 샘플링전처리부
205: 업샘플링부 210: 다운샘플링부
215: 벡터변환부 300: 다채널변환부
305: 원채널이미지생성부 310: 다채널이미지생성부
315: 채널변환이미지생성부 400: 객체검출부

Claims (13)

  1. 검출대상 객체를 포함하는 원본 이미지를 획득하는 이미지수집부;
    상기 원본 이미지를 샘플링하는 샘플링전처리부;
    콘볼루션 계층의 네트워크를 기반으로 상기 샘플링전처리부로부터 도출된 이미지를 채널 이미지로 변환하는 다채널변환부;
    상기 채널 이미지로부터 상기 검출대상 객체를 검출하는 객체검출부;를 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  2. 제1항에 있어서,
    상기 콘볼루션 계층의 네트워크는,
    망막넷(RetinaNet) 알고리즘을 기반으로 하며,
    상기 콘볼루션 계층의 네트워크가 오류 이미지 샘플과 상기 원본 이미지를 구성하는 복수의 클래스의 불균형을 학습하여 차이점을 찾아내어,
    상기 오류 이미지 샘플과 상기 원본 이미지를 구분하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  3. 제1항에 있어서,
    상기 샘플링전처리부는,
    상기 원본 이미지를 업 샘플링하여 상기 원본 이미지의 크기는 2배가 되고,
    업 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 업샘플링부;
    상기 원본 이미지를 다운 샘플링하여 상기 원본 이미지의 크기는 1/2배가 되고, 다운 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 다운샘플링부;를 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  4. 제3항에 있어서,
    상기 샘플링전처리부는,
    상기 업샘플링부 혹은 상기 다운샘플링부로부터 도출된 상기 검출대상 객체의 특징맵의 8개의 형상데이터를 1열로 쌓아 순차적 벡터(sequential vector)로 변환하는 벡터변환부;를 더 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  5. 제4항에 있어서,
    상기 다채널변환부는,
    상기 벡터변환부로부터 변환된 벡터값을 기반으로, 하나의 채널(one-channel) 이미지를 생성하는 원채널이미지생성부;
    상기 하나의 채널(one-channel) 이미지를 원본 이미지와 결합하여,
    네트워크의 계층(layer)을 통과하여 4개의 채널(four-channel) 이미지를 생성하는 다채널이미지생성부;를 더 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  6. 제1항에 있어서,
    상기 콘볼루션 계층은,
    계층(layer)에서 픽셀(Pixel)의 위치를 추가하여 3개의 채널(tree-channel) 이미지를 다채널(multi-channel) 이미지로 변환하면,
    상기 다채널(multi-channel) 이미지를 상기 3개의 채널(tree-channel)과 다른 좌표값을 갖는 3개의 채널(tree-channel)로 변환하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  7. 제5항에 있어서,
    상기 다채널변환부는,
    상기 콘볼루션 계층을 기반으로,
    상기 4개의 채널(four-channel) 이미지를 또 다른 좌표값을 나타내는 3개의 채널 이미지(tree-channel)로 변환하는 채널변환이미지생성부;를 더 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  8. 제1항에 있어서,
    상기 객체검출부는,
    상기 다채널변환부로부터 도출된 상기 채널 이미지로부터 32x32 픽셀 이하의 사이즈의 상기 검출대상 객체를 검출하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템.
  9. 전처리 네트워크를 이용한 이미지 내 작은 객체 검출하는 방법에 있어서,
    검출대상 객체를 포함하는 원본 이미지를 획득하는 단계;
    상기 원본 이미지를 샘플링하여 전처리하는 단계;
    콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계;
    상기 채널 이미지로부터 상기 검출대상 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상하는 방법.
  10. 제9항에 있어서,
    상기 원본 이미지를 샘플링하여 전처리하는 단계는,
    상기 원본 이미지를 업 샘플링하여 상기 원본 이미지의 크기는 2배가 되고,
    업 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 단계; 및
    상기 원본 이미지를 다운 샘플링하여 상기 원본 이미지의 크기는 1/2배가 되고, 다운 샘플링된 이미지로부터 검출대상 객체의 특징맵을 얻기 위해 상기 콘볼루션 계층으로 전달하는 단계;를 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상하는 방법.
  11. 제10항에 있어서,
    상기 원본 이미지를 샘플링하여 전처리하는 단계는,
    상기 업 샘플링 혹은 다운 샘플링한 상기 검출대상 객체의 특징맵의 8개의 형상데이터를 1열로 쌓아 순차적 벡터(sequential vector)로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상하는 방법.
  12. 제11항에 있어서,
    상기 콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계는,
    상기 순차적 벡터(sequential vector)로 변환한 값을 기반으로,
    하나의 채널(one-channel) 이미지를 생성하는 단계;
    상기 하나의 채널(one-channel) 이미지를 원본 이미지와 결합하여,
    네트워크의 계층(layer)을 통과하여 4개의 채널(four-channel) 이미지를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상하는 방법.
  13. 제12항에 있어서,
    상기 콘볼루션 계층의 네트워크를 기반으로 상기 원본 이미지를 샘플링하여 전처리한 이미지를 채널 이미지로 변환하는 단계는,
    상기 콘볼루션 계층을 기반으로,
    상기 4개의 채널(four-channel) 이미지를 또 다른 좌표값을 나타내는 3개의 채널 이미지(tree-channel)로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상하는 방법.
KR1020210151354A 2021-11-05 2021-11-05 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법 KR102650701B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210151354A KR102650701B1 (ko) 2021-11-05 2021-11-05 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210151354A KR102650701B1 (ko) 2021-11-05 2021-11-05 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20230065610A true KR20230065610A (ko) 2023-05-12
KR102650701B1 KR102650701B1 (ko) 2024-03-25

Family

ID=86385711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210151354A KR102650701B1 (ko) 2021-11-05 2021-11-05 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102650701B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896357B1 (ko) 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램
KR20210049655A (ko) * 2019-10-25 2021-05-06 네이버 주식회사 특징맵 생성방법 및 특징맵 생성장치
KR20210119672A (ko) 2020-03-25 2021-10-06 한국전자통신연구원 객체 검출 방법 및 장치
KR102319468B1 (ko) * 2020-11-23 2021-10-29 주식회사 핀텔 딥 러닝 기반 객체 검출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896357B1 (ko) 2018-02-08 2018-09-07 주식회사 라디코 객체를 검출하는 방법, 디바이스 및 프로그램
KR20210049655A (ko) * 2019-10-25 2021-05-06 네이버 주식회사 특징맵 생성방법 및 특징맵 생성장치
KR20210119672A (ko) 2020-03-25 2021-10-06 한국전자통신연구원 객체 검출 방법 및 장치
KR102319468B1 (ko) * 2020-11-23 2021-10-29 주식회사 핀텔 딥 러닝 기반 객체 검출 방법 및 장치

Also Published As

Publication number Publication date
KR102650701B1 (ko) 2024-03-25

Similar Documents

Publication Publication Date Title
US20230045519A1 (en) Target Detection Method and Apparatus
CN110992271B (zh) 图像处理方法、路径规划方法、装置、设备及存储介质
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN110781744A (zh) 一种基于多层次特征融合的小尺度行人检测方法
CN110188802B (zh) 基于多层特征图融合的ssd目标检测算法
CN114241274B (zh) 一种基于超分辨率多尺度特征融合的小目标检测方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN117475216A (zh) 一种基于aglt网络的高光谱与激光雷达数据融合分类方法
CN114373226A (zh) 手术室场景下基于改进HRNet网络的人体姿态估计方法
CN113297956A (zh) 一种基于视觉的手势识别方法及系统
US20240095927A1 (en) Segmentation Models Having Improved Strong Mask Generalization
KR102650701B1 (ko) 전처리 네트워크를 이용한 이미지 내 작은 객체 검출률 향상 시스템 및 방법
CN116597203A (zh) 一种基于知识蒸馏的非对称自编码器的异常检测方法
CN115100409B (zh) 一种基于孪生网络的视频人像分割算法
CN110688918A (zh) 基于长时增强特征增强及稀疏动态采样的快速行为检测方法
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN115797684A (zh) 一种基于上下文信息的红外小目标检测方法及系统
CN113780305B (zh) 一种基于两种线索交互的显著性目标检测方法
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
Brahmankar et al. Indian sign language recognition using canny edge detection
Shane et al. Sign Language Detection Using Faster RCNN Resnet
CN112926662B (zh) 一种基于多尺度语言嵌入rec的目标检测方法
Kaushik et al. A Survey of Approaches for Sign Language Recognition System
CN117635628B (zh) 一种基于上下文注意力和边界感知引导的海陆分割方法
KR20200135044A (ko) 영상 변환을 이용한 머신러닝 기반 결함 분류 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant