KR102525725B1 - 고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치 - Google Patents

고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR102525725B1
KR102525725B1 KR1020220156412A KR20220156412A KR102525725B1 KR 102525725 B1 KR102525725 B1 KR 102525725B1 KR 1020220156412 A KR1020220156412 A KR 1020220156412A KR 20220156412 A KR20220156412 A KR 20220156412A KR 102525725 B1 KR102525725 B1 KR 102525725B1
Authority
KR
South Korea
Prior art keywords
tiles
tile
image
normal
auxiliary
Prior art date
Application number
KR1020220156412A
Other languages
English (en)
Inventor
이주현
문귀환
Original Assignee
옴니스랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옴니스랩스 주식회사 filed Critical 옴니스랩스 주식회사
Application granted granted Critical
Publication of KR102525725B1 publication Critical patent/KR102525725B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 이미지에서 객체를 탐지하는 방법은 이미지 객체 탐지 장치가 입력된 이미지를 필요에 따라 복수의 타일로 분할하는 단계, 이미지 객체 탐지 장치가 복수의 타일을 기반으로 제1 객체를 탐지하는 단계와 이미지 객체 탐지 장치가 상기 복수의 타일을 머지(merge)하여 제1 객체 중 중복 객체를 제거하거나 탐지되지 못한 객체들을 추가 탐지하여 최종 객체를 결정하는 단계를 포함할 수 있다.

Description

고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치 {Method for finding objects from high resolution images and apparatus for performing the method}
본 발명은 고해상도 이미지에서 객체를 탐지(Detect)하거나 추출(Segment)하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.(이하 탐지라 통칭) 보다 구체적으로 고해상도 이미지에 대한 처리를 통해 고해상도 이미지 내에 존재하는 객체를 보다 빠르고 정확하게 탐지하기 위한 고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.
최근 딥러닝(Deep Learning) 기술의 발전으로 이미지를 소프트웨어로 분석하는 연구가 활발하게 수행되고 있다. 딥러닝은 여러 층(Layer)을 쌓은 신경망 모델을 이용하여 층을 지날 때마다 이미지에 내재한 특성을 발견하고 의미를 표현하는 기계학습 알고리즘이다.
이미지를 인식하는 딥러닝 기술은 소셜미디어에서의 얼굴 인식, 자율주행에서의 물체 인식, 위성사진 분석, 식물의 질병 탐지, 그리고 암세포 발견 등 여러 전문 산업 분야에서 다양한 방식으로 활용되고 있다. 기술적 측면에서 이미지 분석 기술은 이미지 분류(Image Classification), 객체 탐지(Object Detection), 세그멘테이션(Segmentaion), 사물 추적(Object Tracking), 그리고 Event Detection 등 여러 분야로 세분화되어 추가연구가 활발하게 이루어지고 있다.
또한, 딥러닝 모델이 분석하고자 하는 이미지나 동영상이 고해상도의 이미지일 경우, 현존하는 딥러닝 모델로 이를 분석할 수가 없고, 용량의 이슈로 이미지 데이터 처리 자체가 어려워서 고해상도 이미지 상에서 객체를 탐지하는 기술에 대한 연구 개발이 필요하다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 이미지(특히, 고해상도, 고용량 이미지)를 분할하여 이미지 상에 존재하는 객체를 빠르게 탐지하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 이미지(특히, 고해상도 이미지)를 분할하여 객체를 탐지할 경우, 이미지의 분할로 인해 제대로 탐지하지 못하게 되는 객체나 분할 과정에서 중복으로 찾게 된 객체를 제거하여 최종적으로 최종 객체를 빠르고 정확하게 탐지하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 이미지에서 객체를 탐지하는 방법은 이미지 객체 탐지 장치가 입력된 이미지를 필요에 따라 복수의 타일로 분할하는 단계, 이미지 객체 탐지 장치가 상기 복수의 타일을 기반으로 타겟 객체인 제1 객체를 탐지하는 단계와 이미지 객체 탐지 장치가 상기 복수의 타일을 머지(merge)하여 상기 제1 객체 중 중복 객체를 제거하거나 탐지되지 못한 객체들을 추가 탐지하여 최종 객체를 결정하는 단계를 포함할 수 있다.
한편, 상기 복수의 타일은 복수의 일반 타일과 복수의 보조 타일을 포함하고, 상기 중복 객체는 상기 복수의 타일 중 둘 이상의 타일에서 중복되어 인식된 객체일 수 있다.
또한, 상기 복수의 일반 타일은 이미지의 전 영역을 분할하여 생성된 타일이고, 상기 복수의 보조 타일은 상기 복수의 일반 타일의 경계선의 일부 혹은 전부를 내부에 포함하여 상기 이미지를 분할한 타일일 수 있다.
본 발명의 다른 실시예에 따르면, 이미지에서 객체를 탐지하는 이미지 객체 탐지 장치는 입력된 상기 이미지를 복수의 타일로 분할하고, 상기 복수의 타일을 기반으로 타겟 객체인 제1 객체를 탐지하고, 상기 복수의 타일을 머지(merge)하여 상기 제1 객체 중 중복 객체를 제거하거나 탐지되지 못한 객체들을 추가 탐지하여 최종 객체를 결정하도록 구현될 수 있다.
한편, 상기 복수의 타일은 복수의 일반 타일과 복수의 보조 타일을 포함하고, 상기 중복 객체는 상기 복수의 타일 중 둘 이상의 타일에서 중복되어 인식된 객체일 수 있다.
또한, 상기 복수의 일반 타일은 이미지의 전 영역을 분할하여 생성된 타일이고, 상기 복수의 보조 타일은 상기 복수의 일반 타일의 경계선의 일부 혹은 전부를 내부에 포함하여 상기 이미지를 분할한 타일일 수 있다.
본 발명에 의하면, 이미지(특히, 고해상도 이미지)를 분할하여 이미지 상에 존재하는 객체가 빠르게 탐지될 수 있다.
본 발명에 의하면, 이미지(특히, 고해상도 이미지)를 분할하여 객체를 탐지할 경우, 이미지의 분할로 인해 중복 탐지된 객체를 제거되고 탐지되지 못한 객체도 탐지하여, 최종적으로 최종 객체가 중복되지 않고 정확하게 탐지될 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 객체 탐지 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 제1 객체 탐지부의 추론 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 타일 분할부의 동작을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 제1 객체 탐지부의 타겟 객체 탐지 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 타일 머지부의 타일 머지 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 제2 객체 탐지부의 중복 탐지 객체를 처리하는 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예에서 개시된 이미지에서 객체를 탐지하는 방법은 고해상도뿐만 아니라 해상도에 상관없이 모든 이미지에 적용될 수 있고, 이러한 실시예도 본 발명의 권리 범위에 포함될 수 있다.
도 1은 본 발명의 실시예에 따른 이미지 객체 탐지 장치를 나타낸 개념도이다.
도 1에서는 이미지 상에 존재하는 타겟 객체를 탐지하기 위한 이미지 객체 탐지 장치가 개시된다.
도 1을 참조하면, 이미지 객체 탐지 장치는 이미지 입력부(110), 타일 분할부(120), 제1 객체 탐지부(130), 타일 머지부(140), 제2 객체 탐지부(150) 및 프로세서를 포함할 수 있다.
이미지 입력부(110)는 타겟 객체에 대한 탐지를 수행하기 위한 이미지를 수신하기 위해 구현될 수 있다. 타겟 객체는 객체 탐지부에 의해 탐지의 대상이 되는 객체일 수 있다.
타일 분할부(120)는 입력된 이미지를 분할하기 위해 구현될 수 있다. 타일 분할부(120)는 원본 이미지의 크기(또는 해상도)에 따라 원본 이미지를 분할할 수 있다. 타일 분할부(120)에 의해 분할된 이미지의 단위는 타일이라는 용어로 표현될 수 있다. 즉, 이미지는 복수의 타일로 분할될 수 있다. 본 발명의 실시예에 따르면, 타일 분할부(120)는 이미지의 분할을 통해 2가지 타입의 타일(일반 타일, 보조 타일)을 생성할 수 있다. 일반 타일은 1차적으로 이미지의 전 영역을 분할하여 생성된 타일이다. 분할 알고리즘에 따라 입력 이미지는 복수의 일반 타일로 분할될 수 있다. 보조 타일은 일반 타일의 분할을 위해 사용된 경계선을 포함하여 분할된 타일이다. 복수의 보조 타일 각각은 일반 타일의 분할을 위해 사용된 일반 타일 경계선을 경계선으로 가지지 않도록, 일반 타일의 경계선을 내부에 포함하여 이미지를 분할한 타일일 수 있다.
일반 타일과 보조 타일을 기반으로 일반 타일 상에서 타겟 객체가 경계선에 의해 나뉘어져 일반 타일 상에서 나뉘어진 타겟 객체에 대한 정확한 탐지가 불가능한 경우에도 보조 타일을 기반으로 한 정확한 타겟 객체 탐지가 가능하다.
타일 분할부(120)에 의해 생성되는 일반 타일은 중복되는 영역이 없이 분할될 수 있으나 타일 분할부(120)에 의해 생성되는 보조 타일은 중복되는 영역을 가지고 생성될 수 있다. 즉, 하나의 이미지를 분할시 일반 타일 간의 중복 영역은 발생하지 않을 수 있으나, 보조 타일 간의 중복 영역은 발생될 수 있다.
타일 분할부(120)는 일반 타일과 보조 타일 각각에 대한 타일 데이터를 생성하고 관리할 수 있다. 타일 데이터는 타일을 추후에 병합하여 타겟 객체를 탐지하기 위한 데이터로서 타일의 크기, 타일 위치, 타일 식별자 정보 등을 포함할 수 있다.
타일 분할부(120)는 처리 속도를 높이기 위해 이미지 내 타일 구역을 나눠 여러 프로세스 혹은 노드에서 동시에 타일로 분리하는 병렬 처리 기법을 기반으로 동작할 수 있다.
타일 분할부(120)는 타겟 객체가 타일보다 작도록 이미지의 해상도를 리사이징하여 타일을 생성할 수도 있다. 즉, 타일 분할부(120)는 타겟 객체가 일반 타일 또는 보조 타일 중 적어도 하나의 타일에 포함되도록 타일을 생성할 수 있다.
제1 객체 탐지부(130)는 복수의 타일 각각 상에서 존재하는 타겟 객체를 탐지하기 위해 구현될 수 있다. 제1 객체 탐지부(130)는 타겟 객체를 찾을 수 있는 객체 탐지 모델일 수 있다. 제1 객체 탐지부(130)는 복수의 타일 상에서 타겟 객체를 탐지할 수 있다. 제1 객체 탐지부(130)는 병렬적인 처리를 통해 동시에 복수의 타일 상에서 타겟 객체를 탐지할 수도 있다.
제1 객체 탐지부(130)는 일반 타일 및 보조 타일 상에서 타겟 객체를 탐지할 수 있다. 일반 타일 및 보조 타일 상의 영역 중복으로 인해 타겟 객체가 중복적으로 탐지될 수 있다. 또는 보조 타일은 일반 타일과 다르게 영역이 중복되게 생성될 수 있고, 보조 타일 간의 영역 중복으로 인해 타겟 객체가 중복적으로 탐지될 수도 있다.
타겟 객체의 중복은 제1 타입 중복(일반 타일 미탐지/보조 타일 중복 탐지), 제2 타입 중복(부분/전체 탐지), 제3 타입 중복(전체/전체 탐지)이 발생되는 경우 발생될 수 있다.
제1 타입 중복은 일반 타일에서는 타겟 객체를 탐지하지 못하고, 보조 타일에서 중복적으로 타겟 객체를 탐지하여 타겟 객체에 대한 중복 탐지가 발생한 경우이다.
제2 타입 중복은 보조 타일 또는 일반 타일 중 하나에서 타겟 객체의 부분을 탐지하고, 나머지 하나에서 타겟 객체의 전부를 탐지하여 중복 탐지가 발생한 경우이다.
제3 타입 중복은 보조 타일 또는 일반 타일에서 모두 타겟 객체의 전부를 탐지하여 중복 탐지가 발생한 경우이다.
제1 객체 탐지부(130)에 의해 탐지된 타겟 객체는 제1 객체라는 용어로 표현될 수 있다. 제1 객체는 타겟 객체의 중복 탐지로 인해 중복 탐지 객체를 포함할 수 있다.
타일 머지부(140)는 타일을 머지하기 위해 구현될 수 있다. 타일 머지부(140)는 제1 객체 탐지부에서 인식된 제1 객체 중 중복적으로 탐지된 중복 탐지 객체를 처리하기 위해 타일을 머지(merge)할 수 있다.
제2 객체 탐지부(150)는 타일 머지부(140)에 의해 머지된 타일을 기반으로 제1 객체 중 중복 탐지 객체를 제거하거나 일반 타일에서 탐지되지 못한 객체를 최종 탐지 결과에 포함하기 위해 구현될 수 있다. 제2 객체 탐지부(150)는 제1 타입 중복, 제2 타입 중복 및 제3 타입 중복에 의해 발생된 중복 탐지 객체를 제거하고 최종적으로 인식된 최종 인식 객체를 결정할 수 있다.
또한, 제2 객체 탐지부는 복수의 타일을 머지(merge)하여 제1 객체 중 중복 탐지 객체를 제거하여 최종 탐지 객체를 결정할 수 있다.
제 2 객체 탐지부는 머지가 일어나는 도중에 실행될 수도 있고, 머지가 끝난 이후 실행될 수도 있다. 또한 머지가 일어나는 도중에 파이프라인 형태로 동시에 제 2 객체 탐지부와 타일 머지부가 실행될 수도 있다.
즉, 이미지 객체 탐지 장치가 입력된 이미지를 필요에 따라 복수의 타일로 분할하고, 이미지 객체 탐지 장치가 복수의 타일을 기반으로 타겟 객체로서 설정된 제1 객체를 탐지할 수 있다. 이후, 이미지 객체 탐지 장치가 복수의 타일을 머지(merge)하여 제1 객체 중 중복 탐지 객체를 제거하거나 탐지되지 못한 객체들을 추가 탐지하여 최종 탐지 객체를 결정할 수 있다. 제1 객체 중 중복 탐지 객체를 제거하거나 일반 타일에서 탐지되지 못한 객체들을 제 1 객체 탐지부에서 활용한 중복 타일을 활용하여 추가 탐지하여 최종 탐지 객체를 결정하는 절차는 제 2 객체 탐지부에 의해 수행되고, 제2 객체 탐지부의 동작은 후술된다.
프로세서(160)는 이미지 입력부(110), 타일 분할부(120), 제1 객체 탐지부(130), 타일 머지부(140), 제2 객체 탐지부(150)의 동작을 제어하기 위해 구현될 수 있다.
즉, 본 발명의 실시예에 따른 이미지에서 객체를 탐지하는 이미지 객체 탐지 장치는 입력된 이미지를 복수의 타일로 분할하고 복수의 타일을 기반으로 타겟 객체인 제1 객체를 탐지하고, 복수의 타일을 머지(merge)하여 제1 객체 중 중복 객체를 제거하거나 탐지되지 못한 객체들을 추가 탐지하여 최종 객체를 결정하도록 구현될 수 있다.
복수의 타일은 복수의 일반 타일과 복수의 보조 타일을 포함하고, 중복 객체는 복수의 타일 중 둘 이상의 타일에서 중복되어 인식된 객체일 수 있다.
복수의 일반 타일은 이미지의 전 영역을 분할하여 생성된 타일이고, 복수의 보조 타일은 복수의 일반 타일의 경계선의 일부 혹은 전부를 내부에 포함하여 이미지를 분할한 타일일 수 있다.
도 2는 본 발명의 실시예에 따른 제1 객체 탐지부의 추론 동작을 나타낸 개념도이다.
도 2에서는 제1 객체 탐지부가 이미지에 대한 객체 인식을 하기 위한 추론을 수행하는 동작이 개시된다.
도 2를 참조하면, 제1 객체 탐지부(200)는 타일을 기반으로 객체 인식을 수행할 수 있다. 예를 들어, 제1 객체 탐지부(200)는 이미지를 분할한 복수의 타일을 데이터로서 수신하고, 복수의 타일에 대한 추론을 통해 타일 상에 존재하는 타겟 객체를 탐지할 수 있다.
제1 객체 탐지부(200)는 탐지의 타겟이 되는 타겟 객체에 대해 하나의 객체가 복수로 분할되어 타일 상에 존재하는 경우에도 타일 상에 위치한 타겟 객체의 부분을 기초로 객체에 대한 탐지가 가능하도록 학습될 수도 있다.
제1 객체 탐지부(200)는 추론을 수행시 하나의 이미지를 복수의 일반 타일과 복수의 보조 타일로 분할하여 타겟 객체를 탐지할 수 있도록 하는 제1 추론 방법, 하나의 이미지에 대한 복수의 일반 타일과 복수의 보조 타일로의 분할없이 객체를 포함하는 다양한 이미지에 대한 제2 추론 방법을 선택적으로 또는 동시에 사용할 수 있다.
도 3은 본 발명의 실시예에 따른 타일 분할부의 동작을 나타낸 개념도이다.
도 3에서는 타일 분할부에서 일반 타일과 보조 타일을 생성하는 방법이 개시된다.
도 3의 좌측 참조하면, 일반 타일(300)은 이미지 전체 영역을 분할하여 생성된 타일로서 분할 알고리즘에 따라 입력된 이미지가 4개로 분할된 예시이다.
일반 타일(300) 상에서 객체가 일반 타일 경계선(320)에 의해 나뉘어지는 경우, 일반 타일(300) 상에서 나뉘어진 타겟 객체에 대한 정확한 탐지가 불가능할 수 있다.
따라서, 본 발명에서는 타겟 객체에 대한 정확한 탐지를 위해 일반 타일(300)의 분할을 위해 사용된 일반 타일 경계선(320)을 포함하도록 보조 타일(350)이 결정될 수 있다. 보조 타일(350)은 일반 타일(300)의 분할을 위한 일반 타일 경계선(320)을 경계선으로 가지지 않는 분할 이미지일 수 있다. 즉, 일반 타일(300)에 의해 분할되어 인식되지 못한 타겟 객체는 보조 타일(350)을 기반으로 인식될 수 있다.
도 3의 우측을 참조하면, 이미지는 일반 타일(300)의 경계선을 포함하는 영역으로서 5개의 보조 타일로 분할될 수 있다. 보조 타일은 중첩되게 생성될 수도 있고, 또 다른 표현으로 보조 타일은 일반 타일의 경계선을 경계선으로 하지 않은 타일일 수 있다. 또 다른 표현으로 복수의 보조 타일은 복수의 일반 타일의 경계선의 일부 혹은 전부를 내부에 포함하여 생성될 수 있다.
이미지의 해상도가 더욱 커져서, 더 많은 타일로 이미지를 분할해야 할 경우에는 더 많은 일반 타일과 보조 타일이 생성된다. 또한, 경우에 따라 이미지의 해상도가 특정 방향으로만 길거나 짧을 경우 더 적은 양의 보조 타일과 일반 타일이 생성될 수도 있다.
도 4는 본 발명의 실시예에 따른 제1 객체 탐지부의 타겟 객체 탐지 동작을 나타낸 개념도이다.
도 4에서는 제1 객체 탐지부가 일반 타일과 보조 타일 상에서 타겟 객체를 탐지하기 위한 동작이 개시된다.
도 4의 상단을 참조하면, 하나의 이미지를 기반으로 생성된 복수의 일반 타일(410)과 복수의 보조 타일(420) 각각은 제1 객체 탐지부(400)로 입력되고, 복수의 일반 타일(410)과 복수의 보조 타일(420) 각각 상에서 타겟 객체에 대한 인식이 수행될 수 있다.
복수의 일반 타일(410) 및 복수의 보조 타일(420)은 제1 객체 탐지부(400) 상에서 병렬적으로 처리되어 병렬적인 타겟 객체 탐지가 수행될 수 있다.
도 4의 하단에서, 부분적 탐지가 발생되는 하나의 예시가 도시된다.
타일의 크기가 타겟 객체의 크기보다 크다고 가정하면, 하나의 타겟 객체가 복수개의 일반 타일에 부분적으로 포함된 경우에는 해당 타겟 객체가 일반 타일들에서는 일부만 탐지된 것이라서 이러한 경우에는 보조 타일에서 타겟 객체가 탐지될 수 있다.
예를 들어, 객체 상을 지나는 경계선에 의하여 일반 타일 A(460)와 일반 타일 B(470)으로 분할되고, 일반 타일의 경계선을 내부에 포함하여 보조 타일 C(480)가 분할된 경우, 일반 타일 A(460)와 일반 타일 B(470)은 타겟 객체의 일부만 포함한다. 보조 타일C(480)와 일반 타일A(460)를 비교했을 때 일반 타일 A(460)가 타겟 객체를 인식하지 못하고, 보조 타일C(480)와 일반 타일 B(470)를 비교했을 때 일반 타일 B(460)가 타겟 객체를 부분적으로 인식하거나 일반 타일 B에서 아예 객체의 일부를 탐지하지 못할 수도 있다. 결과적으로 보조 타일C(480)를 통해 타겟 객체가 인식된다.
또는 일반 타일(410)과 보조 타일(420)(또는 보조 타일과 다른 보조 타일)은 이미지 상에서 중복 영역을 가지고, 중복 탐지 객체가 발생될 수 있다.
중복 탐지 객체를 처리하기 위해 타일 머지부에 의한 타일 머지 및 제2 객체 탐지부에 의한 중복 객체 탐지를 통한 중복 객체 제거가 수행되어 최종 객체 탐지가 결정될 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 일반 타일과 보조 타일 간의 중복 영역으로 인해 중복 탐지 객체가 발생되는 경우와 부분적 탐지 혹은 일반 타일에서는 탐지되지 못한 객체를 보조타일에서 탐지하여 최종 탐지 객체를 정하는 과정을 설명한다. 하지만, 보조 타일과 보조 타일 간의 중복이 발생된 경우에도 아래의 제2 객체 탐지부의 중복 탐지 객체를 결정하는 절차를 통해 중복 탐지 객체가 처리될 수 있다.
도 5는 본 발명의 실시예에 따른 타일 머지부의 타일 머지 동작을 나타낸 개념도이다.
도 5에서는 타일 머지부에 의한 타일 머지 동작이 개시된다.
도 5를 참조하면, 타일 머지 동작은 분할된 일반 타일 및 분할된 보조 타일을 합치는 동작이다.
타일 머지부(500)에 의해 타일 머지가 수행되는 경우, 타일 데이터(520)를 기반으로 분할된 일반 타일에 대한 머지 및 분할된 보조 타일에 대한 머지가 수행될 수 있다. 전술한 바와 같이 타일 데이터(520)는 타일을 추후에 머지하여 객체 인식을 하기 위한 데이터로서 타일의 크기, 타일 위치, 타일 식별자 정보 등을 포함할 수 있다. 또한, 타일 머지부는 제 2 객체 탐지부와 상호 작용하면서, 동시에 실행될 수 있다.
도 6은 본 발명의 실시예에 따른 제2 객체 탐지부의 중복 탐지 객체를 처리하는 방법을 나타낸 개념도이다.
도 6에서는 제2 객체 탐지부의 중복 탐지 객체 처리 방법이 개시된다.
도 6을 참조하면, 제2 객체 탐지부가 머지된 타일들을 기반으로 제1 타입 중복, 제2 타입 중복 또는 제3 타입 중복이 발생하였는지를 판단하고, 중복 탐지 객체를 처리할 수 있다.
(1) 제1 타입 중복(일반 타일 미탐지/보조 타일 중복 탐지)
도 6의 상단과 같이 제1 타입 중복은 일반 타일에서는 타겟 객체를 탐지하지 못하였으나, 보조 타일(610, 620)에서 타겟 객체를 중복적으로 인식하는 경우이다. 이러한 경우, 보조 타일1 내지 보조 타일n에서 타겟 객체가 중복적으로 인식되게 된다.
따라서, 중복 탐지 객체의 제거를 위해 보조타일1 내지 보조타일n에서 타겟 객체가 인식되고, 보조타일1 내지 보조타일n 중 여러 타일에서 인식된 객체 중, 다른 객체들과 겹치는 면적을 가장 많이 포함하고 가장 크기가 큰 객체 하나를 최종 객체로 정할 수 있다.
(2) 제2 타입 중복(부분/전체 탐지 결과)
도 6의 중단과 같이 부분/전체 탐지 결과는 보조 타일(640) 또는 일반 타일(630) 중 하나가 타겟 객체의 부분을 포함하고, 나머지 하나가 타겟 객체의 전부를 포함하는 경우이다.
이러한 경우, 일반 타일(630)과 보조 타일(640) 각각에서 추론된 객체들의 겹치는 면적과 일반 타일(630)과 보조 타일(640)에서 탐지된 객체 중 하나가 다른 타일에서 탐지된 객체에 포함되는 면적을 기반으로 특정 임계값 이상인 경우, 일반 타일(630)에서 인식된 타겟 객체 또는 보조 타일(640)에서 인식된 타겟 객체 중 하나만이 최종 객체로 인식된다. 그리고, 일반적으로 최종 객체의 면적은 가장 크다.
(3) 제3 타입 중복(전체/전체 탐지 결과)
도 6의 하단과 같이 전체/전체 탐지 결과는 보조 타일(660) 또는 일반 타일(650)이 모두 타겟 객체의 전부를 포함하는 경우이다.
이러한 경우, 일반 타일(650)과 보조 타일(660)에서 인식된 타겟 객체 중 하나만이 최종 객체로 인식된다. 예를 들어, 일반 타일과 보조 타일 각각에서 인식된 객체의 탐지 면적이 특정 임계값 이하의 차이만 날 경우, 가장 면적이 큰 객체 탐지 결과 하나만이 최종 객체로 결정된다.
제2 객체 탐지부가 머지된 타일을 기반으로 제1 타입 탐지, 제2 타입 탐지, 제3 타입 탐지가 발생하였는지를 결정하는 절차는 병렬적으로 수행될 수 있고, 타일 데이터를 기반으로 타일들 간에 중복된 영역에서만 중복 탐지 객체에 대한 제거 절차가 수행될 수 있다.
또한, 제2 객체 탐지부는 머지를 통해 제1 객체 탐지부에서 탐지하지 못한 새로운 객체에 대한 탐지도 수행할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 이미지에서 객체를 탐지하는 방법은,
    이미지 객체 탐지 장치가 입력된 이미지를 필요에 따라 복수의 타일로 분할하는 단계;
    상기 이미지 객체 탐지 장치가 상기 복수의 타일을 기반으로 타겟 객체인 제1 객체를 탐지하는 단계; 및
    상기 이미지 객체 탐지 장치가 상기 복수의 타일을 머지(merge)하여 상기 제1 객체 중 중복 객체를 제거하거나 탐지되지 못한 객체들을 추가 탐지하여 최종 객체를 결정하는 단계를 포함하고,
    상기 복수의 타일은 복수의 일반 타일과 복수의 보조 타일을 포함하고,
    상기 중복 객체는 상기 복수의 타일 중 둘 이상의 타일에서 중복되어 인식된 객체이고,
    상기 복수의 일반 타일은 이미지의 전 영역을 분할하여 생성된 타일이고,
    상기 복수의 보조 타일은 상기 복수의 일반 타일의 경계선의 일부 혹은 전부를 내부에 포함하여 상기 이미지를 분할한 타일인 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 중복 객체는 제1 타입 중복, 제2 타입 중복 또는 제3 타입 중복을 기반으로 인식되고,
    상기 제1 타입 중복은 상기 일반 타일에서는 상기 타겟 객체를 탐지하지 못하였으나, 상기 보조 타일에서 상기 타겟 객체를 중복적으로 인식하는 경우이고,
    상기 제2 타입 중복은 상기 보조 타일 또는 상기 일반 타일 중 하나가 상기타겟 객체의 부분을 포함하고, 나머지 하나가 상기 타겟 객체의 전부를 포함하여 중복 인식하는 경우이고,
    상기 제3 타입 중복은 상기 보조 타일 및 상기 일반 타일이 모두 상기 타겟 객체의 전부를 포함하는 경우인 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    이미지 객체 탐지 장치는 상기 타겟 객체가 타일보다 작도록 이미지의 해상도를 리사이징하여 타일을 생성하는 것을 특징으로 하는 방법.
  4. 이미지에서 객체를 탐지하는 이미지 객체 탐지 장치는,
    입력된 상기 이미지를 복수의 타일로 분할하고,
    상기 복수의 타일을 기반으로 타겟 객체인 제1 객체를 탐지하고,
    상기 복수의 타일을 머지(merge)하여 상기 제1 객체 중 중복 객체를 제거하거나 탐지되지 못한 객체들을 추가 탐지하여 최종 객체를 결정하도록 구현되고,
    상기 복수의 타일은 복수의 일반 타일과 복수의 보조 타일을 포함하고,
    상기 중복 객체는 상기 복수의 타일 중 둘 이상의 타일에서 중복되어 인식된 객체이고,
    상기 복수의 일반 타일은 이미지의 전 영역을 분할하여 생성된 타일이고,
    상기 복수의 보조 타일은 상기 복수의 일반 타일의 경계선의 일부 혹은 전부를 내부에 포함하여 상기 이미지를 분할한 타일인 것을 특징으로 하는 이미지 객체 탐지 장치.
  5. 제4항에 있어서,
    상기 중복 객체는 제1 타입 중복, 제2 타입 중복 또는 제3 타입 중복을 기반으로 인식되고,
    상기 제1 타입 중복은 상기 일반 타일에서는 상기 타겟 객체를 탐지하지 못하였으나, 상기 보조 타일에서 상기 타겟 객체를 중복적으로 인식하는 경우이고,
    상기 제2 타입 중복은 상기 보조 타일 또는 상기 일반 타일 중 하나가 상기타겟 객체의 부분을 포함하고, 나머지 하나가 상기 타겟 객체의 전부를 포함하여 중복 인식하는 경우이고,
    상기 제3 타입 중복은 상기 보조 타일 및 상기 일반 타일이 모두 상기 타겟 객체의 전부를 포함하는 경우인 것을 특징으로 하는 이미지 객체 탐지 장치.
  6. 제5항에 있어서,
    이미지 객체 탐지 장치는 상기 타겟 객체가 타일보다 작도록 이미지의 해상도를 리사이징하여 타일을 생성하는 것을 특징으로 하는 이미지 객체 탐지 장치.
KR1020220156412A 2022-09-30 2022-11-21 고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치 KR102525725B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220125280 2022-09-30
KR1020220125280 2022-09-30

Publications (1)

Publication Number Publication Date
KR102525725B1 true KR102525725B1 (ko) 2023-05-02

Family

ID=86387510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220156412A KR102525725B1 (ko) 2022-09-30 2022-11-21 고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치

Country Status (1)

Country Link
KR (1) KR102525725B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180107988A (ko) * 2017-03-23 2018-10-04 한국전자통신연구원 객체 탐지 장치 및 방법
KR102168724B1 (ko) * 2020-04-06 2020-10-22 이교혁 이미지 검사를 이용한 이상 판별 방법 및 장치
KR20210050771A (ko) * 2019-10-29 2021-05-10 삼성에스디에스 주식회사 이미지 기반의 사용자 인터페이스 객체 탐지 시스템 및 방법
KR20210107551A (ko) * 2020-02-24 2021-09-01 고려대학교 산학협력단 객체 탐지 장치 및 방법
KR20220040035A (ko) * 2020-09-23 2022-03-30 주식회사 포스코아이씨티 로봇 프로세스 자동화를 위한 이미지 기반의 객체탐지 시스템
KR102437962B1 (ko) * 2022-03-22 2022-08-30 주식회사 스누아이랩 회귀 스케일 인식 교차 도메인 객체 탐지 장치 및 그 장치의 구동방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180107988A (ko) * 2017-03-23 2018-10-04 한국전자통신연구원 객체 탐지 장치 및 방법
KR20210050771A (ko) * 2019-10-29 2021-05-10 삼성에스디에스 주식회사 이미지 기반의 사용자 인터페이스 객체 탐지 시스템 및 방법
KR20210107551A (ko) * 2020-02-24 2021-09-01 고려대학교 산학협력단 객체 탐지 장치 및 방법
KR102168724B1 (ko) * 2020-04-06 2020-10-22 이교혁 이미지 검사를 이용한 이상 판별 방법 및 장치
KR20220040035A (ko) * 2020-09-23 2022-03-30 주식회사 포스코아이씨티 로봇 프로세스 자동화를 위한 이미지 기반의 객체탐지 시스템
KR102437962B1 (ko) * 2022-03-22 2022-08-30 주식회사 스누아이랩 회귀 스케일 인식 교차 도메인 객체 탐지 장치 및 그 장치의 구동방법

Similar Documents

Publication Publication Date Title
JP6710135B2 (ja) 細胞画像の自動分析方法及びシステム
Zheng et al. A defect detection method for rail surface and fasteners based on deep convolutional neural network
An et al. Multitarget tracking using Siamese neural networks
KR102585216B1 (ko) 영상 인식 방법 및 그 장치
US20230115606A1 (en) Method and apparatus for tracking target
CN112329505A (zh) 用于检测对象的方法和装置
US11429806B2 (en) Devices, systems, and methods for anomaly detection
KR102655789B1 (ko) 얼굴 검출 방법 및 장치
Yu et al. Unsupervised pixel-level road defect detection via adversarial image-to-frequency transform
Yuan et al. Em-net: Centerline-aware mitochondria segmentation in em images via hierarchical view-ensemble convolutional network
Park et al. Novel industrial surface-defect detection using deep nested convolutional network with attention and guidance modules
CN117409003B (zh) 一种用于铁轨减震扣件的垫板的检测方法
KR102525725B1 (ko) 고해상도 이미지에서 객체를 탐지하는 방법 및 이러한 방법을 수행하는 장치
EP3043315A1 (en) Method and apparatus for generating superpixels for multi-view images
Buniatyan et al. Weakly supervised deep metric learning for template matching
US11715197B2 (en) Image segmentation method and device
Santamaria-Pang et al. Cell segmentation and classification via unsupervised shape ranking
Fujita et al. Fine-tuned Surface Object Detection Applying Pre-trained Mask R-CNN Models
CN113658222A (zh) 一种车辆检测跟踪方法及装置
Xiong et al. Pulmonary nodule detection based on model fusion and adaptive false positive reduction
CN116342907B (zh) 交点增强的图像间直线段匹配方法和系统
WO2024135112A1 (ja) 機械学習システム
US20220335631A1 (en) Devices, systems, and methods for anomaly detection
US10789697B2 (en) Devices, systems, and methods for spatial-neighborhood consistency in feature detection in image data
Wang et al. Learning attributions grounded in existing facts for robust visual explanation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant