KR101874471B1 - An apparatus, a method, and a computer-readable storage medium for refining object proposal - Google Patents

An apparatus, a method, and a computer-readable storage medium for refining object proposal Download PDF

Info

Publication number
KR101874471B1
KR101874471B1 KR1020160147738A KR20160147738A KR101874471B1 KR 101874471 B1 KR101874471 B1 KR 101874471B1 KR 1020160147738 A KR1020160147738 A KR 1020160147738A KR 20160147738 A KR20160147738 A KR 20160147738A KR 101874471 B1 KR101874471 B1 KR 101874471B1
Authority
KR
South Korea
Prior art keywords
object search
candidate region
search candidate
region
primary
Prior art date
Application number
KR1020160147738A
Other languages
Korean (ko)
Other versions
KR20180051000A (en
Inventor
윤국진
조대용
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160147738A priority Critical patent/KR101874471B1/en
Publication of KR20180051000A publication Critical patent/KR20180051000A/en
Application granted granted Critical
Publication of KR101874471B1 publication Critical patent/KR101874471B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 검색 후보 영역을 개선하기 위한 방법, 컴퓨터-판독가능 저장 매체 및 장치에 관한 것으로, 더 구체적으로는 객체 검색 후보 영역 및 최소 경계 상자를 반복적으로 검색하고 경계 정렬을 함으로써 입력 이미지로부터 객체가 존재할 것으로 추정되는 영역을 보다 정확하게 추정하기 위한 기법에 관한 것이다.The present invention relates to a method, a computer-readable storage medium, and an apparatus for improving an object search candidate region, and more particularly, to an object search candidate region and a minimum bounding box, To a technique for more accurately estimating an area estimated to be present.

Description

객체 검색 후보 영역을 개선하기 위한 방법, 컴퓨터-판독가능 저장 매체 및 장치{AN APPARATUS, A METHOD, AND A COMPUTER-READABLE STORAGE MEDIUM FOR REFINING OBJECT PROPOSAL}FIELD OF THE INVENTION [0001] The present invention relates to a method for improving an object search candidate region, a computer-readable storage medium, and a computer readable storage medium.

본 발명은 객체 검색 후보 영역을 개선하기 위한 방법, 컴퓨터-판독가능 저장 매체 및 장치에 관한 것으로, 더 구체적으로는 객체 검색 후보 영역 및 최소 경계 상자를 반복적으로 검색하고 경계 정렬을 함으로써 입력 이미지로부터 객체가 존재할 것으로 추정되는 영역을 보다 정확하게 추정하기 위한 기법에 관한 것이다.The present invention relates to a method, a computer-readable storage medium, and an apparatus for improving an object search candidate region, and more particularly, to an object search candidate region and a minimum bounding box, To a technique for more accurately estimating an area estimated to be present.

일반적으로 카메라에 의해 촬영된 영상(이미지) 내에서 객체(사람이나, 특정한 생물이나 물체 등)를 검출하는 것은, 주어진 영상(이미지)으로부터 객체 검색 후보 영역을 생성하고, 후보 영역 내에서 객체의 부류를 알아내는 과정에 의한다. 이 중에서 객체 검색 후보 영역을 생성하는 방법으로는, 크게 Dense sliding window 기법과 object proposal 기법으로 구분된다.Generally, detecting an object (a person, a specific creature or an object) in an image (image) photographed by a camera generates an object search candidate region from a given image (image) And the process of finding out. Among them, Dense sliding window method and object proposal method are widely used as methods for creating an object search candidate region.

전자인 Dense sliding window 기법은 해당 시스템 상에서 미리 지정된 크기와 종횡비(aspect ratio)에 따른 윈도우(window)를 이용함으로써, 서로 다른 크기와 모양인 다수의 영역에 의해 주어진 영상 전체를 탐색하는 방식이며, 후자인 object proposal 기법은 객체가 있을 것으로 추정되는 영역인 객체 검색 후보 영역을 선별적으로 제공하는 방식이다. 이러한 두 가지 방식 중 dense sliding window 기법은 많은 수의 윈도우를 탐색하여야 하기 때문에 객체 검출에 소모되는 데이터처리량이 많고 장시간 소요될 수 있기 때문에, 후자인 object proposal 기법에 의하여 객체 검색 후보 영역을 추정하면서 이에 대한 정확도를 높이고자 하는 기술적 요구가 존재한다.Dense sliding window method is a method to search the whole image given by a plurality of regions having different sizes and shapes by using a window according to a predetermined size and aspect ratio on the corresponding system, Object proposal technique is a method of selectively providing an object search candidate region, which is an area where an object is estimated to exist. Among these two methods, the dense sliding window technique requires a large number of windows to be searched. Therefore, since the data processing amount consumed for object detection can be long and it can take a long time, the latter object proposal technique estimates the object search candidate region, There is a technical need to improve accuracy.

이러한 기술적 목적을 가진 선행기술문헌 중 하나인, Y. Zhang et al. "Improving object detection with deep convolutional networks via Bayesian optimization and structured prediction," Computer Vision and Pattern Recognition, 2015, pp.249-258.에 개시된 내용에 의하면, 객체 검색 후보 영역에 대한 로컬화와 관련하여, 초기 이미지에 대하여 CNN(convolutional neural network)-기반 분류기를 반복적으로 적용하고, 지역 최적치 부근의 목표 객체를 검색하고 지역 최적치를 검색하는 과정을 반복함으로써, 검출하고자 하는 객체에 대한 영역을 감소시키는 알고리즘을 개시하고 있다. One of the prior art documents with this technical objective is Y. Zhang et al. According to the disclosure in " Improving object detection with deep convolutional networks via Bayesian optimization and structured prediction ", Computer Vision and Pattern Recognition, 2015, pp. 249-258, Based neural network (CNN) -based classifier to a target object in the vicinity of a local optimal value, and searching for a local optimum value is repeated to start an algorithm for reducing an area for an object to be detected have.

그러나 이에 의하면 특정한 객체 검출기를 사용하기 때문에 일반화하기 어렵고, 주어진 객체의 크기와 종횡비가 유지되기 때문에, 객체 위치에 따른 오차가 존재한다는 한계가 있다.However, according to this method, since it is difficult to generalize because it uses a specific object detector, and the size and the aspect ratio of a given object are maintained, there is a limit that there is an error according to the object position.

Y. Zhang et al. "Improving object detection with deep convolutional networks via Bayesian optimization and structured prediction," Computer Vision and Pattern Recognition, 2015, pp.249-258Y. Zhang et al. "Improving object detection with deep convolutional networks via Bayesian optimization and structured prediction," Computer Vision and Pattern Recognition, 2015, pp. 249-258

본 발명의 일 실시예는 전술한 기존 기술의 한계를 해결하기 위하여, 객체 검색 후보 영역 및 최소 경계 상자를 반복적으로 검색하고 경계 정렬을 함으로써 궁극적인 객체 검색 후보 영역을 개선하기 위한 기법을 제공하기 위한 것이다.An embodiment of the present invention is to provide a technique for improving the ultimate object search candidate region by repeatedly searching and aligning the object search candidate region and the minimum bounding box to solve the limitations of the above- will be.

본 발명에 따른 제1 양상에 의하면, 이미지로부터 객체를 검출하기 위한 방법이 개시된다. 상기 방법은, (a) 입력 이미지에 대하여 다수의 세그먼트화된 이미지들 중 일부를 선택함으로써 1차 객체 검색 후보 영역을 생성하는 단계; (b) 상기 1차 객체 검색 후보 영역의 넓이를 계산하는 단계; (c) 상기 1차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택하는 단계; 및 (d) 상기 1차 객체 검색 후보 영역의 넓이와 상기 하나 이상의 내부 영역들에 기반하여, 상기 1차 객체 검색 후보 영역을 2차 객체 검색 후보 영역으로 갱신하는 단계를 포함한다. 상기 (d) 단계(객체 검색 후보 영역을 갱신하는 단계)는, 상기 하나 이상의 내부 영역들에 의해 정의되는 1차 최소경계상자를 선정하는 단계; 및 상기 1차 객체 검색 후보 영역 및 상기 1차 최소경계상자 간의 변화량의 차이가 최소가 되도록 상기 1차 객체 검색 후보 영역을 상기 2차 객체 검색 후보 영역으로 갱신하는 단계를 더 포함한다.According to a first aspect of the present invention, a method for detecting an object from an image is disclosed. The method includes the steps of: (a) creating a primary object search candidate region by selecting a portion of a plurality of segmented images for an input image; (b) calculating an area of the primary object search candidate region; (c) selecting one or more inner regions associated with the primary object search candidate region; And (d) updating the primary object search candidate region to a secondary object search candidate region based on the width of the primary object search candidate region and the one or more inner regions. The step (d) (updating the object search candidate region) includes: selecting a first minimum bounding box defined by the one or more inner regions; And updating the primary object search candidate region to the secondary object search candidate region so that the difference between the primary object search candidate region and the primary minimum bounding box is minimized.

한편, 제1 양상에 의한 방법은, i차 객체 검색 후보 영역이 차순위의 객체 검색 후보 영역과 일치할 때까지, 상기 (b) 단계 내지 상기 (d) 단계가 반복적으로 수행될 수 있다(상기 i는 N 이하인 임의의 양의 정수이고, 상기 N은 상기 객체 검색 후보 영역의 최대 차수임).Meanwhile, the method according to the first aspect may repeat the steps (b) to (d) until the i-th object search candidate region coincides with the object search candidate region of the next rank Is an arbitrary positive integer that is equal to or smaller than N, and N is a maximum difference of the object search candidates.

제1 양상에 의한 방법에서, 상기 (d) 단계(객체 검색 후보 영역을 갱신하는 단계)는 구체적으로 상기 하나 이상의 내부 영역들 전부가 상기 i차 최소경계상자에 포함되는 경우, 상기 하나 이상의 내부 영역들 중 적어도 하나의 내부 영역이 상기 i차 객체 검색 후보 영역에 걸쳐 있는 경우, 및 상기 하나 이상의 내부 영역들 중 하나의 내부 영역이 제외되어야 하는 경우로 구분하여 처리될 수 있다.In the method according to the first aspect, in the step (d) (the step of updating the object search candidate region), when all of the one or more inner regions are included in the i-th minimum boundary box, A case in which at least one inner region of the at least one inner region is located over the i-th object search candidate region, and a case where one inner region of the at least one inner region is to be excluded.

먼저, 상기 하나 이상의 내부 영역들 전부가 상기 i차 최소경계상자에 포함되는 경우,

Figure 112016108794561-pat00001
에 의한 LI 지표를 사용하여 객체 검색 후보 영역이 갱신될 수 있다. First, if all of the one or more inner regions are included in the i-th minimum bounding box,
Figure 112016108794561-pat00001
The object search candidate region can be updated by using the LI indicator by the LI indicator.

두 번째로, 상기 하나 이상의 내부 영역들 중 적어도 하나의 내부 영역이 상기 i차 객체 검색 후보 영역에 걸쳐 있는 경우,

Figure 112016108794561-pat00002
에 의한 OMR 지표를 사용하여 객체 검색 후보 영역이 갱신될 수 있다.Secondly, if at least one inner region of the one or more inner regions spans the i-th object search candidate region,
Figure 112016108794561-pat00002
The object search candidate region can be updated by using the OMR index by < RTI ID = 0.0 >

세 번째로, 상기 하나 이상의 내부 영역들 중 하나의 내부 영역이 제외되어야 하는 경우,

Figure 112016108794561-pat00003
에 의한 OLR 지표를 사용하여 객체 검색 후보 영역이 갱신될 수 있다.Thirdly, if the inner area of one of the one or more inner areas should be excluded,
Figure 112016108794561-pat00003
The object search candidate region can be updated using the OLR index by the OLR index.

본 발명에 따른 제2 양상에 의하면, 이미지로부터 객체 검색 후보 영역을 개선하기 위한 컴퓨터 프로그램을 기록한 컴퓨터-판독가능 저장 매체가 개시된다. 상기 컴퓨터 프로그램은, 입력 이미지에 대하여 다수의 세그먼트화된 이미지들 중 일부를 선택함으로써 1차 객체 검색 후보 영역을 생성하기 위한 명령어; 상기 1차 객체 검색 후보 영역으로부터 순차적으로 후행 차수의 객체 검색 후보 영역으로, 현재 차수의 객체 검색 후보 영역과 다음 차수의 객체 검색 후보 영역이 일치할 때까지, 갱신하기 위한 명령어를 포함한다.According to a second aspect of the present invention, there is provided a computer-readable storage medium having recorded thereon a computer program for improving an object search candidate region from an image. The computer program comprising: instructions for generating a primary object search candidate region by selecting a portion of a plurality of segmented images for an input image; From the primary object search candidate region to the object search candidate region of the trailing order sequentially until the object search candidate region of the current order matches the object search candidate region of the next order.

제2 양상에 따른 컴퓨터 프로그램에서, 상기 갱신하기 위한 명령어는, 상기 i차 객체 검색 후보 영역의 넓이를 계산하기 위한 명령어; 상기 i차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택하기 위한 명령어; 및 상기 i차 객체 검색 후보 영역의 넓이와 상기 하나 이상의 내부 영역들에 기반하여, 상기 i차 객체 검색 후보 영역을 i+1차 객체 검색 후보 영역으로 갱신하기 위한 명령어를 더 포함할 수 있다(상기 i는 N 이하인 임의의 양의 정수이고, 상기 N은 상기 객체 검색 후보 영역의 최대 차수임)In the computer program according to the second aspect, the instruction for updating includes: an instruction for calculating an area of the i-th object search candidate region; Selecting one or more inner regions associated with the i-th object search candidate region; And an instruction to update the i-th object search candidate region to an i + 1-th object search candidate region based on the width of the i-th object search candidate region and the one or more inner regions i is any positive integer equal to or less than N, and N is a maximum difference number of the object search candidate region)

본 발명에 따른 제3 양상에 의하면, 객체 검색 후보 영역을 개선하기 위한 장치가 개시된다. 상기 장치는, 입력 이미지에 대하여 다수의 세그먼트화된 이미지들 중 일부를 선택함으로써 1차 객체 검색 후보 영역을 선택하기 위한 1차 객체 검색 후보 영역 생성 모듈; 및 상기 1차 객체 검색 후보 영역으로부터 순차적으로 후행 차수의 객체 검색 후보 영역으로, 현재 차수의 객체 검색 후보 영역과 다음 차수의 객체 검색 후보 영역이 일치할 때까지, 갱신하기 위한 객체 검색 후보 영역 갱신 모듈을 포함한다.According to a third aspect of the present invention, an apparatus for improving an object search candidate region is disclosed. The apparatus comprises: a primary object search candidate region generation module for selecting a primary object search candidate region by selecting a part of a plurality of segmented images for an input image; And an object search candidate region updating module for updating the object search candidate region from the primary object search candidate region to an object search candidate region of a trailing order sequentially until an object search candidate region of a current order matches an object search candidate region of a next order, .

상기 장치는, i차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택하기 위한 이미지 선택 모듈을 더 포함한다(i는 N 이하인 임의의 양의 정수이고, N은 상기 객체 검색 후보 영역의 최대 차수임).The apparatus further includes an image selection module for selecting one or more interior regions associated with the i-th object search candidate region, where i is any positive integer less than or equal to N, and N is the maximum difference of the object search candidate regions ).

상기 객체 검색 후보 영역 갱신 모듈은, 상기 i차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들에 의해 정의되는 i차 최소경계상자를 산정하는 최근접 영역 경계 산출부; 및 상기 i차 객체 검색 후보 영역 및 상기 i차 최소경계상자의 넓이를 계산하기 위한 영역 넓이 계산부를 더 포함한다.The object search candidate region update module includes an near field boundary calculation unit for calculating an i < th > order minimum bounding box defined by one or more inner regions associated with the i < th > And an area width calculator for calculating the i-th object search candidate area and the width of the i-th minimum boundary box.

본 발명의 일 실시예에 의한 객체 검색 후보 영역의 개선 기법에 의하면, 주어진 객체 검색 후보 영역의 최근접 영역 경계를 탐욕적으로(greedy) 탐색함으로써, 후보 영역의 크기 및 종횡비에 제약되지 아니하고 로컬화에 따른 오차를 개선할 수 있다. According to the method for improving an object search candidate region according to an embodiment of the present invention, greedy search is performed on a nearest neighbor region boundary of a given object search candidate region, so that it is not limited by the size and the aspect ratio of the candidate region, Can be improved.

또한, 본 발명의 일 실시예에 의한 객체 검색 후보 영역의 개선 기법에 의하면, 최소경계상자를 정의하여 최근접 영역 경계 탐색에 따라 객체 검색 후보 영역이 이루어짐으로써, 보다 개선된 성능의 로컬화가 이루어질 수 있다.In addition, according to the object search candidate region improvement method according to an embodiment of the present invention, the object search candidate region is formed according to the near boundary search by defining the minimum bounding box, have.

본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명으로 도출되는 효과는 비단 전술된 사항에 국한되지 않고 폭넓게 인정될 수 있음을 이해할 것이다.It will be understood by those skilled in the art that the effects of the present invention may be obtained without departing from the scope of the present invention.

도 1은 본 발명에 따른 객체 검색 후보 영역을 개선하기 위한 장치의 기능적 구성도를 도시한다.
도 2는 본 발명에 따른 객체 검색 후보 영역을 개선하기 위한 방법의 개략적인 순서도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 기법에 사용되는 경계 영역 정렬 척도를 고려한 방법의 구체적인 순서도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 방법에 의하여, 객체 검색 후보 영역이 갱신되는 양상을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 기법이 임의의 이미지에 적용하는 예시적인 양상을 설명하기 위한 도면이다.
1 shows a functional block diagram of an apparatus for improving an object search candidate region according to the present invention.
2 shows a schematic flow diagram of a method for improving an object search candidate region according to the present invention.
Figure 3 shows a specific flowchart of a method that takes into account the boundary area alignment measure used in the technique according to an embodiment of the present invention.
4 is a diagram for explaining an aspect in which an object search candidate region is updated by a method according to an embodiment of the present invention.
5 is a diagram for explaining an exemplary aspect in which a technique according to the present invention is applied to an arbitrary image.

본 명세서에 개시된 본 발명의 실시예에 대하여 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시되며, 본 발명에 따른 실시예는 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다. Specific structural and functional descriptions of embodiments of the invention disclosed herein are merely illustrative for purposes of illustrating embodiments of the invention and that the embodiments according to the invention may be embodied in various forms, And should not be construed as limited to the embodiments described in the application.

본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예는 도면에 예시되어 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Since the embodiments according to the present invention can make various changes and have various forms, specific embodiments are illustrated in the drawings and described in detail herein. It should be understood, however, that the embodiments according to the concepts of the present invention are not intended to be limited to any particular mode of disclosure, but rather all variations, equivalents, and alternatives falling within the spirit and scope of the present invention.

제1 및/또는 제2로 구분되는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The first and / or second term may be used to describe various components, but the components should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, '포함하다', '구비하다', '가지다' 등의 용어는 특정된 특징, 숫자, 단계, 동작, 구성요소, 부분, 요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise," "include," "have," and the like, specify that there is a specified feature, number, step, operation, component, section, element, Steps, operations, elements, parts, or combinations thereof, whether or not explicitly described or implied by the accompanying claims.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined herein .

이하, 첨부된 도면을 참조로 본 발명에 따른 객체 검출 기법에 대해 상세하게 설명된다. Hereinafter, an object detection technique according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 객체 검색 후보 영역을 개선하기 위한 장치의 기능적 구성도를 도시한다. 객체 검색 후보 영역의 개선 장치(1)는 1차 객체 검색 후보 영역 생성 모듈(10), 이미지 선택 모듈(20), 객체 검색 후보 영역 갱신 모듈(30)을 포함한다. 1 shows a functional block diagram of an apparatus for improving an object search candidate region according to the present invention. The object search candidate region enhancement apparatus 1 includes a primary object search candidate region generation module 10, an image selection module 20, and an object search candidate region update module 30.

1차 객체 검색 후보 영역 생성 모듈(10)은 관심 객체를 50% 이상 포함하는 초기 객체 검색 후보 영역을 생성하며, 카메라 등의 영상촬영/입력장치에 의해 입력되거나 촬영된 이미지에 대해 다수의 세그먼트화된 이미지를 생성하는데, 이러한 세그먼트화된 이미지는 크기 및 종횡비에 대한 제한없이 생성될 수 있다. 이미지 선택 모듈(20)은 다수의 세그먼트화 된 이미지 중 객체 검색 후보 영역 갱신을 위한 이미지를 선택한다. 그리고 객체 검색 후보 영역 갱신 모듈(30)은 상기 1차(초기) 객체 검색 후보 영역으로부터 순차적으로 2차, 3차, ... 등의 후행하는 차수 객체 검색 후보 영역으로, 현재 차수의 객체 검색 후보 영역과 다음 차수의 객체 검색 후보 영역이 일치할 때까지, 갱신하게 된다.The primary object search candidate region generation module 10 generates an initial object search candidate region including at least 50% of the object of interest, and performs a plurality of segmentation processing on the image input or captured by the image shooting / The segmented image can be generated without any limitation on size and aspect ratio. The image selection module 20 selects an image for updating an object search candidate region among a plurality of segmented images. Then, the object search candidate region update module 30 sequentially searches the primary (initial) object search candidate region for a next-order object search candidate region such as a second order, a third order, Until the object search candidate region of the next order matches the search region of the next order.

한편, 이미지 선택 모듈(20)은, 추가로 i차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택 가능할 수 있다(i는 N 이하인 임의의 양의 정수이고, N은 상기 객체 검색 후보 영역의 최대 차수임). 예컨대, 1차 객체 검색 후보 영역에서는 이와 연관된 하나 이상의 내부 영역들을 선택할 수 있고, 후행 차수의 객체 검색 후보 영역에서는 이와 연관된 하나 이상의 내부 영역들을 선택할 수 있다.On the other hand, the image selection module 20 may be further capable of selecting one or more inner regions associated with the i-th object search candidate region, where i is any positive integer less than or equal to N and N is the maximum Car number). For example, one or more inner regions associated with the primary object search candidate region may be selected in the primary object search candidate region, and one or more inner regions associated with the object search candidate region may be selected in the posterior search region.

그리고 객체 검색 후보 영역 갱신 모듈(30)은 최근접 영역 경계 산출부(31)와 영역 넓이 산출부(32)를 더 포함한다. 최근접 영역 경계 산출부(31)는 이미지 선택 모듈(20)에서 선택된 내부 영역들에 의해 정의되는 최소경계상자를 산정하게 된다. 예를 들어, 1차 객체 검색 후보 영역에서 선택된 내부 영역들에 의하여 1차 최소경계상자를 산정하며, 후행 차수의 객체 검색 후보 영역에서 선택된 내부 영역들에 대해서도 마찬가지로 적용된다. 한편, 영역 넓이 산출부(32)는 객체 검색 후보 영역 및 최소경계상자의 넓이를 계산하게 되는데, 본 발명에 따른 기법에서 모든 영역은 폐경계로 정의되기 때문에 해당 영역의 넓이를 계산할 수 있다.The object search candidate region update module 30 further includes a near region boundary calculation unit 31 and a region size calculation unit 32. [ The closest region boundary calculator 31 calculates a minimum bounding box defined by the inner regions selected by the image selecting module 20. [ For example, the first minimum bounding box is calculated by the inner regions selected in the primary object search candidate region, and the same applies to the inner regions selected in the object search candidate region of the posterior order. Meanwhile, the area size calculating unit 32 calculates the widths of the object search candidate area and the minimum bounding box. In the technique according to the present invention, since all areas are defined as the menopause, the area width can be calculated.

도 2는 본 발명에 따른 객체 검색 후보 영역을 개선하기 위한 방법의 순서도를 도시하며, 이러한 방법에 대해 경계 영역 정렬 척도를 고려한 방법이 도 3에서 구체적으로 도시된다.FIG. 2 shows a flowchart of a method for improving an object search candidate region according to the present invention, and a method considering the boundary region sorting measure for this method is specifically shown in FIG.

먼저, 개괄적인 순서도인 도 2를 참조하면, 입력 이미지로부터 1차 객체 후보 영역을 생성하고(S10 단계), 다수의 세그먼트 이미지들 중 객체 후보 영역 갱신을 위한 이미지를 선택한다(S20 단계). 그리고 본 발명에 따른 최근접 영역 경계 탐색에 의하여, 객체검색후보영역을 재초기화하고(S30 단계), 그리디 경계-영역을 정렬함으로써(S40 단계), 객체검색후보영역을 순차적으로 갱신하여, 궁극적으로 로컬화가 개선된 객체검색후보영역을 도출한다(S50 단계).Referring to FIG. 2, which is a general flowchart, a primary object candidate region is created from an input image (Step S10), and an image for updating an object candidate region among a plurality of segment images is selected (Step S20). Then, the object search candidate region is re-initialized by the proximity region boundary search according to the present invention (Step S30), and the object boundary candidate region is sequentially updated by aligning the object boundary region (Step S40) An object search candidate region whose localization is improved is obtained (S50).

이러한 객체 검색 후보 영역의 개선 방법은, 도 3을 참조하여 보다 구체적으로 설명된다. S11 단계에서, 입력 이미지에 대하여 다수의 세그먼트화된 이미지들 중 일부를 선택함으로써 1차 객체 검색 후보 영역(최초 객체 검색 후보 영역)을 생성한다(S11 단계). 여기서 다수의 세그먼트화된 이미지는 크기 및 종횡비에 대한 제한없이 생성될 수 있겠다. A method of improving the object search candidate region will be described in more detail with reference to FIG. In step S11, a primary object search candidate region (initial object search candidate region) is created by selecting a part of a plurality of segmented images with respect to the input image (S11). Wherein a plurality of segmented images may be generated without limitation on size and aspect ratio.

다음으로, S12 단계에서, 1차 객체 검색 후보 영역의 넓이를 계산하고, S13 단계에서는 상기 1차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택하고, S14 단계에서, 상기 하나 이상의 내부 영역들에 의해 정의되는 1차 최소경계상자를 선정(정의)한다. 다음으로, S15 단계에서는 상기 1차 객체 검색 후보 영역 및 상기 1차 최소경계상자 간의 변화량의 차이가 최소가 되도록 상기 1차 객체 검색 후보 영역을 상기 2차 객체 검색 후보 영역으로 갱신한다. Next, in step S12, the area of the primary object search candidate area is calculated. In step S13, one or more internal areas associated with the primary object search candidate area are selected. In step S14, (Define) the primary minimum bounding box defined by Next, in step S15, the primary object search candidate region is updated to the secondary object search candidate region so that the difference between the primary object search candidate region and the primary minimum boundary box is minimized.

S13 단계부터 S15 단계에서, 객체 검색 후보 영역, 하나 이상의 내부 영역 및 최소경계상자 간의 관계에 따라서, 즉 객체 검색 후보 영역과 최소경계상자 간의 변화량 차가 최솟값을 갖도록 객체 검색 후보 영역을 갱신하기 위하여, 메트릭(metric)은 경우에 따라 상이하게 적용될 수 있는데, 이와 관련하여서는, 도 4를 참고하여 상세하게 설명된다.In step S13 to step S15, in order to update the object search candidate region according to the relation between the object search candidate region, the at least one inner region, and the minimum bounding box, that is, the difference between the object search candidate region and the minimum bounding box has the minimum value, the metric may be applied differently in some cases, and this will be described in detail with reference to FIG.

이상의 과정에 따라 2차 객체 검색 후보 영역으로 갱신되고 나면, S12 단계로 되돌아가서, i차 객체 검색 후보 영역이 차순위의 객체 검색 후보 영역과 일치할 때까지(즉, 임의의 차수의 객체 검색 후보 영역이 수렴하게 될 때까지), S12 단계 내지 S15단계가 반복적으로 수행된다. After the process is updated to the secondary object search candidate region according to the above process, the process returns to step S12, and until the i-th object search candidate region matches the object search candidate region of the next order (i.e., Is converged), steps S12 to S15 are repeatedly performed.

한편, 도 3에 도시되지 않았지만, i차 객체 검색 후보 영역으로부터 i+1차 객체 검색 후보 영역으로 갱신되는 과정(즉, S12 단계 내지 S15 단계)에 있어, i차 객체 검색 후보 영역을 개선시킬 수 있도록, i차 객체 검색 후보 영역과 연관되는 하나 이상의 세그먼트화된 이미지를 선택할 수 있다.Although not shown in FIG. 3, in the process of updating from the i-th object search candidate region to the i + 1-th object search candidate region (i.e., from S12 to S15), the i- , One or more segmented images associated with the i-th object search candidate region may be selected.

이상에서 설명된, 본 발명의 일 실시예에 따른 기법이 임의의 이미지에 적용되는 예시적인 양상의 이미지가 도 5와 같이 도시된다. 예시적인 이미지에서 초기(initial)와 개선(Refined)으로 표시된 영역이 검출하고자 하는 객체라고 가정하여, '초기(initial)'로 표시된 영역은 1차 객체 검색 후보 영역을 지칭하며, '개선(Refined)'으로 표시된 영역은 본 발명에 따른 기법에 따라 검색된 수렴 객체 검색 후보 영역을 지칭한다.An image of an exemplary aspect described above, in which a technique according to an embodiment of the present invention is applied to any image, is illustrated in Fig. Assume that an area indicated by initial and refined in an exemplary image is an object to be detected. An area indicated by 'initial' refers to a primary object search candidate area, and 'refined' Indicates a convergent object search candidate region searched according to the technique according to the present invention.

도 4에서 (a)와 관련하여 설명한다. 먼저, 초기 객체 검색후보 내부의 모든 영역을 사용함으로써 최소 경계 상자를 획득한다. 이 경우, (모든 내부 영역에 의해 정의되는 최소 경계 상자의 면적)/(객체 검색후보의 면적)을 사용하여, 수학식 1처럼 계산하게 된다.This will be described with reference to Fig. 4 (a). First, the minimum bounding box is obtained by using all the regions within the initial object search candidate. In this case, it is calculated as Equation (1) using (the area of the minimum bounding box defined by all inner regions) / (the area of the object search candidate).

Figure 112016108794561-pat00004
Figure 112016108794561-pat00004

Figure 112016108794561-pat00005
는 i차 객체 검색후보
Figure 112016108794561-pat00006
의 내부 영역의 세트를 표시하고,
Figure 112016108794561-pat00007
는 임의의 영역 또는 임의의 박스 X의 면적을 표시하고,
Figure 112016108794561-pat00008
는 영역들의 세트 χ에 의해 정의되는 최소 경계 상자의 면적을 표시하며, N은 객체 검색후보의 수를 표시한다.
Figure 112016108794561-pat00005
Is an i-th object search candidate
Figure 112016108794561-pat00006
A set of inner areas of the display area,
Figure 112016108794561-pat00007
Represents an area of an arbitrary area or an arbitrary box X,
Figure 112016108794561-pat00008
Denotes the area of the minimum bounding box defined by the set of regions x, and N denotes the number of object search candidates.

다음으로, 도 4에서 (b)의 경우, 객체 검색후보의 걸친(straddling) 영역 중 하나와 모든 내부 영역을 획득한다. (a)와 관련하여 설명된 바와 유사하게, (하나의 걸친 영역을 가진 내부 영역들로 정의되는 최소 경계 상자의 면적)/(객체 검색후보의 면적)을 사용하여, 수학식 2처럼 계산하게 된다.Next, in FIG. 4 (b), one of the straddling regions of the object search candidates and all the internal regions are obtained. (the area of the minimum bounding box defined by the inner regions having one spreading region) / (the area of the object searching candidate) similar to that described with reference to Fig. .

Figure 112016108794561-pat00009
Figure 112016108794561-pat00009

Figure 112016108794561-pat00010
는 걸친 영역의 세트
Figure 112016108794561-pat00011
에서 j번째 요소(영역)를 표시하고, M은 i번째 객체 검색후보 bi의 걸친 영역의 수를 표시한다.
Figure 112016108794561-pat00010
A set of spanned regions
Figure 112016108794561-pat00011
(Area), and M denotes the number of regions of the i-th object search candidate b i .

마지막으로, 도 4에서 (c)의 경우, 객체 검색후보에서 모든 내부 영역들 중 하나만을 제외한 내부 영역들을 사용하여 최소 경계 상자를 획득한다. 즉, (모든 내부 영역들 중 하나만을 제외한 내부 영역에 의해 정의되는 최소 경계 상자의 면적)/(객체 검색후보의 면적)을 사용하여, 수학식 3처럼 계산하게 된다.Lastly, in (c) of FIG. 4, the minimum bounding box is obtained using the inner regions except for one of all the inner regions in the object search candidate. That is, the calculation is performed using Equation (3) using the area of the minimum bounding box defined by the inner region excluding only one of all inner regions / (the area of the object search candidate).

Figure 112016108794561-pat00012
Figure 112016108794561-pat00012

Figure 112016108794561-pat00013
은 내부 영역의 세트
Figure 112016108794561-pat00014
에서 k번째 요소(영역)을 표시하고, P는 객체 검색후보 bi의 내부 영역들의 수를 표시한다.
Figure 112016108794561-pat00013
Lt; RTI ID = 0.0 >
Figure 112016108794561-pat00014
(Region), and P denotes the number of inner regions of the object search candidate b i .

수학식 1에서의 LI 스코어는 각각의 객체 검색후보의 모든 내부 영역들을 사용하여 추정되기 때문에, 각각의 객체 검색후보에 대해 단일한 LI 스코어를 구함에 유의한다. 반면, 객체 검색 후보에서 다수의 내부 영역들 및 걸친 영역들이 있을 수 있기 때문에, 각각의 객체 검색후보에 대하여 다수의 OMR 또는 OLR 스코어(수학식 2 및 3에 따른)를 구한다. 각각의 측정치는 초기 객체 검색후보 및 갱신된 객체 검색후보 간의 차이를 표현하므로, LI, OMR, OLR 스코어 중 최소 스코어를 선택함으로써 가장 가까운 영역 경계를 검색할 수 있다.Note that since the LI score in Equation (1) is estimated using all the inner regions of each object search candidate, a single LI score is obtained for each object search candidate. On the other hand, since there may be a large number of inner regions and overlapping regions in the object search candidate, a plurality of OMR or OLR scores (according to Equations 2 and 3) are obtained for each object search candidate. Since each measure expresses the difference between the initial object search candidate and the updated object search candidate, the nearest region boundary can be searched by selecting the minimum score among the LI, OMR, and OLR scores.

객체 검색후보 재-초기화Object search candidates re-initialize

초기 객체 검색후보가 적정함에도 불구하고, 영역 경계(특히, 전술된 객체성-기반 방법에 의해 생성된 영역 경계)와 맞지 않을 수 있다. 본원에서 객체는 폐경계에 의해 정의되므로, 초기 객체 검색후보를 가장 가까운 영역 경계에 맞추게 된다. It may not match the region boundaries (in particular, the region boundaries generated by the objectivity-based method described above), even though the initial object search candidates are appropriate. Since objects are defined by the lung boundaries, the initial object search candidates are aligned to the nearest region boundaries.

객체 검색후보의 내부 또는 외부의 영역 경계를 검색함으로써, 객체 검색후보를 가장 가까운 영역 경계에 맞출 수 있는데, OLR 스코어는 항상 LI 스코어보다 크기 때문에, OLR 스코어는 객체 검색후보를 가장 가까운 영역 경계에 맞추기 위하여 사용되지는 않는다. 그러므로 LI 및 OMR이 본 단계에서 사용된다.The OLR score is always larger than the LI score, so that the OLR score matches the object search candidate to the nearest area boundary. It is not used for. Therefore, LI and OMR are used in this step.

객체 검색후보의 내부 영역 및 걸친 영역을 사용하여 LI 및 OMR 스코어를 산출하기 때문에, 먼저

Figure 112016108794561-pat00015
에서 각각의 객체 검색후보에 대하여 영역 세트
Figure 112016108794561-pat00016
로부터 내부 영역의 세트
Figure 112016108794561-pat00017
및 걸친 영역의 세트
Figure 112016108794561-pat00018
를 구한다. 그리고, 경계-정렬된 객체 검색후보에 대한 LI 스코어가 0이므로, 재-초기화에 필요한 객체 검색후보를 식별하기 위해 LI 측정을 사용한다. 그러므로 LI 스코어를 산출하고, 이에 대응하는 최소 경계 상자 bLI를 초기 객체 검색후보로부터 구한다. 그리고 LI가 0이 아닌 객체 검색후보에 대한 걸친 영역의 세트
Figure 112016108794561-pat00019
를 사용하여 OMR 스코어를 산출한다. 모든 스코어가 각각의 객체 검색후보에 대하여 산출되면, 산출된 스코어 중 최소값을 갖는 최소 경계 상자를 선택한다. 이러한 방식으로, 영역 경계-정렬 객체 검색 후보 세트
Figure 112016108794561-pat00020
를 구한다.Since the LI and OMR scores are calculated using the inner region and the overlap region of the object search candidates,
Figure 112016108794561-pat00015
For each object search candidate in the region set
Figure 112016108794561-pat00016
Lt; RTI ID = 0.0 >
Figure 112016108794561-pat00017
And a set of span areas
Figure 112016108794561-pat00018
. Then, since the LI score for the boundary-aligned object search candidates is zero, the LI measurement is used to identify the object search candidates required for re-initialization. Therefore, the LI score is calculated and the corresponding minimum bounding box b LI is obtained from the initial object search candidates. And a set of regions for object search candidates for which LI is non-zero
Figure 112016108794561-pat00019
To calculate the OMR score. When all scores are calculated for each object search candidate, a minimum bounding box having a minimum value among the calculated scores is selected. In this manner, the region boundary-aligned object search candidate set
Figure 112016108794561-pat00020
.

탐욕적(greedy) 경계-영역 정렬Greedy boundary - area alignment

로컬화 정확도를 향상시키기 위하여 영역 경계-정렬된 객체 검색후보

Figure 112016108794561-pat00021
로부터 가장 가까운 영역 경계를 그리디하게 검색한다. 재-초기화 단계에서와 같이, 내부 영역의 세트
Figure 112016108794561-pat00022
및 걸친 영역의 세트
Figure 112016108794561-pat00023
를 사용하여 가장 가까운 경계 영역들을 찾는다. 재초기화된 객체 검색후보는 영역 경계와 이미 정렬되었기 때문에, LI 스코어는 항상 0이다. 그러므로 OLR과 OMR 측정치를 사용하여 가장 가까운 경계 영역을 검색한다.To improve localization accuracy, the region boundary-aligned object search candidates
Figure 112016108794561-pat00021
The region boundary closest to the target region is searched. As in the re-initialization step,
Figure 112016108794561-pat00022
And a set of span areas
Figure 112016108794561-pat00023
To find the nearest boundary regions. Since the re-initialized object search candidates are already aligned with the region boundaries, the LI score is always zero. Therefore, OLR and OMR measurements are used to search for the nearest boundary area.

먼저,

Figure 112016108794561-pat00024
에서 각각의 재초기화된 객체 검색후보에 대하여 영역 세트
Figure 112016108794561-pat00025
로부터 내부 영역의 세트
Figure 112016108794561-pat00026
및 걸친 영역의 세트
Figure 112016108794561-pat00027
를 구한다. 그리고, 각각의 객체 검색후보에 대해 OLR 및 OMR 스코어를 추정하고, 추정된 OLR 및 OMR 스코어 중에 최소 스코어를 갖는 최소 경계 상자를 선택한다. 여기서, 검색 범위를 제어하기 위한 중첩 임계치 δ와 최대 반복
Figure 112016108794561-pat00028
이 도입된다. 객체 검색후보를 갱신할 때마다 내부 영역의 세트
Figure 112016108794561-pat00029
및 걸친 영역의 세트
Figure 112016108794561-pat00030
가 변하기 때문에, 매 반복에서 차순위로 가장 가까운 영역 경계를 검색하기 위하여, 갱신된 객체 검색후보의 OLR 스코어 및 OMR 스코어를 추정할 것이다. 업데이트된 객체 검색후보가 수렴될 때까지 이러한 과정이 반복된다.first,
Figure 112016108794561-pat00024
For each re-initialized object search candidate in the region set
Figure 112016108794561-pat00025
Lt; RTI ID = 0.0 >
Figure 112016108794561-pat00026
And a set of span areas
Figure 112016108794561-pat00027
. Then, OLR and OMR scores are estimated for each object search candidate, and a minimum bounding box having a minimum score among the estimated OLR and OMR scores is selected. Here, the superposition threshold value < RTI ID = 0.0 >#< / RTI &
Figure 112016108794561-pat00028
. Each time you update an object search candidate, a set of internal regions
Figure 112016108794561-pat00029
And a set of span areas
Figure 112016108794561-pat00030
The OLR score and the OMR score of the updated object search candidate will be estimated in order to search for the closest region boundary to the next in each iteration. This process is repeated until the updated object search candidates are converged.

실험적으로, 초기 객체 검색후보는 최소한 50%만큼 중첩하는 것으로 가정하였기 때문에, 중첩 임계치 δ는 0.5로 설정되고, 최대 반복

Figure 112016108794561-pat00031
값은 10으로 설정되었지만 통상적으로 7번의 반복 내에 수렴됨을 확인하였다.Experimentally, since the initial object search candidates are assumed to overlap by at least 50%, the overlay threshold [delta] is set to 0.5 and the maximum repeat
Figure 112016108794561-pat00031
Value was set to 10, but it was confirmed that it converged normally within 7 repetitions.

본 발명에 따른 객체 검색후보 세트의 품질을 평가하기 위하여, HBO(Histogram of Best Overlap) 메트릭이 사용되었다. HBO 메트릭은 중첩 임계치에 따라 실측(ground-truth)으로 최대로 중첩되는 객체 검색후보의 분포를 표현한다. 이는, (실측 및 객체 검색후보 간의 교집합에 따른 면적)/(실측 및 객체 검색 후보간의 합집합에 따른 면적)으로 정의되어 수학식 4처럼 계산된다.In order to evaluate the quality of the object search candidate set according to the present invention, the Histogram of Best Overlap (HBO) metric was used. The HBO metric represents the distribution of object search candidates that are maximally overlapped with the ground-truth according to the overlap threshold. This is defined as (area based on intersection between actual and object search candidates) / (area based on the union of actual and object search candidates) and calculated as Equation (4).

Figure 112016108794561-pat00032
Figure 112016108794561-pat00032

수학식 4에서

Figure 112016108794561-pat00033
는 실측을 표시하고,
Figure 112016108794561-pat00034
는 객체 검색후보를 표시한다. IoU 값에 따른 객체 검색후보의 로컬화 품질이 그림 5와 같이 표시된다. 그리고 객체 검색후보의 전체적인 성능을 평가하기 위해 ABO(Average Best Overlap) 메트릭이 수학식 5과 같이 계산된다.In Equation 4,
Figure 112016108794561-pat00033
Lt; / RTI >
Figure 112016108794561-pat00034
Indicates an object search candidate. The localization quality of the object search candidates according to the IoU value is displayed as shown in Fig. And an ABO (Average Best Overlap) metric is calculated as shown in Equation (5) in order to evaluate the overall performance of the object search candidate.

Figure 112016108794561-pat00035
Figure 112016108794561-pat00035

수학식 5에서

Figure 112016108794561-pat00036
는 i번째 실측을 표시하고, N은 실측의 수를 표시하고,
Figure 112016108794561-pat00037
는 객체 검색후보 세트를 표시한다. 이러한 IoU 및 ABO 메트릭에 의한 시뮬레이션 결과, 관심객체 중 35%는 로컬화 정확도(IoU) 0.9 내지 1.0으로 포함하고 있음을 확인할 수 있었다.In Equation (5)
Figure 112016108794561-pat00036
Denotes the i-th actual measurement, N denotes the actual measurement number,
Figure 112016108794561-pat00037
Indicates a set of object search candidates. As a result of the simulation using the IoU and ABO metrics, it was confirmed that 35% of the objects of interest include the localization accuracy (IoU) of 0.9 to 1.0.

이와 같이, 본 발명의 일 실시예에 의한 객체 검색 후보 영역의 개선 기법에 의하면, 주어진 객체 검색 후보 영역의 최근접 영역 경계를 탐욕적으로(greedy) 탐색함으로써, 후보 영역의 크기 및 종횡비에 제약되지 아니하고 로컬화에 따른 오차를 개선할 수 있다. 뿐만 아니라, 최소경계상자를 정의하여 최근접 영역 경계 탐색에 따라 객체 검색 후보 영역이 이루어짐으로써 로컬화 성능이 개선될 수 있다.As described above, according to the object search candidate region improving method according to an embodiment of the present invention, greedy search is performed on the nearest region boundary of a given object search candidate region, so that it is not limited by the size and the aspect ratio of the candidate region The error due to localization can be improved. In addition, the localization performance can be improved by defining the minimum bounding box and performing the object search candidate region according to the nearest neighbor boundary search.

본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 로직 블록, 수단, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.It should be understood that the example modules, logic blocks, means, steps or combinations thereof in connection with the embodiments described herein may be implemented as electronic hardware (digital designs designed by coding or the like), software (various types of applications including program instructions) Or a combination of these. Hardware, and / or software may vary depending on design constraints imposed on the user terminal.

일부 실시 양상에서는, 본 명세서에서 설명된 구성의 하나 이상은 컴퓨터 프로그램 명령으로서 메모리에 저장될 수 있는데, 이러한 컴퓨터 프로그램 명령은 디지털 신호 프로세서를 중심으로 본 명세서에서 설명된 방법을 실행할 수 있다. 본 명세서에 첨부된 도면을 참조하여 특정되는 컴포넌트 간의 연결 예는 단지 예시적인 것으로, 이들 중 적어도 일부는 생략될 수도 있고, 반대로 이들 컴포넌트뿐 아니라 추가적인 컴포넌트를 더 포함할 수 있음은 물론이다.In some implementations, one or more of the configurations described herein may be stored in memory as computer program instructions, which may execute the methods described herein, centering on a digital signal processor. It is to be understood that the connections between the components specified with reference to the drawings attached hereto are merely illustrative and at least some of them may be omitted or, conversely, may include additional components as well as these components.

본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 로직 블록, 수단, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.It should be understood that the example modules, logic blocks, means, steps or combinations thereof in connection with the embodiments described herein may be implemented as electronic hardware (digital designs designed by coding or the like), software (various types of applications including program instructions) Or a combination of these. Hardware, and / or software may vary depending on design constraints imposed on the user terminal.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

1: 객체 검색 후보 영역의 개선 장치
10: 세그먼트 이미지 생성 모듈
20: 이미지 선택 모듈
30: 객체 검색 후보 영역 갱신 모듈
31: 최근접 영역 경계 산출부
32: 영역 넓이 계산부
1: Improvement device of object search candidate region
10: Segment image generation module
20: Image selection module
30: object search candidate region update module
31: Near Area Boundary Calculator
32: area width calculation unit

Claims (11)

(a) 입력 이미지에 대하여 다수의 세그먼트화된 이미지들 중 일부를 선택함으로써 1차 객체 검색 후보 영역을 생성하는 단계;
(b) 상기 1차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택하는 단계;
(c) 상기 하나 이상의 내부 영역들에 의해 정의되는 1차 최소경계상자를 선정하는 단계; 및
(d) 상기 1차 객체 검색 후보 영역 및 상기 1차 최소경계상자 간의 변화량의 차이가 최소가 되도록 상기 1차 객체 검색 후보 영역을 2차 객체 검색 후보 영역으로 갱신하는 단계;
를 포함하는, 객체 검색 후보 영역을 개선하기 위한 방법.
(a) generating a primary object search candidate region by selecting some of a plurality of segmented images for an input image;
(b) selecting one or more inner regions associated with the primary object search candidate region;
(c) selecting a primary minimum bounding box defined by the one or more inner regions; And
(d) updating the primary object search candidate region to a secondary object search candidate region so that the difference between the primary object search candidate region and the primary minimum bounding box is minimized;
Wherein the object search candidate region is an object search candidate region.
삭제delete 제1항에 있어서,
i차 객체 검색 후보 영역이 차순위의 객체 검색 후보 영역과 일치할 때까지, 상기 (b) 단계 내지 (d) 단계를 반복적으로 수행하는 단계를 더 포함하며,
상기 i는 N 이하인 임의의 양의 정수이고, 상기 N은 상기 객체 검색 후보 영역의 최대 차수인 것을 특징으로 하는,
객체 검색 후보 영역을 개선하기 위한 방법.
The method according to claim 1,
performing the steps (b) to (d) repeatedly until the i-th object search candidate region coincides with the object search candidate region of the next rank,
I is an arbitrary positive integer that is equal to or smaller than N, and N is a maximum degree of the object search candidate region.
A method for improving an object search candidate region.
제3항에 있어서,
상기 하나 이상의 내부 영역들 전부가 상기 i차 객체 검색 후보 영역에 포함되면, 상기 i+1차 객체 검색 후보 영역으로 갱신하는 단계는, 수학식 1에 의한 LI 지표를 사용하는 것을 특징으로 하는,
[수학식 1]
Figure 112018014448240-pat00038

(
Figure 112018014448240-pat00039
: i차 객체 검색 후보 영역,
Figure 112018014448240-pat00040
:
Figure 112018014448240-pat00041
에 포함된 내부 영역들의 세트,
Figure 112018014448240-pat00042
: 임의의 영역 X에 대한 넓이,
Figure 112018014448240-pat00043
: 상기 임의의 영역들의 세트 χ에 의해 정의되는 최소 경계 상자의 넓이)
객체 검색 후보 영역을 개선하기 위한 방법.
The method of claim 3,
Wherein when the i-th object search candidate region includes all of the one or more inner regions, the updating to the i + 1 < st > -order object search candidate region uses the LI index according to Equation (1)
[Equation 1]
Figure 112018014448240-pat00038

(
Figure 112018014448240-pat00039
: i-th object search candidate region,
Figure 112018014448240-pat00040
:
Figure 112018014448240-pat00041
A set of inner regions included in <
Figure 112018014448240-pat00042
: Area for arbitrary area X,
Figure 112018014448240-pat00043
: The width of the minimum bounding box defined by the set of arbitrary regions x)
A method for improving an object search candidate region.
제3항에 있어서,
상기 하나 이상의 내부 영역들 중 적어도 하나의 내부 영역이 상기 i차 객체 검색 후보 영역에 걸쳐 있는 경우, 상기 i+1차 객체 검색 후보 영역으로 갱신하는 단계는, 수학식 2에 의한 OMR 지표를 사용하는 것을 특징으로 하는,
[수학식 2]
Figure 112018014448240-pat00044

(
Figure 112018014448240-pat00045
: i차 객체 검색 후보 영역,
Figure 112018014448240-pat00046
:
Figure 112018014448240-pat00047
에 포함된 내부 영역들의 세트,
Figure 112018014448240-pat00048
: 임의의 영역 X에 대한 넓이,
Figure 112018014448240-pat00049
: 상기 임의의 영역들의 세트 χ에 의해 정의되는 최소 경계 상자의 넓이,
Figure 112018014448240-pat00050
: 상기 i차 객체 검색 후보 영역에 걸쳐 있는 내부 영역의 세트에서 j번째 영역, M: 상기 i차 객체 검색 후보 영역에 걸쳐 있는 내부 영역들의 수, j: 상기 i차 객체 검색 후보 영역에 걸쳐 있는 내부 영역들의 수 이하인 임의의 양의 정수)
객체 검색 후보 영역을 개선하기 위한 방법.
The method of claim 3,
The step of updating to the i + 1 < nd > -order object search candidate region when at least one inner region of the one or more inner regions spans the i-th object search candidate region includes using an OMR index according to Equation (2) ≪ / RTI >
&Quot; (2) "
Figure 112018014448240-pat00044

(
Figure 112018014448240-pat00045
: i-th object search candidate region,
Figure 112018014448240-pat00046
:
Figure 112018014448240-pat00047
A set of inner regions included in <
Figure 112018014448240-pat00048
: Area for arbitrary area X,
Figure 112018014448240-pat00049
: The width of the minimum bounding box defined by the set of arbitrary regions x,
Figure 112018014448240-pat00050
J is the number of inner regions in the set of inner regions spanning the i-th object search candidate region, M is the number of inner regions spanning the i-th object search candidate region, j is the number of inner regions Any positive integer less than or equal to the number of regions)
A method for improving an object search candidate region.
제3항에 있어서,
상기 하나 이상의 내부 영역들 중 하나의 내부 영역이 제외되어야 하는 경우, 상기 i+1차 객체 검색 후보 영역으로 갱신하는 단계는, 수학식 3에 의한 OLR 지표를 사용하는 것을 특징으로 하는,
[수학식 3]
Figure 112018014448240-pat00051

(
Figure 112018014448240-pat00052
: i차 객체 검색 후보 영역,
Figure 112018014448240-pat00053
:
Figure 112018014448240-pat00054
에 포함된 내부 영역들의 세트,
Figure 112018014448240-pat00055
: 임의의 영역 X에 대한 넓이,
Figure 112018014448240-pat00056
: 상기 임의의 영역들의 세트 χ에 의해 정의되는 최소 경계 상자의 넓이,
Figure 112018014448240-pat00057
: 상기
Figure 112018014448240-pat00058
에서 k번째 내부 영역, k: 상기 i차 객체 검색 후보 영역의 내부 영역들의 수 이하인 임의의 양의 정수)
객체 검색 후보 영역을 개선하기 위한 방법.
The method of claim 3,
Wherein the step of updating to the i + 1 < st > -order object search candidate region uses an OLR index according to Equation (3) if the inner region of one of the one or more inner regions is to be excluded.
&Quot; (3) "
Figure 112018014448240-pat00051

(
Figure 112018014448240-pat00052
: i-th object search candidate region,
Figure 112018014448240-pat00053
:
Figure 112018014448240-pat00054
A set of inner regions included in <
Figure 112018014448240-pat00055
: Area for arbitrary area X,
Figure 112018014448240-pat00056
: The width of the minimum bounding box defined by the set of arbitrary regions x,
Figure 112018014448240-pat00057
: remind
Figure 112018014448240-pat00058
K is an arbitrary positive integer less than or equal to the number of inner regions of the i-th object search candidate region,
A method for improving an object search candidate region.
이미지로부터 객체 검색 후보 영역을 개선하기 위한 컴퓨터 프로그램을 기록한 컴퓨터-판독가능 저장 매체로서,
상기 컴퓨터 프로그램은,
(a) 입력 이미지에 대하여 다수의 세그먼트화된 이미지들 중 일부를 선택함으로써 1차 객체 검색 후보 영역을 생성하기 위한 명령어;
(b) 상기 1차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택하는 명령어;
(c) 상기 하나 이상의 내부 영역들에 의해 정의되는 1차 최소경계상자를 선정하는 명령어; 및
(d) 상기 1차 객체 검색 후보 영역 및 상기 1차 최소경계상자 간의 변화량의 차이가 최소가 되도록 상기 1차 객체 검색 후보 영역을 2차 객체 검색 후보 영역으로 갱신하는 명령어를 포함하는,
컴퓨터-판독가능 저장 매체.
1. A computer-readable storage medium having recorded thereon a computer program for improving an object search candidate region from an image,
The computer program comprising:
(a) instructions for generating a primary object search candidate region by selecting some of a plurality of segmented images for an input image;
(b) selecting one or more inner regions associated with the primary object search candidate region;
(c) selecting a primary minimum bounding box defined by the one or more inner regions; And
and (d) updating the primary object search candidate region to a secondary object search candidate region so that a difference between the primary object search candidate region and the primary minimum bounding box is minimized.
Computer-readable storage medium.
제7항에 있어서,
상기 갱신하는 명령어 이후에,
i차 객체 검색 후보 영역이 차순위의 객체 검색 후보 영역과 일치할 때까지, 상기 (b) 내지 (d) 명령어를 순서대로 반복 수행하는 명령어를 더 포함하며,
상기 i는 N 이하인 임의의 양의 정수이고, 상기 N은 상기 객체 검색 후보 영역의 최대 차수인 것을 특징으로 하는,
컴퓨터-판독가능 저장 매체.
8. The method of claim 7,
After the command to update,
(b) to (d) are repeated in order until the i-th object search candidate region coincides with the object search candidate region of the next order,
I is an arbitrary positive integer that is equal to or smaller than N, and N is a maximum degree of the object search candidate region.
Computer-readable storage medium.
입력 이미지에 대하여 다수의 세그먼트화된 이미지들 중 일부를 선택함으로써 1차 객체 검색 후보 영역을 선택하기 위한 1차 객체 검색 후보 영역 생성 모듈; 및
상기 1차 객체 검색 후보 영역으로부터 순차적으로 후행 차수의 객체 검색 후보 영역으로, 현재 차수의 객체 검색 후보 영역과 다음 차수의 객체 검색 후보 영역이 일치할 때까지, 갱신하기 위한 객체 검색 후보 영역 갱신 모듈을 포함하고,
상기 객체 검색 후보 영역 갱신 모듈은,
i차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들에 의해 정의되는 i차 최소경계상자를 산정하는 최근접 영역 경계 산출부를 포함하며,
상기 i는 N 이하인 양의 정수이고, 상기 N은 상기 객체 검색 후보 영역의 최대 차수인,
객체 검색 후보 영역을 개선하기 위한 장치.
A primary object search candidate region generation module for selecting a primary object search candidate region by selecting some of a plurality of segmented images with respect to an input image; And
An object search candidate region update module for updating an object search candidate region of the current order to an object search candidate region of a next order sequentially from the primary object search candidate region to an object search candidate region of a next order, Including,
The object search candidate region update module includes:
and a near-field boundary calculator for calculating an i-th ordered minimum boundary box defined by one or more inner regions associated with the i-th object search candidate region,
Where i is a positive integer equal to or less than N, and N is a maximum degree of the object search candidate region,
An apparatus for improving an object search candidate region.
제9항에 있어서,
상기 i차 객체 검색 후보 영역과 연관된 하나 이상의 내부 영역들을 선택하기 위한 이미지 선택 모듈을 더 포함하는,
객체 검색 후보 영역을 개선하기 위한 장치.
10. The method of claim 9,
Further comprising an image selection module for selecting one or more interior regions associated with the i < th > object search candidate region,
An apparatus for improving an object search candidate region.
제9항에 있어서,
상기 객체 검색 후보 영역 갱신 모듈은,
상기 i차 객체 검색 후보 영역 및 상기 i차 최소경계상자의 넓이를 계산하기 위한 영역 넓이 계산부를 더 포함하는,
객체 검색 후보 영역을 개선하기 위한 장치.
10. The method of claim 9,
The object search candidate region update module includes:
Order object search candidate region and an area width calculating section for calculating an area of the i < th > order object search candidate region and the i &
An apparatus for improving an object search candidate region.
KR1020160147738A 2016-11-07 2016-11-07 An apparatus, a method, and a computer-readable storage medium for refining object proposal KR101874471B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160147738A KR101874471B1 (en) 2016-11-07 2016-11-07 An apparatus, a method, and a computer-readable storage medium for refining object proposal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160147738A KR101874471B1 (en) 2016-11-07 2016-11-07 An apparatus, a method, and a computer-readable storage medium for refining object proposal

Publications (2)

Publication Number Publication Date
KR20180051000A KR20180051000A (en) 2018-05-16
KR101874471B1 true KR101874471B1 (en) 2018-07-04

Family

ID=62451928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160147738A KR101874471B1 (en) 2016-11-07 2016-11-07 An apparatus, a method, and a computer-readable storage medium for refining object proposal

Country Status (1)

Country Link
KR (1) KR101874471B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520704B1 (en) * 2021-09-29 2023-04-10 동서대학교 산학협력단 Meal Assistance System for The Visually Impaired and Its Control Method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016606A (en) 1999-06-29 2001-01-19 Sharp Corp Operation recognition system and recording medium recording operation recognition program
JP2012133587A (en) 2010-12-21 2012-07-12 Canon Inc Image analysis device, image analysis method and program
JP2016004369A (en) 2014-06-16 2016-01-12 日本電信電話株式会社 Subject area extraction device, method and program
JP2016099980A (en) * 2014-11-26 2016-05-30 日本電信電話株式会社 Image segmentation method, device, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016606A (en) 1999-06-29 2001-01-19 Sharp Corp Operation recognition system and recording medium recording operation recognition program
JP2012133587A (en) 2010-12-21 2012-07-12 Canon Inc Image analysis device, image analysis method and program
JP2016004369A (en) 2014-06-16 2016-01-12 日本電信電話株式会社 Subject area extraction device, method and program
JP2016099980A (en) * 2014-11-26 2016-05-30 日本電信電話株式会社 Image segmentation method, device, and program

Also Published As

Publication number Publication date
KR20180051000A (en) 2018-05-16

Similar Documents

Publication Publication Date Title
US20190050994A1 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
CN109598781B (en) Method for acquiring pseudo 3D frame from 2D bounding frame by regression analysis, learning apparatus and testing apparatus using the same
CN105404884B (en) Image analysis method
US11568648B2 (en) Apparatus for real-time monitoring for construction object and monitoring method and computer program for the same
CN104615986B (en) The method that pedestrian detection is carried out to the video image of scene changes using multi-detector
JP6405778B2 (en) Object tracking method and object tracking apparatus
JP7263216B2 (en) Object Shape Regression Using Wasserstein Distance
US8135172B2 (en) Image processing apparatus and method thereof
CN104794733A (en) Object tracking method and device
JP6833620B2 (en) Image analysis device, neural network device, learning device, image analysis method and program
EP3690700A1 (en) Image similarity calculation method and device, and storage medium
KR102094506B1 (en) Method for measuring changes of distance between the camera and the object using object tracking , Computer readable storage medium of recording the method and a device measuring changes of distance
CN109271848B (en) Face detection method, face detection device and storage medium
CN107346538A (en) Method for tracing object and equipment
JP5557189B2 (en) Position estimation apparatus, position estimation method and program
US20150086121A1 (en) Information processing device, information processing method, and program
CN111433780A (en) Lane line detection method, lane line detection apparatus, and computer-readable storage medium
CN112669275A (en) PCB surface defect detection method and device based on YOLOv3 algorithm
JPWO2019064599A1 (en) Anomaly detection device, anomaly detection method, and program
US10185873B2 (en) Method and a device for tracking characters that appear on a plurality of images of a video stream of a text
Zhang et al. UAST: uncertainty-aware siamese tracking
CN113129335A (en) Visual tracking algorithm and multi-template updating strategy based on twin network
US20190066285A1 (en) Image inspection apparatus, image inspection method, and image inspection program
KR100994367B1 (en) Method for tracking a movement of a moving target of image tracking apparatus
KR101874471B1 (en) An apparatus, a method, and a computer-readable storage medium for refining object proposal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant