KR102035245B1 - Apparatus and method for estimating position of target marker - Google Patents

Apparatus and method for estimating position of target marker Download PDF

Info

Publication number
KR102035245B1
KR102035245B1 KR1020180085496A KR20180085496A KR102035245B1 KR 102035245 B1 KR102035245 B1 KR 102035245B1 KR 1020180085496 A KR1020180085496 A KR 1020180085496A KR 20180085496 A KR20180085496 A KR 20180085496A KR 102035245 B1 KR102035245 B1 KR 102035245B1
Authority
KR
South Korea
Prior art keywords
target marker
center coordinates
target
candidate group
estimating
Prior art date
Application number
KR1020180085496A
Other languages
Korean (ko)
Inventor
구형일
한상유
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020180085496A priority Critical patent/KR102035245B1/en
Application granted granted Critical
Publication of KR102035245B1 publication Critical patent/KR102035245B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/481—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

According to one aspect of the technical idea of the present invention, provided is a method for estimating a position of a target marker, which comprises the steps of: obtaining an image including a target marker; extracting a candidate group for the target marker from the obtained image; classifying the target marker from the extracted candidate group; and estimating a center coordinate of the classified target marker. In addition, the position of the target marker can be accurately estimated even in various imaging and shooting environments.

Description

타겟 마커 위치 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING POSITION OF TARGET MARKER}Target marker position estimation apparatus and method {APPARATUS AND METHOD FOR ESTIMATING POSITION OF TARGET MARKER}

본 발명의 기술적 사상은 타겟 마커 위치 추정 장치 및 방법에 관한 것으로, 보다 상세하게는, 영상에서 타겟 마커를 검출하고, 검출된 타겟 마커의 위치를 추정하는 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for estimating a target marker position, and more particularly, to an apparatus and method for detecting a target marker in an image and estimating the position of the detected target marker.

영상 데이터에서 인물이나 사물 등을 인식하여 의미 있는 정보를 추출하고 내용을 시각적으로 분석하는 영상 인식은 다양한 분야에서 활용되고 있다.Image recognition, which extracts meaningful information by recognizing people or objects from image data and visually analyzes the contents, is used in various fields.

특히, 최근에는 고화질 카메라, 스마트폰, CCTV, 블랙박스 등과 같은 다양한 장치를 통해 수집되는 영상 데이터의 양이 급격하게 증가하고 있어서, 이를 활용하기 위한 요구 및 요구사항이 증가하고 있다.In particular, in recent years, the amount of video data collected through various devices such as high-definition cameras, smart phones, CCTVs, black boxes, and the like is increasing rapidly, and the demands and requirements for utilizing them are increasing.

영상 데이터 또는 영상 데이터와 연계된 다른 측정 데이터를 활용하기 위해, 기준점 또는 기준 좌표를 인식하기 위한 마커(marker)는 다양하게 이용되고 있다.In order to utilize image data or other measurement data linked to the image data, markers for recognizing the reference point or the reference coordinate are variously used.

이러한 마커를 영상에서 정확하게 인식하고, 인식된 마커의 위치를 정밀하게 추정할수록, 수집된 영상 데이터 및 연계된 측정 데이터를 효과적으로 활용할 수 있다. As the marker is accurately recognized in the image and the position of the recognized marker is accurately estimated, the collected image data and the associated measurement data can be effectively utilized.

따라서, 다양한 조건 및 환경에서도 영상 내의 마커를 정확하게 인식하고, 인식된 마커의 위치를 정밀하게 추정하는 것이 필요하다. Accordingly, it is necessary to accurately recognize markers in an image even under various conditions and environments, and to accurately estimate positions of recognized markers.

본 발명의 기술적 사상에 따른 타겟 마커 위치 추정 장치 및 방법은 영상에 포함된 타겟 마커를 검출하고, 검출된 타겟 마커의 위치를 추정하는데 목적이 있다.An apparatus and method for estimating a target marker position according to an exemplary embodiment of the present invention have an object of detecting a target marker included in an image and estimating a position of the detected target marker.

본 발명은 영상에 포함된 타겟 마커를 정확하게 검출하고, 검출된 타겟 마커의 위치를 정밀하게 추정하는데 목적이 있다.An object of the present invention is to accurately detect a target marker included in an image and to accurately estimate the position of the detected target marker.

또한, 본 발명은 다양한 영상 및 촬영 환경에서도 타겟 마커의 위치를 정확하게 추정하는데 목적이 있다.In addition, an object of the present invention is to accurately estimate the position of the target marker even in various images and shooting environments.

또한, 본 발명은 타겟 마커 위치 추정 시 효율적이고, 빠른 처리 속도를 제공하는데 목적이 있다.In addition, an object of the present invention is to provide an efficient and fast processing speed when the target marker position is estimated.

본 발명의 기술적 사상에 따른 타겟 마커 위치 추정 장치 및 방법이 이루고자 하는 기술적 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved by the apparatus and method for estimating the target marker position according to the technical idea of the present invention is not limited to the above-mentioned task (s), and another task (s) not mentioned above are apparent to those skilled in the art from the following description. Can be understood.

본 발명의 기술적 사상에 의한 일 양태에 따른 타겟 마커의 위치 추정 방법은 타겟 마커를 포함하는 영상을 획득하는 단계; 상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하는 단계; 상기 추출된 후보군에서 상기 타겟 마커를 분류하는 단계; 및 상기 분류된 타겟 마커의 중심 좌표를 추정하는 단계를 포함할 수 있다.According to an aspect of the inventive concept, a method of estimating a position of a target marker includes: obtaining an image including a target marker; Extracting a candidate group for the target marker from the obtained image; Classifying the target markers from the extracted candidate group; And estimating the center coordinates of the classified target markers.

예시적인 실시예에 따르면, 상기 후보군을 추출하는 단계는 상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하기 위해, 복수의 픽셀이 연결된 객체들을 탐색하는 단계와, 탐색된 적어도 하나의 객체를 상기 후보군으로 추출하는 단계를 포함할 수 있다.According to an exemplary embodiment, the extracting of the candidate group may include searching for objects connected to a plurality of pixels to extract the candidate group for the target marker from the obtained image, and extracting the at least one searched object. And extracting the candidate group.

예시적인 실시예에 따르면, 상기 타겟 마커를 분류하는 단계는 상기 추출된 후보군에 포함된 복수의 객체 각각에 대해, 객체 내 좌표 데이터들의 분산이 가장 큰 방향 벡터인 제1 벡터와, 상기 제1 벡터와 직교하는 제2 벡터를 탐색하는 단계와, 상기 제1 벡터의 크기와 상기 제2 벡터의 크기 간의 비율을 계산하는 단계와, 상기 계산된 비율을 기초로, 상기 추출된 후보군에서 상기 타겟 마커를 분류하는 단계를 포함할 수 있다.According to an exemplary embodiment, the classifying the target marker may include: a first vector having a variance of coordinate data within an object having the largest direction vector for each of the plurality of objects included in the extracted candidate group; and the first vector Searching for a second vector orthogonal to; calculating a ratio between the magnitude of the first vector and the magnitude of the second vector; and calculating the target marker from the extracted candidate group based on the calculated ratio. Classification may be included.

예시적인 실시예에 따르면, 상기 계산된 비율을 기초로, 상기 추출된 후보군에서 상기 타겟 마커를 분류하는 단계는 상기 추출된 후보군에 포함된 복수의 객체 중 원(circle)에 대응하는 객체에 대해 계산된 비율이 1에 가장 가까운 객체를 상기 타겟 마커로 분류하는 단계를 포함할 수 있다.According to an exemplary embodiment, based on the calculated ratio, classifying the target markers from the extracted candidate group may be calculated for an object corresponding to a circle among a plurality of objects included in the extracted candidate group. And classifying the object having the closest ratio close to 1 into the target marker.

예시적인 실시예에 따르면, 상기 산출된 중심 좌표에 대응하는 현재 프레임의 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 추정된 중심 좌표를 최적화하는 단계를 더 포함할 수 있다.According to an exemplary embodiment, the method may further include optimizing the estimated center coordinates by using center coordinate information of a previous frame of the current frame corresponding to the calculated center coordinates.

예시적인 실시예에 따르면, 상기 최적화하는 단계는 상기 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 현재 프레임에서의 중심 좌표를 예측하는 단계와, 상기 예측된 현재 프레임에서의 중심 좌표와 상기 산출된 중심 좌표를 비교하여, 상기 현재 프레임에서의 중심 좌표를 보정하는 단계를 포함할 수 있다.According to an exemplary embodiment, the optimizing may include predicting the center coordinates of the current frame by using the center coordinate information of the previous frame, the center coordinates of the predicted current frame and the calculated values. Comparing the center coordinates, correcting the center coordinates in the current frame.

예시적인 실시예에 따르면, 상기 타겟 마커의 중심 좌표를 추정하는 단계는 상기 타겟 마커에 포함된 복수의 마커 각각의 중심 좌표를 검출하는 단계와, 상기 검출된 복수의 마커 각각의 중심 좌표의 평균 좌표를 산출하는 단계를 포함할 수 있다.According to an exemplary embodiment, estimating the center coordinates of the target marker may include detecting center coordinates of each of the plurality of markers included in the target marker, and average coordinates of the center coordinates of each of the detected plurality of markers. It may include the step of calculating.

예시적인 실시예에 따르면, 상기 타겟 마커는 중첩된 복수의 원(circle)을 포함할 수 있다.According to an exemplary embodiment, the target marker may include a plurality of overlapping circles.

예시적인 실시예에 따르면, 상기 중심 좌표를 추정하는 단계는 상기 중첩된 복수의 원 각각의 중심 좌표를 검출하는 단계와, 상기 검출된 복수의 원 각각의 중심 좌표의 평균 좌표를 산출하는 단계를 포함할 수 있다.According to an exemplary embodiment, estimating the center coordinates includes detecting center coordinates of each of the overlapping circles and calculating average coordinates of the center coordinates of each of the detected plurality of circles. can do.

예시적인 실시예에 따르면, 상기 후보군을 추출하는 단계는 상기 획득된 영상에서, 상기 타겟 마커에 대응하는 복수의 원을 추출하는 단계를 포함하고, 상기 타겟 마커를 분류하는 단계는 상기 추출된 복수의 원 중 중첩된 원의 수를 기초로, 상기 타겟 마커를 분류하는 단계를 포함할 수 있다.According to an exemplary embodiment, the extracting of the candidate group may include extracting a plurality of circles corresponding to the target markers from the obtained image, and classifying the target markers may include extracting the plurality of circles. And classifying the target marker based on the number of overlapping circles among the circles.

본 발명의 기술적 사상에 의한 다른 양태에 따른 타겟 마커 위치 추정 장치는 적어도 하나의 프로세서; 및 상기 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 상기 프로세서가 실행 시에, 타겟 마커를 포함하는 영상을 획득하고, 상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하고, 상기 추출된 후보군에서 상기 타겟 마커를 분류하고, 상기 분류된 타겟 마커의 중심 좌표를 추정하도록 하는 인스트럭션들을 저장할 수 있다.According to another aspect of the inventive concept, an apparatus for estimating target marker position may include at least one processor; And a memory electrically connected to the processor, wherein the memory, when executed by the processor, obtains an image including a target marker, extracts a candidate group for the target marker from the obtained image, and Instructions for classifying the target markers in the extracted candidate group and estimating the center coordinates of the classified target markers may be stored.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서가 실행 시에, 상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하기 위해, 복수의 픽셀이 연결된 객체들을 탐색하고, 탐색된 적어도 하나의 객체를 상기 후보군으로 추출하도록 하는 인스트럭션들을 저장할 수 있다. According to an exemplary embodiment, when the processor is executed, the memory searches for objects connected to a plurality of pixels to extract candidate groups for the target markers from the obtained image, and the searched at least one Instructions for extracting an object into the candidate group may be stored.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서가 실행 시에, 상기 추출된 후보군에 포함된 복수의 객체 각각에 대해, 객체 내 좌표 데이터들의 분산이 가장 큰 방향 벡터인 제1 벡터와, 상기 제1 벡터와 직교하는 제2 벡터를 탐색하고, 상기 제1 벡터의 크기와 상기 제2 벡터의 크기 간의 비율을 계산하고, 상기 계산된 비율을 기초로, 상기 추출된 후보군에서 상기 타겟 마커를 분류하도록 하는 인스트럭션들을 저장할 수 있다.According to an exemplary embodiment, the memory, when the processor is executed, for each of a plurality of objects included in the extracted candidate group, the first vector is the direction vector of the largest variance of the coordinate data in the object, and the Search for a second vector orthogonal to a first vector, calculate a ratio between the size of the first vector and the size of the second vector, and classify the target marker in the extracted candidate group based on the calculated ratio You can store instructions that let you do this.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서가 실행 시에, 상기 추출된 후보군에 포함된 복수의 객체 중 원(circle)에 대응하는 객체에 대해 계산된 비율이 1에 가장 가까운 비율을 갖는 객체를 상기 타겟 마커로 분류하도록 하는 인스트럭션들을 저장할 수 있다.According to an exemplary embodiment, the memory, when the processor is executed, the ratio calculated for the object corresponding to the circle (circle) of the plurality of objects included in the extracted candidate group has a ratio closest to 1 Instructions for classifying an object as the target marker may be stored.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서가 실행 시에, 상기 산출된 중심 좌표에 대응하는 현재 프레임의 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 추정된 중심 좌표를 최적화하도록 하는 인스트럭션들을 저장할 수 있다.According to an exemplary embodiment, the memory is configured to cause the processor to, when executed, optimize the estimated center coordinates by using the center coordinate information of the previous frame of the current frame corresponding to the calculated center coordinates. You can save them.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서가 실행 시에, 상기 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 현재 프레임에서의 중심 좌표를 예측하고, 상기 예측된 현재 프레임에서의 중심 좌표와 상기 산출된 중심 좌표를 비교하여, 상기 현재 프레임에서의 중심 좌표를 보정하도록 하는 인스트럭션들을 저장할 수 있다.According to an exemplary embodiment, the memory, when executed by the processor, predicts the center coordinates in the current frame using the center coordinate information in the previous frame, and the center coordinates in the predicted current frame. And instructions for comparing the calculated center coordinates with each other to correct the center coordinates in the current frame.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서가 실행 시에, 상기 타겟 마커에 포함된 복수의 마커 각각의 중심 좌표를 검출하고, 상기 검출된 복수의 마커 각각의 중심 좌표의 평균 좌표를 산출하도록 하는 인스트럭션들을 저장할 수 있다.According to an exemplary embodiment, when the processor is executed, the memory detects the center coordinates of each of the plurality of markers included in the target marker, and calculates the average coordinates of the center coordinates of each of the detected plurality of markers. You can store instructions that let you do this.

예시적인 실시예에 따르면, 상기 타겟 마커는 중첩된 복수의 원(circle)을 포함할 수 있다.According to an exemplary embodiment, the target marker may include a plurality of overlapping circles.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서 실행 시에, 상기 중첩된 복수의 원 각각의 중심 좌표를 검출하고, 상기 검출된 복수의 원 각각의 중심 좌표의 평균 좌표를 산출하도록 하는 인스트럭션들을 저장할 수 있다.According to an exemplary embodiment, the memory may be configured to, when executing the processor, instructions to detect the center coordinates of each of the overlapping circles and to calculate the average coordinates of the center coordinates of each of the detected plurality of circles. Can be stored.

예시적인 실시예에 따르면, 상기 메모리는, 상기 프로세서 실행 시에, 상기 획득된 영상에서, 상기 타겟 마커에 대응하는 복수의 원을 추출하고, 상기 추출된 복수의 원 중 중첩된 원의 수를 기초로, 상기 타겟 마커를 분류하도록 하는 인스트럭션들을 저장할 수 있다. According to an exemplary embodiment, when the processor is executed, the memory extracts a plurality of circles corresponding to the target markers from the obtained image, and based on the number of overlapping circles among the extracted plurality of circles. As a result, instructions for classifying the target marker may be stored.

본 발명의 기술적 사상에 의한 실시예들에 따른 타겟 마커 위치 추정 장치 및 방법은 영상에 포함된 타겟 마커를 검출하고, 검출된 타겟 마커의 위치를 추정할 수 있다.The apparatus and method for estimating the target marker position according to embodiments of the inventive concept may detect a target marker included in an image and estimate the position of the detected target marker.

본 발명은 영상에 포함된 타겟 마커를 정확하게 검출하고, 검출된 타겟 마커의 위치를 정밀하게 추정할 수 있다.The present invention can accurately detect a target marker included in an image, and accurately estimate the position of the detected target marker.

또한, 본 발명은 다양한 영상 및 촬영 환경에서도 타겟 마커의 위치를 정확하게 추정할 수 있다. In addition, the present invention can accurately estimate the position of the target marker even in various images and shooting environments.

또한, 본 발명은 타겟 마커 위치 추정 시 효율적이고, 빠른 처리 속도를 제공할 수 있다. In addition, the present invention can provide an efficient and fast processing speed in the target marker position estimation.

본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 다양한 실시예에 따른 타겟 마커 위치 추정 장치의 구성을 나타내는 블록도이다.
도 2는 본 발명의 다양한 실시예에 따른 타겟 마커 위치 추정 장치의 기능적 구성을 나타내는 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 타겟 마커 위치 추정 방법에 대한 흐름도이다.
도 4는 본 발명의 다양한 실시예에 따른 획득된 영상에 대한 예시이다.
도 5는 본 발명의 다양한 실시예에 따른 변환된 영상에 대한 예시이다.
도 6은 본 발명의 다양한 실시예에 따른 대상 객체의 벡터 비에 대한 예시도이다.
도 7은 본 발명의 다양한 실시예에 따른 타겟 마커가 분류된 영상에 대한 예시이다.
도 8은 본 발명의 다양한 실시예에 따른 타겟 마커에 대한 예시도이다.
도 9는 본 발명의 다양한 실시예에 따른 타겟 마커 검출 및 좌표 산출에 대한 예시도이다.BRIEF DESCRIPTION OF THE DRAWINGS In order to better understand the drawings referred to herein, a brief description of each drawing is provided.
1 is a block diagram illustrating a configuration of a target marker position estimating apparatus according to various embodiments of the present disclosure.
2 is a block diagram illustrating a functional configuration of an apparatus for estimating a target marker position according to various embodiments of the present disclosure.
3 is a flowchart illustrating a target marker position estimation method according to various embodiments of the present disclosure.
4 is an example of an acquired image according to various embodiments of the present disclosure.
5 is an example of a converted image according to various embodiments of the present disclosure.
6 is an exemplary diagram of a vector ratio of a target object according to various embodiments of the present disclosure.
7 is a diagram illustrating an image in which target markers are classified according to various embodiments of the present disclosure.
8 is an exemplary diagram of a target marker according to various embodiments of the present disclosure.
9 is a diagram illustrating target marker detection and coordinate calculation according to various embodiments of the present disclosure.

본 발명의 기술적 사상은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명의 기술적 사상을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상의 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technical spirit of the present invention may be variously modified and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail with reference to the accompanying drawings. However, this is not intended to limit the technical spirit of the present invention to specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the scope of the technical spirit of the present invention.

본 발명의 기술적 사상을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 기술적 사상의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the technical idea of the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the gist of the technical idea of the present invention, the detailed description thereof will be omitted. In addition, numerals (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from another component.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.In addition, in the present specification, when one component is referred to as "connected" or "connected" with another component, the one component may be directly connected or directly connected to the other component, but in particular It is to be understood that, unless there is an opposite substrate, it may be connected or connected via another component in the middle.

또한, 본 명세서에 기재된 "~부", "~기", "~자", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 프로세서(Processor), 마이크로 프로세서(Micro Processor), 어플리케이션 프로세서(Application Processor), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. In addition, the terms "~ part", "~ group", "~ ruler", "~ module", etc. described herein refer to a unit for processing at least one function or operation, which is a processor, a micro Processor, Application Processor, Micro Controller, Central Processing Unit (CPU), Graphics Processing Unit (GPU), Accelerate Processor Unit (APU), Digital Signal Processor (DSP), ASIC ( It may be implemented by hardware or software such as an application specific integrated circuit (FPGA), a field programmable gate array (FPGA), or a combination of hardware and software.

그리고 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.In addition, it is intended to clarify that the division of the components in the present specification is only divided by the main function of each component. That is, two or more components to be described below may be combined into one component, or one component may be provided divided into two or more according to more detailed functions. Each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions of the components, and some of the main functions of each of the components are different. Of course, it may be carried out exclusively by.

이하, 본 발명의 기술적 사상에 의한 실시예들을 차례로 상세히 설명한다.Hereinafter, embodiments according to the spirit of the present invention will be described in detail.

도 1은 본 발명의 다양한 실시예에 따른 타겟 마커 위치 추정 장치의 구성을 나타내는 블록도이다.1 is a block diagram illustrating a configuration of a target marker position estimating apparatus according to various embodiments of the present disclosure.

도 1을 참조하면, 타겟 마커 위치 추정 장치(100)는 프로세서(110) 및 메모리(130)를 포함할 수 있다. Referring to FIG. 1, the target marker position estimating apparatus 100 may include a processor 110 and a memory 130.

프로세서(110)은 적어도 하나의 프로세서를 포함할 수 있다. The processor 110 may include at least one processor.

프로세서(110)는 획득된 영상에서 타겟 마커를 인식하고, 인식된 타겟 마커의 위치를 추정할 수 있다.The processor 110 may recognize the target marker in the acquired image and estimate the position of the recognized target marker.

메모리(130)는 타겟 마커 위치 추정 장치(100)의 동작과 관련된 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(130)는 타겟 마커 위치 추정 장치(100)가 타겟 마커를 인식하고, 인식된 타겟 마커의 위치를 추정하기 위한 인스트럭션들을 저장할 수 있다.The memory 130 may store various data related to the operation of the target marker position estimating apparatus 100. For example, the memory 130 may store instructions for the target marker position estimation apparatus 100 to recognize the target marker and estimate the position of the recognized target marker.

메모리(130)는 스토리지(storage)를 포함할 수 있다.The memory 130 may include storage.

타겟 마커 위치 추정 장치(100)는 하나의 장치로 구현될 수 있고, 복수의 장치로도 구현될 수 있다. The target marker position estimating apparatus 100 may be implemented by one apparatus or may be implemented by a plurality of apparatuses.

상술한 구성 이외에도, 타겟 마커 위치 추정 장치(100)는 다양한 구성을 포함할 수 있다.In addition to the above-described configuration, the target marker position estimation apparatus 100 may include various configurations.

예를 들면, 타겟 마커 위치 추정 장치(100)는 영상을 획득하는 카메라(미도시)를 포함할 수 있다. 카메라는 타겟 마커 위치 추정 장치(100)에 연결된 별도의 구성일 수 있고, 통신 네트워크를 통해 획득된 영상을 타겟 마커 위치 추정 장치(100)에 전달할 수도 있다. For example, the target marker position estimation apparatus 100 may include a camera (not shown) for acquiring an image. The camera may be a separate component connected to the target marker position estimating apparatus 100, or may transmit an image obtained through the communication network to the target marker position estimating apparatus 100.

또한, 타겟 마커 위치 추정 장치(100)는 통신 네트워크를 통해 전달되는 영상을 수신하기 위한 통신 모듈을 더 포함할 수 있다.In addition, the target marker position estimation apparatus 100 may further include a communication module for receiving an image transmitted through a communication network.

도 2를 참조하여 타겟 마커 위치 추정 장치(100)에 대해 더 구체적으로 설명한다.The target marker position estimation apparatus 100 will be described in more detail with reference to FIG. 2.

도 2는 본 발명의 다양한 실시예에 따른 타겟 마커 위치 추정 장치의 기능적 구성을 나타내는 블록도이다.2 is a block diagram illustrating a functional configuration of an apparatus for estimating a target marker position according to various embodiments of the present disclosure.

도 2를 참조하면, 타겟 마커 위치 추정 장치(100)의 기능적인 구성으로, 영상 획득 모듈(210), 영상 분할 모듈(220), 타겟 마커 분류 모듈(230), 타겟 마커 검출 모듈(240), 좌표 저장 모듈(250) 및 중심 좌표 조절 모듈(260)을 포함할 수 있다.2, as a functional configuration of the target marker position estimation apparatus 100, the image acquisition module 210, the image segmentation module 220, the target marker classification module 230, the target marker detection module 240, The coordinate storage module 250 and the center coordinate adjustment module 260 may be included.

영상 획득 모듈(210)은 영상을 획득할 수 있다.The image acquisition module 210 may acquire an image.

예를 들면, 영상 획득 모듈(210)은 다양한 종류의 영상을 획득할 수 있고, 영상을 직접 획득하거나 전송되는 영상 데이터를 획득할 수 있다. For example, the image acquisition module 210 may acquire various types of images, and may directly acquire images or obtain image data transmitted.

영상 획득 모듈(210)은 영상을 획득하기 위한 카메라 또는 카메라 모듈을 포함할 수도 있다.The image acquisition module 210 may include a camera or a camera module for acquiring an image.

영상 분할 모듈(220)은 획득된 영상에서 타겟 마커의 후보군을 추출할 수 있다.The image segmentation module 220 may extract a candidate group of target markers from the obtained image.

타겟 마커 분류 모듈(230)은 타겟 마커의 특징을 이용하여 타겟 마커의 후보군에서 타겟 마커를 분류할 수 있다.The target marker classification module 230 may classify the target markers in the candidate group of the target markers using the features of the target markers.

타겟 마커 검출 모듈(240)은 타겟 마커를 검출하고, 검출된 타겟 마커의 위치 좌표를 검출할 수 있다.The target marker detection module 240 may detect the target marker and detect the position coordinates of the detected target marker.

좌표 저장 모듈(250)은 검출된 타겟 마커의 위치 좌표를 저장할 수 있다.The coordinate storage module 250 may store the position coordinates of the detected target marker.

중심 좌표 조절 모듈(260)은 영상의 이전 프레임의 타겟 마커의 위치 좌표를 이용하여, 현재 프레임의 타겟 마커의 위치 좌표를 최적화할 수 있다.The center coordinate adjustment module 260 may optimize the position coordinates of the target marker of the current frame by using the position coordinates of the target marker of the previous frame of the image.

상술한 타겟 마커 위치 추정 장치(100)의 기능적인 모듈들은 상술한 프로세서(110) 및 메모리(130)로 구현될 수 있으며, 마이크로 프로세서(Micro Processor), 어플리케이션 프로세서(Application Processor), 마이크로 컨트롤러(Micro Controller), CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerate Processor Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등과 같은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다. The functional modules of the target marker position estimation apparatus 100 described above may be implemented by the processor 110 and the memory 130, and may include a microprocessor, an application processor, and a microcontroller. Hardware such as a controller, central processing unit (CPU), graphics processing unit (GPU), accelerator processor unit (APU), digital signal processor (DSP), application specific integrated circuit (ASIC), field programmable gate array (FPGA) It may be implemented in software or a combination of hardware and software.

도 3을 참조하여 타겟 마커 위치 추정 장치의 동작 방법에 대해 설명한다.An operation method of the target marker position estimation apparatus will be described with reference to FIG. 3.

도 3은 본 발명의 다양한 실시예에 따른 타겟 마커 위치 추정 장치의 동작 방법에 대한 흐름도이다.3 is a flowchart illustrating a method of operating a target marker position estimation apparatus according to various embodiments of the present disclosure.

도 3을 참조하면, 타겟 마커 위치 추정 장치(100)는 타겟 마커를 포함하는 영상을 획득할 수 있다(S300).Referring to FIG. 3, the target marker position estimation apparatus 100 may acquire an image including the target marker (S300).

예를 들면, 타겟 마커 위치 추정 장치(100)는 포함된 카메라를 통해, 타겟 마커를 포함하는 영상을 획득할 수 있다.For example, the target marker position estimation apparatus 100 may acquire an image including the target marker through the included camera.

다른 예로, 타겟 마커 위치 추정 장치(100)는 타겟 마커를 포함하는 영상 데이터를 획득할 수 있다.As another example, the target marker position estimation apparatus 100 may obtain image data including the target marker.

타겟 마커 위치 추정 장치(100)는 획득된 영상에서 마커 후보군을 추출할 수 있다(S320).The target marker position estimation apparatus 100 may extract the marker candidate group from the acquired image (S320).

예를 들면, 타겟 마커 위치 추정 장치(100)는 획득된 영상에서 타켓 마커에 대응하는 마커 후보군을 추출할 수 있다. 구체적으로, 타겟 마커 위치 추정 장치(100)는 획득된 영상 내에 포함된 타겟 마커와 유사한 마커들을 마커 후보군으로 추출할 수 있다.For example, the target marker position estimation apparatus 100 may extract a marker candidate group corresponding to the target marker from the acquired image. In detail, the target marker location estimating apparatus 100 may extract markers similar to the target marker included in the acquired image, to the marker candidate group.

일 실시예로, 타겟 마커가 중첩된 복수의 원(circle)인 경우, 타겟 마커 위치 추정 장치(100)는 획득된 영상에서, 원(circle)의 후보군을 추출할 수 있다.In an embodiment, when the target markers are a plurality of overlapping circles, the target marker position estimation apparatus 100 may extract candidate groups of circles from the obtained image.

타겟 마커 위치 추정 장치(100)는 획득된 영상을 이진화하여, 마커 후보군을 추출할 수 있다.The target marker position estimation apparatus 100 may binarize the acquired image and extract a marker candidate group.

타겟 마커 위치 추정 장치(100)는 다양한 방식으로 이진화할 수 있다. 예를 들면, 타겟 마커 위치 추정 장치(100)는 레티넥스 필터링(Retinex filtering)을 통해 영상을 이진화할 수 있다. The target marker position estimation apparatus 100 may binarize in various ways. For example, the target marker position estimation apparatus 100 may binarize an image through Retinex filtering.

또한, 타겟 마커 위치 추정 장치(100)는 공개된 논문 "State Estimation in a Document Image and Its Application in Text Block Identification and Text Line Extraction" (Hyung Il Koo, Nam Ik Cho, European Conference on Computer Vision 2010)에 개시된 방식을 이용할 수 있다.In addition, the target marker position estimating apparatus 100 is disclosed in published paper "State Estimation in a Document Image and Its Application in Text Block Identification and Text Line Extraction" (Hyung Il Koo, Nam Ik Cho, European Conference on Computer Vision 2010). The disclosed schemes can be used.

타겟 마커 위치 추정 장치(100)는 획득된 영상에서 마커 후보군을 추출하기 위한 다양한 방법을 수행할 수 있다.The target marker position estimation apparatus 100 may perform various methods for extracting marker candidate groups from the acquired image.

예를 들면, 타겟 마커 위치 추정 장치(100)는 획득된 영상 내에 연결된 객체들을 탐색할 수 있고, 인접 픽셀을 탐색하고, 유사한 픽셀을 연결할 수 있다. 여기서 연결된 객체는 복수의 픽셀이 연결된 객체를 의미할 수 있다. 그리고 타겟 마커 위치 추정 장치(100)는 이진화된 영상 내에서 연결된 객체들을 탐색하여, 유사한 픽셀들을 연결할 수도 있다.For example, the target marker position estimation apparatus 100 may search for objects connected in the acquired image, search for adjacent pixels, and connect similar pixels. Here, the connected object may mean an object to which a plurality of pixels are connected. In addition, the target marker position estimation apparatus 100 may search for connected objects in the binarized image and connect similar pixels.

타겟 마커 위치 추정 장치(100)는 이와 같은 연결된 성분 라벨링(connected component labeling) 방식을 이용할 수 있다.The target marker position estimation apparatus 100 may use the connected component labeling scheme.

일 실시예로, 타겟 마커 위치 추정 장치(100)는 연결된 성분 라벨링 방식을 이용하여, 획득된 영상에서 원(circle)의 후보군을 추출할 수 있다.In one embodiment, the target marker position estimation apparatus 100 may extract a candidate group of circles from the obtained image by using a connected component labeling method.

타겟 마커 위치 추정 장치(100)는 연결 요소를 추출한 후, 필터링을 통해 후보군을 추출할 수 있다. 여기서 필터링 방식은 다양한 방식이 이용될 수 있다.The target marker position estimation apparatus 100 may extract the connection element and then extract the candidate group through filtering. In this case, various filtering methods may be used.

도 4 내지 도 5를 참조하여 설명한다.This will be described with reference to FIGS. 4 to 5.

도 4는 본 발명의 다양한 실시예에 따른 획득된 영상에 대한 예시이다.4 is an example of an acquired image according to various embodiments of the present disclosure.

도 5는 본 발명의 다양한 실시예에 따른 변환된 영상에 대한 예시이다.5 is an example of a converted image according to various embodiments of the present disclosure.

도 4를 참조하면, 타겟 마커 위치 추정 장치(100)는 타겟 마커인 중첩된 원을 포함하는 영상을 획득할 수 있다. 타겟 마커 위치 추정 장치(100)는 획득된 영상에서, 연결된 성분 라벨링 방식을 이용하여 원(circle)을 추출할 수 있다. 이에 따라 도 5에 도시된 것과 같이, 타겟 마커 위치 추정 장치(100)는 타겟 마커인 중첩된 원들에 대한 원의 후보군을 추출할 수 있다.Referring to FIG. 4, the target marker position estimation apparatus 100 may acquire an image including an overlapping circle that is a target marker. The target marker position estimation apparatus 100 may extract a circle from the acquired image by using a connected component labeling scheme. Accordingly, as shown in FIG. 5, the target marker position estimation apparatus 100 may extract a candidate group of circles for overlapping circles that are target markers.

다시 도 3을 참조한다.Reference is again made to FIG. 3.

타겟 마커 위치 추정 장치(100)는 추출된 마커 후보군에 포함된 타겟 마커를 분류할 수 있다(S340).The target marker position estimation apparatus 100 may classify the target marker included in the extracted marker candidate group (S340).

예를 들면, 타겟 마커 위치 추정 장치(100)는 추출된 마커 후보군에 포함된 복수의 후보들 중 타겟 마커를 분류할 수 있다.For example, the target marker position estimation apparatus 100 may classify the target marker among a plurality of candidates included in the extracted marker candidate group.

일 실시예로, 타겟 마커 위치 추정 장치(100)는 추출된 후보군에 포함된 복수의 후보들인 복수의 객체 각각에 대한 벡터 비율을 이용하여, 타겟 마커를 분류할 수 있다.In one embodiment, the target marker position estimating apparatus 100 may classify the target markers by using a vector ratio of each of a plurality of candidates included in the extracted candidate group.

구체적으로, 타겟 마커 위치 추정 장치(100)는 추출된 후보군에 포함된 복수의 객체 각각의 객체 내 좌표 데이터들의 분산이 가장 큰 방향 벡터인 제1 벡터와, 제1 벡터와 직교하는 제2 벡터를 탐색할 수 있다. 타겟 마커 위치 추정 장치(100)는 제1 벡터의 크기와 제2 벡터의 크기 간의 비율을 계산할 수 있고, 계산된 비율을 기초로, 복수의 객체 중 타겟 마커를 분류할 수 있다. 이러한 과정을 Aspect Ratio 테스트라고 칭할 수도 있다.In detail, the target marker position estimation apparatus 100 may determine a first vector having a variance of the coordinate data in the object of each of the plurality of objects included in the extracted candidate group and a second vector orthogonal to the first vector. You can navigate. The target marker position estimation apparatus 100 may calculate a ratio between the size of the first vector and the size of the second vector, and classify the target markers among the plurality of objects based on the calculated ratio. This process may be referred to as an aspect ratio test.

이에 대해 도 6 내지 도 7을 참조하여 설명한다.This will be described with reference to FIGS. 6 to 7.

도 6은 본 발명의 다양한 실시예에 따른 대상 객체의 벡터 비에 대한 예시도이다.6 is an exemplary diagram of a vector ratio of a target object according to various embodiments of the present disclosure.

도 7은 본 발명의 다양한 실시예에 따른 타겟 마커가 분류된 영상에 대한 예시이다.7 is a diagram illustrating an image in which target markers are classified according to various embodiments of the present disclosure.

도 6을 참조하면, 타겟 마커 위치 추정 장치(100)는 타겟 마커가 원(circle)인 경우, 객체 내 좌표 데이터들의 분산이 가장 큰 방향 벡터인 제1 벡터(A)와, 제1 벡터(A)와 직교하는 제2 벡터(B)를 탐색할 수 있다. 타겟 마커 위치 추정 장치(100)는 제1 벡터(A)의 크기와 제2 벡터(B)의 크기 간의 비율을 계산할 수 있고, 계산된 비율이 1에 가까우면, 해당 객체를 원으로 판단할 수 있다. 그리고 타겟 마커 위치 추정 장치(100)는 원으로 판단된 객체를 타겟 마커로 분류할 수 있다.Referring to FIG. 6, when the target marker is a circle, the target marker position estimating apparatus 100 may include a first vector A having a direction vector having the largest dispersion of coordinate data in an object and a first vector A. FIG. ) May be searched for a second vector B orthogonal to The target marker position estimation apparatus 100 may calculate a ratio between the size of the first vector A and the size of the second vector B. If the calculated ratio is close to 1, the target marker position estimation apparatus 100 may determine the object as a circle. have. In addition, the target marker location estimation apparatus 100 may classify the object determined as a circle as a target marker.

예를 들면, 도 7과 같이, 타겟 마커 위치 추정 장치(100)는 획득된 영상에서, 복수의 중첩된 원을 타겟 마커를 분류한 영상을 획득할 수 있다. 그리고 획득된 영상은 최초 획득된 영상에서 타겟 마커만이 표시되는 영상일 수 있다.For example, as shown in FIG. 7, the target marker position estimation apparatus 100 may obtain an image obtained by classifying target markers from a plurality of overlapping circles. The obtained image may be an image in which only a target marker is displayed in the first obtained image.

다시 도 3을 참조한다.Reference is again made to FIG. 3.

타겟 마커 위치 추정 장치(100)는 분류된 타겟 마커의 중심 좌표를 산출할 수 있다(S360).The target marker position estimation apparatus 100 may calculate center coordinates of the classified target markers (S360).

타겟 마커 위치 추정 장치(100)는 분류된 타겟 마커의 종류에 따라, 타겟 마커의 중심 좌표를 산출할 수 있다.The target marker position estimation apparatus 100 may calculate the center coordinates of the target marker according to the classified target marker type.

예를 들면, 타겟 마커가 중첩된 복수의 원(circle)인 경우, 타겟 마커 위치 추정 장치(100)는 타겟 마커에 대응하는 복수의 중첩된 원 각각의 중심 좌표를 산출하고, 산출된 중심 좌표들의 평균 좌표를 타겟 마커의 중심 좌표로 산출할 수 있다.For example, when the target marker is a plurality of overlapping circles, the target marker position estimating apparatus 100 calculates the center coordinates of each of the plurality of overlapping circles corresponding to the target marker, and calculates the calculated center coordinates. The average coordinate may be calculated as the center coordinate of the target marker.

도 8을 참조하여 설명한다.It demonstrates with reference to FIG.

도 8은 본 발명의 다양한 실시예에 따른 타겟 마커에 대한 예시도이다.8 is an exemplary diagram of a target marker according to various embodiments of the present disclosure.

도 8을 참조하면, 타겟 마커 위치 추정 장치(100)는 중첩된 복수의 원(810, 820, 830)을 타겟 마커로 분류한 경우, 중첩된 복수의 원(810, 820, 830) 각각의 중심 좌표를 산출하고, 산출된 중심 좌표들의 평균 좌표를 타겟 마커의 중심 좌표로 산출할 수 있다.Referring to FIG. 8, when the target marker location estimating apparatus 100 classifies a plurality of overlapping circles 810, 820, and 830 as target markers, the centers of the plurality of overlapping circles 810, 820, and 830 are centered. The coordinates may be calculated, and the average coordinates of the calculated center coordinates may be calculated as the center coordinates of the target marker.

여기서 도 8의 타겟 마커는 중첩된 복수의 원(circle)으로, 중심이 동일한 동심원(concentric circle)일 수 있다.Here, the target marker of FIG. 8 may be a plurality of overlapping circles and may be concentric circles having the same center.

타겟 마커 위치 추정 장치(100)는 타겟 마커로 분류된 복수의 객체가 있는 경우, 정해진 조건에 따라 하나의 객체의 중심 좌표를 산출할 수 있다.When there are a plurality of objects classified as target markers, the target marker position estimation apparatus 100 may calculate the center coordinates of one object according to a predetermined condition.

예를 들면, 타겟 마커 위치 추정 장치(100)는 타겟 마커로 분류된 복수의 객체가 있는 경우, 미리 정해진 조건에 해당하는 객체를 타겟 마커로 선택하고, 선택된 타겟 마커의 중심 좌표를 산출할 수 있다.For example, when there are a plurality of objects classified as target markers, the target marker position estimation apparatus 100 may select an object corresponding to a predetermined condition as a target marker and calculate a center coordinate of the selected target marker. .

여기서 정해진 조건은 다양한 조건이 설정 또는 선택될 수 있다.In this case, various conditions may be set or selected.

일 실시예로, 타겟 마커 위치 추정 장치(100)는 타겟 마커가 중첩된 복수의 원(circle)인 경우, 중첩된 원의 수가 가장 많은 객체를 타겟 마커로 선택할 수 있다. 이에 따라, 타겟 마커 위치 추정 장치(100)는 중첩된 원의 수가 4개인 객체와 중첩된 원의 수가 3개인 객체가 포함된 경우, 중첩된 원의 수가 4개인 객체를 타겟 마커로 선택하고, 선택된 객체의 중심 좌표를 산출할 수 있다.According to an embodiment, when the target marker location estimating apparatus 100 is a plurality of overlapping circles, the target marker location estimation apparatus 100 may select an object having the largest number of overlapping circles as the target marker. Accordingly, when the target marker position estimation apparatus 100 includes an object having four overlapping circles and an object having three overlapping circles, the target marker position estimation apparatus 100 selects an object having four overlapping circles as a target marker and selects the selected marker. The center coordinates of an object can be calculated.

상술한 예시 이외에도 다양한 조건이 설정 또는 선택될 수 있으며, 중첩된 복수의 원의 수(number)뿐만 아니라, 중첩된 복수의 원의 간격, 원의 선 종류 및 굵기 등 다양한 조건이 이용될 수 있다.In addition to the above-described examples, various conditions may be set or selected, and various conditions such as the number of overlapping circles as well as the spacing of the plurality of overlapping circles, the line type and the thickness of the circles may be used.

다시 도 3을 참조한다.Reference is again made to FIG. 3.

타겟 마커 위치 추정 장치(100)는 이전 프레임의 중심 좌표 정보를 이용하여, 검출된 중심 좌표를 최적화할 수 있다(S380).The target marker position estimation apparatus 100 may optimize the detected center coordinates using the center coordinate information of the previous frame (S380).

예를 들면, 타겟 마커 위치 추정 장치(100)는 획득된 영상의 이전 프레임에서의 중심 좌표 정보를 이용하여, 현재 프레임에서의 중심 좌표를 예측할 수 있다. 그리고 타겟 마커 위치 추정 장치(100)는 현재 프레임에 대해 예측된 중심 좌표와, 상술한 과정에서 산출된 중심 좌표를 비교하여, 현재 프레임에서의 중심 좌표를 보정할 수 있다. For example, the target marker position estimation apparatus 100 may predict the center coordinates of the current frame by using the center coordinate information of the previous frame of the acquired image. The target marker position estimation apparatus 100 may compare the center coordinates predicted with respect to the current frame and the center coordinates calculated in the above-described process, and correct the center coordinates in the current frame.

타겟 마커 위치 추정 장치(100)는 칼만 필터(kalman filter)를 이용하여, 상술한 중심 좌표 최적화 과정을 수행할 수 있다. 이 때의 상태 변수(state variable)은 중심 좌표일 수 있다.The target marker position estimation apparatus 100 may perform the above-described center coordinate optimization process by using a kalman filter. In this case, the state variable may be a center coordinate.

상술한 과정을 통해, 본 발명의 다양한 실시예에 따른 타겟 마커 위치 추정 장치(100)는 타겟 마커를 인식하고, 인식된 타겟 마커의 위치 좌표를 산출할 수 있다.Through the above-described process, the target marker position estimation apparatus 100 according to various embodiments of the present disclosure may recognize the target marker and calculate the position coordinates of the recognized target marker.

도 9는 본 발명의 다양한 실시예에 따른 타겟 마커 검출 및 좌표 산출에 대한 예시도이다.9 is a diagram illustrating target marker detection and coordinate calculation according to various embodiments of the present disclosure.

도 9를 참조하면, 타겟 마커 위치 추정 장치(100)는 획득된 영상에서, 타겟 마커인 중첩된 복수의 원을 인식하고, 인식된 복수의 원 각각의 중심 좌표의 평균 좌표를 산출할 수 있다. 그래서 타겟 마커 위치 추정 장치(100)는 산출된 평균 좌표를 타겟 마커의 위치 좌표로 산출할 수 있다.Referring to FIG. 9, the target marker location estimating apparatus 100 may recognize a plurality of overlapping circles that are target markers in an acquired image and calculate an average coordinate of center coordinates of each of the recognized plurality of circles. Thus, the target marker position estimation apparatus 100 may calculate the calculated average coordinates as position coordinates of the target marker.

상술한 것과 같이, 다양한 실시예에 따른 본 발명은 영상 내에 포함된 타겟 마커를 검출하고, 인식된 타겟 마커의 위치 좌표를 추정할 수 있어서, 영상 데이터뿐만 아니라 영상 데이터와 연계된 측정 데이터를 활용할 때, 정확한 좌표 정보를 제공할 수 있다.As described above, according to various embodiments of the present disclosure, a target marker included in an image may be detected and a position coordinate of the recognized target marker may be estimated to utilize measurement data associated with the image data as well as the image data. It can provide accurate coordinate information.

특히, 본 발명은 스테레오 카메라가 아닌 단안 카메라로 촬영된 영상에서도, 타겟 마커의 정확한 위치 좌표를 산출할 수 있어서, 3D 노이즈 스캐너와 같이 3차원 공간 상의 자계 측정을 통해, 공간 자계를 가시화하고 분석할 때, 정확한 위치 좌표를 제공할 수 있다. 그리고 본 발명은 상술한 3D 노이즈 스캐너뿐만 아니라, 가시화된 측정이 필요한 다양한 장치에서, 공간 내의 정확한 위치 좌표와 측정 데이터를 제공하도록 할 수 있다.In particular, the present invention can calculate the exact position coordinates of the target marker even in the image photographed by the monocular camera, not the stereo camera, and visualize and analyze the spatial magnetic field through magnetic field measurement in three-dimensional space like a 3D noise scanner. When the correct position coordinates can be provided. In addition to the above-described 3D noise scanner, the present invention can provide accurate position coordinates and measurement data in space in various devices requiring visualized measurement.

본 발명은 상술한 것과 같이, 타겟 마커를 인식하고, 인식된 타겟 마커의 위치 좌표를 산출할 수 있어서, 영상 내의 특정 위치를 산출할 수 있다.As described above, the present invention may recognize the target marker, calculate the position coordinates of the recognized target marker, and calculate a specific position in the image.

또한, 본 발명은 중첩된 복수의 원과 같이, 실제로 드물게 존재하는 패턴을 이용할 수 있어서, 긍정 오류(false positive)와 같이, 타겟 마커가 아닌 객체를 타겟 마커로 인식할 가능성을 낮출 수 있다.In addition, the present invention may use a pattern that is rarely present in practice, such as a plurality of overlapping circles, thereby reducing the likelihood of recognizing an object that is not a target marker as a target marker, such as a false positive.

또한, 본 발명은 중첩된 복수의 원 각각의 중심 좌표의 평균을 타겟 마커의 위치 좌표로 결정할 수 있어서, 높은 정확성을 갖는 위치 좌표를 제공할 수 있다.In addition, the present invention can determine the average of the center coordinates of each of the plurality of overlapping circles as the position coordinates of the target marker, thereby providing a position coordinate with high accuracy.

또한, 본 발명은 간단한 알고리즘을 이용하여, 타겟 마커 인식과 위치 좌표 산출을 빠르게 수행할 수 있다. In addition, the present invention can quickly perform target marker recognition and position coordinate calculation using a simple algorithm.

이상, 본 발명의 기술적 사상을 다양한 실시 예들을 들어 상세하게 설명하였으나, 본 발명의 기술적 사상은 상기 실시 예들에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.As mentioned above, although the technical idea of the present invention has been described in detail with reference to various embodiments, the technical idea of the present invention is not limited to the above embodiments, and those skilled in the art within the scope of the technical idea of the present invention. Various modifications and changes are possible by the.

Claims (20)

타겟 마커를 포함하는 영상을 획득하는 단계;
상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하는 단계;
상기 추출된 후보군에 포함된 복수의 객체 각각에 대해, 객체 내 좌표 데이터들의 분산이 가장 큰 방향 벡터인 제1 벡터와, 상기 제1 벡터와 직교하는 제2 벡터를 탐색하는 단계;
상기 제1 벡터의 크기와 상기 제2 벡터의 크기 간의 비율을 계산하는 단계;
상기 계산된 비율을 기초로, 상기 추출된 후보군에서 상기 타겟 마커를 분류하는 단계; 및
상기 분류된 타겟 마커의 중심 좌표를 추정하는 단계;
를 포함하되,
상기 계산된 비율을 기초로, 상기 추출된 후보군에서 상기 타겟 마커를 분류하는 단계는, 상기 추출된 후보군에 포함된 복수의 객체 중 원(circle)에 대응하는 객체에 대해 계산된 비율이 1에 가장 가까운 객체를 상기 타겟 마커로 분류하는 단계를 포함하는 타겟 마커의 위치 추정 방법.
Obtaining an image including a target marker;
Extracting a candidate group for the target marker from the obtained image;
Searching for each of a plurality of objects included in the extracted candidate group, a first vector having a largest direction vector of variance of coordinate data in an object and a second vector orthogonal to the first vector;
Calculating a ratio between the magnitude of the first vector and the magnitude of the second vector;
Classifying the target marker in the extracted candidate group based on the calculated ratio; And
Estimating the center coordinates of the classified target markers;
Including,
The classifying the target marker in the extracted candidate group based on the calculated ratio, the ratio calculated for the object corresponding to the circle (circle) of the plurality of objects included in the extracted candidate group is the most And classifying a nearby object into the target marker.
제1항에 있어서,
상기 후보군을 추출하는 단계는
상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하기 위해, 복수의 픽셀이 연결된 객체들을 탐색하는 단계와,
탐색된 적어도 하나의 객체를 상기 후보군으로 추출하는 단계를 포함하는
타겟 마커의 위치 추정 방법.
The method of claim 1,
Extracting the candidate group
Searching for objects connected to a plurality of pixels to extract candidate groups for the target markers from the obtained image;
Extracting at least one searched object into the candidate group;
Method for estimating the position of the target marker.
삭제delete 삭제delete 제1항에 있어서,
상기 중심 좌표에 대응하는 현재 프레임의 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 추정된 중심 좌표를 최적화하는 단계를 더 포함하는
타겟 마커의 위치 추정 방법.
The method of claim 1,
Optimizing the estimated center coordinates by using center coordinate information of a previous frame of the current frame corresponding to the center coordinates;
Method for estimating the position of the target marker.
제5항에 있어서,
상기 최적화하는 단계는
상기 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 현재 프레임에서의 중심 좌표를 예측하는 단계와,
상기 예측된 현재 프레임에서의 중심 좌표와 산출된 중심 좌표를 비교하여, 상기 현재 프레임에서의 중심 좌표를 보정하는 단계를 포함하는
타겟 마커의 위치 추정 방법.
The method of claim 5,
The optimizing step
Predicting the center coordinates of the current frame by using the center coordinate information of the previous frame;
Comparing the calculated center coordinates with the calculated center coordinates, and correcting the center coordinates in the current frame.
Method for estimating the position of the target marker.
제1항에 있어서,
상기 타겟 마커의 중심 좌표를 추정하는 단계는
상기 타겟 마커에 포함된 복수의 마커 각각의 중심 좌표를 검출하는 단계와,
상기 검출된 복수의 마커 각각의 중심 좌표의 평균 좌표를 산출하는 단계를 포함하는
타겟 마커의 위치 추정 방법.
The method of claim 1,
Estimating the center coordinates of the target marker
Detecting center coordinates of each of the plurality of markers included in the target marker;
Calculating an average coordinate of center coordinates of each of the detected plurality of markers;
Method for estimating the position of the target marker.
제1항에 있어서,
상기 타겟 마커는
중첩된 복수의 원(circle)을 포함하는
타겟 마커의 위치 추정 방법.
The method of claim 1,
The target marker is
Including a plurality of overlapping circles
Method for estimating the position of the target marker.
제8항에 있어서,
상기 중심 좌표를 추정하는 단계는
상기 중첩된 복수의 원 각각의 중심 좌표를 검출하는 단계와,
상기 검출된 복수의 원 각각의 중심 좌표의 평균 좌표를 산출하는 단계를 포함하는
타겟 마커의 위치 추정 방법.
The method of claim 8,
Estimating the center coordinates
Detecting center coordinates of each of the overlapping circles;
Calculating an average coordinate of a center coordinate of each of the detected plurality of circles;
Method for estimating the position of the target marker.
제8항에 있어서,
상기 후보군을 추출하는 단계는
상기 획득된 영상에서, 상기 타겟 마커에 대응하는 복수의 원을 추출하는 단계를 포함하고,
상기 타겟 마커를 분류하는 단계는
상기 추출된 복수의 원 중 중첩된 원의 수를 기초로, 상기 타겟 마커를 분류하는 단계를 포함하는
타겟 마커의 위치 추정 방법.
The method of claim 8,
Extracting the candidate group
Extracting a plurality of circles corresponding to the target markers from the obtained image,
Categorizing the target marker
Classifying the target marker based on the number of overlapping circles among the extracted plurality of circles;
Method for estimating the position of the target marker.
적어도 하나의 프로세서; 및
상기 프로세서에 전기적으로 연결된 메모리를 포함하고,
상기 메모리는, 상기 프로세서가 실행 시에,
타겟 마커를 포함하는 영상을 획득하고,
상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하고,
상기 추출된 후보군에 포함된 복수의 객체 각각에 대해, 객체 내 좌표 데이터들의 분산이 가장 큰 방향 벡터인 제1 벡터와, 상기 제1 벡터와 직교하는 제2 벡터를 탐색하고,
상기 제1 벡터의 크기와 상기 제2 벡터의 크기 간의 비율을 계산하고,
상기 추출된 후보군에 포함된 복수의 객체 중 원(circle)에 대응하는 객체에 대해 계산된 비율이 1에 가장 가까운 비율을 갖는 객체를 상기 타겟 마커로 분류하도록 하고,
상기 분류된 타겟 마커의 중심 좌표를 추정하도록 하는 인스트럭션들을 저장하는
타겟 마커 위치 추정 장치.
At least one processor; And
A memory electrically connected to the processor;
The memory, when the processor is running,
Acquire an image including a target marker,
Extracting a candidate group for the target marker from the obtained image,
For each of a plurality of objects included in the extracted candidate group, a first vector having a largest direction vector of variance of coordinate data in an object and a second vector orthogonal to the first vector are searched for;
Calculate a ratio between the magnitude of the first vector and the magnitude of the second vector,
And classify the object having the ratio closest to the ratio of the object corresponding to the circle among the plurality of objects included in the extracted candidate group as the target marker,
Storing instructions for estimating the center coordinates of the classified target marker
Target marker position estimation device.
제11항에 있어서,
상기 메모리는, 상기 프로세서가 실행 시에,
상기 획득된 영상에서, 상기 타겟 마커에 대한 후보군을 추출하기 위해, 복수의 픽셀이 연결된 객체들을 탐색하고,
탐색된 적어도 하나의 객체를 상기 후보군으로 추출하도록 하는 인스트럭션들을 저장하는
타겟 마커 위치 추정 장치.
The method of claim 11,
The memory, when the processor is running,
In order to extract the candidate group for the target marker from the obtained image, the plurality of pixels connected objects are searched for,
Storing instructions for extracting at least one searched object as the candidate group;
Target marker position estimation device.
삭제delete 삭제delete 제11항에 있어서,
상기 메모리는, 상기 프로세서가 실행 시에,
상기 중심 좌표에 대응하는 현재 프레임의 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 추정된 중심 좌표를 최적화하도록 하는 인스트럭션들을 저장하는
타겟 마커 위치 추정 장치.
The method of claim 11,
The memory, when the processor is running,
Storing instructions for optimizing the estimated center coordinates by using the center coordinate information of the previous frame of the current frame corresponding to the center coordinates;
Target marker position estimation device.
제15항에 있어서,
상기 메모리는, 상기 프로세서가 실행 시에,
상기 이전 프레임에서의 중심 좌표 정보를 이용하여, 상기 현재 프레임에서의 중심 좌표를 예측하고,
상기 예측된 현재 프레임에서의 중심 좌표와 산출된 중심 좌표를 비교하여, 상기 현재 프레임에서의 중심 좌표를 보정하도록 하는 인스트럭션들을 저장하는
타겟 마커 위치 추정 장치.
The method of claim 15,
The memory, when the processor is running,
Predicting the center coordinates of the current frame by using the center coordinate information of the previous frame,
Storing instructions for correcting the center coordinates in the current frame by comparing the predicted center coordinates with the calculated center coordinates.
Target marker position estimation device.
제11항에 있어서,
상기 메모리는, 상기 프로세서가 실행 시에,
상기 타겟 마커에 포함된 복수의 마커 각각의 중심 좌표를 검출하고,
상기 검출된 복수의 마커 각각의 중심 좌표의 평균 좌표를 산출하도록 하는 인스트럭션들을 저장하는
타겟 마커 위치 추정 장치.
The method of claim 11,
The memory, when the processor is running,
Detecting center coordinates of each of the plurality of markers included in the target marker,
Storing instructions for calculating an average coordinate of a center coordinate of each of the detected plurality of markers
Target marker position estimation device.
제11항에 있어서,
상기 타겟 마커는
중첩된 복수의 원(circle)을 포함하는
타겟 마커 위치 추정 장치.
The method of claim 11,
The target marker is
Including a plurality of overlapping circles
Target marker position estimation device.
제18항에 있어서,
상기 메모리는, 상기 프로세서 실행 시에,
상기 중첩된 복수의 원 각각의 중심 좌표를 검출하고,
상기 검출된 복수의 원 각각의 중심 좌표의 평균 좌표를 산출하도록 하는 인스트럭션들을 저장하는
타겟 마커 위치 추정 장치.
The method of claim 18,
The memory, when the processor is running,
Detecting center coordinates of each of the overlapping circles;
Storing instructions for calculating an average coordinate of a center coordinate of each of the detected plurality of circles
Target marker position estimation device.
제18항에 있어서,
상기 메모리는, 상기 프로세서 실행 시에,
상기 획득된 영상에서, 상기 타겟 마커에 대응하는 복수의 원을 추출하고,
상기 추출된 복수의 원 중 중첩된 원의 수를 기초로, 상기 타겟 마커를 분류하도록 하는 인스트럭션들을 저장하는
타겟 마커 위치 추정 장치.The method of claim 18,
The memory, when the processor is running,
Extracting a plurality of circles corresponding to the target markers from the obtained image,
Storing instructions for classifying the target marker based on the number of overlapping circles among the extracted plurality of circles;
Target marker position estimation device.
KR1020180085496A 2018-07-23 2018-07-23 Apparatus and method for estimating position of target marker KR102035245B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180085496A KR102035245B1 (en) 2018-07-23 2018-07-23 Apparatus and method for estimating position of target marker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180085496A KR102035245B1 (en) 2018-07-23 2018-07-23 Apparatus and method for estimating position of target marker

Publications (1)

Publication Number Publication Date
KR102035245B1 true KR102035245B1 (en) 2019-11-08

Family

ID=68542048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180085496A KR102035245B1 (en) 2018-07-23 2018-07-23 Apparatus and method for estimating position of target marker

Country Status (1)

Country Link
KR (1) KR102035245B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218232A (en) * 2009-03-17 2010-09-30 Dainippon Printing Co Ltd Object tracking device
KR101175611B1 (en) * 2011-03-16 2012-08-21 재단법인대구경북과학기술원 Object tracking system using marker and method thereof
KR20130033439A (en) * 2010-07-07 2013-04-03 라이카 게오시스템스 아게 Geodatic surveying device having automatic high-precision target point sighting functionality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218232A (en) * 2009-03-17 2010-09-30 Dainippon Printing Co Ltd Object tracking device
KR20130033439A (en) * 2010-07-07 2013-04-03 라이카 게오시스템스 아게 Geodatic surveying device having automatic high-precision target point sighting functionality
KR101175611B1 (en) * 2011-03-16 2012-08-21 재단법인대구경북과학기술원 Object tracking system using marker and method thereof

Similar Documents

Publication Publication Date Title
US10192107B2 (en) Object detection method and object detection apparatus
US9877012B2 (en) Image processing apparatus for estimating three-dimensional position of object and method therefor
US6701005B1 (en) Method and apparatus for three-dimensional object segmentation
CN107431786B (en) Image processing apparatus, image processing system, and image processing method
KR102052114B1 (en) Object change detection system for high definition electronic map upgrade and method thereof
US20150213328A1 (en) Object identification apparatus, object identification method, and program
US10515459B2 (en) Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor
CN109727275B (en) Object detection method, device, system and computer readable storage medium
US9679221B2 (en) Object identification apparatus, object identification method, and program
WO2014151035A1 (en) Computer-based method and system of dynamic category object recognition
KR101380628B1 (en) Method and apparatus for object tracking using multiple cameras
WO2014128688A1 (en) Method, system and software module for foreground extraction
US10521915B2 (en) Distance measurement device and distance measurement method
WO2019128254A1 (en) Image analysis method and apparatus, and electronic device and readable storage medium
CN105912977B (en) Lane line detection method based on point clustering
KR20160037643A (en) Method and Apparatus for Setting Candidate Area of Object for Recognizing Object
JP2017032335A (en) Information processing device, information processing method, and program
CN111382637B (en) Pedestrian detection tracking method, device, terminal equipment and medium
JP2013206458A (en) Object classification based on external appearance and context in image
CN108369739B (en) Object detection device and object detection method
Bulugu Algorithm for license plate localization and recognition for tanzania car plate numbers
CN110675442A (en) Local stereo matching method and system combined with target identification technology
US9739604B2 (en) Information processing apparatus, information processing method, and storage medium
KR101214858B1 (en) Moving object detecting apparatus and method using clustering
CN110689556A (en) Tracking method and device and intelligent equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant