KR102260121B1

KR102260121B1 - A checkerboard for camera calibration, method and apparatus for automatic target recognition using the same

Info

Publication number: KR102260121B1
Application number: KR1020190071327A
Authority: KR
Inventors: 김의명; 권상일
Original assignee: 남서울대학교 산학협력단
Priority date: 2019-06-17
Filing date: 2019-06-17
Publication date: 2021-06-02
Also published as: KR20200143812A

Abstract

본 발명은 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 탈부착이 가능한 블랍(blob)을 체스보드 혹은 소정의 패턴을 가진 보드에 부착하여 카메라 캘리브레이션을 위해 필요한 체커보드를 제시하고, 상기 제시된 체커보드의 일부만 촬영되거나 상기 체커보드를 촬영한 영상의 회전, 이동, 기울어짐 등이 나타나는 경우에도 상기 체커보드의 타겟을 자동으로 인식함으로써, 상기 체커보드만 촬영하면 어떠한 경우에도 카메라 캘리브레이션을 수행하여 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부표정요소를 효과적으로 결정할 수 있는 카메라 캘리브레이션을 위한 자동 타겟 인식 방법 및 그 장치에 관한 것이다.The present invention relates to a checker board for camera calibration, an automatic target recognition method using the same, and an apparatus therefor, and more particularly, attach a detachable blob to a chess board or a board having a predetermined pattern to perform camera calibration By presenting the checker board necessary for this, and automatically recognizing the target of the checker board even when only a part of the presented checker board is photographed or the rotation, movement, inclination, etc. of the image taken of the checker board appears, only the checker board It relates to an automatic target recognition method and apparatus for camera calibration that can effectively determine camera internal expression factors such as focal length, main point position, and lens distortion coefficient by performing camera calibration in any case when shooting.

Description

A checkerboard for camera calibration, automatic target recognition method using the same, and device thereof {A CHECKERBOARD FOR CAMERA CALIBRATION, METHOD AND APPARATUS FOR AUTOMATIC TARGET RECOGNITION USING THE SAME}

카메라의 내부표정은 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등을 결정하고 보정하는 작업으로 이해할 수 있다. 상기 내부표정이라는 것은 궁극적으로 사진의 광속을 사진을 촬영하는 순간의 광속과 거의 유사하게 일치시키는 작업을 말한다.The internal expression of the camera can be understood as the work of determining and correcting the focal length of the camera, the position of the main point, and the lens distortion coefficient. The internal expression ultimately refers to the operation of matching the luminous flux of the photo to the luminous flux at the moment of taking the photo almost similarly.

카메라를 이용하여 촬영된 영상에는 렌즈의 방사방향왜곡, 접선방향왜곡, 부등각사상왜곡 등의 다양한 왜곡이 존재하기 때문에 이를 보정하는 카메라 캘리브레이션 과정이 반드시 필요하다.Since there are various distortions such as radial distortion of the lens, tangential distortion, and non-conformal image distortion in the image taken using the camera, a camera calibration process for correcting them is absolutely necessary.

상기 카메라 캘리브레이션은 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등으로 구성되어 있는 내부표정요소를 결정하는 것으로서, 일정한 패턴을 갖고 있는 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 여러 장의 영상을 이용하여 체커보드의 실세계 좌표, 카메라의 투영 중심, 그리고 체커보드를 촬영한 영상좌표가 일직선상에 대응될 수 있는 관계를 이용하여 카메라의 초점거리, 주점위치, 렌즈왜곡계수와 같은 내부표정요소를 결정하는 것이다.The camera calibration is to determine the internal expression factor composed of the focal length of the camera, the position of the main point, and the lens distortion coefficient, and uses several images taken by changing the position and posture of the camera on a checkerboard having a certain pattern. Then, using the relationship that the real world coordinates of the checkerboard, the center of projection of the camera, and the image coordinates of the checkerboard can correspond to a straight line, internal expression factors such as the focal length of the camera, the position of the main point, and the lens distortion coefficient are determined. will do

즉 상기 카메라 캘리브레이션을 위해서는 대상물의 영상좌표와 실세계좌표와의 관계를 파악해야 하며, 이를 위해서 미리 실세계좌표를 알고 있는 카메라 캘리브레이션을 위한 체커보드를 사용한다.That is, in order to calibrate the camera, the relationship between the image coordinates of the object and the real-world account must be identified, and for this purpose, a checkerboard for camera calibration that knows the real-world account in advance is used.

상기 체커보드를 촬영한 영상에서 주로 흑백 형태로 구성되어 있는 타겟의 위치를 결정하기 위해서는, 흑백 타겟의 모서리점 또는 중심점의 위치를 찾을 수 있는 특징점 연산자가 필요하다. 체커보드 영상에서 특징점 연산자를 이용하여 추출한 특징점은 밝기 값의 변화가 아주 큰 영역으로 경계선과 경계선의 교점인 흑백 패턴의 중심점이 된다.In order to determine the position of the target mainly composed of black and white in the image obtained by photographing the checker board, a feature point operator capable of finding the position of the corner point or the center point of the black and white target is required. The feature point extracted from the checkerboard image using the feature point operator is an area with a very large change in brightness value, and becomes the center point of the black-and-white pattern that is the intersection of the boundary line and the boundary line.

또한 체커보드를 촬영한 여러 장의 영상 중에서 기준 체커보드에 번호가 부여된 타겟들을 참조 체커보드의 타겟들과 일치시켜 번호를 자동으로 부여하기 위해 호모그래피(homography) 변환을 이용한다.In addition, a homography transformation is used to automatically assign numbers by matching targets numbered on a reference checkerboard with targets on a reference checkerboard among multiple images of the checkerboard.

하지만, 이러한 카메라 캘리브레이션을 위한 체커보드 영상의 인식에서 기존에는 체커보드 영상의 일부만 촬영되어 흑백 패턴이 모든 영상에서 나타나지 않는 경우 타겟을 자동으로 인식하지 못하는 문제가 발생하였다.However, in the recognition of the checkerboard image for such camera calibration, when only a part of the checkerboard image is taken and the black-and-white pattern does not appear in all images, there is a problem that the target cannot be automatically recognized.

따라서 본 발명에서는 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐이 많이 나타나는 경우에도 자동으로 체커보드 타겟을 인식할 수 있는 방안을 제시하고자 한다.Therefore, the present invention intends to propose a method for automatically recognizing a checkerboard target even when only a part of the checkerboard image is photographed or a lot of rotation, movement, or inclination of the image appears.

이를 위해서, 본 발명에서는 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용해 체커보드 타겟을 자동으로 인식하고, 또한 기존 체커보드 및 소정의 패턴을 가진 체커보드에 블랍을 부착하고, 첫 번째 정방향 영상인 기준 체커보드 영상의 타겟을 투영 변환하여 참조 체커보드 영상에서 추출한 타겟의 좌표에 자동으로 번호를 부여하도록 함으로써, 어떠한 환경에서도 수월하게 카메라 캘리브레이션을 수행할 수 있는 방안을 제시하고자 한다.To this end, in the present invention, the checkerboard target is automatically recognized by using the black-and-white pattern distortion consideration condition, the boundary number condition, and the black-and-white pixel ratio condition in the image taken with the checkerboard, and also has an existing checkerboard and a predetermined pattern. By attaching a blob to the checkerboard and converting the target of the reference checkerboard image, which is the first forward image, to automatically assign a number to the coordinates of the target extracted from the reference checkerboard image, camera calibration can be performed easily in any environment. We would like to suggest a way to do it.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differently compared to the prior art will be described.

먼저 한국등록특허 제1694969호(2017.01.10.)는 카메라 캘리브레이션 방법 및 장치에 관한 것으로, 장면 내의 임의의 크기와 종횡비를 갖는 직사각형 영상을 이용하여 카메라의 상대적인 촬영 위치를 검출할 수 있고, 또한 카메라의 촬영 위치를 검출하는데 사용된 실제 영상에 대한 기하정보(크기, 종횡비 등)를 파악할 수 있는 카메라 캘리브레이션 기술에 관한 것이다.First, Korean Patent No. 1694969 (2017.01.10.) relates to a camera calibration method and apparatus, which can detect the relative shooting position of a camera using a rectangular image having an arbitrary size and aspect ratio in a scene, and also It relates to a camera calibration technology that can grasp geometric information (size, aspect ratio, etc.) of an actual image used to detect the shooting position of

즉 상기 선행기술은 3차원 캘리브레이션 물체나 체커보드에 대한 복수의 이미지를 이용하는 대신, 일상 환경에서 쉽게 찾아볼 수 있는 직사각형 물체들(예를 들어, TV, 모니터, 창문, 문 등)에 대한 단일 이미지를 이용하여 카메라 캘리브레이션을 수행하는 방법 및 장치에 대해 기재하고 있다.That is, in the prior art, instead of using a plurality of images for a three-dimensional calibration object or checkerboard, a single image for rectangular objects (eg, TV, monitor, window, door, etc.) easily found in everyday environments. Describes a method and apparatus for performing camera calibration using

또한 한국공개특허 제2019-0051463호(2019.05.15.)는 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법에 관한 것으로, 캘리브레이션을 위한 체커보드 영상을 촬영하는 카메라부, 상기 체커보드 영상의 코너점 추출에 사용할 템플릿(template) 제작용 마스크를 미리 생성하여 저장하는 마스크 저장부, 및 상기 마스크를 이용하여 적어도 둘 이상의 다양한 형태의 격자모양 템플릿들을 미리 생성 해두고, 상기 체커보드 영상 내 각 픽셀을 중심으로 지정된 일정 크기의 윈도우를 생성한 후, 상기 생성된 템플릿과 매칭을 수행하여 체커보드의 코너점을 추출하는 제어부를 포함하여 구성되는 것을 기술적 특징으로 한다.In addition, Korea Patent Publication No. 2019-0051463 (2019.05.15.) relates to an apparatus and method for extracting checkerboard corner points for camera calibration, a camera unit for photographing a checkerboard image for calibration, and a corner of the checkerboard image A mask storage unit for generating and storing a mask for preparing a template to be used for point extraction in advance, and using the mask to generate at least two or more various types of grid-shaped templates in advance, each pixel in the checkerboard image After creating a window of a predetermined size designated as the center, it is characterized in that it is configured to include a control unit for extracting the corner points of the checkerboard by performing matching with the generated template.

즉 상기 선행기술은 차량용 카메라의 캘리브레이션에 사용되는 체커보드를 촬영한 영상에서 흑과 백의 사각형영역이 교차되는 모서리에 해당하는 부분인 코너를 보다 정확하게 추출할 수 있도록 하는 장치 및 방법을 기재하고 있다.That is, the prior art describes an apparatus and method for more accurately extracting a corner, which is a portion corresponding to a corner where a black and white rectangular area intersects, from an image of a checkerboard used for calibration of a vehicle camera.

또한 비특허문헌으로서, 어안렌즈로 촬영된 체커보드 영상의 타겟을 슈퍼 픽셀로 교점 영역을 검출 후 마스크를 이용한 상호 연관성을 계산하여 교점의 좌표를 검출하는 연구(카메라 캘리브레이션을 위한 체커보드 교점 좌표 자동 검출, 유영준, 2015), Harris 코너 특징점 검출 연산자와 호모그래피 변환을 이용하여 체커보드의 코너점을 검출하는 연구(스테레오 카메라 캘리브레이션을 위한 동일평면 체커보드 코너점 정밀검출, 박정민 등, 2015), 소벨 검출 연산자를 이용해 교점 좌표를 추정 후, RANSAC 알고리즘을 이용한 직선을 이용해 교점의 좌표를 검출하는 연구(교점의 추정 및 보간을 이용한 체커보드 검출, 오상엽과 조남익, 2016) 등이 있다.Also, as a non-patent document, a study to detect the coordinates of the intersection by calculating the cross-relationship using a mask after detecting the area of intersection of the target of the checkerboard image taken with the fisheye lens as a super pixel (automatic checkerboard intersection coordinates for camera calibration) Detection, Youngjun Yoo, 2015), A study on detecting corner points of checkerboard using Harris corner feature point detection operator and homography transformation (precise detection of coplanar checkerboard corner points for stereo camera calibration, Jungmin Park et al., 2015), Sobel After estimating the coordinates of the intersection using the detection operator, there are studies that detect the coordinates of the intersection using a straight line using the RANSAC algorithm (checkerboard detection using estimation of intersection and interpolation, Sangyeop Oh and Namik Cho, 2016).

이상에서 선행기술들을 검토한 결과, 대부분의 선행기술들은 주로 체커보드 영상에서 흑백 타겟 교점의 좌표를 추출하는 기술이 대부분이며, 멀티 카메라를 이용하여 촬영된 다수의 체커보드 영상에서 타겟의 교점 좌표의 추출과 자동으로 레이블링(labeling)을 수행하는 기술은 미진한 것으로 파악되고 있다.As a result of examining the prior art above, most of the prior technologies mainly extract the coordinates of the black-and-white target intersection point from the checkerboard image. It is understood that the technology for performing extraction and automatic labeling is insufficient.

이에 반하여 본 발명은 체스보드 혹은 소정의 패턴을 가진 보드에 블랍을 부착하여 체커보드를 제시한 구성, 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용해 체커보드 타겟을 자동으로 검출하는 구성, 기준 체커보드 영상의 타겟을 투영 변환하여 참조 체커보드 영상에서 추출한 타겟의 좌표에 자동으로 번호를 부여하는 구성을 통해, 어떠한 환경에서도 수월하게 카메라 캘리브레이션을 수행할 수 있도록 하는 것이다. 따라서 상기 선행기술들은 본 발명의 이러한 기술적 특징을 기재하거나 시사하고 있지 않다.In contrast, the present invention provides a configuration in which a checkerboard is presented by attaching blobs to a chess board or a board having a predetermined pattern, a condition for considering distortion of a black and white pattern in the image taken of the checkerboard, a condition for the number of boundary lines, a condition for the ratio of black and white pixels Through the configuration that automatically detects the checkerboard target using the , and the configuration that automatically assigns numbers to the coordinates of the target extracted from the reference checkerboard image by projecting and transforming the target of the reference checkerboard image, camera calibration can be performed easily in any environment. to be able to do it. Therefore, the prior art does not describe or suggest such technical features of the present invention.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 탈부착이 가능한 복수 개의 블랍을 체스보드 혹은 소정의 패턴을 가진 보드에 부착한 카메라 캘리브레이션을 위한 체커보드를 제공하는 것을 목적으로 한다.The present invention was created to solve the above problems, and an object of the present invention is to provide a checker board for camera calibration in which a plurality of detachable blobs are attached to a chess board or a board having a predetermined pattern.

또한 본 발명은 다수의 체커보드 영상 내 타겟을 자동으로 검출하기 위해 사용되는 블랍을 영상 내 체커보드의 방향성을 판별하는 블랍과 체커보드의 타겟 개수를 산출하는 블랍으로 나누어 사용하는 카메라 캘리브레이션을 위한 체커보드를 제공하는 것을 다른 목적으로 한다.In addition, the present invention is a checker for camera calibration that uses a blob used to automatically detect a target in a plurality of checkerboard images into a blob for determining the direction of the checkerboard in the image and a blob for calculating the target number of the checkerboard It serves another purpose to provide a board.

또한 본 발명은 상기 블랍을 흑색 바탕에 흰색 원으로 구성하고, 또한 사각형을 인식하기 위한 흑색과 백색 테두리의 사각형 내부에 흰색 원으로 구성한 카메라 캘리브레이션을 위한 체커보드를 제공하는 것을 또 다른 목적으로 한다.Another object of the present invention is to provide a checkerboard for camera calibration in which the blob is composed of a white circle on a black background, and a white circle is formed inside a rectangle of black and white borders for recognizing a rectangle.

또한 본 발명은 상기 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐 등이 나타나는 경우에도 상기 체커보드의 타겟을 자동으로 인식할 수 있는 체커보드를 이용한 자동 타겟 인식 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides an automatic target recognition method and apparatus using a checkerboard capable of automatically recognizing a target of the checkerboard even when only a part of the checkerboard image is photographed or an image rotation, movement, inclination, etc. appears to serve another purpose.

또한 본 발명은 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건 등을 이용하여 체커보드 타겟을 자동으로 검출하고, 또한 상기 체커보드 타겟의 번호 인식과정에서 상기 블랍을 이용하여 상기 체커보드 영상에서 추출한 타겟의 좌표에 번호를 체계적으로 부여할 수 있는 체커보드를 이용한 자동 타겟 인식 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention automatically detects a checkerboard target using the distortion consideration condition of the black and white pattern, the boundary number condition, the ratio condition of black and white pixels, etc. in the image taken from the checkerboard, and also the number recognition process of the checkerboard target Another object of the present invention is to provide a method and apparatus for automatic target recognition using a checkerboard that can systematically assign numbers to the coordinates of the target extracted from the checkerboard image by using the blob.

또한 본 발명은 어떠한 환경에서도 수월하게 캘리브레이션을 수행하여 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부결정요소를 효과적으로 결정할 수 있는 체커보드를 이용한 자동 타겟 인식 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention is to provide an automatic target recognition method and apparatus using a checkerboard that can effectively determine camera internal determining factors such as focal length, main point position, and lens distortion coefficient of the camera by easily performing calibration in any environment. for another purpose.

본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 방법은, 카메라 캘리브레이션을 위해 블랍이 구비된 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 타겟 검출 단계; 상기 촬영한 체커보드 영상에서 블랍을 검출하는 블랍 검출 단계; 및 상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 타겟 인식 단계;를 포함하는 것을 특징으로 한다.The automatic target recognition method using a checkerboard according to an embodiment of the present invention detects a plurality of targets from a plurality of checkerboard images photographed by changing the position and posture of a camera on a checkerboard equipped with a blob for camera calibration. target detection step; a blob detection step of detecting blobs from the photographed checkerboard image; and a target recognition step of automatically recognizing a target using the detected target and the blob.

또한 상기 타겟 인식 단계는, 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 단계; 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거하는 단계; 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별하는 단계; 상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 단계; 및 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시키는 단계;를 포함하는 것을 특징으로 한다.In addition, the target recognition step may include: determining whether the checkerboard image is a reference checkerboard image or a reference checkerboard image based on the plurality of detected target coordinates; removing a target erroneously detected with respect to the reference checkerboard image; determining a direction of the reference checkerboard image from the extracted blob with respect to the reference checkerboard image; Projection-converting a reference checkerboard image to fit a reference checkerboard image by using the blob of the reference checkerboard image and the blob of the reference checkerboard image; and one-to-one correspondence between the target of the projection-transformed reference checkerboard image and the target of the reference checkerboard image.

또한 상기 체커보드는, 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴을 포함하고, 상기 패턴의 타겟 검출을 위해 8개의 블랍이 구비되고, 1번 내지 4번 블랍은 상기 체커보드 영상의 방향성 판별에 사용하고, 5번 내지 8번 블랍은 오검출되는 타겟을 제거하는데 사용하며, 1번 내지 8번 블랍은 영상 간의 투영 변환을 위한 매개변수 결정에 사용하는 것을 특징으로 한다.In addition, the checker board includes a pattern including a black and white pattern, a color pattern, or a combination thereof, and 8 blobs are provided for target detection of the pattern, and blobs 1 to 4 determine the direction of the checkerboard image It is characterized in that, blobs 5 to 8 are used to remove a misdetected target, and blobs 1 to 8 are used to determine parameters for projection transformation between images.

또한 상기 타겟 검출 단계는, 상기 촬영한 체커보드 영상에서 특징점 연산자를 이용하여 특징점을 검출하는 단계; 및 상기 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건을 모두 충족하는지를 판단하는 단계;를 포함하며, 상기 판단한 결과, 모두 충족하면 해당 체커보드 영상의 특징점을 상기 패턴의 타겟으로 검출하는 것을 특징으로 한다.In addition, the target detection step may include: detecting a feature point in the captured checkerboard image using a feature point operator; and determining whether the detected feature point satisfies all of a distortion consideration condition of a pattern including a black-and-white pattern, a color pattern, or a combination thereof, a boundary number condition, and a black-and-white pixel ratio condition; If it is, it is characterized in that the feature point of the checkerboard image is detected as the target of the pattern.

또한 상기 블랍 검출 단계는, 상기 촬영한 체커보드 영상에서 다각형을 검출하고, 꼭지점의 개수가 4개이면서 2개의 경계선이 이루는 각도가 90도±45도 이내인 다각형을 사각형으로 판별하고, 상기 판별한 사각형 중 백색 사각형의 네 꼭지점에서 바깥 방향으로 블랍의 크기에 비례한 길이만큼 선분을 그린 후 밝기 값의 변화 횟수를 검사하여, 밝기 값 변화 횟수가 3회인 꼭지점이 3개 이상, 4개 이하이면 블랍을 포함하는 사각형으로 판별하고, 상기 판별한 블랍을 포함하는 사각형 내에서 추출된 경계선을 이용하여 다각형을 검출한 후 꼭지점의 개수가 3개 이상이면서 각각의 벡터 간 각도가 최소 -80도 이하, 최대 0도 이하인 경우 원으로 가정하며, 상기 원으로 가정하는 다각형의 면적이 모든 블랍의 평균 면적의 70% 이상인 경우 상기 다각형을 블랍으로 검출하는 것을 특징으로 한다.In addition, in the blob detection step, a polygon is detected in the photographed checkerboard image, and a polygon having four vertices and an angle formed by two boundary lines is within 90 degrees ± 45 degrees is determined as a quadrilateral, and the determined After drawing a line segment from the four vertices of the white rectangle outward from the four vertices of the white rectangle and checking the number of changes in the brightness value, if the number of changes in the brightness value is 3 or more and 4 or less, the blob After determining a quadrangle containing the determined blobs and detecting the polygon using the boundary lines extracted from within the rectangle containing the determined blobs, the number of vertices is 3 or more and the angle between each vector is at least -80 degrees, the maximum When the angle is equal to or less than 0 degrees, a circle is assumed, and when the area of the polygon assumed to be a circle is 70% or more of the average area of all blobs, the polygon is detected as a blob.

또한 상기 오검출한 타겟을 제거하는 것은, 상기 기준 체커보드 영상에서 가장자리 네 방향의 타겟 배열을 검출하고, 상기 검출한 가장자리 네 방향의 타겟 배열을 이용하여 각 라인별 각도를 산출하며, 상기 산출한 각 라인별 각도가 기 설정된 범위의 각도를 벗어나는 경우 해당 타겟을 오검출 타겟으로 분류하여 제거하는 것을 특징으로 한다.In addition, removing the erroneously detected target includes detecting a target array in four edge directions in the reference checkerboard image, calculating an angle for each line using the detected target array in four edge directions, and calculating the calculated When the angle for each line is out of a preset range, the target is classified as an erroneous detection target and removed.

또한 상기 자동 타겟 인식 방법은, 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟 간에 가까운 타겟 좌표를 탐색하여, 상기 기준 체커보드 영상의 타겟 번호와 동일하게 상기 참조 체커보드 영상의 타겟 번호를 부여하는 단계; 및 상기 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 발생하는 경우, 타겟 번호가 부여되지 않은 특징점의 타겟 번호를 부여하는 단계;를 더 포함하며, 상기 번호를 부여하는 것은, 좌상단 타겟부터 시작하고, 상기 좌상단 타겟으로부터 가까운 두 타겟 중에서 상단에 있는 타겟을 다음 번호로 선정하고, 우하단 타겟의 번호가 선정될 때까지 수행하는 것을 특징으로 한다.In addition, the automatic target recognition method searches for target coordinates that are close between the target of the projection-converted reference checkerboard image and the target of the reference checkerboard image, and is identical to the target number of the reference checkerboard image of the reference checkerboard image. assigning a target number; and when a feature point that is not detected as a target occurs among the feature points to be detected as a target in the reference checkerboard image, assigning a target number of the feature point to which a target number is not assigned. It is characterized in that, starting from the upper left target, selecting the upper target among the two targets close to the upper left target as the next number, and performing until the number of the lower right target is selected.

아울러, 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드는, 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴을 반복하여 나타내는 체스보드 또는 소정의 패턴을 포함하는 보드를 포함하는 체커보드; 및 상기 체커보드의 소정 위치에 부착되어, 상기 체커보드의 영상 내에서 타겟을 자동으로 인식하기 위한 블랍;을 포함하며, 상기 블랍은, 카메라 캘리브레이션을 위해 촬영한 영상에서 사각형을 인식하기 위한 테두리의 사각형 내부에 원으로 구성되는 것을 특징으로 한다.In addition, a checkerboard for camera calibration according to an embodiment of the present invention includes: a checkerboard including a board including a chess board or a predetermined pattern repeatedly representing a pattern including a black and white pattern, a color pattern, or a combination thereof; and a blob attached to a predetermined position of the checker board for automatically recognizing a target in the image of the checker board, wherein the blob includes a border for recognizing a rectangle in an image taken for camera calibration. It is characterized in that it is composed of a circle inside the rectangle.

또한 상기 블랍은, 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드의 방향성을 판별하기 위한 방향성 판별용 블랍; 및 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드의 타겟 개수를 산출하기 위한 타겟 개수 산출용 블랍;을 포함하는 것을 특징으로 한다.In addition, the blob may include a blob for determining a direction for determining the direction of the checker board in the image taken for calibration of the camera; and a target number calculation blob for calculating the target number of the checker board in the image taken for the camera calibration.

또한 상기 블랍은, 상기 체커보드에 8개를 부착하여 구성하는 경우, 1번 내지 4번 블랍은 상기 방향성 판별용 블랍으로 사용하고, 5번 내지 8번 블랍은 상기 타겟 개수 산출용 블랍으로 사용하는 것을 특징으로 한다.In addition, when the blobs are configured by attaching 8 pieces to the checker board, blobs 1 to 4 are used as the blobs for determining the direction, and blobs 5 to 8 are used as the blobs for calculating the target number. characterized in that

아울러, 본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 장치는, 카메라 캘리브레이션을 위해 블랍이 구비된 체커보드를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 타겟 검출부; 상기 촬영한 체커보드 영상에서 블랍을 검출하는 블랍 검출부; 및 상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 자동 타겟 인식부;를 포함하는 것을 특징으로 한다.In addition, the automatic target recognition apparatus using a checkerboard according to an embodiment of the present invention is a checkerboard provided with a blob for camera calibration, a plurality of targets in a plurality of checkerboard images taken by changing the position and posture of the camera a target detection unit to detect; a blob detection unit for detecting blobs from the photographed checkerboard image; and an automatic target recognition unit for automatically recognizing a target using the detected target and the blob.

또한 상기 자동 타겟 인식부는, 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 기준 체커보드 판별부; 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거하는 오검출 타겟 제거부; 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별하는 방향성 판별부; 상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 투영 변환부; 및 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시키는 타겟 대응부;를 포함하는 것을 특징으로 한다.In addition, the automatic target recognition unit may include: a reference checkerboard determining unit for determining whether the checkerboard image is a reference checkerboard image or a reference checkerboard image through the plurality of detected target coordinates; an erroneous detection target removal unit removing a target erroneously detected with respect to the reference checkerboard image; a direction determining unit for determining the direction of the reference checkerboard image from the extracted blob with respect to the reference checkerboard image; a projection conversion unit for projecting and transforming a reference checkerboard image to fit a reference checkerboard image by using the blob of the reference checkerboard image and the blob of the reference checkerboard image; and a target correspondence unit for one-to-one correspondence between the target of the projection-transformed reference checkerboard image and the target of the reference checkerboard image.

이상에서와 같이 본 발명의 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치에 따르면, 체스보드 혹은 소정의 패턴을 가진 보드에 부착된 복수 개의 블랍을 이용하여 다수의 체커보드 영상 내 타겟을 자동으로 인식함으로써, 체커보드의 활용으로 어떠한 환경에서도 수월하게 캘리브레이션을 수행할 수 있고, 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부결정요소를 효과적으로 결정할 수 있으며, 외부의 다양한 시설물, 건물, 조형물 등과 같은 객체의 3차원 모델링이 가능한 효과가 있다.As described above, according to the checker board for camera calibration of the present invention and the automatic target recognition method and apparatus using the same, a plurality of checkerboard images are included using a plurality of blobs attached to a chess board or a board having a predetermined pattern. By automatically recognizing the target, calibration can be easily performed in any environment by using the checkerboard, and internal determinants of the camera such as the focal length, main point position, and lens distortion coefficient can be effectively determined, and various external There is an effect that 3D modeling of objects such as facilities, buildings, and sculptures is possible.

또한 본 발명은 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용하여 체커보드 타겟을 인식하기 때문에 흑백 패턴의 타겟 주변에 존재하는 잡영에 영향을 받지 않고 타겟을 검출할 수 있는 효과가 있다.In addition, the present invention recognizes the checkerboard target using the black-and-white pattern distortion consideration condition, boundary number condition, and black-and-white pixel ratio condition in the image taken from the checkerboard, so it affects the noise existing around the black-and-white pattern target. It has the effect of being able to detect the target without receiving it.

또한 본 발명은 상기 체커보드 타겟의 번호 인식과정에서 상기 블랍을 이용하기 때문에 상기 체커보드 영상의 일부만 나타날 경우에도 블랍 간의 기하학적인 관계를 이용하여 번호를 체계적으로 부여할 수 있는 효과가 있다.In addition, since the present invention uses the blobs in the process of recognizing the number of the checkerboard target, even when only a part of the checkerboard image appears, numbers can be systematically assigned using the geometrical relationship between the blobs.

도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드에 적용되는 블랍을 보다 상세하게 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 자동 타겟 인식 장치의 구성을 보다 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 방법의 동작과정을 상세하게 나타낸 순서도이다.
도 5는 본 발명에 적용된 자동 타겟 인식 방법에서 흑백 패턴의 타겟을 검출하는 과정을 상세하게 나타낸 순서도이다.
도 6은 본 발명에 적용된 자동 타겟 인식 방법에서 타겟에 번호를 부여하는 과정을 상세하게 나타낸 순서도이다.
도 7은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 타겟 검출을 위한 원형 탐색을 설명하기 위한 도면이다.
도 8은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 양방향 모두 흑색과 백색이 아닌 경우를 나타낸 도면이다.
도 9는 본 발명에 적용된 흑백 패턴의 타겟 검출에서 한 방향은 흑색이고 다른 방향은 백색인 경우를 나타낸 도면이다.
도 10은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 경계선 횟수에 의한 타겟 검출을 설명하기 위한 도면이다.
도 11은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 흑백 픽셀의 비율에 의한 타겟 검출을 설명하기 위한 도면이다.
도 12는 본 발명에 적용된 블랍 검출에서 다각형의 각도 산출을 설명하기 위한 도면이다.
도 13은 본 발명에 적용된 블랍 검출에서 블랍을 포함하는 사각형의 판별을 설명하기 위한 도면이다.
도 14는 본 발명에 적용된 오검출 타겟 제거에서 오검출 타겟을 나타낸 도면이다.
도 15는 본 발명에 적용된 오검출 타겟 제거에서 가장자리 4방향의 타겟 배열을 나타낸 도면이다.
도 16은 본 발명에 적용된 오검출 타겟 제거에서 가로 방향 타겟 간 각도 산출을 나타낸 도면이다.
도 17은 본 발명에 적용된 오검출 타겟 제거에서 세로 방향 타겟 간 각도 산출을 나타낸 도면이다.
도 18은 본 발명에 적용된 기준 체커보드 영상의 타겟 번호 부여에서 기준 타겟으로부터 가까운 두 타겟의 탐색 및 이후 타겟으로부터 가까운 두 타겟의 탐색을 설명하기 위한 도면이다.
도 19는 본 발명에 적용된 참조 체커보드 영상의 방향성 판별에서 4가지 타입의 회전에 따른 블랍 구성을 나타낸 도면이다.
도 20은 본 발명에 적용된 참조 체커보드 영상의 방향성 판별을 위한 블랍 사각형을 이용한 선분 길이 비교를 나타낸 도면이다.
도 21은 본 발명에 적용된 타겟 좌표의 투영 변환을 위한 블랍 사각형 검출을 나타낸 도면이다.
도 22는 본 발명에 적용된 참조 체커보드 영상의 타겟 번호 부여에서 투영 변환된 타겟을 나타낸 도면이다.
도 23은 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개보다 많은 경우를 나타낸 도면이다.
도 24는 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개인 경우를 나타낸 도면이다.
도 25 및 도 26은 본 발명의 체커보드를 이용한 자동 타겟 인식 방법에 따라 상기 도 1에 도시된 체스보드 및 소정의 패턴을 가진 보드의 자동 타겟 인식 결과를 각각 나타낸 도면이다.1 is a diagram illustrating a checker board for camera calibration according to an embodiment of the present invention.
2 is a view for explaining in more detail a blob applied to a checker board for camera calibration according to an embodiment of the present invention.
3 is a diagram showing the configuration of an automatic target recognition apparatus according to an embodiment of the present invention in more detail.
4 is a flowchart illustrating in detail an operation process of an automatic target recognition method using a checker board according to an embodiment of the present invention.
5 is a flowchart illustrating in detail a process of detecting a black-and-white pattern target in the automatic target recognition method applied to the present invention.
6 is a flowchart illustrating in detail a process of assigning a number to a target in the automatic target recognition method applied to the present invention.
7 is a diagram for explaining a circular search for target detection in target detection of a black and white pattern applied to the present invention.
8 is a diagram illustrating a case in which black and white are not both in both directions in target detection of a black-and-white pattern applied to the present invention.
9 is a diagram illustrating a case in which one direction is black and the other direction is white in target detection of a black and white pattern applied to the present invention.
10 is a diagram for explaining target detection by the number of boundary lines in target detection of a black-and-white pattern applied to the present invention.
11 is a diagram for explaining target detection by a ratio of black and white pixels in target detection of a black and white pattern applied to the present invention.
12 is a diagram for explaining calculation of an angle of a polygon in blob detection applied to the present invention.
13 is a diagram for explaining discrimination of a rectangle including a blob in blob detection applied to the present invention.
14 is a diagram illustrating a false detection target in the removal of the false detection target applied to the present invention.
15 is a view showing a target arrangement in four edge directions in the removal of an erroneous detection target applied to the present invention.
16 is a diagram illustrating calculation of an angle between targets in a horizontal direction in the removal of an erroneous detection target applied to the present invention.
17 is a diagram illustrating calculation of an angle between targets in a vertical direction in the removal of an erroneous detection target applied to the present invention.
18 is a view for explaining the search for two targets close to the reference target and the search for two targets close to the target after the target number assignment of the reference checkerboard image applied to the present invention.
19 is a diagram illustrating a blob configuration according to four types of rotation in determining the direction of a reference checkerboard image applied to the present invention.
20 is a diagram illustrating a comparison of line segment lengths using a blob rectangle for determining the direction of a reference checkerboard image applied to the present invention.
21 is a diagram showing detection of a blob rectangle for projection transformation of target coordinates applied to the present invention.
22 is a view showing a target converted by projection in the target number assignment of the reference checkerboard image applied to the present invention.
23 is a diagram illustrating a case in which there is more than one feature point that is not detected as a target among the feature points to be detected as a target in the reference checkerboard image applied to the present invention.
24 is a diagram illustrating a case in which one feature point that is not detected as a target among the feature points to be detected as a target in the reference checkerboard image applied to the present invention.
25 and 26 are views showing the results of automatic target recognition of the chess board and the board having a predetermined pattern shown in FIG. 1 according to the automatic target recognition method using the checker board of the present invention, respectively.

이하, 첨부한 도면을 참조하여 본 발명의 카메라 캘리브레이션을 위한 체커보드 및 이를 이용한 자동 타겟 인식 방법 및 그 장치에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, a preferred embodiment of a checker board for camera calibration of the present invention, an automatic target recognition method using the same, and an apparatus thereof will be described in detail with reference to the accompanying drawings. The same reference numerals shown in each drawing indicate the same members. In addition, specific structural or functional descriptions for the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms They have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 나타낸 도면이다.1 is a diagram illustrating a checker board for camera calibration according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에서는 카메라의 내부적인 특성을 파악하기 위해 캘리브레이션을 수행하며, 카메라 캘리브레이션을 위해 체커보드(100)를 이용한다.As shown in FIG. 1 , in the present invention, calibration is performed to understand the internal characteristics of the camera, and the checker board 100 is used for camera calibration.

이때 상기 체커보드(100)는 도 1의 (a)에 도시된 것처럼 흑백 패턴을 반복하여 나타내는 체스보드를 이용하는 것이 일반적이다. 또한 상기 체커보드(100)는 도 1의 (b)에 도시된 것처럼 다양한 환경에 적용하기 위해 체스보드가 아닌 소정의 패턴을 가진 보드를 이용할 수 있다. 또한 상기 체커보드(100)는 흑백 패턴 이외에, 컬러 패턴을 포함할 수 있으며, 흑백 패턴과 컬러 패턴을 조합한 패턴을 반복하여 나타내는 체스보드 또는 소정의 패턴을 포함하는 보드로 구성할 수 있다.In this case, as the checker board 100, it is common to use a chess board that repeats a black-and-white pattern as shown in FIG. 1A. In addition, the checker board 100 may use a board having a predetermined pattern, not a chess board, in order to be applied to various environments as shown in FIG. 1B . In addition, the checker board 100 may include a color pattern in addition to the black-and-white pattern, and may be configured as a board including a chess board or a predetermined pattern that repeats a pattern combining a black-and-white pattern and a color pattern.

또한 상기 체커보드(100)는 장기간 사용을 위해서 변형의 가능성이 적은 10mm 두께의 포맥스(pomax) 재질을 사용하는 것이 바람직하며, 그 이외에 직물, 플라스틱 등의 다양한 재질로 형성할 수 있음을 밝혀둔다.In addition, the checker board 100 is preferably made of a 10mm thick pomax material, which is less likely to be deformed, for long-term use. In addition, it is revealed that it can be formed of various materials such as fabrics and plastics.

특히, 본 발명은 상기 체커보드(100)에 체커보드 영상 내 타겟을 자동으로 인식하기 위하여 블랍(200)을 사용한다. 상기 블랍(200)은 상기 체커보드(100)의 소정 위치에 부착되어, 상기 체커보드(100)의 영상 내에서 타겟을 자동으로 인식하기 위해 사용되며, 카메라 캘리브레이션을 위해 촬영한 영상에서 사각형을 인식하기 위한 테두리의 사각형 내부에 원으로 구성된다.In particular, the present invention uses the blob 200 to automatically recognize a target in the checkerboard image on the checkerboard 100 . The blob 200 is attached to a predetermined position of the checker board 100, is used to automatically recognize a target in the image of the checker board 100, and recognizes a rectangle in an image taken for camera calibration It is composed of a circle inside the rectangle of the border for

상기 블랍(200)은 상기 체커보드(100) 내에 총 8개를 사용하고, 내측에 구비되는 1번 내지 4번 블랍은 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드(100)의 방향성을 판별하기 위한 방향성 판별용 블랍(210)으로 사용하고, 외측에 구비되는 5번 내지 8번 블랍은 상기 카메라 캘리브레이션을 위해 촬영한 영상에서 상기 체커보드(100)의 타겟 개수를 산출하기 위한 타겟 개수 산출용 블랍(220)으로 사용한다.The blob 200 uses a total of 8 in the checker board 100, and the blobs 1 to 4 provided inside determine the directionality of the checker board 100 in the image taken for the camera calibration. It is used as a blobs 210 for determining the direction to be used, and blobs 5 to 8 provided on the outside are for calculating the number of targets for calculating the number of targets of the checker board 100 in the image taken for the camera calibration. It is used as a blob 220 .

여기서, 본 발명에서는 상기 블랍(200)을 상기 체커보드(100) 내에 총 8개를 사용하는 것을 예로 하여 설명하지만 이에 한정되는 것은 아니며, 그 수를 다양하게 변경시켜 사용할 수 있다.Here, in the present invention, a total of eight blobs 200 are used in the checker board 100 as an example, but the present invention is not limited thereto, and the number may be varied and used.

도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드에 적용되는 블랍을 보다 상세하게 설명하기 위한 도면이다.2 is a view for explaining in more detail a blob applied to a checker board for camera calibration according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 상기 블랍(200)은 흑색 바탕에 흰색 원으로 구성한다. 또한 상기 블랍(200)은 사각형을 인식하기 위한 흑색 테두리와 백색 테두리의 사각형 내부에 흰색 원으로 구성한다.As shown in FIG. 2 , the blob 200 is composed of a white circle on a black background. In addition, the blob 200 is composed of a white circle inside the square of the black border and the white border for recognizing the square.

이때 상기 블랍(200)의 외곽을 구성하는 사각형 중 최외곽의 흑색 사각형의 가로 및 세로 비율은 상기 체커보드(100)의 가로 길이의 약 4% 및 세로 길이의 약 7%로 하여 직사각형 형태로 구성한다.At this time, the horizontal and vertical ratios of the outermost black rectangle among the rectangles constituting the periphery of the blob 200 are approximately 4% of the horizontal length and approximately 7% of the vertical length of the checker board 100 to form a rectangular shape. do.

또한 상기 블랍(200)의 외곽을 구성하는 사각형 중 백색 사각형의 가로 및 세로 비율은 상기 흑색 사각형보다 약 0.5% 정도 작은 비율의 직사각형 형태로 구성한다.In addition, the horizontal and vertical ratios of the white rectangle among the rectangles constituting the periphery of the blob 200 are formed in a rectangular shape with a ratio smaller than that of the black rectangle by about 0.5%.

여기서 상기 흑색 사각형 및 백색 사각형의 가로 및 세로 비율은 상기 설명한 비율과 달리 다양하게 적용할 수 있다.Here, the horizontal and vertical ratios of the black quadrangle and the white quadrangle may be variously applied, unlike the ratios described above.

도 3은 본 발명의 일 실시예에 따른 자동 타겟 인식 장치의 구성을 보다 상세하게 나타낸 도면이다.3 is a diagram showing the configuration of an automatic target recognition apparatus according to an embodiment of the present invention in more detail.

도 3에 도시된 바와 같이, 본 발명의 자동 타겟 인식 장치(300)는 타겟 검출부(310), 블랍 검출부(320), 자동 타겟 인식부(330) 등을 포함하여 구성된다.As shown in FIG. 3 , the automatic target recognition apparatus 300 of the present invention includes a target detection unit 310 , a blob detection unit 320 , an automatic target recognition unit 330 , and the like.

상기 타겟 검출부(310)는 카메라 캘리브레이션을 위해 블랍(200)이 구비된 체커보드(100)를 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟을 검출하는 기능을 수행한다.The target detection unit 310 performs a function of detecting a plurality of targets from a plurality of checkerboard images photographed by changing the position and posture of the checkerboard 100 provided with the blob 200 for camera calibration.

상기 블랍 검출부(320)는 상기 촬영한 체커보드 영상에서 블랍을 검출하는 기능을 수행한다.The blob detection unit 320 performs a function of detecting a blob in the photographed checkerboard image.

상기 자동 타겟 인식부(330)는 상기 타겟 검출부(310)에서 검출한 타겟과 상기 블랍 검출부(320)에서 검출한 블랍을 이용하여 자동으로 타겟을 인식하는 기능을 수행한다.The automatic target recognition unit 330 performs a function of automatically recognizing a target using the target detected by the target detection unit 310 and the blob detected by the blob detection unit 320 .

이때 상기 자동 타겟 인식부(330)는 기준 체커보드 판별부(331), 오검출 타겟 제거부(332), 방향성 판별부(333), 투영 변환부(334), 타겟 대응부(335) 등을 포함하여 구성된다.At this time, the automatic target recognition unit 330 includes a reference checkerboard determination unit 331, a false detection target removal unit 332, a direction determination unit 333, a projection conversion unit 334, a target correspondence unit 335, and the like. consists of including

상기 기준 체커보드 판별부(331)는 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지, 아니면 참조 체커보드 영상인지 판별한다.The reference checkerboard determining unit 331 determines whether the checkerboard image is a reference checkerboard image or a reference checkerboard image through the detected plurality of target coordinates.

상기 오검출 타겟 제거부(332)는 상기 기준 체커보드 판별부(331)에서 판별한 상기 기준 체커보드 영상에 대해서 오검출한 타겟을 제거한다.The erroneous detection target removal unit 332 removes a target erroneously detected with respect to the reference checkerboard image determined by the reference checkerboard determination unit 331 .

상기 방향성 판별부(333)는 상기 기준 체커보드 판별부(331)에서 판별한 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍으로부터 상기 참조 체커보드 영상의 방향성을 판별한다.The direction determining unit 333 determines the direction of the reference checkerboard image from the extracted blob with respect to the reference checkerboard image determined by the reference checkerboard determining unit 331 .

상기 투영 변환부(334)는 상기 기준 체커보드 영상의 블랍과 상기 참조 체커보드 영상의 블랍을 이용해서, 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환한다.The projection conversion unit 334 uses the blob of the reference checkerboard image and the blob of the reference checkerboard image to project-transform the reference checkerboard image to match the reference checkerboard image.

상기 타겟 대응부(335)는 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시킨다.The target correspondence unit 335 matches the target of the projection-converted reference checkerboard image with the target of the reference checkerboard image, respectively.

이와 같이 구성된 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 이용한 자동 타겟 인식 방법의 동작과정을 도 4 내지 도 6을 참조하여 설명하면 다음과 같다. 여기에서는, 자동 타겟 인식에 대한 전체 동작과정에 대하여 설명하고, 각 단계별 상세한 동작과정은 후술하는 도 7 내지 도 26에서 상세하게 설명하기로 한다.An operation process of the automatic target recognition method using a checkerboard for camera calibration according to an embodiment of the present invention configured as described above will be described with reference to FIGS. 4 to 6 . Here, the entire operation process for automatic target recognition will be described, and the detailed operation process for each step will be described in detail with reference to FIGS. 7 to 26 to be described later.

도 4는 본 발명의 일 실시예에 따른 체커보드를 이용한 자동 타겟 인식 방법의 동작과정을 상세하게 나타낸 순서도이고, 도 5는 본 발명에 적용된 자동 타겟 인식 방법에서 흑백 패턴의 타겟을 검출하는 과정을 상세하게 나타낸 순서도이며, 도 6은 본 발명에 적용된 자동 타겟 인식 방법에서 타겟에 번호를 부여하는 과정을 상세하게 나타낸 순서도이다.4 is a flowchart showing in detail the operation process of the automatic target recognition method using a checkerboard according to an embodiment of the present invention, and FIG. 5 is a process of detecting a target of a black and white pattern in the automatic target recognition method applied to the present invention. It is a detailed flowchart, and FIG. 6 is a flowchart showing in detail the process of assigning a number to a target in the automatic target recognition method applied to the present invention.

도 4에 도시된 바와 같이, 본 발명은 카메라 캘리브레이션을 위해서 탈부착이 가능한 블랍(200)이 구비된 체커보드(100)를 카메라의 위치와 자세를 바꿔서 촬영하는 단계를 수행하고(S100), 카메라의 위치와 자세를 바꿔서 촬영한 복수의 체커보드 영상에서 복수의 타겟(즉 흑백 패턴)을 검출하는 타겟 검출 단계를 수행한다(S200).As shown in Figure 4, the present invention performs a step of photographing the checkerboard 100 provided with a detachable blob 200 for camera calibration by changing the position and posture of the camera (S100), and A target detection step of detecting a plurality of targets (that is, a black and white pattern) from a plurality of checkerboard images captured by changing positions and postures is performed (S200).

이때 상기 체커보드(100)는 흑백 패턴의 타겟 검출을 위해서 도 1에 도시된 것과 같이 총 8개의 블랍(200)을 이용한다. 예를 들어 1번 내지 4번 블랍은 상기 체커보드(100) 영상의 방향성을 판별하는데 사용하며, 5번 내지 8번 블랍은 오검출되는 타겟을 제거하는데 사용한다. 또한 1번 내지 8번 블랍을 모두 이용하여 영상 간의 투영 변환을 위한 매개변수를 결정하는데 사용한다.At this time, the checker board 100 uses a total of eight blobs 200 as shown in FIG. 1 for target detection of a black and white pattern. For example, blobs 1 to 4 are used to determine the direction of the image of the checker board 100, and blobs 5 to 8 are used to remove an erroneously detected target. Also, all blobs 1 to 8 are used to determine parameters for projection transformation between images.

상기 S200 단계에서 수행되는 타겟을 검출하는 타겟 검출 단계를 도 5를 참조하여 상세하게 설명하면, 상기 촬영한 체커보드 영상에서 특징점 연산자를 이용하여 특징점을 검출하는 단계를 수행하고(S210), 상기 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건의 3가지 조건을 모두 충족하는지를 판단하는 단계를 수행한다(S220 내지 S240).If the target detection step of detecting the target performed in step S200 will be described in detail with reference to FIG. 5 , the step of detecting a key point using a key point operator in the captured checkerboard image is performed (S210), and the detection A step of determining whether a feature point satisfies all three conditions of a black-and-white pattern, a color pattern, or a pattern distortion consideration condition including a color pattern or a combination thereof, a boundary number condition, and a black-and-white pixel ratio condition is performed (S220 to S240).

상기 S220 내지 S240 단계의 판단결과, 상기 S210 단계에서 검출한 특징점이 흑백 패턴, 컬러 패턴 또는 이들의 조합을 포함한 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백의 픽셀 비율 조건을 모두 충족하면, 해당 체커보드 영상의 특징점을 상기 패턴의 타겟으로 검출하는 단계를 수행한다(S250).As a result of the determination in steps S220 to S240, if the feature point detected in step S210 satisfies the distortion consideration condition of the pattern including the black-and-white pattern, the color pattern, or a combination thereof, the boundary number condition, and the black-and-white pixel ratio condition, the checker A step of detecting a feature point of the board image as a target of the pattern is performed (S250).

또한 카메라의 자동 타겟 인식 장치(300)는 상기 S100 단계에서 촬영한 체커보드(100)의 영상에서 블랍(200)을 검출하는 블랍 검출 단계를 수행한다(S300). 즉 상기 촬영한 체커보드(100)의 영상에서 다각형 검출을 수행하고, 경계선 간 각도를 산출하여 상기 체커보드(100)에 구비된 블랍(200)을 검출하는 것이다.In addition, the automatic target recognition apparatus 300 of the camera performs a blob detection step of detecting the blob 200 in the image of the checkerboard 100 taken in the step S100 (S300). That is, the polygon detection is performed on the image of the checkerboard 100 taken, and the angle between the boundary lines is calculated to detect the blob 200 provided in the checkerboard 100 .

상기 S300 단계의 블랍 검출 단계를 보다 상세하게 설명하면, 카메라의 자동 타겟 인식 장치(300)는 상기 촬영한 체커보드 영상에서 다각형을 검출하고, 꼭지점의 개수가 4개이면서 2개의 경계선이 이루는 각도가 90도±45도 이내인 다각형을 사각형으로 판별한다. 그리고 상기 판별한 사각형 중 백색 사각형의 네 꼭지점에서 바깥 방향으로 블랍(200)의 크기에 비례한 길이만큼 선분을 그린 후 밝기 값의 변화 횟수를 검사하여, 밝기 값 변화 횟수가 3회인 꼭지점이 3개 이상, 4개 이하이면 블랍(200)을 포함하는 사각형으로 판별한다. 상기 판별한 블랍(200)을 포함하는 사각형 내에서 추출된 경계선을 이용하여 다각형을 검출한 후 꼭지점의 개수가 3개 이상이면서 각각의 벡터 간 각도가 최소 -80도 이하, 최대 0도 이하인 경우 원으로 가정하며, 상기 원으로 가정하는 다각형의 면적이 모든 블랍의 평균 면적의 70% 이상인 경우 상기 다각형을 블랍(200)으로 검출한다.If the blob detection step of step S300 is described in more detail, the automatic target recognition device 300 of the camera detects a polygon in the photographed checkerboard image, the number of vertices is 4 and the angle formed by the two boundary lines is Polygons within 90 degrees ± 45 degrees are classified as quadrilaterals. And, after drawing a line segment for a length proportional to the size of the blob 200 outward from the four vertices of the white rectangle among the determined rectangles, the number of changes in the brightness value is checked, and the number of changes in the brightness value is 3 vertices Above or less than 4, it is determined as a rectangle including the blob 200. After detecting a polygon using the boundary line extracted from within the rectangle including the determined blob 200, if the number of vertices is 3 or more and the angle between each vector is at least -80 degrees and at most 0 degrees or less, the circle , and when the area of the polygon assumed to be a circle is 70% or more of the average area of all blobs, the polygon is detected as the blob 200 .

상기 S200 단계를 통해 복수의 체커보드 영상에서 복수의 타겟을 검출하고, S300 단계를 통해 블랍(200)을 검출한 이후, 카메라의 자동 타겟 인식 장치(300)는 상기 검출한 타겟과 블랍을 이용하여 자동으로 타겟을 인식하는 타겟 인식 단계를 수행한다(S400 내지 S800).After detecting a plurality of targets in a plurality of checkerboard images through the step S200 and detecting the blob 200 through the step S300, the automatic target recognition apparatus 300 of the camera uses the detected target and the blob. A target recognition step of automatically recognizing a target is performed (S400 to S800).

상기 타겟 인식 단계를 구체적으로 설명하면, 상기 카메라의 자동 타겟 인식 장치(300)는 상기 검출한 복수의 타겟 좌표를 통해서 상기 체커보드 영상이 기준 체커보드 영상인지 참조 체커보드 영상인지 판별하는 단계를 수행한다(S400). 즉 기준 정방향으로 촬영된 체커보드 영상인 기준 체커보드 영상인지, 아니면 상기 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐 등이 나타나는 영상인 참조 체커보드 영상인지의 여부를 판단하는 것이다.When the target recognition step is described in detail, the automatic target recognition device 300 of the camera performs a step of determining whether the checkerboard image is a reference checkerboard image or a reference checkerboard image through the detected plurality of target coordinates. do (S400). That is, it is determined whether it is a reference checkerboard image, which is a checkerboard image photographed in the reference forward direction, or a reference checkerboard image, which is an image in which only a part of the checkerboard image is photographed, or an image in which rotation, movement, inclination, etc. of the image appear.

상기 S400 단계의 판단결과 기준 체커보드 영상이면, 상기 카메라의 자동 타겟 인식 장치(300)는 상기 기준 체커보드 영상에 대해서 가장자리 네 방향의 타겟 배열을 이용하여 각 라인별 각도를 산출한 후 오검출한 타겟을 제거하고, 상기 오검출한 타겟이 제거된 상기 기준 체커보드 영상에서 모든 타겟에 대해 번호를 부여하는 단계를 수행한다(S500).If the determination result of step S400 is the reference checkerboard image, the automatic target recognition apparatus 300 of the camera calculates the angle for each line using the target array in the four edges with respect to the reference checkerboard image and then erroneously detected it. A target is removed, and a step of assigning numbers to all targets in the reference checkerboard image from which the erroneously detected target is removed is performed (S500).

상기 S500 단계의 오검출한 타겟을 제거하는 것을 보다 상세하게 설명하면, 카메라의 자동 타겟 인식 장치(300)는 상기 기준 체커보드 영상에서 가장자리 네 방향의 타겟 배열을 검출하고, 상기 검출한 가장자리 네 방향의 타겟 배열을 이용하여 각 라인별 각도를 산출하며, 상기 산출한 각 라인별 각도가 기 설정된 범위의 각도를 벗어나는 경우 해당 타겟을 오검출 타겟으로 분류하여 제거한다.To explain in more detail the removal of the erroneously detected target in step S500, the automatic target recognition apparatus 300 of the camera detects a target arrangement in four edges in the reference checkerboard image, and the detected edge four directions An angle for each line is calculated using a target array of , and if the calculated angle for each line is out of an angle within a preset range, the target is classified as an erroneous detection target and removed.

또한 상기 S400 단계의 판단결과 기준 체커보드 영상이 아니면, 상기 카메라의 자동 타겟 인식 장치(300)는 상기 참조 체커보드 영상에 대해서 상기 추출한 블랍(200)을 이용해서 상기 참조 체커보드 영상의 방향성을 판별하는 단계를 수행한다(S600).In addition, if the determination result of step S400 is not the reference checkerboard image, the automatic target recognition apparatus 300 of the camera determines the directionality of the reference checkerboard image using the extracted blob 200 for the reference checkerboard image. to perform the step (S600).

상기 S500 단계를 통해 기준 체커보드 영상에서 오검출한 타겟을 제거한 후 모든 타겟에 번호를 부여하고, S600 단계를 통해 참조 체커보드 영상에서 방향성을 판별한 이후에는, 기준 체커보드 영상의 블랍(200)과 참조 체커보드 영상의 블랍(200)을 이용해서 기준 체커보드 영상을 참조 체커보드 영상에 맞게 투영 변환하는 단계를 수행한다(S700). 즉 상기 블랍(200)을 이용하여 번호가 부여된 타겟이 존재하는 기준 체커보드 영상에서 타겟의 번호가 부여되지 않은 타겟이 존재하는 참조 체커보드 영상으로 투영 변환하는 것이다.After removing the erroneously detected target from the reference checkerboard image through step S500, and assigning numbers to all targets, after determining the direction from the reference checkerboard image through step S600, the blob 200 of the reference checkerboard image and a step of projecting and transforming the reference checkerboard image to fit the reference checkerboard image using the blob 200 of the reference checkerboard image (S700). That is, using the blob 200 , the reference checkerboard image in which the numbered target exists is projected into a reference checkerboard image in which the target to which the target number is not assigned exists.

이후 상기 투영 변환된 기준 체커보드 영상의 타겟과 참조 체커보드 영상의 타겟을 각각 일대일 대응시켜, 타겟에 번호를 부여하는 단계를 수행한다(S800).Thereafter, a step of assigning a number to the target is performed by making a one-to-one correspondence between the target of the projection-converted reference checkerboard image and the target of the reference checkerboard image (S800).

상기 S800 단계에서 수행되는 타겟에 번호를 부여하는 과정을 도 6을 참조하여 상세하게 설명하면, 상기 S700 단계에서 투영 변환된 기준 체커보드 영상의 타겟들은 참조 체커보드 영상의 타겟에 정확하게 위치하지 않기 때문에, 상기 투영 변환된 기준 체커보드 영상의 타겟과 상기 참조 체커보드 영상의 타겟 간에 가까운 타겟 좌표를 탐색하여, 상기 기준 체커보드 영상의 타겟 번호와 동일하게 참조 체커보드 영상의 타겟 번호를 부여하는 단계를 수행한다(S810).The process of assigning a number to the target performed in step S800 will be described in detail with reference to FIG. 6 , because the targets of the reference checkerboard image projected and transformed in step S700 are not accurately located in the target of the reference checkerboard image. , Searching for target coordinates close between the target of the projection-transformed reference checkerboard image and the target of the reference checkerboard image, and giving the target number of the reference checkerboard image identical to the target number of the reference checkerboard image perform (S810).

또한 상기 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 발생할 수 있다. 이 경우 타겟 번호가 부여되지 않은 특징점의 타겟 번호를 부여하는 단계를 수행한다(S820). 예를 들어 투영 변환된 기준 체커보드 영상 및 참조 체커보드 영상의 타겟에서 블랍 사각형의 크기에 비례하는 일정 반경을 이용하여 참조 체커보드 영상의 특징점이 존재하면 타겟과 특징점 간 최소 거리에 있는 특징점을 타겟으로 판별하고 번호를 부여하는 것이다.Also, a feature point that is not detected as a target among the feature points to be detected as a target in the reference checkerboard image may occur. In this case, a step of assigning a target number of a feature point to which a target number is not assigned is performed (S820). For example, if a feature point of the reference checkerboard image exists using a certain radius proportional to the size of the blob rectangle in the target of the projection-converted reference checkerboard image and the reference checkerboard image, the feature point at the minimum distance between the target and the feature point is targeted. to be identified and numbered.

또한 상기 번호를 부여하는 것은, 좌상단 타겟부터 시작하고, 상기 좌상단 타겟으로부터 가까운 두 타겟 중에서 상단에 있는 타겟을 다음 번호로 선정하고, 우하단 타겟의 번호가 선정될 때까지 수행한다.In addition, the assigning of the number starts from the upper left target, selects the target at the upper end of the two targets close to the upper left target as the next number, and performs until the number of the lower right target is selected.

다음에는, 본 발명의 일 실시예에 따른 카메라 캘리브레이션을 위한 체커보드를 이용한 자동 타겟 인식 방법의 각 단계별 상세구성을 도 7 내지 도 26을 참조하여 설명한다.Next, detailed configuration of each step of the automatic target recognition method using a checkerboard for camera calibration according to an embodiment of the present invention will be described with reference to FIGS. 7 to 26 .

먼저 도 7 내지 도 11을 참조하여, 상기 도 4의 S200 단계의 흑백 패턴의 타겟 검출에 대하여 설명하면 다음과 같다.First, with reference to FIGS. 7 to 11 , the target detection of the black and white pattern in step S200 of FIG. 4 will be described as follows.

도 7은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 타겟 검출을 위한 원형 탐색을 설명하기 위한 도면이고, 도 8은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 양방향 모두 흑색과 백색이 아닌 경우를 나타낸 도면이고, 도 9는 본 발명에 적용된 흑백 패턴의 타겟 검출에서 한 방향은 흑색이고 다른 방향은 백색인 경우를 나타낸 도면이고, 도 10은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 경계선 횟수에 의한 타겟 검출을 설명하기 위한 도면이며, 도 11은 본 발명에 적용된 흑백 패턴의 타겟 검출에서 흑백 픽셀의 비율에 의한 타겟 검출을 설명하기 위한 도면이다.7 is a diagram for explaining a circular search for target detection in target detection of a black and white pattern applied to the present invention, and FIG. 8 is a diagram showing a case in which black and white are not both in both directions in target detection of a black and white pattern applied to the present invention 9 is a diagram showing a case where one direction is black and the other direction is white in target detection of a black and white pattern applied to the present invention, and FIG. 10 is a target detection by the number of boundary lines in target detection of a black and white pattern applied to the present invention FIG. 11 is a diagram for explaining target detection by a ratio of black and white pixels in target detection of a black and white pattern applied to the present invention.

흑백 패턴의 타겟을 검출하기 위해서는 특징점을 이용한다. 상기 특징점은 KLT, Harris,

등의 특징점 연산자를 이용하여 특징점을 검출하고, 부화소(sub-pixel) 단위로 특징점의 좌표 값이 추출되도록 한다. 상기 검출된 특징점은 흑백 타겟의 교차점뿐만 아니라 다양한 모서리 등에서도 추출되기 때문에, 일정 조건을 통해 검출된 특징점 중에서 흑백 패턴의 타겟에 해당하는 특징점만 추출될 수 있도록 해야 한다.To detect a black-and-white pattern target, a feature point is used. The characteristic point is KLT, Harris,

The feature point is detected using a feature point operator, such as, and the coordinate value of the feature point is extracted in units of sub-pixels. Since the detected feature points are extracted not only from the intersections of the black and white targets but also from various corners, it is necessary to extract only the feature points corresponding to the target of the black and white pattern from among the detected feature points under a certain condition.

모든 특징점으로부터 블랍의 크기에 비례한 일정 반경의 원을 구성한다. 원의 반경은 영상에 나타나는 모든 블랍 사각형의 가로 길이를 3으로 나누고, 3으로 나눈 모든 블랍 사각형의 가로 길이에 대한 평균값이다.A circle with a certain radius proportional to the size of the blob is constructed from all feature points. The radius of the circle is an average value of the horizontal lengths of all blob rectangles appearing in the image divided by 3 and the horizontal lengths of all the blob rectangles divided by 3.

도 7에 도시된 바와 같이, 원을 그리며 해당되는 픽셀들에 대해 밝기 값의 최소, 최대값을 산출하고, 수학식 1과 같이 정량화한다. 정량화된 밝기 값을 분류하기 위해 0 내지 255단계로 나타나는 밝기 값의 중앙값에 해당하는 127에서 흑색의 범위는 좀 더 어두운 값에, 그리고 백색의 범위는 좀 더 밝은 값에 범위를 두여 흑색과 백색을 분류한다. 예를 들면, 밝기 값 분포도를 고려하여 흑색의 범위는 0 내지 50사이의 밝기 값으로 하고 백색의 범위는 205 내지 255로 정하여 흑색과 백색을 분류할 수 있다.As shown in FIG. 7 , the minimum and maximum values of the brightness values are calculated for the corresponding pixels while drawing a circle, and quantified as in Equation 1. In order to classify the quantified brightness values, from 127, which corresponds to the median value of the brightness values displayed in 0 to 255 steps, the range of black is set to a darker value, and the range of white is to a lighter value. classify For example, in consideration of the distribution of brightness values, the range of black may be set as a brightness value between 0 and 50 and the range of white as 205 to 255, so that black and white may be classified.

[수학식 1][Equation 1]

정량화된 그레이 영상 픽셀값 = (해당 영상 픽셀값 - 최소 픽셀값) × (255/최대 픽셀값 - 최소 픽셀값)Quantified gray image pixel value = (corresponding image pixel value - minimum pixel value) × (255/maximum pixel value - minimum pixel value)

본 발명에서는 모든 특징점으로부터 타겟을 검출하기 위해, 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건의 3가지 조건을 적용한다. 상기 3가지 조건을 적용하기 위해 특징점의 중심으로부터 좌측과 우측으로 일정 반경의 원을 양방향으로 그린다. 3가지 조건에 모두 충족되는 특징점은 타겟으로 검출한다.In the present invention, in order to detect a target from all the feature points, three conditions are applied: a condition for considering distortion of a black and white pattern, a condition for the number of boundary lines, and a condition for a ratio of black and white pixels. In order to apply the above three conditions, circles of a certain radius are drawn in both directions from the center of the feature point to the left and right. A feature point that satisfies all three conditions is detected as a target.

상기 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건 및 흑백 픽셀의 비율 조건의 3가지 조건 각각에 대해서 보다 상세하게 설명한다.Each of the three conditions of the black-and-white pattern distortion consideration condition, the boundary line count condition, and the black-and-white pixel ratio condition will be described in more detail.

첫 번째, 흑백 패턴의 왜곡 고려 조건을 설명하면, 제작된 사각형의 타겟은 영상을 촬영하는 방향 또는 각도에 따라 도 8에 도시된 바와 같이 흑백 패턴의 사각형의 형태가 변형되어 나타날 수 있다. 사각형의 형태가 변형됨에 따라 흑색과 백색 사이의 픽셀 개수가 다르게 나타난다. 변형된 형태의 흑백 패턴은 도 9에 도시된 바와 같이 특징점에서 양방향의 픽셀 값이 한 방향은 흑색으로 나타나고 다른 방향은 백색으로 나타날 수 있다. 또한, 도 8에 도시된 바와 같이 양방향 모두 흑색과 백색의 범위에 들지 못할 수도 있다. 도 9와 같이 나타나는 경우는 주로 영상을 촬영하는 방향 또는 각도에 따라 변형된 흑백 패턴 형태로 나타난다. 도 8과 같이 나타나는 경우는 주로 흑색과 백색 모두 해당되지 않는 픽셀 값 51 내지 204의 범위로 나타난다. 타겟은 주로 흑백 패턴을 갖기 때문에 흑색과 백색이 아닌 픽셀 개수(픽셀 값 51 내지 204 범위의 픽셀 개수)보다 한 방향은 흑색(픽셀 값 0 내지 50 범위), 다른 방향은 백색(픽셀 값 205 내지 255)으로 나타나는 픽셀의 개수가 많다면 타겟으로 검출한다.First, the conditions for considering distortion of the black and white pattern will be described. As shown in FIG. 8 , the manufactured rectangular target may appear with a deformed shape of the rectangle of the black and white pattern according to the direction or angle at which the image is captured. As the shape of the rectangle is changed, the number of pixels between black and white appears differently. In the modified black and white pattern, as shown in FIG. 9 , pixel values in both directions at the feature point may appear as black in one direction and white in the other direction. Also, as shown in FIG. 8 , both directions may not fall within the range of black and white. The case shown in FIG. 9 mainly appears in the form of a black-and-white pattern modified according to the direction or angle in which the image is taken. The case shown in FIG. 8 mainly appears in the range of pixel values 51 to 204 in which neither black nor white is applicable. Since the target has a predominantly black and white pattern, the number of pixels that are not black and white (number of pixels in the range of pixel values 51 to 204) is black (pixel values 0-50) in one direction and white (pixel values 205-255) in the other direction. If the number of pixels indicated by ) is large, it is detected as a target.

두 번째, 경계선 횟수 조건을 설명하면, 특징점으로부터 상기 도 8 및 도 9에서와 같이 양방향으로 원을 그릴 때, 흑색에서 백색, 또는 백색에서 흑색으로 변화되는 구간을 경계선으로 가정한다. 그리고 도 10에 도시된 바와 같이 각 방향별로 한 번의 경계선 영역이 나타나는 경우에만 타겟으로 검출한다.Second, when the boundary line count condition is described, when a circle is drawn in both directions from the feature point as in FIGS. 8 and 9, it is assumed that a section that changes from black to white or from white to black is a boundary line. And, as shown in FIG. 10, only when a boundary line area appears once in each direction is detected as a target.

세 번째, 흑백 픽셀의 비율 조건을 설명하면, 흑백 패턴의 왜곡 고려 조건과 경계선 횟수 조건을 고려했을 때 흑백의 픽셀 개수가 고려되지 않는다. 흑백이 아닌 픽셀의 개수가 흑백의 픽셀 개수보다 많을 수 있는 경우가 발생하는데, 이 경우에는 흑백의 픽셀 개수에 대해 흑백이 아닌 픽셀의 개수가 비율적으로 적어야 한다. 특징점으로부터 도 11에 도시된 바와 같이 좌우방향으로 원을 그릴 때 양쪽 동시에 흑색 또는 백색인 경우(○)의 수가 흑색 또는 백색이 아닌 경우(□)의 수보다 일정한 비율(20%)보다 많으면 타겟으로 검출한다. 즉 흑색 또는 백색인 경우(○)의 픽셀 개수×0.2 > 흑색 또는 백색이 아닌 경우(□)의 픽셀 개수이면, 타겟으로 검출하는 것이다. 비율을 20%로 설정한 이유는 정상적인 흑백 패턴이라면 흑백이 아닌 픽셀의 개수가 흑백의 픽셀 개수의 20%를 넘을 수 없기 때문이다. 예를 들어 흑백이 아닌 픽셀의 개수가 12개, 흑색의 픽셀 개수가 40개, 백색의 픽셀 개수가 40개라 가정하면, 이때 흑백의 픽셀 개수의 20%는 16개이기 때문에 흑백이 아닌 픽셀의 개수인 12개 보다 많으므로 상기 특징점을 타겟으로 검출한다.Third, when explaining the ratio condition of black and white pixels, the number of black and white pixels is not considered when considering the distortion consideration condition of the black and white pattern and the boundary number condition. There is a case where the number of non-black and white pixels may be greater than the number of black and white pixels. In this case, the number of non-black and white pixels should be less than the number of black and white pixels. When drawing a circle from the feature point in the left and right direction as shown in FIG. 11, if the number of cases of black or white at both sides (○) is greater than the number of cases that are not black or white (□), it is a target by a certain ratio (20%). detect That is, if the number of pixels in the case of black or white (○) × 0.2 > the number of pixels in the case of not black or white (□), the target is detected. The reason why the ratio is set to 20% is that the number of non-black-and-white pixels cannot exceed 20% of the number of black-and-white pixels in a normal black-and-white pattern. For example, if the number of non-black and white pixels is 12, the number of black pixels is 40, and the number of white pixels is 40, at this time, 20% of the number of black and white pixels is 16, so the number of non-black and white pixels Since there are more than 12, the feature point is detected as a target.

또한, 도 12 및 도 13을 참조하여, 상기 도 4의 S300 단계의 블랍 검출에 대하여 설명하면 다음과 같다.In addition, with reference to FIGS. 12 and 13 , the blob detection in step S300 of FIG. 4 will be described as follows.

도 12는 본 발명에 적용된 블랍 검출에서 다각형의 각도 산출을 설명하기 위한 도면이고, 도 13은 본 발명에 적용된 블랍 검출에서 블랍을 포함하는 사각형의 판별을 설명하기 위한 도면이다.12 is a diagram for explaining calculation of the angle of a polygon in blob detection applied to the present invention, and FIG. 13 is a diagram for explaining discrimination of a rectangle including blobs in blob detection applied to the present invention.

블랍의 개수를 찾기 위해서는 상기 도 2에 도시된 바와 같이 블랍을 둘러싸고 있는 사각형을 판별해야 한다. 사각형은 영상에서 경계선을 추출하고 경계선을 이용하여 다각형을 검출한다. 다각형을 검출한 후, 꼭지점의 개수가 4개이면서 2개의 경계선이 이루는 각도가 90°±45°이내인 다각형을 사각형으로 판별한다. 각도를 산출하는 방법은 수학식 2와 같이 점 3개를 이용하여 산출한다. 도 12에 도시된 바와 같이 점 3개는 A, B, C이며, P1, P2는 벡터이다.In order to find the number of blobs, a quadrangle surrounding the blobs should be determined as shown in FIG. 2 . For a rectangle, a boundary line is extracted from an image and a polygon is detected using the boundary line. After detecting a polygon, a polygon having 4 vertices and an angle between two boundary lines is within 90°±45° is determined as a quadrilateral. A method of calculating the angle is calculated using three points as in Equation 2. As shown in FIG. 12, three dots are A, B, and C, and P1 and P2 are vectors.

[수학식 2][Equation 2]

모든 사각형이 내부에 블랍을 포함하고 있는 것은 아니므로 사각형 중에서 블랍을 포함하는지 여부를 살펴봐야 한다. 이를 위해 도 13에 도시된 바와 같이 백색으로 둘러싸고 있는 사각형의 네 꼭지점에서 바깥 방향으로 블랍의 크기에 비례한 길이만큼 선분을 그린 후, 밝기 값의 변화 횟수를 검사한다. 이때 밝기 값은 상기 수학식 1을 통해 정량화한 값을 이용하여 변화 횟수를 검사한다. 꼭지점에서 밝기 값 변화 횟수가 3회인 꼭지점이 3개 이상, 4개 이하이면 블랍을 포함하는 사각형으로 판별한다. 이때 꼭지점이 3개 이상, 4개 이하인 사각형을 판별하는 이유는 잡영으로 인한 잘못된 판별로 사각형을 인식하지 못할 수 있기 때문이다.Not all rectangles contain blobs, so it is necessary to check whether any of the rectangles contain blobs. To this end, as shown in FIG. 13 , a line segment is drawn as much as a length proportional to the size of the blob in the outward direction from the four vertices of the rectangle surrounded by white, and then the number of changes in the brightness value is checked. In this case, the number of changes in the brightness value is checked using the value quantified through Equation 1 above. If there are 3 or more and 4 or less vertices whose brightness value changes 3 times at the vertex, it is determined as a rectangle including a blob. At this time, the reason for discriminating a quadrangle having three or more and four or less vertices is that the quadrangle may not be recognized due to an erroneous determination due to a muffled stalk.

사각형 내부의 블랍은 사각형에서 경계선을 추출하고, 경계선을 이용하여 다각형을 검출한다. 다각형을 검출한 후 꼭지점의 개수가 3개 이상이면서, 각각의 벡터 간 각도가 최소 -80° 이하, 최대 0° 이하인 경우 원으로 가정한다. 원으로 가정할 수 있는 다각형에서 실제 블랍이 아닌 작은 먼지나 작은 점과 같은 것을 제외하고 원을 인식하기 위하여, 모든 블랍의 평균 면적을 구하여 다각형들의 면적이 평균 면적의 70%보다 작은 경우 잡영으로 판단하여 제외한다. 이때 제외되지 않은 다각형을 블랍으로 검출하며, 블랍의 개수에 따라 번호를 부여한다.For the blob inside the rectangle, the boundary line is extracted from the rectangle, and the polygon is detected using the boundary line. After detecting a polygon, if the number of vertices is 3 or more and the angle between each vector is at least -80° and at most 0°, it is assumed to be a circle. In polygons that can be assumed to be circles, in order to recognize circles except for small dust or small dots that are not real blobs, the average area of all blobs is calculated and if the area of polygons is less than 70% of the average area, it is judged as a clutter. to exclude In this case, polygons that are not excluded are detected as blobs, and a number is assigned according to the number of blobs.

또한, 도 14 내지 도 17을 참조하여, 상기 도 4의 S500 단계의 기준 체커보드 영상의 오검출 타겟 제거에 대하여 설명하면 다음과 같다.In addition, with reference to FIGS. 14 to 17 , the removal of the erroneous detection target of the reference checkerboard image in step S500 of FIG. 4 will be described as follows.

도 14는 본 발명에 적용된 오검출 타겟 제거에서 오검출 타겟을 나타낸 도면이고, 도 15는 본 발명에 적용된 오검출 타겟 제거에서 가장자리 4방향의 타겟 배열을 나타낸 도면이며, 도 16 및 도 17은 본 발명에 적용된 오검출 타겟 제거에서 가로 방향 타겟 간 각도 산출 및 방향 타겟 간 각도 산출을 나타낸 도면이다.14 is a diagram illustrating a false detection target in the removal of a false detection target applied to the present invention, FIG. 15 is a diagram illustrating a target arrangement in four edge directions in the removal of a false detection target applied to the present invention, and FIGS. 16 and 17 are It is a diagram showing the calculation of the angle between lateral targets and the angle between directional targets in the erroneous detection target removal applied to the present invention.

기준 정방향 영상인 기준 체커보드 영상을 투영 변환하여 참조 영상에 대해서 타겟에 번호를 부여하기 때문에 기준 정방향 영상에 대하여 우선적으로 타겟에 번호를 부여해야 한다. 이처럼 기준 정방향 영상에 타겟에 번호를 부여하기 위해서는 오검출된 타겟을 제거하고, 타겟의 개수를 산출해야 한다. 상기 오검출된 타겟은 다양한 잡영에 의해 도 14와 같이 나타날 수 있다.Since a target is assigned a number with respect to a reference image by projection transformation of a reference checkerboard image, which is a reference forward image, a number must be assigned to a target with respect to the reference forward image first. In this way, in order to assign a number to the target in the reference forward image, the erroneously detected target must be removed and the number of targets must be calculated. The erroneously detected target may appear as shown in FIG. 14 by various noises.

타겟의 개수 산출을 위해서는 도 15와 같이 체커보드의 가장자리 4방향의 타겟 배열들을 검출한다. 가장자리 4방향의 타겟 배열들을 검출하기 위해서는 5번 내지 8번 블랍을 이용하여 도 15의 점을 검출한다. 타겟들 중 오검출된 타겟을 제거하기 위해 다음과 같은 과정을 수행한다. 상단 타겟 배열은 상단 점으로부터 5번, 6번 블랍보다 위에 있는 타겟들 각각의 거리를 산출한다. 타겟들 각각의 거리가 20%를 벗어나면 오검출된 타겟으로 인식한다. 또한 3방향의 타겟 배열도 5 내지 8번 블랍을 이용하여 위와 같이 오검출된 타겟을 제거한다.In order to calculate the number of targets, as shown in FIG. 15 , target arrays in the four directions along the edge of the checker board are detected. In order to detect the target arrays in the 4 edge directions, the points of FIG. 15 are detected using blobs 5 to 8. In order to remove the erroneously detected target among the targets, the following process is performed. The top target array calculates the distance of each of the targets above the 5th and 6th blobs from the top point. If the distance of each of the targets is out of 20%, it is recognized as a erroneously detected target. Also, in the three-direction target array, the erroneously detected target is removed using blobs 5 to 8 as described above.

상기 체커보드의 가장자리 4방향의 타겟 배열들을 이용하여 모든 타겟 중 오검출된 타겟을 분류해야 한다. 가로 방향과 세로 방향으로 각도를 산출하여 각도를 벗어나는 타겟은 오검출된 타겟으로 분류한다. 먼저 가로 방향으로 각도를 산출하기 위해서, 도 16에 도시된 바와 같이 가장 좌측 타겟(○)을 기준 타겟으로 가정 후 해당 가로 줄의 기준 타겟으로부터 가까운 순서대로 각각 타겟(●)과의 각도를 산출한다. 좌측과 우측 타겟(○) 간 각도의 ±1% 범위를 벗어나는 타겟은 오검출된 타겟으로 제거한다. 예를 들어, 좌측과 우측 타겟 간 각도가 90도라면 ±1% 범위는 89.1°내지 90.9°이다.It is necessary to classify the erroneously detected target among all the targets by using the target arrays in the four directions along the edge of the checker board. A target that deviates from the angle by calculating the angle in the horizontal and vertical directions is classified as an erroneously detected target. First, in order to calculate the angle in the horizontal direction, as shown in FIG. 16 , the leftmost target (○) is assumed as the reference target, and then the angle with the target (●) is calculated in the order closest to the reference target in the corresponding horizontal line. . A target that is outside the range of ±1% of the angle between the left and right targets (○) is removed as an erroneously detected target. For example, if the angle between the left and right targets is 90 degrees, the ±1% range is 89.1 degrees to 90.9 degrees.

또한 도 17에 도시된 바와 같이 세로 방향으로 오검출된 타겟을 제거하기 위한 방법은 가로 방향과 같다. 다만, 상단과 하단 타겟(○) 간 각도의 ±1% 범위를 벗어나는 타겟은 오검출된 타겟으로 제거한다. 렌즈 왜곡이 심한 경우 각도의 ±1% 범위를 벗어날 수 있으나, 정방향 기준 영상에 대해서만 적용하므로 위와 같이 수행한다.Also, as shown in FIG. 17 , a method for removing a target erroneously detected in the vertical direction is the same as in the horizontal direction. However, a target that is outside the range of ±1% of the angle between the upper and lower targets (○) is removed as an erroneously detected target. If the lens distortion is severe, it may be out of the ±1% range of the angle, but it is applied only to the forward reference image, so it is performed as above.

또한, 도 18을 참조하여, 상기 도 4의 S500 단계의 기준 체커보드 영상의 타겟 번호 부여에 대하여 설명하면 다음과 같다.In addition, with reference to FIG. 18 , the assignment of target numbers to the reference checkerboard image in step S500 of FIG. 4 will be described as follows.

도 18은 본 발명에 적용된 기준 체커보드 영상의 타겟 번호 부여에서 기준 타겟으로부터 가까운 두 타겟의 탐색 및 이후 타겟으로부터 가까운 두 타겟의 탐색을 설명하기 위한 도면이다.18 is a view for explaining the search for two targets close to the reference target and the search for two targets close to the next target in the target number assignment of the reference checkerboard image applied to the present invention.

기준 체커보드 영상에서 번호 부여는 좌상단 타겟부터 시작하고, 번호는 1번으로 설정한다. 좌상단 타겟으로부터 가까운 두 타겟은 도 18과 같이 나타날 수 있으며, 가까운 두 타겟 중에서 상단에 있는 타겟을 다음 번호의 타겟으로 선정한다. 이후 같은 과정으로 다음 타겟에 대한 번호를 선정한다.In the reference checkerboard image, numbering starts from the upper left target, and the number is set to 1. Two targets close to the upper left target may appear as shown in FIG. 18 , and a target located at the top of the two nearby targets is selected as the target of the next number. After that, a number for the next target is selected in the same process.

또한, 도 19 및 도 20을 참조하여, 상기 도 4의 S600 단계의 참조 체커보드 영상의 방향성 판별에 대하여 설명하면 다음과 같다.Also, with reference to FIGS. 19 and 20 , the determination of the direction of the reference checkerboard image in step S600 of FIG. 4 will be described as follows.

도 19는 본 발명에 적용된 참조 체커보드 영상의 방향성 판별에서 4가지 타입의 회전에 따른 블랍 구성을 나타낸 도면이며, 도 20은 본 발명에 적용된 참조 체커보드 영상의 방향성 판별을 위한 블랍 사각형을 이용한 선분 길이 비교를 나타낸 도면이다.19 is a view showing the blob configuration according to four types of rotation in the direction determination of the reference checkerboard image applied to the present invention, and FIG. 20 is a line segment using a blob rectangle for the direction determination of the reference checkerboard image applied to the present invention. It is a drawing showing a length comparison.

상기 체커보드 영상은 어떻게 촬영하는가에 따라 회전되어 촬영되거나 체커보드의 일부만 촬영될 수 있다. 상기 체커보드에서 중심 영역에 있는 1번 내지 4번 블랍은 도 19에 도시된 바와 같이 A, B, C 및 D 타입의 4타입으로 회전될 수 있다.The checkerboard image may be rotated and photographed or only a portion of the checkerboard may be photographed depending on how the checkerboard image is photographed. In the checkerboard, the blobs 1 to 4 in the central region may be rotated in 4 types of A, B, C and D types as shown in FIG. 19 .

상기 체커보드 영상에서 1번 내지 4번 블랍 사각형 중 최소 2개 이상의 블랍 사각형이 나타나면 방향성을 판별할 수 있다. 방향성 판별은 도 20에 도시된 바와 같이 길이를 비교하기 위한 6가지 타입으로 나눌 수 있다. 각각 점선화살표와 실선화살표로 두 가지 선분의 길이를 비교하고 블랍을 포함하는 사각형의 꼭지점 좌표를 비교하여 방향성을 판별한다.When at least two or more blob rectangles appear among the first to fourth blob rectangles in the checkerboard image, the direction may be determined. Directional determination can be divided into six types for comparing lengths as shown in FIG. 20 . The direction is determined by comparing the lengths of two line segments with a dotted arrow and a solid arrow, respectively, and comparing the coordinates of the vertices of the rectangle including the blob.

또한, 도 21을 참조하여, 상기 도 4의 S700 단계의 타겟 좌표의 투영 변환에 대하여 설명하면 다음과 같다.In addition, with reference to FIG. 21 , the projection transformation of the target coordinates in step S700 of FIG. 4 will be described as follows.

도 21은 본 발명에 적용된 타겟 좌표의 투영 변환을 위한 블랍 사각형 검출을 나타낸 도면이다.21 is a diagram showing detection of a blob rectangle for projection transformation of target coordinates applied to the present invention.

기준 체커보드 영상을 제외한 참조 체커보드 영상에 대한 타겟의 번호 부여는 도 21에 도시된 바와 같이 블랍을 포함하는 모든 사각형의 네 꼭지점 좌표와 기준 체커보드 영상의 블랍을 포함하는 사각형의 네 꼭지점 좌표를 이용하여 호모그래피 행렬을 생성한다. 그리고 상기 생성한 호모그래피 행렬을 이용하여 기준 체커보드 영상 내 타겟의 좌표를 참조 체커보드 영상에 투영 변환한다.The numbering of the target for the reference checkerboard image except the reference checkerboard image is, as shown in FIG. 21, the coordinates of the four vertices of all rectangles including the blobs and the coordinates of the four vertices of the rectangle including the blobs of the reference checkerboard image. is used to generate a homography matrix. Then, the coordinates of the target in the reference checkerboard image are projected and transformed into the reference checkerboard image by using the generated homography matrix.

또한, 도 22를 참조하여, 상기 도 4의 S800 단계의 참조 체커보드 영상의 타겟 번호 부여에 대하여 설명하면 다음과 같다.In addition, with reference to FIG. 22 , the assignment of target numbers to the reference checkerboard image in step S800 of FIG. 4 will be described as follows.

도 22는 본 발명에 적용된 참조 체커보드 영상의 타겟 번호 부여에서 투영 변환된 타겟을 나타낸 도면이다.22 is a view showing a target converted by projection in the target number assignment of the reference checkerboard image applied to the present invention.

호모그래피 행렬을 이용하여 기준 체커보드 영상의 타겟 좌표점들을 투영 변환하면, 참조 체커보드 영상에서 검출된 타겟 주변에 위치한다. 이때 투영 변환된 기준 체커보드 영상의 타겟들은 도 22에 도시된 바와 같이 정확하게 참조 체커보드 영상의 타겟에 위치하지 않기 때문에, 가까운 타겟 좌표를 탐색하여 기준 체커보드 영상 타겟들의 번호와 동일하게 부여한다.When the target coordinate points of the reference checkerboard image are projected and transformed using the homography matrix, they are located around the target detected in the reference checkerboard image. At this time, since the targets of the projection-transformed reference checkerboard image are not precisely located on the target of the reference checkerboard image as shown in FIG. 22, the nearest target coordinates are searched for and assigned the same number as the reference checkerboard image targets.

또한, 도 23 및 도 24를 참조하여, 상기 도 4의 S800 단계의 참조 체커보드 영상의 타겟 번호 부여에서 타겟 번호가 부여되지 않은 특징점의 타겟 번호 부여에 대하여 설명하면 다음과 같다.In addition, with reference to FIGS. 23 and 24 , in the target number assignment of the reference checkerboard image in step S800 of FIG. 4 , target number assignment of a feature point to which a target number is not assigned will be described as follows.

도 23은 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개보다 많은 경우를 나타낸 도면이며, 도 24는 본 발명에 적용된 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 1개인 경우를 나타낸 도면이다.23 is a view showing a case in which more than one feature point is not detected as a target among the feature points to be detected as a target in the reference checkerboard image applied to the present invention, and FIG. 24 is a target in the reference checkerboard image applied to the present invention. It is a diagram showing a case in which one feature point that is not detected as a target among the feature points to be detected is one.

상기 참조 체커보드 영상에서 타겟으로 검출되어야 하는 특징점 중 타겟으로 검출되지 않은 특징점이 생길 수 있다. 이 경우 투영 변환된 타겟에서 블랍 사각형의 크기에 비례하는 일정 반경을 이용하여 참조 체커보드 영상의 특징점이 존재하면 타겟과 특징점 간 최소 거리에 있는 특징점을 타겟으로 판별하고 번호를 부여한다. 다만, 도 23에 도시된 바와 같이 일정 반경 내에 특징점이 1개 보다 많이 존재하면 최소 거리(즉 해당 타겟(파란색)과 각 특징점(빨간색) 간의 거리)가 타겟 검출을 위한 일정 반경의 50%보다 짧다면 특징점을 타겟으로 판별하고 번호를 부여한다. 또한 도 24에 도시된 바와 같이 일정 반경 내에 특징점이 1개 존재하고 최소 거리(즉 해당 타겟(파란색)과 특징점(빨간색) 간의 거리)가 일정 반경의 약 70%보다 짧다면 특징점을 타겟으로 판별하고 번호를 부여한다. 촬영 각도와 환경에 따라 각각 일정 퍼센트에 해당하는 길이보다 길다면 타겟과 관련 없는 특징점을 타겟으로 판별할 수 있기 때문이다.A feature point that is not detected as a target among the feature points to be detected as a target in the reference checkerboard image may occur. In this case, if a feature point of the reference checkerboard image exists using a certain radius proportional to the size of the blob rectangle in the projection-transformed target, the feature point located at the minimum distance between the target and the feature point is determined as a target and a number is assigned. However, as shown in FIG. 23 , if more than one feature point exists within a certain radius, the minimum distance (ie, the distance between the corresponding target (blue) and each feature point (red)) is shorter than 50% of a certain radius for target detection. Surface feature points are identified as targets and numbers are assigned. Also, as shown in FIG. 24, if one feature point exists within a certain radius and the minimum distance (ie, the distance between the target (blue) and the feature point (red)) is shorter than about 70% of the certain radius, the feature point is determined as a target, give a number This is because, if the length is longer than the length corresponding to a certain percentage depending on the shooting angle and the environment, feature points unrelated to the target can be identified as the target.

또한, 도 25 및 도 26은 본 발명의 체커보드를 이용한 자동 타겟 인식 방법에 따라 도 1에 도시된 체스보드 혹은 소정의 패턴을 가진 보드의 자동 타겟 인식 결과를 각각 나타낸 도면으로서, 탈부착이 가능한 블랍이 구비된 체스보드 혹은 소정의 패턴을 가진 체커보드 영상의 일부만 촬영되거나 영상의 회전, 이동, 기울어짐 등이 나타나는 경우에도 상기 체커보드의 타겟을 자동으로 인식할 수 있음을 확인할 수 있다.In addition, FIGS. 25 and 26 are views showing the results of automatic target recognition of the chess board or board having a predetermined pattern shown in FIG. 1 according to the automatic target recognition method using the checker board of the present invention, respectively, the detachable blobs It can be confirmed that the target of the checkerboard can be automatically recognized even when only a part of the image of the equipped chessboard or the checkerboard having a predetermined pattern is photographed or the rotation, movement, or inclination of the image appears.

이처럼, 본 발명은 체스보드 혹은 소정의 패턴을 가진 보드에 부착된 복수 개의 블랍을 이용하여 다수의 체커보드 영상 내 타겟을 자동으로 검출할 수 있으므로, 어떠한 환경에서도 수월하게 카메라 캘리브레이션을 수행할 수 있고, 카메라의 초점거리, 주점위치, 렌즈왜곡계수 등의 카메라 내부결정요소를 효과적으로 결정할 수 있으며, 외부의 다양한 시설물, 건물, 조형물 등과 같은 객체의 3차원 모델링이 가능하다.As such, the present invention can automatically detect a target in a plurality of checkerboard images using a plurality of blobs attached to a chess board or a board having a predetermined pattern, so that camera calibration can be easily performed in any environment. , camera focal length, main point position, lens distortion coefficient, etc. can be effectively determined, and 3D modeling of objects such as various external facilities, buildings, and sculptures is possible.

또한 본 발명은 상기 체커보드를 촬영한 영상에서 흑백 패턴의 왜곡 고려 조건, 경계선 횟수 조건, 흑백 픽셀의 비율 조건을 이용하여 체커보드 타겟을 검출하기 때문에, 흑백 패턴의 타겟 주변에 존재하는 잡영에 영향을 받지 않고 타겟을 검출할 수 있다.In addition, the present invention detects the checkerboard target using the black-and-white pattern distortion consideration condition, boundary line count condition, and black-and-white pixel ratio condition in the image obtained by photographing the checkerboard, so that the noise existing around the black-and-white pattern target is affected. The target can be detected without receiving

또한 본 발명은 상기 체커보드 타겟의 인식과정에서 상기 블랍을 이용하기 때문에, 상기 체커보드 영상의 일부만 나타날 경우에도 블랍 간의 기하학적인 관계를 이용하여 번호를 체계적으로 부여할 수 있다.In addition, since the present invention uses the blobs in the process of recognizing the checkerboard target, even when only a part of the checkerboard image appears, numbers can be systematically assigned using the geometrical relationship between the blobs.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, which are merely exemplary, and those of ordinary skill in the art may have various modifications and equivalent other embodiments therefrom. You will understand that it is possible. Therefore, the technical protection scope of the present invention should be determined by the following claims.

100 : 체커보드 200 : 블랍
210 : 방향성 판별용 블랍 220 : 타겟 개수 산출용 블랍
300 : 자동 타겟 인식 장치 310 : 타겟 검출부
320 : 블랍 검출부 330 : 자동 타겟 인식부
331 : 기준 체커보드 판별부 332 : 오검출 타겟 제거부
333 : 방향성 판별부 334 : 투영 변환부
335 : 타겟 대응부100: checkerboard 200: blob
210: blobs for direction determination 220: blobs for calculating the number of targets
300: automatic target recognition device 310: target detection unit
320: blob detection unit 330: automatic target recognition unit
331: reference checker board discrimination unit 332: erroneous detection target removal unit
333: direction determination unit 334: projection conversion unit
335: target response unit

Claims

A target detection step of detecting a plurality of targets from a plurality of checkerboard images photographed by changing the position and posture of a camera on a checkerboard provided with blobs for camera calibration;
a blob detection step of detecting blobs from the photographed checkerboard image; and
a target recognition step of automatically recognizing a target using the detected target and the blob;
The target detection step is
detecting a feature point in the captured checkerboard image using a feature point operator; and
Detecting the feature point of the checkerboard image as a target of the pattern when the detected feature point satisfies all the conditions for considering distortion of a pattern including a black-and-white pattern, a color pattern, or a combination thereof, a boundary count condition, and a black-and-white pixel ratio condition; ; Automatic target recognition method using a checker board, characterized in that it further comprises.

The method according to claim 1,
The target recognition step is
determining whether the checkerboard image is a reference checkerboard image or a reference checkerboard image through the detected plurality of target coordinates;
removing a target erroneously detected with respect to the reference checkerboard image if the determined result is a reference checkerboard image;
if the determined result is a reference checkerboard image, determining a direction of the reference checkerboard image from the detected blob with respect to the reference checkerboard image;
Projection-converting a reference checkerboard image to fit a reference checkerboard image by using the blob of the reference checkerboard image and the blob of the reference checkerboard image; and
and assigning a number to the target by making a one-to-one correspondence between the target of the projection-converted reference checkerboard image and the target of the reference checkerboard image.

The method according to claim 1,
The checker board includes a pattern including a black and white pattern, a color pattern, or a combination thereof,
Eight blobs are provided for target recognition of the pattern,
Blobs 1 to 4 are used to determine the direction of the checkerboard image, and blobs 5 to 8 are used to remove erroneously detected targets or to calculate the number of targets,
An automatic target recognition method using a checkerboard, characterized in that blobs 1 to 8 are used to determine parameters for projection transformation between images.

delete

The method according to claim 1,
The blob detection step includes:
A polygon is detected from the photographed checkerboard image, and a polygon having four vertices and an angle formed by two boundary lines is within 90 degrees ± 45 degrees is determined as a quadrilateral,
After drawing a line segment from the four vertices of the white rectangle outward from the four vertices of the white rectangle among the determined rectangles proportional to the size of the blob, the number of changes in the brightness value is checked, and the number of changes in the brightness value is 3 or more, 4 If it is less than, it is determined as a rectangle including a blob,
After detecting a polygon using the boundary line extracted from the rectangle including the determined blob, if the number of vertices is 3 or more and the angle between each vector is at least -80 degrees and at most 0 degrees, it is assumed to be a circle, ,
The automatic target recognition method using a checkerboard, characterized in that the polygon is detected as a blob when the area of the polygon assumed as the circle is 70% or more of the average area of all blobs.

The method according to claim 2,
To remove the erroneously detected target,
Detecting the target array in the four edge directions in the reference checkerboard image,
The angle for each line is calculated using the target array in the four directions of the detected edges,
Automatic target recognition method using a checker board, characterized in that when the calculated angle for each line is out of an angle within a preset range, the target is classified as an erroneous detection target and removed.

The method according to claim 2,
The step of assigning a number to the target comprises:
searching for a target coordinate close between the target of the projection-transformed reference checkerboard image and the target of the reference checkerboard image, and assigning a target number of the reference checkerboard image to the same as the target number of the reference checkerboard image; and
In the reference checkerboard image, when a feature point that is not detected as a target occurs among the feature points to be detected as a target, assigning a target number of the feature point to which a target number is not assigned; further comprising,
Giving the target number, starting from the upper left target, selecting the target at the upper end of the two targets close to the upper left target as the next number, and performing until the number of the lower right target is selected Checker characterized in that A method of automatic target recognition using a board.

a checkerboard including a chess board or a board including a predetermined pattern that repeats a pattern including a black and white pattern, a color pattern, or a combination thereof; and
a blob attached to a predetermined position of the checker board to automatically recognize a target in the image of the checker board; and
The blob is
It consists of a circle inside the rectangle of the border for recognizing the rectangle in the image taken for camera calibration.
a blob for determining the direction of the checker board in the image taken for the camera calibration; and
A checker board for camera calibration, comprising: a blobs for calculating the number of targets for removing the misrecognized target of the checker board and calculating the number of targets from the image taken for the camera calibration.

delete

The method of claim 8,
The blob is
In the case of attaching 8 pieces to the checker board,
Blobs 1 to 4 are used as the blobs for determining the direction,
Blobs 5 to 8 are checkerboards for camera calibration, characterized in that they are used as blobs for calculating the target number.

a target detection unit for detecting a plurality of targets from a plurality of checkerboard images photographed by changing the position and posture of a checkerboard equipped with blobs for camera calibration;
a blob detection unit for detecting blobs from the photographed checkerboard image; and
and an automatic target recognition unit for automatically recognizing a target using the detected target and the blob;
The target detection unit,
A feature point is detected using a feature point operator in the photographed checkerboard image, and the detected feature point meets all of the conditions for considering distortion of a pattern including a black and white pattern, a color pattern, or a combination thereof, the boundary number condition, and the black and white pixel ratio condition. If satisfied, the automatic target recognition apparatus using a checkerboard, characterized in that it further comprises detecting the feature point of the checkerboard image as the target of the pattern.

The method of claim 11,
The automatic target recognition unit,
a reference checkerboard determining unit for determining whether the checkerboard image is a reference checkerboard image or a reference checkerboard image through the detected plurality of target coordinates;
a erroneous detection target removal unit for removing a target erroneously detected with respect to the reference checkerboard image if the determined result is a reference checkerboard image;
a direction determining unit for determining a direction of the reference checkerboard image from the detected blob with respect to the reference checkerboard image if the determined result is a reference checkerboard image;
a projection conversion unit for projecting and transforming a reference checkerboard image to fit a reference checkerboard image by using the blob of the reference checkerboard image and the blob of the reference checkerboard image; and
and a target correspondence unit for assigning a number to the target by matching the target of the projection-converted reference checkerboard image and the target of the reference checkerboard image one-to-one, respectively.