KR20180026095A - Occlusion and rotation invariant object recognition system and method in factory automation - Google Patents
Occlusion and rotation invariant object recognition system and method in factory automation Download PDFInfo
- Publication number
- KR20180026095A KR20180026095A KR1020160113051A KR20160113051A KR20180026095A KR 20180026095 A KR20180026095 A KR 20180026095A KR 1020160113051 A KR1020160113051 A KR 1020160113051A KR 20160113051 A KR20160113051 A KR 20160113051A KR 20180026095 A KR20180026095 A KR 20180026095A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- correlation
- extracting
- projection vector
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 물체 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 생산 현장에서 적용되는 공장 자동화 기술 중 조립중인 조립품에 적용할 부품을 시각적으로 인식하는 물체 인식 시스템 및 인식방법에 관한 것이다.The present invention relates to an object recognition system and method, and more particularly, to an object recognition system and a recognition method for visually recognizing a part to be applied to an assembly during assembly among factory automation techniques applied at a production site.
일반적인 공장 자동화 환경에서 이용되는 물체 인식 시스템은 컨베이어 벨트를 통해 로봇이 집을 물체가 이동되어 온다. 이때 컨베이어벨트 위에 카메라를 설치하여 컨베이어 벨트 위의 물체를 촬영한다. 입력된 영상을 분석하여 컨베이어 벨트 위의 로봇이 집을 물체의 위치를 알려주는 방식이다.In an object recognition system used in a general factory automation environment, objects are moved by a robot through a conveyor belt. At this time, a camera is installed on the conveyor belt to photograph an object on the conveyor belt. The input image is analyzed and the robot on the conveyor belt informs the position of the object in the house.
기존의 물체 블록기반 매칭을 사용하는 비전 인식 시스템에서는 등록된 이미지가 실제로 촬영된 영상에서 회전되어 있는 경우 인식률이 현저하게 떨어지거나 인식을 못하는 문제점이 있다. 하지만 실제로 컨베이어 벨트에서 이동되는 물체는 반듯하게 정렬되어 있지 않은 경우가 대다수이다. 때문에 이러한 문제를 극복해야 한다.In the vision recognition system using existing object block based matching, there is a problem in that the recognition rate significantly decreases or is not recognized when the registered image is rotated on the actually photographed image. In reality, however, moving objects on a conveyor belt are often not perfectly aligned. This problem must be overcome.
상술한 기존의 비전 인식 시스템에서 회전에 강인하며 물체가 다른 물체로 가려진 상황에서 인식률이 현저하게 떨어지거나 인식을 못하는 문제점이 있다. 또한, 실제 자동화 환경에서는 컨베이어 벨트에 이동되는 물체들은 여러 물체가 복잡하게 섞여 있는 경우가 있다. 이러한 경우 원하는 물체가 회전되어있고 다른 물체로 가려진 경우 인식하기가 매우 힘들기 때문에 이러한 문제를 해결해야 한다.In the conventional vision recognition system described above, there is a problem that the recognition rate is remarkably deteriorated or is not recognized when the object is robust against rotation and the object is covered with another object. Also, in an actual automation environment, objects moving on a conveyor belt may have a complex mixture of objects. In this case, it is very difficult to recognize if the desired object is rotated and covered by other objects.
그리고, 종래의 공장 자동화 물체 인식 시스템 및 방법은 자동화 라인에서 인식하려는 물체가 정확하게 정렬되어있거나 다른 물체에 가려져 있지 않은 상황에서만 인식이 가능하기 때문에, 전 처리과정을 거쳐 물체를 정렬해주는 작업을 추가 해야 하는 문제점이 있다.In addition, since the conventional factory automation object recognition system and method can be recognized only when the object to be recognized by the automation line is correctly aligned or not covered by other objects, it is necessary to add a task of sorting the object through the preprocessing process .
본 발명에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템 및 방법은 다음과 같은 해결과제를 가진다.The factory automation object recognizing system and method robust against obstruction and rotation according to the present invention have the following problems.
첫째, 본 발명은 공장 자동화 라인에서 대상 물체가 회전되어 있거나 부분적으로 가려진 경우에도 인식을 할 수 있는 시스템 및 방법을 제공하고자 함이다.First, the present invention aims to provide a system and method for recognizing a target object in a factory automation line even when the object is rotated or partially obscured.
둘째, 본 발명은 다양한 환경(물체의 위치, 회전, 가려짐)에서도 추가적인 장치를 구비하지 않고, 정확하게 인식할 수 있도록 인식성능을 높일 수 있는 물체 인식 시스템 및 방법을 제공하고자 함이다.Second, the object of the present invention is to provide an object recognition system and method capable of enhancing recognition performance so as to accurately recognize various environments (object position, rotation, and masking) without additional apparatuses.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The present invention has been made in view of the above problems, and it is an object of the present invention to provide an apparatus and method for controlling the same.
상술한 과제를 해결하기 위한 본 발명의 제1 특징은, 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템으로, 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하는 입력부; 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 관심영역 설정부; 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 고리 투영부; 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 방사 투영부; 및 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체를 인식하는 물체 판단부를 포함한다.According to a first aspect of the present invention, there is provided a factory automation object recognition system robust against cloaking and rotation, comprising: an input unit for capturing an image of a target object placed on a factory automation line and acquiring a scene image; A region of interest setting unit for setting a region of interest by comparing the scene image with a previously input background image; A ring projection unit for extracting a candidate group corresponding to a value having a correlation of at least a predetermined first threshold value using a ring projection for a set ROI; A radiation projection unit for extracting a projection vector from a template image, dividing a scene image from the extracted candidate group into quadrants and extracting a projection vector from each divided region; And an object determination unit for calculating a correlation through the extracted template image and the radiation projection vector of each region, and for comparing the correlations and recognizing the object.
여기서, 상기 관심영역 설정부는, 배경영상과 대상 물체의 템플릿 영상을 미리 등록하여 저장하는 기준 영상 저장부; 및 저장된 상기 배경 영상과 입력부로부터 입력된 장면 영상을 비교하여 대상 물체 영역에 관심영역을 설정하는 설정부를 포함하는 것이 바람직하다.Here, the region of interest setting unit may include a reference image storage unit for previously registering and storing a background image and a template image of a target object; And a setting unit configured to compare the stored background image with the scene image input from the input unit to set a region of interest in the target object region.
또한, 고리 투영부는, 상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 고리 벡터 추출부; 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 상관도 산출부; 및 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 후보군 추출부를 포함하는 것이 바람직하다.The ring projection unit may further include: a ring vector extraction unit that extracts a ring projection vector from the scene image and the template image; A correlation calculating unit for calculating a correlation between the scene image and the template image using the ring projection vector; And a candidate group extracting unit for extracting only candidate pixels having a calculated degree of correlation equal to or greater than a preset first threshold value as a candidate group.
더하여, 상기 고리 투영 벡터를 산출하는 식은,In addition, the equation for calculating the ring projection vector is:
, ,
(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의 중 작은 값이고, 는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것이 바람직하다.(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius, Lt; / RTI > Represents a pixel value in the coordinates of the image).
또한, 상기 상관도를 산출하는 식은,Further, the equation for calculating the degree of correlation,
(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고, 는 벡터 x 요소들 평균값을 나타낸다.)과 같은 식을 만족하는 것이 바람직하다.(Where NCC denotes Covariance, denotes a covariance, a and b denote a vector, Represents an average value of the vector x elements).
또한, 상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,The equation for extracting the projection vector from the template image is as follows:
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, And x and y are coordinate values of the pixel), as shown in Fig.
그리고, 상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,The expression for extracting the radiation projection vector in each of the above-
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, And x and y are coordinate values of the pixel), as shown in Fig.
더하여, 상기 물체 판단부는, 추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 상관도 산출부; 및 산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 물체 인식부를 포함하는 것이 바람직하다.In addition, the object determining unit may include: a correlation calculating unit that calculates a correlation between the projection vector of the extracted template image and the projection vector of each divided region; And an object recognition unit for recognizing the calculated object value if the calculated correlation value of each area is larger than a predetermined second mapped value.
그리고, 본 발명의 제2 특징은, 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법은, (a) 입력부가 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하여 입력하는 단계; (b) 관심영역 설정부가 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 단계; (c) 고리 투영부가 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 단계; (d) 방사 투영부가 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 단계; 및 (e) 물체 판단부가 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체 여부를 판단하는 단계를 포함한다.According to a second aspect of the present invention, there is provided a method for recognizing a factory automation object that is robust against cloaking and rotation, comprising the steps of: (a) capturing a scene image by capturing an object placed on a factory automation line of an input unit; (b) comparing the scene image with the background image pre-input by the ROI setting unit to set the ROI; (c) extracting a candidate group whose degree of correlation is equal to or greater than a predetermined first threshold value by using a ring projection for a region of interest set in the ring projecting unit; (d) extracting a radiation projection vector from the radiation projection part template image, dividing the scene image from the extracted candidate group, and extracting a radiation projection vector from each divided area; And (e) calculating a correlation through the template image extracted by the object determining unit and the radiation projection vector of each region, and comparing the correlations to determine whether the object is an object.
여기서, 상기 (c) 단계는, (c1) 상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 단계; 및 (c2) 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 단계; 및 (c3) 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 단계를 포함하는 것이 바람직하다.The step (c) includes the steps of: (c1) extracting a ring projection vector from the scene image and the template image; And (c2) calculating a correlation between the scene image and the template image using the ring projection vector. And (c3) extracting only the pixels having the calculated degree of correlation equal to or greater than a predetermined first threshold value as a candidate group.
또한, 상기 (c2) 단계에서 고리 투영 벡터를 산출하는 식은,The equation for calculating the ring projection vector in the step (c2)
, ,
(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의 중 작은 값이고, 는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것이 바람직하다.(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius, Lt; / RTI > Represents a pixel value in the coordinates of the image).
더하여, 상기 상관도를 산출하는 식은,In addition, the equation for calculating the above-
(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고, 는 벡터 x 요소들 평균값을 나타낸다.)과 같은 식을 만족하는 것이 바람직하다.(Where NCC denotes Covariance, denotes a covariance, a and b denote a vector, Represents an average value of the vector x elements).
또한, 상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,The equation for extracting the projection vector from the template image is as follows:
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, And x and y are coordinate values of the pixel), as shown in Fig.
또한, 상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,Further, the expression for extracting the projection vector into each of the above-
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, And x and y are coordinate values of the pixel), as shown in Fig.
또한, 상기 (e) 단계는, 추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 단계; 및 산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 단계를 포함하는 것이 바람직하다.The step (e) may further include: calculating a degree of correlation between a projection vector of the extracted template image and a projection vector of each divided region; And recognizing the calculated object value as a target object when the calculated correlation value of each area is larger than a predetermined second mapped value.
그리고, 본 발명의 제3 특징은, 하드웨어와 결합되어, 상술한 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 실행시키기 위하여 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램을 그 특징으로 한다.And a third aspect of the present invention features a computer program stored in a computer-readable medium in combination with hardware to execute the above-described masking and rotation robust factory automation object recognition method.
본 발명에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템 및 방법은 다음과 같은 효과를 가진다.The system and method for recognizing a factory automation object robust against obstruction and rotation according to the present invention have the following effects.
첫째, 본 발명은 고리 투영 및 방사 투영을 사용하여 다양한 환경(물체의 위치, 회전, 가려짐)에서도 추가적인 장치를 구비하지 않고, 정확하게 인식할 수 있도록 인식성능을 높일 수 있는 물체 인식 시스템 및 방법을 제공한다.First, the object of the present invention is to provide an object recognition system and method capable of enhancing recognition performance so as to recognize accurately without using an additional device in various environments (object position, rotation, and masking) by using a ring projection and a radiation projection to provide.
둘째, 본 발명은 전 처리과정을 거치지 않고도, 회전되거나 가려진 물체를 인식하여 공장 자동화 라인에 효율을 높일 수 있는 물체 인식 시스템 및 방법을 제공한다.Second, the present invention provides an object recognition system and method capable of increasing the efficiency of a factory automation line by recognizing an object that is rotated or obstructed, without going through a preprocessing process.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템의 블록 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법의 흐름을 나타낸 도면이다.
도 3은 블록 기반 매칭 알고리즘에 적용되는 장면 영상과 템플릿 영상의 모식도이다.
도 4는 템플릿 영상과 장면 영상에 대해 매칭 과정을 나타낸다.
도 5는 고리 투영(Ring Projection)의 기하학적 의미를 나타내는 모식도이다.
도 6은 방사 투영(Radial Projection)의 기하학적 의미를 나타내는 모식도이다.
도 7은 본 발명의 실시예에 따른 공장 자동화 물체 인식방법에 적용되는 관심영역 설정을 예시한 도면이다.
도 8은 제1 문턱값(Threshold 1)의 설정의 예를 나타낸 영상이다.
도 9는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법에서 (d) 단계 및 (e) 단계를 보다 구체적으로 나타낸 흐름도이다.
도 10은 최대 반지름에 포함되는 픽셀들을 a ~ d로 4분할한 모식도이다.
도 11은 본 발명의 실시예에 적용되는 템플릿(도 11의 (a)) 영상과 배경 영상(도 11의 (b))의 예시이다.
도 12는 본 발명의 실시예에 따라 장면 영상에서 배경 영상을 이용하여 관심영역을 추출한 영상의 예시이다.
도 13은 본 발명의 실시예에 따라 관심영역에서 고리 투영(Ring Projection)을 이용하여 후보군을 추출한 영상의 예시이다.
도 14는 본 발명의 실시예에 따라 후보군에서 방사 투영(Radial Projection)을 이용하여 최종적으로 물체를 판별한 결과를 나타낸 영상의 예시이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a plant automation object recognizing system robust to obstruction and rotation according to an embodiment of the present invention; FIG.
FIG. 2 is a flowchart illustrating a method for recognizing factory automation objects, which is robust against cloaking and rotation according to an embodiment of the present invention.
3 is a schematic diagram of a scene image and a template image applied to a block-based matching algorithm.
FIG. 4 shows a matching process for a template image and a scene image.
Fig. 5 is a schematic diagram showing the geometrical meaning of the ring projection. Fig.
6 is a schematic diagram showing the geometrical meaning of Radial Projection.
FIG. 7 is a diagram illustrating an area-of-interest setting applied to a factory automation object recognizing method according to an embodiment of the present invention.
8 is an image showing an example of setting the first threshold value (Threshold 1).
FIG. 9 is a flowchart illustrating more specifically steps (d) and (e) in a method for recognizing a factory automation object robust against obstruction and rotation according to an embodiment of the present invention.
10 is a schematic diagram of dividing the pixels included in the maximum radius into four by a to d.
11 is an example of a template (FIG. 11 (a)) and a background image (FIG. 11 (b)) applied to the embodiment of the present invention.
12 is an illustration of an image in which a region of interest is extracted using a background image in a scene image according to an embodiment of the present invention.
13 is an illustration of an image obtained by extracting a candidate group using a ring projection in a region of interest according to an embodiment of the present invention.
FIG. 14 is an example of an image showing a result of ultimately determining an object using a radial projection in a candidate group according to an embodiment of the present invention.
본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다. Further objects, features and advantages of the present invention will become more apparent from the following detailed description and the accompanying drawings.
본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Before describing the present invention in detail, it is to be understood that the present invention is capable of various modifications and various embodiments, and the examples described below and illustrated in the drawings are intended to limit the invention to specific embodiments It is to be understood that the invention includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다.Further, terms such as " part, "" unit," " module, "and the like described in the specification may mean a unit for processing at least one function or operation.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템의 블록 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법의 흐름을 나타낸 도면이다.FIG. 1 is a block diagram of a factory automation object recognizing system which is robust against obstacles and rotation according to an embodiment of the present invention. FIG. 2 is a diagram showing a factory automation object recognizing method robust to obstacles and rotation according to an embodiment of the present invention Fig.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템은, 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하는 입력부(100)와, 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 관심영역 설정부(200)와, 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 고리 투영부(300)와, 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 방사 투영부(400)와, 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체를 인식하는 물체 판단부(500)를 포함하여 구성된다.As shown in FIG. 1, the system for recognizing factory automation objects, which is robust against cloaking and rotation according to an embodiment of the present invention, includes an input unit 100 for shooting a target object placed on a factory automation line and acquiring a scene image, (200) for setting a region of interest by comparing the background image and the scene image with each other, and determining a correlation value between a predetermined threshold value and a predetermined threshold value by using Ring Projection for the set region of interest A ring projection unit 300 for extracting a corresponding candidate group, a
그리고, 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법은, (a) 입력부(100)가 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하여 입력하는 단계와, (b) 관심영역 설정부(200)가 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 단계와, (c) 고리 투영부(300)가 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 단계와, (d) 방사 투영부(400)가 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 단계와, (e) 물체 판단부(500)가 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체 여부를 판단하는 단계를 포함하여 구성된다.As shown in FIG. 2, the method for recognizing factory automation objects, which is robust against cloaking and rotation, according to an embodiment of the present invention, includes the steps of: (a) (B) setting a region of interest by comparing the scene image with a background image previously input by the region-of-interest setting unit 200, and (c) setting a region of interest Extracting a candidate group corresponding to a value whose correlation is greater than or equal to a preset first threshold value by using a ring projection for the region; (d) Extracting a projection image from the extracted candidate group, and extracting a projection vector from each of the divided regions; and (e) using the extracted template image and the projection vector of each region, Prize Calculating a degree, and compares each correlation is configured to include the step of determining whether the object.
이처럼 본 발명의 실시예는 공장 자동화 환경에서 사용되는 물체 인식 시스템 및 방법으로, 공장 자동화 환경에서 물체 인식시스템에서 영상으로 입력되는 물체가 다양한 환경(물체의 위치, 회전, 가려짐)에서의 인식성능을 높이기 때문에 공장자동화 환경에서 사용하는데 제약조건이 줄어들게 되고, 전 처리과정을 생략하기에 자동화 라인에 효율성을 높일 수 있게 된다.As described above, the embodiment of the present invention is an object recognition system and method used in a factory automation environment. In the factory automation environment, recognition performance in various environments (object position, rotation, and masking) The constraints are reduced for use in a factory automation environment and the efficiency of the automation line can be increased by omitting the preprocessing process.
보다 구체적으로 본 발명의 실시예에 따른 공장 자동화 물체 인식 시스템의 구성을 살펴보면, 도 1에 나타낸 바와 같이, 상기 관심영역 설정부(200)는, 배경영상과 대상 물체의 템플릿 영상을 미리 등록하여 저장하는 기준 영상 저장부와, 저장된 상기 배경 영상과 입력부(100)로부터 입력된 장면 영상을 비교하여 대상 물체 영역에 관심영역을 설정하는 설정부를 포함하여 구성되는 것이 바람직하다.More specifically, as shown in FIG. 1, the region-of-interest setting unit 200 registers a background image and a template image of a target object in advance and stores the template image And a setting unit configured to set a region of interest in the target object region by comparing the stored background image with a scene image input from the input unit 100. In addition,
그리고, 고리 투영부(300)는, 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 고리 벡터 추출부와, 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 상관도 산출부와, 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 후보군 추출부를 포함하여 구성되는 것이 바람직하다.The ring projecting unit 300 includes a ring vector extracting unit for extracting a ring projection vector from a scene image and a template image, and a correlation calculator for calculating a correlation between the scene image and the template image using the ring projection vector And a candidate group extracting unit for extracting only candidate pixels having a calculated correlation value equal to or greater than a predetermined first threshold value as a candidate group.
또한, 물체 판단부(500)는, 추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 상관도 산출부와, 산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 물체 인식부를 포함하여 구성되는 것이 바람직하다.The
이하에서 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 단계별로 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a method for recognizing a factory automation object robust to a cloaking and rotation according to an embodiment of the present invention will be described in detail.
먼저, 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법은 물체 인식 방법 중 블록 기반 매칭 알고리즘을 사용한다. 블록 매칭 알고리즘은 장면 영상에서 템플릿으로 등록한 영상과 매칭되는 부분을 찾는 방법이다. First, a factory automation object recognizing method which is robust against cloaking and rotation according to an embodiment of the present invention uses a block-based matching algorithm among object recognition methods. The block matching algorithm is a method of finding a matching part with an image registered as a template in a scene image.
도 3은 블록 기반 매칭 알고리즘에 적용되는 장면 영상과 템플릿 영상의 모식도이다. 도 3의 (a)는 카메라로 촬영한 장면 영상을 의미하고 (b)는 장면 영상에서 찾으려는 물체를 등록한 템플릿 영상을 의미한다.3 is a schematic diagram of a scene image and a template image applied to a block-based matching algorithm. FIG. 3 (a) shows a scene image taken by a camera, and FIG. 3 (b) shows a template image in which an object to be searched is registered.
도 4는 템플릿 영상과 장면 영상에 대해 매칭 과정을 나타낸다. 도 4에 나타낸 바와 같이, 템플릿 영상이 w*h이고, 장면 영상의 크기가 W*H 일 때, 템플릿 영상을 장면 영상 위에서 픽셀 단위로 이동하며 템플릿 영상이 위치한 곳에서 장면 영상과 유사도를 계산한다. FIG. 4 shows a matching process for a template image and a scene image. 4, when the template image is w * h and the size of the scene image is W * H, the template image is shifted pixel by pixel on the scene image, and the degree of similarity with the scene image is calculated where the template image is located .
[수학식 1]은 템플릿 영상이 장면 영상 위에서 픽셀 단위로 이동할 때 이동하는 범위를 의미한다.[Equation 1] denotes a range in which a template image moves when it moves on a scene image in pixel units.
장면 영상에서 템플릿 영상을 이동시키면서 템플릿 영상과 유사도를 계산하는 방법 중 하나인 Normalized Cross-Correlation(NCC)가 있다.Normalized Cross-Correlation (NCC) is one of the methods of calculating the similarity of a template image while moving a template image in a scene image.
[수학식 2]는 벡터 a와 벡터 b의 유사도를 측정하는 식으로 Covariance는 공분산을 의미하고 는 벡터 x 요소의 표준편차이다.[Equation 2] is a method of measuring the similarity between the vectors a and b, Covariance means covariance Is the standard deviation of the vector x elements.
[수학식 2]를 풀어 쓰면 [수학식 3]과 같다. 는 벡터 x 요소들 평균값 이다.If Equation (2) is solved, Equation (3) is obtained. Is the mean value of the vector x elements.
NCC 계산 값의 범위는 [수학식 4]와 같다. 만약 두 벡터가 정확히 일치한다면 결과 값은 1이 나오고 상관도가 높을수록 1에 가까운 값이 나온다.The range of the NCC calculation value is as shown in [Equation 4]. If the two vectors are exactly the same, the result is 1; the higher the correlation, the closer to 1.
위의 [수학식 2]에서 상관도를 비교하기 위해 템플릿 영상과 장면 영상에서 벡터를 추출해야 한다. 벡터를 추출하는 방법은 여러 가지 방법이 있지만 그 중 고리 투영(Ring Projection_과 방사 투영(Radial Projection)을 이용한다.In order to compare the degree of correlation in Equation (2) above, a vector must be extracted from the template image and the scene image. There are various methods for extracting the vector, but among them, Ring Projection_ and Radial Projection are used.
도 5는 고리 투영(Ring Projection)의 기하학적 의미를 나타내는 모식도이다. 도 5에 나타낸 바와 같이, 크기의 템플릿 영상의 중심점에서부터 반지름 r을 점진적으로 증가시키면서 반지름 r에 위치한 픽셀 값들의 합을 나타낸다.Fig. 5 is a schematic diagram showing the geometrical meaning of the ring projection. Fig. As shown in Fig. 5, Represents the sum of the pixel values located at the radius r while gradually increasing the radius r from the center point of the template image of the size.
[수학식 5]는 템플릿 영상에서 벡터를 구하는 공식이고 [수학식 6]은 장면 영상에서 벡터를 구하는 공식이다. 이때 R은 최대 반지름으로 템플릿 영상의 중작은 값이다. 는 영상의 좌표에서의 픽셀 값이다.[Equation 5] is a formula for obtaining a vector in a template image and [Equation 6] is a formula for obtaining a vector in a scene image. In this case, R is the maximum radius of the template image The masterpiece is a value. Is the pixel value in the coordinates of the image.
도 6은 방사 투영(Radial Projection)의 기하학적 의미를 나타내는 모식도이다. 크기의 템플릿 영상의 중심에서 최대 원의 픽셀에 해당되는 픽셀과의 직선상에 있는 픽셀의 합이다.6 is a schematic diagram showing the geometrical meaning of Radial Projection. Is the sum of the pixels on the straight line with the pixel corresponding to the pixel of the maximum circle at the center of the template image of the size.
[수학식 7]은 템플릿 영상에서 벡터를 구하는 식이고 [수학식 8]은 장면 영상에서 벡터를 구하는 식이다. λ는 최대 반지름 R과 같고 중 작은 값이다. 이때 α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하면 2π를 M으로 샘플링을 하여 를 구한다. 는 영상의 좌표에서의 픽셀 값이다.Equation (7) is a formula for obtaining a vector from a template image and Equation (8) is an equation for obtaining a vector from a scene image. λ is equal to the maximum radius R Which is a small value. In this case, if α is the total number of pixels corresponding to the position where the radius is R from the center is M, 2π is sampled by M . Is the pixel value in the coordinates of the image.
본 발명의 실시예는 공장 자동화 환경에서 사용되는 블록기반 물체인식 방법 중 회전 및 가려짐에 강인한 인식 시스템 및 방법이다. 공장 자동화 환경에서 카메라의 시점과 조명은 고정되고 한정된 종류의 특정 부품만을 인식하기 때문에 스케일과 밝기에 강한 인식 알고리즘보다 회전이나 가려짐에 강인한 인식 알고리즘에 초점을 둔다.Embodiments of the present invention are robust recognition systems and methods among block-based object recognition methods used in factory automation environments. In the factory automation environment, the camera's viewpoint and lighting are fixed and only certain kinds of specific parts are recognized, so focusing on robust recognition algorithms that are more rotation and shadowing than scaling and brightness-based recognition algorithms.
도 2에 나타낸 바와 같이, (a) 단계는 입력부(100)가 카메라를 이용하여 공장 자동화 라인에 있는 영상을 촬영하여 입력하는 단계이고, (b) 단계는 관심영역 설정부(200)가 공장 자동화 환경에서 인식하려는 물체와 물체가 올려져 있는 배경은 자주 바뀌지 않기 때문에, 배경 영상과 인식하려는 물체를 미리 등록해 놓고, 입력 되어진 영상과 비교하여 물체가 있는 곳을 관심영역으로 지정 또는 설정하는 단계이다.2, step (a) is a step of photographing and inputting an image on a factory automation line using the camera by the input unit 100, and step (b) Since the background in which the object and the object to be recognized in the environment are not frequently changed is a step of registering the background image and the object to be recognized in advance and comparing the image with the inputted image to designate or set the place where the object exists as the region of interest .
도 7은 본 발명의 실시예에 따른 공장 자동화 물체 인식방법에 적용되는 관심영역 설정을 예시한 도면이다. 도 7의 (a)는 물체가 없을 때 배경화면의 예시 영상이고, 도 7의 (b)는 장면 영상에서 배경 화면을 이용하여 관심영역을 지정한 예시 영상이다.FIG. 7 is a diagram illustrating an area-of-interest setting applied to a factory automation object recognizing method according to an embodiment of the present invention. FIG. 7A is an example image of a background screen when there is no object, and FIG. 7B is an example image in which a region of interest is designated using a background image in a scene image.
(a) 단계 및 (b) 단계 이후에, 장면 영상과 템플릿 영상으로 블록기반 매칭을 시행한다. 즉, (c) 단계에서, 고리 투영부(300)가 관심영역에 대해서만 매칭을 시행하고 장면 영상과 템플릿 영상에서 [수학식 5] 및 [수학식 6]을 이용하여 고리 투영(Ring Projection) 벡터를 추출하고 [수학식 3]을 이용하여 상관도를 계산하게 된다. 이때 계산 되어진 상관도의 값이 제1 문턱값(Threshold 1) 이상인 픽셀들만 후보군으로 추출하게 된다.block-based matching is performed between the scene image and the template image after steps (a) and (b). That is, in step (c), the ring projecting unit 300 performs matching only on the region of interest, and using the ring projection vector {circumflex over And calculates the correlation using Equation (3). At this time, only the pixels having the calculated correlation value equal to or higher than the first threshold value (Threshold 1) are extracted as candidates.
이처럼, 본 발명의 실시예에서 벡터를 추출하는 방법으로 여러 가지 방법이 있지만 고리 투영(Ring Projection)을 이용하여 벡터를 추출하는 이유는 회전에 강인한 방법이기 때문이다. 상기 방법은 장면 영상에서 물체가 회전되어 있어도 높은 성능으로 인식이 가능하다.As described above, in the embodiment of the present invention, there are various methods for extracting the vector, but the reason for extracting the vector using the ring projection is that the method is robust to rotation. The above method can recognize a high performance even if an object is rotated in a scene image.
제1 문턱값(Threshold 1은 경험적으로 이루어져야 한다. 제1 문턱값(Threshold 1)을 너무 높게 잡으면 가려짐이 있는 경우에 후보군에 포함되지 않는다. 따라서 우리는 가려짐이 있는 경우에도 후보군에 포함되도록 제1 문턱값 (Threshold 1)을 설정하는 것이 바람직하다.If the
도 8은 제1 문턱값(Threshold 1)의 설정의 예를 나타낸 영상이다. 도 8의 (a)는 제1 문턱값(Threshold 1)을 너무 높게 설정한 예시 영상이다. 가려진 물체가 없을 경우 정확하게 물체의 중심을 찾을 수 있지만. 물체가 가려진 경우 물체를 인식이 되지 않는 영상이다.8 is an image showing an example of setting the first threshold value (Threshold 1). 8A is an example image in which the
도 8의 (b)는 제1 문턱값(Threshold 1)의 값이 적절하게 설정된 예시 영상이다. 물체가 가려진 경우에도 물체의 중심점이 후보군으로 추출되도록 해야 한다. 도 8의 (a), (b)에 나타낸 바와 같이, 고리 투영(Ring Projection) 벡터만 사용할 경우 회전되어 있는 물체는 정확하게 인식이 된다. 하지만 가려진 물체를 인식하려면 인식하려는 물체의 중심점 말고 다른 부분이 많이 인식된다. 따라서 고리 투영(Ring Projection) 벡터만 사용하여 인식을 수행하기에 부적절함을 알 수 있다.8B is an example image in which the value of the first threshold value (Threshold 1) is appropriately set. Even if the object is covered, the center point of the object should be extracted as the candidate group. As shown in FIGS. 8A and 8B, when only a ring projection vector is used, the rotated object is correctly recognized. However, in order to recognize an obstructed object, many parts other than the center point of the object to be recognized are recognized. Therefore, it can be seen that it is inappropriate to perform recognition using only a ring projection vector.
(d) 단계는 방사 투영부(400)가 방사 투영 벡터를 추출하는 단계로서, (c) 단계에서 후보군으로 추출된 픽셀에 대해서 방사 투영(Radial Projection)을 이용하여 방사 투영 벡터를 추출하는 단계이고, (e) 단계는 (d) 단계에서 추출된 방사 투영 벡터를 통해 상관도를 계산하고 물체를 판단하는 단계이다. 이때 가려진 물체에 대해 인식률을 높이기 위해 방사 투영(Radial Projection) 벡터를 장면 영상에서 4분할한 벡터를 구한다. 이때 한 부분이라도 제2 문턱값(Threshold 2) 보다 큰 경우 물체로 판단하게 된다.(d) is a step of extracting a radiation projection vector from the
도 9는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법에서 (d) 단계 및 (e) 단계를 보다 구체적으로 나타낸 흐름도이고, 도 10은 최대 반지름에 포함되는 픽셀들을 a ~ d로 4분할 한 모식도이다.FIG. 9 is a flowchart illustrating more specifically steps (d) and (e) in a factory automation object recognizing method robust to obstruction and rotation according to an embodiment of the present invention, ~ d. < / RTI >
도 9에 나타낸 바와 같이, 먼저, 템플릿 영상의 방사 투영 벡터인 P_t벡터를 [수학식 7]을 이용하여 구하고, 도 10에 나타낸 바와 같이, 장면 영상의 분할된 각 영역의 방사 투영 벡터인 P_s_a, P_s_b, P_s_c, P_s_d 는 최대 반지름에 포함되는 픽셀들을 a~d로 4분할하여 방사 투영(Radial Projection) 벡터를 추출한다. As shown in Fig. 9, first, a P_t vector, which is a radiation projection vector of the template image, is obtained by using [Equation 7], and the radiation projection vectors P_s_a, P_s_b, P_s_c, and P_s_d are obtained by dividing the pixels included in the maximum radius into four regions a to d to extract a radial projection vector.
장면 영상에 대해 [수학식 8]을 이용하여 벡터를 추출하는데, 이때, a 부분의 α범위를 , b 부분의 α 범위를 , c 부분의 α범위를 , d 부분의 α범위를 로 하여, P_s_a, P_s_b, P_s_c, P_s_d 벡터를 추출한다.For a scene image, a vector is extracted using [Equation 8]. At this time, , the alpha range of the part b , the alpha range of the c portion , and the alpha range of the d portion And extracts the P_s_a, P_s_b, P_s_c, and P_s_d vectors.
여기서, Max_a, Max_b, Max_c, Max_d, I의 초기 값은 0이고, m 의 값은 템플릿 영상에서 최대 반지름에 포함 되는 픽셀의 개수이다. 물체 판별은 Max_a, Max_b, Max_c, Max_d의 값이 하나라도 제2 문턱값(Threshold 2) 보다 클 경우 물체로 판별한다.The initial values of Max_a, Max_b, Max_c, Max_d, and I are 0, and the value of m is the number of pixels included in the maximum radius in the template image. The object discrimination is determined as an object when any one of Max_a, Max_b, Max_c and Max_d is greater than the second threshold (Threshold 2).
도 11은 본 발명의 실시예에 적용되는 템플릿(도 11의 (a)) 영상과 배경 영상(도 11의 (b))의 예시이고, 도 12는 본 발명의 실시예에 따라 장면 영상에서 배경 영상을 이용하여 관심영역을 추출한 영상의 예시이고, 도 13은 본 발명의 실시예에 따라 관심영역에서 고리 투영(Ring Projection)을 이용하여 후보군을 추출한 영상의 예시이고, 도 14는 본 발명의 실시예에 따라 후보군에서 방사 투영(Radial Projection)을 이용하여 최종적으로 물체를 판별한 결과를 나타낸 영상의 예시이다.11A and 11B illustrate an example of a template (FIG. 11A) and a background image (FIG. 11B) applied to an embodiment of the present invention. FIG. FIG. 13 is an example of an image obtained by extracting a candidate region using a ring projection in a region of interest according to an embodiment of the present invention. FIG. An example of an image showing the result of ultimate determination of an object using Radial Projection in the candidate group according to the example.
[표 1]은 도 15에서 물체가 인식된 결과이다. 물체는 가려짐이 0 ~ 75%로 실험되었고 모두 정확하게 인식되었다. 또한 가려짐과 동시에 모두 회전되어 있음을 알 수 있다.Table 1 shows the result of recognizing an object in Fig. The objects were tested with occlusion between 0 and 75% and all were correctly recognized. Also, it can be seen that both are closed and rotated at the same time.
그리고, 본 발명의 또 다른 실시예로서, 하드웨어와 결합되어 상술한 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 실행시키기 위하여 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램일 수 있다.And, as another embodiment of the present invention, a computer program stored in a computer-readable medium may be stored in a computer-readable medium in combination with hardware in order to execute the above-described occlusion and rotation robust factory automation object recognition methods.
즉, 본 발명의 실시예에 따른 장치로서, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.That is, the apparatus according to the embodiment of the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include ROM, RAM, optical disk, magnetic tape, floppy disk, hard disk, nonvolatile memory and the like. The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments and the accompanying drawings described in the present specification are merely illustrative of some of the technical ideas included in the present invention. Accordingly, the embodiments disclosed herein are for the purpose of describing rather than limiting the technical spirit of the present invention, and it is apparent that the scope of the technical idea of the present invention is not limited by these embodiments. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
100: 입력부 200: 관심영역 설정부
300: 고리 투영부 400: 방사 투영부
500: 물체 판단부100: Input unit 200: Interest area setting unit
300: Ring projecting part 400: Radial projection part
500: Object judging unit
Claims (16)
미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 관심영역 설정부;
설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 고리 투영부;
템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 방사 투영부; 및
추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체를 인식하는 물체 판단부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.An input unit for photographing an object placed on a factory automation line and acquiring a scene image;
A region of interest setting unit for setting a region of interest by comparing the scene image with a previously input background image;
A ring projection unit for extracting a candidate group corresponding to a value having a correlation of at least a predetermined first threshold value using a ring projection for a set ROI;
A radiation projection unit for extracting a projection vector from a template image, dividing a scene image from the extracted candidate group into quadrants and extracting a projection vector from each divided region; And
And an object determining unit for calculating a correlation through the extracted template image and the radiation projection vector of each region and comparing the correlations and recognizing the object. .
상기 관심영역 설정부는,
배경영상과 대상 물체의 템플릿 영상을 미리 등록하여 저장하는 기준 영상 저장부; 및
저장된 상기 배경 영상과 입력부로부터 입력된 장면 영상을 비교하여 대상 물체 영역에 관심영역을 설정하는 설정부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.The method according to claim 1,
Wherein the ROI setting unit comprises:
A reference image storage unit for previously registering and storing a background image and a template image of a target object; And
And a setting unit configured to set a region of interest in the target object region by comparing the stored background image with a scene image input from the input unit.
고리 투영부는,
상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 고리 벡터 추출부;
상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 상관도 산출부; 및
산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 후보군 추출부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.The method according to claim 1,
The ring-
A ring vector extracting unit for extracting a ring projection vector from the scene image and the template image;
A correlation calculating unit for calculating a correlation between the scene image and the template image using the ring projection vector; And
And a candidate group extracting unit for extracting only candidate pixels having a calculated correlation degree equal to or greater than a predetermined first threshold value as candidate groups.
상기 고리 투영 벡터를 산출하는 식은,
,
(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의 중 작은 값이고, 는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.The method of claim 3,
The equation for calculating the ring projection vector is:
,
(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius, Lt; / RTI > And a pixel value in a coordinate of the image is expressed by the following equation: < EMI ID = 1.0 >
상기 상관도를 산출하는 식은,
(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고, E(a) 및 E(b)는 벡터 a 및 b 요소들 평균값을 나타낸다.)
과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.The method of claim 3,
The formula for calculating the degree of correlation,
(Where NCC denotes Covariance, denotes a covariance, a and b denote vectors, and E (a) and E (b) denote the average values of the elements a and b).
And the rotation angle of the factory automation object recognition system.
상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.The method according to claim 1,
The expression for extracting the projection vector from the template image is:
(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel. The factory automation object recognition system robust against rotation and rotation.
상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.The method according to claim 1,
The expression for extracting the projection vector into each of the above-
(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel. The factory automation object recognition system robust against rotation and rotation.
상기 물체 판단부는,
추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 상관도 산출부; 및
산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 물체 인식부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.The method according to claim 1,
The object determining unit
A correlation degree calculation unit for calculating a correlation between the radiation projection vector of the extracted template image and the radiation projection vector in each divided region; And
And an object recognition unit for recognizing the object as an object when the calculated correlation value of each area is larger than a preset second mterature value.
(b) 관심영역 설정부가 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 단계;
(c) 고리 투영부가 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 단계;
(d) 방사 투영부가 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 단계; 및
(e) 물체 판단부가 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.(a) capturing and inputting a scene image of a target object placed on a factory automation line of an input unit;
(b) comparing the scene image with the background image pre-input by the ROI setting unit to set the ROI;
(c) extracting a candidate group whose degree of correlation is equal to or greater than a predetermined first threshold value by using a ring projection for a region of interest set in the ring projecting unit;
(d) extracting a radiation projection vector from the radiation projection part template image, dividing the scene image from the extracted candidate group, and extracting a radiation projection vector from each divided area; And
(e) calculating a degree of correlation through the template image extracted by the object determining unit and the radiation projection vector of each region, and comparing the degrees of correlation to determine whether the object is an object; and Robust factory automation object recognition method.
상기 (c) 단계는,
(c1) 상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 단계; 및
(c2) 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 단계; 및
(c3) 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 단계를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.The method of claim 9,
The step (c)
(c1) extracting a ring projection vector from the scene image and the template image; And
(c2) calculating a correlation between the scene image and the template image using the ring projection vector; And
(c3) extracting only the pixels having the calculated degree of correlation equal to or greater than a predetermined first threshold value as a candidate group.
상기 (c2) 단계에서 고리 투영 벡터를 산출하는 식은,
,
(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의 중 작은 값이고, 는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.The method of claim 10,
The equation for calculating the ring projection vector in the step (c2)
,
(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius, Lt; / RTI > And a pixel value in a coordinate of the image. The method of recognizing a factory automation object is robust against obstruction and rotation.
상기 상관도를 산출하는 식은,
(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고, E(a) 및 E(b)는 벡터 a 및 b 요소들 평균값을 나타낸다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.The method of claim 9,
The formula for calculating the degree of correlation,
(Where NCC denotes a covariance, covariance denotes a covariance, a and b denote a vector, and E (a) and E (b) denote an average value of the elements a and b) A factory automation object recognition method that is robust to obscuration and rotation.
상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.The method of claim 9,
The expression for extracting the projection vector from the template image is:
(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel.
상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,
(λ는 최대 반지름 R과 같고 중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고, 는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.The method of claim 9,
The expression for extracting the projection vector into each of the above-
(λ is equal to the maximum radius R And a is a total number of pixels corresponding to a position where the radius is R from the center is M, Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel.
상기 (e) 단계는,
추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 단계; 및
산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 단계를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.The method of claim 9,
The step (e)
Calculating a correlation between the projection vector of the extracted template image and the projection vector of each divided region; And
Recognizing the object as a target object when the calculated correlation value of each area is larger than a preset second mterter value.
청구항 9의 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 실행시키기 위하여 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램.
Combined with hardware,
A computer program stored on a computer readable medium for executing the method of claim 9 and a method for recognizing factory automation objects robust to rotation and rotation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160113051A KR101844328B1 (en) | 2016-09-02 | 2016-09-02 | Occlusion and rotation invariant object recognition system and method in factory automation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160113051A KR101844328B1 (en) | 2016-09-02 | 2016-09-02 | Occlusion and rotation invariant object recognition system and method in factory automation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180026095A true KR20180026095A (en) | 2018-03-12 |
KR101844328B1 KR101844328B1 (en) | 2018-04-02 |
Family
ID=61728957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160113051A KR101844328B1 (en) | 2016-09-02 | 2016-09-02 | Occlusion and rotation invariant object recognition system and method in factory automation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101844328B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102054747B1 (en) * | 2018-06-14 | 2019-12-11 | 연세대학교 산학협력단 | Method and Apparatus for Recognizing Oblique Quadrilateral Area in Image |
CN111860161A (en) * | 2020-06-16 | 2020-10-30 | 成都浩孚科技有限公司 | Target shielding detection method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5788299B2 (en) | 2011-11-22 | 2015-09-30 | 日本電信電話株式会社 | Image search apparatus, image search method, and program |
-
2016
- 2016-09-02 KR KR1020160113051A patent/KR101844328B1/en active IP Right Grant
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102054747B1 (en) * | 2018-06-14 | 2019-12-11 | 연세대학교 산학협력단 | Method and Apparatus for Recognizing Oblique Quadrilateral Area in Image |
CN111860161A (en) * | 2020-06-16 | 2020-10-30 | 成都浩孚科技有限公司 | Target shielding detection method |
CN111860161B (en) * | 2020-06-16 | 2023-11-10 | 成都浩孚科技有限公司 | Target shielding detection method |
Also Published As
Publication number | Publication date |
---|---|
KR101844328B1 (en) | 2018-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7133572B2 (en) | Fast two dimensional object localization based on oriented edges | |
US9633265B2 (en) | Method for improving tracking in crowded situations using rival compensation | |
US7957557B2 (en) | Tracking apparatus and tracking method | |
US9582711B2 (en) | Robot cleaner, apparatus and method for recognizing gesture | |
US10043279B1 (en) | Robust detection and classification of body parts in a depth map | |
WO2020184207A1 (en) | Object tracking device and object tracking method | |
US20120148160A1 (en) | Landmark localization for facial imagery | |
JP5468332B2 (en) | Image feature point extraction method | |
US20080304699A1 (en) | Face feature point detection apparatus and method of the same | |
Saito et al. | People detection and tracking from fish-eye image based on probabilistic appearance model | |
KR101844328B1 (en) | Occlusion and rotation invariant object recognition system and method in factory automation | |
US20180191951A1 (en) | Imaging apparatus and imaging condition setting method and program | |
CN103607558A (en) | Video monitoring system, target matching method and apparatus thereof | |
Nandhini et al. | SIFT algorithm-based Object detection and tracking in the video image | |
Mohedano et al. | Robust 3d people tracking and positioning system in a semi-overlapped multi-camera environment | |
KR20150071920A (en) | Apparatus and method for counting person number using face identification | |
Farazi et al. | Real-time visual tracking and identification for a team of homogeneous humanoid robots | |
US11070719B2 (en) | Image capture assist device and image capture assist method | |
Martins et al. | Real-time generic ball recognition in RoboCup domain | |
CN115115857A (en) | Image matching method and device and computer equipment | |
WO2021140844A1 (en) | Human body detection device and human body detection method | |
Matilainen et al. | Finger tracking for gestural interaction in mobile devices | |
KR101725685B1 (en) | Method and apparatus for detecting localization of mobile robot by ceiling outline detection | |
JP4812743B2 (en) | Face recognition device, face recognition method, face recognition program, and recording medium recording the program | |
KR20160090649A (en) | Device and method for detecting/tracking low-body part |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |