KR20180026095A - Occlusion and rotation invariant object recognition system and method in factory automation - Google Patents

Occlusion and rotation invariant object recognition system and method in factory automation Download PDF

Info

Publication number
KR20180026095A
KR20180026095A KR1020160113051A KR20160113051A KR20180026095A KR 20180026095 A KR20180026095 A KR 20180026095A KR 1020160113051 A KR1020160113051 A KR 1020160113051A KR 20160113051 A KR20160113051 A KR 20160113051A KR 20180026095 A KR20180026095 A KR 20180026095A
Authority
KR
South Korea
Prior art keywords
image
correlation
extracting
projection vector
unit
Prior art date
Application number
KR1020160113051A
Other languages
Korean (ko)
Other versions
KR101844328B1 (en
Inventor
조준동
최윤수
박진원
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160113051A priority Critical patent/KR101844328B1/en
Publication of KR20180026095A publication Critical patent/KR20180026095A/en
Application granted granted Critical
Publication of KR101844328B1 publication Critical patent/KR101844328B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a system and a method for recognizing a factory automation object robust to an occlusion and a rotation. The system comprises: an input portion for photographing an object placed on a factory automation line acquiring a screen image; an interest region setting portion for comparing the screen image with a previously input background image and setting an interest region; a ring projection portion for extracting a candidate group corresponding to a value of which a degree of correlation is greater than or equal to a predetermined first threshold value by using ring projection for the set interest region; a radiation projection portion for extracting a radiation projection vector from a template image, dividing the screen image from the extracted candidate into four, and extracting the radiation projection vector from each divided region; and an object determining portion for calculating the degree of correlation through the extracted template image and the radiation projection vector of each region and recognizing the object by comparing each degree of correlation.

Description

가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템 및 방법{OCCLUSION AND ROTATION INVARIANT OBJECT RECOGNITION SYSTEM AND METHOD IN FACTORY AUTOMATION} BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to a factory automation object recognizing system and method that are robust against obstacles and rotations,

본 발명은 물체 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 생산 현장에서 적용되는 공장 자동화 기술 중 조립중인 조립품에 적용할 부품을 시각적으로 인식하는 물체 인식 시스템 및 인식방법에 관한 것이다.The present invention relates to an object recognition system and method, and more particularly, to an object recognition system and a recognition method for visually recognizing a part to be applied to an assembly during assembly among factory automation techniques applied at a production site.

일반적인 공장 자동화 환경에서 이용되는 물체 인식 시스템은 컨베이어 벨트를 통해 로봇이 집을 물체가 이동되어 온다. 이때 컨베이어벨트 위에 카메라를 설치하여 컨베이어 벨트 위의 물체를 촬영한다. 입력된 영상을 분석하여 컨베이어 벨트 위의 로봇이 집을 물체의 위치를 알려주는 방식이다.In an object recognition system used in a general factory automation environment, objects are moved by a robot through a conveyor belt. At this time, a camera is installed on the conveyor belt to photograph an object on the conveyor belt. The input image is analyzed and the robot on the conveyor belt informs the position of the object in the house.

기존의 물체 블록기반 매칭을 사용하는 비전 인식 시스템에서는 등록된 이미지가 실제로 촬영된 영상에서 회전되어 있는 경우 인식률이 현저하게 떨어지거나 인식을 못하는 문제점이 있다. 하지만 실제로 컨베이어 벨트에서 이동되는 물체는 반듯하게 정렬되어 있지 않은 경우가 대다수이다. 때문에 이러한 문제를 극복해야 한다.In the vision recognition system using existing object block based matching, there is a problem in that the recognition rate significantly decreases or is not recognized when the registered image is rotated on the actually photographed image. In reality, however, moving objects on a conveyor belt are often not perfectly aligned. This problem must be overcome.

상술한 기존의 비전 인식 시스템에서 회전에 강인하며 물체가 다른 물체로 가려진 상황에서 인식률이 현저하게 떨어지거나 인식을 못하는 문제점이 있다. 또한, 실제 자동화 환경에서는 컨베이어 벨트에 이동되는 물체들은 여러 물체가 복잡하게 섞여 있는 경우가 있다. 이러한 경우 원하는 물체가 회전되어있고 다른 물체로 가려진 경우 인식하기가 매우 힘들기 때문에 이러한 문제를 해결해야 한다.In the conventional vision recognition system described above, there is a problem that the recognition rate is remarkably deteriorated or is not recognized when the object is robust against rotation and the object is covered with another object. Also, in an actual automation environment, objects moving on a conveyor belt may have a complex mixture of objects. In this case, it is very difficult to recognize if the desired object is rotated and covered by other objects.

그리고, 종래의 공장 자동화 물체 인식 시스템 및 방법은 자동화 라인에서 인식하려는 물체가 정확하게 정렬되어있거나 다른 물체에 가려져 있지 않은 상황에서만 인식이 가능하기 때문에, 전 처리과정을 거쳐 물체를 정렬해주는 작업을 추가 해야 하는 문제점이 있다.In addition, since the conventional factory automation object recognition system and method can be recognized only when the object to be recognized by the automation line is correctly aligned or not covered by other objects, it is necessary to add a task of sorting the object through the preprocessing process .

대한민국 공개특허공보 제10-2016-0075135호(공개일자: 2016년06월29일)Korean Patent Publication No. 10-2016-0075135 (Published date: June 29, 2016) 대한민국 공개특허공보 제10-2014-0067604호(공개일자: 2014년06월05일)Korean Patent Laid-Open Publication No. 10-2014-0067604 (Published date: June 05, 2014)

본 발명에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템 및 방법은 다음과 같은 해결과제를 가진다.The factory automation object recognizing system and method robust against obstruction and rotation according to the present invention have the following problems.

첫째, 본 발명은 공장 자동화 라인에서 대상 물체가 회전되어 있거나 부분적으로 가려진 경우에도 인식을 할 수 있는 시스템 및 방법을 제공하고자 함이다.First, the present invention aims to provide a system and method for recognizing a target object in a factory automation line even when the object is rotated or partially obscured.

둘째, 본 발명은 다양한 환경(물체의 위치, 회전, 가려짐)에서도 추가적인 장치를 구비하지 않고, 정확하게 인식할 수 있도록 인식성능을 높일 수 있는 물체 인식 시스템 및 방법을 제공하고자 함이다.Second, the object of the present invention is to provide an object recognition system and method capable of enhancing recognition performance so as to accurately recognize various environments (object position, rotation, and masking) without additional apparatuses.

본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The present invention has been made in view of the above problems, and it is an object of the present invention to provide an apparatus and method for controlling the same.

상술한 과제를 해결하기 위한 본 발명의 제1 특징은, 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템으로, 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하는 입력부; 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 관심영역 설정부; 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 고리 투영부; 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 방사 투영부; 및 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체를 인식하는 물체 판단부를 포함한다.According to a first aspect of the present invention, there is provided a factory automation object recognition system robust against cloaking and rotation, comprising: an input unit for capturing an image of a target object placed on a factory automation line and acquiring a scene image; A region of interest setting unit for setting a region of interest by comparing the scene image with a previously input background image; A ring projection unit for extracting a candidate group corresponding to a value having a correlation of at least a predetermined first threshold value using a ring projection for a set ROI; A radiation projection unit for extracting a projection vector from a template image, dividing a scene image from the extracted candidate group into quadrants and extracting a projection vector from each divided region; And an object determination unit for calculating a correlation through the extracted template image and the radiation projection vector of each region, and for comparing the correlations and recognizing the object.

여기서, 상기 관심영역 설정부는, 배경영상과 대상 물체의 템플릿 영상을 미리 등록하여 저장하는 기준 영상 저장부; 및 저장된 상기 배경 영상과 입력부로부터 입력된 장면 영상을 비교하여 대상 물체 영역에 관심영역을 설정하는 설정부를 포함하는 것이 바람직하다.Here, the region of interest setting unit may include a reference image storage unit for previously registering and storing a background image and a template image of a target object; And a setting unit configured to compare the stored background image with the scene image input from the input unit to set a region of interest in the target object region.

또한, 고리 투영부는, 상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 고리 벡터 추출부; 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 상관도 산출부; 및 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 후보군 추출부를 포함하는 것이 바람직하다.The ring projection unit may further include: a ring vector extraction unit that extracts a ring projection vector from the scene image and the template image; A correlation calculating unit for calculating a correlation between the scene image and the template image using the ring projection vector; And a candidate group extracting unit for extracting only candidate pixels having a calculated degree of correlation equal to or greater than a preset first threshold value as a candidate group.

더하여, 상기 고리 투영 벡터를 산출하는 식은,In addition, the equation for calculating the ring projection vector is:

Figure pat00001
,
Figure pat00001
,

Figure pat00002
Figure pat00002

(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의

Figure pat00003
중 작은 값이고,
Figure pat00004
는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것이 바람직하다.(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius,
Figure pat00003
Lt; / RTI >
Figure pat00004
Represents a pixel value in the coordinates of the image).

또한, 상기 상관도를 산출하는 식은,Further, the equation for calculating the degree of correlation,

Figure pat00005
Figure pat00005

(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고,

Figure pat00006
는 벡터 x 요소들 평균값을 나타낸다.)과 같은 식을 만족하는 것이 바람직하다.(Where NCC denotes Covariance, denotes a covariance, a and b denote a vector,
Figure pat00006
Represents an average value of the vector x elements).

또한, 상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,The equation for extracting the projection vector from the template image is as follows:

Figure pat00007
Figure pat00007

(λ는 최대 반지름 R과 같고

Figure pat00008
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00009
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R
Figure pat00008
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00009
And x and y are coordinate values of the pixel), as shown in Fig.

그리고, 상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,The expression for extracting the radiation projection vector in each of the above-

Figure pat00010
Figure pat00010

(λ는 최대 반지름 R과 같고

Figure pat00011
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00012
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R
Figure pat00011
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00012
And x and y are coordinate values of the pixel), as shown in Fig.

더하여, 상기 물체 판단부는, 추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 상관도 산출부; 및 산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 물체 인식부를 포함하는 것이 바람직하다.In addition, the object determining unit may include: a correlation calculating unit that calculates a correlation between the projection vector of the extracted template image and the projection vector of each divided region; And an object recognition unit for recognizing the calculated object value if the calculated correlation value of each area is larger than a predetermined second mapped value.

그리고, 본 발명의 제2 특징은, 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법은, (a) 입력부가 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하여 입력하는 단계; (b) 관심영역 설정부가 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 단계; (c) 고리 투영부가 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 단계; (d) 방사 투영부가 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 단계; 및 (e) 물체 판단부가 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체 여부를 판단하는 단계를 포함한다.According to a second aspect of the present invention, there is provided a method for recognizing a factory automation object that is robust against cloaking and rotation, comprising the steps of: (a) capturing a scene image by capturing an object placed on a factory automation line of an input unit; (b) comparing the scene image with the background image pre-input by the ROI setting unit to set the ROI; (c) extracting a candidate group whose degree of correlation is equal to or greater than a predetermined first threshold value by using a ring projection for a region of interest set in the ring projecting unit; (d) extracting a radiation projection vector from the radiation projection part template image, dividing the scene image from the extracted candidate group, and extracting a radiation projection vector from each divided area; And (e) calculating a correlation through the template image extracted by the object determining unit and the radiation projection vector of each region, and comparing the correlations to determine whether the object is an object.

여기서, 상기 (c) 단계는, (c1) 상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 단계; 및 (c2) 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 단계; 및 (c3) 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 단계를 포함하는 것이 바람직하다.The step (c) includes the steps of: (c1) extracting a ring projection vector from the scene image and the template image; And (c2) calculating a correlation between the scene image and the template image using the ring projection vector. And (c3) extracting only the pixels having the calculated degree of correlation equal to or greater than a predetermined first threshold value as a candidate group.

또한, 상기 (c2) 단계에서 고리 투영 벡터를 산출하는 식은,The equation for calculating the ring projection vector in the step (c2)

Figure pat00013
,
Figure pat00013
,

Figure pat00014
Figure pat00014

(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의

Figure pat00015
중 작은 값이고,
Figure pat00016
는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것이 바람직하다.(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius,
Figure pat00015
Lt; / RTI >
Figure pat00016
Represents a pixel value in the coordinates of the image).

더하여, 상기 상관도를 산출하는 식은,In addition, the equation for calculating the above-

Figure pat00017
Figure pat00017

(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고,

Figure pat00018
는 벡터 x 요소들 평균값을 나타낸다.)과 같은 식을 만족하는 것이 바람직하다.(Where NCC denotes Covariance, denotes a covariance, a and b denote a vector,
Figure pat00018
Represents an average value of the vector x elements).

또한, 상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,The equation for extracting the projection vector from the template image is as follows:

Figure pat00019
Figure pat00019

(λ는 최대 반지름 R과 같고

Figure pat00020
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00021
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R
Figure pat00020
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00021
And x and y are coordinate values of the pixel), as shown in Fig.

또한, 상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,Further, the expression for extracting the projection vector into each of the above-

Figure pat00022
Figure pat00022

(λ는 최대 반지름 R과 같고

Figure pat00023
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00024
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것이 바람직하다.(λ is equal to the maximum radius R
Figure pat00023
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00024
And x and y are coordinate values of the pixel), as shown in Fig.

또한, 상기 (e) 단계는, 추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 단계; 및 산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 단계를 포함하는 것이 바람직하다.The step (e) may further include: calculating a degree of correlation between a projection vector of the extracted template image and a projection vector of each divided region; And recognizing the calculated object value as a target object when the calculated correlation value of each area is larger than a predetermined second mapped value.

그리고, 본 발명의 제3 특징은, 하드웨어와 결합되어, 상술한 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 실행시키기 위하여 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램을 그 특징으로 한다.And a third aspect of the present invention features a computer program stored in a computer-readable medium in combination with hardware to execute the above-described masking and rotation robust factory automation object recognition method.

본 발명에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템 및 방법은 다음과 같은 효과를 가진다.The system and method for recognizing a factory automation object robust against obstruction and rotation according to the present invention have the following effects.

첫째, 본 발명은 고리 투영 및 방사 투영을 사용하여 다양한 환경(물체의 위치, 회전, 가려짐)에서도 추가적인 장치를 구비하지 않고, 정확하게 인식할 수 있도록 인식성능을 높일 수 있는 물체 인식 시스템 및 방법을 제공한다.First, the object of the present invention is to provide an object recognition system and method capable of enhancing recognition performance so as to recognize accurately without using an additional device in various environments (object position, rotation, and masking) by using a ring projection and a radiation projection to provide.

둘째, 본 발명은 전 처리과정을 거치지 않고도, 회전되거나 가려진 물체를 인식하여 공장 자동화 라인에 효율을 높일 수 있는 물체 인식 시스템 및 방법을 제공한다.Second, the present invention provides an object recognition system and method capable of increasing the efficiency of a factory automation line by recognizing an object that is rotated or obstructed, without going through a preprocessing process.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템의 블록 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법의 흐름을 나타낸 도면이다.
도 3은 블록 기반 매칭 알고리즘에 적용되는 장면 영상과 템플릿 영상의 모식도이다.
도 4는 템플릿 영상과 장면 영상에 대해 매칭 과정을 나타낸다.
도 5는 고리 투영(Ring Projection)의 기하학적 의미를 나타내는 모식도이다.
도 6은 방사 투영(Radial Projection)의 기하학적 의미를 나타내는 모식도이다.
도 7은 본 발명의 실시예에 따른 공장 자동화 물체 인식방법에 적용되는 관심영역 설정을 예시한 도면이다.
도 8은 제1 문턱값(Threshold 1)의 설정의 예를 나타낸 영상이다.
도 9는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법에서 (d) 단계 및 (e) 단계를 보다 구체적으로 나타낸 흐름도이다.
도 10은 최대 반지름에 포함되는 픽셀들을 a ~ d로 4분할한 모식도이다.
도 11은 본 발명의 실시예에 적용되는 템플릿(도 11의 (a)) 영상과 배경 영상(도 11의 (b))의 예시이다.
도 12는 본 발명의 실시예에 따라 장면 영상에서 배경 영상을 이용하여 관심영역을 추출한 영상의 예시이다.
도 13은 본 발명의 실시예에 따라 관심영역에서 고리 투영(Ring Projection)을 이용하여 후보군을 추출한 영상의 예시이다.
도 14는 본 발명의 실시예에 따라 후보군에서 방사 투영(Radial Projection)을 이용하여 최종적으로 물체를 판별한 결과를 나타낸 영상의 예시이다.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a plant automation object recognizing system robust to obstruction and rotation according to an embodiment of the present invention; FIG.
FIG. 2 is a flowchart illustrating a method for recognizing factory automation objects, which is robust against cloaking and rotation according to an embodiment of the present invention.
3 is a schematic diagram of a scene image and a template image applied to a block-based matching algorithm.
FIG. 4 shows a matching process for a template image and a scene image.
Fig. 5 is a schematic diagram showing the geometrical meaning of the ring projection. Fig.
6 is a schematic diagram showing the geometrical meaning of Radial Projection.
FIG. 7 is a diagram illustrating an area-of-interest setting applied to a factory automation object recognizing method according to an embodiment of the present invention.
8 is an image showing an example of setting the first threshold value (Threshold 1).
FIG. 9 is a flowchart illustrating more specifically steps (d) and (e) in a method for recognizing a factory automation object robust against obstruction and rotation according to an embodiment of the present invention.
10 is a schematic diagram of dividing the pixels included in the maximum radius into four by a to d.
11 is an example of a template (FIG. 11 (a)) and a background image (FIG. 11 (b)) applied to the embodiment of the present invention.
12 is an illustration of an image in which a region of interest is extracted using a background image in a scene image according to an embodiment of the present invention.
13 is an illustration of an image obtained by extracting a candidate group using a ring projection in a region of interest according to an embodiment of the present invention.
FIG. 14 is an example of an image showing a result of ultimately determining an object using a radial projection in a candidate group according to an embodiment of the present invention.

본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다. Further objects, features and advantages of the present invention will become more apparent from the following detailed description and the accompanying drawings.

본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Before describing the present invention in detail, it is to be understood that the present invention is capable of various modifications and various embodiments, and the examples described below and illustrated in the drawings are intended to limit the invention to specific embodiments It is to be understood that the invention includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다.Further, terms such as " part, "" unit," " module, "and the like described in the specification may mean a unit for processing at least one function or operation.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템의 블록 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법의 흐름을 나타낸 도면이다.FIG. 1 is a block diagram of a factory automation object recognizing system which is robust against obstacles and rotation according to an embodiment of the present invention. FIG. 2 is a diagram showing a factory automation object recognizing method robust to obstacles and rotation according to an embodiment of the present invention Fig.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템은, 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하는 입력부(100)와, 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 관심영역 설정부(200)와, 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 고리 투영부(300)와, 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 방사 투영부(400)와, 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체를 인식하는 물체 판단부(500)를 포함하여 구성된다.As shown in FIG. 1, the system for recognizing factory automation objects, which is robust against cloaking and rotation according to an embodiment of the present invention, includes an input unit 100 for shooting a target object placed on a factory automation line and acquiring a scene image, (200) for setting a region of interest by comparing the background image and the scene image with each other, and determining a correlation value between a predetermined threshold value and a predetermined threshold value by using Ring Projection for the set region of interest A ring projection unit 300 for extracting a corresponding candidate group, a radiation projection unit 400 for extracting a radiation projection vector from the template image, dividing the scene image from the extracted candidate group into four, An object determining unit 500 for calculating the correlation through the extracted template image and the radiation projection vector of each region, comparing the correlations, and recognizing the object, It is configured to include.

그리고, 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법은, (a) 입력부(100)가 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하여 입력하는 단계와, (b) 관심영역 설정부(200)가 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 단계와, (c) 고리 투영부(300)가 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 단계와, (d) 방사 투영부(400)가 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 단계와, (e) 물체 판단부(500)가 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체 여부를 판단하는 단계를 포함하여 구성된다.As shown in FIG. 2, the method for recognizing factory automation objects, which is robust against cloaking and rotation, according to an embodiment of the present invention, includes the steps of: (a) (B) setting a region of interest by comparing the scene image with a background image previously input by the region-of-interest setting unit 200, and (c) setting a region of interest Extracting a candidate group corresponding to a value whose correlation is greater than or equal to a preset first threshold value by using a ring projection for the region; (d) Extracting a projection image from the extracted candidate group, and extracting a projection vector from each of the divided regions; and (e) using the extracted template image and the projection vector of each region, Prize Calculating a degree, and compares each correlation is configured to include the step of determining whether the object.

이처럼 본 발명의 실시예는 공장 자동화 환경에서 사용되는 물체 인식 시스템 및 방법으로, 공장 자동화 환경에서 물체 인식시스템에서 영상으로 입력되는 물체가 다양한 환경(물체의 위치, 회전, 가려짐)에서의 인식성능을 높이기 때문에 공장자동화 환경에서 사용하는데 제약조건이 줄어들게 되고, 전 처리과정을 생략하기에 자동화 라인에 효율성을 높일 수 있게 된다.As described above, the embodiment of the present invention is an object recognition system and method used in a factory automation environment. In the factory automation environment, recognition performance in various environments (object position, rotation, and masking) The constraints are reduced for use in a factory automation environment and the efficiency of the automation line can be increased by omitting the preprocessing process.

보다 구체적으로 본 발명의 실시예에 따른 공장 자동화 물체 인식 시스템의 구성을 살펴보면, 도 1에 나타낸 바와 같이, 상기 관심영역 설정부(200)는, 배경영상과 대상 물체의 템플릿 영상을 미리 등록하여 저장하는 기준 영상 저장부와, 저장된 상기 배경 영상과 입력부(100)로부터 입력된 장면 영상을 비교하여 대상 물체 영역에 관심영역을 설정하는 설정부를 포함하여 구성되는 것이 바람직하다.More specifically, as shown in FIG. 1, the region-of-interest setting unit 200 registers a background image and a template image of a target object in advance and stores the template image And a setting unit configured to set a region of interest in the target object region by comparing the stored background image with a scene image input from the input unit 100. In addition,

그리고, 고리 투영부(300)는, 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 고리 벡터 추출부와, 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 상관도 산출부와, 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 후보군 추출부를 포함하여 구성되는 것이 바람직하다.The ring projecting unit 300 includes a ring vector extracting unit for extracting a ring projection vector from a scene image and a template image, and a correlation calculator for calculating a correlation between the scene image and the template image using the ring projection vector And a candidate group extracting unit for extracting only candidate pixels having a calculated correlation value equal to or greater than a predetermined first threshold value as a candidate group.

또한, 물체 판단부(500)는, 추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 상관도 산출부와, 산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 물체 인식부를 포함하여 구성되는 것이 바람직하다.The object determining unit 500 further includes a correlation calculating unit that calculates a correlation between the projection vector of the extracted template image and the projection vector of each of the divided regions, And an object recognition unit for recognizing the object as an object when the value is greater than a two-parameter value.

이하에서 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 단계별로 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a method for recognizing a factory automation object robust to a cloaking and rotation according to an embodiment of the present invention will be described in detail.

먼저, 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법은 물체 인식 방법 중 블록 기반 매칭 알고리즘을 사용한다. 블록 매칭 알고리즘은 장면 영상에서 템플릿으로 등록한 영상과 매칭되는 부분을 찾는 방법이다. First, a factory automation object recognizing method which is robust against cloaking and rotation according to an embodiment of the present invention uses a block-based matching algorithm among object recognition methods. The block matching algorithm is a method of finding a matching part with an image registered as a template in a scene image.

도 3은 블록 기반 매칭 알고리즘에 적용되는 장면 영상과 템플릿 영상의 모식도이다. 도 3의 (a)는 카메라로 촬영한 장면 영상을 의미하고 (b)는 장면 영상에서 찾으려는 물체를 등록한 템플릿 영상을 의미한다.3 is a schematic diagram of a scene image and a template image applied to a block-based matching algorithm. FIG. 3 (a) shows a scene image taken by a camera, and FIG. 3 (b) shows a template image in which an object to be searched is registered.

도 4는 템플릿 영상과 장면 영상에 대해 매칭 과정을 나타낸다. 도 4에 나타낸 바와 같이, 템플릿 영상이 w*h이고, 장면 영상의 크기가 W*H 일 때, 템플릿 영상을 장면 영상 위에서 픽셀 단위로 이동하며 템플릿 영상이 위치한 곳에서 장면 영상과 유사도를 계산한다. FIG. 4 shows a matching process for a template image and a scene image. 4, when the template image is w * h and the size of the scene image is W * H, the template image is shifted pixel by pixel on the scene image, and the degree of similarity with the scene image is calculated where the template image is located .

Figure pat00025
Figure pat00025

[수학식 1]은 템플릿 영상이 장면 영상 위에서 픽셀 단위로 이동할 때 이동하는 범위를 의미한다.[Equation 1] denotes a range in which a template image moves when it moves on a scene image in pixel units.

장면 영상에서 템플릿 영상을 이동시키면서 템플릿 영상과 유사도를 계산하는 방법 중 하나인 Normalized Cross-Correlation(NCC)가 있다.Normalized Cross-Correlation (NCC) is one of the methods of calculating the similarity of a template image while moving a template image in a scene image.

Figure pat00026
Figure pat00026

[수학식 2]는 벡터 a와 벡터 b의 유사도를 측정하는 식으로 Covariance는 공분산을 의미하고

Figure pat00027
는 벡터 x 요소의 표준편차이다.[Equation 2] is a method of measuring the similarity between the vectors a and b, Covariance means covariance
Figure pat00027
Is the standard deviation of the vector x elements.

Figure pat00028
Figure pat00028

[수학식 2]를 풀어 쓰면 [수학식 3]과 같다.

Figure pat00029
는 벡터 x 요소들 평균값 이다.If Equation (2) is solved, Equation (3) is obtained.
Figure pat00029
Is the mean value of the vector x elements.

Figure pat00030
Figure pat00030

NCC 계산 값의 범위는 [수학식 4]와 같다. 만약 두 벡터가 정확히 일치한다면 결과 값은 1이 나오고 상관도가 높을수록 1에 가까운 값이 나온다.The range of the NCC calculation value is as shown in [Equation 4]. If the two vectors are exactly the same, the result is 1; the higher the correlation, the closer to 1.

위의 [수학식 2]에서 상관도를 비교하기 위해 템플릿 영상과 장면 영상에서 벡터를 추출해야 한다. 벡터를 추출하는 방법은 여러 가지 방법이 있지만 그 중 고리 투영(Ring Projection_과 방사 투영(Radial Projection)을 이용한다.In order to compare the degree of correlation in Equation (2) above, a vector must be extracted from the template image and the scene image. There are various methods for extracting the vector, but among them, Ring Projection_ and Radial Projection are used.

도 5는 고리 투영(Ring Projection)의 기하학적 의미를 나타내는 모식도이다. 도 5에 나타낸 바와 같이,

Figure pat00031
크기의 템플릿 영상의 중심점에서부터 반지름 r을 점진적으로 증가시키면서 반지름 r에 위치한 픽셀 값들의 합을 나타낸다.Fig. 5 is a schematic diagram showing the geometrical meaning of the ring projection. Fig. As shown in Fig. 5,
Figure pat00031
Represents the sum of the pixel values located at the radius r while gradually increasing the radius r from the center point of the template image of the size.

Figure pat00032
Figure pat00032

Figure pat00033
Figure pat00033

[수학식 5]는 템플릿 영상에서 벡터를 구하는 공식이고 [수학식 6]은 장면 영상에서 벡터를 구하는 공식이다. 이때 R은 최대 반지름으로 템플릿 영상의

Figure pat00034
중작은 값이다.
Figure pat00035
는 영상의 좌표에서의 픽셀 값이다.[Equation 5] is a formula for obtaining a vector in a template image and [Equation 6] is a formula for obtaining a vector in a scene image. In this case, R is the maximum radius of the template image
Figure pat00034
The masterpiece is a value.
Figure pat00035
Is the pixel value in the coordinates of the image.

도 6은 방사 투영(Radial Projection)의 기하학적 의미를 나타내는 모식도이다.

Figure pat00036
크기의 템플릿 영상의 중심에서 최대 원의 픽셀에 해당되는 픽셀과의 직선상에 있는 픽셀의 합이다.6 is a schematic diagram showing the geometrical meaning of Radial Projection.
Figure pat00036
Is the sum of the pixels on the straight line with the pixel corresponding to the pixel of the maximum circle at the center of the template image of the size.

Figure pat00037
Figure pat00037

Figure pat00038
Figure pat00038

[수학식 7]은 템플릿 영상에서 벡터를 구하는 식이고 [수학식 8]은 장면 영상에서 벡터를 구하는 식이다. λ는 최대 반지름 R과 같고

Figure pat00039
중 작은 값이다. 이때 α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하면 2π를 M으로 샘플링을 하여
Figure pat00040
를 구한다.
Figure pat00041
는 영상의 좌표에서의 픽셀 값이다.Equation (7) is a formula for obtaining a vector from a template image and Equation (8) is an equation for obtaining a vector from a scene image. λ is equal to the maximum radius R
Figure pat00039
Which is a small value. In this case, if α is the total number of pixels corresponding to the position where the radius is R from the center is M, 2π is sampled by M
Figure pat00040
.
Figure pat00041
Is the pixel value in the coordinates of the image.

본 발명의 실시예는 공장 자동화 환경에서 사용되는 블록기반 물체인식 방법 중 회전 및 가려짐에 강인한 인식 시스템 및 방법이다. 공장 자동화 환경에서 카메라의 시점과 조명은 고정되고 한정된 종류의 특정 부품만을 인식하기 때문에 스케일과 밝기에 강한 인식 알고리즘보다 회전이나 가려짐에 강인한 인식 알고리즘에 초점을 둔다.Embodiments of the present invention are robust recognition systems and methods among block-based object recognition methods used in factory automation environments. In the factory automation environment, the camera's viewpoint and lighting are fixed and only certain kinds of specific parts are recognized, so focusing on robust recognition algorithms that are more rotation and shadowing than scaling and brightness-based recognition algorithms.

도 2에 나타낸 바와 같이, (a) 단계는 입력부(100)가 카메라를 이용하여 공장 자동화 라인에 있는 영상을 촬영하여 입력하는 단계이고, (b) 단계는 관심영역 설정부(200)가 공장 자동화 환경에서 인식하려는 물체와 물체가 올려져 있는 배경은 자주 바뀌지 않기 때문에, 배경 영상과 인식하려는 물체를 미리 등록해 놓고, 입력 되어진 영상과 비교하여 물체가 있는 곳을 관심영역으로 지정 또는 설정하는 단계이다.2, step (a) is a step of photographing and inputting an image on a factory automation line using the camera by the input unit 100, and step (b) Since the background in which the object and the object to be recognized in the environment are not frequently changed is a step of registering the background image and the object to be recognized in advance and comparing the image with the inputted image to designate or set the place where the object exists as the region of interest .

도 7은 본 발명의 실시예에 따른 공장 자동화 물체 인식방법에 적용되는 관심영역 설정을 예시한 도면이다. 도 7의 (a)는 물체가 없을 때 배경화면의 예시 영상이고, 도 7의 (b)는 장면 영상에서 배경 화면을 이용하여 관심영역을 지정한 예시 영상이다.FIG. 7 is a diagram illustrating an area-of-interest setting applied to a factory automation object recognizing method according to an embodiment of the present invention. FIG. 7A is an example image of a background screen when there is no object, and FIG. 7B is an example image in which a region of interest is designated using a background image in a scene image.

(a) 단계 및 (b) 단계 이후에, 장면 영상과 템플릿 영상으로 블록기반 매칭을 시행한다. 즉, (c) 단계에서, 고리 투영부(300)가 관심영역에 대해서만 매칭을 시행하고 장면 영상과 템플릿 영상에서 [수학식 5] 및 [수학식 6]을 이용하여 고리 투영(Ring Projection) 벡터를 추출하고 [수학식 3]을 이용하여 상관도를 계산하게 된다. 이때 계산 되어진 상관도의 값이 제1 문턱값(Threshold 1) 이상인 픽셀들만 후보군으로 추출하게 된다.block-based matching is performed between the scene image and the template image after steps (a) and (b). That is, in step (c), the ring projecting unit 300 performs matching only on the region of interest, and using the ring projection vector {circumflex over And calculates the correlation using Equation (3). At this time, only the pixels having the calculated correlation value equal to or higher than the first threshold value (Threshold 1) are extracted as candidates.

이처럼, 본 발명의 실시예에서 벡터를 추출하는 방법으로 여러 가지 방법이 있지만 고리 투영(Ring Projection)을 이용하여 벡터를 추출하는 이유는 회전에 강인한 방법이기 때문이다. 상기 방법은 장면 영상에서 물체가 회전되어 있어도 높은 성능으로 인식이 가능하다.As described above, in the embodiment of the present invention, there are various methods for extracting the vector, but the reason for extracting the vector using the ring projection is that the method is robust to rotation. The above method can recognize a high performance even if an object is rotated in a scene image.

제1 문턱값(Threshold 1은 경험적으로 이루어져야 한다. 제1 문턱값(Threshold 1)을 너무 높게 잡으면 가려짐이 있는 경우에 후보군에 포함되지 않는다. 따라서 우리는 가려짐이 있는 경우에도 후보군에 포함되도록 제1 문턱값 (Threshold 1)을 설정하는 것이 바람직하다.If the first threshold Threshold 1 is set too high, it is not included in the candidate group if there is occlusion, so that we are not included in the candidate group even if there is occlusion. It is preferable to set the first threshold value (Threshold 1).

도 8은 제1 문턱값(Threshold 1)의 설정의 예를 나타낸 영상이다. 도 8의 (a)는 제1 문턱값(Threshold 1)을 너무 높게 설정한 예시 영상이다. 가려진 물체가 없을 경우 정확하게 물체의 중심을 찾을 수 있지만. 물체가 가려진 경우 물체를 인식이 되지 않는 영상이다.8 is an image showing an example of setting the first threshold value (Threshold 1). 8A is an example image in which the first threshold Threshold 1 is set too high. If there is no obstructed object, you can find the exact center of the object. It is an image that can not recognize the object when the object is covered.

도 8의 (b)는 제1 문턱값(Threshold 1)의 값이 적절하게 설정된 예시 영상이다. 물체가 가려진 경우에도 물체의 중심점이 후보군으로 추출되도록 해야 한다. 도 8의 (a), (b)에 나타낸 바와 같이, 고리 투영(Ring Projection) 벡터만 사용할 경우 회전되어 있는 물체는 정확하게 인식이 된다. 하지만 가려진 물체를 인식하려면 인식하려는 물체의 중심점 말고 다른 부분이 많이 인식된다. 따라서 고리 투영(Ring Projection) 벡터만 사용하여 인식을 수행하기에 부적절함을 알 수 있다.8B is an example image in which the value of the first threshold value (Threshold 1) is appropriately set. Even if the object is covered, the center point of the object should be extracted as the candidate group. As shown in FIGS. 8A and 8B, when only a ring projection vector is used, the rotated object is correctly recognized. However, in order to recognize an obstructed object, many parts other than the center point of the object to be recognized are recognized. Therefore, it can be seen that it is inappropriate to perform recognition using only a ring projection vector.

(d) 단계는 방사 투영부(400)가 방사 투영 벡터를 추출하는 단계로서, (c) 단계에서 후보군으로 추출된 픽셀에 대해서 방사 투영(Radial Projection)을 이용하여 방사 투영 벡터를 추출하는 단계이고, (e) 단계는 (d) 단계에서 추출된 방사 투영 벡터를 통해 상관도를 계산하고 물체를 판단하는 단계이다. 이때 가려진 물체에 대해 인식률을 높이기 위해 방사 투영(Radial Projection) 벡터를 장면 영상에서 4분할한 벡터를 구한다. 이때 한 부분이라도 제2 문턱값(Threshold 2) 보다 큰 경우 물체로 판단하게 된다.(d) is a step of extracting a radiation projection vector from the radiation projection unit 400. In step (c), a radiation projection vector is extracted using a radial projection for a pixel extracted as a candidate group , step (e) is a step of calculating the correlation through the radial projection vector extracted in step (d) and determining an object. At this time, a vector obtained by dividing the radial projection vector into four parts in the scene image is obtained in order to increase the recognition rate for the obscured object. At this time, if one part is larger than the second threshold value (Threshold 2), it is judged as an object.

도 9는 본 발명의 실시예에 따른 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법에서 (d) 단계 및 (e) 단계를 보다 구체적으로 나타낸 흐름도이고, 도 10은 최대 반지름에 포함되는 픽셀들을 a ~ d로 4분할 한 모식도이다.FIG. 9 is a flowchart illustrating more specifically steps (d) and (e) in a factory automation object recognizing method robust to obstruction and rotation according to an embodiment of the present invention, ~ d. < / RTI >

도 9에 나타낸 바와 같이, 먼저, 템플릿 영상의 방사 투영 벡터인 P_t벡터를 [수학식 7]을 이용하여 구하고, 도 10에 나타낸 바와 같이, 장면 영상의 분할된 각 영역의 방사 투영 벡터인 P_s_a, P_s_b, P_s_c, P_s_d 는 최대 반지름에 포함되는 픽셀들을 a~d로 4분할하여 방사 투영(Radial Projection) 벡터를 추출한다. As shown in Fig. 9, first, a P_t vector, which is a radiation projection vector of the template image, is obtained by using [Equation 7], and the radiation projection vectors P_s_a, P_s_b, P_s_c, and P_s_d are obtained by dividing the pixels included in the maximum radius into four regions a to d to extract a radial projection vector.

장면 영상에 대해 [수학식 8]을 이용하여 벡터를 추출하는데, 이때, a 부분의 α범위를

Figure pat00042
, b 부분의 α 범위를
Figure pat00043
, c 부분의 α범위를
Figure pat00044
, d 부분의 α범위를
Figure pat00045
로 하여, P_s_a, P_s_b, P_s_c, P_s_d 벡터를 추출한다.For a scene image, a vector is extracted using [Equation 8]. At this time,
Figure pat00042
, the alpha range of the part b
Figure pat00043
, the alpha range of the c portion
Figure pat00044
, and the alpha range of the d portion
Figure pat00045
And extracts the P_s_a, P_s_b, P_s_c, and P_s_d vectors.

여기서, Max_a, Max_b, Max_c, Max_d, I의 초기 값은 0이고, m 의 값은 템플릿 영상에서 최대 반지름에 포함 되는 픽셀의 개수이다. 물체 판별은 Max_a, Max_b, Max_c, Max_d의 값이 하나라도 제2 문턱값(Threshold 2) 보다 클 경우 물체로 판별한다.The initial values of Max_a, Max_b, Max_c, Max_d, and I are 0, and the value of m is the number of pixels included in the maximum radius in the template image. The object discrimination is determined as an object when any one of Max_a, Max_b, Max_c and Max_d is greater than the second threshold (Threshold 2).

도 11은 본 발명의 실시예에 적용되는 템플릿(도 11의 (a)) 영상과 배경 영상(도 11의 (b))의 예시이고, 도 12는 본 발명의 실시예에 따라 장면 영상에서 배경 영상을 이용하여 관심영역을 추출한 영상의 예시이고, 도 13은 본 발명의 실시예에 따라 관심영역에서 고리 투영(Ring Projection)을 이용하여 후보군을 추출한 영상의 예시이고, 도 14는 본 발명의 실시예에 따라 후보군에서 방사 투영(Radial Projection)을 이용하여 최종적으로 물체를 판별한 결과를 나타낸 영상의 예시이다.11A and 11B illustrate an example of a template (FIG. 11A) and a background image (FIG. 11B) applied to an embodiment of the present invention. FIG. FIG. 13 is an example of an image obtained by extracting a candidate region using a ring projection in a region of interest according to an embodiment of the present invention. FIG. An example of an image showing the result of ultimate determination of an object using Radial Projection in the candidate group according to the example.

Figure pat00046
Figure pat00046

[표 1]은 도 15에서 물체가 인식된 결과이다. 물체는 가려짐이 0 ~ 75%로 실험되었고 모두 정확하게 인식되었다. 또한 가려짐과 동시에 모두 회전되어 있음을 알 수 있다.Table 1 shows the result of recognizing an object in Fig. The objects were tested with occlusion between 0 and 75% and all were correctly recognized. Also, it can be seen that both are closed and rotated at the same time.

그리고, 본 발명의 또 다른 실시예로서, 하드웨어와 결합되어 상술한 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 실행시키기 위하여 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램일 수 있다.And, as another embodiment of the present invention, a computer program stored in a computer-readable medium may be stored in a computer-readable medium in combination with hardware in order to execute the above-described occlusion and rotation robust factory automation object recognition methods.

즉, 본 발명의 실시예에 따른 장치로서, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.That is, the apparatus according to the embodiment of the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include ROM, RAM, optical disk, magnetic tape, floppy disk, hard disk, nonvolatile memory and the like. The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments and the accompanying drawings described in the present specification are merely illustrative of some of the technical ideas included in the present invention. Accordingly, the embodiments disclosed herein are for the purpose of describing rather than limiting the technical spirit of the present invention, and it is apparent that the scope of the technical idea of the present invention is not limited by these embodiments. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

100: 입력부 200: 관심영역 설정부
300: 고리 투영부 400: 방사 투영부
500: 물체 판단부
100: Input unit 200: Interest area setting unit
300: Ring projecting part 400: Radial projection part
500: Object judging unit

Claims (16)

공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하는 입력부;
미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 관심영역 설정부;
설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 고리 투영부;
템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 방사 투영부; 및
추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체를 인식하는 물체 판단부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
An input unit for photographing an object placed on a factory automation line and acquiring a scene image;
A region of interest setting unit for setting a region of interest by comparing the scene image with a previously input background image;
A ring projection unit for extracting a candidate group corresponding to a value having a correlation of at least a predetermined first threshold value using a ring projection for a set ROI;
A radiation projection unit for extracting a projection vector from a template image, dividing a scene image from the extracted candidate group into quadrants and extracting a projection vector from each divided region; And
And an object determining unit for calculating a correlation through the extracted template image and the radiation projection vector of each region and comparing the correlations and recognizing the object. .
청구항 1에 있어서,
상기 관심영역 설정부는,
배경영상과 대상 물체의 템플릿 영상을 미리 등록하여 저장하는 기준 영상 저장부; 및
저장된 상기 배경 영상과 입력부로부터 입력된 장면 영상을 비교하여 대상 물체 영역에 관심영역을 설정하는 설정부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
The method according to claim 1,
Wherein the ROI setting unit comprises:
A reference image storage unit for previously registering and storing a background image and a template image of a target object; And
And a setting unit configured to set a region of interest in the target object region by comparing the stored background image with a scene image input from the input unit.
청구항 1에 있어서,
고리 투영부는,
상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 고리 벡터 추출부;
상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 상관도 산출부; 및
산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 후보군 추출부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
The method according to claim 1,
The ring-
A ring vector extracting unit for extracting a ring projection vector from the scene image and the template image;
A correlation calculating unit for calculating a correlation between the scene image and the template image using the ring projection vector; And
And a candidate group extracting unit for extracting only candidate pixels having a calculated correlation degree equal to or greater than a predetermined first threshold value as candidate groups.
청구항 3에 있어서,
상기 고리 투영 벡터를 산출하는 식은,
Figure pat00047
,
Figure pat00048

(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의
Figure pat00049
중 작은 값이고,
Figure pat00050
는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
The method of claim 3,
The equation for calculating the ring projection vector is:
Figure pat00047
,
Figure pat00048

(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius,
Figure pat00049
Lt; / RTI >
Figure pat00050
And a pixel value in a coordinate of the image is expressed by the following equation: < EMI ID = 1.0 >
청구항 3에 있어서,
상기 상관도를 산출하는 식은,
Figure pat00051

(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고, E(a) 및 E(b)는 벡터 a 및 b 요소들 평균값을 나타낸다.)
과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
The method of claim 3,
The formula for calculating the degree of correlation,
Figure pat00051

(Where NCC denotes Covariance, denotes a covariance, a and b denote vectors, and E (a) and E (b) denote the average values of the elements a and b).
And the rotation angle of the factory automation object recognition system.
청구항 1에 있어서,
상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,
Figure pat00052

(λ는 최대 반지름 R과 같고
Figure pat00053
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00054
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
The method according to claim 1,
The expression for extracting the projection vector from the template image is:
Figure pat00052

(λ is equal to the maximum radius R
Figure pat00053
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00054
Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel. The factory automation object recognition system robust against rotation and rotation.
청구항 1에 있어서,
상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,
Figure pat00055

(λ는 최대 반지름 R과 같고
Figure pat00056
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00057
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
The method according to claim 1,
The expression for extracting the projection vector into each of the above-
Figure pat00055

(λ is equal to the maximum radius R
Figure pat00056
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00057
Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel. The factory automation object recognition system robust against rotation and rotation.
청구항 1에 있어서,
상기 물체 판단부는,
추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 상관도 산출부; 및
산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 물체 인식부를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템.
The method according to claim 1,
The object determining unit
A correlation degree calculation unit for calculating a correlation between the radiation projection vector of the extracted template image and the radiation projection vector in each divided region; And
And an object recognition unit for recognizing the object as an object when the calculated correlation value of each area is larger than a preset second mterature value.
(a) 입력부가 공장 자동화 라인에 놓인 대상 물체를 촬영하여 장면 영상을 획득하여 입력하는 단계;
(b) 관심영역 설정부가 미리 입력된 배경영상과 상기 장면 영상을 비교하여 관심영역을 설정하는 단계;
(c) 고리 투영부가 설정된 관심영역에 대해 고리 투영(Ring Projection)을 이용하여 상관도가 미리 설정된 제1 문턱값 이상인 값에 해당하는 후보군을 추출하는 단계;
(d) 방사 투영부가 템플릿 영상에서 방사 투영 벡터를 추출하고, 상기 추출된 후보군으로부터 장면 영상을 4 분할하고 각 분할 영역에 방사 투영 벡터를 추출하는 단계; 및
(e) 물체 판단부가 추출된 템플릿 영상 및 각 영역의 방사 투영 벡터를 통해 상관도를 산출하고, 각 상관도를 비교하여 대상 물체 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.
(a) capturing and inputting a scene image of a target object placed on a factory automation line of an input unit;
(b) comparing the scene image with the background image pre-input by the ROI setting unit to set the ROI;
(c) extracting a candidate group whose degree of correlation is equal to or greater than a predetermined first threshold value by using a ring projection for a region of interest set in the ring projecting unit;
(d) extracting a radiation projection vector from the radiation projection part template image, dividing the scene image from the extracted candidate group, and extracting a radiation projection vector from each divided area; And
(e) calculating a degree of correlation through the template image extracted by the object determining unit and the radiation projection vector of each region, and comparing the degrees of correlation to determine whether the object is an object; and Robust factory automation object recognition method.
청구항 9에 있어서,
상기 (c) 단계는,
(c1) 상기 장면 영상과 템플릿 영상에서 고리 투영 벡터를 추출하는 단계; 및
(c2) 상기 고리 투영 벡터를 이용하여 상기 장면 영상과 템플릿 영상의 상관도를 산출하는 단계; 및
(c3) 산출된 상관도가 미리 설정된 제1 문턱값 이상인 픽셀들만 후보군으로 추출하는 단계를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.
The method of claim 9,
The step (c)
(c1) extracting a ring projection vector from the scene image and the template image; And
(c2) calculating a correlation between the scene image and the template image using the ring projection vector; And
(c3) extracting only the pixels having the calculated degree of correlation equal to or greater than a predetermined first threshold value as a candidate group.
청구항 10에 있어서,
상기 (c2) 단계에서 고리 투영 벡터를 산출하는 식은,
Figure pat00058
,
Figure pat00059

(여기서, w 및 h 템플릿 영상의 가로 및 세로의 크기이고, W 및 H 장면 영상의 가로 및 세로의 크기이고, R은 최대 반지름으로 템플릿 영상의
Figure pat00060
중 작은 값이고,
Figure pat00061
는 영상의 좌표에서의 픽셀 값을 나타낸다.)와 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.
The method of claim 10,
The equation for calculating the ring projection vector in the step (c2)
Figure pat00058
,
Figure pat00059

(Where, w and h are the width and height of the template image, W and H are the width and height of the scene image, and R is the maximum radius,
Figure pat00060
Lt; / RTI >
Figure pat00061
And a pixel value in a coordinate of the image. The method of recognizing a factory automation object is robust against obstruction and rotation.
청구항 9에 있어서,
상기 상관도를 산출하는 식은,
Figure pat00062

(여기서, NCC는 Covariance는 공분산을 의미하고, a 및 b는 벡터를 나타내고, E(a) 및 E(b)는 벡터 a 및 b 요소들 평균값을 나타낸다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.
The method of claim 9,
The formula for calculating the degree of correlation,
Figure pat00062

(Where NCC denotes a covariance, covariance denotes a covariance, a and b denote a vector, and E (a) and E (b) denote an average value of the elements a and b) A factory automation object recognition method that is robust to obscuration and rotation.
청구항 9에 있어서,
상기 템플릿 영상에서 방사 투영 벡터를 추출하는 식은,
Figure pat00063

(λ는 최대 반지름 R과 같고
Figure pat00064
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00065
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.
The method of claim 9,
The expression for extracting the projection vector from the template image is:
Figure pat00063

(λ is equal to the maximum radius R
Figure pat00064
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00065
Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel.
청구항 9에 있어서,
상기 각 분할 영역에 방사 투영 벡터를 추출하는 식은,
Figure pat00066

(λ는 최대 반지름 R과 같고
Figure pat00067
중 작은 값이고, α는 중심으로부터 반지름이 R인 위치에 해당하는 픽셀의 총 개수를 M이라 하고,
Figure pat00068
는 영상의 좌표에서의 픽셀 값을 나타내고, x 및 y는 픽셀의 좌표값이다.)과 같은 식을 만족하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.
The method of claim 9,
The expression for extracting the projection vector into each of the above-
Figure pat00066

(λ is equal to the maximum radius R
Figure pat00067
And a is a total number of pixels corresponding to a position where the radius is R from the center is M,
Figure pat00068
Wherein x and y are coordinate values of a pixel, and x and y are coordinate values of a pixel.
청구항 9에 있어서,
상기 (e) 단계는,
추출된 템플릿 영상의 방사 투영 벡터와 각 분할 영역에 방사 투영 벡터의 상관도를 산출하는 단계; 및
산출된 각 영역의 상관도 값이 미리 설정된 제2 문터값보다 큰 경우 대상 물체로 인식하는 단계를 포함하는 것을 특징으로 하는 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법.
The method of claim 9,
The step (e)
Calculating a correlation between the projection vector of the extracted template image and the projection vector of each divided region; And
Recognizing the object as a target object when the calculated correlation value of each area is larger than a preset second mterter value.
하드웨어와 결합되어,
청구항 9의 가려짐 및 회전에 강인한 공장 자동화 물체 인식방법을 실행시키기 위하여 컴퓨터가 판독 가능한 매체에 저장된 컴퓨터프로그램.
Combined with hardware,
A computer program stored on a computer readable medium for executing the method of claim 9 and a method for recognizing factory automation objects robust to rotation and rotation.
KR1020160113051A 2016-09-02 2016-09-02 Occlusion and rotation invariant object recognition system and method in factory automation KR101844328B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160113051A KR101844328B1 (en) 2016-09-02 2016-09-02 Occlusion and rotation invariant object recognition system and method in factory automation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160113051A KR101844328B1 (en) 2016-09-02 2016-09-02 Occlusion and rotation invariant object recognition system and method in factory automation

Publications (2)

Publication Number Publication Date
KR20180026095A true KR20180026095A (en) 2018-03-12
KR101844328B1 KR101844328B1 (en) 2018-04-02

Family

ID=61728957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160113051A KR101844328B1 (en) 2016-09-02 2016-09-02 Occlusion and rotation invariant object recognition system and method in factory automation

Country Status (1)

Country Link
KR (1) KR101844328B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054747B1 (en) * 2018-06-14 2019-12-11 연세대학교 산학협력단 Method and Apparatus for Recognizing Oblique Quadrilateral Area in Image
CN111860161A (en) * 2020-06-16 2020-10-30 成都浩孚科技有限公司 Target shielding detection method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5788299B2 (en) 2011-11-22 2015-09-30 日本電信電話株式会社 Image search apparatus, image search method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054747B1 (en) * 2018-06-14 2019-12-11 연세대학교 산학협력단 Method and Apparatus for Recognizing Oblique Quadrilateral Area in Image
CN111860161A (en) * 2020-06-16 2020-10-30 成都浩孚科技有限公司 Target shielding detection method
CN111860161B (en) * 2020-06-16 2023-11-10 成都浩孚科技有限公司 Target shielding detection method

Also Published As

Publication number Publication date
KR101844328B1 (en) 2018-04-02

Similar Documents

Publication Publication Date Title
US7133572B2 (en) Fast two dimensional object localization based on oriented edges
US9633265B2 (en) Method for improving tracking in crowded situations using rival compensation
US7957557B2 (en) Tracking apparatus and tracking method
US9582711B2 (en) Robot cleaner, apparatus and method for recognizing gesture
US10043279B1 (en) Robust detection and classification of body parts in a depth map
WO2020184207A1 (en) Object tracking device and object tracking method
US20120148160A1 (en) Landmark localization for facial imagery
JP5468332B2 (en) Image feature point extraction method
US20080304699A1 (en) Face feature point detection apparatus and method of the same
Saito et al. People detection and tracking from fish-eye image based on probabilistic appearance model
KR101844328B1 (en) Occlusion and rotation invariant object recognition system and method in factory automation
US20180191951A1 (en) Imaging apparatus and imaging condition setting method and program
CN103607558A (en) Video monitoring system, target matching method and apparatus thereof
Nandhini et al. SIFT algorithm-based Object detection and tracking in the video image
Mohedano et al. Robust 3d people tracking and positioning system in a semi-overlapped multi-camera environment
KR20150071920A (en) Apparatus and method for counting person number using face identification
Farazi et al. Real-time visual tracking and identification for a team of homogeneous humanoid robots
US11070719B2 (en) Image capture assist device and image capture assist method
Martins et al. Real-time generic ball recognition in RoboCup domain
CN115115857A (en) Image matching method and device and computer equipment
WO2021140844A1 (en) Human body detection device and human body detection method
Matilainen et al. Finger tracking for gestural interaction in mobile devices
KR101725685B1 (en) Method and apparatus for detecting localization of mobile robot by ceiling outline detection
JP4812743B2 (en) Face recognition device, face recognition method, face recognition program, and recording medium recording the program
KR20160090649A (en) Device and method for detecting/tracking low-body part

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant