KR20090092906A - Realization of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image - Google Patents

Realization of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image

Info

Publication number
KR20090092906A
KR20090092906A KR1020080018134A KR20080018134A KR20090092906A KR 20090092906 A KR20090092906 A KR 20090092906A KR 1020080018134 A KR1020080018134 A KR 1020080018134A KR 20080018134 A KR20080018134 A KR 20080018134A KR 20090092906 A KR20090092906 A KR 20090092906A
Authority
KR
South Korea
Prior art keywords
segment
edge
segments
ellipse
circular object
Prior art date
Application number
KR1020080018134A
Other languages
Korean (ko)
Other versions
KR100935236B1 (en
Inventor
한헌수
한영준
한광수
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020080018134A priority Critical patent/KR100935236B1/en
Publication of KR20090092906A publication Critical patent/KR20090092906A/en
Application granted granted Critical
Publication of KR100935236B1 publication Critical patent/KR100935236B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

A method for realizing a real-time automatic circular object detecting system by using a line segment-based RHT of a camera image is provided to reduce the repetitive performance time required for the oval detection by introducing an MPM(Merging Probability Map). To obtain a edge line from an image, the edge detection and thinning process are performed(110,120). An edge is separated into edge line segments(130). Segments which are not yet separated are separated into edge line segments. An MPM is defined. Through the MPM, it is determined whether to perform the merging of the edge line segments(140). An RHT is applied to the merged line segments. By using the RHT, the whole circular object within an input image is accurately detected(150).

Description

카메라 영상의 선분 세그먼트 기반 임의 허프변환을 이용한 실시간 자동 원형물체 검출 시스템의 구현{Realization of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image}Implementation of real time automatic system to detect circular object using line segment based randomized hough transform in camera image}

본 발명은 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출 시스템의 구현하는 것이다.The present invention is to implement a real-time automatic circular object detection system using a segmented segment based randomized hough transform method of a camera image.

영상에서 타원검출 기법들은 대부분 1962년 Hough가 제안한 Hough Transform(HT)에 기초하고 있다. 그 중 가장 최적화된 HT의 하나인 Randomized Hough Transform(RHT)은 Lei Xu에 의해 제안되었으며, RHT는 타원 검출을 위해 두 과정으로 나누어 수행한다. 먼저 임의의 세 점의 중점과 접선의 중점으로 타원의 중심점을 추정하고 간소화된 타원 방정식으로부터 나머지 세 개의 변수를 결정하는 방법을 사용하고 있다. 기존의 HT에서 타원 검출을 위해 사용되는 5차원 공간을 타원의 원점에 해당하는 2차원 공간과 나머지 변수들에 해당하는 3차원 공간으로 나눔으로써 저장 공간을 많이 감소시켰다. 그리고 검출 하고자 하는 대상 화소를 선택할 때 임의의 화소를 선택하는 방법을 사용하여 계산 시간을 상당히 줄일 수 있었다. 하지만 영상에서 타원을 결정하기 위해 세 개의 에지 픽셀을 임의로 선택하기 때문에 타원을 잘못 찾을 수 있고, 전체 화소 수에 비례하는 수행시간을 가지며 타원의 개수를 정확하게 추정하지 못하는 문제점이 있다.Most of the elliptic detection techniques in the image are based on the Hough Transform (HT) proposed by Hough in 1962. One of the most optimized HTs, Randomized Hough Transform (RHT), was proposed by Lei Xu, and RHT is performed in two processes for ellipse detection. First, we use the method of estimating the center point of the ellipse with the midpoint of three arbitrary points and the midpoint of the tangent and determining the remaining three variables from the simplified elliptic equation. The storage space has been greatly reduced by dividing the 5D space used for elliptic detection in the existing HT into a 2D space corresponding to the origin of the ellipse and a 3D space corresponding to the remaining variables. In addition, when the target pixel to be detected is selected, a calculation time can be significantly reduced by using a method of selecting an arbitrary pixel. However, since three edge pixels are arbitrarily selected to determine an ellipse in an image, an ellipse may be found incorrectly, have an execution time proportional to the total number of pixels, and may not accurately estimate the number of ellipses.

본 발명은 영상의 에지를 단일 선분 세그먼트로 분리하고 같은 타원에 속하는 선분 세그먼트 간의 병합을 통해 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출 시스템을 구현하는 데 있다.The present invention is to implement a real-time automatic circular object detection system using the Randomized Hough Transform method by separating the edge of the image into a single segment segment and merging between segment segments belonging to the same ellipse.

본 발명은 상술한 목적을 달성하기 위한 카메라 영상을 이용하여 자동으로 원형물체를 찾는 방법에는, (a) 카메라로부터 획득된 영상으로부터 에지 선분을 얻기 위해 에지 검출과 세선화(Thinning) 과정으로 이어지는 전처리 단계; (b) 하나의 타원에만 귀속되고 한쪽 방향성만 갖는 연속된 화소들의 집합인 에지 선분 세그먼트로 분리하는 단계; (c)다른 타원에 속하지만 분기점이 존재하지 않아 아직 분리되지 않은 세그먼트들은 코너 패턴을 이용하여 에지 선분 세그먼트로 분리하는 단계; (d)분리된 선분 세그먼트들을 하나의 타원에 속하는 선분 세그먼트끼리 병합하기 위하여 병합 가능도(Merging Probability Map,MPM)를 정의하여 에지 선분 세그먼트 사이의 병합 여부를 판단하는 단계; (e)병합된 선분 세그먼트에 RHT를 적용하여 입력 영상 내의 전체 원형 물체의 정확하게 검출하는 단계;를 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법이 있다.According to the present invention, a method for automatically finding a circular object using a camera image for achieving the above object includes: (a) preprocessing leading to edge detection and thinning to obtain an edge segment from an image obtained from a camera; step; (b) dividing into edge segment segments, which are sets of contiguous pixels that belong to only one ellipse and have only one orientation; (c) separating the segments belonging to another ellipse but not yet splitting into edge segment segments using a corner pattern; (d) determining merging probability maps (MPMs) to merge the segment segment segments belonging to one ellipse to determine merging between edge segment segments; There is a method of real-time automatic circular object detection using the segmented segment-based Randomized Hough Transform method of the camera image, comprising: (e) applying RHT to the merged segment segment to accurately detect the entire circular object in the input image.

상기 (a) 단계는 선분 세그먼트를 얻기 위해 카메라로부터 획득된 입력영상에 Canny Edge Filter을 적용하여 에지 성분을 얻고 세선화 과정을 수행하는 기법을 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법이다.In the step (a), a segment segment based randomized hough transform method of a camera image including a technique of applying an edge component and performing a thinning process by applying a canny edge filter to an input image obtained from a camera to obtain a segment segment It is a method of real-time automatic circular object detection.

(b)단계는 하나의 타원에만 귀속되고 한쪽 방향성만 갖는 연속된 화소들의 집합인 에지 선분 세그먼트를 분리하기 위해 분기점을 이용한 라벨링 기법; 8방향 이웃 화소들에 따라 일반 에지점, 분기점, 그리고 끝점을 이용한 레이블링 기법;를 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법이다.Step (b) includes a labeling technique using branch points to separate edge segment segments, which are a set of consecutive pixels belonging to only one ellipse and having only one direction; It is a method of real-time automatic circular object detection using a segmented segment based randomized hough transform method of a camera image including a general edge point, a branch point, and an end point according to 8-direction neighboring pixels.

(c)단계는 다른 타원에 속하지만 분리되지 않은 에지 선분 세그먼트들을 분리하기 위해 미리 코너점을 차분체인코드로 패턴하여 저장하고 각 선분 에지 세그먼트 별로 적용하여 코너점을 검출하는 방법을 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법이다.Step (c) is a camera image including a method of detecting corner points by patterning and storing corner points in a differential chain code in advance to separate edge segment segments belonging to another ellipse but not separated. Real-time automatic circular object detection using the segmented based randomized hough transform method of.

상기 (d)단계는 다른 타원에 속하지만 분리되지 않은 에지 선분 세그먼트들을 분리하여 타원 검출을 더욱 효과적으로 검출하기 위해 병합 가능도(Merging Probability Map, MPM)를 기초하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법이다.In step (d), segmented segment-based randomized hough transform of a camera image based on merging probability map (MPM) to detect elliptic detection more effectively by separating edge segment segments belonging to other ellipses but not separated. It is a method of real-time automatic circular object detection using the method.

(e)단계는 두 선분 세그먼트와 추정 타원 사이의 유사도를 수학식 2처럼 타원정합비(Ellipse Matching Ratio, EMR)으로 측정하여 두 세그먼트의 병합을 판단하여 원형물체의 크기나 개수를 추정하는 기법을 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법이다.Step (e) is a method of estimating the size or number of circular objects by determining the merging of two segments by measuring the similarity between two line segments and the estimated ellipse using an ellipse matching ratio (EMR) as shown in Equation 2. It is a method for real-time automatic circular object detection using a segmented segment-based randomized hough transform method of a camera image.

본 발명은 영상에서 타원을 검출하기 위해, 연속된 에지점의 모임을 하나의 선분 세그먼트로 정의하여 전체 에지를 선분 세그먼트 단위로 분할한다. 선분 세그먼트 사이의 RHT을 이용한 타원 추정으로 세그먼트간의 병합을 통해 하나의 타원을 이루는 그룹을 결정한다. 이로서 영상에서 정확한 타원을 검출할 수 있으며 MPM을 도입함으로써 타원 검출에 필요한 반복 수행시간을 크게 줄일 수 있다.In order to detect an ellipse in an image, the present invention defines a collection of continuous edge points as one line segment and divides the entire edge into line segment segments. An ellipse estimation using the RHT between the segment segments determines the group forming one ellipse by merging the segments. As a result, an accurate ellipse can be detected in an image, and the introduction of MPM can greatly reduce the repetitive execution time required for ellipse detection.

발명의 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출 시스템의 실시예를 보여준다.An embodiment of a real-time automatic circular object detection system using a segmented segment based randomized hough transform method of a camera image of the present invention is shown.

본 발명에 따른 카메라 영상에서 원형물체 검출을 위한 선분 세그먼트 기반 Randomized Hough Transform 이용한 실시간 자동 원형물체 검출 시스템은 (a) 카메라로부터 획득된 영상으로부터 에지 선분을 얻기 위해 에지 검출과 세선화(Thinning)하는 전처리 단계; (b) 하나의 타원에만 귀속되고 한쪽 방향성만 갖는 연속된 화소들의 집합인 에지 선분 세그먼트로 분리하는 단계; (c)다른 타원에 속하지만 분기점이 존재하지 않아 아직 분리되지 않은 세그먼트들은 코너 패턴을 이용하여 에지 선분 세그먼트로 분리하는 단계; (d)분리된 선분 세그먼트들을 하나의 타원에 속하는 선분 세그먼트끼리 병합하기 위해 병합 가능도(Merging Probability Map,MPM)를 정의하여 에지 선분 세그먼트 사이의 병합 여부를 판단하는 단계; (e)병합된 선분 세그먼트에 RHT를 적용하여 입력 영상 내의 전체 원형 물체의 정확하게 검출하는 단계;를 포함한다. 도 1은 발명의 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출 시스템의 구성도의 실시예를 보여준다.Real-time automatic circular object detection system using random segmented Hough Transform based on segment segment for detecting circular object in camera image according to the present invention is (a) preprocessing for edge detection and thinning to obtain edge segment from image acquired from camera step; (b) dividing into edge segment segments, which are sets of contiguous pixels that belong to only one ellipse and have only one orientation; (c) separating the segments belonging to another ellipse but not yet splitting into edge segment segments using a corner pattern; (d) defining merging probability maps (MPMs) to merge the segment segment segments belonging to one ellipse to determine merging between edge segment segments; (e) applying RHT to the merged segment segments to accurately detect the entire circular object in the input image. 1 shows an embodiment of a schematic diagram of a real-time automatic circular object detection system using a segmented segment-based Randomized Hough Transform method of a camera image of the present invention.

상기 (a)단계의 에지 검출기로는 세선화 작업에 유리한 Canny 에지 필터를 사용한다. 도 3의 (b)는 입력 영상(도 2의 (a))을 Canny 에지 필터로 에지를 검출한 결과를 보여준다. 이와 같이 얻어진 에지 영상에서 선분 세그먼트를 분리하기 위해 세선화를 수행한다. 도 2의 (c)는 Canny 에지 검출기를 통과한 도 2의 (b)의 일부를 확대한 그림으로 타원의 에지를 결정하는데 방해가 될 수 있는 불필요한 화소를 보여준다.As the edge detector of step (a), a Canny edge filter, which is advantageous for thinning, is used. 3B illustrates a result of detecting edges of the input image (FIG. 2A) using a Canny edge filter. Thinning is performed to separate segment segments from the edge image thus obtained. FIG. 2 (c) is an enlarged view of a portion of FIG. 2 (b) passing through the Canny edge detector and shows unnecessary pixels that may interfere with determining an edge of an ellipse.

상기 (b)단계에서는 하나의 타원에만 귀속되고 한쪽 방향성만 갖는 연속된 화소들의 집합인 에지 선분 세그먼트를 분리하기 위해 도 3처럼 분기점을 이용한 라벨링 기법을 적용한다. 일반적인 라벨링 기법은 연결된 점들을 하나의 라벨로 묶기 때문에 약간의 변형이 필요하다. 일단 관심 에지점에서 8방향 이웃 화소들을 검사한다. 이 8 방향 화소 중 도 4의 (a)처럼 두 개의 에지점이 존재하면 일반 에지점, 그림 도 4의 (b)같이 3개 이상의 에지점이 존재하면 분기점으로 도 4의 (c)같이 하나의 에지점이 존재하면 끝점으로 세 가지 패턴을 정의한다. 90도, 180도, 270도씩 회전된 모든 경우도 각 패턴에 속하게 된다. 기본적인 방법은 에지 영상의 좌 상단부터 회선하며 에지점을 찾는다. 일반 에지점이라면 한쪽 방향으로 진행하여 분기점이나 끝점이 나타날 때까지 번호를 할당하며 조사한다. 결국 분기점이나 끝점을 만나고 현재 방향의 라벨링을 멈춘다. 그리고 다시 처음 찾은 일반 에지점으로 돌아가 같은 방법으로 반대 방향으로의 라벨링을 진행하여 하나의 세그먼트를 결정하게 된다. 만약 처음 찾은 에지점이 일반 에지점이 아닌 분기점이면 여러 방향 중 임의의 방향으로 라벨링을 진행하고 끝점이라면 하나의 방향만 존재하므로 그 방향으로 라벨링을 진행하여 다른 분기점이나 끝점을 만났을 경우 라벨링을 멈추고 하나의 세그먼트를 결정하게 된다. 도 4의 (b)는 도 4의 (a)의 에지 영상으로부터 분기점을 이용한 라벨링의 실시한 예를 보여준다. In step (b), a labeling method using branch points is applied to separate edge segment segments, which are sets of continuous pixels belonging to only one ellipse and having only one direction. The usual labeling technique requires some modification because the connected points are grouped together into one label. The eight direction neighboring pixels are examined once at the edge point of interest. Of these eight-direction pixels, if two edge points exist as shown in (a) of FIG. 4, a general edge point exists, and if three or more edge points exist as shown in (b) of FIG. 4, one edge point as shown in (c) of FIG. If present, three patterns are defined as endpoints. All cases rotated by 90, 180, or 270 degrees also belong to each pattern. The basic method finds the edge point by connecting the upper left corner of the edge image. If it is a normal edge point, proceed in one direction and assign it a number until the branch or endpoint appears. Eventually, it encounters a branch or end point and stops labeling in the current direction. Then, we go back to the normal edge point we found first and label in the opposite direction in the same way to determine one segment. If the first edge point found is a branching point instead of a general edge point, the labeling proceeds in any of several directions, and if there is an end point, only one direction exists, so if the labeling meets another branching point or end point, the labeling stops and Will be determined. 4B illustrates an example of labeling using branch points from the edge image of FIG. 4A.

하지만 라벨링만을 이용하여 선분 세그먼트를 분할하는 데는 도 5의 실시예처럼 한계가 있다. 도 5의 (a)의 윤곽선 영상을 라벨링만을 적용해서 나온 결과가 도 5의 (b)에 나타난다. 도 5의 (b)의 3번 선분 세그먼트(510)는 두 타원이 겹쳐진 경우인데 불구하고 하나의 선분 세그먼트로 분할되었다. 이 선분 세그먼트들은 도 5의 (c)의 코너점(520)을 중심으로 두 개의 선분 세그먼트로 나누어야 완벽한 분할이 이루어 졌다고 할 수 있다. However, segmentation of segment segments using only labeling has limitations as in the embodiment of FIG. 5. The result of applying only the labeling of the contour image of FIG. 5A is shown in FIG. 5B. The segment 3 segment 510 of FIG. 5B is divided into one segment segment even though two ellipses overlap. These segment segments should be divided into two segment segments around the corner point 520 of FIG.

따라서 상기 (c) 단계에서 다른 타원에 속하지만 분리되지 않은 에지 선분 세그먼트들을 분리하기 위해 미리 코너점을 차분체인코드로 패턴화하여 저장하고 각 선분 에지 세그먼트 별로 적용하여 도 4의 (d)와 같이 코너점을 검출한다. 먼저 화소 단위로 저장된 선분 세그먼트를 차분체인코드화 한다. 차분체인코드는 도 6과 같이 현재 화소와 이전화소로 만들어진 벡터(A)와 다음화소와 만들어진 벡터(B) 사이의 각도 차이를 부호화하여 나타낸다. 차분체인코드는 도 6에서 A 벡터(610)를 기준으로 B 벡터(620)와의 각도가 반 시계 방향일 때 양의 값을 시계 방향일 때 음의 값을 갖는다. 벡터를 정의할 때 8 방향의 이웃화소만 고려하기 때문에 벡터의 방향이 8개만 존재한다. 그리고 A 벡터(610)와 B 벡터(620) 사이에 각도는 90도가 될 수 없기 때문에 -3부터 3까지 일곱 개의 부호만 존재한다. 이를 이용하여 도 7에 주어진 코너패턴을 정의한다. 부호화된 선분 세그먼트의 처음부터 끝까지 진행하면서 코너 패턴과의 정합과정을 거쳐 코너점(Corner)을 검출한다. 차분체인코드를 사용하면 회전에 무관한 체인코드를 생성할 수 있으므로 코너패턴의 개수가 일반 체인 코드에 비해 1/4개만 필요하여 빠르게 검출할 수 있다. 도 8의 오른쪽 확대한 부분에서 코너 패턴 검출의 실시예를 들어보면 선분 세그먼트의 차분체인코드01-10001100-110-1의 왼쪽부터 시작해서 세 개의 코드와 도 8의 코너 패턴들과 비교하며 오른쪽까지 진행된다. 선분 세그먼트의 체인코드 중앙에 있는 110이 코너 패턴 중 존재하므로 선분 세그먼트는 이 화소를 중심으로 두 개의 선분 세그먼트로 분리되어 정확한 선분 세그먼트로 표현된다.Therefore, in order to separate the edge segment segments belonging to another ellipse but not separated in step (c), the corner points are patterned and stored in a differential chain code in advance and applied to each segment edge segment as shown in FIG. Detect corner points. First, the line segment segments stored in pixel units are differentially encoded. The differential chain code is represented by encoding an angle difference between a vector A made of the current pixel and the previous pixel and a vector B made of the next pixel as shown in FIG. The differential chain code has a positive value when the angle with the B vector 620 is counterclockwise based on the A vector 610 in FIG. When defining a vector, only eight neighboring pixels are considered, so there are only eight vectors. Since the angle between the A vector 610 and the B vector 620 cannot be 90 degrees, there are only seven signs from -3 to 3. Using this, the corner pattern given in FIG. 7 is defined. The corner point is detected through the matching process with the corner pattern while proceeding from the beginning to the end of the encoded line segment. By using differential chain code, chain code that is not rotated can be generated, so the number of corner patterns is only 1/4, which is faster than general chain cord. An example of corner pattern detection in the right enlarged part of FIG. 8 starts from the left side of the differential chain code 01-10001100-110-1 of the segment segment and compares the three codes with the corner patterns of FIG. 8 to the right side. Proceed. Since 110 in the center of the chain code of the line segment segment exists among the corner patterns, the line segment segment is divided into two line segment segments around the pixel and is represented as an accurate segment segment.

상기 (d)단계에서 다른 타원에 속하지만 분리되지 않은 에지 선분 세그먼트들을 분리하여 RHT를 이용한 타원 검출을 더욱 효과적으로 검출하기 병합 가능도(Merging Probability Map, MPM)을 정의한다. 인접한 선분 세그먼트끼리 RHT를 적용하여 불필요한 연산량을 줄이고 정확한 타원을 근사하기 위해 MPM을 구성한다. MPM을 구성하는 방법은 선분 세그먼트의 끝점에서 일정 거리 안에 있는 선분 세그먼트들을 병합될 가능성이 있는 선분 세그먼트로 생각하고 그 항목들을 저장해 놓는 것이다. 예를 들어 도 9에서 선분 세그먼트 (910)의 MPM을 구성한다고 하면 도 9의 오른쪽 확대 영상에서 선분 세그먼트 (910)의 한 끝점의 일정 거리 안에 포함되는 선분 세그먼트 (920)와 (930)이 존재함을 알 수 있다. 이러한 방법으로 반대쪽 끝점에서도 인접 선분 세그먼트를 조사하면 라인세그먼트 (910)의 MPM을 선분 세그먼트 (920), (930), (950), (960)로 구성할 수 있다.In step (d), merging probability map (MPM) is defined to more effectively detect ellipse detection using RHT by separating edge segment segments belonging to other ellipses but not separated. Adjacent line segments are applied to RHT to form MPM to reduce unnecessary computation and approximate an accurate ellipse. The way to construct the MPM is to consider the segment segments within a certain distance from the end point of the segment segment as possible segment segments and store the items. For example, if the MPM of the segment segment 910 is configured in FIG. 9, the segment segments 920 and 930 included in a predetermined distance of one end point of the segment segment 910 exist in the enlarged image of the right side of FIG. 9. It can be seen. In this way, the MPM of the line segment 910 may be configured as the segment segments 920, 930, 950, and 960 by examining adjacent segment segments at the opposite end points.

상기 (e)단계에서 영상에서 RHT 방법을 이용하여 원형물체를 검출하기 위해 선분 세그먼트 위에 세 점(X1 = (x1,y1), X2 = (x2,y2), X3 = (x3,y3) )을 수학식 1에 대입하여 (A, H, B)값을 추정한다. In step (e), three points (X1 = (x1, y1), X2 = (x2, y2), X3 = (x3, y3) are placed on the segment segment to detect the circular object in the image using the RHT method. By substituting Equation 1, the value of (A, H, B) is estimated.

하지만 구해진 (A,H,B)값이 모두 타원의 계수가 되지는 않는다. 수학식 1에 만족하는 경우의 값들만 3차원 공간에 투표되고 가장 많이 투표된 (A,H,B)값으로 타원을 결정한다. 다음은 상기 (d)단계에서 설명되었듯이 완벽히 분할된 선분 세그먼트를 같은 타원에 존재하는 선분 세그먼트끼리 병합하는 작업이 설명 된다. MPM을 이용한 두 선분들 사이의 병합은 도 10에 설명된다. 먼저 분할된 선분 세그먼트 중 하나의 선분 세그먼트를 선택한다. 라인세그먼트의 MPM에 속하는 두 선분 세그먼트를 하나의 선분 세그먼트처럼 상기에서 설명한 것처럼 RHT를 적용하여 타원을 추정한다. 두 선분 세그먼트와 추정 타원 사이의 관계를 수학식 2처럼 타원정합비(Ellipse Matching Ratio, EMR)로 정의한다. 수학식 2에서 Nw는 두 선분 세그먼트에 속하는 모든 화소의 개수이고 Nc는 선분 세그먼트에 속하는 모든 화소 중 추정 타원과 근접한 화소의 개수이다.However, not all of the obtained (A, H, B) values are the elliptic coefficients. Only the values in case of satisfying Equation 1 determine the ellipse with the most voted (A, H, B) value in the three-dimensional space. Next, as described in step (d), the operation of merging the perfectly segmented segment segments between the segment segments existing in the same ellipse will be described. Merging between two line segments using MPM is described in FIG. 10. First, select one segment segment among the divided segment segments. Two line segments belonging to the MPM of the line segment are estimated as ellipses by applying RHT as described above as one line segment. The relationship between the two segment segments and the estimated ellipse is defined as an Ellipse Matching Ratio (EMR) as shown in Equation 2. In Equation 2, Nw is the number of all pixels belonging to the two segment segments, and Nc is the number of pixels close to the estimated ellipse among all the pixels belonging to the segment segment.

EMR 값에 의해 두 세그먼트의 병합 여부를 판단하며 같은 두 선분 세그먼트로 추정된 타원의 EMR값은 매우 높다. 실시 예에 따라 임의의 두 선분 세그먼트의 EMR이 0.95를 넘는다면 두 세그먼트를 병합하고 각각 나누어져 있던 MPM들을 하나로 통합하게 된다. 높은 EMR 값을 갖는 그룹의 선분 세그먼트들은 영상에서 단일 원형물체에 속하는 타원의 선분이며, 타원의 방정식에 따라 원형물체의 크기나 개수를 측정할 수 있다.     It is determined whether the two segments are merged by the EMR value, and the EMR value of the ellipse estimated by the same two line segment is very high. According to an embodiment, if the EMR of any two segment segments exceeds 0.95, the two segments are merged and the divided MPMs are merged into one. The segment segments of a group having a high EMR value are ellipse segments belonging to a single circular object in the image, and the size or number of the circular objects can be measured according to the elliptic equation.

Claims (6)

카메라 영상을 이용하여 자동으로 원형물체를 찾는 방법에, (a) 카메라로부터 획득된 영상으로부터 에지 선분을 얻기 위해 에지 검출과 세선화(Thinning) 과정으로 이어지는 전처리 단계; (b) 하나의 타원에만 귀속되고 한쪽 방향성만 갖는 연속된 화소들의 집합인 에지 선분 세그먼트로 분리하는 단계; (c)다른 타원에 속하지만 분기점이 존재하지 않아 아직 분리되지 않은 세그먼트들은 코너 패턴을 이용하여 에지 선분 세그먼트로 분리하는 단계; (d)분리된 선분 세그먼트들을 하나의 타원에 속하는 선분 세그먼트끼리 병합하기 위하여 병합 가능도(Merging Probability Map,MPM)를 정의하여 에지 선분 세그먼트 사이의 병합 여부를 판단하는 단계; (e)병합된 선분 세그먼트에 RHT를 적용하여 입력 영상 내의 전체 원형 물체의 정확하게 검출하는 단계;를 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법.A method for automatically finding a circular object using a camera image, the method comprising: (a) a preprocessing step that leads to edge detection and thinning to obtain edge segments from an image obtained from a camera; (b) dividing into edge segment segments, which are sets of contiguous pixels that belong to only one ellipse and have only one orientation; (c) separating the segments belonging to another ellipse but not yet splitting into edge segment segments using a corner pattern; (d) determining merging probability maps (MPMs) to merge the segment segment segments belonging to one ellipse to determine merging between edge segment segments; (e) applying the RHT to the merged segment segment to accurately detect the entire circular object in the input image; the method of real-time automatic circular object detection using the segmented segment-based Randomized Hough Transform method of the camera image. 제1항에 있어서, 상기 (a) 단계는 선분 세그먼트를 얻기 위해 카메라로부터 획득된 입력영상에 Canny Edge Filter을 적용하여 에지 성분을 얻고 세선화 과정을 수행하는 기법을 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법.The method of claim 1, wherein the step (a) is based on the segment segment of the camera image including a technique of applying a Canny Edge Filter to the input image obtained from the camera to obtain an edge component and performing a thinning process to obtain a segment segment. Real-time automatic circular object detection using Randomized Hough Transform method. 제1항에 있어서 상기 (b)단계는 하나의 타원에만 귀속되고 한쪽 방향성만 갖는 연속된 화소들의 집합인 에지 선분 세그먼트를 분리하기 위해 분기점을 이용한 라벨링 기법; 8방향 이웃 화소들에 따라 일반 에지점, 분기점, 그리고 끝점을 이용한 레이블링 기법;를 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법.2. The method of claim 1, wherein step (b) comprises: a labeling technique using branch points to separate edge segment segments, which are a set of consecutive pixels belonging to only one ellipse and having only one direction; Real-time automatic circular object detection using a segmented segment-based Randomized Hough Transform method of a camera image including a general edge point, a branch point, and an end point according to 8-direction neighboring pixels. 제1항에서, 상기 (c)단계는 다른 타원에 속하지만 분리되지 않은 에지 선분 세그먼트들을 분리하기 위해 미리 코너점을 차분체인코드로 패턴하여 저장하고 각 선분 에지 세그먼트 별로 적용하여 코너점을 검출하는 방법을 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법.The method of claim 1, wherein the step (c) is performed by patterning and storing corner points in a differential chain code to separate edge segment segments belonging to other ellipses but not separated, and detecting corner points by applying each segment edge segment. A method of real-time automatic circular object detection using a segmented segment based randomized hough transform method of a camera image including a method. 제1항에서, 상기 (d)단계는 다른 타원에 속하지만 분리되지 않은 에지 선분 세그먼트들을 분리하여 타원 검출을 더욱 효과적으로 검출하기 위해 병합 가능도(Merging Probability Map, MPM)를 기초하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법. The segment of a camera image based on a merging probability map (MPM) in order to more effectively detect an ellipse detection by separating edge segment segments belonging to another ellipse but not separated. Real-time Automatic Circular Object Detection using Segment-based Randomized Hough Transform Method. 제1항에서 상기 (e)단계는 두 선분 세그먼트와 추정 타원 사이의 유사도를 수학식 2처럼 타원정합비(Ellipse Matching Ratio, EMR)으로 측정하여 두 세그먼트의 병합을 판단하여 원형물체의 크기나 개수를 추정하는 기법을 포함하는 카메라 영상의 선분 세그먼트 기반 Randomized Hough Transform 방법을 이용한 실시간 자동 원형물체 검출의 방법.The method of claim 1, wherein the step (e) measures the similarity between the two segment segments and the estimated ellipse by using an ellipse matching ratio (EMR) to determine the merging of the two segments to determine the size or number of circular objects. A method of real-time automatic circular object detection using a segmented segment-based randomized hough transform method of a camera image including a technique for estimating a.
KR1020080018134A 2008-02-28 2008-02-28 Method of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image KR100935236B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080018134A KR100935236B1 (en) 2008-02-28 2008-02-28 Method of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080018134A KR100935236B1 (en) 2008-02-28 2008-02-28 Method of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image

Publications (2)

Publication Number Publication Date
KR20090092906A true KR20090092906A (en) 2009-09-02
KR100935236B1 KR100935236B1 (en) 2010-01-06

Family

ID=41301442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080018134A KR100935236B1 (en) 2008-02-28 2008-02-28 Method of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image

Country Status (1)

Country Link
KR (1) KR100935236B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574434A (en) * 2013-10-24 2015-04-29 株式会社理光 Object detection method and device
CN113538556A (en) * 2020-04-15 2021-10-22 深圳市光鉴科技有限公司 Volume measuring device based on IR chart
CN116823814A (en) * 2023-08-28 2023-09-29 山东巨鑫伟业电气设备有限公司 Distribution equipment welding production defect detection system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183739A (en) * 2000-12-14 2002-06-28 Tsubakimoto Chain Co Ellipse detection method and ellipse detection device
JP3460824B2 (en) * 2001-01-18 2003-10-27 川崎重工業株式会社 Shape recognition method and device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574434A (en) * 2013-10-24 2015-04-29 株式会社理光 Object detection method and device
CN113538556A (en) * 2020-04-15 2021-10-22 深圳市光鉴科技有限公司 Volume measuring device based on IR chart
CN113538556B (en) * 2020-04-15 2023-09-12 深圳市光鉴科技有限公司 Volume measuring device based on IR diagram
CN116823814A (en) * 2023-08-28 2023-09-29 山东巨鑫伟业电气设备有限公司 Distribution equipment welding production defect detection system
CN116823814B (en) * 2023-08-28 2023-11-24 山东巨鑫伟业电气设备有限公司 Distribution equipment welding production defect detection system

Also Published As

Publication number Publication date
KR100935236B1 (en) 2010-01-06

Similar Documents

Publication Publication Date Title
CN109740469B (en) Lane line detection method, lane line detection device, computer device, and storage medium
US8971637B1 (en) Method and system for identifying an edge in an image
CN106372642B (en) Ellipse rapid detection method based on contour curve segmentation arc merging and combining
Wang et al. Clump splitting via bottleneck detection and shape classification
JP5538868B2 (en) Image processing apparatus, image processing method and program
CN109711321B (en) Structure-adaptive wide baseline image view angle invariant linear feature matching method
CN106340010B (en) A kind of angular-point detection method based on second order profile difference
US10013619B2 (en) Method and device for detecting elliptical structures in an image
Peña et al. Disparity estimation by simultaneous edge drawing
US11042986B2 (en) Method for thinning and connection in linear object extraction from an image
CN111382658B (en) Road traffic sign detection method in natural environment based on image gray gradient consistency
US8396297B2 (en) Supervised edge detection using fractal signatures
KR20090092906A (en) Realization of realtime automatic system to detect circular object using line segment based randomized hough transform in camera image
Yammine et al. Novel similarity-invariant line descriptor and matching algorithm for global motion estimation
US6963664B2 (en) Segmentation of digital images
Kallasi et al. Computer vision in underwater environments: A multiscale graph segmentation approach
CN113435801A (en) Method, device and equipment for evaluating potential safety hazard of power transmission line based on artificial intelligence
Xia et al. A robust recognition algorithm for encoded targets in close-range photogrammetry
CN104574396B (en) Straight line detection method and system
Witt et al. Sparse stereo by edge-based search using dynamic programming
JP4544891B2 (en) Image processing method and program for line extraction, line concentration image filter
CN112184742B (en) Method, device, equipment and computer readable medium for detecting graph common edge
Bergevin et al. Detection and characterization of junctions in a 2D image
Le et al. A robust and flexible license plate detection method
CN110858404B (en) Identification method and terminal based on regional offset

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131017

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140930

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee