KR101334794B1 - Flower recognition method and apparatus using feature extraction - Google Patents
Flower recognition method and apparatus using feature extraction Download PDFInfo
- Publication number
- KR101334794B1 KR101334794B1 KR1020120086628A KR20120086628A KR101334794B1 KR 101334794 B1 KR101334794 B1 KR 101334794B1 KR 1020120086628 A KR1020120086628 A KR 1020120086628A KR 20120086628 A KR20120086628 A KR 20120086628A KR 101334794 B1 KR101334794 B1 KR 101334794B1
- Authority
- KR
- South Korea
- Prior art keywords
- flower
- feature information
- area
- average
- extracting
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
Description
개시된 기술은 특징정보를 이용하는 꽃 인식 장치 및 방법에 관한 것으로, 보다 자세하지만 제한됨 없이는 영상장치에서 촬영한 영상을 입력받아 꽃을 정확하게 인식하는 방법 및 장치에 관한 것이다.The disclosed technology relates to an apparatus and method for recognizing flowers using feature information. More particularly, the present disclosure relates to a method and apparatus for accurately recognizing flowers by receiving an image captured by an imaging apparatus.
식물의 꽃이나 잎을 분석하여 해당하는 식물이 어떤 종류인지 인식하는 방법은 고전적인 식물분류학에서 연구되고 있는 분야이다. 즉, 식물의 꽃이나 잎에 따른 특징정보를 분석하여 해당하는 식물과 가장 유사한 식물을 찾아냄으로써 식물의 종류를 판별하고 있다.Analyzing the flower or leaf of a plant to recognize what kind of plant it is is a field studied in classical plant taxonomy. In other words, the type of plant is determined by analyzing the characteristic information according to the flower or leaf of the plant to find the most similar plant.
식물의 종류를 판별하는데 있어서, 종래의 기술들에서는 입력받은 영상을 그레이 영상으로 변환하고, 꽃의 윤곽선의 특징을 추출하는 방법을 이용한다. 이러한 방법은 영상이 가진 다양한 색상에 대한 특징을 이용하지 않고, 꽃의 윤곽선에 따른 모양 정보를 이용하는 것이므로 인식하려고 하는 식물과 유사한 다른 식물에 대한 오인식률이 높아져서 결과적으로 인식률이 떨어지는 문제점이 있었다.In determining the type of a plant, conventional techniques use a method of converting an input image into a gray image and extracting a feature of a flower outline. Since this method uses the shape information according to the contour of the flower without using the characteristics of various colors of the image, there is a problem that the recognition rate decreases as a result of the increase in the recognition rate for other plants similar to the plants to be recognized.
특징정보를 이용하여 식물을 판별하는 방법 및 장치에 대한 종래기술로는 한국 공개특허 제10-2009-0109727호 (발명의 명칭 : 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치) 및 한국 공개특허 제 10-2010-0076795호 (발명의 명칭 : 디지털 영상 처리에서 꽃을 인식하는 장치 및 방법)가 있다.As a conventional technique for a method and apparatus for discriminating a plant using feature information, Korean Patent Application Publication No. 10-2009-0109727 (Name of the Invention: Object Recognition Method and Apparatus Using Point of Interest Designation and Contour Image in Image) and Korean Patent Publication No. 10-2010-0076795 (name of the invention: an apparatus and method for recognizing flowers in digital image processing).
개시된 기술은 색상 및 모양에 대한 특징정보들을 이용하여 꽃을 정확하게 인식하는 장치 및 방법을 제공하는데 있다.The disclosed technology provides an apparatus and method for accurately recognizing flowers using feature information on color and shape.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 컴퓨터 또는 휴대용 단말기를 이용하여 꽃을 포함하는 영상을 입력받고, 영상에서 특징정보를 추출하여 꽃을 인식하는 방법에 있어서, 영상장치에서 꽃을 포함하는 영역을 영상으로 입력하는 단계, 꽃 영역을 검출하는 단계, 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 단계, 꽃 영역에서 꽃의 무게중심, 꽃의 윤곽선 및 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 구하고, 꽃의 모양에 대한 제 2 특징정보를 추출하는 단계, 기 저장된 8가지 색상값과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 단계, 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 3분할하여 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 제 1 영역, 제 2 영역 및 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 단계 및 제 1 특징정보, 제 2 특징정보, 제 3특징정보 및 제 4 특징정보를 이용하여 꽃 인식 후보 모델을 생성하는 단계를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법을 제공하는데 있다.In order to achieve the above technical problem, a first aspect of the disclosed technology is to receive an image including a flower using a computer or a portable terminal, extract feature information from the image, and recognize the flower. Inputting a region including the image as an image, detecting a flower region, extracting first feature information about color in the flower region, the center of gravity of the flower in the flower region, the outline of the flower, and the center of gravity of the flower Extracting the second feature information on the shape of the flower, and extracting the third feature information by applying Euclidean distance value between the eight pre-stored color values and the pixel color information of each pixel of the flower area. Step, dividing the distance from the center of gravity of the flower to the contour of the flower by dividing the distance from the center of gravity of the flower into the first area, the second area and the third area Extracting the fourth feature information for each color of the first region, the second region, and the third region, and flower recognition using the first feature information, the second feature information, the third feature information, and the fourth feature information. A method of generating a flower recognition candidate model using feature information including generating a candidate model is provided.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 컴퓨터 또는 휴대용 단말기를 이용하여 꽃을 포함하는 영상을 입력받고, 영상에서 특징정보를 추출하여 꽃을 인식하는 방법에 있어서, 영상장치에서 꽃을 포함하는 영역을 영상으로 입력받는 입력부, 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 제 1 특징정보 추출부, 꽃 영역에서 꽃의 무게중심, 꽃의 윤곽선 및 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 구하고, 꽃의 모양에 대한 제 2 특징정보를 추출하는 제 2 특징정보 추출부, 기 저장된 8가지 색상값 및 꽃 영역의 각 픽셀에 대한 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 제 3 특징정보 추출부, 꽃의 무게중심에서부터 꽃의 윤곽선까지의 거리를 3분할하여 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 제 1 영역, 상기 제 2 영역 및 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 제 4 특징정보 추출부 및 제 1 특징정보, 제 2 특징정보, 제 3 특징정보 및 제 4 특징정보를 이용하여 꽃에 대한 인식 후보 모델을 생성하는 후보 모델 생성부를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 장치를 제공하는데 있다.A second aspect of the disclosed technology to achieve the above technical problem is a method of receiving a flower including a flower using a computer or a portable terminal, and extracting feature information from the image to recognize the flower, An input unit for inputting a region to be included as an image, a first feature information extractor for extracting first feature information about color from a flower area, a flower center from a flower center, a flower outline, and a flower center from a flower area The second feature information extracting unit for extracting the distance to the second feature information about the shape of the flower, and applying the Euclidean distance value between the eight stored color values and the color information of each pixel of the flower area A third feature information extracting unit for extracting feature information, by dividing the distance from the center of the flower to the contour of the flower in three parts, the first region, A fourth feature information extracting unit, a first feature information, and a second feature information, each of which is divided into a second area and a third area, and extracts fourth feature information about colors of each of the first area, the second area, and the third area; The present invention provides a flower recognition candidate model generation apparatus using feature information including a candidate model generator for generating a recognition candidate model for a flower using third and fourth feature information.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technique may have effects that include the following advantages. It should be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, since the embodiments of the disclosed technology are not meant to include all such embodiments.
개시된 기술의 일 실시예에 따르면 꽃 영상의 형태학적 특징을 이용하여 특징정보를 추출함으로써, 유사한 꽃 및 다양한 꽃의 영상에 대한 인식성능을 높일 수 있는 효과를 제공한다. 또한, 전체 및 분할된 꽃 영역의 색상에 대한 특징과 모양정보를 이용함으로써 빛의 영향을 최소화하는 효과를 제공한다.According to an embodiment of the disclosed technology, by extracting feature information using morphological features of a flower image, it provides an effect of improving the recognition performance for similar flowers and images of various flowers. In addition, it provides an effect of minimizing the influence of light by using the feature and shape information on the color of the entire and segmented flower area.
도 1은 개시된 기술의 일 실시예에 따른 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법에 대한 순서도이다.
도 2는 개시된 기술의 다른 일 실시예에 따른 특징정보를 이용하는 꽃 인식 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에서 이용하는 8개의 기본색상을 나타내는 도면이다.
도 4는 개시된 기술의 일 실시예에서 꽃 모양에 대한 특징정보를 추출하는 도면이다.
도 5는 개시된 기술의 일 실시예에서 꽃을 3분할하는 과정을 나타내는 도면이다.
도 6은 개시된 기술의 꽃 영상 인식 성능을 나타내는 도면이다.1 is a flowchart of a method of generating a flower recognition candidate model using feature information according to an embodiment of the disclosed technology.
2 is a flowchart illustrating a flower recognition method using feature information according to another exemplary embodiment of the disclosed technology.
3 is a diagram illustrating eight basic colors used in an embodiment of the disclosed technology.
4 is a diagram for extracting feature information about a flower shape in an embodiment of the disclosed technology.
FIG. 5 is a diagram illustrating a process of dividing a flower into three pieces in one embodiment of the disclosed technology.
6 is a diagram illustrating flower image recognition performance of the disclosed technology.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the disclosed technology should be understood to include equivalents capable of realizing technical ideas.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first" and "second" are intended to distinguish one component from other components, and the scope of rights should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는" 과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions describing the relationship between the components, ie, between, and between, "between" or "neighboring to," and "directly neighboring to" should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "include" or "have" refer to features, numbers, steps, operations, components, parts, or parts thereof described. It is to be understood that the combination is intended to be present, but not to exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Each step may occur differently from the stated order unless the context clearly dictates the specific order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Terms such as those defined in the commonly used dictionaries should be construed to be consistent with the meanings in the context of the related art and should not be construed as having ideal or overly formal meanings unless expressly defined in this application. .
도 1은 개시된 기술의 일 실시예에 따른 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법에 대한 순서도이다. 도 1을 참조하면, 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법은 영상장치에서 영상을 입력하는 단계(110), 영상에서 꽃의 영역을 검출하는 단계(120), 꽃의 영역에서 제 1 특징정보를 추출하는 단계(130), 꽃의 영역에서 제 2 특징정보를 추출하는 단계(140), 꽃의 영역에서 제 3 특징정보를 추출하는 단계(150), 꽃의 영역에서 제 4 특징정보를 추출하는 단계(160) 및 꽃에 대한 인식 후보 모델을 생성하는 단계(170)를 포함한다. 이하에서는 각 단계별로 수행되는 기술적 특징에 대하여 상세하게 설명한다.1 is a flowchart of a method of generating a flower recognition candidate model using feature information according to an embodiment of the disclosed technology. Referring to FIG. 1, in the method of generating a flower recognition candidate model using feature information, inputting an image in an
110 단계에서는 영상장치에서 영상을 입력한다. 개시된 기술의 일실시예에서 영상장치라 함은 컴퓨터 또는 휴대용 단말기를 의미한다. 물론 꽃 영상의 촬영이 가능한 다른 전자 기기나 촬영 장치를 이용할 수 있다는 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.In
즉, 110 단계에서는 컴퓨터, 휴대용 단말기, 촬영이 가능한 전자 기기 또는 촬영 장치를 이용하여 영상을 입력한다. 그리고 입력하는 영상에는 개시된 기술이 이루고자하는 목적에 위배되지 아니하도록 꽃을 포함하는 것이 바람직하다. 예컨대 개시된 기술의 일 실시예에서 영상은 꽃을 포함하는 사진 또는 동영상일 수 있다.That is, in
120 단계에서는 상기 입력된 영상에서 꽃 영역을 검출한다. 꽃의 영역을 검출하는 방법으로는 예컨대, 꽃을 포함한 영상에서 Intellgent Scissors 알고리즘 또는 Watershed 알고리즘을 이용하는 것일 수 있다. Intellgent Scissors 및 Watershed는 종래의 영상검출 알고리즘이며, 이러한 영상검출 알고리즘을 이용하면 영상에서 꽃의 영역을 검출하는 것이 가능하다.In
130 단계에서는 영상이 포함하는 꽃의 영역 전체에서 색상에 대한 제 1 특징정보를 추출한다. 130 단계를 설명하기에 앞서 꽃의 영역 전체라고 함은 영상에서 꽃의 일부가 포함된 영역이 아닌 꽃 전체가 포함된 영역을 의미한다. 영상에서 영역은 영상 안에서 인식하고자 하는 꽃을 포함하는 특정한 범위이다. 따라서, 130 단계에서는 꽃 영역 전체에서 색상에 대한 제 1 특징정보를 추출한다.In
앞서 설명한 바와 같이 제 1 특징정보는 색상에 대한 특징정보이다. 즉, 제 1 특징정보는 RGB 또는 YCbCr의 평균값을 추출한 것이다. 여기에서 RGB의 평균값은 꽃 영역에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함한다. 그리고 YCbCr의 평균값은 꽃 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함한다. RGB의 평균값과 YCbCr의 평균값을 계산하는 과정에 대한 상세한 설명을 위하여 이하의 공식 (1)과 공식 (2)를 참조하여 각각 설명하면 다음과 같다.
As described above, the first feature information is feature information about a color. That is, the first feature information is obtained by extracting an average value of RGB or YCbCr. Here, the average value of RGB includes the average of red, average of green, and average of blue in the flower area. And the average value of YCbCr includes the average of Y, the average of Cb and the average of Cr in the flower area. For a detailed description of the process of calculating the average value of RGB and the average value of YCbCr, the following description will be given with reference to Equations (1) and (2) below.
AverageAverage ofof RedRed = = SumSum ofof RedRed / Of FlowerFlower pixelpixel
Average of Green = Sum of Green / Flower pixel (1) Average of Green = Sum of Green / Flower pixel (One)
AverageAverage
ofof
BlueBlue
= =
SumSum
ofof
BlueBlue
/ Of
FlowerFlower
pixelpixel
위의 공식 (1)을 참조하면 Red의 평균(Average of Red)은 꽃 영역의 전체 Red의 합(Sum of Red)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Red의 평균(Average of Red)을 구한 것임을 알 수 있다. 그리고 Green의 평균(Average of Green)은 꽃 영역의 전체 Green의 합(Sum of Green)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Green의 평균(Average of Green)을 구한 것이고, Blue의 평균(Average of Blue)은 Blue의 합(Sum of Blue)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Blue의 평균(Average of Blue)을 구한 것이다.
Referring to equation (1) above Red Average (Average of of Red is the sum of the total reds in the flower area ( Sum of Red is the total number of pixels in the flower area ( Flower Divide by pixel and average of Red ( Average of Red ) is obtained. And the average (Average of Green) is the Green's (Sum of Green) the sum of the total number of pixels in the area of the flower Green flower area (Flower The average of Green is obtained by dividing by pixel ) and the average of Blue ( Average of Blue) is the sum of the Blue (Sum of Blue is the total number of pixels in the flower area ( Flower Divide with pixel and average of Blue ( Average of Blue ).
AverageAverage ofof Y = Y = SumSum ofof Y / Y / FlowerFlower pixelpixel
AverageAverage ofof CbCb = = SumSum ofof CbCb / Of FlowerFlower pixelpixel (2) (2)
AverageAverage ofof CrCr = = SumSum ofof CrCr / Of FlowerFlower pixelpixel
한편, 위의 공식 (2)를 참조하면 Y의 평균(Average of Y)은 Y의 합(Sum of Y)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Y의 평균(Average of Y)을 구한 것임을 알 수 있다. 그리고 Cb의 평균(Average of Cb)은 Cb의 합(Sum of Cb)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Cb의 평균(Average of Cb)을 구한 것이고, Cr의 평균(Average of Cr)은 Cr의 합(Sum of Cr)을 꽃 영역의 전체 픽셀 수(Flower pixel)와 나누어 Cr의 평균(Average of Cr)을 구한 것이다.Meanwhile, referring to the above formula (2), the average of Y ( Average of Y) Y is the sum (Sum of of Y is the total number of pixels in the flower area ( Flower Divide by pixel and average of Y ( Average of Y ). And the average (Average of Cb of Cb ) is the sum of Cb ( Sum of Cb ) is the total number of pixels in the flower area ( Flower Divide by pixel and average of Cb ( Average of Cb ), and the average of Cr ( Average of Cr) is the sum of Cr (Sum of Cr ) is the total number of pixels in the flower area ( Flower pixel) and by dividing the average of Cr (Average of Cr ).
위와 같이 추출한 각 6개의 평균값들은 꽃 영역에 대한 특징정보로 이용한다. 기 공개된 종래 기술들의 경우에서는 위와 같이 다양한 색상에 대한 특징정보들을 이용하지 아니하고, 색상을 이용한 꽃의 판단 유무 및 영상이 포함하는 꽃의 모양에 대한 특징정보들만 이용하였으므로, 꽃의 인식률이 떨어지는 단점이 있었다. 그러나 개시된 기술에서는 모양에 대한 특징정보를 추출함과 동시에 색상에 대한 특징정보도 추출하여 추출한 모든 특징정보들을 이용하고 있으므로 높은 인식률을 제공하는 효과가 있다. Each of the six average values extracted as above is used as feature information about the flower area. In the case of the conventional technologies disclosed above, since the feature information for the various colors is not used as described above, only the feature information about the flower shape included in the image and the judgment of the flower using the color are used, so that the recognition rate of the flower is lowered. There was this. However, in the disclosed technology, all feature information extracted by extracting feature information about a shape and extracting feature information on a shape is used, thereby providing a high recognition rate.
140 단계에서는 꽃의 모양에 대한 제 2 특징정보를 추출한다. 모양에 대한 특징정보를 추출하기에 앞서, 140 단계에서는 꽃의 무게중심과 윤곽선, 그리고 무게중심으로부터 꽃의 윤곽선까지 거리를 구한다. 무게중심을 구하는데 있어서, 개시된 기술의 일실시예에서는 이하의 수학식 1을 이용한다.In
위의 수학식 1에서 C는 무게중심이고, N은 꽃 영역의 픽셀 수를 나타내고, 및 은 해당 픽셀의 좌표값이다. 이 수학식 1을 이용하면 영상이 포함하는 꽃 영역에서 꽃의 무게중심을 계산하는 것이 가능하다.In
또한 140 단계에서는 앞서 꽃의 무게중심을 구하는 것과 함께 무게중심으로부터 꽃의 윤곽선까지 거리도 계산한다. 꽃의 무게중심으로부터 꽃 윤곽선까지의 거리정보는 꽃의 모양에 대한 제 2 특징정보를 구하기 위하여 필요로 하는 것이다. 즉, 앞서 구한 꽃의 무게중심 및 무게중심으로부터 꽃의 윤곽선까지의 거리정보를 이용하여 꽃의 모양에 대한 특징정보인 제 2 특징정보를 구하게 된다. 제 2 특징정보는 꽃의 꽃잎 수에 대한 정보를 포함한다. 개시된 기술의 일 실시예에서는 꽃잎 수를 계산하기 위하여 이하의 수학식 2를 이용한다.In
위의 수학식 2에서 영교차율(Zero Crossing Rate)의 기준 값은 객체 영상의 무게중심으로부터의 개별 거리에 대한 평균 거리값을 영점으로 이용하고, 추출된 윤곽 선 전체 둘레 길이 내에서 객체 영상의 무게중심으로부터의 윤곽선의 거리가 기준점을 지나는 양의 부호를 판단하며 이는 곧 꽃 객체의 꽃잎 수를 판별할 수 있는 중요한 특징으로 사용된다. 여기서 는 꽃 영상의 무게중심으로부터 윤곽선까지의 거리이며, 은 평균거리를 의미한다. 개시된 기술의 일 실시예에서는 영교차율에 따라 꽃잎 수를 계산하여 제 2 특징정보로 이용한다.In
150 단계에서는 기 저장된 8가지 색상값과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 적용한 것을 이용한다. 여기에서 8가지 색상값은 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 8가지 색상이다. 그리고 Euclidean Distance값은 n차원의 공간에서 두 벡터 또는 두 점 간의 거리를 의미한다.In
160 단계에서는 꽃의 영역을 3분할하여 분할된 영역 각각의 색상에 대한 제 1 특징정보 및 제 3 특징정보를 추출한다. 160 단계에서는 앞서 140 단계에서 구한 꽃의 무게중심과 꽃의 윤곽선까지의 평균 거리정보를 이용하여 꽃 영역을 3분할하고, 각각 제 1 영역, 제 2 영역 및 제 3 영역으로 나눈다.In
개시된 기술의 일실시예에서는 무게중심에서 가까운 순서대로 제 1 영역, 제 2 영역 및 제 3 영역으로 3분할을 하고 있으나, 이와 같은 제 1, 제 2 및 제 3의 번호들은 단순히 각각의 영역을 구분하는 숫자에 불과한 것이며 3개 이하 및 이상도 가능하고, 번호의 순서가 순차적인 의미로 확대 해석 되는 것은 아니다. 즉, 사용자의 의도에 따라 영역의 개수 및 제 1 영역, 제 2 영역 및 제 3 영역의 순서가 충분히 바뀔 가능성이 있다. 이러한 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.In one embodiment of the disclosed technology, the first, second, and third regions are divided into three regions in the order close to the center of gravity, but the first, second, and third numbers like these simply distinguish each region. It is only a number, and three or less and more are possible, and the order of the numbers is not interpreted in a sequential manner. That is, there is a possibility that the number of regions and the order of the first region, the second region, and the third region are sufficiently changed according to the intention of the user. Those skilled in the art will appreciate this point.
한편, 160 단계에서는 꽃의 영역을 3분할로 나누었으므로, 각각의 색상에 대한 특징정보들을 추출하는 것이 바람직하다. 따라서 제 4 특징정보는 제 1 영역의 색상에 대한 특징정보, 제 2 영역의 색상에 대한 특징정보 및 제 3 영역의 색상에 대한 특징정보를 포함한다.On the other hand, since the area of the flower is divided into three divisions in
따라서, 160 단계에서는 제 4 특징정보로 제 1 영역의 Red, Green 및 Blue의 평균값, Y, Cb 및 Cr의 평균값을 구하고, 미리 저장된 8가지 색상값인 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 색상과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 이용한다. 그리고 제 2 영역의 Red, Green 및 Blue의 평균값, Y, Cb 및 Cr의 평균값을 구하고, 8가지 색상값인 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 색상과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 이용한다. 그리고 제 3 영역의 Red, Green 및 Blue의 평균값, Y, Cb 및 Cr의 평균값을 구하고, 8가지 색상값인 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 색상과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 이용한다. 즉, 각 영역 당 14개의 특징정보를 추출하여 총 42개의 특징정보를 추출한 것을 제 4 특징정보로 이용한다.Therefore, in
170 단계에서는 꽃을 인식하기 위하여 후보 모델을 생성한다. 꽃을 인식하는 과정에 있어서, 개시된 기술의 일실시예에서는 인식 후보 모델을 이용한다. 170 단계에서는 앞서 130 단계, 140 단계, 150 단계 및 160 단계에서 추출한 제 1 특징정보, 제 2 특징정보, 제 3 특징정보 및 제 4 특징정보를 기존의 패턴인식 알고리즘의 하나인 Multi Class SVM을 이용하여 인식 후보 모델을 생성한다.In
도 2는 개시된 기술의 일 실시예에 따른 특징정보를 이용하는 꽃 인식 장치에 대한 순서도이다. 도 2를 참조하면, 특징정보를 이용하는 꽃 인식 장치는 영상장치에서 영상을 입력하는 입력부(210), 영상에서 꽃 영역을 검출하는 검출부(220), 영상에서 제 1 특징정보를 추출하는 제 1 특징정보 추출부(230), 영상에서 제 2 특징정보를 추출하는 제 2 특징정보 추출부(240), 영상에서 제 3 특징정보를 추출하는 제 3 특징정보 추출부(250), 영상에서 제 4 특징정보를 추출하는 제 4 특징정보 추출부(260) 및 적어도 하나의 인식 후보 모델을 저장하는 후보 모델 DB(270)를 이용하는 후보 모델 생성부(280) 를 포함한다. 이하에서는 각 구성요소들의 기술적 특징에 대한 상세한 설명을 한다.2 is a flowchart of a flower recognition apparatus using feature information according to an embodiment of the disclosed technology. Referring to FIG. 2, the flower recognition apparatus using the feature information includes an
입력부(210)는 영상장치에서 꽃을 포함하는 영상을 입력받는다. 앞서 도 1을 참조하여 개시된 기술의 일 실시예를 설명한 바와 같이, 개시된 기술의 일 실시예에서 영상장치라 함은 컴퓨터 또는 휴대용 단말기를 의미한다. 또한 앞서 설명한 바와 마찬가지로 촬영이 가능한 다른 전자 기기나 촬영 장치를 이용할 수 있다는 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.The
한편, 입력부(210)는 꽃의 전체영역을 포함하는 영상을 입력하는 것이 바람직하다. 입력한 영상은 꽃 영역을 검출하는 검출부(220)를 거쳐 제 1 특징정보 추출부(230), 제 2 특징정보 추출부(240), 제 3 특징정보 추출부(250) 및 제 4 특징정보 추출부(260)로 전송되어 각각의 구성요소에서 서로 다른 특징정보들을 추출하게 된다. 이하에서는 검출부(220), 제 1 특징정보 추출부(230), 제 2 특징정보 추출부(240), 제 3 특징정보 추출부(250), 제 4 특징정보 추출부(260) 및 후보 모델 생성부(280)에서 수행되는 기술적 특징을 상세하게 설명한다.On the other hand, the
검출부(220)는 앞서 도 1을 참조하여 설명한 바와 같이 입력받은 꽃을 포함한 영상에서 Intellgent Scissors 알고리즘, Watershed 알고리즘 등의 영상검출 알고리즘을 이용하여 꽃 영역의 영상을 검출한다. Intellgent Scissors 및 Watershed는 영상을 검출하는데 이용하는 종래의 알고리즘이다. 이러한 알고리즘을 이용하면 영상이 포함하는 꽃을 검출하는 것이 가능하다.As described above with reference to FIG. 1, the
제 1 특징정보 추출부(230)는 꽃 영역 전체에서 색상에 대한 특징정보를 추출한다. 이하부터는 색상에 대한 특징정보를 제 1 특징정보라고 한다. 제 1 특징정보 추출부(230)는 RGB 및 YCbCr의 평균값을 제 1 특징정보로 추출한다. 여기에서 RGB의 평균값은 꽃 영역 전체에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함하는 것을 의미한다. 그리고 YCbCr의 평균값은 꽃 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함하는 것을 의미한다. 즉, RGB의 평균값은 Red의 평균, Green의 평균 및 Blue의 평균을 포함한다. 그리고 YCbCr의 평균값은 Y의 평균, Cb의 평균 및 Cr의 평균을 포함한다. 제 1 특징정보 추출부(230)는 이러한 꽃 영역의 색상에 대한 특징정보들을 추출한다.The first feature information extractor 230 extracts feature information about a color from the entire flower area. Hereinafter, the characteristic information about the color is referred to as first characteristic information. The first feature information extractor 230 extracts average values of RGB and YCbCr as first feature information. Here, the average value of RGB means that the average of red, average of green and average of blue are included in the entire flower area. And the mean value of YCbCr means to include the average of Y, the average of Cb and the average of Cr in the flower area. That is, the average value of RGB includes an average of red, an average of green, and an average of blue. And the average value of YCbCr includes the average of Y, the average of Cb and the average of Cr. The first feature information extractor 230 extracts feature information about the color of the flower area.
제 2 특징정보 추출부(240)는 꽃의 모양에 대한 특징정보를 추출한다. 이하부터는 꽃의 모양에 대한 특징정보를 제 2 특징정보라고 한다. 제 2 특징정보 추출부(240)는 제 2 특징정보를 추출하는데 있어서, 꽃의 무게중심 및 꽃의 무게중심으로부터 윤곽선까지의 거리정보를 구하고 이들을 이용하여 꽃의 모양에 대한 특징정보를 추출한다. 꽃의 모양에 대한 특징정보로는 다양한 것들이 있겠으나, 개시된 기술에서는 꽃을 정확하게 인식하는 것을 목적으로 하고 있으므로, 꽃의 주된 특징정보 중에 하나인 꽃잎 수 및 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 추출하는 것을 제 2 특징정보로 이용한다.The second
한편, 꽃잎 수 및 꽃 영역의 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 계산하는데 있어서, 개시된 기술의 일 실시예에서는 영교차율(Zero Crossing Rate)을 이용한다. 영교차율은 꽃의 윤곽선이 기준 축을 교차하는 회수이다. 즉, 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 특징에 사용하며, 꽃 영역이 포함하는 꽃의 꽃잎 수를 판별하는 정보가 된다. 따라서, 제 2 특징정보 추출부(240)는 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보 및 영교차율에 따라 꽃잎 수를 계산하고 이를 제 2 특징정보로 이용한다.On the other hand, in calculating the distance information from the center of gravity of the petal number and the flower area to the contour of the flower area, one embodiment of the disclosed technique uses a zero crossing rate. The zero crossing rate is the number of times that the flower outline crosses the reference axis. That is, the distance information from the center of gravity of the flower area to the contour of the flower area is used for the feature, and the information determines the number of petals of the flower included in the flower area. Accordingly, the second feature
제 3 특징정보 추출부(250)는 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black의 미리 저장된 8가지 색상값과 꽃 영역의 각 픽셀 색상정보 간에 Euclidean Distance값을 적용한 제 3 특정정보를 추출한다. Euclidean Distance값은 n차원의 공간에서 두 벡터 또는 두 점 간의 거리를 의미한다. The third
제 4 특징정보 추출부(260)는 앞서 제 2 특징정보 추출부(240)에서 구한 꽃의 무게중심 및 꽃 영역 무게중심으로부터 꽃 영역 윤곽선까지의 거리정보를 이용하여 꽃 영역을 3분할한다. 그리고 3분할된 각각의 영역에서 색상에 대한 제 1 특징정보 및 제 3 특징정보들을 추출한다. 개시된 기술의 일 실시예에 대한 상세한 설명을 위해서 3분할된 각각의 영역을 제 1 영역, 제 2 영역 및 제 3 영역이라고 하겠다. 제 4 특징정보 추출부(260)는 제 1 영역에서 제 1 특징정보 및 제 3 특징정보를 추출한다. 그리고 제 2 영역에서도 제 1 특징정보 및 제 3 특징정보를 추출하고, 제 3 영역에서도 제 1 특징정보 및 제 3 특징정보를 추출한다. The fourth
각 영역들에서 추출된 제 1 특징정보 및 제 3 특징정보들은 색상에 대한 특징정보라는 점에서는 서로 동일한 특성을 가지고 있으나, 특징정보를 추출하는 범위가 서로 다르기 때문에 추출된 값은 서로 다를 수 있다. 제 4 특징정보는 이들 각각의 영역에서 추출된 제 1 특징정보 및 제 3 특징정보의 값이다.The first feature information and the third feature information extracted from the respective regions have the same characteristics in that they are feature information on colors, but the extracted values may be different because the ranges for extracting feature information are different. The fourth characteristic information is a value of the first characteristic information and the third characteristic information extracted from each of these areas.
인식 후보 모델 DB(270)는 개시된 기술의 일 실시예에서 후보 모델 생성부가 이용하는 것이다. 인식 후보 모델 DB(270)는 후보 모델이 되는 적어도 하나의 꽃에 대한 특징정보들을 미리 추출하여 저장한다. 따라서, 이러한 후보 모델을 이용하여 촬영된 꽃을 인식한다.The recognition
한편, 도 2에서 도시하는 바와 같이 인식 후보 모델 DB(270)는 후보 모델 생성부(280)가 이용하되 별도로 구성되는 것일 수 있다. 물론 후보 모델 생성부(280)에 포함되는 구성요소로 이용할 수 있음은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.Meanwhile, as shown in FIG. 2, the candidate
후보 모델 생성부(280)는 인식 후보 모델 DB(270)에 미리 저장된 후보 모델들을 이용하여 입력된 꽃 영상 특징정보의 유사도를 측정하여 꽃을 인식한다. 여기에서 후보 모델 생성부(280)는 가능하다면 많은 후보 모델들과 입력된 꽃 영상의 특징에서 추출된 특징정보를 비교하여 유사도가 가장 높은 클래스로 분류하여 꽃을 인식하는 것이 바람직하다. 즉, 오인식률을 줄이기 위해서 비슷한 특징정보를 갖는 많은 수의 후보 모델들과 인식하려하는 꽃을 비교하는 것이 바람직하다. The
한편, 인식 후보 모델 DB와 촬영 또는 기 촬영된 꽃 영상 특징정보를 기존의 패턴인식 알고리즘의 하나인 Multi Class SVM을 이용하여 유사도가 가장 높은 클래스로 분류한다는 점은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.Meanwhile, the classification of the recognition candidate model DB and the photographed or photographed flower image feature information into a class having the highest similarity using Multi Class SVM, which is one of the existing pattern recognition algorithms, is a common knowledge in the art. If you have it, you will understand it.
또한, 개시된 기술의 일 실시예에서는 도 2에서와 같이 아래와 같은 구성요소를 추가적으로 제공하는 것이 가능하다. 290은 인식에 따른 결과를 출력하는 결과 출력부이다. 결과 출력부(290)는 인식한 꽃 영상의 학명, 식물명, 관련정보 등의 결과를 출력한다. 따라서 종래의 기술들에서 꽃의 모양 및 색상에 따른 꽃의 판단 유무에 의지하여 꽃을 인식하는 것으로 인한 인식률 저하의 문제점을 해결하는 것이 가능하다. 예컨대, 결과 출력부(290)는 모니터 또는 스크린과 같은 영상장치이고, 이러한 영상장치를 통하여 인식 결과를 출력할 수 있다.In addition, in one embodiment of the disclosed technology it is possible to further provide the following components as shown in FIG. 290 is a result output unit for outputting a result according to the recognition. The
도 3은 개시된 기술의 일 실시예에서 이용하는 8개의 색상값을 나타내는 도면이다. 도 3을 참조하면 개시된 기술의 일 실시예에서 기 저장된 8개의 색상값은 각각 White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black이다. 도면에서 도시하였듯이 RGB의 범위는 각각 0에서 255까지이다. 또한, 도 3을 참조하면 RGB의 Red, Green 및 Blue는 각각 8개의 기준 색상값에 대한 0에서 255까지의 서로 다른 범위를 포함한다.3 illustrates eight color values used in an embodiment of the disclosed technology. Referring to FIG. 3, eight color values previously stored in an embodiment of the disclosed technology are white, yellow, cyan, green, magenta, red, blue, and black, respectively. As shown in the figure, the RGB ranges from 0 to 255, respectively. In addition, referring to FIG. 3, Red, Green, and Blue of RGB each include different ranges from 0 to 255 for eight reference color values.
개시된 기술의 일 실시예에서는 꽃의 영역 전체의 픽셀 색상에 대하여 위의 8개의 색상값 간에 Euclidean Distance값을 이용한다. 또한, 꽃의 영역을 3분할한 각각의 영역들이 색상에 대하여 제 1 특징정보 및 제 3 특징정보를 이용한다. 따라서 종래의 기술에서 꽃의 모양에 대한 정보만을 이용하는 것과 비교하여 보다 뛰어난 인식 성능을 제공하는 것이 가능하다.In one embodiment of the disclosed technique, Euclidean distance values are used between the above eight color values for the pixel colors of the entire flower area. In addition, each of the regions obtained by dividing the area of the flower into three uses first characteristic information and third characteristic information with respect to color. Therefore, in the related art, it is possible to provide better recognition performance compared to using only information on the shape of a flower.
도 4는 개시된 기술의 일 실시예에서 꽃 모양에 대한 특징정보를 추출하는 도면이다. 앞서 도 1 및 도 2를 참조하여 설명한 바와 같이 개시된 기술의 일 실시예에서는 꽃의 무게중심 및 꽃의 무게중심으로부터 꽃의 윤곽선까지의 정보를 구하고 이를 이용하여 꽃의 모양에 대한 특징정보인 제 2 특징정보를 추출한다. 도 4를 참조하면 꽃의 윤곽선의 둘레 길이(Edge length)들과 무게중심 간의 거리인 Distance를 구하고, 이 Distance의 평균인 Average Distance를 계산하는 것을 알 수 있다.4 is a diagram for extracting feature information about a flower shape in an embodiment of the disclosed technology. As described above with reference to FIGS. 1 and 2, in an embodiment of the disclosed technology, information is obtained from the center of gravity of a flower and the center of gravity of a flower to the contour of the flower, using the second information, which is characteristic information on the shape of the flower. Extract feature information. Referring to FIG. 4, the distance, which is the distance between the edge lengths of the flower outline and the center of gravity, may be obtained, and the average distance, which is the average of the distances, may be calculated.
개시된 기술에서 인식하고자 하는 꽃은 실제의 생김새가 완전한 원형이 아닐 수 있다. 또한 촬영하는 각도 및 위치에 따라서 도 4의 Edge length값을 어디서 구하느냐에 따라 편차가 크게 벌어질 수 있다. 따라서 개시된 기술의 일 실시예에서는 이러한 각각의 Distance 값들을 구하고, 이들의 평균인 Average Distance를 이용한다. 이러한 Average Distance는 영상이 포함하는 꽃을 분할하는 기준으로 이용한다. 꽃을 분할하는 과정은 이하의 도 5를 통하여 후술한다.The flower to be recognized in the disclosed technology may not have a true appearance in its original form. In addition, the deviation may be greatly increased depending on where the edge length value of FIG. 4 is obtained according to the photographing angle and position. Therefore, in one embodiment of the disclosed technology, each of these distance values is obtained and the average distance thereof is used. The average distance is used as a criterion for dividing the flowers included in the image. The process of dividing the flower will be described later with reference to FIG. 5.
도 5는 개시된 기술의 일 실시예에서 꽃을 분할하는 과정을 나타내는 도면이다. 도 5를 참조하면, 영상이 포함하는 꽃을 분할하는데 있어서, 무게중심을 기준으로 총 3개의 영역으로 분할함을 알 수 있다. 앞서 도 4를 통하여 설명한 바와 같이 꽃의 윤곽선을 어디로 잡느냐에 따라서 꽃의 무게중심과 꽃의 윤곽선까지의 거리가 달라질 수 있다. 따라서 모든 거리를 구하여 그 평균값을 3분할하는 기준으로 삼는다.5 illustrates a process of dividing a flower in an embodiment of the disclosed technology. Referring to FIG. 5, in dividing a flower included in an image, it can be seen that the flower is divided into three regions based on the center of gravity. As described above with reference to FIG. 4, the distance between the center of gravity of the flower and the contour of the flower may vary depending on where the contour of the flower is held. Therefore, all distances are obtained and the average is divided into three.
한편, 개시된 기술의 일 실시예에서 꽃을 3분할하는데 있어서, 기본적으로는 3등분하여 영역을 3개로 분할하고 있으나, 사용자의 설정에 따라서 3등분이 아닌 설정값에 따라 영역을 3분할하는 것이 가능함은 이 기술분야에 있어서 통상의 지식을 가진 자라면 충분히 이해할 수 있을 것이다.On the other hand, in one embodiment of the disclosed technology, the flowers are divided into three by basically dividing the area into three, but it is possible to divide the area into three according to the setting value, not the third, according to the user's setting. Will be understood by those of ordinary skill in the art.
개시된 기술의 일 실시예에서는 이와 같이 분할된 각각의 영역들에 다시 색상에 대한 특징정보를 추출한다. 따라서 꽃의 인식에 따른 오차를 줄이는 효과를 제공한다.In an embodiment of the disclosed technology, feature information on color is extracted again in each of the divided regions. Therefore, it provides an effect of reducing the error due to the recognition of flowers.
도 6은 개시된 기술의 꽃 인식 성능을 나타내는 도면이다. 도 6을 참조하면 개시된 기술에서 영상이 포함하는 꽃을 인식한 결과를 알 수 있다. 앞서 도 1 내지 도 5를 통하여 설명한 각 단계 및 구성요소들의 기술적 특징에 따라 꽃을 인식하는 실험을 수행하였다. 30종의 서로 다른 꽃 영상에 대하여 1092회의 인식 실험을 하였다.6 is a diagram illustrating flower recognition performance of the disclosed technology. Referring to FIG. 6, a result of recognizing a flower included in an image in the disclosed technology may be seen. Experiments were performed to recognize flowers according to the technical characteristics of each step and components described above with reference to FIGS. 1 to 5. We performed 1092 recognition experiments on 30 different flower images.
도 6의 가로축은 영상에서 입력된 서로 다른 꽃들이다. 세로축은 미리 특징정보들을 추출하여 기 저장된 후보 모델들이다. 실험 결과 총 1092회 중 1068회를 인식하는데 성공하였고, 24회 인식에 실패하였다. 결과적으로 약 97%의 높은 인식성공률을 도출하였다.The horizontal axis of FIG. 6 is different flowers input from the image. The vertical axis is previously stored candidate models by extracting feature information. As a result of the experiment, 1068 out of a total of 1092 were recognized and 24 failed. As a result, a high recognition success rate of about 97% was derived.
개시된 기술의 실시예들을 통한 특징정보를 이용하는 꽃 인식 장치 및 방법은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허 청구 범위에 의해 정해져야 할 것이다.Flower recognition apparatus and method using the feature information through the embodiments of the disclosed technology has been described with reference to the embodiment shown in the drawings for clarity, but this is only an example, those skilled in the art It will be understood that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the disclosed technology should be defined by the appended claims.
110 : 영상 입력 단계 120 : 꽃 영역 검출 단계
130 : 제 1 특징정보 추출 단계 140 : 제 2 특징정보 추출 단계
150 : 제 3 특징정보 추출 단계 160 : 제 4 특징정보 추출 단계
170 : 인식 후보 모델 생성 단계
210 : 영상 입력 220 : 꽃 영역 검출
230 : 제 1 특징정보 추출 240 : 제 2 특징정보 추출
250 : 제 3 특징정보 추출 260 : 제 4 특징정보 추출
270 : 인식 후보 모델 DB 280 : 유사도 측정
290 : 인식 결과110: image input step 120: flower area detection step
130: extracting the first feature information 140: extracting the second feature information
150: third feature information extraction step 160: fourth feature information extraction step
170: generating a recognition candidate model
210: Image input 220: Flower area detection
230: Extract first feature information 240: Extract second feature information
250: extraction of the third feature information 260: extraction of the fourth feature information
270: Recognition candidate model DB 280: Similarity measurement
290: recognition result
Claims (14)
영상장치에서 꽃을 포함하는 영상을 입력하는 단계;
상기 영상에서 꽃 영역을 검출하는 단계;
상기 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 단계;
상기 꽃 영역에서 상기 꽃의 무게중심, 상기 꽃의 윤곽선 및 상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 구하고, 상기 꽃의 모양에 대한 제 2 특징정보를 추출하는 단계;
기 저장된 8가지 색상값 및 상기 꽃 영역의 각 픽셀에 대한 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 단계;
상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 3분할하여 상기 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 상기 제 1 영역, 상기 제 2 영역 및 상기 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 단계; 및
상기 제 1 특징정보, 상기 제 2 특징정보, 상기 제 3 특징정보 및 상기 제 4 특징정보를 이용하여 상기 꽃에 대한 인식 후보 모델을 생성하는 단계를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 방법.In the method for receiving an image including a flower using a computer or a portable terminal, extracting feature information from the image to recognize the flower,
Inputting an image including a flower in the imaging apparatus;
Detecting flower regions in the image;
Extracting first characteristic information about a color from the flower area;
Obtaining a distance from the center of gravity of the flower, the outline of the flower and the center of gravity of the flower to the outline of the flower in the flower area, and extracting second feature information on the shape of the flower;
Extracting third feature information by applying an Euclidean distance value between eight stored color values and color information of each pixel of the flower area;
Divide the distance from the center of gravity of the flower to the contour of the flower by dividing the distance into the first area, the second area and the third area from the center of gravity of the flower, and the first area, the second area and the third area. Extracting fourth feature information for each color of the area; And
Generating a recognition candidate model for the flower using the first feature information, the second feature information, the third feature information, and the fourth feature information. .
RGB 또는 YCbCr의 평균값을 추출한 것이고, 상기 RGB는 상기 꽃 영역에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함하고, 상기 YCbCr는 상기 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함하는 특징정보를 이용하는 꽃 인식 방법.The method of claim 1, wherein the first feature information,
An average value of RGB or YCbCr is extracted, and the RGB includes an average of Red, an average of Green and an average of Blue in the flower area, and the YCbCr includes an average of Y, an average of Cb, and an average of Cr in the area. Flower recognition method using the feature information.
상기 꽃의 무게중심 및 상기 꽃의 윤곽선까지의 거리를 이용하여 상기 꽃의 꽃잎 수를 계산하는 단계를 포함하는 특징정보를 이용하는 꽃 인식 방법.The method of claim 1, wherein the second characteristic information,
And calculating the number of petals of the flower using the center of gravity of the flower and the distance to the contour of the flower.
이하의 수학식에 따라 구하는 특징정보를 이용하는 꽃 인식 방법.
(상기 수학식에서 은 상기 픽셀의 수를 나타내고, 상기 는 해당하는 픽셀의 좌표값을 나타낸다.)The method of claim 1, wherein the center of gravity of the flower,
Flower recognition method using the feature information obtained according to the following equation.
(In the above formula Represents the number of pixels, and Indicates the coordinate value of the corresponding pixel.)
White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black인 특징정보를 이용하는 꽃 인식 방법.The method of claim 1, wherein the pre-stored eight color values,
Flower recognition method using feature information of white, yellow, cyan, green, magenta, red, blue and black.
Multi Class SVM을 이용하여 상기 꽃의 후보 모델들을 적어도 하나 생성하고, 상기 후보 모델들 및 상기 꽃의 유사도를 측정하는 특징정보를 이용하는 꽃 인식 방법.The method of claim 1, wherein the generating of the recognition candidate model for the flower comprises:
Flower recognition method using feature information for generating at least one candidate model of the flower using a multi-class SVM, and measuring the similarity of the candidate models and the flower.
영상장치에서 꽃을 포함하는 영상을 입력받는 입력부;
상기 영상의 꽃 영역에서 색상에 대한 제 1 특징정보를 추출하는 제 1 특징정보 추출부;
상기 꽃 영역에서 상기 꽃의 무게중심, 상기 꽃의 윤곽선 및 상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 구하고, 상기 꽃의 모양에 대한 제 2 특징정보를 추출하는 제 2 특징정보 추출부;
기 저장된 8가지 색상값 및 상기 꽃 영역의 각 픽셀에 대한 색상정보 간에 Euclidean Distance값을 적용하여 제 3 특징정보를 추출하는 제 3 특징정보 추출부;
상기 꽃의 무게중심에서부터 상기 꽃의 윤곽선까지의 거리를 3분할하여 상기 꽃의 무게중심에서부터 제 1 영역, 제 2 영역 및 제 3 영역으로 나누고, 상기 제 1 영역, 상기 제 2 영역 및 상기 제 3 영역 각각의 색상에 대한 제 4 특징정보들을 추출하는 제 4 특징정보 추출부; 및
상기 제 1 특징정보, 상기 제 2 특징정보, 상기 제 3특징정보 및 상기 제 4 특징정보를 이용하여 상기 꽃에 대한 인식 후보 모델을 생성하는 후보 모델 생성부를 포함하는 특징정보를 이용하는 꽃 인식 후보 모델 생성 장치.An apparatus for receiving an image including a flower using a computer or a portable terminal, and extracting feature information from the image to recognize the flower,
An input unit for receiving an image including a flower from an image device;
A first feature information extracting unit which extracts first feature information about a color from a flower area of the image;
A second feature information extracting unit for obtaining a distance from the center of gravity of the flower, the outline of the flower and the center of gravity of the flower to the outline of the flower in the flower area, and extracting second feature information on the shape of the flower ;
A third feature information extracting unit extracting third feature information by applying an Euclidean distance value between eight stored color values and color information of each pixel of the flower area;
Divide the distance from the center of gravity of the flower to the contour of the flower by dividing the distance into the first area, the second area and the third area from the center of gravity of the flower, and the first area, the second area and the third area. A fourth feature information extraction unit for extracting fourth feature information for each color of the area; And
A flower recognition candidate model using feature information comprising a candidate model generator for generating a recognition candidate model for the flower using the first feature information, the second feature information, the third feature information, and the fourth feature information. Generating device.
RGB 또는 YCbCr의 평균값을 추출하고, 상기 RGB는 상기 꽃 영역에서 Red의 평균, Green의 평균 및 Blue의 평균을 포함하고, 상기 YCbCr는 상기 영역에서 Y의 평균, Cb의 평균 및 Cr의 평균을 포함하는 특징정보를 이용하는 꽃 인식 장치.The method of claim 8, wherein the first feature information extracting unit,
Extracting an average value of RGB or YCbCr, the RGB includes an average of Red, an average of Green and an average of Blue in the flower area, wherein the YCbCr includes an average of Y, an average of Cb and an average of Cr in the area Flower recognition apparatus using the feature information.
상기 꽃의 무게중심 및 상기 꽃의 윤곽선까지의 거리를 이용하여 상기 꽃의 꽃잎 수를 계산하는 특징정보를 이용하는 꽃 인식 장치.The method of claim 8, wherein the second feature information extracting unit,
Flower recognition apparatus using feature information for calculating the number of petals of the flower using the center of gravity of the flower and the distance to the contour of the flower.
이하의 수학식에 따라 구하는 특징정보를 이용하는 꽃 인식 장치.
(상기 수학식에서 은 상기 영역의 픽셀 수를 나타내고, 상기 는 해당 픽셀의 좌표값을 나타낸다.)The method of claim 8, wherein the center of gravity of the flower,
A flower recognition device using feature information obtained according to the following equation.
(In the above formula Represents the number of pixels in the region, Indicates the coordinate value of the pixel.)
White, Yellow, Cyan, Green, Magenta, Red, Blue 및 Black인 특징정보를 이용하는 꽃 인식 장치.The method of claim 9, wherein the pre-stored eight color values,
Flower recognition device using the characteristic information of white, yellow, cyan, green, magenta, red, blue and black.
Multi Class SVM을 이용하여 상기 꽃의 후보 모델들을 적어도 하나 생성하고, 상기 후보 모델들 및 상기 꽃의 유사도를 측정하는 특징정보를 이용하는 꽃 인식 장치.
The method of claim 8, wherein the candidate model generator,
A flower recognition apparatus using feature information for generating at least one candidate model of the flower using a multi class SVM, and measuring similarity between the candidate models and the flower.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120086628A KR101334794B1 (en) | 2012-08-08 | 2012-08-08 | Flower recognition method and apparatus using feature extraction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120086628A KR101334794B1 (en) | 2012-08-08 | 2012-08-08 | Flower recognition method and apparatus using feature extraction |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101334794B1 true KR101334794B1 (en) | 2013-11-29 |
Family
ID=49858829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120086628A KR101334794B1 (en) | 2012-08-08 | 2012-08-08 | Flower recognition method and apparatus using feature extraction |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101334794B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101833774B1 (en) | 2016-08-24 | 2018-03-02 | 한국과학기술연구원 | Method for plant growth monitoring |
CN110503109A (en) * | 2019-08-02 | 2019-11-26 | 阿里巴巴集团控股有限公司 | Image characteristic extracting method and device, image processing method and device |
KR20200046177A (en) * | 2018-10-18 | 2020-05-07 | 네오컨버전스 주식회사 | Method and apparatus of designating an object for learning artificail intelligence |
KR102161686B1 (en) * | 2020-01-03 | 2020-10-05 | 주식회사 케이스랩 | Object recognition apparatus and method |
KR20210095323A (en) * | 2020-01-23 | 2021-08-02 | 강원대학교산학협력단 | Apparatus and method for detecting flame using artificial intelligence |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100647322B1 (en) * | 2005-03-02 | 2006-11-23 | 삼성전자주식회사 | Apparatus and method of generating shape model of object and apparatus and method of automatically searching feature points of object employing the same |
KR101032533B1 (en) * | 2009-10-14 | 2011-05-04 | 중앙대학교 산학협력단 | Apparatus and method for shape description by feature distillation |
KR101034117B1 (en) * | 2009-11-13 | 2011-05-13 | 성균관대학교산학협력단 | A method and apparatus for recognizing the object using an interested area designation and outline picture in image |
-
2012
- 2012-08-08 KR KR1020120086628A patent/KR101334794B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100647322B1 (en) * | 2005-03-02 | 2006-11-23 | 삼성전자주식회사 | Apparatus and method of generating shape model of object and apparatus and method of automatically searching feature points of object employing the same |
KR101032533B1 (en) * | 2009-10-14 | 2011-05-04 | 중앙대학교 산학협력단 | Apparatus and method for shape description by feature distillation |
KR101034117B1 (en) * | 2009-11-13 | 2011-05-13 | 성균관대학교산학협력단 | A method and apparatus for recognizing the object using an interested area designation and outline picture in image |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101833774B1 (en) | 2016-08-24 | 2018-03-02 | 한국과학기술연구원 | Method for plant growth monitoring |
KR20200046177A (en) * | 2018-10-18 | 2020-05-07 | 네오컨버전스 주식회사 | Method and apparatus of designating an object for learning artificail intelligence |
KR102143427B1 (en) | 2018-10-18 | 2020-08-11 | 네오컨버전스 주식회사 | Method and apparatus of designating an object for learning artificail intelligence |
CN110503109A (en) * | 2019-08-02 | 2019-11-26 | 阿里巴巴集团控股有限公司 | Image characteristic extracting method and device, image processing method and device |
CN110503109B (en) * | 2019-08-02 | 2023-04-07 | 创新先进技术有限公司 | Image feature extraction method and device, and image processing method and device |
KR102161686B1 (en) * | 2020-01-03 | 2020-10-05 | 주식회사 케이스랩 | Object recognition apparatus and method |
KR20210095323A (en) * | 2020-01-23 | 2021-08-02 | 강원대학교산학협력단 | Apparatus and method for detecting flame using artificial intelligence |
KR102411207B1 (en) * | 2020-01-23 | 2022-06-21 | 강원대학교산학협력단 | Apparatus and method for detecting flame using artificial intelligence |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017092431A1 (en) | Human hand detection method and device based on skin colour | |
CA2867365C (en) | Method, system and computer storage medium for face detection | |
KR101334794B1 (en) | Flower recognition method and apparatus using feature extraction | |
RU2661529C1 (en) | Method and device for classification and identification of banknotes based on the color space lab | |
Ghazali et al. | An innovative face detection based on skin color segmentation | |
WO2011042601A1 (en) | Face recognition in digital images | |
CN104978565B (en) | A kind of pictograph extracting method of universality | |
CN101945257A (en) | Synthesis method for extracting chassis image of vehicle based on monitoring video content | |
Seo et al. | Novel PCA-based color-to-gray image conversion | |
KR101875891B1 (en) | apparatus and method for face detection using multi detection | |
CN109190456B (en) | Multi-feature fusion overlook pedestrian detection method based on aggregated channel features and gray level co-occurrence matrix | |
EP2804369A1 (en) | Image processing method, image processing apparatus, and image processing program | |
JP2018026115A (en) | Flame detection method, flame detector, and electronic apparatus | |
JP6157165B2 (en) | Gaze detection device and imaging device | |
Gritzman et al. | Comparison of colour transforms used in lip segmentation algorithms | |
JP4625949B2 (en) | Object tracking method, object tracking apparatus, and program | |
Zangana et al. | A new algorithm for human face detection using skin color tone | |
KR101541384B1 (en) | Device for Recognition of Object and method | |
Ravi et al. | Face detection with facial features and gender classification based on support vector machine | |
Zhengming et al. | Skin detection in color images | |
Youlian et al. | Face detection method using template feature and skin color feature in rgb color space | |
Pansare et al. | Real time static hand gesture recognition system in complex background that uses number system of Indian sign language | |
Zukal et al. | Interest points as a focus measure in multi-spectral imaging | |
Shemshaki et al. | Lip segmentation using geometrical model of color distribution | |
Parente et al. | Assessing facial image accordance to ISO/ICAO requirements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160928 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |