KR20140006440U - System and method for plant idendification using both images and taxonomic characters - Google Patents
System and method for plant idendification using both images and taxonomic characters Download PDFInfo
- Publication number
- KR20140006440U KR20140006440U KR2020130004902U KR20130004902U KR20140006440U KR 20140006440 U KR20140006440 U KR 20140006440U KR 2020130004902 U KR2020130004902 U KR 2020130004902U KR 20130004902 U KR20130004902 U KR 20130004902U KR 20140006440 U KR20140006440 U KR 20140006440U
- Authority
- KR
- South Korea
- Prior art keywords
- plant
- plants
- image
- information
- list
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004891 communication Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 241000196324 Embryophyta Species 0.000 abstract description 158
- 210000000056 organ Anatomy 0.000 abstract description 11
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000007796 conventional method Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 239000013589 supplement Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 241000894007 species Species 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 241000215338 unidentified plant Species 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Library & Information Science (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 객체의 클래스를 식별하기 위한 이미지 특징점 분석 및 검색 기술을 적용하여 식물을 식별할 수 있도록 하는 시스템에 관한 것이다. 잎과 같은 식물의 특정 기관에 대한 제한된 이미지의 분석만으로 식물을 인식하고자 하는 기존의 방법은 인식의 결과에 다수의 식물 종이 포함될 수 있는 한계가 있으며, 식물의 분류 형질을 이용하여 단계적으로 특정 식물을 식별해가는 기존의 방법 또한 초보 사용자에게 사용의 어려움이 있고 방법의 적용에 시간이 많이 소요되는 단점이 존재한다. 본 발명에서는 기존의 식물 식별 시스템 및 방법들이 갖는 단점을 보완하고 보다 편리하며 정확하게 관심 대상 식물을 식별할 수 있도록 스마트 기기에서 다양한 식물 기관에 대한 이미지를 획득 및 처리하고, 응용서버로 이미지를 전송하여 분석 및 인식함으로써 식별 후보 식물의 목록을 생성하고, 생성된 후보 식물의 목록에 대하여 유효한 분류 형질만을 선택적으로 적용함으로써 최종적으로 관심 대상 식물을 식별하도록 하는 시스템과 그 방법을 개시한다. 본 발명의 실시예를 통해 사용자는 주위의 식물에 대한 궁굼증을 쉽게 해소함으로써 식물에 보다 관심을 갖게되는 효과와, 사용자의 지속적인 식물 식별 활동을 통해 전체적인 식물의 분포 및 그 변화에 대한 광범위한 모니터링이라는 간접적인 효과가 기대된다. The present invention relates to a system for identifying plants by applying image feature point analysis and search techniques to identify classes of objects. Conventional methods for recognizing plants only by analysis of limited images of specific organs of plants such as leaves have limitations in that a large number of plant species can be included in the result of recognition, There are also disadvantages that it is difficult to use for the novice users and it takes much time to apply the method. The present invention supplements the disadvantages of existing plant identification systems and methods and acquires and processes images of various plant organs in a smart device so as to identify plants of interest more conveniently and accurately, Analyzing and recognizing a candidate plant to generate a list of candidate candidate plants and selectively applying only valid classification traits to the list of generated candidate plants to finally identify plants of interest. Through the embodiments of the present invention, the user can more easily obtain interest in plants by easily eliminating the gander of the surrounding plants, and indirectly through the user's continuous plant identification activities to broadly monitor the distribution of the whole plants and their changes Is expected.
Description
본 발명은 식물의 이미지를 획득할 수 있는 스마트 기기에서 획득한 식물의이미지와 대상 식물과 관련된 분류 형질의 선택 입력을 통해 최종적으로 대상 식물을 식별할 수 있도록 하는 시스템과 그 방법으로써, 더욱 상세하게는 스마트 기기에서 식별하고자 하는 대상 식물의 이미지를 획득하고 이를 서버 시스템에 전송하여 이미지 검출, 특징점 추출 및 데이터베이스 매칭을 통해 후보 식물 목록과 이들의 공통된 분류 형질을 함께 스마트 기기에 제공하고, 사용자는 제공된 후보 식물 목록에 대하여 관련된 분류 형질의 값을 선택함으로써 최종적으로 대상 식물을 식별할 수 있도록 하는 시스템 및 그 방법에 관한 것이다.
The present invention provides a system and method for ultimately identifying a target plant through a selection input of a plant image and a classification trait related to the target plant obtained from a smart device capable of obtaining an image of the plant, Obtains an image of the target plant to be identified in the smart device, transmits the acquired image to the server system, and provides the smart plant with the candidate plant list and their common classification traits through image detection, feature point extraction, and database matching, To a system and method for ultimately identifying a target plant by selecting a value of a related classification trait for a candidate plant list.
우리는 살고 있는 주위에서 쉽게 다양한 식물들을 발견할 수 있으며, 야외 활동이 늘어 나면서 새로운 식물들을 만나게 되는 경우가 늘어나고 있다. 어린이들을 포함하여 일반인들은 식물에 대한 경험과 지식이 한정되어 있어 마주치게되는 식물들을 알아보기 어려우며, 전문가인 경우에도 모든 식물들을 알아보는 것이 쉽지 않다.
We can easily find a variety of plants in our surroundings, and we are seeing new plants as our outdoor activities increase. It is difficult to understand the plants that are encountered because the experience and knowledge of the plants are limited to the general public including children, and it is not easy to recognize all the plants even if they are experts.
식물을 식별하기 위한 방법으로 도감을 사용하는 기존의 방법이나 검색 방법은 대부분 식물의 이름을 알고 있거나 그 식물이 특정 속하는 분류군을 알고 있는 경우가 아니면 적용하는 것이 불편하고 또한 시간이 많이 소요되는 문제가 있다(비특허문헌 1). 식별하고자 하는 식물과 관련성이 있는 분류 형질을 단계적으로 선택함으로써 대상 식물을 식별할 수 있는 또 다른 방법(예, 이분형 검색표에 의한 동정)이 있으나 이 또한 적용을 위해서는 어느 정도의 교육이 필요하고 상대적으로 시간이 많이 소요되는 단점이 있다.
Conventional methods or methods of using an illustration as a method for identifying plants are inconvenient and time-consuming to apply unless they know the name of the plant or know the taxa to which the plant belongs (Non-Patent Document 1). There is another way to identify the target plant by phased selection of the classification traits that are relevant to the plant that you want to identify (eg identification by this bifurcated look-up table), but this also requires some training There is a drawback that it takes a relatively long time.
그 동안 이미지 처리, 이미지 분석, 이미지 인식 등의 분야에서는 사람의 얼굴 영상을 통해 특정 사람을 식별하거나 특정 사물들을 인식할 수 있는 수준에 이르렀으며, 이러한 기술과 첨단 스마트 기기의 결합은 시간과 공간의 제약을 넘어 다양한 분야에서 새로운 응용을 위한 시도로 이어지고 있다.
In the field of image processing, image analysis, image recognition, etc., the human face image has been able to identify a specific person or recognize a specific object. Beyond the constraints, it is leading to new applications in various fields.
이러한 시도 가운데 휴대용 단말기를 사용하여 식물에 대한 정보를 제공하고, 일부 기관의 이미지를 분석함으로써 대상 식물을 식별하고자 하는 사례들이 있었으며(특허문헌 1, 특허문헌 2, 특허문헌 3), 실제 구현한 시스템을 운영하고 있는 사례도 찾을 수 있다(비특허문헌 2). 그러나 아직 식물의 잎 모양이나 잎맥에 대한 이미지의 분석과 일부 식물군에 그 적용 범위가 제한되어 있어 일반적으로 적용하기엔 한계가 있고, 이미지 분석을 통해 식별된 결과가 수 십개의 목록에 이를 수 있어(비특허문헌1) 사용상의 편리함이나 효율성에 있어서도 개선의 여지가 충분히 있다.
Among these attempts, there have been cases in which a target plant is identified by providing information on plants using a portable terminal and analyzing images of some agencies (
본 발명에서 해결하고자 하는 과제는 식물의 잎, 꽃, 줄기 등에 대한 이미지분석으로로부터 식별하고자 하는 대상 식물의 목록을 제한하고, 제한된 목록으로부터 관심 대상의 식물을 최종 식별하기 위해 적절하게 제시된 분류 형질로부터 적합한 값을 선택 입력함으로써 효율적이면서도 정확하게 관심 대상 식물을 식별할 수 있는 시스템을 제공하는데 있다.
The problem to be solved by the present invention is to limit the list of target plants to be identified from the image analysis of leaves, flowers, stems, etc. of plants, and to limit the list of target plants to be identified from the appropriately presented classification traits And a system for efficiently and accurately identifying plants of interest by selecting and inputting appropriate values.
기존의 인덱스 기반 식물검색 시스템의 경우 식물의 이름을 모르는 경우 사용하는데 어려움이 있으며, 모양이나 색과 같은 식물 기관의 형질에 기반하여 검색하는 경우에도 그 결과 목록이 일일이 확인하기에 너무 많아질 수 있는 문제점이 있다. Conventional index-based plant retrieval systems are difficult to use if you do not know the name of the plant, and even if you search based on the traits of plant organs such as shape or color, There is a problem.
현재까지 고안되거나 구현된 식물 기관의 이미지 분석을 통한 식물 식별 시스템의 경우 대상 이미지를 잎이나 잎맥의 형태에 제한하고 있어 식물의 식별에 있어 유용한 다른 형질을 사용하지 않음에 따라 특정 식물을 고유하게 식별할 수 있는 능력에 한계가 있으며, 일부 구현된 시스템의 경우 이미지 획득을 위해 식물의 잎을 절취하고 일정한 배경 가운데에서 이미지를 획득해야 하는 불편함이 있다.
In the case of the plant identification system through the image analysis of the plant organs devised or implemented so far, the target image is limited to the shape of the leaf or leaf vein, so that it does not use other traits useful for the identification of the plant, There are limitations in the ability to do so, and in some implemented systems, there is the inconvenience of cutting leaves of the plant to acquire images and acquiring images in the middle of a certain background.
잎과 같은 식물의 일부 영양기관의 형태적인 특성에만 의존하여 전체 식물을 대상으로 검색하는 경우 잎의 형태에 따라 그 결과 목록이 상당히 길어질 수 있는 문제가 있다. 즉, 서로 다른 종의 식물이지만 잎의 형태가 상당히 유사할 수 있으며 같은 종 내에서도 잎의 형태에 상당한 변화가 있을 수 있다. 따라서 이러한 경우 식물 식별이라는 목적의 달성을 위해서는 꽃과 같은 다른 기관의 이미지를 추가로 적용하거나 기타 분류 형질을 적용해야만 하는 필요성이 나타나게 된다.
When the whole plant is searched for, depending on the morphological characteristics of some nutrition organs of the plant such as the leaf, there is a problem that the list of the result may be considerably long depending on the shape of the leaf. That is, they are plants of different species, but the shape of the leaves may be quite similar and there may be significant changes in the shape of the leaves within the same species. In this case, in order to achieve the purpose of plant identification, it is necessary to apply additional images of other organs such as flowers or apply other classification traits.
상기 과제를 해결하기 위하여 본 발명의 "이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템"의 한 형태는 스마트폰의 카메라 등을 통해 관심 대상 식물의 잎, 꽃, 줄기 등의 이미지를 획득하거나 파일 형태로 저장된 이미지를불러들일 수 있는 이미지 획득부; 획득한 이미지에 대하여 밝기 등의 보정 처리를 하거나 관심영역(ROI, Region Of Interest)만을 별도의 이미지로 분리 처리하는 이미지 처리부; 이미지의 배경으로부터 식물의 잎, 꽃, 줄기 등에 해당하는 영역을 별도로 분리 처리하는 이미지 분리부; 배경으로부터 분리된 식물의 잎, 꽃, 줄기 등에 대한 특징점을 추출하여 데이터화하는 이미지 추출부; 사용자로부터 요청된 식물의 이미지로부터 추출된 특징점을 기 구축된 식물 이미지 데이터베이스의 특징점과 비교하여 유사도가 큰 순으로 지정된 개수의 식물 목록을 산출하는 이미지 인식부; 이미지 인식결과 산출된 식물 목록에 대해 적용 가능한 분류 형질을 사용자에게 제시하고, 사용자가 확인한 관심 식물의 해당 형질 값을 입력할 수 있는 형질 입력부; 사용자가 입력한 형질의 값을 이미지 인식결과 산출된 식물 목록에 적용하여 적합한 식물을 검색할 수 있는 형질 검색부; 사용자가 식별하고자 하는 식물들에 대하여 사전에 이미지 특징점, 분류 형질 별 값, 기관 별 이미지 등을 저장하고 검색, 조회 등의 정보요청을 처리하는 데이터베이스부; 사용자에게 획득한 이미지를 보여주거나, 보정 또는 관심영역(ROI) 분리처리된 이미지를 보여주거나, 이미지 인식 결과 산출된 식물 목록을 보여주고 식물 식별을 위한 추가 분류 형질을 선택하고 값을 입력할 수 있도록 하거나, 형질 입력 결과 조회된 식물 목록 또는 최종 식별된 식물 정보를 보여주는 정보 표출부를 포함한다.
In order to solve the above problems, one form of the system capable of identifying the target plant using the image and the classified trait of the present invention is a system for detecting images of leaf, flower, stem, etc. of a plant of interest through a camera of a smart phone An image acquiring unit capable of acquiring an image or acquiring an image stored in a file format; An image processing unit for performing brightness correction processing or the like on the acquired image or separating only ROI (Region of Interest) into separate images; An image separating unit for separately separating regions corresponding to leaves, flowers, stems, etc. of plants from the background of the image; An image extracting unit for extracting characteristic points of leaves, flowers, stems, An image recognition unit for comparing the feature points extracted from the image of the plant requested by the user with the feature points of the prefigured plant image database and calculating the number of plants in the order of increasing similarity; A trait input unit for presenting a classification trait applicable to a plant list calculated as an image recognition result to a user and inputting a corresponding trait value of a plant of interest identified by the user; A feature search unit for searching a suitable plant by applying a value of a trait input by a user to a plant list calculated as an image recognition result; A database unit for storing information on image feature points, values per classification trait, images of institutions, etc., in advance with respect to plants to be identified by the user, and processing information requests such as search and inquiry; You can display the acquired image to the user, show the corrected or ROI-separated image, display the resulting plant list with image recognition, select additional classification traits for plant identification, and enter values. Or an information display section that displays the list of the plants that are displayed as a result of the trait input or the information of the finally identified plants.
상기 과제를 해결하기 위하여 본 발명의 "이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템"은 스마트 기기와 스마트 기기에 설치되어 운영되는 식물 이미지의 획득, 보정 처리, 관심 영역 분리, 사용자가 선택한 형질 정보의 입력 처리, 각종 정보의 표출 및 이미지 획득 시간과 위치 정보를 수집하는 앱; 사용자 기기로부터 전송된 이미지의 배경분리 처리, 특징점 추출, 데이터베이스 매칭을 통한 이미지 인식, 유사도 기반 식물 목록 구성, 분류 형질 구성, 분류 형질 값에 따른 데이터베이스 검색 처리 등을 수행하는 응용서버; 식물 식별 서비스 제공을 위해 구축한 식물의 기관유형, 기관 별 이미지, 이미지 특징점, 식물 식별 위치, 식물 식별 시간, 식물 등록자 등의 정보를 저장하는 식물데이터베이스; 사용자 스마트 기기와 응용서버 간 정보의 소통을 가능하게 하는 무선이통통신망, 무선인터넷망, 유선인터넷망 등으로 구성되는 통신망을 포함한다.
In order to solve the above problems, a system for identifying a target plant using an image and a classification trait according to the present invention is a system for acquiring and correcting a plant image installed and operated in a smart device and a smart device, An application for inputting selected trait information, displaying various information, and acquiring image acquisition time and location information; An application server for performing a background separation process of an image transmitted from a user device, extracting feature points, recognizing an image through database matching, constructing a similarity-based plant list, constructing a classification trait, and searching a database according to a classification trait value; A plant database storing information on plant type, institutional image, image feature point, plant identification location, plant identification time, and plant registrant established for providing plant identification service; And a communication network composed of a wireless mobile communication network, a wireless Internet network, and a wired Internet network that enables information communication between the user smart device and the application server.
상기 과제를 해결하기 위하여 본 발명의 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'은 이미지 인식 결과로써 사용자에게 후보 식물 목록을 제시하여 이미지와 상세 정보를 확인할 수 있도록 하는 이미지 인식부; 상기 후보 식물 목록의 식물들이 공통으로 보유하는 형질이지만 그 값이 모든 목록의 식물에 대하여 동일하지 않음으로써 추가적인 식별 단계에 적용할 수 있는 적용 가능 형질들을 제공하는 데이터베이스부를 포함한다.
In order to solve the above problems, a system for identifying a target plant using an image and a classification trait according to the present invention is a system for recognizing an image and detailed information by presenting a candidate plant list to a user as an image recognition result, part; And a database portion that provides applicable traits that can be applied to additional identification steps by the fact that the plants in the candidate plant list are common traits but their values are not the same for all listings of plants.
상기 과제를 해결하기 위하여 본 발명의 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'은 스마트 기기로부터 응용서버로 송신하는 정보로써 분석대상 이미지, 선택한 형질 값, 위치, 시간, 등록자 등의 정보를; 스마트 기기가 응용서버로부터 수신하는 정보로써 검색 목록, 개별 속성, 적용가능 형질 및 예시 등의 정보를 포함한다.
In order to solve the above problems, a 'system for identifying a target plant using an image and a classification trait' according to the present invention is information transmitted from a smart device to an application server. The system includes an analysis target image, a selected trait value, Information such as; The information received from the application server by the smart device includes information such as search list, individual attribute, applicable trait, and example.
상기 과제를 해결하기 위하여 본 발명의 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'은 다운로드하여 설치한 앱 실행 단계; 식별하고자 하는 대상 촬영 단계; 촬영한 이미지에서 ROI 지정 단계; 배경으로부터 분석 대상 검출 단계; 잎, 꽃 등 기관별 특징점 추출 단계; 특징점 매칭 Top N 산출 단계; 적용 형질 선택 및 값 입력 단계; DB 검색 및 식별 목록 산출 단계; 식별 완료 및 결과 저장를 포함한다.
In order to solve the above problems, a system for identifying a target plant using an image and a classification trait according to the present invention includes an application execution step of downloading and installing the system; A target shooting step to be identified; An ROI designation step in the photographed image; An analysis target detection step from the background; Leaf, Flower, etc .; A feature point matching Top N calculation step; Selecting the applied traits and inputting the values; DB search and identification list calculation step; Identification completion and result storage.
본 발명에 따르면 스마트 기기(스마트폰, 태플릿 PC 등)를 보유한 사용자는 인터넷에 접속이 가능한 환경이라면 언제 어디서든 관심 대상 식물에 대한 이미지 획득 및 분류 형질 입력 단계를 거쳐 편리하게 식별할 수 있고 관심 대상 식물에 대한 분포 위치와 같은 추가적인 정보를 얻을 수 있게 된다. 이를 위해 사용자는 이미지 획득 단계에 식물의 잎이나 꽃과 같은 기관을 별도로 절취할 필요가 없으며 대상 식물로부터 관찰 가능한 형질의 추가적인 선택 입력만으로 대상 식물에 대한 정확하고 구체적인 정보를 얻을 수 있게 된다. 즉, 본 발명에 따른 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'은 사용자에게 주변에서 마주치는 모르는 식물에 대해 알 수 있는 간편한 방법을 제공함으로써 식물에 대한 궁굼증을 해결할 수 있는 장점이 있으며, 부가적으로 식물에 대한 사용자의 관심을 높일 수 있는 장점이 있다.
According to the present invention, a user who possesses a smart device (smart phone, tablet PC, etc.) can easily identify the target plant through an image acquisition and classification trait input step at any time, It is possible to obtain additional information such as the distribution position with respect to the target plant. For this purpose, the user does not need to cut off organs such as leaves or flowers in the image acquiring step, and can obtain accurate and specific information about the target plants only by inputting an additional selection of traits that can be observed from the target plants. That is, the 'system capable of identifying the target plant using the image and the classified trait' according to the present invention can provide a user with a simple method of knowing unknown plants encountered in the vicinity, There is an advantage, and additionally there is an advantage that the interest of the user to the plant can be increased.
또한 다수의 사용자가 본 발명에 따른 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'을 다양한 장소에서 다양한 시간대에 사용하여 다양한 식물을 식별하게 되면 그 결과 데이터베이스에는 시간과 공간에 따른 식물의 분포와 그 변화에 대한 정보가 축적되어 식물의 생태와 그 변화에 관심을 갖는자에게 유용한 자료로 활용될 수 있는 장점이 있다.
In addition, when a plurality of users identify various plants by using various systems in various places at various time periods, a system in which a target plant can be identified using images and classified traits according to the present invention, The accumulation of information about the distribution and changes of plants has an advantage that it can be used as useful data for those who are interested in the ecology and changes of plants.
도1은 본 발명의 일 실시예에 따른 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'의 전체 구성도이다.
도2는 본 발명의 일 실시예에 따른 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'의 블럭도이다.
도3은 본 발명의 일 실시예에 따른 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'의 이미지 인식 기반 형질 검색을 위한 관련 블럭과 관련 화면 구성의 예시도다.
도4는 본 발명의 일 실시예에 따른 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'의 스마트 기기와 응용서버 간의 데이터 흐름도이다.
도5는 본 발명의 일 실시예에 따른 이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 방법의 흐름도이다. 1 is an overall configuration diagram of a system for identifying a target plant using images and classification traits according to an embodiment of the present invention.
FIG. 2 is a block diagram of a system for identifying a target plant using images and classification traits according to an embodiment of the present invention. Referring to FIG.
FIG. 3 is an exemplary block diagram and related screen configuration for image recognition-based feature search of a system capable of identifying a target plant using images and classification traits according to an embodiment of the present invention.
FIG. 4 is a data flow diagram between a smart device and an application server in a 'system capable of identifying a target plant using images and classification traits' according to an embodiment of the present invention.
5 is a flowchart of a method for identifying a target plant using an image and a classification trait according to an embodiment of the present invention.
본 발명의 장점 및 특징과 그것들을 달성하기 위한 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다.
BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and methods for accomplishing the same will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.
도 1은 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'의 전체 구성도를 보여준다. 관심 대상 식물을 식별하고자 하는 사용자는 자신의 스마트 기기(001)에 본 시스템의 일부 기능을 담당하는 앱을 다운로드하여 설치하게 되며(도 5의 S100), 상기의 스마트 기기(001)는 기본적으로 이미지를 획득할 수 있는 카메라, GPS 수신기 및 무선인터넷 또는 이동통신망으로 구성된 통신망(005) 접근성을 보유하게 된다.
FIG. 1 shows the overall structure of a system for identifying target plants using images and classification traits. The user who wants to identify the plant of interest downloads and installs an app for some functions of the system in his / her smart device 001 (S100 in FIG. 5) (005) accessibility comprising a camera, a GPS receiver, and a wireless Internet or mobile communication network capable of acquiring the network.
상기의 스마트 기기(001)는 통신망(005)을 통해 획득한 이미지를 응용서버(004)에 전달하고, 상기 응용서버(004)를 통해 식물데이터베이스(002)의 자료에 대하여 검색을 수행하고 그 결과를 전달 받게 된다. 상기 식물데이터베이스(002)에는 사용자에게 본 발명을 통한 시스템을 통해 식물 식별 기능을 제공하기 위해 사전에 기준 식물 정보(003)가 입력되어 있어야 한다.
The
상기의 식물데이터베이스(002)에 사전에 입력되는 상기의 기준 식물 정보(003)에는 식물의 잎, 꽃, 줄기와 같은 기관의 이미지에 대하여 상기의 응용서버(004)에서 사용하는 동일한 이미지 특징점 추출 알고리즘을 적용한 특징점 정보가 포함된다. 상기의 식물데이터베이스(002)에는 상기의 기준 식물 정보(003)에 기본적인 식물 정보 뿐만 아니라 사용자의 식물 식별과정에서 발생하는 이미지, 위치, 시간, 사용자 정보를 추가로 보유할 수 있다.
The reference plant information (003) input in advance to the plant database (002) includes the same image feature point extraction algorithm used in the application server (004) for the images of the organs such as leaves, flowers, Is included in the feature point information. The
도 2는 '이미지와 분류 형질을 이용하여 대상 식물을 식별할 수 있는 시스템'의 실시예에서 발견할 수 있는 단위 기능들을 논리적인 단위로 나타낸 것으로 실제 이들의 물리적인 구현 위치, 구현 프로그램 모듈과 그들의 분할 상태, 상호 관계 및 순서는 각 실시 예에서 서로 달라질 수 있다.
FIG. 2 shows logical units that can be found in an embodiment of the 'system for identifying target plants using images and classification traits'. In actuality, their physical implementation locations, implementation program modules and their The partition status, correlation and order may be different in each embodiment.
이미지 획득부(100), 이미지 처리부(110), 정보 표출부(200) 및 형질 입력부(150)는 도 1의 스마트 기기(001)에 나타날 수 있으며, 상기 이미지 획득부(100)는 상기 스마트 기기(001)의 카메라 기능을 이용하여 대상 식물의 기관 별 이미지를 획득하고 저장할 수 있도록 한다(도 5의 S110). 상기 이미지 획득부(100)를 통해 얻어진 이미지는 상기 이미지 처리부(110)를 통해 관심 영역만을 따로 분리하거나 밝기 등의 보정이 이루어진다. 관심 영역을 따로 분리함으로써 분석에 사용되는 이미지로부터 필요하지 않은 정보를 제거하여 전체적인 시스템의 처리 성능을 향상시키고 도 1의 응용서버(004)에 위치하는 이미지 분리부(120), 이미지 추출부(130)와 이미지 인식부(140)의 처리 정확성을 높일 수 있게 된다.
The image obtaining unit 100, the image processing unit 110, the information display unit 200 and the character input unit 150 may appear in the
상기 스마트 기기(001)에서 획득되어 기본 처리과정을 거친 이미지는 도 1의 응용서버(004)에 통신망(005)를 거쳐 전달되고, 상기의 이미지 분리부(120)는 이미지의 배경으로부터 분석 대상인 식물의 잎, 꽃, 줄기 등을 분리하는 기능을 수행하는데 이를 위해 상기의 식물데이터베이스(002)에 저장되는 식물의 각 기관의 이미지에 대한 특징 정보를 보유하게 된다. 따라서 상기의 이미지 분리부(120)는 이미지 내용 중 특정 사물을 분리 인식할 수 있는 일종의 분류기 역할을 수행하게 된다.
The image obtained through the basic processing of the
특정 식물의 식별을 위해서는 상기의 이미지 분리부(120)로부터 분리된 식물의 기관 별 이미지는 상기의 이미지 추출부(130)을 통해 특징점이 추출되고 그 결과는 상기의 이미지 인식부(140)에 의해 상기의 식물데이터베이스(002)에 저장되어 있는 식물의 각 기관의 이미지에 대한 특징 정보와 비교하여 유사도가 계산된다. 상기의 이미지 인식부(140)에 의해 사용자가 식별을 요청한 식물과 동일한 식물일 가능성이 높은 것으로 인식된 식물의 목록(도 5의 S150)이 이미지 특징점에 있어서의 유사도의 역순으로 반환된다.
In order to identify a particular plant, feature points are extracted through the image extracting unit 130 from the image of the organ of the plant separated from the image separating unit 120, and the result is extracted by the image recognizing unit 140 The similarity is calculated by comparing with the feature information on the image of each organ of the plant stored in the
상기의 이미지 인식부(140)에서 산출되는 식물 목록의 크기는 사용자가 요청한 이미지의 상태, 상기의 식물데이터베이스(002)에 저장된 데이터, 상기의 이미지 분리부(120)의 처리 정확성, 상기의 이미지 추출부(130)에 적용된 추출 알고리즘, 이미지 특징점 매칭 시 유사도의 임계값 등 여러 요소가 영향을 미칠 수 있으나 목록의 최대 크기는 시스템 수준에서 조정이 가능하다.
The size of the plant list calculated by the image recognition unit 140 may be determined based on the state of the image requested by the user, the data stored in the
상기의 이미지 인식부(140)에서 산출되는 식물 목록은 그 목록에 속한 식물의 이미지를 포함한 기본적인 정보와 함께 상기의 정보 표출부(200)에 제공된다. The plant list calculated by the image recognition unit 140 is provided to the information display unit 200 together with basic information including images of plants belonging to the list.
사용자는 상기의 정보 표출부(200)로부터 사용자가 식별을 요청한 결과에 대한 후보 식물 목록을 확인할 수 있으며, 목록에 1 개의 식물만이 나타나는 경우 요청한 식물과 동일한 종의 식물인지 함께 제공된 식물의 기본 정보를 이용하여 확인할 수 있다.
The user can check the list of candidate plants for the result of the user's request for identification from the information display unit 200. If only one plant appears in the list, .
그러나 식별 대상 식물의 일부 기관의 이미지만을 식물의 식별에 활용하는 경우 동일한 종으로 식별될 수 있는 식물이 다수 나타날 수 있다. 따라서 이미지 인식만으로 특정 식물을 식별하는데 한계가 있는 상황에서 추가적인 분류 형질의 적용이 필요하게 되고 도 2의 형질 입력부(150)에 사용자가 대상 식물에서 확인 가능한 형질의 값을 확인하여 입력하게 된다.
However, when only the images of some organs of the target plant are used for the identification of the plants, a large number of plants that can be identified as the same species may appear. Therefore, it is necessary to apply additional classification traits in a situation where there is a limit to identify specific plants only by image recognition, and the user inputs the trait values that the user can identify in the target plant and inputs them to the trait input unit 150 of FIG.
도 3은 이미지 인식부(140)에서 산출된 후보 식물 목록(301)에 대하여 사용자가 추가로 적용 가능 형질(302)을 선택하여 입력할 수 있도록 구성한 시스템 화면의 구성 예를 보여준다. 상기의 적용 가능 형질(302)은 상기의 후보 식물 목록(301)만이 공유하는 형질로 구성되어야 하며, 각 형질의 값은 상기의 후보 식물 목록(301)에 속한 식물들에 있어 모두 동일하지는 않아야 한다. 즉, 상기의 적용 가능 형질(302)의 특정 값을 선택함에 따라 상기의 후보 식물 목록(301)에서 특정 식물이 배제되고 특정 식물은 최종 후보 식물 목록에 포함될 수 있어야 한다.
3 shows a configuration example of a system screen configured so that a user can additionally select and input an
상기의 적용 가능 형질(302)을 시스템에 선택 입력하면 도 2의 형질 검색부(160)는 데이터베이스부(300)로부터 적합한 결과를 반환 받아 상기의 정보 표출부(200)를 통해 사용자에게 제공하게 된다. 상기의 형질 검색부(160)를 통한 검색은 상기의 후보 식물 목록(301)에 1개의 식물만이 남는 경우 종료된다.
When the
본 발명에 따라 구현된 시스템은 한 예는 사용자의 관심 대상 식물 이미지에 대한 인식과 분류 형질의 검색을 통해 최종 식별된 식물에 대하여 기본정보, 이미지, 분포 위치 등을 제공하게 된다. 사용자는 상기의 정보 표출부(200)를 통해 관심 대상에 식물에 대한 식별이 정확하게 이루어졌음을 확인할 수 있으며, 동일한 식물이 분포하는 위치 정보를 추가로 확인할 수 있다.
An example of a system implemented in accordance with the present invention is to provide basic information, images, distribution locations, and the like for plants that are ultimately identified through recognition of the plant image of interest and search of the classification traits by the user. The user can confirm that the plant is correctly identified to the interested object through the information display unit 200 and can further confirm the location information of the same plant.
또한 사용자는 식별 결과를 확인 및 저장함으로써 상기의 식물데이터베이스(002)에 사용자가 확인한 식물에 대한 확인 시간, 확인 위치를 추가하게 된다. 이는 사용자 정보와 함께 저장될 수 있어 사용자에게는 본인이 확인한 전체 식물을 조회하는 것이 가능하게 되며, 식물의 분포 변화에 관심이 있는 사용자에게 상기의 식물데이터베이스(002)는 유용한 정보원이 될 수 있다.
The user also confirms and stores the identification result, thereby adding the confirmation time and confirmation position to the plant identified by the user in the plant database (002). This can be stored together with the user information so that the user can inquire the whole plant confirmed by the user, and the plant database (002) described above can be a useful information source for a user who is interested in the distribution of the plant.
상기와 같이 본 발명의 일 실시예에 따르면 사용자가 관심을 갖고 식별하고자 하는 식물에 대하여 사용자가 보유한 스마트 기기를 활용하여 이미지를 획득하고, 획득한 이미지의 분석 결과에 대하여 시스템이 제공하는 형질에 대한 값을 입력함으로써 사용자는 어렵지 않게 대상 식물을 식별할 수 있게 된다. 이는 기존의 일부 식물 기관에 대한 이미지 인식 방법을 더욱 개선하고 분류 형질 선택에 따른 식물 검색 방법을 더욱 편리하게 적용할 수 있도록 개선한 시스템과 그 방법으로써 그 실시예는 실용성이 높다고 할 수 있다.
As described above, according to an embodiment of the present invention, an image is acquired using a smart device possessed by a user with respect to a plant that the user desires to identify with interest, By entering a value, the user is able to identify the target plant without difficulty. This is a system and a method for improving the image recognition method for some existing plant organizations and improving the plant search method according to the selection of the classification traits more conveniently. Thus, the embodiments are highly practical.
001: 스마트 기기 002: 식물데이터베이스 003: 기준 DB 004: 응용서버 005: 통신망
100: 이미지 획득부 110: 이미지 처리부 120: 이미지 분리부 130: 이미지 추출부 140: 이미지 인식부 150: 형질 입력부 160: 형질 검색부 200: 정보 표출부
300: 데이터베이스부
301: 후보 식물 목록 302: 적용 가능 형질
001: smart device 002: plant database 003: reference DB 004: application server 005: communication network
An image processing apparatus, comprising: an image obtaining unit (110); an image processing unit (120); an image separating unit (130); an image extracting unit
300:
301: Candidate plant list 302: Applicable trait
Claims (6)
A system and method for identifying a plant based on image information and classification trait information of a plant in a smart device, the method comprising: requesting recognition of an image from an application server by separating only a region of interest acquired from a camera; A user terminal (001) for inputting the classification trait information so that the information of the identified plant can be confirmed; An application server 004 for extracting a recognition candidate plant list through separation of images transmitted from a user terminal, extracting feature points, and image matching, constructing classification traits finally used to identify specific plants, ; A system for storing basic information about a reference plant, minutiae information of an image, information on classified characteristics of plants, location information, and the like is included as a main component.
Claims 1. A system and method for limiting an image acquired with a background to an area of interest in a smart device and delivering the image to an application server via a communication network.
A system and method for providing to a user terminal only an applicable classification trait (302) necessary to select a final identification plant from a list of parent plants together with an image recognition result candidate plant list (301).
The system according to claim 3, wherein the applied classification trait is a trait shared by the plants of the candidate plant list so that their application is meaningful only to the identified candidate plant list (301) And methods thereof.
A system and method for enabling identification of a specific plant, identification time, identifier information and the like in a database when completing a step of confirming that a user has identified a specific plant (S180).
The method according to claim 5, wherein, when the user identifies a specific plant, the location information of the same plant together with the detailed information on the plant is provided together with the list of all the plants identified by the user and the detailed information thereof ≪ / RTI >
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR2020130004902U KR20140006440U (en) | 2013-06-19 | 2013-06-19 | System and method for plant idendification using both images and taxonomic characters |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR2020130004902U KR20140006440U (en) | 2013-06-19 | 2013-06-19 | System and method for plant idendification using both images and taxonomic characters |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140006440U true KR20140006440U (en) | 2014-12-30 |
Family
ID=53611167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR2020130004902U KR20140006440U (en) | 2013-06-19 | 2013-06-19 | System and method for plant idendification using both images and taxonomic characters |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20140006440U (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10679096B2 (en) | 2017-08-22 | 2020-06-09 | Korea Institute Of Science And Technology | System and method for plant leaf identification |
| CN112906698A (en) * | 2019-12-04 | 2021-06-04 | 中国农业科学院农业资源与农业区划研究所 | Alfalfa plant identification method and device |
| CN113945561A (en) * | 2021-10-15 | 2022-01-18 | 盐城工学院 | Image detection device and image detection method |
-
2013
- 2013-06-19 KR KR2020130004902U patent/KR20140006440U/en not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10679096B2 (en) | 2017-08-22 | 2020-06-09 | Korea Institute Of Science And Technology | System and method for plant leaf identification |
| CN112906698A (en) * | 2019-12-04 | 2021-06-04 | 中国农业科学院农业资源与农业区划研究所 | Alfalfa plant identification method and device |
| CN112906698B (en) * | 2019-12-04 | 2023-12-29 | 中国农业科学院农业资源与农业区划研究所 | Alfalfa plant identification method and device |
| CN113945561A (en) * | 2021-10-15 | 2022-01-18 | 盐城工学院 | Image detection device and image detection method |
| CN113945561B (en) * | 2021-10-15 | 2024-04-16 | 盐城工学院 | Image detection device and image detection method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106776619B (en) | Method and device for determining attribute information of target object | |
| CN110325983B (en) | Image search device and image search method | |
| TWI546519B (en) | Method and device for displaying points of interest | |
| CN105224775B (en) | Method and device for matching clothes based on picture processing | |
| US20180157682A1 (en) | Image information processing system | |
| US20130243249A1 (en) | Electronic device and method for recognizing image and searching for concerning information | |
| US20170185836A1 (en) | Marking analysis system and marking analysis method | |
| US20160171339A1 (en) | User terminal device and method of recognizing object thereof | |
| CN107506499B (en) | Method, device and server for establishing logical relationship between interest point and building | |
| CN104143005A (en) | Related searching system and method | |
| WO2016192506A1 (en) | Information query method, terminal device, system and computer storage medium | |
| US9984304B2 (en) | Method and system for recognizing user activity type | |
| WO2016139964A1 (en) | Region-of-interest extraction device and region-of-interest extraction method | |
| CN106294219A (en) | A kind of equipment identification, data processing method, Apparatus and system | |
| CN105303449A (en) | Social network user identification method based on camera fingerprint features and system thereof | |
| KR20140006440U (en) | System and method for plant idendification using both images and taxonomic characters | |
| CN109165572B (en) | Method and apparatus for generating information | |
| JP6822484B2 (en) | Information processing equipment, information processing methods and programs | |
| CN104166660A (en) | Search system and method based on range selection | |
| CN110895555B (en) | Data retrieval method and device, storage medium and electronic device | |
| CN110609879A (en) | Interest point duplicate determination method and device, computer equipment and storage medium | |
| CN108932270A (en) | Contrast method is retrieved based on the loquat category germ plasm resource of Bayes and feedback algorithm | |
| CN116703503A (en) | Intelligent recommendation method and system for campus canteen dishes | |
| CN107818152B (en) | Plant retrieval method and system | |
| CN110866168A (en) | Information recommendation method and device, terminal and server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |