KR102281983B1 - 단말기를 이용한 식물과톡 서비스 방법 - Google Patents

단말기를 이용한 식물과톡 서비스 방법 Download PDF

Info

Publication number
KR102281983B1
KR102281983B1 KR1020170088244A KR20170088244A KR102281983B1 KR 102281983 B1 KR102281983 B1 KR 102281983B1 KR 1020170088244 A KR1020170088244 A KR 1020170088244A KR 20170088244 A KR20170088244 A KR 20170088244A KR 102281983 B1 KR102281983 B1 KR 102281983B1
Authority
KR
South Korea
Prior art keywords
plant
terminal
information
unit
plants
Prior art date
Application number
KR1020170088244A
Other languages
English (en)
Other versions
KR20190007186A (ko
Inventor
김장욱
전홍근
성윤규
Original Assignee
김장욱
전홍근
성윤규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김장욱, 전홍근, 성윤규 filed Critical 김장욱
Priority to KR1020170088244A priority Critical patent/KR102281983B1/ko
Publication of KR20190007186A publication Critical patent/KR20190007186A/ko
Application granted granted Critical
Publication of KR102281983B1 publication Critical patent/KR102281983B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operations Research (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

적어도 하나의 단말기가 네트워크망을 통해 접속하는 식물과톡 서비스 시스템 및 방법이 개시된다. 식물과톡 서비스 시스템은 식물의 정보를 저장하는 데이터베이스부; 상기 단말기로부터 식물의 화상 정보를 수신하는 웹서버; 상기 식물의 화상 정보로부터 상기 데이터베이스에 저장된 식물의 정보와 비교하여 상기 식물의 종류와 현재의 성장 상태를 인식하고, 현재의 성장 상태에 대응되는 식물영양제를 정보를 상기 단말기로 전송하는 정보제공 서버를 포함한다. 이러한 본 발명의 실시예에서는, 화분마다 별도의 센서 장치가 필요 없고, 스마트폰 하나로 여러개의 화분과 식물을 등록 하여 관리할 수 있고, 맞춤형 식물영양제의 추천 및 구입이 편리하다.

Description

단말기를 이용한 식물과톡 서비스 방법 {Talk with plant service method using mobile terminal}
본 발명은 단말기를 이용한 식물과톡 서비스 시스템 및 방법에 관한 것으로, 특히, 스마트폰, 태블릿 PC 등의 이동 단말기를 이용하여 식물과톡을 이용하여 식물과 대화하고, 식물의 사진을 촬영하여 서버로 송부하고, 서버의 분석에 따라 영양제를 처방받는 등 종합적인 서비스를 제공받는 단말기를 이용한 식물과톡 서비스 시스템 및 방법에 관한 것이다.
일반적으로 휴대 전화기의 기능과 PDA의 기능을 결합시킨 스마트폰(smartphone) 및 태블릿 PC 기기들은 유, 무선 인터넷 또는 데이터 전송 서비스를 이용하여 언제 어디서든 실시간으로 데이터를 주고받을 수 있으며, 기존 휴대용 단말기에 비해 대용량의 메모리와 고성능의 CPU가 실장되어 있다.
이러한 스마트폰 및 태블릿 PC를 이용하여 흥미위주의 간단한 사물인식 중 얼굴인식 어플리케이션(Application)이 사용되고 있다.
한편, 꽃 등을 포함하는 식물은 그 양태가 미려하여 사용자에게 심적 안정감을 제공하는 기능이 있어서 관상용 식물로 판매가 되고 있으며, 특히 근래 들어 허브와 같이 방향제, 방충제, 약용 및 식용 식물은 단순한 관상용 식물뿐만 아니라 기능성 식물로서 판매되고 있으며, 또한 이들 식물들은 화분 등에 식재해서 재배되고 있다.
또한, 재배자가 화분 등에 식재된 식물을 구매하면, 식물의 재배 관리가 요구되며, 소정 기간 동안 식물을 재배한 경험이 있는 사람일 경우에는 스스로 터득된 경험에 의해, 식물을 재배할 수 있으며, 또한 식물 재배와 관련한 경험이 없는 사람일 경우에는 주위의 간행물이나 인터넷 등의 정보전달매체를 이용하여 식물의 재배 정보를 습득하여 식물을 재배하지만, 식물을 재배하는 사람들이 각각 다양한 식물군의 종류를 직접 재배하고자 할 경우, 모든 식물에 대해서 경험을 쌓는 것은 사실상 어려우며, 또한 간행물이나 인터넷 등의 정보전달매체를 이용하여 식물의 재배 정보를 습득하였다 할지라도, 입수된 각 식물의 재배정보에 포함되는 온도, 습도 및 일사량 등의 성장환경조건을 각 재배자가 체감으로 정확하게 예측하여 식물을 재배하는 일이 쉽지 않다는 등의 여러가지 문제점이 있었다.
한편, 식물은 애완동물들과는 달리 반응이 적고 흥미가 떨어져 지속적인 관심과 식물이 성장하면서 느끼는 성취감 등을 유발하기 어려운게 현실이다.
따라서, 식물을 기르더라도 동물을 기르는 것과 동일한 흥미를 유발하며, 관리 및 재배가 자동으로 이루어지는 기술을 제안할 필요가 있다.
이러한 필요에 따라 종래에 대한민국공개특허 제2013-0126205호에 모바일 애플리케이션 환경에서의 식물 재배 관리시스템이 개시되어 있다.
그러나 이러한 종래 기술은 화분에 온습도 센서 등을 장착하여 흙의 습기 함유도 등을 휴대폰으로 알려 주기는 하지만 기능이 미흡하고 고가인 문제가 있다.
그리고, 화분마다 센서장치를 구입해야 하므로 고가인 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 종래의 문제점을 해결하고자 하는 것으로, 화분마다 별도의 센서 장치가 필요 없고, 스마트폰 하나로 여러개의 화분과 식물을 등록 하여 관리할 수 있는 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 종래의 문제점을 해결하고자 하는 것으로, 맞춤형 식물영양제의 추천 및 구입이 편리한 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 종래의 문제점을 해결하고자 하는 것으로, 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천하는 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 종래의 문제점을 해결하고자 하는 것으로, 사용자에게 재미와 흥미를 유발하는 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공하는 것이다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 식물과톡 서비스 시스템은,
적어도 하나의 단말기가 네트워크망을 통해 접속하는 식물과톡 서비스 시스템으로서,
식물의 정보를 저장하는 데이터베이스부;
상기 단말기로부터 식물의 화상 정보를 수신하는 웹서버;
상기 식물의 화상 정보로부터 상기 데이터베이스에 저장된 식물의 정보와 비교하여 상기 식물의 종류와 현재의 성장 상태를 인식하고, 현재의 성장 상태에 대응되는 식물영양제를 정보를 상기 단말기로 전송하는 정보제공 서버를 포함한다.
상기 데이터베이스부는,
가입자 정보를 저장하는 가입자 DB;
식물의 정보 및 상태정보를 저장하는 식물 DB;
식물 영양제 정보를 저장하는 식물 영양제 DB;
가입자와 나누어야할 대화내용을 저장하는 톡 DB를 포함한다.
상기 정보 제공 서버는,
상기 식물의 화상 정보로부터 상기 식물의 패턴을 인식하는 특징 추출부;
상기 추출된 식물의 패턴과 상기 식물 DB를 비교하여 상기 식물의 종류와 현재 상태를 인식하는 비교부;
상기 비교부의 비교결과 일치도가 높은 소정 기준값 이상이 경우, 인식된 식물의 종류와 상태를 상기 단말기로 송신하고, 일치도가 소정 기준값 이하인 경우, 재송신을 요청하는 메시지를 상기 단말기에 송신하는 상태 제공부를 포함한다.
상기 식물의 상태에 대응되는 식물영양제를 추천하여 상기 단말기에 제공하는 식물영양제 추천부를 더 포함한다.
상기 단말기의 선택에 따라 상기 식물 영양제를 구매처리하는 구매처리부를 더 포함한다.
상기 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천하는 식물 추천부를 더 포함한다.
상기 톡 DB를 참조하여 상기 단말기와 톡을 하는 톡 진행부를 더 포함한다.
상기 단말기는,
사용자의 선택을 입력받는 입력부;
식물을 촬영하는 카메라부;
정보를 표시하는 표시부;
상기 입력부를 통해 상기 식물과톡 서비스가 선택되면, 해당 어플리케이션을 실행하고, 상기 카메라부를 구동하여 상기 식물의 영상을 취득하고, 취득한 영상에서 해당 식물의 형상을 인식하여 상기 웹서버로 전송하고, 상기 웹서버로부터 수신되는 결과정보를 상기 표시부에 표시하는 제어부를 포함한다.
이러한 과제를 해결하기 위한 본 발명의 특징에 따른 식물과톡 서비스 방법은,
적어도 하나의 단말기가 네트워크망을 통해 접속하는 식물과톡 서비스 시스템의 식물과톡 서비스 방법으로서,
웹서버가 상기 단말기로부터 식물의 화상 정보를 수신하는 단계;
정보 제공 서버가 상기 식물의 화상 정보로부터 상기 식물의 패턴을 추출하는 단계;
상기 정보 제공 서버가 데이터베이스부에 저장된 식물의 정보와 상기 인식된 식물의 패턴을 비교하여 식물의 종류와 현재상태를 인식하는 단계;
상기 비교부의 비교결과 일치도가 높은 소정 기준값 이상이 경우, 상기 정보 제공 서버가 인식된 식물의 종류와 상태를 상기 단말기로 송신하는 단계를 포함한다.
일치도가 소정 기준값 이하인 경우, 상기 정보 제공 서버가 재송신을 요청하는 메시지를 상기 단말기에 송신하는 단계를 더 포함한다.
상기 정보 제공 서버가 상기 식물의 상태에 대응되는 식물영양제를 추천하여 상기 단말기에 제공하는 단계;
상기 정보 제공 서버가 상기 단말기의 선택에 따라 상기 식물 영양제를 구매처리하는 단계를 더 포함한다.
상기 정보 제공 서버가 상기 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천하는 단계;
상기 정보 제공 서버가 상기 단말기의 선택에 따라 상기 식물을 구매처리하는 단계를 더 포함한다.
본 발명의 실시예에서는, 화분마다 별도의 센서 장치가 필요 없고, 스마트폰 하나로 여러개의 화분과 식물을 등록 하여 관리할 수 있는 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공할 수 있다.
또한, 본 발명의 실시예에서는, 맞춤형 식물영양제의 추천 및 구입이 편리한 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공할 수 있다.
또한, 본 발명의 실시예에서는, 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천하는 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공할 수 있다.
또한, 본 발명의 실시예에서는, 사용자에게 재미와 흥미를 유발하는 단말기를 이용한 식물과톡 서비스 시스템 및 방법을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 식물과톡 서비스 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성도이다.
도 3은 본 발명의 실시예에 따른 식물과톡 서비스 방법의 구성도이다.
도 4는 단말기 화면의 일예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 식물과톡 서비스 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 식물과톡 서비스 시스템은,
적어도 하나의 식물의 정보를 저장하는 데이터베이스부(330); 상기 단말기로부터 식물의 화상 정보를 수신하는 웹서버(310); 상기 식물의 화상 정보로부터 상기 식물의 패턴을 인식하고, 상기 데이터베이스부(330)에 저장된 식물의 정보와 비교하고 비교 결과 정보를 상기 단말기로 전송하는 정보제공 서버(320)를 포함한다.
상기 데이터베이스부(330)는, 다양한 식물의 위치 및 계절에 대응하는 성장과정, 서식지역, 개화시기, 영상, 특정 영양분 부족시의 상태 정보, 영상에서 추출한 패턴정보 등의 정보를 저장하는 식물 데이터베이스(332);
식물 영양제 정보를 저장하는 식물 영양제 DB;
가입자와 나누어야할 대화내용을 저장하는 톡 DB를 포함한다.
그리고 이러한 식물의 정보는 다양하게 변형 및 수정될 수 있다. 그리고 데이터베이스부(330)는 필요에 따라 가입자 정보를 저장하는 가입자 데이터베이스(331)를 더 포함하고, 가입자 인증을 하여 가입자에게만 식물과톡 서비스를 제공할 수도 있다.
상기 정보 제공 서버(320)는, 상기 식물의 화상 정보로부터 상기 식물의 패턴을 인식하는 특징 추출부(321); 상기 추출된 식물의 패턴과 상기 식물 DB를 비교하여 상기 식물의 종류와 현재 상태를 인식하는 비교부(322);
상기 비교부의 비교결과 일치도가 높은 소정 기준값 이상이 경우, 인식된 식물의 종류와 상태를 상기 단말기로 송신하고, 일치도가 소정 기준값 이하인 경우, 재송신을 요청하는 메시지를 상기 단말기에 송신하는 상태 제공부(323)를 포함한다.
상기 식물의 상태에 대응되는 식물영양제를 추천하여 상기 단말기에 제공하는 식물영양제 추천부(324)를 더 포함한다.
상기 단말기의 선택에 따라 상기 식물 영양제를 구매처리하는 구매처리부(325)를 더 포함한다.
상기 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천하는 식물 추천부를 더 포함한다.
상기 톡 DB를 참조하여 상기 단말기와 톡을 하는 톡 진행부를 더 포함한다.
이하에서는 본 발명의 실시예에 적용되는 단말기에 관하여 설명한다.
단말기(100)는 인터넷이 가능한 컴퓨터, 스마트폰, 노트북 컴퓨터, 정보 단말기, 태블릿 PC 등 다양한 전자기기를 포함한다.
도 2는 본 발명의 실시예에 따른 단말기의 구성도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 단말기는, 입력부(110), 표시부(120), 통신부(130), 제어부(140), 스피커(150), 저장부(160), 타이머(170), GPS부(180), 카메라부(190)를 포함한다.
본 발명의 실시예의 단말기는 스마트폰, 태블릿 PC 등인 것이 바람직하지만 경우에 따라서는 일반 컴퓨터나 이동통신 단말기일 수도 있다.
입력부(110)는 사용자의 선택을 입력받으며, 키보드, 마우스, 터치스크린 등을 포함할 수 있다.
GPS부(180)는 외부의 위성으로부터 수신되는 신호를 이용하여 자신의 좌표를 생성하여 출력한다.
카메라부(190)는 꽃, 나무 등의 식물을 촬영하여 영상을 출력한다. 경우에 따라서는 음성 녹음 기능도 갖는다.
저장부(160)는 제어프로그램을 내장할 수 있고, 필요에 따라서는 촬영된 영상 정보를 저장한다.
스피커(150)는 음성을 출력하며, 벨소리, 사람의 음성 등을 출력할 수 있다.
표시부(120)는 다양한 선택정보, 촬영된 영상, 비교 결과 정보 등을 표시한다.
통신부(130)는 통신기능을 수행하며, 전화기능이나 인터넷 등을 이용 시에 외부의 통신망을 통해 통신기능을 수행한다.
제어부(140)는 상기 입력부(110)를 통해 상기 식물과톡 서비스가 선택되면, 해당 어플리케이션을 실행하고, 상기 카메라부(190)를 구동하여 상기 식물의 영상을 취득하고, 취득한 영상에서 해당 식물의 형상을 인식하여 상기 웹서버(310)로 전송하고, 상기 웹서버(310)로부터 수신되는 결과정보를 상기 표시부(120)에 표시한다.
타이머(170)는 날짜 및 시간정보를 제공한다.
그러면, 이러한 구성을 가진 단말기 및 식물과톡 서비스 시스템의 동작에 대해 상세히 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 식물과톡 서비스 방법의 동작 흐름도이다.
도 3을 참조하면, 단말기(100)의 화면에서 식물과톡 서비스를 선택하면, 제어부(140)는 식물과톡 서비스 화면을 표시부(120)에 제공한다.
그리고 단말기 사용자는 베란다나 실내에 위치하는 식물의 상태를 알아보거나 또는 식물과톡으로부터 요청을 받아, 입력부(110)를 조작하여 카메라를 구동하여 사진을 촬영하게 된다. 이때, 도 4와 같이, 식물과톡을 통해 촬영 요청을 받을 수 있다.
이후 사용자는 해당 식물에 대해 카메라부(190)에 식물이 올바로 찍힐 수 있도록 각도를 조정하여 사진찍기를 선택한다. 그러면, 제어부(140)의 제어에 의해 카메라부(190)가 해당 식물을 촬영하여 출력한다(S120).
그리고 나서, 제어부(140)는 취득한 영상에서 해당 식물의 형상을 인식하여 상기 웹서버(310)로 전송한다. 필요에 따라서는 사용자가 식물영역을 확정하고(S130), 제어부(140)가 확정된 영상을 인식하여 상기 웹서버(310)로 전송한다(S140).
여기서, 전체 영상을 보낼 수도 있지만 데이터량을 줄이기 위해 식물의 형상만을 인식하여 송신한다. 이때 필요에 따라 제어부(140)는 GPS부(180) 및 타이머부(170)를 참조하여 단말기의 위치, 날짜 및 시간 정보를 추가로 취득하여 웹서버(310)로 송신할 수도 있다(S140).
그러면, 웹서버(310)가 상기 단말기(100)로부터 식물의 화상 정보를 수신한다.
그리고 나서, 정보 제공 서버(320)의 특징 추출부(321)가 상기 식물의 화상 정보로부터 상기 식물의 패턴을 추출한다(S230).
다음, 상기 정보 제공 서버(320)의 비교부(322)가 데이터베이스부(330)에 저장된 식물의 정보와 상기 인식된 식물의 패턴을 비교한다(S240).
비교결과 인식된 식물의 패턴이 저장된 식물의 정보와 일치하는지 일치도를 생성하고(S250), 일치도가 기준값 이상인지 판단한다(S241). 예를 들어 일치도가 80% 이하인 경우에는 사진이 잘 못 찍힌 것으로 판단하여 다시 재전송 요청을 한다(S141). 이때, 필요한 환경조건을 식물과톡 앱의 푸시알림으로 마치 식물이 말하는 것처럼 사용자에게 보낼 수도 있고, 시계열 사진으로 판별이 곤란한 경우 "주인님, 저요,,, 사진 한 장만 더 찍어 주세요"라는 톡을 보내 판별의 정확도를 높일 수 있다.
상기 비교부(322)의 비교결과 일치도가 높은 소정 기준값 이상이 경우, 상기 일치도를 페센트화된 근사값으로 생성하고, 상기 정보 제공 서버(320)가 인식된 식물의 종류와 상태를 일치도와 함께 상기 단말기(100)로 송신한다(S260).
그리고 비교부(322)는 상기 식물이 촬영된 위치 및 날짜 정보를 참조하여 해당 위치 및 날짜에 대응하는 상기 데이터베이스부(330)의 식물 정보와 상기 인식된 식물의 패턴을 비교하여 더욱 정확한 비교결과 정보를 제공할 수도 있다. 따라서 더욱 정확한 비교가 가능해진다.
그리고, 현재 상태는 추출된 패턴과 해당 식물의 건강한 상태, 물, 질소, 인산, 칼리 등의 부족한 상태의 영상을 비교하여 판단한다.
상기 과정에서 패턴인식과정 및 비교과정에 대해 이하에서 상세히 설명한다.
식물과톡 서비스란 카메라가 달린 단말기로 사진을 찍어 데이터가 생성되면 이를 유, 무선 인터넷을 통해 전송하면 전송받은 데이터를 정보제공서버(320)가 전처리(Preprocessing) 과정을 통하여 식물의 특징을 추출하고 이를 자율학습(Unsupervised)형 패턴매칭 과정을 통한 인식 결과를 퍼센트화 하여 정보를 요청한 단말기에 결과값을 전송하는 서비스를 말한다.
특징 추출부(321) 및 비교부(322)는 식물을 인식하고 패턴을 분석하여 식물 데이터베이스의 식물 정보와 매칭 하고 식물의 종류와 현재 상태를 명확히 구분하는데 핵심이 있다.
특징 추출부(321)의 패턴 인식은 두 단계로 이루어지는데, 예를 들어 식물의 경우 일차적으로 에지검출을 통하여 잎, 줄기, 꽃 등을 구분해 내며, 불변 모멘트를 이용하여 식물의 유사성이 나타나는 종의 판독을 하며, 이차적으로 PCA법을 통한 식물의 명칭을 판독해 낸다.
위 방법을 구현하기 위한 방법으로는 단말기(100)가 카메라부(190)를 이용하여 광학적 형태의 영상을 아날로그 신호 형태인 전기 신호로 변환하면 카메라부(190)에 있는 CCD(Charge Coupled Device)에 의해 빛의 세기에 비례하는 전기신호로 변환된 2차원 배열 형태의 데이터가 저장부(160)에 저장된다. 저장된 이미지 중 단말기 사용자는 일차적으로 상ㆍ하 및 좌ㆍ우로 늘어나고 줄어드는 움직이는 사각창 형태의 영역기능을 이용하여 식물영역을 선택하여 이를 웹서버(310)로 송신한다.
그러면 특징 추출부(321)가 에지검출을 하고 에지추적을 하여 체인코드화 한다. 코드화된 데이터는 경계를 적절히 분할하여 새로 표본화하면 정규화가 가능해진다. 또한 이를 영역 불변 모멘트를 사용하여 식물의 일차적 판독을 거친 후 이차적으로 PCA(Principal Component Analysis)법을 통하여 특정 식물의 평균영상을 빼 성분값을 얻어낸다. 이 성분값은 비교부(322)에서 데이터베이스부(330)의 축소된 고유벡터 공간할하여 새로 식물 영상들의 성분벡터와 비교해서 유크리디 거리(Euclidian distance)가 최소가 되는 것이 전송된 이미지와 같은 식물로 인식된다.
이를 좀 더 상세히 설명하면 다음과 같다. 에지 검출(Edge Detection)에서 에지 또는 윤곽선은 이미지상에서 밝기가 낮은 값에서 높은 값으로 또는 그 반대로 변하는 부분으로 주로 영역의 경계를 나타내는 특징으로 검출될 수 있다. 에지는 영역의 위치, 모양, 크기 등에 대한 정보를 얻을 수 있다. 이미지상에서 밝기값의 변화율 즉, 미분 값이 특정 임계값보다 더 큰 화소들이 바로 에지가 된다. 다시 말하면 이미지상에서 밝기 변화가 큰 곳은 데이터가 생성되고 밝기 변화가 없는 나머지에서는 0의 값을 가짐으로써 경계선 검출기의 기능을 한다. 이는 현재 사용되고 있는 1, 2차 연산자를 사용한다. 이미지상의 경계가 일정한 방향의 직선인 경우에는 허브변환 또는 마스크법을 사용한다. 에지 세선화(Edge Thinnig)시 이웃 화소들의 기울기 벡터 방향을 비교하여
Figure 112017066523813-pat00001
안에 있는 화소들만을 검사한다. 불규칙한 조명 및 잡음으로 인하여 연결 부 분이 끊어진 경우 구해진 에지점들을 추적하여 윤곽선이 연결되도록 하는 에지 추적(Edge Following)을 실시 하며, 에지검출이 수행된 이미지상의 모든화소 (x, y)에 대한 이웃 화소들 중에서 특징이 비슷한 화소들을 연결한다. 이미지의 전처리 과정이 끝나면 이후 체인코드(Chain Code)화 에 들어간다. 영역의 경계선을 주어 진 방향을 가진 단위 크기 직선들로의 표현은 4연결성 또는 8연결성의 시계 또는 반시계 방향으로 이동하여 처음 시작 화소의 위치로 되돌아오면 종료한다. 경계를 나타내는 체인코드는 출발점에 따라 달라지게 되나 체인코드를 방향을 나타내는 숫자의 열로 생각하여 정규화가 가능하다. 이때 크기가 달라진 경우 경계를 적 절히 새로 표본화 하여 정규화 시킨다. 이후 불변 모멘트(Moments)를 사용하여 일차적으로 식물을 판독하게 된다. 에지 검출로 선택된 이미지는 정규화된 명암도 영상 함수를 2D 확률 변수의 확률 밀도로 해석한다. 0 이 아닌 화소값이 영역을 표현 한다고 가정하면, 에지 선만이 유효한 값으로 사용되며 기존 식물의 에지 이 미지와 비교하여 일차적 식물의 판독에 들어간다. 불변 모멘트의 경우 크기, 이동, 회전 변화에 대해 가장 유사한 일치율을 가지는 식물을 설정하고 이를 PCA법을 이용한 판별에 들어간다.
이차적 판독단계인 PCA(Principal Component Analysis)법은 일차적으로 판독된 이미지가 주어졌을 때 이미 저장된 식물 이미지들 중에서 이미지를 검색해 낸다. 이미지중 식물의 크기가 N X N이고 훈련 집합(training set)에 있는 식물 이미지의 개수가 M개일 때 각각의 식물 이미지를 N2개의 성분을 가지는 1차원 열벡터들로 표현하 면 N2 X M 행렬 X를 구성할 수 있다. 관측 벡터인 Xⅰ는 훈련 집합 안에 있는 각각의 식물의 이미지를 나타낸다.
Xⅰ, i = 1, ..., M
그 다음 훈련 집합의 평균 식물 이미지(mx)을 다음의 식으로 구한다.
mx =
Figure 112017066523813-pat00002
실제 각각의 식물 이미지들은 조명 조건이 다를 수 있으므로, 이를 보정해 주기 위해서 같은 식물 이미지에서 평균 식물 이미지를 뺀
Figure 112017066523813-pat00003
(=Xi - mx)라는 벡터를 구한다. 이렇게 얻어진
Figure 112017066523813-pat00004
라는 벡터를 이용한 X의 공분산 행렬 CX는 다음과 같다.
Figure 112017066523813-pat00005
이 N2 X N2 공분산 행렬에서 데이터의 분포를 가장 잘 표현하는 정규직교 벡터, 즉 N2개의 고유벡터들을 고유값의 크기 순으로 구하면 N X N의 식물이미지들은 기저 함수가 된다.
고유식물이미지를 이용한 인식 과정은 다음과 같다. 우선 처리할 데이터의 양을 줄이기 위해 큰 고유치들에 대응하는 k(k<N2)개의 고유벡터들을 구한다. 일단 새로운 식물이미지 X'가 주어지면 새 이미지(일차적으로 판독된 이미지)를 위에서 구한 일련의 고유 식물들로 표현하기 위해, 축소된 고유벡터 공간으로 투사시켜 다음과 같은 식을 통하여 그 성분값을 구한다.
Figure 112017066523813-pat00006
일차적으로 판독된 식물 이미지를 표현하는데 있어서 각각의 고유 식물의 공헌도를 이렇게 얻어진 성분값을 이용하여 다음과 같은 벡터
Figure 112017066523813-pat00007
를 구한다.
Figure 112017066523813-pat00008
일차적으로 판독된 식물이미지와 같은 것을 검색하기 위해서 위의 값을 축소된 고유벡터 공간에 저장된 식물 이미지들의 성분벡터
Figure 112017066523813-pat00009
와 비교해서 유클리디 거리
Figure 112017066523813-pat00010
가 최소가 되는 것이 입력 이미지식물과 같은 식물로 인식 된다.
식물의 경우 변수는 식물체의 생김새(형태)에 따라 분류 할 수 있는데 이는 식물 형태학(곤충은 곤충형태학)에 따르며 식물의 다양성은 적자생존(기후, 환경 등)이라는 자연선택에 의한 진화 과정의 결과물이며, 이는 식물의 다양성 및 고유성을 나타내는 특징이 되며, 이에 식물의 형태를 통한 동정 이 가능하다.
일예로 식물은 잎, 뿌리, 줄기, 꽃 등으로 형태학적 분류가 가능하고 잎은 단엽, 복엽, 자엽, 전출엽, 저장엽, 포충엽, 탁엽, 가시, 소엽, 대엽 등으로 형태적 구분이 가능하고 꽃잎 은 종형, 호형, 누두형, 순형, 분형, 통형, 설형, 접형, 화피편 등으로 구분이 가능하다. 뿌리 역시 주근, 측근, 저장근, 기근, 수축근, 호흡근, 뿌리혹 등으로 형태적 구분이 명확하다.
우리나라의 식물은 약 30 ,000여 종으로 이중 국립식물자원관에 23,000여 종의 식물 자료가 수집되어 있으며, 일반인이 접할 수 있는 식물의 종류는 약 6,000여 종이고, 이중 20%인 약 1,200여 종의 식물이 식용 가능하다.
위에서 살펴본 바와 같이, 식물은 종류에 따라 매우 명확하게 구분되는 성질이 있으며, 식물 분류에 따라 명확한 차이가 일어난다. 즉, 같은 문, 같은 강, 같은 목, 같은 과의 식물이라 해도 종이 다르다면 명확히 구분 할 수 있다.
따라서, 본 발명의 실시예에서는 이러한 차이를 패턴인식방법을 통해 데이터화 하고, 이를 기존 식물들의 영상 데이터와 비교 분석하여 식물 동정을 정확히 할 수 있다.
그리고 필요에 따라서는 위에 기재된 패턴인식 방법 외에도 기존 기술의 패턴인식기술을 이용하여 식물과톡 서비스를 제공할 수도 있다.
예를 들면, 정보제공서버(320)로 보내진 사진은 촬영시의 광원 조건을 국지기상과 시간으로 보정 하여 모양의 변화 양상과 색상의 미세한 변화를 리모트센싱 판별함수와 유사 한 인공지능 분석엔진으로 판별할 수 있다.
이후 단말기(100)는 수신된 분석결과 정보를 표시부(120)에 표시한다(S150). 즉, 식물의 종류와 현재 상태를 알려준다.
또한, 상기 정보 제공 서버(320)의 식물영양제 추천부(324)가 상기 식물의 상태에 대응되는 식물영양제를 추천하여 상기 단말기에 제공한다. 통상 복합비료의 경우 20-15-20과 같이 질소, 인산, 칼리의 배합비율을 표기하여 거래되는 데 인공지능 분석엔진으로 판별된 조건에 따라 식물이 원하는 가장 적절한 비율의 맞춤형 영양제를 "주인님, 저,,, 3번 영양차 먹고싶어 요!"와 같이 전달함으로써 구입할 수 있도록 할 수 있다.
그리고, 상기 정보 제공 서버(320)의 식물 추천부가 상기 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천한다. 예를 들면, 노인들에게는 치매를 방지하는 식물이나 잠이 잘 오게 하는 식물을 추천하고, 청소년에게는 공부에 도움이 되는 머리를 맑게해주는 식물을 추천할 수 있다(S270).
이후, 이후 단말기 사용자의 선택에 따라(S160) 처음(S170)으로 돌아갈 수도 있고, 식물 또는 식물 영양제 구입을 선택할 수도 있다.
단말기 사용자가 식물 또는 식물 영양제 구입을 선택하는 경우, 상기 정보 제공 서버(320)의 구매처리부(325)가 상기 단말기의 선택에 따라 상기 식물 또는 식물 영양제를 구매처리한다(S280). 구매처리가 완료되면 배송이 이루어진다. 이대 영양제는 필요에 따라 1~5번 영양차로 명명하여 식물과 대화하며 차를 마시는 톡을 할 수도 있다.
한편, 필요에 따라서는 정보제공서버(320)가 식물 또는 식물영양제를 구입할 수 있는 꽃집 등을 안내해 줄 수도 있다.
또한, 필요에 따라서는 서버가 원격으로 영양제주입기를 제어하여 영양제를 자동으로 공급 또는 차단하도록 할 수도 있다.
본 발명의 실시예에서는, 화분마다 별도의 센서 장치가 필요 없고, 스마트폰 하나로 여러개의 화분과 식물을 등록 하여 관리할 수 있다.
또한, 본 발명의 실시예에서는, 맞춤형 식물영양제의 추천 및 구입이 편리하다.
또한, 본 발명의 실시예에서는, 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천할 수 있다.
또한, 본 발명의 실시예에서는, 사용자에게 재미와 흥미를 유발할 수 있다.
이상 에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으 며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용 한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 적어도 하나의 단말기(100)가 네트워크망을 통해 접속하는 식물과톡 서비스 시스템의 식물과톡 서비스 방법으로서,
    사용자가 상기 단말기(100)의 화면에서 식물과톡 서비스를 선택하면, 제어부(140)는 식물과톡 서비스 화면을 표시부(120)에 표시하는 단계;
    사용자가 베란다나 실내에 위치하는 식물의 상태를 알아보거나 또는 식물과톡으로부터 요청을 받아, 입력부(110)를 조작하여 카메라를 구동하여 사진을 촬영하면, 상기 제어부(140)의 제어에 의해 카메라부(190)가 해당 식물을 촬영하는 단계(S120);
    상기 제어부(140)가 취득한 영상에서 해당 식물의 형상을 인식하여 웹서버(310)로 전송하되, 사용자가 식물영역을 확정하고(S130), 상기 제어부(140)가 확정된 영상을 인식하여 웹서버(310)로 전송하는 단계(S140);
    웹서버(310)가 상기 단말기(100)로부터 식물의 화상 정보를 수신하고, 정보 제공 서버(320)의 특징 추출부(321)가 상기 식물의 화상 정보로부터 상기 식물의 패턴을 추출하는 단계(S230);
    상기 정보 제공 서버(320)의 비교부(322)가 상기 식물이 촬영된 위치 및 날짜 정보를 참조하여 해당 위치 및 날짜에 대응하는 데이터베이스부(330)의 식물 정보와 상기 추출된 식물의 패턴을 비교하여 비교결과 정보를 제공하는 단계(S240);
    비교결과 인식된 식물의 패턴이 저장된 식물의 정보와 일치하는지 판단하되 일치도를 생성하고(S250), 일치도가 기준값 이상인지 판단하는 단계(S241);
    일치도가 기준값 이하인 경우에는 사진이 잘못 찍힌 것으로 판단하여 재전송 요청을 하는 단계(S141);
    상기 비교부(322)의 비교결과 일치도가 소정 기준값 이상인 경우, 상기 일치도를 퍼센트화된 근사값으로 생성하고, 상기 정보 제공 서버(320)가 인식된 식물의 종류와 상태를 일치도와 함께 상기 단말기(100)로 송신하는 단계(S260)를 포함하고,
    상기 특징 추출부(321)의 패턴 인식은 두 단계로 이루어지며, 식물의 경우 일차적으로 에지검출을 통하여 잎, 줄기, 꽃 등을 구분해 내고, 불변 모멘트를 이용하여 식물의 유사성이 나타나는 종의 판독을 하며, 이차적으로 PCA법을 통한 식물의 명칭을 판독해 내는 것을 특징으로 하며,
    상기 정보 제공 서버가 상기 식물의 상태에 대응되는 식물영양제를 추천하여 상기 단말기에 제공하는 단계;
    상기 정보 제공 서버가 상기 단말기의 선택에 따라 상기 식물 영양제를 구매처리하는 단계;
    상기 정보 제공 서버가 상기 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천하는 단계;
    상기 정보 제공 서버가 상기 단말기의 선택에 따라 상기 식물을 구매처리하는 단계를 더 포함하고,
    상기 정보 제공 서버가 상기 식물의 상태에 대응되는 식물영양제를 추천하여 상기 단말기에 제공하는 단계는,
    복합비료의 경우 20-15-20과 같이 질소, 인산, 칼리의 배합비율을 표기하여 거래되는데 인공지능 분석엔진으로 판별된 조건에 따라 식물이 원하는 가장 적절한 비율의 맞춤형 영양제를 "주인님, 저,,, 3번 영양차 먹고 싶어요!"와 같이 전달함으로써 구입할 수 있도록 하고,
    상기 정보 제공 서버가 상기 사용자의 연령 및 성별 또는 취향에 적합한 식물을 추천하는 단계는,
    노인들에게는 치매를 방지하는 식물이나 잠이 잘 오게 하는 식물을 추천하고, 청소년에게는 공부에 도움이 되는 머리를 맑게해주는 식물을 추천하는 것을 특징으로 하고,
    톡 진행부가 톡 DB를 참조하여 상기 단말기와 톡을 진행하되,
    상기 단계(S141)에서 필요한 환경조건을 식물과톡 앱의 푸시알림으로 식물이 말하는 것처럼 사용자에게 보내며,
    상기 제어부(140)는 시계열 사진으로 판별이 곤란한 경우 "주인님, 저요,,, 사진 한 장만 더 찍어 주세요"라는 톡을 표시하는 것을 특징으로 하고,
    상기 단말기(100)는,
    사용자의 선택을 입력받는 입력부(110);
    식물을 촬영하는 카메라부(190);
    정보를 표시하는 표시부(120);
    상기 입력부를 통해 상기 식물과톡 서비스가 선택되면, 해당 어플리케이션을 실행하고, 상기 카메라부를 구동하여 상기 식물의 영상을 취득하고, 취득한 영상에서 해당 식물의 형상을 인식하여 상기 웹서버로 전송하고, 상기 웹서버로부터 수신되는 결과정보를 상기 표시부에 표시하는 제어부(140)를 포함하는 것을 특징으로 하는
    식물과톡 서비스 방법.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020170088244A 2017-07-12 2017-07-12 단말기를 이용한 식물과톡 서비스 방법 KR102281983B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170088244A KR102281983B1 (ko) 2017-07-12 2017-07-12 단말기를 이용한 식물과톡 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170088244A KR102281983B1 (ko) 2017-07-12 2017-07-12 단말기를 이용한 식물과톡 서비스 방법

Publications (2)

Publication Number Publication Date
KR20190007186A KR20190007186A (ko) 2019-01-22
KR102281983B1 true KR102281983B1 (ko) 2021-07-27

Family

ID=65320608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170088244A KR102281983B1 (ko) 2017-07-12 2017-07-12 단말기를 이용한 식물과톡 서비스 방법

Country Status (1)

Country Link
KR (1) KR102281983B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200131117A (ko) 2019-05-13 2020-11-23 김수경 화분 정보 알람 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130006865A (ko) * 2011-06-24 2013-01-18 옥요한 단말기, 이를 이용한 바로샷 생물 도감 서비스 시스템 및 방법
KR101415933B1 (ko) * 2012-11-08 2014-07-08 재단법인대구경북과학기술원 식물 생장 모니터링 시스템
KR20160110634A (ko) * 2015-03-10 2016-09-22 이상창 스마트 식물 재배 장치 및 스마트 식물 재배 방법
KR20160129971A (ko) * 2015-04-30 2016-11-10 (주)제이케이데이터시스템즈 사용자 맞춤형 식물 정보 제공 방법, 시스템 및 이에 관한 컴퓨터 판독가능 저장매체

Also Published As

Publication number Publication date
KR20190007186A (ko) 2019-01-22

Similar Documents

Publication Publication Date Title
US20210192247A1 (en) Systems and methods for electronically identifying plant species
US10028452B2 (en) Horticultural monitoring system
CN110458032B (zh) 荔枝生长状况全程监控方法、系统、云服务器及存储介质
CN109173263A (zh) 一种图像数据处理方法和装置
CN107463958A (zh) 昆虫识别预警方法及系统
CN109068596A (zh) 信息处理设备、程序以及信息处理方法
CN111479459A (zh) 生长状况或病虫害发生状况的预测系统、方法以及程序
WO2023098463A1 (zh) 植物识别方法、植物识别设备和植物识别系统
CN112989969A (zh) 一种作物病虫害识别方法及装置
KR102281983B1 (ko) 단말기를 이용한 식물과톡 서비스 방법
EP3850543A1 (en) Systems and methods for electronically identifying plant species
CN109740432A (zh) 植物监控方法、装置、计算机设备及存储介质
WO2023071869A1 (zh) 植物推荐方法、可读存储介质和电子设备
KR102407339B1 (ko) 어로 활동을 통해 포획한 수생 생물의 정보를 제공하는 서버, 방법 및 사용자 단말
KR20160129971A (ko) 사용자 맞춤형 식물 정보 제공 방법, 시스템 및 이에 관한 컴퓨터 판독가능 저장매체
KR20130006865A (ko) 단말기, 이를 이용한 바로샷 생물 도감 서비스 시스템 및 방법
KR20200087343A (ko) 딥 러닝을 이용한 식물 분류 시스템 및 그 방법
WO2018196197A1 (zh) 一种种植物信息获取方法以及装置
CN117576571B (zh) 基于图像和文本的多模态果蔬叶片病害识别方法及系统
KR20130045287A (ko) 단말기, 이를 이용한 바로샷 생물 도감 서비스 시스템 및 방법
KR102637037B1 (ko) 어로 활동을 통해 포획한 수중 생물에 대한 가상 아쿠아리움 서비스를 제공하는 서버, 방법 및 사용자 단말
TWI777465B (zh) 產業溯源管理系統與方法
KR102139316B1 (ko) 파충류 거래 플랫폼을 운용하는 서버 및 그 동작 방법
US11159713B2 (en) Imaging system and method of producing images
KR20220170721A (ko) 반려식물 생육 관리 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant