KR20170095166A - 식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 - Google Patents

식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR20170095166A
KR20170095166A KR1020170019668A KR20170019668A KR20170095166A KR 20170095166 A KR20170095166 A KR 20170095166A KR 1020170019668 A KR1020170019668 A KR 1020170019668A KR 20170019668 A KR20170019668 A KR 20170019668A KR 20170095166 A KR20170095166 A KR 20170095166A
Authority
KR
South Korea
Prior art keywords
plant
image
growth
prescription
communication
Prior art date
Application number
KR1020170019668A
Other languages
English (en)
Other versions
KR101938046B1 (ko
Inventor
이종영
김경진
Original Assignee
경일대학교산학협력단
이종영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경일대학교산학협력단, 이종영 filed Critical 경일대학교산학협력단
Publication of KR20170095166A publication Critical patent/KR20170095166A/ko
Application granted granted Critical
Publication of KR101938046B1 publication Critical patent/KR101938046B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A01G1/001—
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Botany (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 식물의 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 식물의 생육 상태 별로 요구되는 조취가 기록된 식물생육가이드를 저장하는 저장모듈과, 통신을 위한 통신모듈과, 화면을 표시하기 위한 표시모듈과, 상기 통신 모듈을 통해 식물의 생육 환경이 측정된 센서 데이터 및 상기 식물이 촬영된 영상을 수신하면, 상기 센서 데이터 및 상기 영상을 상기 표시모듈을 통해 표시하고, 상기 센서 데이터 및 상기 영상에 따라 상기 식물의 생육 상태를 평가하고, 평가 결과에 따라 상기 식물생육가이드로부터 상기 요구되는 조취를 추출하여 추출된 조취를 상기 표시부를 통해 표시하는 제어모듈을 포함하는 것을 특징으로 하는 식물 생육을 관리하기 위한 장치와, 이에 따른 방법 및 이러한 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.

Description

식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus for managing plant growth, method thereof and computer recordable medium storing the method}
본 발명은 식물 생육 관리 기술에 관한 것으로, 보다 상세하게는, 다양한 센서를 기반으로 식물의 생육 환경을 모니터하고, 이를 기초로 해당 식물에게 알맞은 생육 환경을 제공하도록 하기 위한 식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.
사물인터넷(IoT, Internet of Things)은 "지능화된 사물들이 연결되어 형성되는 네트워크상에서 사람과 사물(물리 또는 가상), 사물과 사물 간에 상호 소통하는 상황인식 기반의 지식이 결합되어 지능적인 서비스를 제공하는 글로벌 인프라"로 정의할 수 있다. 최근 들어 다양한 정보통신 기술이 융합하여 사물의 정보를 제공하고 제공받기 위한 제반 솔루션이 확대되고 있다.
한국공개특허 제2013-0011578호 2013년 01월 30일 공개 (명칭: 하우스용 농작물 원격감시 스마트단말기)
본 발명의 목적은 식물의 생육 환경을 센서를 통해 측정하고, 바람직한 생육을 위한 해법을 제시할 수 있는 식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 식물 생육을 관리하기 위한 모니터 장치는 통신을 위한 통신부와, 상기 식물의 영상을 촬영하기 위한 카메라부와, 상기 식물의 주변의 생육 환경을 측정하기 위한 센서부와, 상기 통신부를 통해 상기 측정된 생육 환경 및 상기 촬영된 영상을 사용자장치로 전송하는 제어부를 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 식물 생육을 관리하기 위한 장치는 식물의 생육 상태 별로 요구되는 조취가 기록된 식물생육가이드를 저장하는 저장모듈과, 통신을 위한 통신모듈과, 화면을 표시하기 위한 표시모듈과, 상기 통신 모듈을 통해 식물의 생육 환경이 측정된 센서 데이터 및 상기 식물이 촬영된 영상을 수신하면, 상기 센서 데이터 및 상기 영상을 상기 표시모듈을 통해 표시하고, 상기 센서 데이터 및 상기 영상에 따라 상기 식물의 생육 상태를 평가하고, 평가 결과에 따라 상기 식물생육가이드로부터 상기 요구되는 조취를 추출하여 추출된 조취를 상기 표시모듈을 통해 표시하는 제어모듈을 포함한다.
또한, 전술한 본 발명의 바람직한 실시예에 따른 식물 생육을 관리하기 위한 방법과, 그 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명의 실시예에 따른 식물 생육 관리 장치는 시간과 공간의 제한으로 현장 학습을 수행하기 어려운 어린 학생들에게 식물을 직접 키워 관찰 할 수 있도록 하여, 체험과 기록의 체계적인 접근을 가능하게 하며, 학생들의 식물에 대한 사용자 경험(UX)을 풍부하게 할 수 있다.
도 1은 본 발명의 실시예에 따른 식물 생육을 관리하기 위한 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 모니터 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 사용자장치의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 도면이다.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
먼저, 본 발명의 실시예에 따른 식물 생육을 관리하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 식물 생육을 관리하기 위한 시스템의 구성을 설명하기 위한 블록도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 식물 생육 관리 시스템은 모니터 장치(100) 및 사용자장치(200)를 포함한다.
모니터 장치(100)는 식물의 영상을 촬영하고, 식물의 주변의 생육 환경을 측정한다. 이러한 생육 환경은 온도, 습도 등을 포함한다. 그리고 모니터 장치(100)는 측정된 생육 환경 및 상기 촬영된 영상을 사용자장치(200)로 전송한다. 또한, 사용자장치(200)로부터 수신된 영상을 식물 자체 혹은 식물이 심어진 화분에 부착된 스크린에 영사하여 사용자에게 정보를 제공한다. 사용자장치(200)는 모니터 장치(100)로부터 식물의 생육 환경 및 영상을 수신하고, 식물의 현재 상태를 평가하고, 그 평가에 따라 사용자가 알맞은 조취를 취하도록 필요한 조취를 표시모듈(e.g, 스마트폰의 화면)을 통해 표시한다. 또한, 사용자장치(200)는 사용자가 해당 조취를 직관적으로 실행할 수 있도록 하는 영상을 구성하고, 이를 모니터장치(100)로 전송한다.
다음으로, 본 발명의 실시예에 따른 모니터 장치(100)의 구성에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 모니터 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 모니터 장치(100)는 화분(10)과 스크린(20), 통신부(110), 카메라부(120), 조명부(130), 센서부(140), 영사부(150), 저장부(160) 및 제어부(170)를 포함한다. 여기서, 화분(10)은 식물을 심기 위한 것이며, 화분(10)의 일측에 스크린(20)이 배치된다. 그리고 통신부(110), 카메라부(120), 조명부(130), 센서부(140), 영사부(150), 저장부(160) 및 제어부(170)는 화분(10) 내에 혹은 화분(10) 외부에 설치된다.
통신부(110)는 사용자장치(200)와 통신을 위한 것으로, 광대역이동통신, 무선근거리통신 및 피어투피어(Peer-to-Peer) 연결 방식을 이용하여 통신할 수 있다. 이러한 통신부(110)는 광대역이동통신, 무선근거리통신 및 피어투피어(Peer-to-Peer) 연결 방식의 통신 기능이 모두 구현되어 있는 하나의 모듈로 구현되어, 전술한 3가지 기능 중 적어도 하나를 선택하여 동작하는 것으로 설명될 것이다. 하지만, 통신부(110)는 광대역이동통신, 무선근거리통신 및 피어투피어(Peer-to-Peer) 연결 방식 각각의 통신 기능을 별도로 수행하는 복수의 모듈로 구현될 수도 있다. 여기서, 광대역이동통신은 대표적으로, LTE, LTE-A 등의 표준에 따른 통신을 예시할 수 있다. 또한, 무선근거리통신은 Wi-Fi(wireless fidelity)를 이용하는 WLAN(Wireless Local Area Network) 통신을 예시할 수 있다. 그리고 피어투피어(Peer-to-Peer) 연결 방식은 블루투스(Bluetooth) 표준에 따른 통신을 예시할 수 있다. 통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 통신부(110)는 무선 채널을 통해 데이터를 포함하는 신호를 수신하여 제어부(170)로 전달할 수 있다. 또한, 통신부(110)는 제어부(170)로부터 전달 받은 데이터를 무선 신호로 변환하여 무선 채널을 통해 전송할 수 있다.
카메라부(120)는 영상을 촬영하기 위한 것으로, 이미지 센서를 포함한다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(120)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(170)로 출력할 수 있다.
조명부(130)는 식물을 조명하기 위한 것으로, 이러한 조명부(130)는 단순한 조명뿐만 아니라, 조명에 의해 발생되는 열을 통해 식물 주변의 온도를 조절할 수도 있다.
센서부(140)는 식물의 생육 환경을 측정하기 위한 것이다. 이러한 센서부(140)는 식물 주변의 온도를 측정하기 위한 온도계와, 식물 주변의 습도를 측정하기 위한 습도계를 포함한다. 센서부(140)는 측정된 생육 환경, 즉, 온도 및 습도를 제어부(170)에 전달한다.
영사부(150)는 식물(R) 혹은 스크린(20)에 영상을 영사하기 위한 것으로, 소위, 프로젝터가 될 수 있다. 영사부(150)는 도시되지는 않았지만, 프로젝터모듈 및 광학계를 포함한다. 프로젝터모듈은 제어부(170)로부터 출력되는 영상을 마이크로 디스플레이 패널을 통해 발산한다. 그러면, 광학계는 그 영상을 반사시키거나, 굴절시켜 영사한다.
저장부(160)는 모니터 장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 모니터 장치(100)의 전반적인 동작을 제어하는 프로그램 및 모니터 장치(100)를 부팅시키는 운영체제(OS, Operating System), 어플리케이션을 등을 저장할 수 있다. 데이터 영역은 모니터 장치(100)의 사용에 따라 발생하는 사용자 데이터가 저장되는 영역이다. 또한, 저장부(160)는 모니터 장치(100) 사용에 따라 발생되는 각 종 데이터, 예컨대, 영상, 출입기록 등을 저장할 수 있다. 저장부(160)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어부(170)는 모니터 장치(100)의 전반적인 동작 및 모니터 장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(170)는 예컨대, 중앙 처리 장치(Central Processing Unit : CPU), 어플리케이션 프로세서(Application Processor: AP), 마이크로컨트롤러(micro-controller) 등을 예시할 수 있다. 제어부(170)는 저장부(160)에 저장된 운영체제(OS, Operating System)를 로드하여 부팅을 수행하고, 어플리케이션을 로드시켜 실행시키며, 필요한 경우, 임시 저장 공간으로 버퍼를 할당할 수 있다. 제어부(170)는 통신부(110)를 통해 센서부(140)가 측정한 생육 환경 및 카메라부(120)가 촬영한 식물의 영상을 사용자장치(200)로 전송하도록 제어한다. 이러한 제어부(170)의 동작은 아래에서 보다 상세하게 설명될 것이다.
다음으로, 본 발명의 실시예에 따른 사용자장치(200)에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 사용자장치의 구성을 설명하기 위한 블록도이다. 도 3을 참조하면, 본 발명의 실시예에 따른 사용자장치(200)는 통신모듈(210), 입력모듈(220), 표시모듈(230), 저장모듈(240) 및 제어모듈(250)을 포함한다.
통신모듈(210)은 모니터 장치(100)와 통신을 위한 것으로, 광대역이동통신, 무선근거리통신 및 피어투피어(Peer-to-Peer) 연결 방식을 이용하여 통신할 수 있다. 이러한 통신모듈(210)은 광대역이동통신, 무선근거리통신 및 피어투피어(Peer-to-Peer) 연결 방식의 통신 기능이 모두 구현되어 있는 하나의 모듈로 구현되어, 전술한 3가지 기능 중 적어도 하나를 선택하여 동작하는 것으로 설명될 것이다. 하지만, 통신모듈(210)은 광대역이동통신, 무선근거리통신 및 피어투피어(Peer-to-Peer) 연결 방식 각각의 통신 기능을 별도로 수행하는 복수의 모듈로 구현될 수도 있다. 전술한 바와 마찬가지로, 광대역이동통신은 LTE, LTE-A 표준에 따른 통신, 무선근거리통신은 Wi-Fi(wireless fidelity)를 이용하는 WLAN(Wireless Local Area Network) 통신, 그리고 피어투피어(Peer-to-Peer) 연결 방식은 블루투스(Bluetooth) 표준에 따른 통신을 예시할 수 있다. 통신모듈(210)은 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 통신모듈(210)은 무선 채널을 통해 데이터를 포함하는 신호를 수신하여 제어모듈(250)로 전달할 수 있다. 또한, 제어모듈(250)로부터 전달 받은 데이터를 무선 신호로 변환하여 무선 채널을 통해 전송할 수 있다.
입력모듈(220)은 사용자장치(200)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어모듈(250)에 전달한다. 입력모듈(220)은 전원 on/off를 위한 전원 키, 숫자 키, 방향키 중 어느 하나를 포함할 수 있으며, 사용자장치(200)의 일면에 소정의 기능키로 형성될 수 있다. 표시모듈(230)이 터치스크린으로 이루어진 경우, 입력모듈(220)의 각 종 키들의 기능이 표시모듈(230)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력모듈(220)은 생략될 수도 있다.
표시모듈(230)은 사용자장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시모듈(230)은 사용자장치(200)의 부팅 화면, 대기 화면, 메뉴 화면 등의 각종 화면을 출력하는 기능을 수행한다. 이러한 표시부(110)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시모듈(230)은 터치스크린으로 구현될 수 있다. 이러한 경우, 표시모듈(230)은 터치센서를 포함하며, 제어모듈(250)은 터치센서를 통해 사용자의 터치 입력을 감지할 수 있다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어모듈(250)로 전송한다. 이러한 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함될 수 있다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어모듈(250)로 전송할 수 있다. 특히, 표시모듈(230)이 터치스크린으로 이루어진 경우, 입력모듈(220) 기능의 일부 또는 전부는 표시모듈(230)을 통해 이루어질 수 있다.
저장모듈(240)은 사용자장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 사용자장치(200)의 전반적인 동작을 제어하는 프로그램 및 사용자장치(200)를 부팅시키는 운영체제(OS, Operating System), 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 사용자장치(200)의 사용에 따라 발생하는 사용자 데이터가 저장되는 영역이다. 또한, 저장모듈(240)은 사용자의 사용자장치(200) 사용에 따라 발생되는 각 종 데이터를 저장할 수 있다. 특히, 저장모듈(240)은 식물의 생육 상태 별로 요구되는 조취가 기록된 식물생육가이드를 저장한다. 저장모듈(240)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어모듈(250)은 사용자장치(200)의 전반적인 동작 및 사용자장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어모듈(250)은 중앙 처리 장치(Central Processing Unit : CPU), 애플리케이션 프로세서(Application Processor), 그래픽 프로세서(GPU: graphic processing unit) 등이 될 수 있다. 제어모듈(250)은 식물의 생육 환경이 측정된 센서 데이터, 예컨대, 온도 및 습도와, 식물이 촬영된 영상을 통신모듈(210)을 통해 모니터 장치(100)로부터 수신할 수 있다. 그러면, 제어모듈(250)은 센서 데이터 및 영상을 표시모듈(230)을 통해 표시할 수 있다. 또한, 제어모듈(250)은 센서 데이터 및 영상에 따라 식물의 생육 상태를 평가할 수 있다. 그리고 제어모듈(250)은 그 평가 결과에 따라 저장모듈(240)의 식물생육가이드로부터 해당 식물에 요구되는 조취를 추출하고, 추출된 조취를 표시모듈(230)을 통해 표시할 수 있다. 이러한 제어모듈(250)의 동작은 아래에서 보다 상세하게 설명될 것이다.
또한 도시되진 않았으나, 본 발명의 실시예에 따른 사용자장치(200)는 메모리 카드와 같은 외부 저장 매체를 삽입하여 데이터 저장을 가능토록 하는 저장매체 삽입부, 외부 디지털 기기와의 데이터 교환을 위한 연결 단자, 전원 공급 혹은 충전을 위한 단자 등을 구비할 수 있다. 또한, 사용자장치(200)는 마이크 및 스피커를 통해 오디오 신호, 음성 신호 등을 입력 혹은 출력하는 오디오 처리 모듈 등의 부가 기능을 갖는 유닛들을 선택적으로 더 포함하여 구성될 수 있다. 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 사용자장치(200)에 추가로 더 포함되어 구성될 수 있다는 것은 본 기술분야의 통상의 지식을 가진 자라면 쉽게 이해할 수 있을 것이다.
그러면, 전술한 모니터장치(100) 및 사용자장치(200)를 이용한 식물 생육을 관리하기 위한 방법에 대해서 설명하기로 한다. 먼저, 본 발명의 일 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기로 한다. 도 4는 본 발명의 일 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 일 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 도면이다.
도 4 및 도 5를 참조하면, 모니터장치(100)의 제어부(170)는 카메라부(120)를 통해 식물을 촬영하고, 센서부(130)를 통해 식물의 생육 환경을 측정하고, S110 단계에서 식물의 생육 환경과 식물의 영상을 통신부(110)를 통해 사용자장치(200)로 전송한다.
그러면, 사용자장치(200)의 제어모듈(250)은 통신모듈(210)을 통해 식물의 생육 환경과 영상을 수신하여 S120 단계에서 표시모듈(230)을 통해 식물의 생육 환경 및 영상을 표시할 수 있다.
그리고 제어모듈(250)은 S130 단계에서 저장모듈(240)에 저장된 식물생육가이드와 식물의 생육 환경 및 영상을 비교하여 식물의 생육 상태를 비교한다. 식물생육가이드는 식물의 생육 환경에 따른 생육 상태를 저장한다. 여기서, 저장된 생육 상태는 식물의 영상(이미지)가 될 수 있다. 따라서 제어모듈(250)은 앞서 수신된 식물의 생육 환경 및 영상과 식물생육가이드를 비교할 수 있다. 그런 다음, 제어모듈(250)은 S140 단계에서 앞선 비교 결과에 따라 조취가 필요한 경우, 식물생육가이드로부터 요구되는 처방을 추출하고, 추출된 처방에 따른 처방 영상을 생성한다. 식물생육가이드는 식물의 생육 상태에 따라 생육 상태를 개선하기 위한 처방을 더 포함한다. 예컨대, 수신된 영상의 식물의 키가 식물생육가이드 영상의 식물의 키가 차이가 있고, 이러한 키 차이를 개선하기 위한 처방은 영양 주사를 식물에 주사하는 것이 될 수 있다. 이에 따라, 처방 영상은 영양 주사를 식물에 주사하는 것을 안내하기 위한 영상이 될 수 있다. 즉, 제어모듈(250)은 처방에 따라 영상 주사의 종류를 안내하는 텍스트와 영상 주사를 주사하는 위치를 처방 영상으로 생성할 수 있다. 예를 들면, 영양 주사를 식물의 줄기 하부에 주사해야 한다고 가정한다. 그러면, 제어모듈(250)은 앞서 수신된 식물의 영상으로부터 이미지 인식 기법에 따라 식물 줄기의 하부의 영양 주사를 주사하는 위치를 특정한다. 그런 다음, 제어모듈(250)은 도 3에 도시된 바와 같이, 실제 식물(F)의 줄기의 하부에 영상 주사를 주사하는 위치를 나타내는 마크(I)가 영사되도록 처방 영상을 생성한다. 마크(I)를 영사하는 처방 영상을 생성하기 위하여, 저장모듈(240)은 모니터장치(100)의 카메라부(120)의 초점 거리, 주점 거리, 화소 등을 포함하는 카메라 파라미터와 영사부(150)의 초점 거리, 주점 거리, 화소 등을 포함하는 프로젝터 파라미터를 저장한다.
제어모듈(250)은 카메라 파라미터를 통해 카메라부(120)가 촬영한 영상의 각 화소의 3차원 위치를 도출할 수 있다. 또한, 제어모듈(250)은 카메라 파라미터를 통해 카메라부(120)가 촬영한 영상의 각 화소의 카메라 초점을 기준으로 하는 3차원 위치(C1)를 도출할 수 있다. 또한, 제어모듈(250)은 카메라 파라미터를 프로젝터 파라미터에 대해 변환하여 카메라부(120)가 촬영한 영상의 특정 화소에 대응하여 도출된 3차원 위치(C1)에 특정 화면이 영상되도록 하는 영상을 생성할 수 있다. 즉, 제어모듈(250)은 3차원 위치(C1)를 카메라 파라미터 대비 프로젝터 파라미터로 변환하여 해당 영상을 생성한다. 카메라 및 프로젝터 파라미터 변환 방법은 본 발명의 요지가 아니므로 그 자세한 설명은 생략하기로 한다. 이에 따라, 제어모듈(250)은 모니터장치(100)로부터 수신된 식물의 영상에서 영상 주사를 주사해야하는 위치(예컨대, 줄기 하부)를 판별한다. 그런 다음, 제어모듈(250)은 카메라부(120)의 카메라 파라미터 및 영사부(150)의 프로젝터 파라미터를 이용하여 영상 주사를 주사해야하는 위치, 즉, 실제 식물의 줄기 하부에 마크(I)가 영사되도록 처방 영상을 생성한다. 처방 영상을 생성한 후, 사용자장치(200)의 제어모듈(250)은 S150 단계에서 통신모듈(210)을 통해 처방 영상을 모니터장치(100)로 전송한다. 그러면, 모니터장치(100)의 제어부(170)는 통신부(110)를 통해 처방 영상을 수신하고, S160 단계에서 수신된 처방 영상을 식물(R) 및 스크린(20) 중 적어도 하나에 영사한다. 이에 따라, 도 3에 도시된 바와 같이, 처방 영상이 식물(R) 혹은 스크린(20)에 표시된다. 즉, 처방 영상에 의해 식물(R)의 줄기 하부에 마크(I)가 영사되고, 도시되지는 않았지만, 처방 영상에 의해 영양 주사의 종류 및 그 설명 등이 스크린(20)에 표시될 수 있다. 따라서 사용자는 해당 처방 영상을 통해 초심자인 경우에도 손쉽게 생육 상태가 불완전한 식물을 용이하게 관리할 수 있다.
다음으로, 본 발명의 다른 실시예에 따른 식물 생육을 관리하기 위한 방법에 대해서 설명하기로 한다. 본 발명의 다른 실시예에 따르면, 복수의 사용자는 서로 자신이 키우는 식물을 비교할 수 있다. 이러한 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 다른 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 흐름도이다. 도 7은 본 발명의 다른 실시예에 따른 식물 생육을 관리하기 위한 방법을 설명하기 위한 도면이다. 도 6 및 도 7에서 서로 다른 사용자가 사용하는 장치임을 명확하게 하기 위하여 "제1" 및 "제2"라는 용어를 사용하기로 한다. 즉, 도 6의 제1 모니터장치(101) 및 제1 사용자장치(201)는 제1 사용자가 사용하는 장치이며, 도 7의 제2 모니터장치(102) 및 제2 사용자장치(202)는 제1 사용자가 아닌 제2 사용자가 사용하는 장치이다.
도 6을 참조하면, 제1 모니터장치(101)의 제어부(170)는 카메라부(120)를 통해 식물을 촬영하고, 센서부(130)를 통해 제1 식물(F1)의 생육 환경을 측정하고, S110 단계에서 제1 식물(F1)의 생육 환경과 제1 식물(F1)의 영상을 통신부(110)를 통해 제1 사용자장치(201)로 전송한다. 그러면, 제1 사용자장치(201)의 제어모듈(250)은 통신모듈(210)을 통해 제1 식물(F1)의 생육 환경과 영상을 수신하여 이를 저장모듈(240)에 저장하고, S120 단계에서 통신모듈(210)을 통해 제2 사용자장치(202)로 전송한다.
이에 따라, 제2 사용자장치(202)의 제어모듈(250)은 제1 사용자장치(201)로부터 통신모듈(210)을 통해 제1 식물(F1)의 생육 환경과 영상을 수신하여 이를 저장모듈(240)에 저장한다. 그런 다음, 제2 사용자장치(202)의 제어모듈(250)은 S230 단계에서 제2 모니터장치(102)의 스크린(20)에 제1 식물(F1)의 실제 크기와 동일한 크기로 제1 식물(F1)의 영상이 영사되도록 제1 식물(F1)의 영상을 가공한다. 이어서, 제2 사용자장치(202)의 제어모듈(250)은 S240 단계에서 통신모듈(210)을 통해 제1 식물(F1)의 생육 환경과 가공된 영상을 제2 모니터장치(102)로 전송한다.
그러면, 제2 모니터장치(102)의 제어부(170)는 통신부(110)를 통해 이러한 제1 식물(F1)의 생육 환경 및 영상을 수신한 후, S250 단계에서 영사부(150)를 통해 제1 식물의 영상(F1)을 스크린(20)에 영사하되, 제1 식물의 영상(F1)과 실제 제2 식물(F2)을 비교할 수 있도록 제1 식물의 영상(F1)을 실제 크기로 제2 식물(F2)의 옆 스크린(20) 부분에 영사한다. 이때, 제어부(170)는 영사부(150)를 통해 제1 식물(F1)의 생육 환경을 같이 영사할 수 있다. 이러한 예가 도 7에 도시되었다. 도시된 바와 같이, 실제와 동일한 크기로 제1 식물의 영상(F1)이 실제 제2 식물(F2)의 옆에 영사되기 때문에 제2 사용자는 제1 사용자가 키우는 제1 식물과 자신이 키우는 제2 식물을 직관적으로 비교할 수 있다. 여기서, 제1 사용자는 전문가이거나, 제2 사용자의 지인이 될 수 있다. 이러한 본 발명의 실시예에 따르면, 자신이 키우는 식물과 타인이 키우는 식물을 나란히 놓고 보면서 비교할 수 있어, 타인이 키우는 식물을 참조하여 자신이 키우는 식물을 관리할 수 있다.
한편, 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
10: 화분 20: 스크린
100: 모니터장치 110: 통신부
120: 카메라부 130: 조명부
140: 센서부 150: 영사부
160: 저장부
200: 사용자장치 210: 통신모듈
220: 입력모듈 230: 표시모듈
240: 저장모듈 250: 제어모듈

Claims (7)

  1. 식물 생육을 관리하기 위한 모니터장치에 있어서,
    식물이 심어진 화분;
    상기 화분의 일 측에 배치되는 스크린;
    통신을 위한 통신부;
    상기 식물의 영상을 촬영하기 위한 카메라부; 및
    상기 식물의 주변의 생육 환경을 측정하기 위한 센서부;
    상기 식물 및 상기 스크린을 지향하여 영상을 영사하는 영사부; 및
    상기 통신부를 통해 상기 측정된 생육 환경 및 상기 촬영된 영상을 사용자장치로 전송하고, 상기 통신부를 통해 사용자장치로부터 처방 영상을 수신하면, 수신된 처방 영상을 상기 영사부를 통해 상기 식물 및 상기 스크린 중 적어도 하나에 영사하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 식물 생육을 관리하기 위한 모니터 장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 처방 영상은
    영상 주사의 종류를 안내하는 텍스트 및 영상 주사를 주사하는 위치를 나타내는 마크를 포함하는 것을 특징으로 하는 식물 생육을 관리하기 위한 모니터 장치.
  3. 식물 생육을 관리하기 위한 사용자장치에 있어서,
    식물의 생육 환경에 따른 생육 상태 및 생육 상태를 개선하기 위한 처방이 기록된 식물생육가이드를 저장하는 저장모듈;
    모니터장치와의 통신을 위한 통신모듈; 및
    상기 통신모듈을 통해 모니터장치로부터 식물의 생육 환경과 식물의 영상을 수신하면, 수신된 식물의 생육 환경과 영상을 상기 식물생육가이드와 비교하여 생육 상태 개선이 필요한 경우, 상기 식물생육가이드로부터 처방을 추출하고, 추출된 처방에 따라 처방 영상을 생성하여, 생성된 처방 영상을 상기 통신 모듈을 통해 상기 모니터장치로 전송하도록 제어하는 제어모듈;을 포함하는 것을 특징으로 하는 식물 생육을 관리하기 위한 사용자장치.
  4. 제3항에 있어서,
    상기 처방 영상은 영상 주사의 종류를 안내하는 텍스트 및 영상 주사를 주사하는 위치를 나타내는 마크를 포함하는 것을 특징으로 하는 식물 생육을 관리하기 위한 사용자장치.
  5. 식물이 심어진 화분과 상기 화분의 일 측에 배치되는 스크린을 포함하는 모니터 장치의 식물 생육을 관리하기 위한 방법에 있어서,
    통신을 위한 통신부;
    상기 식물의 영상을 촬영하고, 상기 식물의 주변의 생육 환경을 측정하는 단계;
    상기 측정된 생육 환경 및 상기 촬영된 영상을 상기 사용자장치로 전송하는 단계;
    상기 전송에 따라 상기 사용자장치로부터 처방 영상을 수신하면, 수신된 처방 영상을 상기 식물 및 상기 스크린 중 적어도 하나에 영사하는 단계;를 포함하는 것을 특징으로 하는 식물 생육을 관리하기 위한 방법.
  6. 사용자장치의 식물 생육을 관리하기 위한 방법에 있어서,
    식물의 생육 환경에 따른 생육 상태 및 생육 상태를 개선하기 위한 처방이 기록된 식물생육가이드를 저장하는 저장모듈;
    모니터장치와의 통신을 위한 통신모듈; 및
    모니터장치로부터 식물의 생육 환경과 식물의 영상을 수신하는 단계;
    상기 수신된 식물의 생육 환경과 영상을 상기 식물생육가이드와 비교하여 생육 상태 개선이 필요한 경우, 상기 식물생육가이드로부터 처방을 추출하는 단계; 및
    상기 추출된 처방에 따라 처방 영상을 생성하고, 상기 생성된 처방 영상을 상기 모니터장치로 전송하는 단계;를 포함하는 것을 특징으로 하는 식물 생육을 관리하기 위한 방법.
  7. 제5항 또는 제6항에 따른 식물 생육을 관리하기 위한 방법을 실행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020170019668A 2016-02-12 2017-02-13 식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 KR101938046B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160016589 2016-02-12
KR1020160016589 2016-02-12

Publications (2)

Publication Number Publication Date
KR20170095166A true KR20170095166A (ko) 2017-08-22
KR101938046B1 KR101938046B1 (ko) 2019-01-14

Family

ID=59757803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170019668A KR101938046B1 (ko) 2016-02-12 2017-02-13 식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR101938046B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200120006A (ko) * 2019-04-11 2020-10-21 경일대학교산학협력단 수경 재배를 위한 장치 및 이를 위한 방법
CN114158367A (zh) * 2021-11-14 2022-03-11 北京工业大学 一种投苗式木本枝条分流装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210155903A (ko) 2020-06-17 2021-12-24 (주)카네비컴 복합 카메라 소자 및 이를 구동시키는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073700A (ko) * 2008-12-23 2010-07-01 전북대학교산학협력단 식물의 생장 환경 감지 및 감성 인터페이스가 내장된 애완 화분 장치
KR101296509B1 (ko) * 2013-03-26 2013-08-13 주식회사 모뉴엘 식물 관리기
KR20160099907A (ko) * 2015-02-13 2016-08-23 함재영 전자화분을 이용한 화초 관리시스템
KR20160110634A (ko) * 2015-03-10 2016-09-22 이상창 스마트 식물 재배 장치 및 스마트 식물 재배 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100073700A (ko) * 2008-12-23 2010-07-01 전북대학교산학협력단 식물의 생장 환경 감지 및 감성 인터페이스가 내장된 애완 화분 장치
KR101296509B1 (ko) * 2013-03-26 2013-08-13 주식회사 모뉴엘 식물 관리기
KR20160099907A (ko) * 2015-02-13 2016-08-23 함재영 전자화분을 이용한 화초 관리시스템
KR20160110634A (ko) * 2015-03-10 2016-09-22 이상창 스마트 식물 재배 장치 및 스마트 식물 재배 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200120006A (ko) * 2019-04-11 2020-10-21 경일대학교산학협력단 수경 재배를 위한 장치 및 이를 위한 방법
CN114158367A (zh) * 2021-11-14 2022-03-11 北京工业大学 一种投苗式木本枝条分流装置

Also Published As

Publication number Publication date
KR101938046B1 (ko) 2019-01-14

Similar Documents

Publication Publication Date Title
CN111476780B (zh) 一种图像检测方法、装置、电子设备以及存储介质
CN108696680A (zh) 用于焦点控制的电子设备和方法
CN110495819B (zh) 机器人的控制方法、机器人、终端、服务器及控制系统
KR102031874B1 (ko) 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
US9742995B2 (en) Receiver-controlled panoramic view video share
CN109151301A (zh) 包括相机模块的电子装置
KR101938046B1 (ko) 식물 생육을 관리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
US10818057B2 (en) Spherical content editing method and electronic device supporting same
CN102402383A (zh) 信息处理设备和信息处理方法
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
CN111445583A (zh) 增强现实处理方法及装置、存储介质和电子设备
US11023525B2 (en) Electronic device and method for providing content
CN106558088B (zh) 生成gif文件的方法及装置
US20180252815A1 (en) 3D Depth Map
CN102215122B (zh) 管理用户选择型设备的方法和系统
CN113014960B (zh) 一种在线制作视频的方法、装置及存储介质
CN103299342A (zh) 提供用于姿势识别的机制的方法和装置
CN107710736A (zh) 辅助用户捕获图像或视频的方法和系统
KR20150093013A (ko) 사용자 단말 장치, 디스플레이 장치 및 그 제어 방법
CN110462617A (zh) 用于通过多个相机认证生物数据的电子装置和方法
CN107667524A (zh) 对运动对象进行成像的方法和成像装置
KR20170076398A (ko) 전자장치의 데이터 동기 장치 및 방법
CN109196316A (zh) 用于验证图像的光源的方法和电子设备
CN108306795A (zh) 一种电子设备控制的方法、装置以及移动终端
KR102297932B1 (ko) 수경 재배를 위한 장치 및 이를 위한 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant