KR102116345B1 - 사물인터넷기술(IoT)을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템 - Google Patents
사물인터넷기술(IoT)을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템 Download PDFInfo
- Publication number
- KR102116345B1 KR102116345B1 KR1020170119237A KR20170119237A KR102116345B1 KR 102116345 B1 KR102116345 B1 KR 102116345B1 KR 1020170119237 A KR1020170119237 A KR 1020170119237A KR 20170119237 A KR20170119237 A KR 20170119237A KR 102116345 B1 KR102116345 B1 KR 102116345B1
- Authority
- KR
- South Korea
- Prior art keywords
- plant
- information
- server
- sympathy
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013473 artificial intelligence Methods 0.000 title description 17
- 230000014509 gene expression Effects 0.000 title description 2
- 230000002889 sympathetic effect Effects 0.000 claims abstract description 72
- 238000013528 artificial neural network Methods 0.000 claims abstract description 44
- 230000002996 emotional effect Effects 0.000 claims abstract description 31
- 238000003915 air pollution Methods 0.000 claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 230000005855 radiation Effects 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract 5
- 230000013016 learning Effects 0.000 claims description 21
- 238000013135 deep learning Methods 0.000 claims description 17
- 230000008451 emotion Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 6
- 238000010224 classification analysis Methods 0.000 claims description 4
- 238000000611 regression analysis Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000001953 sensory effect Effects 0.000 claims description 3
- 230000008635 plant growth Effects 0.000 abstract description 18
- 238000005516 engineering process Methods 0.000 abstract description 12
- 206010037180 Psychiatric symptoms Diseases 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 3
- 241001465754 Metazoa Species 0.000 abstract 1
- 241000196324 Embryophyta Species 0.000 description 106
- 230000008569 process Effects 0.000 description 13
- 230000012010 growth Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 239000002689 soil Substances 0.000 description 4
- 244000046052 Phaseolus vulgaris Species 0.000 description 3
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 206010070834 Sensitisation Diseases 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Abstract
사물 인터넷기술을 활용한 일반적인 식물 성장시스템은 단순히 식물의 상태를 측정하고 이를 보다 쉽게 관리하는데 목적을 두고 있으나 본 발명의 실시 예에서는 사용자와 직접 소통하며 사용자로 하여금 식물을 키우는 재미를 느끼게 해주는데 초점을 두고 있다. 1인 가구의 증가로 나홀로족의 외로움이라는 문제를 해결하기 위하여 반려 동물 못지 않게 반려 식물을 키우는 이를 위한 식물과의 공감 표시 시스템 및 서비스 방법에 관한 것이다.
본 발명의 식물과의 감성교감 시스템은, 물이 심어진 화분에 장착되며, 온도 센서, 습도 센서, 일사량 측정센서, 대기 오염도 측정 센서 중 하나 이상 구비하여, 온도 신호, 습도 신호, 일사량 신호, 대기 오염도 신호 중 하나 이상을, 식물의 상태정보로서, 측정하는, 시스템 칩; 시스템 칩으로부터 식물의 상태정보를 수신하고, 수신된 식물의 상태정보를 머신런닝(기계학습)된 인공신경망에 입력하고, 인공신경망의 기계학습으로 생성된 감성 분류표에 의해, 식물의 공감정보가 분류되어 출력되며, 출력된 식물의 공감정보에 따라서, 음성 패킷 또는 문자 패킷을 생성하는, 서버; 서버로부터 수신한 식물의 공감정보에 따른, 문자 패킷을, 식물의 공감 메시지로서, 출력하는, 사용자 단말;를 포함하는 것을 특징으로 한다.
본 발명의 식물과의 감성교감 시스템은, 물이 심어진 화분에 장착되며, 온도 센서, 습도 센서, 일사량 측정센서, 대기 오염도 측정 센서 중 하나 이상 구비하여, 온도 신호, 습도 신호, 일사량 신호, 대기 오염도 신호 중 하나 이상을, 식물의 상태정보로서, 측정하는, 시스템 칩; 시스템 칩으로부터 식물의 상태정보를 수신하고, 수신된 식물의 상태정보를 머신런닝(기계학습)된 인공신경망에 입력하고, 인공신경망의 기계학습으로 생성된 감성 분류표에 의해, 식물의 공감정보가 분류되어 출력되며, 출력된 식물의 공감정보에 따라서, 음성 패킷 또는 문자 패킷을 생성하는, 서버; 서버로부터 수신한 식물의 공감정보에 따른, 문자 패킷을, 식물의 공감 메시지로서, 출력하는, 사용자 단말;를 포함하는 것을 특징으로 한다.
Description
본 발명은, 사물 인터넷(IoT) 및 스마트 센서를 기반으로, 식물, 즉, 반려 식물성장 시스템 칩과 재배자(예를들어 나홀로족)와의 감성교감을 형성하기 위하여, 식물성장 시스템 칩의 센서로부터 취득되는 센싱 신호의 빅데이터 수집 및 딥러닝(Deep Learning)을 행하여, 식물, 즉, 식물성장 시스템 칩과 재배자와의 사이에, 인공지능(Artificial Intelligence) 교감 표시를 행하고, 상기 교감 표시에 따른 응답을 행하게 하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 표시 시스템에 관한 것이다.
일반적으로 식물성장 재배를 위하여 토양이 없는 실내나 주택의 좁은공간에 흙이나 배양토를 담을 수 있는 용기인 화분을 사용한다. 화분은 일정 주기로 물을 공급해주어야 해당 식물에 성장에 유리하지만 생장조건 및 특성도 다양하다. 화분에 따라 물공급의 주기 및 공급량,일조시간,온도,습도 등을 잘 맞춰주어야만 한다.
최근 사물 인터넷에 기반하여 화분에 식재된 식물의 성장에 필요한 시의적절한 정보를 알람 제공하여 전문가가 아니더라도 용이하게 식물을 재배 관리 할 수있도록하는 스마트화분 및 그 관리 시스템을 제공하는 기술이 소개되고 있다.
관련 선행 기술로는 대한민국 공개특허공보 제10-2017-0101692호(발명의 명칭: 사물인터넷 기반 스마트 화분 및 그 관리 시스템, 공개일자: 2017.9.6)가 있다.
스마트폰의 발전에 따라 자유로운 공감 표현을 위하여 성장 이미지를 이용하는 소셜 네트워크 서비스 방법이 소개되고 있는데 게시자에의해서 작성된 게시물을 출력하고 다음단계에서는 게시자의 감정에 상응하는 성장 이미지를 표출하면서 게시물에 대한 공감신호 입력에따라 제1성장 이미지를 성장시킨 제2성장 이미지를 생성하여 표출하는 단말 및 서버시스템 기술이 소개되고 있다.
관련 선행 기술로는 대한민국 공개특허공보 제10-2017-0050325호(발명의 명칭: 자유로운 공감 표현을 위하여 성장 이미지를 이용하는 소셜 네크워크 서비스 방법, 이를 위한 사용자단말 및 서버, 공개일자: 2017.5.11)가 있다.
최근 인터넷 쇼핑몰이나 홈페이지 운용 담당자라면 유저의 질문에 대응하기 위하여 일정 시간을 할당해야하며, 물론 FAQ(Frequently Answer & Question) 페이지를 설치해서 자주 있는 질문에 대한 문의를 줄일 수 있지만 그럴 경우 유저에게 자신이 알고 싶은 FAQ 페이지에서 검색하도록 해야할때 챗봇툴을 사용하여 유저의 질문에 핀포인트 방식으로 딱 맞는 답변을 자동으로 내보낼 수 있는 있는 기술 플랫폼이 도입되고 있다. 또한 사물인터넷 기술 발전 및 나홀로족의 증가와 더불어 인공지능 기술을 이용한 비서 역할 및 엔터테인먼트 어플 소프트웨어 출시가 가속되는 가운데 종래의 공감 네트워크 서비스는 기설정된 몇 개의 공감 표현을 단순히 선택하기 때문에 공감 표현의 한계가 있으며, 이에 따라 사용자들이 느끼는 공감도에도 한계가 있다.
본 발명이 해결하고자 하는 과제는, 사물 인터넷(IoT) 및 스마트 센서를 기반으로, 반려식물, 즉 식물성장 시스템 칩과 재배자(예를들어 나홀로족)와의 감성교감을 형성하기 위하여, 식물성장 시스템 칩의 센서로부터 취득되는 센싱 신호의 빅데이터 수집 및 딥러닝(Deep Learning)을 행하여, 식물, 즉, 식물성장 시스템 칩과 재배자와의 사이에, 인공지능을 이용한 교감 표시를 행하고, 상기 교감 표시에 따른 응답을 행하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 식물성장시스템 칩의 센서데이터는 사용자 피드백과 함께, 상호 원격 서버에 전달하고 전송된 수신 데이터의 빅데이터 모델링 기법인 심층 신경망을 이용한 딥러닝 기법을 사용하여 인공지능적으로 상호 교감을 행하게 하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 1인 가구의 외로움 극복과 반려 식물을 키우는 재미를 느낄 수 있게 하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 시스템 칩, 서버, 사용자 단말을 포함하되, 사용자단말은 내장된 GPS를 통하여 사용자단말의 위치정보를 검출하여 서버로 전송하고, 서버는 사용자단말의 위치정보에 따라 사용자단말이 사용자의 집에 있는지 여부를 판단하여, 만약 사용자단말이 사용자의 집에 있을 경우에는 식물의 공감정보에 따른, 음성 패킷을 생성하여 시스템 칩부로 전송하고, 만약 사용자단말이 사용자의 집에 있지 않은 경우에는 식물의 공감정보에 따른, 문자 패킷을 생성하여 사용자 단말로 전송하며, 서버가, 식물의 공감정보에 따른 문자 패킷을, 사용자 단말로 전송함에 있어, 챗봇(chatter robot)을 이용하여 전송하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 식물성장시스템 칩의 센서데이터는 사용자 피드백과 함께, 상호 원격 서버에 전달하고 전송된 수신 데이터의 빅데이터 모델링 기법인 심층 신경망을 이용한 딥러닝 기법을 사용하여 인공지능적으로 상호 교감을 행하게 하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 1인 가구의 외로움 극복과 반려 식물을 키우는 재미를 느낄 수 있게 하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 시스템 칩, 서버, 사용자 단말을 포함하되, 사용자단말은 내장된 GPS를 통하여 사용자단말의 위치정보를 검출하여 서버로 전송하고, 서버는 사용자단말의 위치정보에 따라 사용자단말이 사용자의 집에 있는지 여부를 판단하여, 만약 사용자단말이 사용자의 집에 있을 경우에는 식물의 공감정보에 따른, 음성 패킷을 생성하여 시스템 칩부로 전송하고, 만약 사용자단말이 사용자의 집에 있지 않은 경우에는 식물의 공감정보에 따른, 문자 패킷을 생성하여 사용자 단말로 전송하며, 서버가, 식물의 공감정보에 따른 문자 패킷을, 사용자 단말로 전송함에 있어, 챗봇(chatter robot)을 이용하여 전송하는, 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템을 제공하는 것이다.
본 발명의 일 실시예는 반려식물을 적정한 화분에 심고 사물 인터넷에 기반 식물성장시스템 칩을 배양토에 함께 삽입하고, 상기 식물에 관한 온도,습도, 일사량, 대기 오염도 중 적어도 하나를 포함하는 상태 정보를 측정하는 센서를 포함하는 시스템 칩부; 인터넷 통신을 수행하여 상기 식물에 관한 정보를 인터넷이 연결된 원격서버와 접속하여 교감할 수 있는 사용자단말; 상기 사용자 단말에 상태 정보를 딥러닝 교감시스템을 이용한 데이터를 변환하여 단말기에 전송하고, 상기 정보에 대한 응답으로 상기 사용자 단말로부터 상기 식물에 관한 관심 및 교감의 메세지를 수신하며, 상기 시스템 칩으로부터 식물의 생육에 필요한 정보를 DB화 저장 및 교감정보를 변환하여 음성과 문자로 제공하는 서버를 포함한다.
상기 시스템 칩부의 온도센서,습도센서,광전센서,CO센서 중 어느 하나이상을 포함하는 것을 특징으로하는, 유선 혹은 무선으로 연결되어 서버에 연결 사용하는 것일 수 있다.
시스템 칩부의 전원 공급은 무선전력(Wireless Power) 전송방식의 안테나 패치, 태양열 판넬(Solra Panel), 전원공급장치(Power Supply), 배터리 전지, USB전원 케이블 중 하나를 포함하는 것일 수 있다.
시스템 칩부와 상기 서버와의 데이터 통신 연결 장치는 Sub-1GHz,NFC,근거리 무선네크워크 방식인 와이파이,지그비,블루투스(BLE) 무선방식과 Ethernet LAN, RS-232/485,USB 중 하나를 포함 할 수 있다.
시스템 칩부의 표시부는 빛,소리를 포함하여 사용자에게 신호를 표시하는 것을 특징으로한다.
시스템 칩부의 표시부의 소리는 스피커, 압전부저, 외부스피커 중 하나를 포함 할수 있다.
상기 사용자 단말는 스마트폰이 가지고 있는 LCD화면 표시장치, 음성출력이 가능한 스피커, 입력장치인 마이크의 기능을 통하여 서버를 통한 사용자 교감의 입출력 장치로 사용한다.
사용자 단말은 인터넷을 이용한 데이터 통신기기장치로서 원거리 서버와 연결하여 교감데이터 정보를 송수신하는 장치로 사용한다.
사용자 단말은 와이파이,블루투스,NFC 무선 연결방식 USB,LAN 유선 연결방식 중 하나와 서버를 연결하여 교감 데이터를 주고 받을 수 있다.
상기 사용자 단말과 시스템 칩간에 직접 상기 와이파이,블루투스,NFC 무선 연결방식 USB,LAN 유선 연결방식 중 하나와 연결하여 사용자 단말이 서버의 역할을 대신하여 교감 및 센서데이터를 수집할 수도 있다.
상기 서버는 시스템 칩과 통신하기 위하여 댁내에 설치된 게이트웨이나 인터넷 공유기를 통하여 댁내외에 설치하는 로컬서버, 데이터센터내 서버, 크라우드(Cloud) 서버중 하나를 포함할 수 있다.
서버는 주기적으로 센서데이터를 수집하기 위하여 시스템 칩과의 스케듈링 태스크를 동기화하며 동기 센서데이터의 프로토콜을 포함 할 수 있다.
서버는 데이터베이스(DB)를 포함하며 빅 데이터를 다루기 위하여 MySQL, Oracle DB중 하나를 포함할 수 있다.
서버는 데이터베이스를 토대로한 학습데이터와 신규로 업데이트되는 입력데이터를 기반으로 심층신경망을 이용한 딥러닝을 포함 할 수 있다.
서버는 딥러닝을 이용한 공감정보 추출을 지도학습을 통한 분류와 회귀분석을 수행하여 추출하는데 특히 심층신경망의 장애가되는 과도한 계산량을 GPU(Graphic Processor Unit)이 포함된 서버가 수행할 수 있다.
서버는 사용자단말의 GPS(Global Positioning System)를 이용 위치서비스가 가능한 응용 소프트웨어를 통하여 댁내 인지를 판단하여 댁내의 경우 시스템 칩의 스피커 , AI 스피커 단말, 스트리밍 서비스 가능한 스피커 중 하나 이상의 기기에 감성정보를 음성메세지로 전송한다. 댁외의 경우 사용자단말의 문자 서비스, SNS채팅 응용 소프트웨어 중 하나에 교감용 감성정보를 문자 메세지로 전송한다.
서버는 감성정보를 전달하는데 있어 챗봇과 같은 플랫폼을 이용하여 교감용 공감메세지 음성DB의 음성, 공감메세지 문자DB의 문자를 전송할 수 있다.
본 발명의 일 실시예에 따른 사물 인터넷 기반 센서데이터 취득 및 전송 시스템과 서버의 딥러닝 모델의 심층 신경망을 이용한 교감시스템을 이용하여 반려식물과의 교감정보를 챗봇 방식의 음성 및 문자로 제공한다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 사물인터넷기술을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템은, 사물 인터넷(IoT) 및 스마트 센서를 기반으로, 반려식물, 즉 식물성장 시스템 칩과 재배자(예를들어 나홀로족)와의 감성교감을 형성하기 위하여, 식물성장 시스템 칩의 센서로부터 취득되는 센싱 신호의 빅데이터 수집 및 딥러닝(Deep Learning)을 행하여, 식물, 즉, 식물성장 시스템 칩과 재배자와의 사이에, 인공지능을 이용한 교감 표시를 행하고, 상기 교감 표시에 따른 응답을 행하게 한다. 즉, 본 발명은, 식물성장시스템 칩의 센서데이터는 사용자 피드백과 함께, 상호 원격 서버에 전달하고 전송된 수신 데이터의 빅데이터 모델링 기법인 심층 신경망을 이용한 딥러닝 기법을 사용하여 인공지능적으로 상호 교감을 행하게 한다.
본 발명은, 사물 인터넷에 기반하여 반려 식물 성장시스템 칩을 데이터 수집 및 딥러닝 심층 신경망을 통한 교감시스템을 제공함으로써, 식물성장재배 정보를 제공하는것은 물론 1인 가구의 외로움 극복과 반려 식물을 키우는 재미를 느낄 수 있게 할 수 있다.
또한, 본 발명은, 시스템 칩, 서버, 사용자 단말을 포함하되, 사용자단말은 내장된 GPS를 통하여 사용자단말의 위치정보를 검출하여 서버로 전송하고, 서버는 사용자단말의 위치정보에 따라 사용자단말이 사용자의 집에 있는지 여부를 판단하여, 만약 사용자단말이 사용자의 집에 있을 경우에는 식물의 공감정보에 따른, 음성 패킷을 생성하여 시스템 칩부로 전송하고, 만약 사용자단말이 사용자의 집에 있지 않은 경우에는 식물의 공감정보에 따른, 문자 패킷을 생성하여 사용자 단말로 전송하며, 서버가, 식물의 공감정보에 따른 문자 패킷을, 사용자 단말로 전송함에 있어, 챗봇(chatter robot)을 이용하여 전송하도록 이루어져, 식물과의 감성교감이 가능하도록 이루어져 있습니다.
본 발명은, 사물 인터넷에 기반하여 반려 식물 성장시스템 칩을 데이터 수집 및 딥러닝 심층 신경망을 통한 교감시스템을 제공함으로써, 식물성장재배 정보를 제공하는것은 물론 1인 가구의 외로움 극복과 반려 식물을 키우는 재미를 느낄 수 있게 할 수 있다.
또한, 본 발명은, 시스템 칩, 서버, 사용자 단말을 포함하되, 사용자단말은 내장된 GPS를 통하여 사용자단말의 위치정보를 검출하여 서버로 전송하고, 서버는 사용자단말의 위치정보에 따라 사용자단말이 사용자의 집에 있는지 여부를 판단하여, 만약 사용자단말이 사용자의 집에 있을 경우에는 식물의 공감정보에 따른, 음성 패킷을 생성하여 시스템 칩부로 전송하고, 만약 사용자단말이 사용자의 집에 있지 않은 경우에는 식물의 공감정보에 따른, 문자 패킷을 생성하여 사용자 단말로 전송하며, 서버가, 식물의 공감정보에 따른 문자 패킷을, 사용자 단말로 전송함에 있어, 챗봇(chatter robot)을 이용하여 전송하도록 이루어져, 식물과의 감성교감이 가능하도록 이루어져 있습니다.
도 1은 본 발명의 사물 인터넷 기반 식물 교감 시스템의 교감방법을 개략적으로 설명하는 도면이다.
도 2는 본 발명의 일실시예에 의한 식물 교감시스템을 구성하는 시스템의 블럭도이다.
도 3은 본 발명의 사물 인터넷 기반 식물 교감 시스템을 이용하여 사용자(재배자)와 식물간의 공감(교감)을 행하는 예를 설명하는 모식도이다.
도 4a는 댁외에서 본 발명의 식물과의 인공지능형 감성교감 표시방법의 사용 상태를 설명하기 위한 모식도이다.
도 4b는 도 4a에서와 같이 사용자가 댁외에 있을때 사용자가 메신저 기능을 활용하여 식물의 상태를 파악하는 일예이다.
도 5는 본 발명의 일 실시예에 따른 사용자단말의 어플리케이션 시작 화면의 일예이다.
도 6은 본 발명의 일 실시예에 따른 사용자단말의 감성교감 화면표시 어플리케이션에서 식물의 상태정보 및 공감정보를 나타내는 화면의 일예이다.
도 7은 도 6의 식물의 상태(Plant's condition) 터치버튼과, 공감정보(Plant's mood) 터치버튼과, 사용자 위치정보(My location) 터치버튼을 선택함에 따라 출력되는 화면들의 예를 나타낸다.
도 8은 도 2의 시스템 칩의 구성을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 일실시예에 의한 콩 껍질 모양의 시스템 칩의 일예이다.
도 10은 본 발명의 사물 인터넷 기반 식물 교감 시스템을 사용함으로써 얻어진 효과를 설명하는 설명도이다.
도 2는 본 발명의 일실시예에 의한 식물 교감시스템을 구성하는 시스템의 블럭도이다.
도 3은 본 발명의 사물 인터넷 기반 식물 교감 시스템을 이용하여 사용자(재배자)와 식물간의 공감(교감)을 행하는 예를 설명하는 모식도이다.
도 4a는 댁외에서 본 발명의 식물과의 인공지능형 감성교감 표시방법의 사용 상태를 설명하기 위한 모식도이다.
도 4b는 도 4a에서와 같이 사용자가 댁외에 있을때 사용자가 메신저 기능을 활용하여 식물의 상태를 파악하는 일예이다.
도 5는 본 발명의 일 실시예에 따른 사용자단말의 어플리케이션 시작 화면의 일예이다.
도 6은 본 발명의 일 실시예에 따른 사용자단말의 감성교감 화면표시 어플리케이션에서 식물의 상태정보 및 공감정보를 나타내는 화면의 일예이다.
도 7은 도 6의 식물의 상태(Plant's condition) 터치버튼과, 공감정보(Plant's mood) 터치버튼과, 사용자 위치정보(My location) 터치버튼을 선택함에 따라 출력되는 화면들의 예를 나타낸다.
도 8은 도 2의 시스템 칩의 구성을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 일실시예에 의한 콩 껍질 모양의 시스템 칩의 일예이다.
도 10은 본 발명의 사물 인터넷 기반 식물 교감 시스템을 사용함으로써 얻어진 효과를 설명하는 설명도이다.
이하, 첨부한 도면을 참고로 하여 본 발명을 상세하게 설명한다.
도 1은 본 발명의 사물 인터넷 기반 식물(즉, 반려식물) 교감 시스템의 교감방법을 설명하는 도면이고, 도 2는 본 발명의 일실시예에 의한 사물 인터넷 기반 식물(즉, 반려식물) 교감 시스템을 구성하는 시스템 블럭도이다.
도 2에서와 같이, 본 발명에 따른 식물 교감 시스템은 사용자단말(110), 서버(120), 시스템 칩(130)으로 구성되어 센싱 신호 및 교감 데이터를 주고받는다. 시스템 칩(130)은 식물성장 시스템 칩으로서, 여기서는 시스템 칩으로 약칭한다.
사용자 단말(110)은, 소정 어플이 설치된 단말기로, GPS와 연동되어 서버(120)로 사용자의 현재 위치정보를 보내며, 서버(120)로부터 전송된 상태정보 신호를 수신하여, SNS를 통하여 출력한다. 또한, SNS 채팅을 통해 서버(120)로부터 식물의 상태(온도, 습도, 일조량)와 감정(Happy, soso, sad)를 확인할 수 있다.
서버(120)는 기 설정된 시간주기에 따라, 시스템 칩(120)으로부터, 식물의 온도,습도, 일사량, 대기 오염도 중 하나 이상의 상태 정보를 수신하고, 머신런닝(즉, 기계학습, Machine Learnin)된 인공신경망에 입력하고, 이에 따라 인공신경망에서 식물의 감정(Happy, soso, sad)신호, 즉, 식물의 공감정보(Happy, soso, sad)가 출력되고, 출력된 식물의 공감정보에 따라서 음성 패킷 또는 문자 패킷을 생성한다. 사용자 단말은, 서버로부터 식물의 공감정보에 따른 문자 패킷을 수신하고, 식물의 공감 메시지로서, 출력하며, 시스템 칩은, 서버로부터 식물의 공감정보에 따른 음성 패킷을 수신하고, 식물의 공감 메시지로서, 스피커를 통해 출력한다.
서버(120)는 공감 메시지 문자DB(데이터베이스)(미도시), 공감 메시지 음성DB(미도시), 센서데이터 DB(미도시)를 구비하고 있다. 이때, 서버(120)는 사용자 단말(110)로부터 수신된 사용자의 현재 위치로부터, 사용자의 위치가 사용자의 집인지 여부를 판단하고, 집에 있을 경우, 공감 메시지 음성DB(미도시)로부터 식물의 감정(Happy, soso, sad)신호에 따른 공감 메시지 음성의 음성패킷을 추출하고(즉, 읽어들이고), 상기 음성패킷을 시스템 칩(130)으로 전송하여, 시스템 칩(130)의 스피커(230)로 부터 상기 공감 메시지 음성을 송출하게 한다. 만약 사용자가 집에 있지 않을 경우, 서버(120)는 공감 메시지 문자DB(미도시)로부터 식물의 감정(Happy, soso, sad) 신호에 따른 공감 메시지 문자의 문자패킷을 추출하고(즉, 읽어들이고), 이를 사용자 단말(110)로 송신하여, 사용자로 하여금 사용자 단말(110)의 SNS를 통해 식물의 상태관련 정보를 확인할 수 있게 한다.
본 발명에서, 서버(120)는 데이터베이스를 토대로 한 학습데이터와 신규로 업데이트되는 입력데이터를 기반으로 심층신경망을 이용한 딥러닝을 행하며, 또한 서버(120)는 딥러닝을 이용한 공감정보 추출을 지도학습을 통한 분류와 회귀분석을 수행하여 추출하는데 특히 심층신경망의 장애가 되는 과도한 계산량을 GPU(Graphic Processor Unit)이 포함된 서버가 수행할 수 있다.
서버(120)는 시스템 칩과 통신하기 위하여 댁내에 설치된 게이트웨이나 인터넷 공유기를 이용할 수 있으며, 경우에 따라서는 댁내외에 설치하는 로컬서버, 데이터센터내 서버, 크라우드(Cloud) 서버중 하나를 포함할 수도 있다.
서버(120)는 감성정보를 전달하는데 있어 챗봇과 같은 플랫폼을 이용하여 교감용 공감메세지 음성DB의 음성, 공감메세지 문자DB의 문자를 전송할 수 있다.
서버(120)는 딥러닝을 수행과정에서 표 1과 같은 감성분류표를 도출하기 위하여 특징추출신경망은 컨벌류션(Convolution Layer)계층과 폴링계층(Pooling Layer)을 포함하며, 범주분류 신경망은 다층의 심층신경망으로 구성한 후 역전파(backpropagation) 알고리즘으로 심층 신경망을 학습시켜 그래디언트 소실(Vanshing gradient), 과적합(Overfitting), 과도 계산량을 서버가 담당하게 한다.
시스템 칩(130)은 반려 식물의 화분에 장착되어, 상기 식물 주변의 온도, 습도, 일사량, 대기 오염도 중 하나 이상의 상태 정보를 측정하는 센서부(sensor)(210)를 포함하며, 이렇게 특정된 식물의 상태정보를 서버(120)으로 전송한다. 또한, 시스템 칩(130)은 식물의 상태를 알리는 알림이나 음성메세지 출력하는 스피커(speaker)(230)를 구비한다. 즉, 센서부(210)는 온도센서, 습도센서, 일사량 센서(광전센서), 대기 오염도 센서(CO센서) 중 하나 이상을 구비한다. 시스템 칩(130)은, 기 설정된 시간주기에 따라, 정기적으로 센서부로부터 수신된 신호를 서버(120)로 전송하며, 서버(120)로부터 수신된 음향신호를 스피커(230)를 통해 출력한다. 또한, 시스템 칩(130)은 전력수급을 위한 태양열 전지패널(solar panel)(220)을 더 구비할 수 있다.
시스템 칩(130)은 서버(120)와의 데이터 통신하기위한 연결 장치로, Sub-1GHz, NFC, 근거리 무선네크워크 방식인 와이파이, 지그비, 블루투스(BLE)의 무선방식과 Ethernet LAN, RS-232/485, USB 중 하나 이상을 포함한다.
본 발명에서 사용자 단말과 시스템 칩은 상호간에 직접 와이파이, 블루투스, NFC인 무선 연결방식과, USB, LAN 인 유선 연결방식 중 하나와 연결될 수 있으며, 이 경우 사용자 단말이 서버의 역할을 대신하여 동작하며, 사용자 단말은, 시스템 칩과의 통신을 통해, 식물의 공감(교감)정보를 얻을 수 있으며, 또한 센서데이터를 수집할 수도 있다.
우선, 도 1의 식물과의 인공지능형 감성교감 표시방법에서, 사용자단말(110), 서버(120), 시스템 칩(130) 각각의 구동 흐름을 설명한다.
도 1의 사용자단말(110)의 사용 흐름도는 사용자단말(110)을 이용하는 사용자가 사용자단말내(110)의 어플이 가동(S140)하면 사용자단말(110) 내에 내장된 GPS를 통하여 현재 위치정보 제공(S212) 프로세스가 현재의 위치정보를 제공하고(S150), 사용자단말(110)은 서버(120)로 현재의 위치정보를 전송한다(S160).
도 1은 본 발명의 사물 인터넷 기반 식물(즉, 반려식물) 교감 시스템의 교감방법을 설명하는 도면이고, 도 2는 본 발명의 일실시예에 의한 사물 인터넷 기반 식물(즉, 반려식물) 교감 시스템을 구성하는 시스템 블럭도이다.
도 2에서와 같이, 본 발명에 따른 식물 교감 시스템은 사용자단말(110), 서버(120), 시스템 칩(130)으로 구성되어 센싱 신호 및 교감 데이터를 주고받는다. 시스템 칩(130)은 식물성장 시스템 칩으로서, 여기서는 시스템 칩으로 약칭한다.
사용자 단말(110)은, 소정 어플이 설치된 단말기로, GPS와 연동되어 서버(120)로 사용자의 현재 위치정보를 보내며, 서버(120)로부터 전송된 상태정보 신호를 수신하여, SNS를 통하여 출력한다. 또한, SNS 채팅을 통해 서버(120)로부터 식물의 상태(온도, 습도, 일조량)와 감정(Happy, soso, sad)를 확인할 수 있다.
서버(120)는 기 설정된 시간주기에 따라, 시스템 칩(120)으로부터, 식물의 온도,습도, 일사량, 대기 오염도 중 하나 이상의 상태 정보를 수신하고, 머신런닝(즉, 기계학습, Machine Learnin)된 인공신경망에 입력하고, 이에 따라 인공신경망에서 식물의 감정(Happy, soso, sad)신호, 즉, 식물의 공감정보(Happy, soso, sad)가 출력되고, 출력된 식물의 공감정보에 따라서 음성 패킷 또는 문자 패킷을 생성한다. 사용자 단말은, 서버로부터 식물의 공감정보에 따른 문자 패킷을 수신하고, 식물의 공감 메시지로서, 출력하며, 시스템 칩은, 서버로부터 식물의 공감정보에 따른 음성 패킷을 수신하고, 식물의 공감 메시지로서, 스피커를 통해 출력한다.
서버(120)는 공감 메시지 문자DB(데이터베이스)(미도시), 공감 메시지 음성DB(미도시), 센서데이터 DB(미도시)를 구비하고 있다. 이때, 서버(120)는 사용자 단말(110)로부터 수신된 사용자의 현재 위치로부터, 사용자의 위치가 사용자의 집인지 여부를 판단하고, 집에 있을 경우, 공감 메시지 음성DB(미도시)로부터 식물의 감정(Happy, soso, sad)신호에 따른 공감 메시지 음성의 음성패킷을 추출하고(즉, 읽어들이고), 상기 음성패킷을 시스템 칩(130)으로 전송하여, 시스템 칩(130)의 스피커(230)로 부터 상기 공감 메시지 음성을 송출하게 한다. 만약 사용자가 집에 있지 않을 경우, 서버(120)는 공감 메시지 문자DB(미도시)로부터 식물의 감정(Happy, soso, sad) 신호에 따른 공감 메시지 문자의 문자패킷을 추출하고(즉, 읽어들이고), 이를 사용자 단말(110)로 송신하여, 사용자로 하여금 사용자 단말(110)의 SNS를 통해 식물의 상태관련 정보를 확인할 수 있게 한다.
본 발명에서, 서버(120)는 데이터베이스를 토대로 한 학습데이터와 신규로 업데이트되는 입력데이터를 기반으로 심층신경망을 이용한 딥러닝을 행하며, 또한 서버(120)는 딥러닝을 이용한 공감정보 추출을 지도학습을 통한 분류와 회귀분석을 수행하여 추출하는데 특히 심층신경망의 장애가 되는 과도한 계산량을 GPU(Graphic Processor Unit)이 포함된 서버가 수행할 수 있다.
서버(120)는 시스템 칩과 통신하기 위하여 댁내에 설치된 게이트웨이나 인터넷 공유기를 이용할 수 있으며, 경우에 따라서는 댁내외에 설치하는 로컬서버, 데이터센터내 서버, 크라우드(Cloud) 서버중 하나를 포함할 수도 있다.
서버(120)는 감성정보를 전달하는데 있어 챗봇과 같은 플랫폼을 이용하여 교감용 공감메세지 음성DB의 음성, 공감메세지 문자DB의 문자를 전송할 수 있다.
서버(120)는 딥러닝을 수행과정에서 표 1과 같은 감성분류표를 도출하기 위하여 특징추출신경망은 컨벌류션(Convolution Layer)계층과 폴링계층(Pooling Layer)을 포함하며, 범주분류 신경망은 다층의 심층신경망으로 구성한 후 역전파(backpropagation) 알고리즘으로 심층 신경망을 학습시켜 그래디언트 소실(Vanshing gradient), 과적합(Overfitting), 과도 계산량을 서버가 담당하게 한다.
시스템 칩(130)은 반려 식물의 화분에 장착되어, 상기 식물 주변의 온도, 습도, 일사량, 대기 오염도 중 하나 이상의 상태 정보를 측정하는 센서부(sensor)(210)를 포함하며, 이렇게 특정된 식물의 상태정보를 서버(120)으로 전송한다. 또한, 시스템 칩(130)은 식물의 상태를 알리는 알림이나 음성메세지 출력하는 스피커(speaker)(230)를 구비한다. 즉, 센서부(210)는 온도센서, 습도센서, 일사량 센서(광전센서), 대기 오염도 센서(CO센서) 중 하나 이상을 구비한다. 시스템 칩(130)은, 기 설정된 시간주기에 따라, 정기적으로 센서부로부터 수신된 신호를 서버(120)로 전송하며, 서버(120)로부터 수신된 음향신호를 스피커(230)를 통해 출력한다. 또한, 시스템 칩(130)은 전력수급을 위한 태양열 전지패널(solar panel)(220)을 더 구비할 수 있다.
시스템 칩(130)은 서버(120)와의 데이터 통신하기위한 연결 장치로, Sub-1GHz, NFC, 근거리 무선네크워크 방식인 와이파이, 지그비, 블루투스(BLE)의 무선방식과 Ethernet LAN, RS-232/485, USB 중 하나 이상을 포함한다.
본 발명에서 사용자 단말과 시스템 칩은 상호간에 직접 와이파이, 블루투스, NFC인 무선 연결방식과, USB, LAN 인 유선 연결방식 중 하나와 연결될 수 있으며, 이 경우 사용자 단말이 서버의 역할을 대신하여 동작하며, 사용자 단말은, 시스템 칩과의 통신을 통해, 식물의 공감(교감)정보를 얻을 수 있으며, 또한 센서데이터를 수집할 수도 있다.
우선, 도 1의 식물과의 인공지능형 감성교감 표시방법에서, 사용자단말(110), 서버(120), 시스템 칩(130) 각각의 구동 흐름을 설명한다.
도 1의 사용자단말(110)의 사용 흐름도는 사용자단말(110)을 이용하는 사용자가 사용자단말내(110)의 어플이 가동(S140)하면 사용자단말(110) 내에 내장된 GPS를 통하여 현재 위치정보 제공(S212) 프로세스가 현재의 위치정보를 제공하고(S150), 사용자단말(110)은 서버(120)로 현재의 위치정보를 전송한다(S160).
삭제
사용자단말(110)은 식물의 상태정보에 따라서 교감용 공감 메시지 문자DB에서 추출된 문자패킷을 서버(120)로부터 수신하게 되면(S200), 사용자단말(110)의 표시장치(디스플레이)에 SNS를 통하여 메세지를 출력하여 표시하게 된다(S216).
사용자단말(110)은 SNS를 통하여 채팅을 서버(120)에 시도하면(S216), 서버(120)는 교감 데이터 DB의 공감 메세지 기반 채팅 봇(챗봇, chatter robot) 실행을 행한다(S227).
도 1의 서버(120) 수행 흐름도는 시스템 칩(130)으로 부터 주기적으로 업데이트되는 센서데이터 패킷이 전송되어 수신버퍼에 저장되면(S120), 수신 버퍼의 데이터를 교감시스템, 즉 서버(120) 내의 무한루프 프로세스 [주기:설정시간]에 맞추어 센서데이터 DB에 저장한다(S130). 다시말해, 서버(120)는, 시스템 칩(130)으로 부터 시스템 칩의 주기에 따라 주기적으로 수신되는 센서 데이터 패킷(센싱신호, 식물의 상태정보)을, 서버(120) 내의 수신 버퍼(미도시)에 저장하고, 수신 버퍼에 저장된 센서 데이터 패킷(센싱신호, 식물의 상태정보)들을. 서버의 주기(소정 설정시간으로 기 설정되어 있음)에 따라서 센서데이터 DB(미도시)에 저장한다.
교감시스템(S220), 즉 서버(120) 내의 신경망을 이용한 머신런닝 프로세스는 센서데이터DB의 데이터를 미리 학습한 학습데이터와 주기적[주기:설정시간]으로 동기되어 업데이트되는 신규 데이터을 입력으로 공감정보추출의 프로세스를 통하여 공감 정보(즉, 감정(Happy, soso, sad)를 추출한다. 다시말해, 인공신경망을 이용한 머신런닝 프로세스는, 센서데이터DB에서 행하여지며, 센서데이터DB에는 기 저장된 기계학습(머신런닝)된 학습데이터가 저장되어 있다. 인공신경망을 이용한 머신런닝 프로세스는 센서데이터DB에, 새로운 센서 데이터(즉, 식물의 상태정보들)가 입력되면, 기 저장된 학습데이터에 따라 공감 정보, 즉 Happy(행복), soso(그럭저럭, 보통), sad(슬퍼, 슬픔) 증 하나를 추출되게 된다.
서버(120)는 사용자단말(110)이 위치정보 게시(S160)이라는 이벤트를 보낸것에 대하여 현재 사용자의 위치를 판단하여 댁내에 있는 경우에는 공감 메세지 음성DB (S180) 프로세스를 이용하여 시스템 칩(130)에 음성패킷 전송(S185)을 수행한다.
현재 사용자의 위치가 댁외인 경우에는 공감 메세지 문자 DB(S190) 프로세스를 수행하여 사용자단말(110)에 문자패킷전송(S214) 이벤트를 발생한다.
다시말해, 사용자단말(110)로부터 사용자(즉, 사용자단말)의 위치정보를 수신하면, 서버(120)는 사용자 위치정보에 따라 사용자가 사용자의 집에 있는지(즉, 댁내에 있는지), 아닌지(즉, 댁외에 있는지)를 판단하고, 만약, 사용자가 집에 있다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 음성의 음성패킷을, 서버(120)의 교감용 공감 메시지 음성DB(미도시)로부터 수신하여, 교감용 공감 메시지 음성의 음성패킷을 시스템 칩(130)으로 전송하고, 만약, 사용자가 집에 있지 않다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 문자의 문자패킷을, 서버(120)의 교감용 공감 메시지 문자DB(미도시)로부터 수신하여, 교감용 공감 메시지 문자의 문자패킷을 사용자단말(110)로 전송한다.
다시말해, 사용자단말(110)로부터 사용자(즉, 사용자단말)의 위치정보를 수신하면, 서버(120)는 사용자 위치정보에 따라 사용자가 사용자의 집에 있는지(즉, 댁내에 있는지), 아닌지(즉, 댁외에 있는지)를 판단하고, 만약, 사용자가 집에 있다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 음성의 음성패킷을, 서버(120)의 교감용 공감 메시지 음성DB(미도시)로부터 수신하여, 교감용 공감 메시지 음성의 음성패킷을 시스템 칩(130)으로 전송하고, 만약, 사용자가 집에 있지 않다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 문자의 문자패킷을, 서버(120)의 교감용 공감 메시지 문자DB(미도시)로부터 수신하여, 교감용 공감 메시지 문자의 문자패킷을 사용자단말(110)로 전송한다.
삭제
또한 사용자단말(110)이 채팅을 시도해오면 공감메세지 기반 채팅 봇 실행(S227) 프로세스를 가동한다. 다시말해, 사용자단말(110)은 SNS를 통하여 서버(120)와의 채팅을 시도한다(S216).
도1의 시스템 칩(130) 수행 흐름도는 센서신호 수집 전송시스템(S231)이 센서신호 를 수집하여[주기:설정시간]의 무한루프 프로세스를 수행하며 서버(120) 센서데이터 패킷 전송(S221) 이벤트를 발생한다. 다시말해, 시스템 칩(130)은, 시스템 칩(130)에 기 설정된 시간간격에 따라 주기적으로, 센서부(210)를 통해, 온도, 습도, 일사량, 대기 오염도 중 하나 이상의 상태 정보, 즉, 온도신호, 습도신호, 일사량 신호, 대기 오염신호 중 하나 이상을 검출하고, 상태 정보들을 서버(120)로 전송한다.
시스템 칩(130)은 서버(120)에서 발생한 음성패킷 전송(S225) 이벤트에 반응하여 스피커를 통하여 음성 메세지 전달(S232)을 수행한다. 다시말해, 서버(120)가, 사용자가 집에 있다고 판단하여, 교감용 공감 메시지 음성의 음성패킷을 시스템 칩(130)으로 전송하면, 시스템 칩(130)은, 시스템 칩의 스피커를 통해 교감용 공감 메시지 음성을 송출한다.
도 1을 참조하여, 상술한 식물과의 인공지능형 감성교감 표시방법을 전체적으로 개략적으로 정리하면 다음과 같다.
식물 상태 정보 검출단계로, 시스템 칩(130)은, 시스템 칩(130)에 기 설정된 시간간격에 따라 주기적으로, 센서부(210)를 통해, 온도, 습도, 일사량, 대기 오염도 중 하나 이상의 상태 정보, 즉, 온도신호, 습도신호, 일사량 신호, 대기 오염신호 중 하나 이상을 검출하고(S110), 상태 정보들을 서버(120)로 전송한다(S120).
공감정보 출력단계로, 서버(120)는 시스템 칩(130)으로부터 수신된 상태정보들을 센서데이터 DB에 저장하고, 미리 기계학습된 학습데이터를 가진 인공신경망에 상기 상태 정보들(온도신호, 습도신호, 일사량 신호, 대기 오염신호)을 입력하고, 이에 따라 상기 인공신경망에서 출력되는 공감(共感) 정보(다시말해, 감정신호, 즉, happy, soso, sad)를 추출한다(S130).
사용자 위치정보 전송단계로, 사용자단말(110)을 이용하는 사용자가, 사용자단말내(110)의 소정 어플을 가동시키면(S140), 사용자단말(110) 내에 내장된 GPS를 통하여 현재 위치정보를 검출하고(S150), 검출된 위치정보를 서버(120)로 전송한다(S213).
사용자 위치 판단단계로, 서버(120)는 사용자단말(110)로부터 수신된 현재 위치정보에 따라 사용자가 사용자의 집에 있는지(즉, 댁내에 있는지), 아닌지(즉, 댁외에 있는지)를 판단한다(S170).
댁내시 음성패킷전송단계로, 사용자 위치 판단단계에서, 사용자가 집에 있다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 음성의 음성패킷을, 서버(120)의 교감용 공감 메시지 음성DB(미도시)로부터 수신하여(S180), 교감용 공감 메시지 음성의 음성패킷을 시스템 칩(130)으로 전송하고(S185), 시스템 칩(130)은, 시스템 칩의 스피커를 통해 교감용 공감 메시지 음성을 송출한다(S232).
댁외시 문자패킷전송단계로, 사용자 위치 판단단계에서, 사용자가 집에 있지 않다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 문자의 문자패킷을, 서버(120)의 교감용 공감 메시지 문자DB(미도시)로부터 수신하여(S190), 교감용 공감 메시지 문자의 문자패킷을 사용자단말(110)로 전송하고(S200), 사용자단말(110)은 SNS를 통하여 교감용 공감 메시지 문자를 수신하여 출력한다(S215).
채팅단계로, 사용자단말(110)은 SNS를 통하여 서버(120)와의 채팅을 시도하면(S216), 서버(120)는 교감 데이터 DB의 공감 메세지 기반 채팅 봇 실행(S227)을 하여, 사용자는 사용자단말(110)에서 SNS를 통하여 서버(120)와의 채팅을 행한다.
식물 상태 정보 검출단계로, 시스템 칩(130)은, 시스템 칩(130)에 기 설정된 시간간격에 따라 주기적으로, 센서부(210)를 통해, 온도, 습도, 일사량, 대기 오염도 중 하나 이상의 상태 정보, 즉, 온도신호, 습도신호, 일사량 신호, 대기 오염신호 중 하나 이상을 검출하고(S110), 상태 정보들을 서버(120)로 전송한다(S120).
공감정보 출력단계로, 서버(120)는 시스템 칩(130)으로부터 수신된 상태정보들을 센서데이터 DB에 저장하고, 미리 기계학습된 학습데이터를 가진 인공신경망에 상기 상태 정보들(온도신호, 습도신호, 일사량 신호, 대기 오염신호)을 입력하고, 이에 따라 상기 인공신경망에서 출력되는 공감(共感) 정보(다시말해, 감정신호, 즉, happy, soso, sad)를 추출한다(S130).
사용자 위치정보 전송단계로, 사용자단말(110)을 이용하는 사용자가, 사용자단말내(110)의 소정 어플을 가동시키면(S140), 사용자단말(110) 내에 내장된 GPS를 통하여 현재 위치정보를 검출하고(S150), 검출된 위치정보를 서버(120)로 전송한다(S213).
사용자 위치 판단단계로, 서버(120)는 사용자단말(110)로부터 수신된 현재 위치정보에 따라 사용자가 사용자의 집에 있는지(즉, 댁내에 있는지), 아닌지(즉, 댁외에 있는지)를 판단한다(S170).
댁내시 음성패킷전송단계로, 사용자 위치 판단단계에서, 사용자가 집에 있다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 음성의 음성패킷을, 서버(120)의 교감용 공감 메시지 음성DB(미도시)로부터 수신하여(S180), 교감용 공감 메시지 음성의 음성패킷을 시스템 칩(130)으로 전송하고(S185), 시스템 칩(130)은, 시스템 칩의 스피커를 통해 교감용 공감 메시지 음성을 송출한다(S232).
댁외시 문자패킷전송단계로, 사용자 위치 판단단계에서, 사용자가 집에 있지 않다면, 서버(120)는 공감정보에 따른 교감용 공감 메시지 문자의 문자패킷을, 서버(120)의 교감용 공감 메시지 문자DB(미도시)로부터 수신하여(S190), 교감용 공감 메시지 문자의 문자패킷을 사용자단말(110)로 전송하고(S200), 사용자단말(110)은 SNS를 통하여 교감용 공감 메시지 문자를 수신하여 출력한다(S215).
채팅단계로, 사용자단말(110)은 SNS를 통하여 서버(120)와의 채팅을 시도하면(S216), 서버(120)는 교감 데이터 DB의 공감 메세지 기반 채팅 봇 실행(S227)을 하여, 사용자는 사용자단말(110)에서 SNS를 통하여 서버(120)와의 채팅을 행한다.
도 3은 본 발명의 사물 인터넷 기반 식물 교감 시스템을 이용하여 사용자(재배자)와 식물간의 공감(교감)을 행하는 예를 설명하는 모식도이다.
도 3의 (a)는 사용자가 댁내에 있는 경우로, 사용자가 시스템 칩(130)이 꽂아져 있는 화분과 가까울 때에는, 화분에 꽂힌 시스템 칩(130)의 스피커(230)에서 직접 식물의 상태를 알리는 알림이나 음성메세지 출력(310)이된다.
도 3의 (b)는 사용자가 댁외에 있는 경우로, 사용자단말(110), 즉, 사용자가 화분과 멀리 떨어져 있을 때에는 사용자단말(110)의 어플의 메신저 기능에 의해, 서버(120)로 부터 사용자단말(110)로 알림이 전송된다.
도 3의 (a)는 사용자가 댁내에 있는 경우로, 사용자가 시스템 칩(130)이 꽂아져 있는 화분과 가까울 때에는, 화분에 꽂힌 시스템 칩(130)의 스피커(230)에서 직접 식물의 상태를 알리는 알림이나 음성메세지 출력(310)이된다.
도 3의 (b)는 사용자가 댁외에 있는 경우로, 사용자단말(110), 즉, 사용자가 화분과 멀리 떨어져 있을 때에는 사용자단말(110)의 어플의 메신저 기능에 의해, 서버(120)로 부터 사용자단말(110)로 알림이 전송된다.
도 4a는 댁외에서 본 발명의 식물과의 인공지능형 감성교감 표시방법의 사용 상태를 설명하기 위한 모식도이고, 도 4b는 도 4a에서와 같이 사용자가 댁외에 있을때 사용자가 메신저 기능을 활용하여 식물의 상태를 파악하는 일예이다.
도 4a에서와 같이, 사용자단말(110)을 가지고 있는 사용자가 화분과 멀리 떨어져 있을 때, 사용자가 메신저 기능을 활용하여 식물의 상태를 파악하고 서로 교감한다. 이때, 도 4b에서와 같이, 사용자단말(110)의 화면 표시창(420)에서 서버(120)을 통해 채팅을 행할 수 있다.
도 4a에서와 같이, 사용자단말(110)을 가지고 있는 사용자가 화분과 멀리 떨어져 있을 때, 사용자가 메신저 기능을 활용하여 식물의 상태를 파악하고 서로 교감한다. 이때, 도 4b에서와 같이, 사용자단말(110)의 화면 표시창(420)에서 서버(120)을 통해 채팅을 행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자단말의 감성교감 화면표시 어플리케이션 시작 화면의 일예이다.
도 5의 (a)는 사용자단말(110)의 인공지능형 감성교감 화면표시의 어플리케이션 시작 화면이다. 상기 어플리케이션 시작화면이 표시되면서 소정 음향(예로, '심콩(singkong)')이 출력될 수 있다.
도 5의 (b)는 도 5의 (a)의 시작화면 다음에 표시되는 화면으로, 설정화면으로, 화면 하단에는 메뉴 아이콘(홈, 메신저, 지도, 식물도감, 설정)들이 있으며, 사용자가 식물의 프로필 사진을 등록할 수 있다. 도 5의 (b)의 화면의 가운데 식물의 프로필 사진을 등록할 수 있다.
도 5의 (a)는 사용자단말(110)의 인공지능형 감성교감 화면표시의 어플리케이션 시작 화면이다. 상기 어플리케이션 시작화면이 표시되면서 소정 음향(예로, '심콩(singkong)')이 출력될 수 있다.
도 5의 (b)는 도 5의 (a)의 시작화면 다음에 표시되는 화면으로, 설정화면으로, 화면 하단에는 메뉴 아이콘(홈, 메신저, 지도, 식물도감, 설정)들이 있으며, 사용자가 식물의 프로필 사진을 등록할 수 있다. 도 5의 (b)의 화면의 가운데 식물의 프로필 사진을 등록할 수 있다.
도 6은 본 발명의 일 실시예에 따른 사용자단말의 감성교감 화면표시 어플리케이션에서, 식물의 상태정보 및 공감정보와 사용자의 위치정보를 나타내는 화면의 일예이다. 도 7은 도 6의 식물의 상태(Plant's condition) 터치버튼과, 공감정보(Plant's mood) 터치버튼과, 사용자 위치정보(My location) 터치버튼을 선택함에 따른 화면들의 예를 나타낸다.
도 6의 (a)는 식물의 상태정보 및 공감정보를 나타내는 화면으로, 식물의 상태(Plant's condition) 터치버튼과, 공감정보(Plant's mood) 터치버튼과, 공감정보 제공부, 사용자 위치정보(My location) 터치버튼과, 사용자 위치정보 제공부를 구비한다.
식물의 상태(Plant's condition) 터치버튼은 식물의 상태정보를 확인하기 위해 터치(Touchi)하는 버튼이다. 식물의 상태 터치버튼을 선택하면 도 7의 (a)와 같은 식물의 상태정보가 출력된다. 도 7의 (a)의 경우에서는 온도, 습도, 일조량을 수치 및 그래프로 나타내고 있다.
공감정보(Plant's mood) 터치버튼은, 식물의 공감정보(감정)를 알리는, 음향 또는 알람을 설정하게 하기 위한 버튼이다. 공감정보(Plant's mood) 터치버튼을 선택하면 도 7의 (b)와 같은 음향 또는 알람을 설정하게 하기 위한 화면이 출력된다. 도 7의 (b)의 경우에서는 음향(sound)을 온(ON) 또는 오프(OFF)하는 버튼을 구비하며, 푸쉬알람(push alarm)을 온(ON) 또는 오프(OFF)하는 버튼을 구비하여, 사용자로 하여금 음향 또는 푸쉬알람을 설정하게 한다.
공감정보 제공부에는 서버(120)로부터 수신된 공감정보가 가재되는데, 즉, 식물의 공감정보(감정)을 나타내는 Happy(행복), soso(그럭저럭), sad(슬퍼) 중의 하나가 기재되어지며, 도 6의 경우는 'Happy'가 기재되어 있다.
사용자 위치정보(My location) 터치버튼은 사용자의 위치를 상세히 알고자 할때 선택하는 버튼으로, 사용자 위치정보 터치버튼을 선택하면 도 7의 (c)와 같은 지도 상에서 사용자 위치를 나타내는 지도(위치 동의 여부 선택 가능) 화면이 출력(표시)된다.
도 6의 (a) 및 (b)의 경우, 사용자 위치정보(My location) 제공부에는 사용자의 위치가 댁내임을 표시하는 'home'으로 표시되어 있다.
도 6의 (b)는 식물의 상태정보 및 공감정보를 나타내는 화면에서, 식물의 상태(Plant's condition) 터치버튼을 터치함에 의해 상기 버튼이 활성화되는 것을 설명하는 도면이다.
도 6에서와 같이, 본 발명에 따르는 시스템은, 식물의 상태정보(온도, 습도, 일조량)와 공감정보(감정)(Happy, soso, sad), 사용자의 위치를 한 화면에서 직관적으로 확인할 수 있도록 되어 있다. 특히 식물의 상태를 좀더 상세히 알고저 할때에는 반려식물 상태 아이콘 형태로 이루어진, 식물의 상태(Plant's condition) 터치버튼을 터치하면 붉은색으로 아이콘이 바뀌게 되며, 식물 상태정보 상세출력화면이 디스플레이되게 된다.
도 6의 (a)는 식물의 상태정보 및 공감정보를 나타내는 화면으로, 식물의 상태(Plant's condition) 터치버튼과, 공감정보(Plant's mood) 터치버튼과, 공감정보 제공부, 사용자 위치정보(My location) 터치버튼과, 사용자 위치정보 제공부를 구비한다.
식물의 상태(Plant's condition) 터치버튼은 식물의 상태정보를 확인하기 위해 터치(Touchi)하는 버튼이다. 식물의 상태 터치버튼을 선택하면 도 7의 (a)와 같은 식물의 상태정보가 출력된다. 도 7의 (a)의 경우에서는 온도, 습도, 일조량을 수치 및 그래프로 나타내고 있다.
공감정보(Plant's mood) 터치버튼은, 식물의 공감정보(감정)를 알리는, 음향 또는 알람을 설정하게 하기 위한 버튼이다. 공감정보(Plant's mood) 터치버튼을 선택하면 도 7의 (b)와 같은 음향 또는 알람을 설정하게 하기 위한 화면이 출력된다. 도 7의 (b)의 경우에서는 음향(sound)을 온(ON) 또는 오프(OFF)하는 버튼을 구비하며, 푸쉬알람(push alarm)을 온(ON) 또는 오프(OFF)하는 버튼을 구비하여, 사용자로 하여금 음향 또는 푸쉬알람을 설정하게 한다.
공감정보 제공부에는 서버(120)로부터 수신된 공감정보가 가재되는데, 즉, 식물의 공감정보(감정)을 나타내는 Happy(행복), soso(그럭저럭), sad(슬퍼) 중의 하나가 기재되어지며, 도 6의 경우는 'Happy'가 기재되어 있다.
사용자 위치정보(My location) 터치버튼은 사용자의 위치를 상세히 알고자 할때 선택하는 버튼으로, 사용자 위치정보 터치버튼을 선택하면 도 7의 (c)와 같은 지도 상에서 사용자 위치를 나타내는 지도(위치 동의 여부 선택 가능) 화면이 출력(표시)된다.
도 6의 (a) 및 (b)의 경우, 사용자 위치정보(My location) 제공부에는 사용자의 위치가 댁내임을 표시하는 'home'으로 표시되어 있다.
도 6의 (b)는 식물의 상태정보 및 공감정보를 나타내는 화면에서, 식물의 상태(Plant's condition) 터치버튼을 터치함에 의해 상기 버튼이 활성화되는 것을 설명하는 도면이다.
도 6에서와 같이, 본 발명에 따르는 시스템은, 식물의 상태정보(온도, 습도, 일조량)와 공감정보(감정)(Happy, soso, sad), 사용자의 위치를 한 화면에서 직관적으로 확인할 수 있도록 되어 있다. 특히 식물의 상태를 좀더 상세히 알고저 할때에는 반려식물 상태 아이콘 형태로 이루어진, 식물의 상태(Plant's condition) 터치버튼을 터치하면 붉은색으로 아이콘이 바뀌게 되며, 식물 상태정보 상세출력화면이 디스플레이되게 된다.
도 6의 경우에서는 식물의 상태(Plant's condition) 터치버튼은 반려식물 상태 아이콘 형태로 이루어지며, 사용자 위치정보(My location) 터치버튼은 지도 아이콘형태로 이루어진다.
도 8은 도 2의 시스템 칩의 구성을 설명하기 위한 도면이다.
도 8은 식물의 성장상태(온도, 습도, 일조량)를 측정하는 시스템 칩(130)의 디자인 모델의 일예로서, 도 8의 (a)는 시스템 칩의 사시도이고, 도 8의 (b)는 시스템 칩의 배면도이다.
시스템 칩(130)의 하단에 온도 및 습도 센서(210)를 구비하여 온도와 습도를 측정한다. 시스템 칩(130)의 상단에는 태양열 전지패널(220)을 구비하여, 태양열 전지패널(220)로 자가 충전 및 일조량을 측정하며, 시스템 칩(130)은 태양열 전지패널(220)에 의해 충전된 전원에 의해 구동된다. 또한 시스템 칩(130)의 후면에 스피커(230)를 구비하여 식물 상태를 알린다.
도 8은 식물의 상태(온도, 습도, 일조량)를 측정하는 칩의 디자인이다. 칩 하단의 센서로 온도와 습도를 측정하며, 위에 달린 태양열 전지로 자가 충전과 일조량을 측정한다. 또한 칩 후면의 스피커로 식물 상태 알림을 한다.
도 8은 식물의 성장상태(온도, 습도, 일조량)를 측정하는 시스템 칩(130)의 디자인 모델의 일예로서, 도 8의 (a)는 시스템 칩의 사시도이고, 도 8의 (b)는 시스템 칩의 배면도이다.
시스템 칩(130)의 하단에 온도 및 습도 센서(210)를 구비하여 온도와 습도를 측정한다. 시스템 칩(130)의 상단에는 태양열 전지패널(220)을 구비하여, 태양열 전지패널(220)로 자가 충전 및 일조량을 측정하며, 시스템 칩(130)은 태양열 전지패널(220)에 의해 충전된 전원에 의해 구동된다. 또한 시스템 칩(130)의 후면에 스피커(230)를 구비하여 식물 상태를 알린다.
도 8은 식물의 상태(온도, 습도, 일조량)를 측정하는 칩의 디자인이다. 칩 하단의 센서로 온도와 습도를 측정하며, 위에 달린 태양열 전지로 자가 충전과 일조량을 측정한다. 또한 칩 후면의 스피커로 식물 상태 알림을 한다.
도 9는 본 발명의 다른 일실시예에 의한 콩 껍질 모양의 시스템 칩의 일예이다.
도 9의 왼쪽에 제시한 강남콩, 완두콩, 따콩과 같이, 콩을 담고 있는 콩 껍질 모양의 시스템 칩을 패키지 디자인하였다. 도 9의 (a)는 완두콩 껍질 모양의 시스템 칩의 예이고, 도 9의 (b)는 강남콩 껍질 모양의 시스템 칩의 예이고, 도 9의 (c)는 땅콩 껍질 모양의 시스템 칩의 예이다.
도 9의 왼쪽에 제시한 강남콩, 완두콩, 따콩과 같이, 콩을 담고 있는 콩 껍질 모양의 시스템 칩을 패키지 디자인하였다. 도 9의 (a)는 완두콩 껍질 모양의 시스템 칩의 예이고, 도 9의 (b)는 강남콩 껍질 모양의 시스템 칩의 예이고, 도 9의 (c)는 땅콩 껍질 모양의 시스템 칩의 예이다.
도 10은 본 발명의 사물 인터넷 기반 식물 교감 시스템을 사용함으로써 얻어진 효과를 설명하는 설명도이다.
도 10은 사용자가 사물 인터넷 기반 식물 교감 시스템을 사용하는 상황을 가상으로 구성한 시나리오로서, 인공지능형 감성교감 시스템을 사용전(BEFORE)과 사용한 후(AFTER)를 보여주고 있다.
도 10은 사용자가 사물 인터넷 기반 식물 교감 시스템을 사용하는 상황을 가상으로 구성한 시나리오로서, 인공지능형 감성교감 시스템을 사용전(BEFORE)과 사용한 후(AFTER)를 보여주고 있다.
서버(120)는 시스템 칩(120)으로부터, 수신된 상태 정보(즉, 식물의 온도, 습도, 일사량, 대기 오염도 등)들을 인공신경망에 입력하여, 인공신경망으로부터 출력되는 소정의 공감정보 (Happy, soso, sad)신호를 얻기 위해서, 기계학습에 따른 (반려)식물의 공감 분류표(Table)가 필요하다.
이하. 딥러닝을 이용한 반려식물의 공감 분류표(Table)을 만드는 개념을 개략적으로 설명한다.
표 1은 딥러닝을 이용한 반려식물의 감성 분류표의 예이다.
상기 감성분류표를 부연설명하면, '행복'은 온도, 습도, 일조량을 학습데이터로 사용하고, 모두 평균 목표값 이상을 참이라 하고, '그럭저럭'은 온도, 습도, 일조량을 학습데이터로 사용하고, 이들 학습데이터가 평균 목표값에 대해 1개가 이상이고, 2개가 이하 일때를 참이라 하고, '슬퍼'는 온도, 습도, 일조량을 학습데이터로 사용하고, 모두 평균 목표값 미만일 때를 참이라 한다.
이하. 딥러닝을 이용한 반려식물의 공감 분류표(Table)을 만드는 개념을 개략적으로 설명한다.
표 1은 딥러닝을 이용한 반려식물의 감성 분류표의 예이다.
상기 감성분류표를 부연설명하면, '행복'은 온도, 습도, 일조량을 학습데이터로 사용하고, 모두 평균 목표값 이상을 참이라 하고, '그럭저럭'은 온도, 습도, 일조량을 학습데이터로 사용하고, 이들 학습데이터가 평균 목표값에 대해 1개가 이상이고, 2개가 이하 일때를 참이라 하고, '슬퍼'는 온도, 습도, 일조량을 학습데이터로 사용하고, 모두 평균 목표값 미만일 때를 참이라 한다.
본 발명에서 교감시스템의 서버(120) 내 인공신경망을 이용한 머신런닝은, 센서데이터DB의 데이터를 미리 학습한 학습데이터와, 델타규칙(수치해석기법:경사하강법)에 의하여 참이라는 정답을, 표 1과 같이, '행복', '그럭저럭', '슬퍼'로 분류한다고 하면, 신경망에서의 지도학습은 입력이 센서데이터이고, 참을 '행복'이라고 정의하면, d는 참(정답) 이고, e는 오차(에러)이며 y는 출력(값)이며, 가산기로 연산하여 범주분류 신경망에서 가중치(W)를 변경하는 과정을 반복하여 신경망의 출력 y을 주어진 참인 행복(1120)의 차이를 줄이는 과정을 수행한다. 즉, 신경망의 가중치(W)는 e가 줄어들도록. 학습규칙(델타규칙)을 반복 수행하여 조절한다.
본 발명의 인공신경망에서 특징추출신경망은 컨벌류션(Convolution Layer)계층과 폴링계층(Pooling Layer)을 포함하며, 범주분류 신경망은 다층의 심층신경망으로 구성되어 있으며 역전파(backpropagation) 알고리즘으로 심층 신경망을 학습시켜 그래디언트 소실(Vanshing gradient), 과적합(Overfitting), 과도 계산량을 서버(120)가 해결하여 교감시스템의 감성분류를 위한 딥러닝을 수행한다.
본 발명의 인공신경망에서 특징추출신경망은 컨벌류션(Convolution Layer)계층과 폴링계층(Pooling Layer)을 포함하며, 범주분류 신경망은 다층의 심층신경망으로 구성되어 있으며 역전파(backpropagation) 알고리즘으로 심층 신경망을 학습시켜 그래디언트 소실(Vanshing gradient), 과적합(Overfitting), 과도 계산량을 서버(120)가 해결하여 교감시스템의 감성분류를 위한 딥러닝을 수행한다.
삭제
삭제
110: 사용자단말
120: 서버
130: 시스템 칩
210: 센서
220: 태양열 전지패널
230: 스피커
420: 화면 표시창
120: 서버
130: 시스템 칩
210: 센서
220: 태양열 전지패널
230: 스피커
420: 화면 표시창
Claims (12)
- 식물이 심어진 화분에 장착되며, 온도 센서, 습도 센서, 일사량 측정센서, 대기 오염도 측정 센서 중 하나 이상 구비하여, 온도 신호, 습도 신호, 일사량 신호, 대기 오염도 신호 중 하나 이상을, 식물의 상태정보로서, 측정하는, 시스템 칩;
시스템 칩으로부터 식물의 상태정보를 수신하고, 수신된 식물의 상태정보를 머신런닝(기계학습)된 인공신경망에 입력하고, 인공신경망의 기계학습으로 생성된 감성 분류표에 의해, 식물의 공감정보가 분류되어 출력되며, 출력된 식물의 공감정보에 따라서, 음성 패킷 또는 문자 패킷을 생성하는, 서버;
서버로부터 수신한, 식물의 공감정보에 따른 문자 패킷을, 식물의 공감 메시지로서, 출력하는, 사용자 단말;을 포함하는 하는 식물과의 감성교감 시스템에 있어서,
시스템 칩은, 스피커를 더 구비하며, 서버로부터 수신한, 식물의 공감정보에 따른 음성 패킷을, 식물의 공감 메시지로서, 상기 스피커를 통해 출력하며,
사용자단말은 내장된 GPS를 통하여 사용자단말의 위치정보를 검출하여 서버로 전송하고,
서버는 사용자단말의 위치정보에 따라 사용자단말이 사용자의 집에 있는지 여부를 판단하여, 만약 사용자단말이 사용자의 집에 있을 경우에는 식물의 공감정보에 따른, 음성 패킷을 생성하여 시스템 칩부로 전송하고, 만약 사용자단말이 사용자의 집에 있지 않은 경우에는 식물의 공감정보에 따른, 문자 패킷을 생성하여 사용자 단말로 전송하며,
서버는, 식물의 공감정보에 따른 문자 패킷을, 사용자 단말로 전송함에 있어, 챗봇(chatter robot)을 이용하여 전송하며,
상기 인공신경망은 심층신경망으로,
서버는, 센서데이터 DB에 기저장된 학습데이터와, 센서데이터 DB로 입력되는 입력데이터인 센서 데이터 패킷들을, 심층신경망에 적용하여 딥러닝을 행하여 공감정보를 추출하되,
공감정보 추출시에, 지도학습을 통한 분류와 회귀분석을 수행하는 것을 특징으로 하는 식물과의 감성교감 시스템. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
서버는 센서데이터 DB에 식물의 상태정보들이 입력되면, 인공신경망에 의해 기 저장된 학습데이터에 따라 '행복(happy)', '그럭저럭(soso)', '슬퍼(sad)' 중 하나를 공감 정보로서 출력하는 것을 특징으로 하는 식물과의 감성교감 시스템. - 제5항에 있어서,
시스템 칩은 기설정된 시간간격에 따라 주기적으로 상태정보를 측정하여, 센서 데이터 패킷으로서, 서버로 전송하고,
서버는 시스템 칩의 주기에 따라 주기적으로 수신되는 센서 데이터 패킷을 수신하여 수신버퍼에 저장하고, 기설정된 시간간격에 따라 주기적으로 수신버퍼의 센서 데이터 패킷들을, 센서데이터 DB(데이터베이스)에 저장하는 것을 특징으로 하는 식물과의 감성교감 시스템. - 제6항에 있어서,
서버는 인공신경망으로부터 출력된 식물의 공감정보에 따라서, 공감 메시지 음성DB로부터 공감 메시지 음성의 음성패킷을 추출하거나,
또는 인공신경망으로부터 출력된 식물의 공감정보에 따라서, 공감 메시지 문자DB로부터 공감 메시지 문자의 문자패킷을 추출하는 것을 특징으로 하는 식물과의 감성교감 시스템. - 삭제
- 삭제
- 식물이 심어진 화분에 장착되며 온도 센서, 습도 센서, 일사량 측정센서, 대기 오염도 측정 센서 중 하나 이상 구비하는 시스템 칩이, 온도 신호, 습도 신호, 일사량 신호, 대기 오염도 신호 중 하나 이상을, 식물의 상태정보로서, 측정하고, 서버로 전송하는, 식물의 상태 정보 검출단계;
서버는, 식물의 상태 정보 검출단계에서 수신된 식물의 상태정보를 머신런닝(기계학습)된 인공신경망에 입력하고, 인공신경망은 기계학습으로 생성된 감성 분류표에 의해, 식물의 공감정보를 분류하여 출력하는, 공감정보 출력단계;를 포함하는 식물과의 감성교감 시스템의 구동방법에 있어서,
공감정보 출력단계 후, 서버는 사용자단말로부터 사용자 단말의 위치정보를 수신하고, 상기 위치정보가 사용자의 집인지 여부를 판단하는, 사용자 위치 판단단계;
사용자 위치 판단단계에서, 사용자가 집에 있지 않다고 판단되면, 서버는 공감정보에 따른 교감용 공감 메시지 문자의 문자패킷을, 서버의 교감용 공감 메시지 문자DB로부터 수신하여, 교감용 공감 메시지 문자의 문자패킷을 사용자단말로 전송하는, 댁외시 문자패킷전송단계;
사용자 위치 판단단계에서, 사용자가 집에 있다고 판단되면, 서버는 공감정보에 따른 교감용 공감 메시지 음성의 음성패킷을, 서버의 교감용 공감 메시지 음성DB로부터 수신하여, 교감용 공감 메시지 음성의 음성패킷을 시스템 칩으로 전송하는, 댁내시 음성패킷전송단계;를 더 포함하며,
서버는, 식물의 공감정보에 따른 문자 패킷을, 사용자 단말로 전송함에 있어, 챗봇(chatter robot)을 이용하여 전송하며,
상기 인공신경망은 심층신경망으로,
서버는, 센서데이터 DB에 기저장된 학습데이터와, 센서데이터 DB로 입력되는 입력데이터인 센서 데이터 패킷들을, 심층신경망에 적용하여 딥러닝을 행하여 공감정보를 추출하되,
공감정보 추출시에, 지도학습을 통한 분류와 회귀분석을 수행하는 것을 특징으로 하는 식물과의 감성교감 시스템의 구동방법.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170119237A KR102116345B1 (ko) | 2017-09-18 | 2017-09-18 | 사물인터넷기술(IoT)을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170119237A KR102116345B1 (ko) | 2017-09-18 | 2017-09-18 | 사물인터넷기술(IoT)을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190031609A KR20190031609A (ko) | 2019-03-27 |
| KR102116345B1 true KR102116345B1 (ko) | 2020-05-28 |
Family
ID=65906517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170119237A KR102116345B1 (ko) | 2017-09-18 | 2017-09-18 | 사물인터넷기술(IoT)을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102116345B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220026508A (ko) * | 2020-08-25 | 2022-03-04 | 순천향대학교 산학협력단 | 스마트 온실 농업환경의 네트워크 이상 감지 시스템 및 그 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130067628A (ko) * | 2011-12-14 | 2013-06-25 | 엘지전자 주식회사 | 디스플레이기기 및 디스플레이기기의 알림 서비스 제공 방법 |
| KR20130123846A (ko) * | 2012-05-04 | 2013-11-13 | (주)진우소프트이노베이션 | Ｓｎｓ 기반의 식물 생장 관리 장치 및 그 방법 |
| KR101415933B1 (ko) * | 2012-11-08 | 2014-07-08 | 재단법인대구경북과학기술원 | 식물 생장 모니터링 시스템 |
-
2017
- 2017-09-18 KR KR1020170119237A patent/KR102116345B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220026508A (ko) * | 2020-08-25 | 2022-03-04 | 순천향대학교 산학협력단 | 스마트 온실 농업환경의 네트워크 이상 감지 시스템 및 그 방법 |
| KR102519017B1 (ko) | 2020-08-25 | 2023-04-10 | 순천향대학교 산학협력단 | 스마트 온실 농업환경의 네트워크 이상 감지 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190031609A (ko) | 2019-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Greengard | The internet of things | |
| CN103279687B (zh) | 一种基于上下文感知的个性化健康服务系统 | |
| CN106165455B (zh) | 赋予资源语义 | |
| CN103997359B (zh) | 用于无线装置配对的系统和方法 | |
| JP6189929B2 (ja) | 情報共有方法 | |
| CN104159294B (zh) | 一种基于蓝牙4.0技术的云定位平台 | |
| CN106164951A (zh) | 关联广播设备数据和用户账户 | |
| CN105045234A (zh) | 基于智能可穿戴设备行为感知的智能家庭能源管理方法 | |
| CN104335564A (zh) | 用于标识和分析用户的个人情景的系统和方法 | |
| CN108810300A (zh) | 智能调整智能终端铃声的方法及其控制方法及装置 | |
| CN102780783B (zh) | 农作物生长环境信息实时感知和动态呈现系统及方法 | |
| CN105635234A (zh) | 一种管理人体设备的方法及装置 | |
| CN109951363A (zh) | 数据处理方法、装置及系统 | |
| US20160373384A1 (en) | System and method for instant messaging | |
| Minh et al. | A cost-effective smart farming system with knowledge base | |
| JP2017143794A (ja) | 育成システム、栽培機器、育成管理サーバー、栽培機器制御プログラム及び育成方法 | |
| EP3079569A1 (en) | Combining information from multiple formats | |
| KR101182050B1 (ko) | 전력 관리 단말기 및 전력 관리 장치 | |
| CN107003715A (zh) | 基于用户睡眠状态配置智能电话 | |
| KR102116345B1 (ko) | 사물인터넷기술(IoT)을 이용한 식물과의 인공지능형 감성교감 표시방법 및 인공지능형 감성교감 시스템 | |
| CN106295158A (zh) | 一种婴幼儿自动辅助管理系统、管理方法和设备 | |
| CN109155747A (zh) | 管理多个消息 | |
| KR102009716B1 (ko) | 반려 동·식물 케어를 위한 방법, 시스템 | |
| CN203276349U (zh) | 一种自习室人数智能查询装置 | |
| CN112286289A (zh) | 一种口含式可穿戴设备、处理方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |