KR102116259B1 - 교감형 반려식물 로봇시스템 - Google Patents

Abstract

본 발명은 교감형 반려식물 로봇시스템에 관한 것으로, 식물이 재배되는 공간을 제공하며, 식물의 상태를 모니터링하여 데이터를 취득하고, 상기 데이터에 따라 식물에 대한 재배환경을 조절하는 식물 재배부와, 상기 식물 재배부에서 취득한 데이터를 이용하여 식물에 대한 정보를 총괄적으로 관리하고, 이를 이용하여 식물과 인간 사이에 교감 기능을 수행하는 인공지능 제어부를 포함하며, 상기 식물 재배부와 인공지능 제어부가 하나의 로봇 하우징 내에 설치되어 상기 로봇 하우징 내에서 식물의 재배에 필요한 환경을 제공할 뿐 아니라 식물의 상태에 대한 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 교감하면서 반려식물로써의 역할을 할 수 있는 효과가 있다.

Description

교감형 반려식물 로봇시스템{Sympathetic Companion Plant Robot System}

본 발명은 교감형 반려식물 로봇시스템에 관한 것으로, 보다 상세하게는 다양한 센서를 이용하여 식물의 상태를 모니터링을 하고, 모니터링된 데이터를 인공지능 엔진과 결합하여 인간과 대화, 행동 등을 통해 인간과 교감할 수 있는 교감형 반려식물 로봇시스템에 관한 것이다.

최근 싱글족, 독거노인 등 1인 가구가 전체 약 1900만 가구 중 520만 가구를 차지하여 27.2%의 비율인 것으로 조사되었으며, 계속적으로 1인 가구의 수는 증가하는 추세이다. 특히, 독거노인의 경우 현재 노인 6명 중 1명을 차지하고 있을 뿐 아니라 그 비중은 앞으로 더 증가 할 것으로 전망된다.

이와 같은 1인 가구의 증가는 반려시장의 성장을 초래하는데, 반려 산업 규모는 2016년 2조원에서 2020년 5조8000억 원까지 늘어날 것으로 전망된다(2017년 04월 06일자 헤럴드경제).

이와 같이 반려시장이 성장추세에 있지만, 반려의 대상으로 동물을 선택하기 어려운 사람들, 예컨대 바쁜 직장인이나 노인들에게 반려식물이 각광받고 있으며, 식물을 대상으로 하는 반려시장 또한 커지는 경향을 보인다.

예컨대, 화분, 화초, 원예재료 등의 매출량이 매년 큰 폭으로 증가하여 가정에서 식물을 키우는 일이 점점 늘어나고 있는 것을 알 수 있다.

그러나, 가정의 실내에서 식물을 잘 성장시키기 위해서는 광량, 수분, 온도, 습도 등 식물이 성장할 수 있는 환경을 사람이 일일이 조절해줘야 하는데, 식물을 키워본 경험이 많은 사람일 경우에는 스스로 터득된 경험에 의해, 식물을 재배할 수 있지만, 식물을 키워본 경험이 적거나 다양한 식물군을 재배하는 경우에는 각각의 식물의 재배정보에 포함되는 온도, 습도 및 일사량 등의 성장환경조건을 각 재배자가 체감으로 정확하게 예측하여 식물을 재배하는 일이 쉽지 않다는 등의 여러가지 문제점이 있었다.

또한, 바쁜 직장인들은 집에서 생활하는 비율이 적기 때문에, 실질적으로 식물을 제대로 관리하며 재배하는 일이 쉽지 않은 현실이다.

이와 관련된 종래의 기술로서, 한국등록특허 제10-0481162호는 성장하는 식물의 재배 관리를 용이하게 제어할 수 있는 성장환경 제어가 가능한 디지털 화분이 개시되어 있다.

상기 등록특허는 식물을 재배하는 재배자가 식물의 성장환경인, 광조사량, 주위 온도 및 수분 등과 식물의 생존 유무를 감지할 수 있도록 각종 센서를 구비하고, 이들 센서에 의해 감지한 각종 데이터를 재배자가 인지할 수 있도록 퍼스널 컴퓨터의 모니터 또는 표시부(액정표시장치)에 표시함으로써, 식물의 재배 관리를 보다 용이하게 하는 장점은 있지만, 수집된 데이터를 재배자가 확인한 후 직접 필요한 에너지를 식물에 공급해야 한다는 점에서 시간을 내기 어려운 직장인들이나 노인들에게는 적합하지 못하며, 일괄적으로 특정 데이터를 측정하여 식물의 상태를 추정하므로 식물의 상태가 재배자에게 정확하게 전달되지 못할 위험성이 있다.

또한, 반려의 대상으로 식물을 선택하는 사람이 증가하는 현 추세에서, 종래의 기술로는 식물과의 교감이 어려우므로 식물을 재배함과 동시에 식물과의 '교감'을 할 수 있는 기술이 요구되고 있다.

한국등록특허 제10-0481162호.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출한 것으로서, 식물을 반려의 대상으로 인식할 수 있도록 인공지능 엔진을 통해 식물과의 '교감' 이 가능한 교감형 반려식물 로봇시스템을 제공하는데 그 목적이 있다.

또한, 다양한 센서를 이용하여 식물의 상태를 모니터링을 하고, 모니터링된 데이터를 이용하여 식물의 재배에 필요한 광량조절, 수분조절, 온도습도 조절을 자동적으로 함으로써, 가정에서 식물의 재배를 용이하게 하는 교감형 반려식물 로봇시스템을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명에서는 식물이 재배되는 공간을 제공하며, 식물의 상태를 모니터링하여 데이터를 취득하고, 상기 데이터에 따라 식물에 대한 재배환경을 조절하는 식물 재배부와, 상기 식물 재배부에서 취득한 데이터를 이용하여 식물에 대한 정보를 총괄적으로 관리하고, 이를 이용하여 식물과 인간 사이에 교감 기능을 수행하는 인공지능 제어부를 포함하며, 상기 식물 재배부와 인공지능 제어부가 하나의 로봇 하우징 내에 설치되어 상기 로봇 하우징 내에서 식물의 재배에 필요한 환경을 제공할 뿐 아니라 상기 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 교감할 수 있는 교감형 반려식물 로봇시스템이 제공된다.

상기 식물 재배부는, 식물의 재배공간을 제공하는 케이스와, 상기 식물의 상태를 모니터링하여 식물에 대한 생장 환경 데이터를 취득하기 위한 센서모듈과, 상기 센서모듈이 취득한 생장 환경 데이터에 따라 상기 식물에 대한 재배 환경을 조절하기 위한 재배환경 조절모듈을 포함할 수 있다.

상기 케이스는 개폐가능한 도어를 포함하며, 아크릴, 도자기, 나무, 유리 또는 금속 재질로 이루어질 수 있다.

또한, 상기 센서모듈은, 상기 식물이 심겨지는 화분 내 토양의 건조도를 실시간으로 측정하는 토양습도 센서와, 상기 케이스 내 온도 및 습도를 실시간으로 측정하는 온도습도 센서와, 상기 식물에 물을 공급하는 물탱크의 수위를 측정하는 수위센서를 포함할 수 있다.

한편, 상기 식물 재배부는 상기 식물의 건강상태를 파악하기 위한 광합성 관찰 카메라를 더 포함할 수 있다.

이 경우, 상기 광합성 관찰 카메라를 통해 얻은 영상을 이용하여 식생지수(NDVI)를 계산하고, 이를 이용하여 식물의 건강상태를 파악하는 것을 특징으로 한다.

상기 광합성 관찰 카메라는 적외선 카메라를 포함하며, 상기 적외선 카메라를 통해 얻은 블루 필터(Blue filter)를 적용한 이미지와 상기 블루 필터를 미 적용한 이미지를 사용하여 상기 식생지수(NDVI)를 계산할 수 있다.

한편, 상기 재배환경 조절모듈은, 상기 식물에 엘이디광을 발산하도록 하는 조명 모듈과, 상기 케이스 내 측정된 온도 및 습도 데이터에 따라 상기 케이스 내를 환기시키기 위한 환기팬을 포함할 수 있다.

본 발명에서는 상기 식물 재배부에서 취득한 생장 환경 데이터를 전송받아 확인하거나 상기 식물 재배부의 재배환경 조절모듈을 원격으로 제어할 수 있는 애플리케이션이 구동되는 외부 단말기가 더 포함될 수 있다.

본 발명에 있어서, 상기 인공지능 제어부는, 사용자의 얼굴 인식 및 충돌을 방지하기 위해 전방의 영상을 획득하는 카메라와, 상기 식물의 각종 재배정보를 제공하고, 식물 재배를 위한 제어 명령을 지시하기 위한 디스플레이와, 사용자의 음성 인식을 위한 소리를 계측하는 마이크와, 사용자와 식물 간의 음성 교감을 위해 소리를 재생하는 스피커와, 통신기능 수행으로 외부 단말기와 통신하는 통신부와, 상기 카메라, 디스플레이, 마이크 또는 외부 단말기를 통해 취득한 데이터를 인식하여 분석하고, 분석한 데이터를 근거하여 인간과의 교감 알고리즘을 통해 상기 디스플레이 또는 스피커를 제어하는 제어모듈을 포함할 수 있다.

상기 제어모듈은, 상기 카메라를 통해 사용자의 얼굴을 인식하는 얼굴 인식부와, 상기 마이크 또는 외부 단말기를 통해 들어오는 음성을 인식하고, 식물의 상태 모니터링 결과를 통해 설정된 단어를 이용하여 인간과 대화를 하는 음성 인식부를 포함할 수 있다.

상기 음성 인식부에서의 음성 인식을 위한 음성데이터 처리과정은 음성 전처리 과정, 특징벡터추출 과정, ELM 알고리즘을 사용한 판별의 과정을 거치는 것을 특징으로 한다.

한편, 상기 로봇 하우징의 이동을 가능하게 하는 로봇 이동부가 더 포함될 수 있다.

여기서, 상기 로봇 이동부는, 전원을 공급하는 전원부와, 상기 로봇 하우징의 이동을 위한 구동부와, 충돌 회피를 위한 초음파센서 또는 적외선센서가 탑재되는 센서부를 포함할 수 있다.

또한, 상기 전원부에 전기를 공급하고, 식물에 물을 공급하는 물탱크에 물을 공급하는 도킹 스테이션이 더 포함될 수 있다.

이상에서 살펴본 본 발명에 의하면, 식물을 반려의 대상으로 인식할 수 있도록 인공지능 엔진을 통해 식물과의 '교감' 이 가능한 효과가 있다.

또한, 다양한 센서를 이용하여 식물의 상태를 모니터링을 하고, 모니터링된 데이터를 이용하여 식물의 재배에 필요한 광량조절, 수분조절, 온도습도 조절을 자동적으로 함으로써, 가정에서 식물의 재배를 용이하게 하는 효과가 있다.

도 1은 본 발명의 교감형 반려식물 로봇시스템의 일실시예를 도시한 전체 사시도이다.
도 2는 본 발명의 식물 재배부의 내부 구성을 보이는 정면도이다.
도 3은 본 발명의 식물 재배부의 내부 구성을 보이는 측면도이다.
도 4는 본 발명의 교감형 반려식물 로봇시스템의 전체 구성을 나타내는 블록도이다.
도 5는 본 발명의 교감형 반려식물 로봇시스템에서 얼굴 인식과정을 나타내는 블록도이다.
도 6은 본 발명의 교감형 반려식물 로봇시스템에서 음성 인식과정을 나타내는 블록도이다.
도 7은 본 발명의 교감형 반려식물 로봇시스템에서 물과 전기를 공급하는 일실시예를 도시한 예시도이다.
도 8은 본 발명에서 식생지수(NDVI)의 계산 원리를 나타내는 도면이다.
도 9는 본 발명에서 식생지수(NDVI) 계산을 위한 카메라의 각 출력영역을 나타내는 도면이다.
도 10은 본 발명에서 식생지수(NDVI) 계산을 위한 IR 캠의 연산공식을 나타내는 도면이다.
도 11은 본 발명의 IR 캠에서의 블루 필터(Blue Filter) 유무에 따른 이미지를 나타내는 사진이다.
도 12 내지 도 13은 본 발명의 실시예에서 계산된 식생지수(NDVI)를 픽셀 단위로 나타내는 픽셀단위 그래프와 가우시안 분포 그래프이다.
도 14는 본 발명의 실시예에서 추출된 표본의 식생지수(NDVI) 연산 값을 나타내는 표이다.
도 15는 본 발명의 실시예에서 추출된 표본의 위치 및 픽셀 크기별 식생지수(NDVI) 값을 나타내는 그래프이다.
도 16은 본 발명의 실시예에서 연산된 식생지수(NDVI)의 결과 이미지를 나타내는 사진이다.

이하에서는 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예에 대해 상세하게 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

도 1은 본 발명의 교감형 반려식물 로봇시스템의 일실시예를 도시한 전체 사시도이고, 도 2는 본 발명의 식물 재배부의 내부 구성을 보이는 정면도이고, 도 3은 본 발명의 식물 재배부의 내부 구성을 보이는 측면도이고, 도 4는 본 발명의 교감형 반려식물 로봇시스템의 전체 구성을 나타내는 블록도이다.

본 발명은 사람과 식물 사이에 '교감'을 할 수 있는 교감형 반려식물 로봇시스템으로서, 로봇 하우징 내에서 식물을 키우고 재배하는 식물에 필요한 빛, 수분, 영양분 등을 모두 공급할 뿐만 아니라 식물의 상태를 다양한 센서를 이용하여 모니터링을 하고, 모니터링된 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 대화, 행동 등을 하여 인간과 교감할 수 있는 반려 로봇이다.

본 발명에서 제안하는 교감형 반려식물 로봇시스템(100)의 일실시예는 도 1에서 보는 바와 같이, 크게 식물 재배부(110), 인공지능 제어부(120), 로봇 이동부(130)를 포함한다.

이와 같은 교감형 반려식물 로봇시스템(100)은 상기 식물 재배부(110)와 인공지능 제어부(120)가 하나의 로봇 하우징 내에 설치되어 상기 로봇 하우징 내에서 식물의 재배에 필요한 환경을 제공할 뿐 아니라 식물에 대한 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 교감할 수 있는 구성을 갖는다.

먼저, 상기 식물 재배부(110)는 식물이 재배되는 공간을 제공하며, 식물의 상태를 모니터링하여 데이터를 취득하고, 상기 데이터에 따라 식물에 대한 재배환경을 조절하는 구성요소로서, 식물의 재배공간을 제공하는 케이스(112)와, 상기 식물의 상태를 모니터링하여 식물에 대한 생장 환경 데이터를 취득하기 위한 센서모듈(114)과, 상기 센서모듈(114)이 취득한 생장 환경 데이터에 따라 상기 식물에 대한 재배 환경을 조절하기 위한 재배환경 조절모듈을 포함할 수 있다.

상기 케이스(112)는 개폐가능한 도어(112a)를 포함하며, 아크릴, 도자기, 나무, 유리 또는 금속 재질로 이루어질 수 있다. 상기 도어(112a)는 케이스(112)의 전면에 설치되는 것이 바람직하며, 상기 도어(112a)를 개방하면 식물이 노출되어 식물에 물을 주거나 화분(10)을 교체할 수 있도록 한다.

또한, 상기 화분(10)은 화분 고정대(20)에 얹혀지는데, 상기 화분 고정대(20)는 상기 도어(112a)가 열리면 자동적으로 전진하여 화분(10)의 교체를 쉽게 할 수 있도록 설계될 수 있다. 이 경우, 상기 화분 고정대(20)의 작동 구조는 공지된 기술이 적용될 수 있다. 예컨대, 상기 도어(112a)의 개폐동작을 감지할 수 있는 센서, 이와 연동하여 상기 화분 고정대(20)가 슬라이딩 이동하는 구조 등으로 설계가 가능하며, 본 발명에서는 이에 대한 상세한 설명은 생략하고자 한다.

한편, 상기 케이스(112)는 식물의 생장에 따라 높이를 조절할 수 있는 구조를 갖도록 할 수 있다. 예를 들어, 상기 케이스(112)가 복수의 칸으로 구분되고, 각각의 칸이 조립식 구조를 갖음으로써, 식물이 성장함에 따라 생장높이에 맞게 상기 칸을 추가하거나 제거할 수 있는 분리형 구조를 갖도록 하는 것이다.

또한, 상기 센서모듈(114)은, 도 4에 도시한 바와 같이, 상기 식물이 심겨지는 화분 내 토양의 건조도를 실시간으로 측정하는 토양습도 센서(도시안함)와, 상기 케이스 내 온도 및 습도를 실시간으로 측정하는 온도습도 센서(114a)와, 상기 식물에 물을 공급하는 물탱크의 수위를 측정하는 수위센서 등을 포함할 수 있다.

먼저, 상기 토양습도 센서는 화분(10)에 장착하여 흙이 일정 습도 이하의 경우 물을 공급해 주고 일정 습도 이상일 경우 물을 주지 않도록 하기 위한 센서로서, 화분(10) 내의 흙의 습도를 감지하여 물의 공급 유무를 판단하도록 한다.

또한, 상기 온도습도 센서(114a)는 식물 재배부(110) 내의 습도 및 온도 조절을 위해 설치하고, 일정온도 이상의 경우에 환기팬(114c)과 습도를 동시에 공급하여 온도를 낮추고, 일정온도 이하의 경우 히터(114b)를 가동하여 온도를 높일 수 있도록 한다.

한편, 상기 수위센서는 식물에 물을 공급하는 물탱크(118)의 수위를 측정하기 위한 것으로, 상기 수위센서는 접촉식 수위센서와 비접촉식 수위센서가 사용될 수 있으나, 본 발명에서는 물탱크의 높이에 구애받지 않는 비접촉식 수위센서를 적용하는 것이 바람직하다. 다만, 비접촉식 수위센서의 경우 마이크로웨이브를 사용하여 물체 넘어에 액체를 파악하므로 마이크로 웨이브가 통과하지 못하는 금속재질의 물탱크는 사용할 수 없다.

상기 수위센서의 감지에 따라 도 3에 도시된 바와 같이, 물 공급 포트(118a)를 통해 물탱크(118)에 물을 공급받고 물탱크(118)의 물을 이용하여 식물에 물을 펌프를 통해 흙 내부에 침투방식으로 공급하거나 스프레이를 통해 내부 습도를 조절할 수 있게 한다.

이외에도, 상기 센서모듈(114)로서 CO2 센서(114d)가 설치될 수 있다. 상기 CO2 센서(114d)는 식물 재배부(110) 내에 CO2를 측정하여 광합성량을 예측하는데 사용하는 것으로, 식물생장을 위한 조명모듈(115)을 조사하고 있을 때 내부 CO2량이 줄어들고, 어두운 상태일 경우 CO2량이 증가하는데, 이를 감지하여 식물이 성장하기에 가장 적합한 이산화탄소의 농도를 갖도록 한다.

한편, 상기 재배환경 조절모듈은 상기 식물에 엘이디광을 발산하도록 하는 조명 모듈(115)과, 상기 케이스(112) 내 측정된 온도 및 습도 데이터에 따라 상기 케이스 내를 환기시키기 위한 환기팬(114c)을 포함할 수 있다.

상기 조명 모듈(115)은 자연광에 맞춘 LED를 케이스(112)의 실내 상부에 부착하여, 식물생장에 맞추어 상황에 따라 점등하도록 하고, 식물의 상태를 실내 광합성 관찰 카메라(116)로 파악하거나 인간에게 영상을 전송 할 때도 점등 사용한다.

또한, 상기 환기팬(114c)은 식물 재배부(110)의 공기를 순환하기 위해 설치되어, 식물이 광합성을 많이 하는 경우 외부(건물의 실내)의 산소량을 증가시키기 위해 상기 환기팬(114c)으로 산소를 밖으로 보낸다. 또한, 식물 재배부(110) 내에 약한 열을 발생하는 열선(114b)을 부착해 내부 온도를 높일 수 있다.

한편, 상기 식물 재배부(110)는 상기 식물의 건강상태를 파악하기 위한 광합성 관찰 카메라(116)를 더 포함할 수 있다.

상기 광합성 관찰 카메라(116)는 케이스(112)의 실내 상부에 부착하며, 근적외선 필터를 사용하여 필터가 없을 때 가시광선을 촬영하고, 필터를 이용하여 근적외선을 촬영하여 한 후에, 광합성을 측정하는 기술을 적용할 수 있다.

일반적으로, 식물은 기본적으로 빛의 약 83%를 흡수하고 12%를 반사, 5%를 투과시키며, 3개의 빛 흡수 색소입자(엽록소a, b 그리고 β-카로틴)로 인하여 가시광선 중 550~630nm 파장의 빛을 반사하고 나머지는 흡수한다. 반사되는 빛의 파장은 녹색파장과 적외선이므로 잎은 가시적으로 녹색을 띈다. 태양광에는 기본적으로 가시광선 외에도 자외선과 적외선을 포함하여 조사된다. 하지만 식물의 잎은 700nm이상의 파장의 빛을 흡수하지 못하고 반사한다. 이를 측정하여 광합성의 유무를 알 수 있다.

이와 같이 광합성을 측정하는 기술은 식물에서 적외선이 흡수되지 않고 반사되는 점을 이용한 기술로서, 상기 광합성 관찰 카메라(116)를 통해 얻은 영상을 이용하여 식생지수(NDVI)를 계산하고, 이를 이용하여 식물의 건강상태를 파악한다.

'식생지수(NDVI)'란 건강한 식물의 경우 가시광선을 대부분 흡수하나 건강하지 않아 광합성을 잘 못하는 초목의 경우 가시광선의 반사율이 높아지므로 반사된 가시광선과 반사된 근적외선의 비를 이용하여 식물의 건강상태를 파악하는 것으로, 이러한 식생지수의 계산 원리는 가시광선(특히 적색 영역)과 근적외선 영역에서 녹색 식물의 반사율 차이가 크게 나는 것을 이용하여 두 영역에서 관측되어진 영상에 일정한 수식을 적용하여 식생의 상태를 나타내는 영상을 얻어내는 것이다.

도 8은 본 발명에서 식생지수(NDVI)의 계산 원리를 나타내는 도면으로, 건강한 식물(왼쪽)은 대부분의 가시 광선을 흡수하고 근적외선의 많은 부분을 반사하는 반면, 건강이 좋지 않은 식물(오른쪽)은 적은 가시광선을 흡수하고 근적외선을 적게 반사한다.

이와 같이, 식물에서 반사되는 적외선 영역의 색을 확인하기 위해 일반적으로 가시광선 대역의 카메라와 적파장을 감쇠시키는 블루 필터를 적용한 적외선 카메라가 필요하다. 대체적으로 적외선 카메라에 블루 필터를 적용한 이미지와 그렇지 않은 이미지를 사용하여 한 대의 카메라로 식생지수(NDVI)를 계산하기 위한 카메라 구성이 가능하다.

적외선 카메라와 일반 카메라의 차이점은 적외선 영역을 감쇠시키는 IR Filter의 유무이며, 적외선 영역의 사진 촬영을 위해 본 발명에서는 라즈베리 파이(Raspberry Pi)와 호환되는 ‘NoIR(Filter) V2’카메라를 사용하였다.

도 9는 본 발명에서 식생지수(NDVI) 계산을 위한 카메라의 각 출력영역을 나타내는 도면으로, 일반 카메라(Normal Cam)는 블루, 그린, 레드가 출력되고, 적외선 카메라(IR Cam)는 블루, 그린, 레드, IR이 출력되는 한편, 블루 필터가 포함된 적외선 카메라(IR Cam)는 블루, 그린, IR이 출력되는 것을 알 수 있다.

적외선 카메라에서의 식생지수의 연산은 촬영된 IR 캠 이미지와 블루 필터링이된 IR 캠 이미지에서 레드 칼라만 추출하여 도 10에서와 같이 계산한다.

도 11은 본 발명의 IR 캠에서의 블루 필터(Blue Filter) 유무에 따른 이미지를 나타내는 사진으로, 블루 필터(Blue Filter)가 없는 경우와 블루 필터링이 된 IR 캠에서의 건강하지 않은 잎과 건강한 잎의 이미지를 나타낸다.

도 11에서의 Red Mean값은 각각의 잎에서 100x100 size 로 추출한 표본에 대한 Red 영역의 평균 값이다.

통상적으로, (i, j) 번째 픽셀의 식생지수 계산식은 아래와 같으며, 본 계산식은 픽셀 단위로 계산한 것이다.

상기 계산식에 의해 계산된 식생지수는 도 12와 같이 픽셀 단위의 그래프로 나타낼 수 있다. 여기서, 노락색이 건강하지 않은 잎, 파란색이 건강한 잎의 히스토그램으로, 픽셀 단위로 잎의 건강상태를 구분하기는 쉽지 않다.

따라서, 도 12의 히스토그램을 이용하여 가우시안 밀도함수 파라메터를 찾아내어 가우시안 분포 그래프를 도 13에 나타내었다. 도 13을 보면, 건강한 잎은 N(1.066, 0.2655), 건강하지 않은 잎은 N(0.5583, 0.1664)인 것을 알 수 있다.

한편, 픽셀 단위 계산으로 건강한 잎(광합성을 잘하는 잎) 또는 건강하지 않은 잎(광합성을 잘 못하는 잎)으로 판단하는 것이 어려우므로 픽셀 그룹을 평균하였으며, 이 경우의 계산식은 다음과 같다.

도 14는 본 발명의 실시예에서 추출된 표본의 식생지수(NDVI) 연산 값을 나타내는 표로서, 표본으로 자른 영역의 레드 값 평균을 살펴보면 건강하지 않은 잎의 경우, 필터 적용 시 값이 크게 감쇠한다. 이로써, 잎이 반사하는 값이 Visible Red > Infra Red 임을 알 수 있다.

이 경우, 식생지수(NDVI) 연산은 (115.961x2 -153.502)/153.502 = 0.511 이다.

건강한 잎의 경우 필터 적용 시 값이 적게 감쇠한다. 이로써, 잎이 반사하는 값이 Visible Red < Infra Red 임을 알 수 있다.

이 경우, 식생지수(NDVI) 연산은 (127.719x2 -128.481)/128.481 = 0.988 이다.

결론적으로, 건강한 잎이 식생지수가 더 높다.

도 15는 본 발명의 실시예에서 추출된 표본의 위치 및 픽셀 크기별 식생지수(NDVI) 값을 나타내는 그래프로서, 픽셀별로 50x50, 100x100, 150x150 의 크기로 두 위치에서 NDVI 연산을 하였다. 도 15를 통해 계산 영상이 큰 픽셀의 평균값이 더 정확한 것을 알 수 있으며, 건강하지 않은 잎은 0.6 이하의 식생지수를 가지고 있고, 건강한 잎은 0.8 이상의 식생지수를 가진 것으로 나타났다. 또한, 결론적으로 NDVI는 픽셀 단위로 판단하는 것보다 영역의 평균으로 잎의 상태를 판단하는 것이 정확한 것을 알 수 있다.

도 16은 본 발명의 실시예에서 연산된 식생지수(NDVI)의 결과 이미지를 나타내는 사진이다.

본 발명에서는 적외선 카메라 한 대를 사용하여 블루 필터를 적용한 이미지와 미 적용한 이미지를 사용하였으며, NDVI 이미지에서 하얀색일수록 식생지수가 높음을 뜻한다. 즉, Visible Red 에 비해 Infra Red 반사량이 높음을 뜻한다.

한편, 본 발명에서는 상기 식물 재배부(110)에서 취득한 데이터를 이용하여 식물에 대한 정보를 총괄적으로 관리하고, 이를 이용하여 식물과 인간 사이에 교감 기능을 수행하는 인공지능 제어부(120)를 포함한다.

상기 인공지능 제어부(120)는 사용자의 얼굴 인식 및 충돌을 방지하기 위해 전방의 영상을 획득하는 카메라(122)와, 상기 식물의 각종 재배정보를 제공하고, 식물 재배를 위한 제어 명령을 지시하기 위한 디스플레이(124)와, 사용자의 음성 인식을 위한 소리를 계측하는 마이크(126)와, 사용자와 식물 간의 음성 교감을 위해 소리를 재생하는 스피커(128)와, 통신기능 수행으로 외부 단말기와 통신하는 통신부(도시안함)와, 상기 카메라(122), 디스플레이(124), 마이크(126) 또는 외부 단말기(500)를 통해 취득한 데이터를 인식하여 분석하고, 분석한 데이터를 근거하여 인간과의 교감 알고리즘을 통해 상기 디스플레이(124) 또는 스피커(128)를 제어하는 제어모듈(400)을 포함할 수 있다.

또한, 본 발명에서는 상기 식물 재배부(110)에서 취득한 생장 환경 데이터를 전송받아 확인하거나 상기 식물 재배부의 재배환경 조절모듈을 원격으로 제어할 수 있는 애플리케이션이 구동되는 외부 단말기(500)가 더 포함될 수 있다.

상기 제어모듈(400)은 공유기(510)를 통해 Flask 기반의 웹 서버를 구동하여 외부 단말기(500)에서 접속가능하도록 할 수 있으며, 이를 통해 외부 단말기(500)에서 원격으로 재배환경 조절모듈을 제어하고 전구상태 등을 확인하도록 할 수 있다.

한편, 상기 제어모듈(400)은 라즈베리 파이(Raspberry Pi) 기반 제어장치로 구성될 수 있으며, 본 발명에서는 상기 외부 단말기(500)와 통신기능을 수행하는 제1 라즈베리 파이(420)와, 추가적인 제2 라즈베리 파이를 구비하여 라즈베리 파이 간 데이터를 전송하여 통신하도록 구성하였다. 이는 본 발명에서 얼굴인식의 경우 계산량이 많아 기존의 웹 서버를 구동하는 라즈베리 파이(420) 이외에 한 대의 라즈베리 파이를 추가적으로 구비하는 것이 바람직하기 때문이다.

상기 제1 라즈베리 파이(420)와 추가되는 라즈베리 파이는 시리얼(Serial 통신)으로 데이터를 전송할 수 있으며, 상기 라즈베리 파이에서 각 항목별로 나누어 공유기(510)를 통해 외부 단말기(500)과의 무선 통신 기능을 하도록 구성된다.

본 발명에 있어서, 상기 인공지능 제어부(120)는 식물과 인간과의 교감 알고리즘을 통해 식물을 반려의 대상으로 여기며 키울 수 있도록 하는 것에 특징이 있다.

식물은 동물과 다르게 사람의 행동에 대한 반응이 없거나 매우 느리게 나타난다. 또한, 식물 자체의 상태 또한 청각적으로는 나타나지 않으며, 시각적으로 매우 느리게 나타나므로, 식물과 교감하기 위해서는 사람의 행동에 반응하는 것과 즉각적인 피드백을 필요로 하며, 본 발명에서는 얼굴인식과 음성인식을 통해 이를 해결하고자 하였다.

이를 위해, 상기 제어모듈(400)은 상기 카메라(122)를 통해 사용자의 얼굴을 인식하는 얼굴 인식부와, 상기 마이크(126) 또는 외부 단말기(500)를 통해 들어오는 음성을 인식하고, 식물의 상태 모니터링 결과를 통해 설정된 단어를 이용하여 인간과 대화를 하는 음성 인식부를 포함할 수 있다.

도 5는 본 발명의 교감형 반려식물 로봇시스템에서 얼굴 인식과정을 나타내는 블록도이고, 도 6은 본 발명의 교감형 반려식물 로봇시스템에서 음성 인식과정을 나타내는 블록도이다.

먼저, 본 발명에서는 식물이 주인을 알아봄으로써 반려의 의미를 강화한다.

이를 위해, 다양한 각도의 얼굴을 트레이닝 하여 주인의 얼굴인식률을 높이는 것이 필요하며, 사용자의 얼굴을 다양한 각도에서 촬영한 얼굴인식 트레이닝 사진 데이터를 상기 제어모듈(400)에 입력하여 상기 카메라(122)에 사람이 인접했을 때 입력된 사진 데이터와 촬영된 영상을 비교하여 사용자의 얼굴을 인식하도록 한다.

얼굴인식의 경우, 계산량이 많아 기존의 웹 서버를 구동하는 라즈베리 파이(420)와 추가적인 라즈베리 파이 간 통신하며, 동작은 서버가 구동되는 라즈베리 파이(420)로 인식여부를 전송하면 음성인식 시 Flask 웹 서버에서 주인 인식 여부에 따라 추가적인 답변을 하도록 한다. ex)안녕하세요? 주인님.

여기서, 영상인식은 사람 개개인의 특성을 학습함으로써 보다 정확하고 환경변화에 둔감한　특성을 지니고 있어　 on-line 상태에서　실시간으로 적용 가능한　집단 내 분산의 값을 산출해 비교하는 Fisherfaces Linear Discriminant를 분류 알고리즘으로 사용할 수 있다.

한편, 음성인식은 ELM(Extreme_learning_machines)을 사용할 수 있다.

본 발명에서는 오프라인 상에서 음성인식을 ELM 알고리즘을 통해 구현하며, 예컨대, '목마르니?', '덥니?', '안녕?' 등 일상생활에서 자주 쓰이는 말을 이용하여 몇 가지 케이스를 인식할 수 있도록 하며, 인식을 위해 트레이닝 데이터로서 케이스당 50회 정도를 녹음하여 데이터 베이스를 구축하고, 알고리즘의 경우 음성데이터에서 추출한 특징벡터라 부르는 특징들의 나열을 각 데이터끼리 비교하여 데이터를 분류한다.

해당 음성인식의 경우 데이터의 특징추출과 양질의 데이터베이스를 구축한다면 주인의 목소리를 인식하게 할 수 있다.

음성인식을 위한 음성데이터 처리과정은 도 6과 같으며, 크게 1. 음성 전처리 과정, 2. 특징벡터추출 과정, 3. ELM 알고리즘을 사용한 판별의 과정을 거친다.

1. 음성 전처리 과정은 음성구간 추출을 포함하며, 음성구간 추출은 데이터에서 음성부분만을 추출하기 위한 전처리 과정으로 다음과 같이 진행된다.

첫 번째, 44100Hz, 16bit, 스테레오로 저장된 음성을 입력한다.

두 번째, 길이가 1100개인 window와 음성신호를 컨볼루션하여 음성의 구간별 에너지를 구한 후 음성에너지의 최고 피크점으로부터 좌우로 에너지가 매우 작은 구간까지의 범위를 구한다.

세 번째, 데이터에서 구한 범위만큼을 잘라 음성만을 추출한다.

이후, 정규화 과정은 추출한 음성데이터의 길이와 크기를 맞추어 데이터에서 원활한 특징벡터추출을 할 수 있도록 하는 전처리 과정으로 다음과 같이 진행된다.

첫 번째, 길이와 크기가 각기 다른 추출된 음성신호를 입력한다.

두 번째, 음성신호중 길이가 가장 긴 신호를 판별 후 나머지 신호에 0행렬을 추가하여 길이를 맞춘다.

세 번째, 음성신호를 정규화하여 크기를 맞춘다.

2. 특징벡터추출 과정은 전처리 과정을 마친 음성데이터에서 알고리즘으로 구분하기 위한 특징벡터를 추출한다.

본 발명에서 사용한 특징벡터 추출 방법은 MFCC, short time energy, count peak 3가지로서, MFCC는 음성신호를 판별할 때 가장 많이 쓰이는 특징추출방법으로 저주파에서 민감하고 고주파에서 둔감한 사람의 청각적 특징을 가지는 Mel scale의 filter bank를 적용하여 13개의 coefficient를 추출한다.

또한, short time energy는 음성 데이터를 20개의 구간으로 나누어 짧은 시간 동안의 에너지를 구해 특징벡터로 사용한다.

또한, count peak은 음성 데이터의 짧은 시간의 에너지를 구하여 그린 후 피크점의 개수를 특징벡터로 사용한다.

하기 [표 1]은 본 출원인이 특징벡터추출 과정에서 추출한 34개의 특징벡터를 ELM 알고리즘을 사용하여 데이터를 분류한 결과이다.

	Output 1	Output 2	Output 3
Input 1(553)	438
Input 2(553)		519
Input 3(476)			367

1- 안녕, 2-덥니, 3-목마르니

인식률: 안녕: 79.2%, 덥니: 93.8%, 목마르니: 77.1%

총인식률: 83,4%

Train sample의 개수는 440개를 사용했으며, Test sample은 1582개를 사용하였다. 여기서 sample의 개수는 스테리오 음성신호를 모노로 나누어서 사용하여 데이터베이스의 2배 가량이 된 것이다. 결과적으로 83.4%의 총 인식률을 보였다.

이와 같은 본 발명의 얼굴 인식 및 음성 인식을 통해 식물과의 교감을 기술적으로 달성할 수 있다.

도 7은 본 발명의 교감형 반려식물 로봇시스템에서 물과 전기를 공급하는 일실시예를 도시한 예시도로서, 본 발명은 로봇 하우징의 이동을 가능하게 하는 로봇 이동부(130)를 더 포함한다.

여기서, 상기 로봇 이동부(130)는 전원을 공급하는 전원부와, 상기 로봇 하우징의 이동을 위한 구동부(132)와, 충돌 회피를 위한 초음파센서 또는 적외선센서가 탑재되는 센서부를 포함할 수 있다.

상기 구동부(132)는 이동바퀴로 구성될 수 있으며, 도 7에 도시한 바와 같이, 상기 전원부에 전기를 공급하고, 식물에 물을 공급하는 물탱크에 물을 공급하는 도킹 스테이션이 더 포함될 수 있다.

상기한 구성으로 된 본 발명의 가정용 식물재배를 위한 교감형 반려식물 로봇시스템의 특징은 다음과 같다.

a. 센서를 이용한 식물 데이터 취득과 자동화 시스템

=> 기존 온도, 습도, 토양 습도, 물탱크의 잔량 등을 파악하는 기능을 기본적으로 구현 후 광, 온도, 수분을 제어할 수 있다. 또한, 더욱 자세한 식물의 상태를 체크하기 위해 적외선을 기반으로 하는 NDVI 기술 등 새로운 관리 기능을 추가하였다.

b. 앱을 이용한 원격 제어와 데이터 베이스 구축

=> 앱 서버를 구축하여 식물의 원격 모니터링과 상태체크를 할 수 있게 하였다. 또한 원격제어 기능을 추가하여 어디서든 식물 환경을 제어할 수 있도록 구현하고자 하였다.

c. 반려의 의미를 부각한 다양한 시스템

=> 본 발명의 주요 목적으로 기존의 제품은 식물재배의 의미가 강하기 때문에 '반려'의 기능이 취약하다. 가장 반려의 의미를 담은 'Monologue' 또한 일방적으로 식물이 사람에게 상태를 감정으로 표현하는 방식에서 그쳤다. ‘교감’이란 쌍방의 소통을 기반으로 한 것이기 때문에 이러한 부분을 본 발명에서는 인공지능 기술을 사용하여 구현하고자 하였다.

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

110: 식물 재배부 112: 케이스
112a: 도어 114: 센서모듈
114a: 온도습도 센서 115: 조명모듈
116: 광합성 관찰 카메라 118: 물탱크
120: 인공지능 제어부 122: 카메라
124: 디스플레이 126: 마이크
128: 스피커 130: 로봇 이동부
400: 제어모듈 500: 외부 단말기

Claims (14)

1. 식물이 재배되는 공간을 제공하며, 식물의 상태를 모니터링하여 데이터를 취득하고, 상기 데이터에 따라 식물에 대한 재배환경을 조절하는 식물 재배부; 및
   상기 식물 재배부에서 취득한 데이터를 이용하여 식물에 대한 정보를 총괄적으로 관리하고, 이를 이용하여 식물과 인간 사이에 교감 기능을 수행하는 인공지능 제어부;를 포함하며,
   상기 식물 재배부와 인공지능 제어부가 하나의 로봇 하우징 내에 설치되어 상기 로봇 하우징 내에서 식물의 재배에 필요한 환경을 제공할 뿐 아니라 상기 데이터를 이용하여 인공지능 엔진과 결합하여 인간과 교감할 수 있는 것을 특징으로 하되,
   상기 로봇 하우징의 이동을 가능하게 하는 로봇 이동부가 더 포함되며, 상기 로봇 이동부는,전원을 공급하는 전원부;
   상기 로봇 하우징의 이동을 위한 구동부; 및 충돌 회피를 위한 초음파센서 또는 적외선센서가 탑재되는 센서부;
   를 포함하는 것을 특징으로 하고, 상기 전원부에 전기를 공급하고, 식물에 물을 공급하는 물탱크에 물을 공급하는 도킹 스테이션이 더 포함되는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
2. 청구항 1에 있어서, 상기 식물 재배부는,
   식물의 재배공간을 제공하는 케이스;
   상기 식물의 상태를 모니터링하여 식물에 대한 생장 환경 데이터를 취득하기 위한 센서모듈; 및
   상기 센서모듈이 취득한 생장 환경 데이터에 따라 상기 식물에 대한 재배 환경을 조절하기 위한 재배환경 조절모듈;
   을 포함하는 교감형 반려식물 로봇시스템.
3. 청구항 2에 있어서,
   상기 케이스는 개폐가능한 도어를 포함하며, 아크릴, 도자기, 나무, 유리 또는 금속 재질로 이루어지는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
4. 청구항 2에 있어서, 상기 센서모듈은,
   상기 식물이 심겨지는 화분 내 토양의 건조도를 실시간으로 측정하는 토양습도 센서;
   상기 케이스 내 온도 및 습도를 실시간으로 측정하는 온도습도 센서; 및
   상기 식물에 물을 공급하는 물탱크의 수위를 측정하는 수위센서;
   를 포함하는 교감형 반려식물 로봇시스템.
5. 청구항 2에 있어서,
   상기 식물 재배부는 상기 식물의 건강상태를 파악하기 위한 광합성 관찰 카메라를 더 포함하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
6. 청구항 5에 있어서,
   상기 광합성 관찰 카메라를 통해 얻은 영상을 이용하여 식생지수(NDVI)를 계산하고, 이를 이용하여 식물의 건강상태를 파악하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
7. 청구항 6에 있어서,
   상기 광합성 관찰 카메라는 적외선 카메라를 포함하며, 상기 적외선 카메라를 통해 얻은 블루 필터(Blue filter)를 적용한 이미지와 상기 블루 필터를 미 적용한 이미지를 사용하여 상기 식생지수(NDVI)를 계산하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
8. 청구항 2에 있어서, 상기 재배환경 조절모듈은,
   상기 식물에 엘이디광을 발산하도록 하는 조명 모듈; 및
   상기 케이스 내 측정된 온도 및 습도 데이터에 따라 상기 케이스 내를 환기시키기 위한 환기팬;
   을 포함하는 교감형 반려식물 로봇시스템.
9. 청구항 1에 있어서,
   상기 식물 재배부에서 취득한 생장 환경 데이터를 전송받아 확인하거나 상기 식물 재배부의 재배환경 조절모듈을 원격으로 제어할 수 있는 애플리케이션이 구동되는 외부 단말기가 더 포함되는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
10. 청구항 1에 있어서, 상기 인공지능 제어부는,
    사용자의 얼굴 인식 및 충돌을 방지하기 위해 전방의 영상을 획득하는 카메라;
    상기 식물의 각종 재배정보를 제공하고, 식물 재배를 위한 제어 명령을 지시하기 위한 디스플레이;
    사용자의 음성 인식을 위한 소리를 계측하는 마이크;
    사용자와 식물 간의 음성 교감을 위해 소리를 재생하는 스피커;
    통신기능 수행으로 외부 단말기와 통신하는 통신부; 및
    상기 카메라, 디스플레이, 마이크 또는 외부 단말기를 통해 취득한 데이터를 인식하여 분석하고, 분석한 데이터를 근거하여 인간과의 교감 알고리즘을 통해 상기 디스플레이 또는 스피커를 제어하는 제어모듈;
    을 포함하는 교감형 반려식물 로봇시스템.
11. 청구항 10에 있어서, 상기 제어모듈은,
    상기 카메라를 통해 사용자의 얼굴을 인식하는 얼굴 인식부; 및
    상기 마이크 또는 외부 단말기를 통해 들어오는 음성을 인식하고, 식물의 상태 모니터링 결과를 통해 설정된 단어를 이용하여 인간과 대화를 하는 음성 인식부;
    를 포함하는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
12. 청구항 11에 있어서,
    상기 음성 인식부에서의 음성 인식을 위한 음성데이터 처리과정은 음성 전처리 과정, 특징벡터추출 과정, ELM 알고리즘을 사용한 판별의 과정을 거치는 것을 특징으로 하는 교감형 반려식물 로봇시스템.
13. 삭제
14. 삭제

Images