KR102333912B1

KR102333912B1 - 디지털 식물재배 컨텐츠 서비스 시스템

Info

Publication number: KR102333912B1
Application number: KR1020190033311A
Authority: KR
Inventors: 이헌수
Original assignee: 이헌수
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2021-12-07
Also published as: KR20200113326A; KR20210090148A; KR20230106550A

Abstract

식물을 재배하는 온실의 컴퓨터에 의한 관리 기술이 개시된다. 온실 천정에 다수의 카메라들이 배열된다. 온실에서 재배중인 다수의 화분들을 다수의 카메라들이 촬영한다. 하나의 동일한 화분을 촬영한 복수의 카메라 영상들이 식별되고, 동일한 화분을 동일한 시간대에 서로 다른 각도에서 촬영한 영상들로부터 특정한 시점(視点)의 영상이 합성된다. 합성된 영상은 디지털 컨텐츠로 가공되어 서비스된다. 여기서, 디지털 컨텐츠는 사진 형태일 수 있다. 디지털 컨텐츠는 동일한 화분에 대한 특정한 시점(視点)의 영상을 상이한 시간에 대해 취합하고 보간을 통해 생성한 중간 프레임을 삽입하여 생성한, 식물의 성장 과정을 보여주는 동영상 성장 컨텐츠일 수 있다. 또 다른 양상에 따르면, 디지털 컨텐츠는 동일한 화분에 대한 연속적으로 변하는 시점(視点) 영상들을 순차적으로 생성하여 제공하는 파노라마 동영상일 수 있다.

Description

디지털 식물재배 컨텐츠 서비스 시스템{digital gardening content service system}

본 발명은 식물을 재배하는 온실의 컴퓨터에 의한 관리 기술에 관련된다.

농업 분야에서 6차 산업(sixth industry)이라는 흐름(trend)이 알려져 있다. 1차 산업(primary industry)인 농업에, 제조업인 2차산업과, 서비스업인 3차산업을 융합하여 농업의 발전을 도모하고자 하는 이 흐름은 주로 농산물의 가공과 유통에 초점을 맞추어 농업의 경쟁력을 제고하고자 시도하고 있다.

한편, 온실에 각종 센서와 카메라를 설치하여 관리를 자동화하고자 하는 많은 시도가 있다. 스마트 팜(smart farm)으로 알려진 이 기술은 재배 환경과 작물의 상태를 인식하여 관리를 자동화하는데 초점을 맞추고 있다.

제안된 발명은 재배한 작물의 디지털 컨텐츠를 자동으로 제작하는 새로운 산업을 위한 플랫폼을 제공하는 것을 목적으로 한다.

나아가, 제안된 발명은 재배한 작물의 디지털 컨텐츠를 유통하는 새로운 산업을 위한 플랫폼을 제공하는 것을 목적으로 한다.

일 양상에 따르면, 온실 천정에 다수의 카메라들이 배열된다. 온실에서 재배중인 다수의 화분들을 다수의 카메라들이 촬영한다. 하나의 동일한 화분을 촬영한 복수의 카메라 영상들이 식별되고, 동일한 화분을 동일한 시간대에 서로 다른 각도에서 촬영한 영상들로부터 특정한 시점(視点)의 영상이 합성된다. 합성된 영상은 디지털 컨텐츠로 가공되어 서비스된다. 여기서, 디지털 컨텐츠는 사진 형태일 수 있다.

선택적인 양상에 따르면, 카메라들간의 간격이 조절될 수 있다. 또 다른 선택적인 양상에 따르면, 화분에서 카메라까지의 높이도 조절될 수 있다.

또 다른 양상에 따르면, 디지털 컨텐츠는 동일한 화분에 대한 특정한 시점(視点) 의 영상을 상이한 시간에 대해 취합하고 보간을 통해 생성한 중간 프레임을 삽입하여 생성한, 식물의 성장 과정을 보여주는 동영상 성장 컨텐츠일 수 있다. 또 다른 양상에 따르면, 디지털 컨텐츠는 동일한 화분에 대한 연속적으로 변하는 시점(視点) 영상들을 순차적으로 생성하여 제공하는 파노라마 동영상일 수 있다.

또 다른 양상에 따르면, 카메라는 간헐적으로 활성화되고, 그 시점을 전후하여 온실 조명이 활성화될 수 있다.

또 다른 양상에 따르면, 서비스 시스템은 디지털 컨텐츠를 판매하는 쇼핑몰을 더 포함할 수 있다.

또 다른 양상에 따르면, 서비스 시스템은 화분 별로 식물 재배 아이템의 적용을 스케쥴링하고 관리할 수 있다. 추가로, 디지털 컨텐츠는 실 공간에서 적용되는 식물 재배 아이템일 수 있다.

또 다른 양상에 따르면, 화분마다 마크가 부착되고, 카메라 영상으로부터 마크를 추출하고 인식하여 화분이 식별될 수 있다.

또 다른 양상에 따르면, 화분이 배치되는 트레이마다 마크가 부착되고, 카메라 영상으로부터 마크를 추출하고 인식하여 트레이가 식별될 수 있다.

제안된 발명에 따르면, 온실에서 재배하는 식물들로부터 유용한 디지털 컨텐츠가 자동으로 제작되고 판매될 수 있는 플랫폼이 제공된다. 1차산업이나 6차산업의 한계를 벗어나서, 제작된 디지털 컨텐츠는 메모리에 저장되어 있는 한 지속적으로 판매되거나 활용되고 수익을 창출할 수 있다. 동일한 온실에서 재배되어도 잎이나 꽃, 가지가 모두 다르게 자라는 식물의 특징으로 인하여, 동일한 품종에 대해 수 많은 디지털 컨텐츠를 보유하는 것이 가능해지고, 이는 다양한 응용 분야에서 컨텐츠 저작 자원(resource)으로 활용될 수 있다. 제안된 발명에 따르면, 동영상 형태로 3차원 이미지가 획득될 수 있어, 애니메이션 등 3D 컨텐츠에 표면 이미지로 제공되어 활용될 수 있다. 예를 들어 영화에서 배경에 있는 화분의 식물이 영화 속 시간의 경과에 따라 자라고 입체적으로 관찰에 제공될 수 있다. 또 표준화된 크기와 구조를 가지지만 다양한 형태를 가진 디지털 컨텐츠를 대량으로 적용함으로써, 자연에서 볼 수 있는 모두 다른 모양을 가진 많은 수의 식물이 애니메이션에서 연출 가능해진다.

도 1은 제안된 발명의 일 실시예에 따른 온실 컨텐츠 서비스 시스템이 적용된 예시적인 온실을 도식적으로 도시한다.
도 2는 일 실시예에 따른 카메라 설치부와 높이 조절부에 카메라가 설치된 구성을 도시한 사시도이다. 도 3은 는 일 실시예에 따른 카메라 설치부(120)의 구성을 도시한 단면도이다.
도 4는 서비스 서버에서 실행되는 컴퓨터 프로그램의 일 실시예의 구성을 도시한 블록도이다.
도 5는 일 실시예에 따른 컨텐츠 서비스부의 상세한 구성을 도시한 블록도이다.
도 6은 복수의 카메라들을 사용하여 하나의 화분을 다양한 시점(視点)에서 촬영하는 것을 설명하는 도면이다.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 다양한 조합이 가능한 것으로 이해된다. 즉, 도면은 비록 하나의 실시예로서 도시되었지만 하나의 실시예로 한정하여 이해되어서는 안 된다. 이하의 설명에서 별개의 선택적인 또는 추가적인 양상으로 설명되는 바와 같이, 각 블록들은 필수적인 블록들에 그렇지 않은 블록들이 한 개, 두 개 혹은 그 이상의 개수의 조합이 부가되어 다양한 실시예들을 표현하는 것으로 이해되어야 한다.

도 1은 제안된 발명의 일 실시예에 따른 온실 컨텐츠 서비스 시스템이 적용된 예시적인 온실을 도식적으로 도시한다. 도시된 바와 같이, 제안된 발명은 온실(111)에 적용될 수 있다. 그러나, 실내 농원(indoor garden) 혹은 실외 농원(outdoor garden)을 배제하는 것은 아니다. 온실(111) 내부에는 트레이(115)가 배치된다. 흔히 하나의 온실(111)에는 트레이(215)가 복수로 배치된다. 트레이(115) 상부에는 각각 작물이 심겨진 많은 화분들(130)이 배열된다.

트레이(115)는 통상 수 미터의 폭에 수십 미터의 길이를 가지며, 수평 방향으로 이동 가능하도록 롤러 위에 놓여진다. 트레이(115)를 이동시켜 작업자의 이동 통로가 확보된다. 트레이(115)는 작업을 편리하게 하고, 배양토의 사용 등 자연 환경으로부터의 분리를 통해 병해충의 영향을 줄이는 것을 가능하게 한다. 제안된 발명이 적용되는데 트레이(115)가 필수적인 것은 아니지만, 화분이 적절한 위치에 놓여질 수 있는 트레이, 선반 등의 구조물이 촬영에 도움을 줄 수 있다. 트레이(115)에 놓여지는 화분들(130)에는 모두 동일한 품종의 작물이 심겨져 있을 수도 있고, 모두 상이한 작물이 심겨질 수도 있고, 그룹별로 품종이 다를 수도 있으며, 제안된 발명은 이에 한정되지 않는다.

통상적으로, 온실(111)의 내부 환경 조건을 동일하게 유지하는 것이 에너지 관리상 바람직하므로, 동일한 품종의 작물을 대량으로 재배하는 것이 생산성 향상에 유리하다. 그러나 개별적으로 제어 가능한 자동화된 온실은 이러한 한계에 구애 받지 않을 수 있다.

온실(111)의 내부 환경은 카메라(290)의 렌즈에 김이 서리지 않도록 관리하는 것이 필요하다. 예를 들어 온실 내부에는 알려진 연속적으로 설치된 팬(fan)을 포함하는 공기 순환 시스템을 통해 공기를 순환시키는 것이 바람직하다.

도시된 사례에서, 제안된 발명에 따른 서비스를 처리하는 서비스 서버(100)는 온실(111)에 인접한 부속실(113)에 설치되어 있다. 도면에서는 하나의 온실(111)에 하나의 트레이(115)가 있고, 하나의 서비스 시스템이 인접하여 설치되어 이를 관리하는 것으로 도시되었으나, 이러한 온실이 여러 개가 하나의 서비스 시스템에 의해 관리될 수 있다.

제안된 발명의 일 양상에 따르면, 트레이(215)의 상부에는 트레이(215)에 배열된 화분들을 바라보고 복수의 카메라들(190)가 배열된다. 하나의 카메라는 많은 화분들을 촬영할 수 있기 때문에, 카메라의 개수는 화분의 개수에 비해 적을 수 있다. 제안된 발명의 일 양상에 따르면, 하나의 화분은 적어도 4개 이상의 카메라들에 의해 촬영되는 것이 바람직하기 때문에, 이러한 점이 카메라의 개수 결정에 고려되어야 한다. 카메라의 개수나 배치 간격과 설치 높이는 화분의 배열 간격과 카메라의 해상도와, 서비스하고자 하는 이미지의 해상도에 의해 결정될 수 있다.

일 양상에 따르면, 온실 컨텐츠 서비스 시스템은 카메라들(190)을 온실에 상호간격조절 가능하게 고정하는 카메라 설치부(120)를 더 포함할 수 있다. 도 2는 일 실시예에 따른 카메라 설치부(120)와 높이 조절부(121)에 카메라가 설치된 구성을 도시한 사시도이다. 도 3은 일 실시예에 따른 카메라 설치부(120)의 구성을 도시한 단면도이다. 도시된 바와 같이, 일 실시예에 따른 카메라 설치부(120)는 설치레일(122)과, 간격조절부재(124)와, 고정 브라켓(126)을 포함한다. 설치 레일(122)은 온실의 구조물에 고정된다. 도시된 실시예에서, 설치 레일(122)의 상부에는 고정간(128)이 일정한 간격으로 복수 개 체결되는 나사공을 구비한다. 이 고정간(128)은 온실의 구조물에 일단이 앵커로 고정된 로프의 타단의 고리에 결합된다. 간격조절부재(124)는 설치 레일(122)에 위치 조절 가능하게 고정된다. 하나의 설치 레일(122)에 복수의 간격조절부재(124)가 매달릴 수 있다. 도시된 실시예에서, 간격조절부재(124)는 고정 브라켓(126)이 체결되는 나사공이 있는 부분을 제외한 나머지 면이 설치 레일(122)에 둘러싸인 채, 설치 레일(122)과 마찰을 줄이기 위해 볼 결합된다. 고정 브라켓(126)에는 카메라가 고정볼트로 고정된다. 간격조절부재(124)를 설치 레일(122)에서 이동시킴에 의해 카메라들(190) 상호간의 설치 간격이 조절된다.

카메라들(190)의 설치 간격은 촬영되는 영상의 범위를 결정하므로 주의 깊게 조절되어야 한다. 자주 조절되어야 할 필요가 있는 농원이라면 인코더와 액츄에이터를 사용하여 원격에서 자동으로 설정되도록 할 수 있다. 이러한 자동화 시스템을 통해, 카메라에서 촬영되는 영상들로부터 동일한 화분을 식별하고, 하나의 화분을 촬영한 카메라의 개수가 모든 화분에 대해 일정하도록 그 간격을 최적으로 설정하는 것이 가능해진다.

추가로 선택적인 제안된 발명의 양상에 따르면, 설치 레일(122)은 한 쌍의 전원 공급 레일(127,129)을 포함하고, 간격조절부재(124)는 이 한 쌍의 전원 공급 레일(127,129)에 슬라이딩 접촉되는 한 쌍의 전극(123,125)을 포함할 수 있다. 한 쌍의 전극(123,125)에 각각 연결된 한 쌍의 전원 라인이 고정 브라켓(126)의 중공부를 통과하여 카메라의 전원공급회로에 연결될 수 있다. 카메라에 한 쌍의 전원 공급 레일(127,129)와 한 쌍의 전극(123,125)을 통해, 외부로부터의 전력이 이 카메라들(190)에 공급될 수 있다.

추가로 선택적인 제안된 발명의 양상에 따르면, 카메라 설치부(120)는 높이 조절부(121)를 더 포함할 수 있다. 높이 조절부(121)는 설치 레일(122)에 일단이 결합되며, 설치 레일(122)의 설치 높이를 조절한다. 도 1에 도시된 실시예에 있어서, 높이 조절부(121)의 타단은 온실의 구조물에 일단이 앵커로 고정된 로프의 타단의 고리에 결합된다. 도 1에 도시된 실시예에 있어서, 높이 조절부(121)는 내부에 모터와 보빈을 포함하여, 원격 조정에 의해 설치 레일(122)의 높이가 조절된다.

또 다른 선택적인 양상에 따르면, 일 실시예에 따른 온실 컨텐츠 서비스 시스템은 카메라들(190)의 촬영을 보조하는 조명등들(180)을 포함할 수 있다. 조명등들(180)의 개수는 카메라들(190)의 개수보다 적을 수 있다. 또 다른 선택적인 양상에 따르면, 조명등들(180)은 관련된 카메라들(190)이 작동하는 경우에만 켜지도록 제어된다.

카메라들(190)은 게이트웨이(151)를 통해 서비스 서버(100)와 연결된다. 카메라들(190)과 게이트웨이(151)간의 통신은 유선이나 무선으로 모두 연결 가능하다. 또 카메라들(190)이 예를 들면 지그비(zigbee) 방식과 같은 메쉬 구조의 무선 통신을 지원하는 경우, 게이트웨이(151)는 필요 없을 수 있다. 카메라들(190)이 이더넷을 지원하는 경우 게이트웨이(151)는 이더넷 스위치 혹은 무선 액세스포인트일 수 있다. 게이트웨이(151)와 서비스 서버(100) 간은 통상 유선으로 연결된다.

조명들(180)은 조명 제어 단말(141)을 통해 서비스 서버(100)와 연결된다. 서비스 서버(100)는 상호간에 네트워크를 통해 연결되는 복수의 서버로 구현될 수도 있다. 도시된 실시예에서, 조명 제어 단말(141)은 서비스 서버(100)의 제어에 따라 조명들(180)에 공급되는 전원을 단속한다. 그러나 조명들(180)에게 공급되는 전원선과 별도의 채널을 통해 개별적으로 온오프가 제어될 수도 있다.

서비스 서버(100)는 온실 컨텐츠 서비스 시스템을 운영하는 컴퓨터 프로그램을 실행하며, 필요한 데이터를 관리한다. 서비스 서버는 카메라로부터 획득되는 영상들을 처리하여, 동일한 화분을 서로 다른 각도에서 촬영한 영상들에서 그 화분의 영상 부분들을 추출하여 정규화하고, 정규화된 화분 영상들로부터 특정한 시점(視点)의 화분 영상을 합성한다. 시점 변환된 영상들과, 정규화된 화분 영상들로부터 동영상 디지털 컨텐츠가 생성될 수 있다.

도 4는 서비스 서버에서 실행되는 컴퓨터 프로그램의 일 실시예의 구성을 도시한 블록도이다. 도면에서 각각의 블록은 컴퓨터 프로그램의 명령어들의 기능적인 집합들을 의미하며, 이들 명령어들은 해당 기능을 구현하기 위해 프로그램에 연속하여 존재할 수도 있지만 흩어져 있을 수도 있다. 도면에서 블록들간에 도시된 화살표들은 기능적인 처리의 시간적인 흐름을 의미한다. 잘 알려진 바와 같이, 컴퓨터 프로그램은 입력된 데이터를 기준으로 시간적인 흐름에 따라 순차적으로 처리되지만, 복수의 프로세서 혹은 타스크 관리에 의해, 각 블록들은 상이한 시점에 획득되거나 처리되는 데이터들에 대해서는 동시에 실행되고 있는 것으로 볼 수도 있다는 점이 이해되어야 한다.

일 양상에 따르면, 온실 컨텐츠 서비스 시스템은 동일 화분 영상 처리부(410)와, 시점변환부(430)와, 컨텐츠 생성부(470)와, 컨텐츠 서비스부(490)를 포함한다. 동일 화분 영상 처리부(410)는 도 1에 도시된 바와 같은 복수의 카메라에서 출력되는 영상들을 분석하여, 동일한 화분을 촬영한 영상들을 추출하여 정규화하여 출력한다. 도 6에 도시된 바와 같이, 배열된 카메라들은 하나의 화분을 다양한 시점(視点)에서 촬영하게 된다. 물론, 각각의 카메라들은 복수의 화분을 동시에 촬영하게 되고, 촬영한 영상에는 복수의 화분이 포함된다. 카메라들이 촬영하는 영상은 동영상일 수도 있고, 정지영상일 수도 있다. 일 양상에 따르면, 카메라들은 정지 영상을 촬영하며, 식물이 자라는 속도가 느리기 때문에, 하루에 12회 등 정해진 회수만 촬영해도 무방하다.

일 양상에 따르면, 정보 처리 장치는 조명 제어부(440)를 더 포함할 수 있다. 일 실시예에서, 조명 제어부(440)는 동일 화분 영상 처리부(410)로부터의 촬영 이벤트에 응답하여 조명 제어 단말을 제어하여 조명들을 켜고, 카메라들의 촬영 후에 다시 조명들이 꺼지도록 제어한다. 카메라가 동영상을 촬영하는 경우 동일 화분 영상 처리부(410)는 동영상 중 일정 간격으로 샘플링된 프레임을 처리한다.

동일 화분 영상 처리부(410)는 동일 순간 혹은 실질적으로 동일한 순간에 촬영된 각각의 영상에서 특정한 화분을 인식한다. 일 양상에 따르면, 동일 화분 영상 처리부(410)는 이전에 식별된 결과를 이용한다. 즉, 화분의 위치 변동이 있는지 여부를 체크하여, 위치가 변동되지 않았다면 다시 식별하지 않고 이전 영상 처리시에 사용한 결과를 그대로 사용한다. 위치가 변동되었다면 동일 화분을 식별한다. 화분의 식별은 영상 인식을 이용하여 완전 자동화할 수 있지만, 사람의 도움을 받을 수도 있다. 마우스와 같은 포인팅 장치를 이용하여, 관리자는 각각의 카메라 영상에서 동일한 화분을 지시할 수 있다.

추가적인 양상에 따르면, 동일 화분 영상 처리부는 처리부(410)는 화분 근처에고정된 마크를 영상에서 인식하여 화분을 식별할 수 있다. 화분에서 카메라를 향하는 방향으로 이진 패턴 혹은 식물에서 쉽게 발견되지 않는 색상으로 특정한 패턴이 인쇄된 라벨이 부착될 수 있다. 마크는 화분에 직접 고정될 수도 있고, 트레이에 대응하는 화분 근처의 위치에 고정될 수도 있다. 마크는 반드시 모든 화분에 대해 상이한 패턴을 가질 필요는 없고 하나의 카메라의 촬영 범위 안에서만 구별되면 된다. 마크는 식물과는 뚜렷하게 구별되는 영상 패턴을 가지므로, 이를 분리하거나 식별하는 것은 계산도 단순하고 식별의 신뢰성도 높일 수 있다.

한편, 동일한 객체를 다른 각도에서 촬영된 영상들에서 객체를 식별하는 기술은 감시 카메라 분야에서 알려져 있다. 이러한 기술을 활용하여 직접 영상 인식을 통해 동일한 화분을 식별할 수도 있다.

또 다른 양상에 따르면, 동일 화분 영상 처리부는 처리부(410)는 카메라 영상에서 각각의 화분의 위치를 산출하여 각 카메라에서 산출된 화분들의 위치 정보로부터 동일한 화분을 식별할 수 있다. 먼저 카메라 영상에서 각각의 화분이 식별되어 중심 좌표 혹은 마크와 같은 기준 위치 좌표가 추출된다. 각각의 카메라의 3차원 내지 온실 내에서의 상대 위치와, 트레이의 높이가 알려져 있으므로, 이미지 상에서 화분들의 위치를 트레이 상에서의 상대 위치로 환산할 수 있다. 각 카메라들에서 발견되는 화분들의 위치, 예를 들어 중심 위치 좌표를 산출하고, 각 카메라 이미지에서 산출된 위치정보들로부터 동일한 화분을 식별할 수 있다. 이러한 방법은 복잡한 알고리즘을 단순하게 하고, 또 화분의 위치가 변경되었을 때 손쉽게 적용될 수 있다는 면에서 유용하다.

카메라 영상에서 특정한 하나의 화분 영상을 잘라내는 것은 세그멘테이션(segmentation)으로 알려진 관용 기술이다. 좀 더 신뢰성 있게 영상을 잘라내기 위하여, 화분들의 간격이 충분히 확보되거나, 트레이 바닥이 식물이나 화분과 뚜렷이 구별되는 색상으로 칠해지는 것이 바람직하다.

이후에, 동일 화분 영상 처리부는 처리부(410)는 추출된 화분 영상들을 정규화한다. 정규화는 왜곡 보정과 확대/축소를 포함한다. 도 5에 도시된 바와 같이, 화분의 촬영 각도가 카메라마다 다를 수 있으므로, 추출된 화분 영상들은 이 촬영 각도를 반영하여 왜곡 보정이 수행된다. 카메라 입력 영상의 왜곡 보정은 알려진 기술이므로 상세한 설명은 생략한다. 또 화분까지의 거리가 카메라마다 다를 수 있으므로, 추출된 화분 영상들은 이 거리를 반영하여 확대/축소된다. 촬영 각도나 거리는 카메라의 설치 위치와 트레이의 높이를 이용하여 좀 더 정확하게 산출될 수 있다. 촬영된 트레이의 한변 등 실제 기준 길이를 알고 있는 경우, 화분의 크기나 화분 까지의 산출된 거리 정보를 이용하여 좀 더 간단하게 배율을 계산할 수 있다.

시점 변환부(430)는 동일한 화분을 서로 다른 각도에서 촬영한 영상들로부터 특정한 시점(視点)의 영상을 합성한다. 이러한 시점 변환 기술은 몇 가지가 이미 알려져 있다. 예로, 완전한 시점 변환은 3차원 모델링의 렌더링(rendering)을 통해 가능하다. 복수의 카메라로 촬영된 다른 시점(視点)의 영상들을 분석하여 깊이(depth) 정보를 획득하고 이로부터 3차원 객체 정보를 생성할 수 있다. 이 생성된 3차원 모델링의 렌더링을 통해 특정한 시점의 영상을 제공할 수 있다. 이러한 처리는 많은 계산량을 필요로 한다. 또 다른 예로 복수의 카메라로 다른 시점에서 촬영된 영상들로부터 획득한 영상들의 시점에 따른 변화 혹은 증분치를 구하여 보간하거나 예측하여 특정한 시점(視点)의 영상을 합성할 수 있다.

시점 변환부(430)가 실시간으로 특정한 시점의 영상을 합성하는 것은 상당한 계산량이 요구될 수 있어 대책이 요구된다. 일 실시예에서, 시점 변환부(430)는 동일 화분 영상 처리부는 처리부(410)에서 출력되는 동일 화분에 대한 상이한 시점의 정규화된 영상들로부터 3차원 모델링을 생성하고 다음 촬영 시점까지 이 3차원 모델링을 저장한다. 특정한 시점의 영상이 프로그램 인터페이스로부터 요구되면 시점 변환부(430)는 단지 렌더링만을 수행하여 제공한다. 모델링의 렌더링은 3D 그래픽 엔진을 통해 고속으로 수행될 수 있다. 또 다른 실시예에서, 시점 변환부(430)는 동일 화분 영상 처리부는 처리부(410)에서 출력되는 동일 화분에 대한 상이한 시점의 정규화된 영상들로부터 정해진 개수의 시점의 영상을 미리 생성하여 저장한다. 예를 들어 화분 하나에 대해 평면도 상에서 360도, 정면도 상에서 99도의 시점의 영상을 3도 간격으로 저장할 경우, 120*33=3960개의 영상이 저장되어야 한다. 시점 변환부(430)는 특정한 시점의 영상을 합성하여 제공하는 대신, 저장된 해당 시점의 영상을 읽어서 제공할 수 있다. 식물의 생장 속도가 느리기 때문에 촬영 사이에 시점 변환부(430)가 이러한 처리를 하는 충분한 시간이 확보될 수 있다.

컨텐츠 생성부(470)는 시점 변환부(430)에서 출력된 영상으로부터 고객 컨텐츠를 생성한다. 일 양상에 따르면, 컨텐츠 생성부(470)는 다시점 영상 생성부(473)를 포함할 수 있다. 다시점 영상 생성부(473)는 사용자의 시점 지시 조작에 따라 시점 변환부를 제어하여 생성된, 동일한 화분에 대한 지시된 시점의 영상을 생성하여 출력한다. 일 실시예에서, 다시점 영상 생성부(473)는 사용자 인터페이스를 통해 고객이 특정한 시점을 선택할 경우, 해당 시점의 영상이 동일 화분 영상 처리부(410)에서 제공되는 경우 특정한 카메라에서 추출된 영상을 제공하고, 해당 시점의 영상이 존재하지 않는 경우 시점 변환부(430)에서 시점 변환된 영상을 제공한다. 사용자 인터페이스는 예를 들면, 회전 방향과 각도를 입력하는 텍스트 입력 형태일 수 있다. 또 다른 예로, 사용자 인터페이스는 마우스로 화분 모양의 그래픽 아이콘의 상,하,좌,우를 선택하여 회전시키면, 그 방향과 각도를 계산하여 출력하는 그래픽 형태일 수도 있다. 이를 위해 다시점 영상 생성부(473)는 시점 변환부(430)를 프로그램간 인터페이스를 통해 제어할 수 있다.

또 다른 양상에 따르면, 다시점 영상 생성부(473)는 시점 변환부(430)를 제어하되, 시각적으로 시점이 연속적으로 변하도록 시점 변화분을 제어할 수 있다. 예를 들어, 사용자가 마우스로 화분 모양의 그래픽 아이콘의 우측을 선택한 상태에서 더 우측으로 마우스를 이동시키는 조작을 통해 우측 회전을 선택하면, 평면에서 보아 화분을 반시계 방향으로 회전할 때 정면에서 볼 수 있는 360도 회전 뷰를 제공할 수 있다. 이때, 다시점 영상 생성부(473)는 동일 화분 영상 처리부(410)에서 제공되는 특정한 카메라에서 추출된 영상과, 시점 변환부(430)에서 시점 변환된 영상을 섞어서 제공할 수 있다. 또 마우스가 선택한 지점에서 이동한 정도를 반영하여 회전 속도를 조절하거나 회전을 정지할 수 있다.

일 양상에 따르면, 컨텐츠 생성부(470)는 파노라마 동영상 생성부(475)를 더 포함할 수 있다. 파노라마 동영상 생성부(475)는 사용자 조작에 응답하여 시점 변환부(430)를 제어하여 생성된, 동일한 화분에 대한 연속적으로 변하는 시점(視点) 영상들을 순차적으로 생성하여 제공한다. 예를 들어, 사용자가 수평 360도 회전 뷰를 선택하면, 평면에서 보아 화분을 반시계 방향으로 회전할 때 정면에서 볼 수 있는 360도 회전 동영상을 제공한다. 다시점 영상 생성부(473)는 사용자 조작에 따라 순차적으로 연속적으로 변하는 시점의 영상을 제공하는데 반해, 파노라마 동영상 생성부(475)는 미리 저장된 한정된 개수의 동영상 중 선택된 것을 제공한다는 점에서 차이가 있다.

일 양상에 따르면, 컨텐츠 생성부(470)는 성장 컨텐츠 생성부(471)를 더 포함할 수 있다. 성장 컨텐츠 생성부(471)는 동일한 화분에 대한 특정한 시점(視点)의 영상을 상이한 시간에 대해 취합하고 보간을 통해 생성한 중간 프레임을 삽입하여, 식물의 성장 과정을 보여주는 동영상 성장 컨텐츠를 생성하여 출력한다. 고정된 시점의 동영상 성장 컨텐츠는 미리 몇 가지 시점에 대해 생성되어 저장될 수 있다. 이러한 성장 컨텐츠를 사용자 조작에 응답하는 가변적인 시점에서 보여주려면 실시간 처리가 필요하다. 이 경우 성장 컨텐츠 생성부(471)는 시점 변환부(430)를 실시간 제어하여 사용자 조작에 따른 시점의 영상을 순차적으로 획득하여 동영상을 생성한다.

컨텐츠 서비스부(490)는 사용자 인터페이스를 생성하여 제공하고 그에 따라 컨텐츠 생성부(470)로부터 출력되는 고객 컨텐츠를 서비스한다. 도 5는 일 실시예에 따른 컨텐츠 서비스부의 상세한 구성을 도시한 블록도이다. 도시된 바와 같이, 일 양상에 따른 컨텐츠 서비스부(490)는 고객 컨텐츠 판매부(491)를 더 포함할 수 있다. 고객 컨텐츠 판매부(491)는 다수의 화분의 샘플 영상을 식물 종류별로 제공하고, 결제 후 고객 컨텐츠를 제공한다. 예를 들어 식물의 종류별로 다양한 각도에서 촬영된 다양한 개체의 영상이 저해상도로 제공된다. 사용자가 정해진 요금을 지불하면, 해당 영상의 고해상도 버전이 제공된다. 결제 처리부(420)는 네트워크를 통해 결제 게이트웨이로 연결하여 다양한 결제 수단 중 선택된 것을 통해 요청된 결제를 처리한다. 컴퓨터 그래픽의 요구도가 높아질수록, 보다 자연스럽고 다양한 이미지들이 요구될 수 있고, 실제 온실에서 재배된 식물로부터 획득된 수 많은 영상들이 가치를 창출할 수 있다고 본 발명자는 생각한다.

추가적인 양상에 따르면, 컨텐츠 서비스부(490)는 식물 판매부(493)를 더 포함할 수 있다. 식물 판매부(493)는 사용자로부터 구매 요구 입력에 따라, 지시된 화분을 해당 고객에게 판매 처리한다. 일 예로, 고객에게 판매 처리되어 소유권이 넘어 가더라도, 고객이 요구하는 시점까지 해당 화분은 배송되지 않고 그대로 제안 발명에 따른 시스템에 의해 재배되고 관리된다. 단지 해당 화분에 대한 생성된 고객 컨텐츠는 소유권이 구매자에게 귀속되어, 해당 고객 컨텐츠로부터 발생되는 수익이 구매자에게 귀속된다. 구매자가 배송을 요구하면, 포장 및 배송 부서의 관리 시스템으로 판매 정보가 넘겨 진다. 화분이 배송되면 해당 화분에 대한 고객 컨텐츠는 그 시간부터 시스템 상에서 제공되지 못한다.

추가적인 양상에 따르면, 컨텐츠 서비스부(490)는 재배 관리부(495)를 더 포함할 수 있다. 재배 관리부(495)는 화분 별로 식물 재배 아이템의 적용을 스케쥴링하고 관리한다. 식물 재배 아이템은 기본적인 온실의 식물 재배 관리 외에, 부가적으로 식물에 투입되는 유료 아이템으로, 예를 들면 병해충의 방제와 같은 작업자의 용역이나, 꽃의 색깔이나 잎, 열매를 맺는데 도움이 되는 영양제 등이 될 수 있다. 이러한 식물 재배 아이템은 스케쥴러에 입력되며, 온실 내부에 트레이 곳곳에 비치된 디스플레이 상에서 표시될 수 있다.

추가적인 양상에 따르면, 컨텐츠 서비스부(490)는 재배 아이템 판매부(497)를 더 포함할 수 있다. 재배 아이템 판매부(497)는 사용자의 구매 요구 입력에 따라, 식물 재배 아이템을 해당 고객에게 판매 처리하고, 지시된 화분에 해당 식물 재배 아이템이 투입되도록 재배 관리 데이터베이스에 등록한다. 식물이 분재인지, 난인지, 풍란인지, 다육인지에 따라 다양한 재배 아이템이 판매에 제공될 수 있다. 우리나라의 아파트나 빌딩의 경우 실내에서 식물을 기르는 경우 생육조건을 맞추기가 쉽지 않아 제대로 식물을 재배하는 것이 어렵다. 제안된 발명에 따른 시??메을 통해서 전문가들이 관리하는 스마트 온실에 식물의 재배 관리를 맡기고, 디지털 콘텐츠로 감상하는 고객을 대상으로 서비스를 제공할 수 있다. 작업자는 아이템을 적용하기 위해 디스플레이에서 아이템을 확인하고 식별표지로부터 화분을 찾아서 스케쥴에 정해진 시간에 아이템에 따른 작업을 수행한다. 작업 수행시 해당 위치의 카메라가 활성화되어 작업 과정을 촬영하여 고객에게 관리 인증 컨텐츠로 제공될 수 있다.

추가적인 양상에 따르면, 온실 컨텐츠 서비스 시스템은 온실 제어장치와 고객 클라이언트 컴퓨터를 포함하여 구현될 수 있다. 이 예에서, 온실 제어장치는 온실 근처에 설치되는 서버 컴퓨터일 수 있다. 온실 제어장치는 동일 화분 영상 처리부(410)와 시점 변환부(430)를 포함하며, 시점 변환된 영상들을 화분별로, 시간대별로 저장한다. 여기서 시간대라 함은 카메라로 촬영하는 시간 간격을 의미한다. 이 실시예에서, 클라이언트 컴퓨터는 컨텐츠 생성부와 컨텐츠 서비스부를 포함하여 구현된다. 즉, 이 실시예에서, 서버는 주기적인 시점 변환 영상의 생성과 제공만을 담당하고, 시점 변환된 영상들로부터 고객 컨텐츠를 생성하는 처리는 클라이언트 컴퓨터에서 이루어진다.

이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 기재된 양상들은 상호간에 모순 없이 자유롭게 조합될 수 있으며, 이러한 조합들도 모두 본 발명의 범주에 포함된다.

첨부된 특허청구범위는 이러한 조합들이나 도시가 생략되거나 간략화된 실시예들을 포괄하도록 의도되었으나, 이러한 모든 조합을 청구하지는 않고 있으며, 이러한 조합들이 향후 보정을 통해 본 발명의 범주에 진입하는 것이 허용되어야 한다.

100 : 서비스 서버
111 : 온실 113 : 부속실
115 : 트레이
120 : 카메라 설치부 121 : 높이 조절부
122 : 설치 레일 123,125 : 전극
124 : 간격조절부재 126 : 고정 브라켓
127,129 : 전원 공급 레일 128 : 고정간
130 : 화분
141 : 조명 제어 단말 151 : 게이트웨이
153 : 네트워크 스위치
180 : 조명등
410 : 동일 화분 영상 처리부 420 : 결제 처리부
430 : 시점 변환부 440 : 조명 제어부
470 : 컨텐츠 생성부 471 : 성장 컨텐츠 생성부
473 : 다시점 영상 생성부 475 : 파노라마 동영상 생성부
490 : 컨텐츠 서비스부 491 : 고객 컨텐츠 판매부
493 : 식물 판매부 495 : 재배 관리부
497 : 재배 아이템 판매부

Claims

각각 식물이 심겨진 다수의 화분이 놓여지는 트레이가 적어도 하나 설치된 온실의 컨텐츠 서비스 시스템에 있어서,
트레이 상부에 트레이의 화분들을 바라보고 하나의 화분이 적어도 4개 이상의 카메라들에 의해 촬영되도록 배열된 복수의 카메라와;
상기 복수의 카메라로부터의 영상으로부터 고객 컨텐츠를 생성하여 네트워크를 통해 서비스하는 정보처리 장치를 포함하되, 상기 정보처리장치가 :
상기 복수의 카메라에서 출력되는 영상들을 분석하여, 복수의 화분이 포함된 영상을 분석하여 특정한 화분을 인식하고, 다수의 화분에 대해 동일한 화분을 촬영한 영상들을 추출하여 정규화하여 출력하는 동일 화분 영상 처리부와;
다수의 화분에 대해 동일한 화분을 서로 다른 각도에서 촬영한 영상들로부터 특정한 시점(視点)의 영상을 합성하는 시점변환부와;
시점변환부에서 출력된 영상으로부터 고객 컨텐츠를 생성하는 컨텐츠 생성부;
사용자 인터페이스를 생성하여 제공하고 생성된 고객 컨텐츠를 서비스하는 컨텐츠 서비스부;를 포함하고,
상기 시스템은 온실 조명들을 제어하는 조명 제어 단말;을 더 포함하고,
상기 정보처리장치는 촬영 이벤트에 응답하여 상기 조명 제어 단말을 제어하여 조명들을 켜고, 카메라들의 촬영 후에 다시 조명들이 꺼지도록 제어하는 조명 제어부;를 더 포함하며,
상기 컨텐츠 생성부는 :
동일한 화분에 대한 특정한 시점(視点)의 영상을 상이한 시간에 대해 취합하고 보간을 통해 생성한 중간 프레임을 삽입하여, 식물의 성장 과정을 보여주는 동영상 성장 컨텐츠를 생성하는 성장 컨텐츠 생성부;를 포함하고,
상기 복수의 카메라는 하루에 12회 정지 영상을 촬영하며,
상기 성장 컨텐츠 생성부는 하루에 12회 촬영한 정지 영상을 취합하는,
온실 컨텐츠 서비스 시스템.
청구항 1에 있어서, 상기 서비스 시스템이 :
온실에 고정되는 설치레일과, 설치레일에 위치 조절 가능하게 고정되는 간격조절부재와, 상기 간격조절부재에 고정되며 카메라가 설치되는 고정 브라켓을 포함하는 카메라 설치부를 더 포함하는 온실 컨텐츠 서비스 시스템.
청구항 2에 있어서, 설치 레일은 외부로부터의 전력이 공급되는 한 쌍의 전원 공급 레일을 포함하고, 간격조절부재는 상기 한 쌍의 전원 공급 레일에 슬라이딩 접촉되는 한 쌍의 전극을 포함하는 온실 컨텐츠 서비스 시스템.
청구항 2에 있어서, 카메라 설치부는 상기 설치 레일에 결합되며, 설치 레일의설치 높이를 조절하는 높이조절부를 더 포함하는 온실 컨텐츠 서비스 시스템.
삭제
청구항 1에 있어서, 동일 화분 영상 처리부는 화분 근처에 고정된 마크 이미지로부터 화분을 식별하는 온실 컨텐츠 서비스 시스템.
청구항 1에 있어서, 동일 화분 영상 처리부는 카메라 영상에서 각각의 화분의 위치를 산출하여 각 카메라에서 산출된 화분들의 위치 정보로부터 동일한 화분을 식별하는 온실 컨텐츠 서비스 시스템.
청구항 1에 있어서, 시점 변환부는 합성된 다수의 시점의 영상들을 저장하고 요청된 특정한 시점의 영상을 제공하는 온실 컨텐츠 서비스 시스템.
청구항 1에 있어서, 컨텐츠 생성부는 :
사용자의 시점 지시 조작에 따라 시점 변환부를 제어하여 생성된, 동일한 화분에 대한 지시된 시점의 영상을 출력하는 다시점 영상 생성부;
를 포함하는 온실 컨텐츠 서비스 시스템.
삭제
청구항 1에 있어서, 컨텐츠 생성부는 :
사용자 조작에 응답하여 시점 변환부를 제어하여 생성된, 동일한 화분에 대한 연속적으로 변하는 시점(視点) 영상들을 순차적으로 생성하여 제공하는 파노라마 동영상 생성부;
를 포함하는 온실 컨텐츠 서비스 시스템.
삭제
청구항 1에 있어서, 컨텐츠 서비스부는 :
다수의 화분의 샘플 영상을 식물 종류별로 제공하고, 결제 후 고객 컨텐츠를 제공하는 고객 컨텐츠 판매부;
를 더 포함하는 온실 컨텐츠 서비스 시스템.
청구항 1에 있어서, 컨텐츠 서비스부는 :
사용자로부터 구매 요구 입력에 따라, 지시된 화분을 해당 고객에게 판매 처리하는 식물 판매부;를 더 포함하는 온실 컨텐츠 서비스 시스템.
청구항 1에 있어서, 온실 컨텐츠 서비스 시스템은 :
화분 별로 식물 재배 아이템의 적용을 스케쥴링하고 관리하는 재배 관리부를 더 포함하는 온실 컨텐츠 서비스 시스템.
청구항 15에 있어서, 컨텐츠 서비스부는 :
사용자의 구매 요구 입력에 따라, 식물 재배 아이템을 해당 고객에게 판매 처리하고, 지시된 화분에 해당 식물 재배 아이템이 투입되도록 재배 관리 데이터베이스에 등록하는 재배 아이템 판매부;를 더 포함하는 온실 컨텐츠 서비스 시스템.
청구항 1에 있어서, 온실 컨텐츠 서비스 시스템은 :
동일 화분 영상 처리부와 시점 변환부를 포함하며, 시점 변환된 영상들을 화분별로, 시간대별로 저장하는 온실 제어장치와;
컨텐츠 생성부와 컨텐츠 서비스부를 포함하는 고객 클라이언트 컴퓨터;
를 포함하여 구현되는 온실 컨텐츠 서비스 시스템.