KR102538747B1 - 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법 - Google Patents

3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법 Download PDF

Info

Publication number
KR102538747B1
KR102538747B1 KR1020220161821A KR20220161821A KR102538747B1 KR 102538747 B1 KR102538747 B1 KR 102538747B1 KR 1020220161821 A KR1020220161821 A KR 1020220161821A KR 20220161821 A KR20220161821 A KR 20220161821A KR 102538747 B1 KR102538747 B1 KR 102538747B1
Authority
KR
South Korea
Prior art keywords
plant factory
unit
output
image information
image
Prior art date
Application number
KR1020220161821A
Other languages
English (en)
Inventor
반병현
Original Assignee
농업회사법인 상상텃밭 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 농업회사법인 상상텃밭 주식회사 filed Critical 농업회사법인 상상텃밭 주식회사
Priority to KR1020220161821A priority Critical patent/KR102538747B1/ko
Application granted granted Critical
Publication of KR102538747B1 publication Critical patent/KR102538747B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/05—Agriculture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Agronomy & Crop Science (AREA)
  • Strategic Management (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Environmental Sciences (AREA)
  • Toxicology (AREA)
  • Biomedical Technology (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치에 관한 것으로, 식물공장의 영상을 촬영하는 카메라부; 상기 식물공장의 환경을 측정하는 센서부; 상기 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성하는 IoT부; 상기 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 상기 식물공장의 디지털 트윈 정보인 3차원 영상 정보를 생성하는 분석부; 및 상기 3차원 영상 정보를 출력하고, 상기 출력된 3차원 영상 정보에서 사용자로부터 개체를 선택하는 입력을 받으며, 상기 출력된 3차원 영상 정보상에 상기 선택된 개체의 위치에 상응하는 상기 식물공장 환경 정보를 출력하는 사용자 인터페이스부;를 포함하되, 상기 사용자 인터페이스부가 상기 사용자로부터 IoT 제어명령을 입력받으면, 상기 IoT부는 상기 입력받은 IoT 제어명령에 상응하게 상기 식물공장을 제어한다.

Description

3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법{Apparatus and method for providing plant factory digital twin interface using 3D image reconstruction algorithm}
본 발명은 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법에 관한 것이다.
산업과 기술이 발전함에 따라, 사람들은 산업화된 도시에서 다양한 형태의 직업을 통하여 여러 가지 업무를 수행함에 따라, 남녀노소 할 것 없이 대도시로의 이전이 촉진되었고, 그에 따라 사람들의 주거형태 또한 도시의 생활에 맞게 변천하게 되었다. 이와 같이, 사람들의 생활이 대도시에서의 환경에 익숙해지면서, 자연을 느낄 수 있는 주말농장 체험과 관련된 서비스가 증가하고 있다.
주말농장이란 도심 외곽에 일정한 크기의 토지를 임차하여 임차한 토지에 각종 채소를 재배하거나, 사전에 조성된 농장의 일정 영역을 임차하여 주말마다 방문해 관리하는 것을 총칭하는 개념으로서, 현대인들은 이러한 주말농장에서 채소 등을 경작하면서 도시 생활에서 지친 몸과 마음의 휴식을 얻을 수 있고, 먹거리를 직접 재배하여 안심하고 먹을 수 있다는 점에서 최근 각광 받고 있다.
그러나, 이러한 주말농장은 주말농장을 임차한 사용자가 주말이나 휴일과 같이 여유 시간이 생길 때만 방문하기 때문에, 주말농장의 상태를 실시간으로 확인할 수 없는 단점이 있고, 긴급 상황이 발생하여도 즉시 대처할 수 없다는 한계가 있다.
또한, 주말농장 외 농촌지역 역시 농촌인구의 고령화, 농촌 내 인구소멸현상의 대안으로써 원격지에서 농장을 관리할 수 있는 기술에 대한 요구가 강해지고 있다.
이에 이런 문제점을 해결하기 위해 식물공장 또는 스마트팜 기술을 디지털 트윈 기술과 결합한 기술에 대한 개발이 이뤄지고 있다.
한국등록특허 제10-2260011호 한국공개특허 제10-2022-0131573호
본 발명이 해결하고자 하는 과제는, 3D 렌더링 모델으로 표현된 디지털 트윈이 아닌 식물공장을 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 3차원 영상 정보로 표현된 디지털 트윈을 제공해 식물 움직임, 구조 및 질병 감염 여부 등을 사용자가 보다 정확하게 파악할 수 있는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 다른 과제는, 장소에 관계없이 식물공장의 상태를 확인하고, 식물공장을 제어할 수 있는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법을 제공하는 데 있다.
본 발명이 해결하고자 하는 또 다른 과제는, 센서부가 설치되지 않은 곳의 식물공장의 환경 정보를 확인할 수 있는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법을 제공하는 데 있다.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 바람직한 일 측면에 따르면, 식물공장의 영상을 촬영하는 카메라부; 상기 식물공장의 환경을 측정하는 센서부; 상기 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성하는 IoT부; 상기 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 상기 식물공장의 디지털 트윈 정보인 3차원 영상 정보를 생성하는 분석부; 및 상기 3차원 영상 정보를 출력하고, 상기 출력된 3차원 영상 정보에서 사용자로부터 개체를 선택하는 입력을 받으며, 상기 출력된 3차원 영상 정보상에 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 출력하는 사용자 인터페이스부;를 포함하되, 상기 사용자 인터페이스부가 상기 사용자로부터 IoT 제어명령을 입력받으면, 상기 IoT부는 상기 입력받은 IoT 제어명령에 상응하게 상기 식물공장을 제어하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치를 제공할 수 있다.
여기서, 상기 3차원 영상 재건 알고리즘은 NeRF 또는 Nerfies 알고리즘일 수 있다.
여기서, 상기 IoT부는 상기 센서부의 좌표를 저장하고 있으며, 상기 분석부는 상기 센서부의 좌표를 기준으로 상기 선택된 개체의 좌표를 분석하고, 상기 센서부의 좌표, 상기 센서부의 좌표에 상응하는 상기 식물공장 환경 정보 및 상기 선택된 개체의 좌표를 보간 알고리즘을 활용해 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 추론해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공할 수 있다.
여기서, 상기 분석부는 상기 카메라부 좌표를 기준으로 상기 센서부의 좌표 및 상기 선택된 개체의 좌표를 분석하고, 상기 분석한 센서부의 좌표, 상기 센서부의 좌표에 상응하는 상기 식물공장 환경 정보 및 상기 선택된 개체의 좌표를 보간 알고리즘을 활용해 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 추론해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공할 수 있다.
여기서, 상기 IoT부는 상기 개체의 상세정보를 저장하고 있으며, 상기 분석부는, 상기 사용자 인터페이스부가 상기 사용자로부터 입력받은 상기 선택된 개체를 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하고, 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보, 상기 선택된 개체에 상응하는 상기 상세정보 및 상기 선택된 개체에 상응하는 상기 IoT 제어명령을 선택할 수 있는 메뉴창을 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공할 수 있다.
여기서, 상기 분석부는 상기 촬영된 영상 또는 상기 3차원 영상 정보를 분석해 식물의 질병을 감지하고, 상기 질병이 감지된 식물을 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공할 수 있다.
여기서, 상기 분석부는 상기 촬영된 영상 또는 상기 3차원 영상 정보를 분석해 식물의 질병을 감지하고, 상기 질병이 감지된 식물의 심각성을 분석하며, 상기 분석한 심각성에 따라 상기 식물을 다르게 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공할 수 있다.
여기서, 상기 사용자 인터페이스부가 상기 사용자에게 시점을 변경하는 입력을 받으면, 상기 분석부는 상기 입력받은 변경된 시점에 상응하게 상기 생성된 3차원 영상 정보의 각도를 변경하거나, 상기 입력받은 변경된 시점에 상응하게 새로운 3차원 영상 정보를 생성해 상기 사용자 인터페이스부가 출력할 수 있게 제공할 수 있다.
본 발명의 바람직한 다른 측면에 따르면, 카메라부가 식물공장의 영상을 촬영하는 단계; 센서부가 상기 식물공장의 환경을 측정하는 단계; IoT부가 상기 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성하는 단계; 분석부가 상기 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 상기 식물공장의 디지털 트윈 정보인 3차원 영상 정보를 생성하는 단계; 및 사용자 인터페이스부가 상기 3차원 영상 정보를 출력하고, 상기 출력된 3차원 영상 정보에서 사용자로부터 개체를 선택하는 입력을 받으며, 상기 출력된 3차원 영상 정보상에 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 출력하는 단계;를 포함하되, 상기 사용자 인터페이스부가 상기 사용자로부터 IoT 제어명령을 입력받으면, 상기 IoT부는 상기 입력받은 IoT 제어명령에 상응하게 상기 식물공장을 제어하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법을 제공할 수 있다.
본 발명은 식물공장을 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 3차원 영상 정보로 표현된 디지털 트윈을 제공해 식물 움직임, 구조 및 질병 감염 여부 등 사용자가 보다 정확하게 파악할 수 있는 효과가 있다.
또한, 본 발명은 장소에 관계없이 식물공장의 상태를 확인하고, 식물공장을 제어할 수 있는 효과가 있다.
또한, 본 발명은 센서부가 설치되지 않은 곳의 식물공장의 환경 정보를 확인할 수 있어 센서부 설치 비용을 절약하고, 식물공장의 모든 부분에 대한 환경 정보를 확인할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 카메라부가 촬영한 영상이다.
도 3은 본 발명의 일 실시예에 따른 분석부가 생성한 3차원 영상 정보를 사용자 인터페이스부가 출력한 영상이다.
도 4는 본 발명의 일 실시예에 따른 사용자 조작에 따른 3차원 영상 정보의 시점 변경을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 분석부가 사용자 선택한 개체에 상응하는 개체를 표지해 사용자 인터페이스부가 3차원 영상 정보상에 출력한 영상이다.
도 6은 본 발명의 일 실시예에 따른 분석부가 감지한 질병에 걸린 식물을 사용자 인터페이스부가 3차원 영상 정보상에 출력한 영상이다.
도 7은 본 발명의 일 실시예에 따른 3차원 영상 정보상에 출력된 메뉴창을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 카메라부가 촬영한 영상이다.
도 3은 본 발명의 일 실시예에 따른 분석부가 생성한 3차원 영상 정보를 사용자 인터페이스부가 출력한 영상이다.
도 4는 본 발명의 일 실시예에 따른 사용자 조작에 따른 3차원 영상 정보의 시점 변경을 설명하기 위한 도면이다. 도 4(a)는 사용자 조작에 따라 시점이 변경된 3차원 영상 정보를 사용자 인터페이스부가 출력한 영상이며, 도 4(b)는 사용자 조작에 따라 줌된 3차원 영상 정보를 사용자 인터페이스부가 출력한 영상이다.
도 5는 본 발명의 일 실시예에 따른 분석부가 사용자 선택한 개체에 상응하는 개체를 표지해 사용자 인터페이스부가 3차원 영상 정보상에 출력한 영상이다.
도 6은 본 발명의 일 실시예에 따른 분석부가 감지한 질병에 걸린 식물을 사용자 인터페이스부가 3차원 영상 정보상에 출력한 영상이다. 도 6(a)는 사용자 조작에 따라 줌된 3차원 영상 정보상에 분석부가 감지한 질병에 걸린 식물을 사용자 인터페이스부가 3차원 영상 정보상에 출력한 영상이며, 사용자 조작에 따라 줌된 3차원 영상 정보상에 분석부가 분석한 식물의 질병의 심각성에 따라 사용자 인터페이스부가 3차원 영상 정보상에 출력한 영상이다.
도 7은 본 발명의 일 실시예에 따른 3차원 영상 정보상에 출력된 메뉴창을 설명하기 위한 도면이다. 도 7(a)는 분석부가 사용자 선택한 개체에 상응하는 개체를 표지해 메뉴창과 함께 사용자 인터페이스부가 사용자 조작에 따라 줌된 3차원 영상 정보상에 출력한 영상이며, 도 7(b)는 메뉴창에서 사용자가 선택한 개체 상세정보를 분석부가 분석해 사용자 인터페이스부가 사용자 조작에 따라 줌된 3차원 영상 정보상에 출력한 영상이며, 도 7(c)는 메뉴창에서 사용자가 선택한 IoT 제어명령을 분석부가 분석해 사용자 인터페이스부가 사용자 조작에 따라 줌된 3차원 영상 정보상에 출력한 영상이다.
도 1 내지 도 7을 참조하면, 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치(10)는 유무선 통신으로 연결된 카메라부(100), 센서부(200), IoT부(300), 분석부(400) 및 사용자 인터페이스부(500)를 포함한다.
카메라부(100)는 식물공장의 영상을 촬영한다. 구체적으로, 카메라부(100)는 식물공장 내 복수개가 설치되어 식물공장의 영상을 촬영하거나, 이동체에 설치되어 식물공장의 영상을 촬영한다. 여기서, 이동체에 설치되는 카메라부(100)는 360도 전방위 촬영이 가능한 장비이거나, 사용자 인터페이스부(500)를 통해 사용자가 입력한 조작을 분석부(400)로부터 전달받아 사용자가 입력한 조작에 상응하게 회전하면서 촬영하는 장비일 수 있다.
센서부(200)는 식물공장 내 복수개가 설치되어 식물공장의 환경을 측정한다. 여기서, 센서부(200)는 온도, 습도, 광량, Co2 농도, 양액 농도, 양액 pH, 양액 탁도, 발근액 농도, 발근액 pH 및 발근액 탁도 등을 측정하며, 센서부(200)에는 별도의 마커나 비컨이 부착되어 있을 수 있다.
IoT부(300)는 센서부(200)가 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성한다.
또한, IoT부(300)는 식물공장에 설치된 센서부(200)의 좌표와 식물공장 내 개체, 바람직하게는, 식물의 품종 및 연령 등과 같은 상세정보를 저장하고 있다.
또한, IoT부(300)는 사용자 인터페이스부(500)가 사용자로부터 IoT 제어명령을 입력받으면, IoT부(300)는 입력받은 IoT 제어명령에 상응하게 식물공장을 제어한다. 구체적으로, IoT부(300)는 사용자 인터페이스부(500)를 통해 사용자가 입력한 IoT 제어명령을 분석부(400)로부터 전달받아 입력받은 IoT 제어명령에 상응하게 식물공장을 제어한다. 여기서, IoT 제어명령은 팬 가동, 커튼 열기, 물 주입, 살충제 분사, 조명 조절, 양액 또는 발근액 공급, 양액 또는 발근액 배출, 산소 공급, 양액 제조 등과 같은 식물공장 환경에 영향을 주는 동작일 수 있다.
분석부(400)는 카메라부(100)가 촬영한 영상(1)을 NeRF 또는 Nerfies 알고리즘 등과 같은 3차원 영상 재건 알고리즘을 활용해 식물공장의 디지털 트윈 정보인 3차원 영상 정보(2)를 생성한다. 구체적으로, 분석부(400)는 카메라부(100)가 식물공장 내 복수개가 설치되어 있거나 이동체에 설치된 360도 전방위 촬영이 가능한 장비일 경우에는 NeRF 알고리즘을 활용해 3차원 영상 정보(2)를 생성하고, 카메라부(100)가 사용자 인터페이스부(500)를 통해 사용자가 입력한 조작을 분석부(400)로부터 전달받아 사용자가 입력한 조작에 상응하게 회전하면서 촬영하는 장비일 경우에는 Nerfies 알고리즘을 활용해 3차원 영상 정보(2)를 생성해 사용자 인터페이스부(500)에 제공한다. 여기서, 분석부(400)는 파노라마 알고리즘을 활용해 3차원 영상 정보(2)를 생성할 수도 있다.
또한, 분석부(400)는 사용자 인터페이스부(500)가 사용자에게 시점을 변경하는 입력을 받으면, 입력받은 변경된 시점에 상응하게 생성된 3차원 영상 정보(2)의 각도를 변경하거나, 입력받은 변경된 시점에 상응하게 새로운 3차원 영상 정보(3)를 생성해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 각도가 변경된 3차원 영상정보(3) 또는 새로운 3차원 영상 정보(3)를 출력하게 한다. 여기서, 분석부(400)는 각도가 변경된 3차원 영상정보(3) 또는 새로운 3차원 영상 정보(3)를 사용자 인터페이스부(500)에게 프레임 단위로 제공할 수 있다.
분석부(400)는 사용자 인터페이스부(500)가 사용자에게 3차원 영상 정보(2)를 줌하는 입력을 받으면, 줌된 3차원 영상 정보(4)를 생성해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 줌된 3차원 영상 정보(4)를 출력하게 한다. 여기서, 분석부(400)는 줌아웃된 3차원 영상 정보를 생성해 사용자 인터페이스부(500)에 제공할 수도 있다.
또한, 분석부(400)는 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)에서 사용자로부터 개체를 선택하는 입력을 받으며, 선택된 개체(5)를 표지해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2, 4)상에 선택된 개체(5)가 표지되어 출력되게 한다.
분석부(400)는 질병이 걸린 식물들의 영상으로 학습되어 카메라부(100)가 촬영한 영상(1) 또는 3차원 영상 정보(2)를 분석해 식물의 질병을 감지하고, 질병이 감지된 식물(6)을 표지해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 3차원 영상 정보(2, 4)상에 질병이 감지된 식물(6)을 출력할 수 있게 한다.
또한, 분석부(400)는 감지된 식물의 질병을 분석해 분석한 심각성에 따라 식물(6-1, 6-2, 6-3)을 다르게 표지해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 3차원 영상 정보(2, 4)상에 질병의 심각성에 따라 식물(6-1, 6-2, 6-3)을 출력할 수 있게 한다. 여기서, 질병의 심각성에 따라 식물(6-1, 6-2, 6-3)을 색상의 진하기를 통해 구별했지만, 질병의 심각성에 따라 다른 색상 등과 같이 시각적으로 구별할 수 있는 방법이면 어느 방법으로 구현될 수 있다.
분석부(400)는 선택된 개체에 상응하는 식물공장 환경 정보, 선택된 개체에 상응하는 상세정보 및 선택된 개체에 상응하는 IoT 제어명령을 선택할 수 있는 메뉴창(8)을 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 메뉴창(8)을 출력하게 한다. 이때, 사용자 인터페이스부(500)에는 표지된 선택된 개체(5)가 같이 출력될 수 있다.
또한, 분석부(400)는 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)에서 사용자로부터 개체를 선택하는 입력을 받으며, 선택된 개체에 상응하는 식물공장 환경 정보를 IoT부(300)에서 제공받아 사용자 인터페이스부(500)에 제공해 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 선택된 개체에 상응하는 식물공장 환경 정보(9)를 출력하게 한다. 여기서, 선택된 개체에 상응하는 식물공장 환경 정보(9)는 메뉴창(8)상에 출력될 수 있으나, 이에 한정되지 않고, 3차원 영상 정보(2)상의 메뉴창(8) 이외 다른 곳에 출력될 수 있으며, 도 7(a)에서는 메뉴창(8)상에 선택된 개체에 상응하는 식물공장 환경 정보(9)가 온도와 습도만 출력된 것으로 도시되어 있으나, 더 많은 식물공장 환경 정보(9)가 출력될 수 있고, 사용자 인터페이스부(500)가 출력된 메뉴창(8)에서 사용자로부터 식물공장 환경 정보(9)을 선택하는 입력을 받으면, 분석부(400)는 메뉴창(8)을 닫고 모든 식물공장 환경 정보(9)가 사용자 인터페이스부(500)가 출력하게 할 수 있다.
구체적으로, 분석부(400)는 IoT부(300)에 저장된 센서부(200)의 좌표를 기준으로 선택된 개체의 좌표를 분석하고, 센서부(200)의 좌표, 센서부(200)의 좌표에 상응하는 식물공장 환경 정보 및 선택된 개체의 좌표를 보간 알고리즘을 활용해 선택된 개체에 상응하는 식물공장 환경 정보를 추론해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 선택된 개체에 상응하는 식물공장 환경 정보를 출력하게 한다.
또한, 분석부(400)는 IoT부(300)에 센서부(200)의 좌표가 저장되어 있지 않을 경우, 카메라부(100)의 좌표를 분석하고, 카메라부(100) 좌표를 기준으로 센서부(200)의 좌표 및 선택된 개체의 좌표를 분석하고, 분석한 센서부(200)의 좌표, 센서부(200)의 좌표에 상응하는 식물공장 환경 정보 및 선택된 개체의 좌표를 보간 알고리즘을 활용해 선택된 개체에 상응하는 식물공장 환경 정보를 추론해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 선택된 개체에 상응하는 식물공장 환경 정보를 출력하게 한다. 여기서, 분석부(400)는 카메라부(100) 좌표를 기준으로 센서부(200)의 좌표를 분석할 때, 카메라부(100)가 촬영한 영상(1) 또는 3차원 영상 정보(2)에서 센서부(200)에 부착된 마커를 감지해 센서부(200)의 좌표를 분석하며, 분석부(400)가 선택된 개체에 상응하는 식물공장 환경 정보를 추론하는 것은 식물공장 내의 모든 구역에 센서부(200)를 설치하기에는 비용 등의 문제로 어려워 센서부(200)가 설치되지 않은 곳에 개체가 선택되었을 때 센서부(200)가 설치되지 않은 곳의 선택된 개체에 상응하는 식물공장 환경 정보를 얻기 위해서이다.
분석부(400)는 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상 메뉴창(9)에서 사용자로부터 상세정보(Detail)를 선택하는 입력을 받으면, IoT(300)로부터 선택된 개체에 상응하는 상세정보를 제공받아 제공받은 상세정보를 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 상세정보(8-1)을 출력하게 한다. 또한, 분석부(400)는 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상 메뉴창(9)에서 사용자로부터 IoT 제어명령(Action)을 선택하는 입력을 받으면, 식물공장을 제어할 수 있는 모든 제어명령 창을 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 모든 제어명령 창을 출력하게 한다. 이어 사용자 인터페이스부(500)가 출력된 모든 제어명령 창에서 사용자로부터 제어하고 싶은 제어명령을 선택하는 입력을 받으면, 선택받은 제어명령에 상응하는 IoT 제어명령 창(8-2)을 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 IoT 제어명령 창(8-2)을 출력하게 하고, 사용자 인터페이스부(500)가 출력된 IoT 제어명령 창(8-2)에서 사용자로부터 IoT 제어명령을 입력받으면, 이를 IoT부(300)에 제공하고, IoT부(300)는 제공받은 사용자가 입력한 IoT 제어명령에 상응하게 식물공장을 제어한다.
사용자 인터페이스부(500)는 분석부(400)로부터 제공받은 3차원 영상 정보(2), 표지된 개체(5), 표지된 질병이 감지된 식물(6), 메뉴창(8), 식물공장 환경 정보(9), 상세정보(8-2), IoT 제어명령 창(8-2) 중 적어도 어느 하나를 출력한다. 여기서, 사용자 인터페이스부(500)는 스마트폰, 태블릿, HMD(Head mounted Display) 및 컴퓨터 등 분석부(400)로부터 제공받은 것을 출력할 수 있는 장치일 수 있다.
또한, 사용자 인터페이스부(500)는 3차원 영상 정보(2)의 시점 변경, 줌/줌아웃, 3차원 영상 정보(2)에서 개체 선택, 메뉴창(8) 선택 등을 입력받아 분석부(400)에 제공한다.
도 8은 본 발명의 다른 실시예에 따른 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법의 순서도이다.
도 8을 참조하면, S801단계에서는 카메라부(100)가 식물공장의 영상을 촬영한다.
S802단계에서는 센서부(200)가 식물공장의 환경을 측정한다.
S803단계에서는 IoT부(300)가 센서부(200)로부터 측정한 식물공장의 환경을 제공받아 이를 분석해 식물공장 환경 정보를 생성한다.
S804단계에서는 분석부(400)가 카메라부(100)로부터 촬영한 식물공장 영상을 제공받아 3차원 영상 정보(2)를 생성해 사용자 인터페이스부(500)에 제공한다.
S805단계에서는 사용자 인터페이스부(500)가 분석부(400)로부터 제공받은 3차원 영상 정보(2)를 출력한다.
S806단계에서는 사용자 인터페이스부(500)가 사용자로부터 시점 변경하는 입력을 받았는지 분석해 입력을 받았으면 이를 분석부(400)에 제공하고, S807단계를, 입력을 받지 않았으면 S810단계를 진행한다.
S807단계에서는 분석부(400)는 사용자 인터페이스부(500)로부터 제공받은 사용자로부터 입력받은 변경된 시점에 상응하게 생성된 3차원 영상 정보(2)의 시점을 변경하거나, 입력받은 변경된 시점에 상응하게 새로운 3차원 영상 정보(3)를 생성하여 3차원 사용자 인터페이스부(500)에 제공하고, 사용자 인터페이스부(500)는 분석부(400)로부터 제공받은 시점이 변경된 3차원 영상정보(3, 4) 또는 새로운 3차원 영상 정보(3)를 출력한다.
S808단계에서는 분석부(400)가 카메라부(100)가 촬영한 영상(1) 또는 3차원 영상 정보(2)를 분석해 식물의 질병을 감지하면, S809단계를 진행하고, 감지하지 않으면 S810단계를 진행한다.
S809단계에서는 분석부(400)가 질병이 감지된 식물(6)을 표지해 사용자 인터페이스부(500)에 제공하고, 사용자 인터페이스부(500)가 분석부(400)로부터 제공받은 질병이 감지된 식물(6)을 3차원 영상 정보(2, 3, 4)상에 출력한다. 이때, 분석부(400)는 감지된 식물의 질병을 분석해 분석한 심각성에 따라 식물(6-1, 6-2, 6-3)을 다르게 표지해 사용자 인터페이스부(500)에 제공하여 사용자 인터페이스부(500)가 3차원 영상 정보(2, 3, 4)상에 질병의 심각성에 따라 식물(6-1, 6-2, 6-3)을 출력할 수 있게 할 수도 있다.
S810단계에서는 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2, 3, 4)에서 사용자로부터 개체를 선택하는 입력을 받았는지 분석해 입력을 받았으면 이를 분석부(400)에 제공하고, S811단계를, 입력을 받지 않았으면 S805, 807 및 809단계 중 어느 하나를 진행한다.
S811단계에서는 분석부(400)가 사용자 인터페이스부(500)로부터 제공받은 선택된 개체(5)를 표지해 사용자 인터페이스부(500)에 제공하고, 사용자 인터페이스부(500)는 제공받은 표지된 선택된 객체(5)를 3차원 영상 정보(2, 3, 4)상에 출력한다.
또한, 분석부(400)가 선택된 개체에 상응하는 식물공장 환경 정보, 선택된 개체에 상응하는 상세정보 및 선택된 개체에 상응하는 IoT 제어명령을 선택할 수 있는 메뉴창(8)을 사용자 인터페이스부(500)에 제공하고, 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 메뉴창(8)을 출력하게 한다.
또한, 분석부(400)가 선택된 개체에 상응하는 식물공장 환경 정보를 IoT부(300)에서 제공받아 사용자 인터페이스부(500)에 제공해 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 선택된 개체에 상응하는 식물공장 환경 정보(9)를 출력하게 한다.
S812단계에서는 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2, 3, 4)상 메뉴창(8)에서 사용자로부터 메뉴를 선택하는 입력을 받았는지 분석해 입력을 받았으면 이를 분석부(400)에 제공하고, S813단계를, 입력을 받지 않았으면 S811단계를 진행한다.
S813단계에서는 사용자 인터페이스부(500)가 입력받은 메뉴에 상응하는 정보를 사용자 인터페이스부(500)에 제공하고, 사용자 인터페이스부(500)가 출력된 3차원 영상 정보(2)상에 정보를 출력하게 한다.
이상에서 본 발명에 따른 실시 예들이 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명의 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 다음의 청구범위에 의해서 정해져야 할 것이다.
100 : 카메라부 200 : 센서부
300 : IoT부 400 : 분석부
500 : 사용자 인터페이스부

Claims (16)

  1. 식물공장의 영상을 촬영하는 카메라부;
    상기 식물공장의 환경을 측정하는 센서부;
    상기 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성하는 IoT부;
    상기 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 상기 식물공장의 디지털 트윈 정보인 3차원 영상 정보를 생성하는 분석부; 및
    상기 3차원 영상 정보를 출력하고, 상기 출력된 3차원 영상 정보에서 사용자로부터 개체를 선택하는 입력을 받으며, 상기 출력된 3차원 영상 정보상에 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 출력하는 사용자 인터페이스부;를 포함하되,
    상기 IoT부는 상기 센서부의 좌표를 저장하고 있으며,
    상기 분석부는 상기 센서부의 좌표를 기준으로 상기 선택된 개체의 좌표를 분석하고, 상기 센서부의 좌표, 상기 센서부의 좌표에 상응하는 상기 식물공장 환경 정보 및 상기 선택된 개체의 좌표를 보간 알고리즘을 활용해 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 추론해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  2. 식물공장의 영상을 촬영하는 카메라부;
    상기 식물공장의 환경을 측정하는 센서부;
    상기 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성하는 IoT부;
    상기 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 상기 식물공장의 디지털 트윈 정보인 3차원 영상 정보를 생성하는 분석부; 및
    상기 3차원 영상 정보를 출력하고, 상기 출력된 3차원 영상 정보에서 사용자로부터 개체를 선택하는 입력을 받으며, 상기 출력된 3차원 영상 정보상에 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 출력하는 사용자 인터페이스부;를 포함하되,
    상기 분석부는 상기 카메라부 좌표를 기준으로 상기 센서부의 좌표 및 상기 선택된 개체의 좌표를 분석하고, 상기 분석한 센서부의 좌표, 상기 센서부의 좌표에 상응하는 상기 식물공장 환경 정보 및 상기 선택된 개체의 좌표를 보간 알고리즘을 활용해 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 추론해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 3차원 영상 재건 알고리즘은 NeRF 또는 Nerfies 알고리즘인 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 사용자 인터페이스부가 상기 사용자로부터 IoT 제어명령을 입력받으면, 상기 IoT부는 상기 입력받은 IoT 제어명령에 상응하게 상기 식물공장을 제어하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 IoT부는 상기 개체의 상세정보를 저장하고 있으며,
    상기 분석부는, 상기 사용자 인터페이스부가 상기 사용자로부터 입력받은 상기 선택된 개체를 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하고, 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보, 상기 선택된 개체에 상응하는 상기 상세정보 및 상기 선택된 개체에 상응하는 IoT 제어명령을 선택할 수 있는 메뉴창을 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  6. 제1항 또는 제2항에 있어서,
    상기 분석부는 상기 촬영된 영상 또는 상기 3차원 영상 정보를 분석해 식물의 질병을 감지하고, 상기 질병이 감지된 식물을 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  7. 제1항 또는 제2항에 있어서,
    상기 분석부는 상기 촬영된 영상 또는 상기 3차원 영상 정보를 분석해 식물의 질병을 감지하고, 상기 질병이 감지된 식물의 심각성을 분석하며, 상기 분석한 심각성에 따라 상기 식물을 다르게 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 사용자 인터페이스부가 상기 사용자에게 시점을 변경하는 입력을 받으면,
    상기 분석부는 상기 입력받은 변경된 시점에 상응하게 상기 생성된 3차원 영상 정보의 각도를 변경하거나, 상기 입력받은 변경된 시점에 상응하게 새로운 3차원 영상 정보를 생성해 상기 사용자 인터페이스부가 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치.
  9. 카메라부가 식물공장의 영상을 촬영하는 단계;
    센서부가 상기 식물공장의 환경을 측정하는 단계;
    IoT부가 상기 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성하는 단계;
    분석부가 상기 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 상기 식물공장의 디지털 트윈 정보인 3차원 영상 정보를 생성하는 단계; 및
    사용자 인터페이스부가 상기 3차원 영상 정보를 출력하고, 상기 출력된 3차원 영상 정보에서 사용자로부터 개체를 선택하는 입력을 받으며, 상기 출력된 3차원 영상 정보상에 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 출력하는 단계;를 포함하되,
    상기 IoT부는 상기 센서부의 좌표를 저장하고 있으며,
    상기 분석부는 상기 센서부의 좌표를 기준으로 상기 선택된 개체의 좌표를 분석하고, 상기 센서부의 좌표, 상기 센서부의 좌표에 상응하는 상기 식물공장 환경 정보 및 상기 선택된 개체의 좌표를 보간 알고리즘을 활용해 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 추론해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
  10. 카메라부가 식물공장의 영상을 촬영하는 단계;
    센서부가 상기 식물공장의 환경을 측정하는 단계;
    IoT부가 상기 측정한 식물공장의 환경을 분석해 식물공장 환경 정보를 생성하는 단계;
    분석부가 상기 촬영한 영상을 3차원 영상 재건 알고리즘을 활용해 상기 식물공장의 디지털 트윈 정보인 3차원 영상 정보를 생성하는 단계; 및
    사용자 인터페이스부가 상기 3차원 영상 정보를 출력하고, 상기 출력된 3차원 영상 정보에서 사용자로부터 개체를 선택하는 입력을 받으며, 상기 출력된 3차원 영상 정보상에 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 출력하는 단계;를 포함하되,
    상기 분석부는 상기 카메라부 좌표를 기준으로 상기 센서부의 좌표 및 상기 선택된 개체의 좌표를 분석하고, 상기 센서부의 좌표와 상기 선택된 개체의 좌표가 상이하면, 상기 분석한 센서부의 좌표, 상기 센서부의 좌표에 상응하는 상기 식물공장 환경 정보 및 상기 선택된 개체의 좌표를 보간 알고리즘을 활용해 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보를 추론해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 3차원 영상 재건 알고리즘은 NeRF 또는 Nerfies 알고리즘인 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
  12. 제9항 또는 제10항에 있어서,
    상기 사용자 인터페이스부가 상기 사용자로부터 IoT 제어명령을 입력받으면, 상기 IoT부는 상기 입력받은 IoT 제어명령에 상응하게 상기 식물공장을 제어하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
  13. 제9항 또는 제10항에 있어서,
    상기 IoT부는 상기 개체의 상세정보를 저장하고 있으며,
    상기 분석부는, 상기 사용자 인터페이스부가 상기 사용자로부터 입력받은 상기 선택된 개체를 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하고, 상기 선택된 개체에 상응하는 상기 식물공장 환경 정보, 상기 선택된 개체에 상응하는 상기 상세정보 및 상기 선택된 개체에 상응하는 IoT 제어명령을 선택할 수 있는 메뉴창을 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
  14. 제9항 또는 제10항에 있어서,
    상기 분석부는 상기 촬영된 영상 또는 상기 3차원 영상 정보를 분석해 식물의 질병을 감지하고, 상기 질병이 감지된 식물을 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
  15. 제9항 또는 제10항에 있어서,
    상기 분석부는 상기 촬영된 영상 또는 상기 3차원 영상 정보를 분석해 식물의 질병을 감지하고, 상기 질병이 감지된 식물의 심각성을 분석하며, 상기 분석한 심각성에 따라 상기 식물을 다르게 표지해 상기 사용자 인터페이스부가 상기 출력된 3차원 영상 정보상에 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
  16. 제9항 또는 제10항에 있어서,
    상기 사용자 인터페이스부가 상기 사용자에게 시점을 변경하는 입력을 받으면,
    상기 분석부는 상기 입력받은 변경된 시점에 상응하게 상기 생성된 3차원 영상 정보의 각도를 변경하거나, 상기 입력받은 변경된 시점에 상응하게 새로운 3차원 영상 정보를 생성해 상기 사용자 인터페이스부가 출력할 수 있게 제공하는 것
    을 특징으로 하는 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 방법.
KR1020220161821A 2022-11-28 2022-11-28 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법 KR102538747B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220161821A KR102538747B1 (ko) 2022-11-28 2022-11-28 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220161821A KR102538747B1 (ko) 2022-11-28 2022-11-28 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102538747B1 true KR102538747B1 (ko) 2023-06-01

Family

ID=86770513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220161821A KR102538747B1 (ko) 2022-11-28 2022-11-28 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102538747B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200043801A (ko) * 2018-10-18 2020-04-28 농업회사법인 만나씨이에이 주식회사 인공지능 식물 관리 시스템
KR102260011B1 (ko) 2019-03-22 2021-06-03 주식회사 업데이터 디지털 트윈 기반의 지능형 원격농장 시스템 및 방법
KR20210085789A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
KR20210149623A (ko) * 2020-06-02 2021-12-09 (주) 텔로스 Vr 기반의 실감형 스마트팜 연구 시스템
KR20220131573A (ko) 2021-03-22 2022-09-29 김송강 스마트팜 디지털 트윈 빅데이터 구축시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200043801A (ko) * 2018-10-18 2020-04-28 농업회사법인 만나씨이에이 주식회사 인공지능 식물 관리 시스템
KR102260011B1 (ko) 2019-03-22 2021-06-03 주식회사 업데이터 디지털 트윈 기반의 지능형 원격농장 시스템 및 방법
KR20210085789A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
KR20210149623A (ko) * 2020-06-02 2021-12-09 (주) 텔로스 Vr 기반의 실감형 스마트팜 연구 시스템
KR20220131573A (ko) 2021-03-22 2022-09-29 김송강 스마트팜 디지털 트윈 빅데이터 구축시스템

Similar Documents

Publication Publication Date Title
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CA2429880C (en) Collaborative pointing devices
US11765323B2 (en) Apparatus and method of location determination in a thermal imaging system
CN105409212B (zh) 具有多视图图像捕捉和深度感测的电子设备
JP5819431B2 (ja) 照明システムを制御する方法及びユーザ対話システム、持ち運び可能な電子デバイス並びにコンピュータプログラム
CN205670807U (zh) 监视系统
CN108700942A (zh) 在虚拟/增强现实系统中改变对象位置的技术
KR20190124766A (ko) 혼합 현실 뷰어 시스템 및 방법
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
US20220028176A1 (en) Enhancing monitoring system with augmented reality
US20170374333A1 (en) Real-time motion capture and projection system
US20210263168A1 (en) System and method to determine positioning in a virtual coordinate system
Arshad et al. Intelligent greenhouse monitoring and control scheme: An arrangement of Sensors Raspberry Pi based Embedded System and IoT platform
CN108765466A (zh) 一种基于网络摄像头的智能视频监控系统及方法
KR102538747B1 (ko) 3차원 영상 재건 알고리즘을 활용한 식물공장 디지털 트윈 인터페이스 제공 장치 및 방법
JP2011139452A (ja) 時系列データにおけるイベントを検出するための方法及びシステム
KR102243576B1 (ko) 증강현실 기반 관람 가이드 서비스 방법
US11120682B2 (en) System and method for operating physical entities based on a virtual representation of the physical entities
CN114434458B (zh) 集群机器人与虚拟环境的互动方法及其系统
CN115731349A (zh) 户型图的展示方法、装置、电子设备及存储介质
WO2020244577A1 (zh) 一种基于位置的交互方法和交互系统
US11151797B2 (en) Superimposing a virtual representation of a sensor and its detection zone over an image
KR102516100B1 (ko) 이미지 분석을 통해 작물의 병해를 진단하는 병해진단 모니터링 장치 및 그 동작방법
US20170031586A1 (en) Terminal device, system, method of information presentation, and program
US11804006B2 (en) Enhanced vision system and method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant