KR102239906B1 - 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템 - Google Patents

Abstract

본 발명은 증강 현실(Augmented Reality) 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템에 관한 것이다. 보다 구체적으로는, 상기 제1 장비에 대응되는 제1 태그가 상기 사용자 단말에 의해 식별되는 경우 미리 설계된 상기 제1 장비의 3D 모델링을 나타내는 증강 현실 이미지를 렌더링하는 단계, 상기 제1 장비와 관련된 적어도 하나 이상의 실시간 데이터를 상기 제1 장비의 증강 현실 이미지와 함께 표시하는 단계, 및 상기 적어도 하나의 실시간 데이터를 상기 미리 설계된 상기 제1 장비의 3D 모델링에 반영함에 따라 상기 증강 현실 이미지의 동작의 패턴과 동작의 타이밍을 상기 제1 장비의 실제 동작의 패턴과 동작의 타이밍에 동기화시키되 상기 스마트 팜 내부에서 측정된 상기 스마트 팜의 내부의 환경 정보를 함께 이용하여 동기화시키는 단계를 포함할 수 있다.

Description

증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템{SYSTEM, METHOD AND APPARATUS FOR SMART MANAGEMENT BASED ON AUGMENTED REALITY}

본 발명은 증강 현실(Augmented Reality) 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템에 관한 것이다. 보다 구체적으로는, 스마트 팜에 설치된 장비의 상태를 직관적으로 표시하는 증강 현실 이미지를 렌더링하고, 스마트 팜에 설치된 장비를 관리할 수 있는 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템에 관한 것이다.

종래에 스마트 팜을 관리하는 방법은 개발 초기단계에 있으며, 실질적으로는 스마트 팜을 운영함에 있어서 유용한 기술은 아직 개발되지 않은 실정이다. 즉, 종래의 농수산업 장비를 관리하는 시스템은 원격으로 떨어진 장소에 위치한 사용자 단말로 장비가 동작하는 영상을 실시간으로 전송하거나, 장비의 현재 상태를 가리키는 데이터를 제공하거나, 사용자 단말로부터 장비의 조작신호를 입력 받아 장비를 원격으로 조작하는 정도에 그쳤다.

이러한 종래의 농수산업 장비를 관리하는 시스템은 사용자가 사용자 단말을 통해 장비의 영상을 시청하더라도 장비의 내부 부품의 고장, 또는 소프트웨어의 고장 등 세부적인 상태를 확인할 수 없었고, 장비에 관련된 데이터를 수신한다고 하더라도 데이터를 직접 눈으로 확인하여 데이터를 분석하고 현재 장비가 정상인지 비정상인지 판단하는 추가 과정이 필요하였다. 예를 들어, 측정 센서들의 수명관리 데이터 및 캘리브레이션(calibration)과 같은 세부적인 정보 같은 경우 농장을 운영하는 사용자가 데이터 분석 과정을 수행할 수 없는 난이도가 높은 작업이기 때문에 실질적으로 사용자에게는 무용지물의 데이터로 취급되는 실정이었다. 이에 따라 사용자는 사용자 단말을 통해 직관적으로 장비의 정상 작동 여부를 직관적으로 파악할 수 없었고, 근무 환경상 시간과 공간의 제약이 한정된 농수산업 장비를 관리하는 사용자들은 종래의 농수산업 장비를 관리하는 시스템을 제대로 활용할 수 없었다.

특히, 농, 림, 축, 수산물이 생산, 가공, 또는 유통되는 단계에서는 해당 상품의 관리 조절이 섬세하게 이루어져야 하는데, 현재는 이러한 관리 조절을 위해서 농장, 온실, 축사, 양식장 등에 다수의 인력들이 투입되어 해당 장소의 환경이 최적화되도록 실시간으로 관리하고 있는 상황이다. 이러한 종래의 관리 방법은 인력 투입으로 인한 시간과 비용의 지출이 과다하였으며, 최적의 환경을 구현하는 데에도 어려움을 겪었다.

이에, 전문가가 아닌 농수산업에 종사하는 일반 사용자라고 하더라도 농장, 온실, 축사, 양식장 등의 장비를 손쉽게 관리하고, 외부 전문가로부터 전문적인 기술을 용이하게 제공받을 수 있는 기술이 필요한 실정이다.

대한민국 등록특허공보 10-2089005 B1

본 발명이 해결하고자 하는 기술적 과제는, 스마트 팜에 설치된 장비의 데이터를 이용하여 장비의 상태를 직관적으로 표현할 수 있는 증강 현실 이미지를 렌더링할 수 있는 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 스마트 팜에 설치된 장비의 증강 현실 이미지와 장비에 관련된 다양한 정보들을 한번에 표시할 수 있는 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 증강현실 이미지와 함께 스마트 팜에 설치된 장비를 관리 또는 수리할 수 있는 정보를 동시에 렌더링할 수 있는 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 사용자 단말에 의해 스마트 팜이 촬영되는 단계, 및 상기 사용자 단말에 의해 상기 스마트 팜에 설치된 제1 장비가 촬영되고, 상기 제1 장비에 대응되는 제1 태그가 상기 사용자 단말에 의해 식별되는 경우 미리 설계된 상기 제1 장비의 3D 모델링을 나타내는 증강 현실 이미지를 렌더링하는 단계, 상기 제1 장비와 관련된 적어도 하나 이상의 실시간 데이터를 상기 제1 장비의 증강 현실 이미지와 함께 표시하는 단계, 및 상기 적어도 하나의 실시간 데이터를 상기 미리 설계된 상기 제1 장비의 3D 모델링에 반영함에 따라 상기 증강 현실 이미지의 동작의 패턴과 동작의 타이밍을 상기 제1 장비의 실제 동작의 패턴과 동작의 타이밍에 동기화시키되, 상기 스마트 팜 내부에서 측정된 상기 스마트 팜의 내부의 환경 정보를 함께 이용하여 동기화시키는 단계를 포함하고, 상기 실시간 데이터는, 상기 제1 장비에 의해 관리되는 제1 객체와 관련된 데이터 및 상기 제1 장비의 고장 데이터를 포함하되, 상기 제1 객체와 관련된 데이터는 상기 제1 객체를 감지하는 제1 센서에 의해 획득된 데이터이고, 상기 제1 장비의 고장 데이터는 제2 센서에 의해 획득된 상기 제1 장비의 동작 상태에 관한 데이터이며, 상기 제1 장비의 증강 현실 이미지는, 상기 증강 현실 이미지를 통해서 상기 제1 장비의 현재 상태를 표시하는 인디케이터의 기능을 수행하되, 상기 인디케이터는 상기 적어도 하나의 실시간 데이터가 기준 규칙에 매칭되는지 여부에 의해 상기 제1 장비의 증강 현실 이미지를 하일라이팅하는 것이고, 상기 기준 규칙은, 상기 제2 센서에 의해 측정된 데이터가 상기 실시간 데이터 항목마다 기 설정되어 있는 정상 범위 데이터를 벗어난 경우, 상기 제1 장비의 증강 현실 이미지를 하일라이팅 하는 규칙인 것일 수 있다.

일 실시예에서, 상기 제1 장비와 관련된 적어도 하나 이상의 실시간 데이터를 상기 제1 장비의 증강 현실 이미지와 함께 표시하는 단계는, 상기 제1 장비의 증강 현실 이미지를 상기 제1 장비의 부품으로 분해하되, 각 부품을 이격하여 표시하는 단계를 포함하는 단계, 및 상기 분해된 부품 중에서 상기 기준 규칙에 위반된 부품을 하일라이팅하는 단계를 포함하고, 상기 적어도 하나의 실시간 데이터를 상기 미리 설계된 상기 제1 장비의 3D 모델링에 반영함에 따라 상기 증강 현실 이미지의 동작의 패턴과 동작의 타이밍을 상기 제1 장비의 실제 동작의 패턴과 동작의 타이밍에 동기화시키되, 상기 스마트 팜 내부에서 측정된 상기 스마트 팜의 내부의 환경 정보를 함께 이용하여 동기화시키는 단계는, 적어도 하나의 실시간 데이터를 이용하여 상기 기준 규칙에 위반된 부품의 동작의 패턴과 동작의 타이밍을 분석하는 단계, 및 상기 기준 규칙에 위반된 부품의 동작의 패턴과 동작의 타이밍을 상기 제1 장비의 상기 증강 현실 이미지에 렌더링하는 단계를 포함할 수 있다.

일 실시예에서, 상기 하일라이팅된 제1 장비의 증강 현실 이미지와 연관된 A/S 버튼을 표시하는 단계, 및 상기 A/S 버튼이 입력되는 경우, 상기 제1 장비를 유지보수하는 수리 서버로 유지보수를 요청하는 단계를 더 포함하되, 상기 수리 서버로 유지보수를 요청하는 단계는, 상기 제1 장비가 상기 기준 규칙에 위반된 레벨에 따라 제1 레벨의 경우 상기 하일라이팅된 부품을 자가 수리하기 위한 원격 지원 인디케이터를 상기 수리 서버로부터 수신하는 단계, 상기 제1 장비의 실시간 영상 위에 상기 원격 지원 인디케이터를 표시하는 단계, 상기 원격 지원 인디케이터와 상기 제1 장비의 실시간 영상에 표시되는 동작을 비교하는 단계, 상기 원격 지원 인디케이터에 따라 상기 제1 장비가 실제 움직인 것으로 판단되면, 상기 수리 서버로 동작 완료 정보를 전송하는 단계, 및 상기 동작 완료 정보에 응답하여 상기 수리 서버로부터 제2 원격 지원 인디케이터를 수신하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템은 스마트 팜에 설치된 장비의 데이터를 이용하여 장비의 상태를 증강 현실 이미지로 렌더링하기 때문에 직관적으로 장비의 상태를 파악할 수 있는 정보를 제공할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템은 실시간 데이터를 이용하여 장비의 증강 현실 이미지를 실제 장비의 동작에 동기화시킴에 따라 보다 자연스럽고 현실감 있는 증강 현실을 제공할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템은 장비의 어떤 부품이 현재 어떻게 동작하는지 실제 동작과 동일하게 표시하기 때문에 스마트 팜 관리 시스템을 사용하는 사용자에 유지, 관리 및 보수에 대한 직관적인 정보를 제공할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법, 장치 및 시스템은 사용자가 스스로 수리할 수 있는 정도에 불과한 장비의 고장인 경우, 먼 곳에 위치한 전문가를 호출하지 않아도 장비에 표시되는 원격 지원 인디케이터를 보고, 사용자 스스로 장비를 수리하도록 보조 수 있다

도 1은 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 시스템의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법의 순서도이다.
도 3 내지 도 6은 제1 장비의 증강 현실 이미지와 제1 장비와 관련된 적어도 하나 이상의 실시간 데이터를 사용자 단말에 표시하는 예시를 설명하기 위한 도면이다.
도 7은 도 2를 참조하여 설명된 일부 단계를 보다 상세하게 설명하기 위한 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법의 순서도이다.
도 9는 본 발명의 또 다른 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 장치의 하드웨어 구성도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명의 기술적 사상을 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 시스템의 예시도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 시스템은 스마트 팜 관리 장치(100) 및 사용자 단말(200)을 포함할 수 있다. 도 1에 개시된 스마트 팜 관리 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 어느 하나 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현될 수 있다. 이하, 각각의 구성 요소에 대하여 구체적으로 설명하도록 한다.

스마트 팜 관리 장치(100)는 스마트 팜(A)에 설치된 장비(1-1 내지 1-8)를 모니터링하고, 장비(1-1 내지 1-8)의 동작과 상태를 관리하는 장치일 수 있다. 본 명세서 내에서 스마트 팜(A)은 농업, 어업, 축산업 또는 삼립업 등에 관련된 관리가 이뤄지는 장소일 수 있으며 이에 한정되는 것은 아니다. 일 실시예에서, 스마트 팜(A)은 식물 또는 곡물이 길러지는 온실 또는 비닐하우스일 수 있다. 장비(1-1 내지 1-8)는 스마트 팜(A)에 설치된 산소 측정 장치, 공기 오염도 측정 장치, 습도 측정 장치, 전력장치, 배전반, 보일러, 보일러 배관, 배수시설, 등의 설비일 수 있으며, 장비(1-1 내지 1-8)의 종류는 이에 한정되는 것은 아니고, 상기 농업, 어업, 축산업 또는 삼림업 등에 설치될 수 있는 다양한 설비에 적용될 수 있다. 또한, 상기 장비(1-1 내지 1-8)의 개수가 한정되는 것은 아니다.

스마트 팜 관리 장치(100)는 스마트 팜(A)에 설치된 장비(1-1 내지 1-8) 자체에 대한 실시간 데이터 또는 스마트 팜(A)의 주변 환경에 대한 실시간 데이터를 생성할 수 있다. 스마트 팜 관리 장치(100)는 스마트 팜(A)에 설치된 각종 센서를 통해 실시간 데이터를 수집할 수 있다. 일 예로, 스마트 팜 관리 장치(100)는 카메라, 온도 센서, 습도 센서, 자이로 센서, 수질 센서를 이용하여 실시간 데이터를 수집할 수 있다. 스마트 팜 관리 장치(100)는 스마트 팜(A)에서 감지된 각종 실시간 정보를 사용자 단말(200)로 전송할 수 있다. 일 실시예에서, 스마트 팜 관리 장치(100)는 온실의 실시간 데이터를 생성하여 사용자 단말(200)로 전송할 수 있다.

본 발명의 몇몇 실시예에서 참조될 수 있는 사용자 단말(200)은 네트워크를 통하여 스마트 팜 관리 장치(100)와 정보를 송수신하고, 증강 현실 이미지를 출력할 수 있는 장치라면 어떠한 장치라도 허용될 수 있다. 예를 들어, 본 발명의 일 실시예에서 참조될 수 있는 사용자 단말(200)은 데스크탑(Desktop), 워크스테이션(Workstation), 서버(Server), 랩탑(Laptop), 태블릿(Tablet), 스마트폰(Smart Phone) 또는 패블릿(Phablet) 중 어느 하나가 될 수 있으나, 이에 한정되지 않고, 휴대용 멀티미디어 플레이어(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 등과 같은 형태의 장치로 이루어질 수도 있다.

사용자 단말(200)은 스마트 팜(A)을 촬영하고 증강 현실 이미지를 디스플레이할 수 있다. 구체적으로, 사용자 단말(200)은 스마트 팜(A)을 디스플레이 함과 동시에 스마트 팜 관리 장치(100)로부터 수신한 각종 정보들을 이용하여 장비(1-1 내지 1-8)에 스마트 팜(A)에 설치된 장비(1-1 내지 1-8)에 대한 증강 현실 이미지를 렌더링할 수 있다. 이때, 사용자 단말(200)은 장비(1-1 내지 1-8)의 상태에 따라 상태 별로 다른 색상의 증강 현실 이미지를 디스플레이할 수 있다. 예를 들어, 사용자 단말(200)은 장비(1-1 내지 1-8)가 정상인 경우 초록색의 증강 현실 이미지를 디스플레이하고, 장비(1-1 내지 1-8)가 고장난 경우 빨간색의 증강 현실 이미지를 디스플레이할 수 있다.

여기서 증강 현실 이미지는 미리 설계된 장비(1-1 내지 1-8)의 3D 모델링을 이용하여 생성된 이미지일 수 있다. 증강 현실 이미지는 스마트 팜 관리 장치(100)에 의해 생성된 후 사용자 단말(200)로 송신된 이미지이거나, 사용자 단말(200)이 미리 설계된 장비(1-1 내지 1-8)의 3D 모델링을 이용하여 생성한 이미지일 수 있으나, 증강 현실 이미지를 생성 또는 렌더링하는 주체를 한정하는 것은 아님을 유의해야 한다.

사용자 단말(200)은 스마트 팜(A)에 설치된 장비(1-1 내지 1-8)에 대응되는 태그를 식별할 수 있다. 보다 구체적으로, 사용자 단말(200)은 카메라를 이용하여 스마트 팜(A)을 촬영할 수 있고, 스마트 팜(A)에 설치된 장비(1-1 내지 1-8)에 대응되는 태그를 식별하면, 해당 장비(1-1 내지 1-8)의 증강 현실 이미지가 렌더링되어 디스플레이에 표시될 수 있다.

사용자 단말(200)은 미리 설계된 3D 모델링을 이용하여 증강 현실 이미지를 렌더링하는데, 보다 현실적인 증강 현실 이미지를 디스플레이하기 위해 스마트 팜 관리 장치(100)로부터 수신한 각종 실시간 데이터를 미리 설계된 상기 제1 장비(1-1 내지 1-8)의 3D 모델링에 반영할 수 있다. 사용자 단말(200)은 증강 현실 이미지를 보다 실제와 동일한 동작으로 표현하기 위하여 증강 현실 이미지의 동작의 패턴과 동작의 타이밍을 제1 장비(1-1 내지 1-8)의 실제 동작의 패턴과 동작의 타이밍에 동기화 시킬 수 있다.

사용자 단말(200)은 제1 장비(1-1 내지 1-8)의 증강 현실 이미지를 디스플레이하면서 동시에 실시간 데이터를 함께 디스플레이할 수 있다. 예를 들어, 사용자 단말(200)은 온실 내부에 설치된 장비를 증강 현실 이미지로 디스플레이하면서 동시에 온실 내부에서 상기 장비에 의해 측정된 실시간 데이터 수치를 디스플레이할 수 있다.

또한, 사용자 단말(200)은 장비(1-1 내지 1-8)의 유지, 관리 또는 보수에 대한 UI 버튼을 표시하고, 사용자로부터 UI 버튼의 입력을 받을 수 있다. 사용자 단말(200)은 유지, 관리 및 보수에 대한 UI가 입력되면, 장비(1-1 내지 1-8)를 수리하는 수리 서버와 음성 또는 화상 통화가 연결될 수 있다. 또한, 사용자 단말(200)은 수리 서버로부터 장비(1-1 내지 1-8)를 조작할 수 있는 가이드를 제공받을 수 있다.

본 발명의 일 실시예에 따른 증강 현실 기술을 이용한의 스마트 팜 관리 시스템은 스마트 팜(A)에 설치된 장비(1-1 내지 1-8)의 데이터를 이용하여 장비(1-1 내지 1-8)의 상태를 증강 현실 이미지로 렌더링하기 때문에 직관적으로 장비(1-1 내지 1-8)의 상태를 파악할 수 있는 정보를 제공할 수 있다.

지금까지 도 1을 참조하여 본 발명의 일 실시예에 따른 스마트 팜 관리 시스템을 개략적으로 설명하였다. 이하, 도 2 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 스마트 팜 관리 방법을 구체적으로 설명하기로 한다.

본 실시예에 따른 스마트 팜 관리 방법은 컴퓨팅 장치에 의하여 수행될 수 있다. 또한, 본 실시예에 따른 방법은 제1 컴퓨팅 장치와 제2 컴퓨팅 장치에 의하여 나뉘어 수행될 수 있다. 이하, 본 실시예에 따른 방법의 각 동작을 수행함에 있어서, 그 주체의 기재가 생략되면, 그 주체는 상기 컴퓨팅 장치인 것으로 해석될 수 있을 것이다.

도 2의 단계 S100에서 사용자 단말에 의해 스마트 팜이 촬영될 수 있다. 이때, 사용자 단말의 스마트 팜 관리 어플리케이션 또는 스마트 팜 관리 웹을 통해 이용하여 스마트 팜이 촬영될 수 있다. 이후, 단계 S200에서 사용자 단말에 의해 제1 장비에 대응되는 제1 태그가 식별되는 경우, 단계 S300에서 제1 장비의 증강 현실 이미지가 렌더링될 수 있다. 이때, 제1 태그는 제1 장비에 해당하는 태그로서 QR코드로 이루어질 수 있다. 단계 S200에서 제1 태그가 식별되지 않는 경우 스마트 팜을 촬영하는 영상만 디스플레이될 수 있다. 제1 태그는 제1 장비에 부착되거나 제1 장비에 인접한 위치에 부착될 수 있다. 다른 실시예에서 제1 태그와 같은 태깅을 이용하여 제1 장비를 식별하지 않고, 이미지 프로세싱을 이용하여 촬영되는 객체의 외곽선을 획득한 뒤, 상기 외곽선이 미리 설계된 3D 모델링에 대응되는 경우 해당되는 장비의 증강 현실 이미지가 생성될 수도 있다.

일 실시예에서, 상기 증강 현실 이미지는 상기 제1 장비의 현재 상태를 표시하는 인디케이터의 기능을 수행할 수 있다. 여기서 인디케이터는 제1 장비의 증강 현실 이미지를 하일라이팅하는 기능일 수 있다. 인티케이터는 적어도 하나의 실시간 데이터가 기준 규칙에 매칭되는지 여부에 의해 증강 현실 이미지를 하일라이팅할 수 있다.

이때, 기준 규칙은 센서에 의해 측정된 데이터가 실시간 데이터 항목마다 설정되어 있는 정상 범위 데이터를 벗어난 경우, 인디케이터를 하일라이팅하는 규칙일 수 있다. 일 실시예에서, 인디케이터는 제1 장비의 고장을 표시하는 수단일 수 있다. 예를 들어, 인디케이터는 제1 장비에 의해 관리되는 제1 객체와 관련된 데이터가 정상 범위 데이터를 벗어나거나, 제1 장비의 고장 데이터가 정상 범위 데이터를 벗어나는 경우 증강 현실 이미지를 하일라이팅할 수 있다. 이때, 각종 센서에 의해 감지된 실시간 데이터가 렌더링된 증강 현실 이미지에 동적으로 반영될 수 있다. 여기서, 고장 데이터는 제1 장비의 고장 여부를 판단할 수 있는 기준이 되는 데이터를 의미한다.

여기서 상기 제1 객체와 관련된 데이터는 상기 제1 객체를 감지하는 제1 센서에 의해 획득된 데이터이고, 제1 장비의 고장 데이터는 제2 센서에 의해 획득된 상기 제1 장비의 동작 상태에 관한 데이터일 수 있다.

단계 S500에서, 증강 현실 이미지의 동작의 패턴과 동작의 타이밍이 제1 장비의 실제 동작의 패턴과 동작의 타이밍에 동기화될 수 있다. 예를 들어, 제1 장비가 온실 내에 설치된 양수기 펌프인 경우로 가정하면, 증강 현실 이미지는 미리 설계된 양수기 펌프의 3D 모델링에 따라 양수기 펌프의 증강 현실 이미지로 렌더링될 수 있다. 이후 양수기 펌프의 증강 현실 이미지는 미리 설계된 동작에 따라 움직일 수 있다. 예를 들어, 본 단계에서 증강 현실 이미지는 실제 양수기 펌프가 동작하는 속도, 각종 부품이 움직이는 각도, 양수기 펌프에서 배출되는 물의 양에 따른 3D 모델링이 반영될 수 있다. 상기 실시간 데이터에 따라 양수기 펌프의 동작의 패턴과 동작의 타이밍이 결정되고, 양수기 펌프의 증강 현실 이미지의 동작의 패턴과 동작의 타이밍이 양수기 펌프의 실제 동작의 패턴과 동작의 타이밍으로 동기화될 수 있다.

이때, 증강 현실 이미지는 스마트 팜 내부에서 측정된 상기 스마트 팜의 내부의 환경 정보를 함께 이용하여 동기화될 수 있다. 예를 들어 스마트 팜이 온실인 경우 온실 내부의 온도, 습도, 기압을 이용하여 장치의 움직임이 실제 온실의 환경에 있는 것처럼 렌더링하여 보다 현실적으로 움직이는 증강 현실 이미지를 제공할 수 있다.

본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 시스템은 실시간 데이터와 스마트 팜 내부의 환경 정보를 이용하여 장비의 증강 현실 이미지를 실제 장비의 동작에 동기화시킴에 따라 보다 자연스럽고 현실감 있는 증강 현실을 제공할 수 있다. 또한, 본 발명에 따른 증강 현실 기술을 이용한 스마트 팜 관리 시스템은 장비의 어떤 부품이 현재 어떻게 동작하는지 실제 동작과 동일하게 표시하기 때문에 스마트 팜 관리 시스템을 사용하는 사용자에 유지, 관리 및 보수에 대한 직관적인 정보를 제공할 수 있다.

본 실시예에 따르면, 증강 현실 기술을 이용한 스마트 팜 관리 방법은 실시간 영상 및 실시간 데이터가 사용자에게 표시됨과 더불어 제1 장비에 관한 증강 현실 이미지가 함께 표시되고, 증강 현실 이미지가 하일라이팅되어 인디케이터 기능을 수행함으로써, 제1 장비의 고장 여부, 또는 스마트 팜의 상태를 직관적으로 용이하게 인식할 수 있는 정보를 제공할 수 있다. 예를 들어, 사용자는 증강 현실 이미지만을 보고 문제되는 장비를 직관적으로 인식할 수 있다.

도 3은 사용자 단말의 어플리케이션 상에서 장비(1)를 촬영하여 증강 현실 이미지(20)를 디스플레이하는 실시간 영상(10)을 나타내는 도면이고, 도 4 및 도 5는 사용자 단말(200)의 화면에서 디스플레이 되는 버튼을 설명하기 위한 도면이다.

도 3의 (a)와 같이 사용자 단말(200)이 스마트 팜 관리 어플리케이션을 통해 장비(1)를 촬영하면 도 3의 (b)와 같이 장비(1)의 증강 현실 이미지를 실제 장비(1)의 위치와 방향에 오버레이 시켜 디스플레이할 수 있다. 구체적으로, 제1 장비의 증강 현실 이미지(20)는 실시간 영상(10)에 오버레이되어 표시될 수 있다. 또한, 제1 장비의 증강 현실 이미지(20)는 실시간 영상에서 제1 장비가 위치한 영역에서 제1 장비의 형상과 동일한 크기와 방향으로 오버레이되어 표시될 수도 있다.

이와 함께, 도 4와 같이 사용자 단말(200)은 해당 장비(1)에 대한 '수치측정', '기기설명' 'A/S 영상'의 메뉴를 함께 디스플레이할 수 있다.

도 4는 제1 장비의 증강 현실 이미지와 제1 장비와 관련된 적어도 하나 이상의 실시간 데이터를 사용자 단말에 표시하는 예시를 설명하기 위한 도면이다.

도 4를 참조하면, 사용자 단말(200)에 '수치측정' 버튼이 선택되면 실시간 영상(10)에 제1 장비(1)의 증강 현실 이미지(20)와 실시간 데이터(30 및 40)이 함께 표시될 수 있다. 도 4에서 제1 장비(1)는 산소, 적외선 및 수분을 측정하는 측정 장치일 수 있다.

제1 장비(1)가 측정 장치라면, 제1 장비(1)에 의해 관리되는 제1 객체에 관련된 데이터(30 및 40)는, 여과기에 의해서 여과된 수조의 물에 관련된 데이터를 의미할 수 있다. 구체적으로, 제1 객체에 관련된 데이터(30 및 40)는 도 4의 (a)에서 적외선 수치(us/cm)(30)와 도 4의 (b)에서 수분(%)에 관한 데이터(40)로 표시될 수 있다.

또한, 사용자 단말(200)에 디스플레이되는 실시간 영상(10)에 칼륨, ph산소등에 대한 데이터도 디스플레이될 수 있으며, 상술한 제1 장비와 관련된 데이터는 이러한 실시예에 한정되지 않는다.

도 5의 (a)와 (b)에 표시된'기기설명' 버튼은 스마트 팜에 설치된 장비들의 사용방법 및 매뉴얼을 증강 현실 이미지와 참조 영상을 이용하여 설명하는 버튼이다. 도 5의 (c)와 같이 A/S 버튼은 제1 장비의 고장 부위와 연관된 A/S가 수행되는 버튼일 수 있다. A/S 버튼이 입력되는 경우, 해당 장비를 수리하거나 부품을 교체하는 방법에 관한 영상이 표시되며, 해당 장비를 수리할 수 있는 방법을 증강 현실 이미지가 함께 표시될 수 있다.

일 실시예에서 A/S 버튼이 입력되는 경우, 고장 데이터의 정도에 따라 대응 신호가 출력될 수 있다. 여기서, 대응 신호는, 고장 데이터의 정도에 따라 구분되는 것일 수 있다.도 6을 참조하면, 스마트 팜에 관련된 모든 실시간 데이터가 사용자 단말(200)에 한번에 표시될 수도 있다. 예를 들어 사용자 단말(200)에는 온실의 온도(60), 온실의 습도(70) 및 온실의 EC 수치(80)가 동시에 표시될 수 있다. 본 실시예에 따르면, 사용자는 스마트 팜에 관한 모든 실시간 데이터를 하나의 화면에서 모니터링할 수 있다.

일 실시예에서, 실시간 데이터 항목마다 미리 설정된 정상 범위 데이터와 관련하여, 실시간 데이터 항목의 범주가 설정되어 표시될 수도 있다. 일 실시예에서 실시간 데이터 항목을 그래프로 표시하는 방법은, 실시간 데이터 항목과 관련된 미리 설정된 정상 범위 데이터를 벗어나는 경우, 벗어난 정도를 색으로 표시할 수 있다. 또한, 정상 표준 데이터를 100%로 두고, 센서에 의해 측정되는 실시간 데이터 항목의 데이터를 퍼센트로 표시할 수도 있다.

일 실시예에서, 우선 순위가 높은 실시간 데이터 항목이 제1 구역에 표시되는 것으로 결정되되, 우선 순위는 센서에 의해 측정된 데이터가 실시간 데이터 항목마다 기 설정되어 있는 정상 범위 데이터를 벗어난 정도가 클수록 우선 순위가 높게 결정되는 것일 수 있다. 즉, 제1 장비가 고장 장비이거나 제1 장비에 의해 관리되는 객체가 불량인 경우, 관련 데이터를 사용자가 인식하기 용이한 제1 구역에 표시함으로써, 사용자가 장비의 고장 또는 객체의 불량 여부를 직관적으로 인식할 수 있다. 본 실시예에 따르면, 정상 범위 데이터를 벗어난 정도가 큰 실시간 데이터 항목을 가장 우선순위로 결정함으로써, 문제된 실시간 데이터를 사용자가 인식할 수 있고, 사용자가 대응되는 조치를 신속하게 할 수 있다.

도 7은 도 2를 참조하여 설명된 일부 단계를 보다 상세하게 설명하기 위한 순서도이다.

도 7을 참조하면, 단계 S400에서 단계 S410과 단계 S420이 수행되고, 단계 S500에서 단계 S510과 단계 S520이 수행될 수 있다.

구체적으로서, 단계 S400에서 실시간 데이터가 제1 장비의 증강 현실 이미지와 함께 표시될 때, 단계 S410에서 제1 장비의 증강 현실 이미지를 상기 제1 장비의 부품으로 분해하여 각 부품이 이격되어 디스플레이될 수 있다. 단계 S420에서 분해된 부품 중에서 실시간 데이터를 통해 기준 규칙에 위반된 부품이 판단되고, 기준 규칙에 위반된 부품이 하일라이팅 표시될 수 있다. 증강 현실 이미지의 일부 고장 부품에 하일라이팅 표시될 수 있다. 제1 장비의 고장 부위에 인디케이터가 붉게 하일라이팅되어 표시될 수 있다. 즉, 증강 현실 이미지의 일부 영역이 인디케이터로서 기능을 수행할 수 있다. 여기서, 고장 부위는 제1 장비에 설치된 제2 센서에서 획득된 고장 데이터를 이용해 판단할 수 있다. 여기서, 고장 데이터가 기 설정된 정상 범위를 벗어나는 경우 고장이 발생한 것으로 판단될 수 있다.

단계 S500에서 증강 현실 이미지의 동작의 패턴과 동작의 타이밍이 상기 제1 장비의 실제 동작의 패턴과 동작의 타이밍에 동기화될 수 있는데, 단계 S510에서 적어도 하나의 실시간 데이터를 이용하여 상기 기준 규칙에 위반된 부품의 동작의 패턴과 동작의 타이밍을 분석될 수 있다. 이후 단계 S520에서 기준 규칙에 위반된 부품의 동작의 패턴과 동작의 타이밍이 제1 장비의 증강 현실 이미지에 렌더링될 수 있다.

본 실시예에 따르면, 증강 현실 기술을 이용한 스마트 팜 관리 방법은 고장난 부품을 분해한 상태로 구조를 표시할 수 있고, 고장난 부품이 어떠한 방식으로 동작하고 있는지 표시할 수 있다. 이에 따라, 사용자는 렌더링된 증강 현실 이미지만을 보고도 어떠한 부품이 어떻게 고장났는지 직관적으로 용이하게 파악할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법의 순서도이다.

도 8을 참조하면, 본 발명의 다른 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법은 상술한 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법에 추가로 수행되는 단계 S600 및 S700의 동작을 포함할 수 있다. 이에, 중복되는 단계는 설명을 생략하고 상이한 동작 위주로 설명하도록 한다.

제1 장비의 고장 부위와 연관된 A/S가 수행되는 A/S 버튼이 입력되면, 제1 장비를 유지보수하는 수리 서버로 유지보수가 요청될 수 있다.

구체적으로, 단계 S600에서 하일라이팅된 제1 장비의 증강 현실 이미지와 연관된 A/S 버튼이 표시되고, 단계 S700에서 제1 장비를 유지보수하는 수리 서버로 유지보수가 요청될 수 있다.

이후 단계 S710에서 하일라이팅된 부품을 자가 수리하기 위한 제1 원격 지원 인디케이터가 수리 서버로부터 수신될 수 있다. 이때, 제1 장비가 기준 규칙에 위반된 레벨에 따라 고장의 단계가 제1 레벨 및 제2 레벨로 분류될 수 있는데, 제1 레벨은 부품의 교체 없이 자가 수리가 가능한 경우로 결정되는 단계이고, 제2 레벨은 부품의 교체가 필요한 경우로 결정되는 단계일 수 있다. 제1 장비가 기준 규칙에 위반된 레벨에 따라 고장의 단계가 제1 레벨인 경우 수리 서버로부터 제1 원격 지원 인디케이터가 수신될 수 있다.

단계 S720에서 제1 장비의 실시간 영상 위에 제1 제1 원격 지원 인디케이터가 표시될 수 있다. 제1 원격 지원 인디케이터는 도 10과 같이 버튼의 위치를 알려주는 색상이 포함된 도형으로 이루어질 수 있다.

원격 지원 인디케이터는 단계 S730 내지 단계 S750이 수행되면서 장비의 부품을 분리, 탈착, 또는 수리할 수 있는 동작을 가이드할 수 있다.

단계 S730에서 제1 제1 원격 지원 인디케이터와 제1 장비의 실시간 영상에 표시되는 동작이 비교될 수 있다. 이후, 단계 S740에서 제1 원격 지원 인디케이터에 따라 제1 장비가 실제 움직인 것으로 판단되면, 동작 완료 정보가 수리 서버로 전송될 수 있다. 단계 S750에서 동작 완료 정보에 응답하여 수리 서버로부터 제2 원격 지원 인디케이터가 수신될 수 있다.

구체적인 예를 들면, 양식장의 여과기의 특정 부품을 수리하기 위해 전원을 OFF하는 제1 단계 및 전원을 ON하는 제2 단계를 포함하는 경우, 여과기의 증강 현실 이미지의 전원을 OFF하는 버튼 상에 제1 원격 지원 인디케이터가 표시될 수 있다. 사용자가 제1 원격 지원 인디케이터가 지시하는 전원을 OFF하는 버튼을 입력한 것으로 결정됨에 따라, 이어지는 제2 단계에 대응되는 여과기의 증강 현실 이미지 중 전원을 ON하는 버튼에 제2 원격 지원 인디케이터가 표시될 수 있다.

본 발명의 일 실시예에 따른 증강 현실 기술을 이용한의 스마트 팜 관리 방법은 상기 단계 S730 내지 S750을 반복적으로 수행하면서 사용자가 원격 지원 인디케이터를 따라 장비를 조작하도록 가이드할 수 있고, 고난이도의 수리 행위인 경우에도 아무런 지식이 없는 사용자가 장비를 용이하게 유지, 보수 및 수리할 수 있는 정보를 제공할 수 있다.

다른 실시예에서, 제1 장비가 기준 규칙에 위반된 레벨에 따라 고장의 단계가 제2 레벨인 경우 제1 장비와 관련된 부품이 자동으로 주문되는 정보가 수리 서버로 전송될 수도 있다.

본 발명의 일 실시예에 따른 증강 현실 기술을 이용한의 스마트 팜 관리 방법은 사용자가 스스로 수리할 수 있는 정도에 불과한 장비의 고장인 경우, 먼 곳에 위치한 전문가를 호출하지 않아도 장비에 표시되는 원격 지원 인디케이터를 보고, 사용자 스스로 장비를 수리하도록 보조 수 있다. 나아가, 소모품의 교체가 요구되는 고장인 경우, 자동적으로 소모품의 주문이 이루어져 사용자의 편의성이 더욱 증대될 수 있다.

본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법은, 스마트 팜의 실시간 영상을 표시하고, 표시되는 영상에 존재하는 장비에 대한 증강 현실 이미지를 표시하고, 장비에 의해 관리되는 객체 및 장비 자체의 실시간 데이터를 함께 표시함으로써, 사용자는 스마트 팜과 관련된 종합적인 정보를 직관적으로 인식할 수 있다.

또한, 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법은, 스마트 팜에 존재하는 장비의 고장이 발생한 경우 동적으로 고장 부위 및 정도에 따라 대응하는 신호를 출력함으로써, 스마트 팜에 발생될 수 있는 장비의 고장 문제를 신속하게 처리할 수 있다. 스마트 팜을 제어하는 사용자의 편의성이 증대될 수 있다.

본 발명의 또 다른 실시예에 따른 증강 현실 기술을 이용한의 스마트 팜 관리 방법은 소모 전류를 이용하여 고장인 장비의 개수를 판별할 수 있다.

스마트 팜 관리 장치는 장비의 열화 상태 정보가 미리 정의된 판별 조건에 해당하는 동일한 종류의 장비를 분류하고, 동일한 종류의 장비의 정격전류를 획득할 수 있다. 스마트 팜 관리 장치는 각각의 장비의 정보로부터 장비로 공급되는 전류를 획득하고, 장비 하나의 소모 전류를 획득할 수 있다.

스마트 팜 관리 장치는 동일한 종류의 장비의 총 정격전류와 실제 장비로 공급되는 전류의 차를 장비 하나의 소모 전류로 나눈 값을 고장인 장비의 개수로 판별할 수 있다.

미리 정의된 판별 조건은 동일한 종류의 장비 구동 시 장비로 공급되는 전력에 따른 전류의 변화 추이가, 과거에 동일한 종류의 장비에서 고장 또는 성능 저하가 실제로 발생한 장비로 공급된 전력에 따른 전류 변화 추이 중 어느 하나와 미리 정의된 오차 범위 내로 유사한 경우, 열화 상태에 따른 이상이 있다고 판별하는 조건일 수 있다.

스마트 팜 관리 장치가 열화 상태 정보를 분석하는 동작은, 장비 구동 시 장비로 공급되는 전력에 따른 전류의 변화 추이를 분석하고, 분석된 변화 추이를 미리 정의된 판별 조건에 적용하는 동작으로 이루어질 수 있다.

또 다른 실시예에서, 스마트 팜 관리 장치는 동일한 종류의 장비 수를 획득하고, 동일한 장비의 총 정격전류와 동일한 장비로 공급되는 총 전류의 장비 하나의 소모 전류로 나눈 값을 장비의 고장 후보 개수로 정의하고, 고장 후보 개수와 장비의 수의 비율을 기초로, 장비로 공급되는 전류의 예상 노이즈를 연산할 수 있다. 스마트 팜 관리 장치는 장비로 공급되는 전류의 측정 노이즈와 예상 노이즈의 오차가 미리 정의된 오차 범위 이내인 경우, 고장 후보 개수를 고장인 장비 개수로 판별하고, 오차가 미리 정의된 오차 범위를 초과하는 경우, 오차를 미리 정의된 단위 오차로 나눈 값을 반올림한 정수만큼을 고장 후보 개수에서 제외한 값을 장비의 고장인 장비 개수로 판별할 수 있다. 이때, 스마트 팜 관리 장치는 정수의 두배만큼을 성능 저하인 장비 개수로 판별할 수 있다.

지금까지 도 1 내지 도 9를 참조하여, 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 방법 및 그 응용분야에 대해서 설명하였다. 이하에서는, 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 장치(100)를 구현할 수 있는 컴퓨팅 장치(1500)에 대하여 설명하도록 할 수 있다.

도 9은 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 장치(100)를 구현할 수 있는 예시적인 컴퓨팅 장치(1500)를 나타내는 하드웨어 구성도이다.

도 9에 도시된 바와 같이, 컴퓨팅 장치(1500)는 하나 이상의 프로세서(1510), 버스(1550), 통신 인터페이스(1570), 프로세서(1510)에 의하여 수행되는 컴퓨터 프로그램(1591)을 로드(load)하는 메모리(1530)와, 컴퓨터 프로그램(1591)을 저장하는 스토리지(1590)를 포함할 수 있다. 다만, 도 9에는 본 발명의 실시예와 관련 있는 구성 요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 9에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(1510)는 컴퓨팅 장치(1500)의 각 구성의 전반적인 동작을 제어할 수 있다. 프로세서(1510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(1510)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(1500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(1530)는 각종 데이터, 명령 및/또는 정보를 저장할 수 있다. 메모리(1530)는 본 발명의 실시예들에 따른 방법을 실행하기 위하여 스토리지(1590)로부터 하나 이상의 프로그램(1591)을 로드 할 수 있다. 메모리(1530)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.

버스(1550)는 컴퓨팅 장치(1500)의 구성 요소 간 통신 기능을 제공할 수 있다. 버스(1550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(1570)는 컴퓨팅 장치(1500)의 유무선 인터넷 통신을 지원할 수 있다. 또한, 통신 인터페이스(1570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(1570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

몇몇 실시예들에 따르면, 통신 인터페이스(1570)는 생략될 수도 있다.

스토리지(1590)는 상기 하나 이상의 프로그램(1591)과 각종 데이터를 비임시적으로 저장할 수 있다.

스토리지(1590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(1591)은 메모리(1530)에 로드 될 때 프로세서(1510)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(1510)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.

위와 같은 경우, 컴퓨팅 장치(1500)를 통해 본 발명의 일 실시예에 따른 증강 현실 기술을 이용한 스마트 팜 관리 장치(100)가 구현될 수 있다.

지금까지 도 1 내지 도 9을 참조하여 본 발명의 다양한 실시예들 및 그 실시예들에 따른 효과들을 언급하였다. 본 발명의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

지금까지 도 1 내지 도 9을 참조하여 설명된 본 발명의 기술적 사상은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명의 기술적 사상이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행 되어야만 하거나 또는 모든 도시 된 동작들이 실행 되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 발명이 다른 구체적인 형태로도 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명에 의해 정의되는 기술적 사상의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (3)

1. 스마트 팜 관리 장치에 의해 수행되는 증강 현실 기술을 이용한 스마트 팜 관리 방법에 있어서,
   사용자 단말에 의해 스마트 팜이 촬영되는 단계; 및
   상기 사용자 단말에 의해 상기 스마트 팜에 설치된 제1 장비가 촬영되고, 상기 제1 장비에 대응되는 제1 태그가 상기 사용자 단말에 의해 식별되는 경우 미리 설계된 상기 제1 장비의 3D 모델링을 나타내는 증강 현실 이미지를 렌더링하는 단계;
   상기 제1 장비와 관련된 적어도 하나 이상의 실시간 데이터를 상기 제1 장비의 증강 현실 이미지와 함께 표시하는 단계; 및
   상기 적어도 하나의 실시간 데이터를 상기 미리 설계된 상기 제1 장비의 3D 모델링에 반영함에 따라 상기 증강 현실 이미지의 동작의 패턴과 동작의 타이밍을 상기 제1 장비의 실제 동작의 패턴과 동작의 타이밍에 동기화시키되, 상기 스마트 팜 내부에서 측정된 상기 스마트 팜의 내부의 환경 정보를 함께 이용하여 동기화시키는 단계를 포함하고,
   상기 실시간 데이터는,
   상기 제1 장비에 의해 관리되는 제1 객체와 관련된 데이터 및 상기 제1 장비의 고장 데이터를 포함하되, 상기 제1 객체와 관련된 데이터는 상기 제1 객체를 감지하는 제1 센서에 의해 획득된 데이터이고, 상기 제1 장비의 고장 데이터는 제2 센서에 의해 획득된 상기 제1 장비의 동작 상태에 관한 데이터이며,
   상기 제1 장비의 증강 현실 이미지는,
   상기 증강 현실 이미지를 통해서 상기 제1 장비의 현재 상태를 표시하는 인디케이터의 기능을 수행하되, 상기 인디케이터는 상기 적어도 하나의 실시간 데이터가 기준 규칙에 매칭되는지 여부에 의해 상기 제1 장비의 증강 현실 이미지를 하일라이팅하는 것이고,
   상기 기준 규칙은,
   상기 제2 센서에 의해 측정된 데이터가 상기 실시간 데이터 항목마다 기 설정되어 있는 정상 범위 데이터를 벗어난 경우, 상기 제1 장비의 증강 현실 이미지를 하일라이팅 하는 규칙이고,
   상기 제1 장비와 관련된 적어도 하나 이상의 실시간 데이터를 상기 제1 장비의 증강 현실 이미지와 함께 표시하는 단계는,
   상기 제1 장비의 증강 현실 이미지를 상기 제1 장비의 부품으로 분해하되, 각 부품을 이격하여 표시하는 단계를 포함하는 단계; 및
   상기 분해된 부품 중에서 상기 기준 규칙에 위반된 부품을 하일라이팅하는 단계를 포함하고,
   상기 적어도 하나의 실시간 데이터를 상기 미리 설계된 상기 제1 장비의 3D 모델링에 반영함에 따라 상기 증강 현실 이미지의 동작의 패턴과 동작의 타이밍을 상기 제1 장비의 실제 동작의 패턴과 동작의 타이밍에 동기화시키되, 상기 스마트 팜 내부에서 측정된 상기 스마트 팜의 내부의 환경 정보를 함께 이용하여 동기화시키는 단계는,
   적어도 하나의 실시간 데이터를 이용하여 상기 기준 규칙에 위반된 부품의 동작의 패턴과 동작의 타이밍을 분석하는 단계; 및
   상기 기준 규칙에 위반된 부품의 동작의 패턴과 동작의 타이밍을 상기 제1 장비의 상기 증강 현실 이미지에 렌더링하는 단계를 포함하는,
   증강 현실 기술을 이용한 스마트 팜 관리 방법.
2. 삭제
3. 제1 항에 있어서,
   상기 하일라이팅된 제1 장비의 증강 현실 이미지와 연관된 A/S 버튼을 표시하는 단계; 및
   상기 A/S 버튼이 입력되는 경우, 상기 제1 장비를 유지보수하는 수리 서버로 유지보수를 요청하는 단계를 더 포함하되,
   상기 수리 서버로 유지보수를 요청하는 단계는,
   상기 제1 장비가 상기 기준 규칙에 위반된 레벨에 따라 제1 레벨의 경우 상기 하일라이팅된 부품을 자가 수리하기 위한 원격 지원 인디케이터를 상기 수리 서버로부터 수신하는 단계;
   상기 제1 장비의 실시간 영상 위에 상기 원격 지원 인디케이터를 표시하는 단계;
   상기 원격 지원 인디케이터와 상기 제1 장비의 실시간 영상에 표시되는 동작을 비교하는 단계;
   상기 원격 지원 인디케이터에 따라 상기 제1 장비가 실제 움직인 것으로 판단되면, 상기 수리 서버로 동작 완료 정보를 전송하는 단계; 및
   상기 동작 완료 정보에 응답하여 상기 수리 서버로부터 제2 원격 지원 인디케이터를 수신하는 단계를 포함하는,
   증강 현실 기술을 이용한 스마트 팜 관리 방법.

Images