KR20220114832A

KR20220114832A - Ar기반 객체에 대한 유지보수 서비스를 제공하는 방법 및 그를 이용한 서버

Info

Publication number: KR20220114832A
Application number: KR1020210018335A
Authority: KR
Inventors: 김희정
Original assignee: 엔컴네트웍스 주식회사; 김희정
Priority date: 2021-02-09
Filing date: 2021-02-09
Publication date: 2022-08-17
Also published as: KR102544061B1

Abstract

일 실시예에 따르면, AR기반 객체에 대한 유지보수 서비스를 제공하는 방법에 있어서, (a) 관리 서버가, 상기 객체에 인접한 측정 센서를 통해 상기 객체의 온도를 포함한 센싱 정보를 실시간으로 획득하고, 이를 입력 값으로 하여 예측 모듈에서 연산을 수행하고 이를 통해 상기 객체의 상태를 산출하는 단계;(b) 상기 관리 서버가, 상기 객체의 각 부위에 대한 정보 및 상기 객체의 상태를 기초로 하여 구현된 상기 객체를 증강현실 상에서 구현하고, 이를 사용자의 단말에 디스플레이하는 단계; 및 (c) 상기 관리 서버는, 상기 사용자의 단말로부터 전달받은 입력에 기초하여 증강현실 상에서의 상기 객체를 컨트롤하는 단계;를 포함하는 것을 특징으로 하는 방법을 개시한다.

Description

AR기반 객체에 대한 유지보수 서비스를 제공하는 방법 및 그를 이용한 서버{METHOD FOR PROVIDING MAINTENANCE SERVICE BASED ON AR AND SERVER USING THE SAME}

AR기반 객체에 대한 유지보수 서비스를 제공하는 방법 및 그를 이용한 서버에 관한 것으로, 보다 상세하게는, 객체의 센서를 통해 센싱 정보를 실시간으로 획득하고, 객체를 증강현실 상에 구현하여 전문가가 직접 방문하지 않고 사용자에게 유지보수 서비스를 제공하는 방법 및 그를 이용한 서버에 대한 것이다.

최근 코로나 19의 확산으로 대면으로 작업을 비대면 작업으로 전환하는 추세에 따라 비대면 플랫폼 분야는 급격하게 성장하고 있는 중이다.

사용중인 기계가 비정상적으로 운전할 경우, 간단한 문제는 해당 기계의 내부 담당자가 직접 비정상 운전의 원인을 파악하여 해결할 수 있지만, 그렇지 않을 경우 해당 기계의 전문가에게 유선으로 연락하여 비정상 운전을 하는 기계를 설명하거나 사진, 동영상을 전송하여 문제를 해결할 수 있지만 전문가가 직접 방문하여 문제를 진단하고 해결하는 것에 대비하여 제한적일 수밖에 없다.

예를 들어, 모노펌프가 비정상 유량으로 작동되고 있는 경우, 해당 기계의 내부 담당자가 간단하게 모노펌프의 회전 방향을 변경하여 모노펌프의 비정상 유량을 해결할 수 있다. 그렇지만 위와 같은 방법으로 해결되지 않을 경우, 모노펌프 전문가에게 전화로 비정상 유량의 모노펌프를 설명하고 운전중인 모노펌프의 사진 및 동영상을 전송하여 전문가의 지시에 따라 행동하여 문제를 해결할 수 있다. 그렇지만 모노펌프를 분해 및 조립하는 등의 작업 난이도가 높은 경우, 유선으로 설명하는데 어려움이 있어 대부분 전문가가 직접 방문하여 문제를 해결한다.

따라서, 사용중인 기계에 문제가 발생한다면 사진 및 동영상을 전문가에게 전송하여 해결할 수 있지만 설명이 불명확하고 실시간으로 이루어 지지 않기에 효율적으로 문제를 해결하기 어렵다.

또한, 코로나 19가 확산되고 있는 현 시점에 전문가가 직접 방문하여 문제를 해결하기 어려운 부분이 있다.

또한, 전문가가 직접 방문하여 문제를 진단하고 해결하는 것이 가장 정확한 해결 방법이지만, 출장비가 추가로 부과되어 금액 부분에서 문제가 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.

또한, 본 발명은 객체를 증강현실 상에서 구현하여 출장 없는 하자 관리를 통해 출장비를 절감하는 것을 다른 목적으로 한다.

또한, 본 발명은 비효율적인 오프라인 하자관리 프로세스를 개선하여 신속한 하자대응을 제공하는 것을 다른 목적으로 한다.

또한, 본 발명은 4차 산업기술인 AR 기술과 IOT 기술을 통한 제조 산업의 혁신을 통해 AR 기술과 IOT 기술 전문가를 고용하여 일자리를 창출하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, AR기반 객체에 대한 유지보수 서비스를 제공하는 방법에 있어서, 관리 서버가, 상기 객체에 인접한 측정 센서를 통해 상기 객체의 온도를 포함한 센싱 정보를 실시간으로 획득하고, 이를 입력 값으로 하여 예측 모듈에서 연산을 수행하고 이를 통해 상기 객체의 상태를 산출하는 단계; 상기 관리 서버가, 상기 객체의 각 부위에 대한 정보 및 상기 객체의 상태를 기초로 하여 구현된 상기 객체를 증강현실 상에서 구현하고, 이를 사용자의 단말에 디스플레이하는 단계; 및 상기 관리 서버는, 상기 사용자의 단말로부터 전달받은 입력에 기초하여 증강현실 상에서의 상기 객체를 컨트롤하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.

또한, AR기반 객체에 대한 유지보수 서비스를 제공하는 서버에 있어서, 사용자 단말과 정보를 송수신 가능한 통신부;와 데이터베이스; 및 객체에 인접한 측정 센서를 통해 상기 객체의 온도를 포함한 센싱 정보를 실시간으로 획득하고, 이를 입력 값으로 하여 예측 모듈에서 연산을 수행하고 이를 통해 상기 객체의 상태를 산출하는 프로세서; 및 상기 객체의 각 부위에 대한 정보 및 상기 객체의 상태를 기초로 하여 구현된 상기 객체를 증강현실 상에서 구현하고, 이를 사용자의 단말에 디스플레이하며, 상기 사용자의 단말로부터 전달받은 입력에 기초하여 증강현실 상에서의 상기 객체를 컨트롤하는 증강현실부;를 포함하는 것을 특징으로 하는 관리 서버가 제공된다.

본 발명에 의하면, 다음과 같은 효과가 있다.

본 발명은 객체를 증강현실 상에서 구현하여 출장 없는 하자 관리를 통해 출장비를 절감할 수 있는 효과가 있다.

또한, 본 발명은 비효율적인 오프라인 하자관리 프로세스를 개선하여 신속한 하자대응을 제공할 수 있는 효과가 있다.

또한, 본 발명은 4차 산업기술인 AR 기술과 IOT 기술을 통한 제조 산업의 혁신을 통해 AR 기술과 IOT 기술 전문가를 고용하여 일자리를 창출할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 AR기반 객체에 대한 유지보수 서비스를 제공하는 서버의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 AR기반 객체에 대한 유지보수 서비스를 제공하는 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 객체가 디스플레이부에 디스플레이되는 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 에러를 포함하는 객체가 제1 디스플레이부에 디스플레이되는 예를 도시한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 AR기반 객체에 대한 유지보수 서비스를 제공하는 서버(1)를 설명하기 위한 블록 도면이다.

도 1에 도시된 바와 같이, 본 발명의 AR기반 객체에 대한 유지보수 서비스를 제공하는 서버(1)는 객체(100), 관리 서버(200), 사용자 단말(300) 및 전문가 단말(400)을 포함할 수 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

일 실시예에 따른 객체(100)는 온도, 유량, 압력, 진동, 습도 등을 포함한 센싱 정보를 획득할 수 있는 측정 센서(110)와 각 객체(100)가 가진 고유 표시(120)를 포함할 수 있다.

일 실시예에 따른 관리 서버(200)는 통신부(210), 데이터베이스(220), 프로세서(230) 및 증강현실부(240)을 포함할 수 있다. 물론, 경우에 따라서 상기 증강현실부(240)는 프로세서(230)에 포함될 수 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

일 실시예에 따른 통신부(210)는 다양한 통신 기술을 통해 관리 서버(200)와 단말(300, 400) 간의 통신을 구현할 수 있다. 즉, 와이파이(WIFI), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), HSPA(High Speed Packet Access), 모바일 와이맥스(Mobile WiMAX), 와이브로(WiBro), LTE(Long Term Evolution), 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), NFC(Near Field Communication), 지그비(Zigbee), 무선랜 기술 등이 적용될 수 있다. 또한, 인터넷과 연결되어 서비스를 제공하는 경우 인터넷에서 정보전송을 위한 표준 프로토콜인 TCP/IP를 따를 수 있다.

일 실시예에 따른 데이터베이스(220)는 객체(100)의 측정 센서(110)로부터 실시간으로 획득한 센싱 정보를 저장할 수 있다. 여기서, 상기 센싱 정보는 상기 객체의 온도, 습도, 진동 등의 정보를 포함할 수 있다.

일 실시예에 따른 프로세서(230)는 예측 모듈(231)을 포함할 수 있고, 실시간으로 획득한 센싱 정보를 입력 값으로 하여 예측 모듈(231)에서 연산을 수행하여 객체(100)의 상태를 산출할 수 있다.

또한, 산출된 객체(100)의 상태는 데이터베이스(220)에 저장될 수 있다.

일 실시예에 따른 증강현실부(240) 또는 프로세서(230)는 객체(100)의 각 부위에 대한 정보 및 객체(100)의 상태를 기초로 구성된 객체(100)를 증강현실 상에서 구현하고, 또한 상기 객체(100)를 사용자 단말(300)의 제1 디스플레이부(310)에 디스플레이 할 수 있다.

일 실시예에 따른 사용자 단말(300)은 증강현실을 디스플레이 할 수 있는 제1 디스플레이부(310), 디스플레이 된 객체(100)를 움직일 수 있는 제1 입력부(320) 및 제1 카메라(330)를 포함할 수 있다.

일 실시예에 따른 전문가 단말(400)은 증강현실을 디스플레이 할 수 있는 제2 디스플레이부(410), 디스플레이 된 객체(100)를 움직일 수 있는 제2 입력부(420) 및 제2 카메라(430)를 포함할 수 있다.

일 실시예에 따른 단말(300, 400)은 통신할 수 있는 기능을 포함하는 디지털 기기로서, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 단말(300, 400) 로서 채택될 수 있다.

일 실시예에 따른 디스플레이부(310, 410)는 비디오 신호 및 오디오 신호를 출력할 수 있다.

일 실시예에 따른 입력부(320, 420)는 키보드, 마우스, 터치패드, 소리 등을 통해 단말(300, 400)에 입력이 가능한 장치라면 본 발명에 따른 입력부(320, 420)로서 채택될 수 있다.

도 2는 AR기반 객체에 대한 유지보수 서비스를 제공하는 방법의 흐름도이다.

단계 100에서 객체(100)의 측정 센서(110)를 통해 센싱 정보가 실시간으로 획득되어 객체(100)의 상태가 산출될 수 있다.

이때, 상기 예측 모듈(231)에서 연산을 수행하기 위해 적어도 하나의 파라미터가 존재하고, 트레이닝용 센싱 정보에 매칭되는 객체의 정답용 상태가 데이터베이스부(220)에 존재하는 상태에서, 프로세서(230)의 예측 모듈(231)은 데이터베이스부(220)의 트레이닝용 센싱 정보를 입력 값으로 하여 상기 예측 모듈(231)에서 연산을 수행할 수 있다.

상기 연산을 수행한 결과, 예측 모듈(231)은 상기 객체의 트레이닝용 상태를 획득할 수 있다. 즉, 학습용 데이터를 획득하는 것이다.

또한, 일 실시예에 따른 프로세서(230)는 트레이닝용 상태와 객체의 정답용 상태를 비교하여 비교 데이터를 도출할 수 있고, 이를 기초로 예측 모듈(231)의 적어도 하나의 파라미터를 조절하면서 기계 학습을 수행하여 예측 모듈(231)의 정확도를 높일 수 있는 것이다.

예를 들어, 트레이닝용 센싱 정보로서 객체의 온도가 70도라고 상정할 수 있다. 객체의 온도가 50도 이상 올라가면 비정상 상태라고 인식되는 경우, 상기 트레이닝용 센싱 정보(객체의 온도가 70도)에 매칭되는 객체의 정답용 상태는 비정상 상태(40%)에 해당할 수 있다.

이때, 트레이닝용 센싱 정보(객체의 온도가 70도)를 입력 값으로 예측 모듈(231)에서 연산을 수행한 결과 트레이닝용 상태(비정상 상태(20%))를 획득할 수 있다. 이때, 예측 모듈(231)의 초기 파라미터 값은 a1이라고 설정할 수 있다.

다음으로, 프로세서(230)는 트레이닝용 상태(비정상 상태(20%))와 객체의 정답용 상태(비정상 상태(40%))를 비교하여 비교 데이터(오차 20%)를 도출할 수 있다. 즉, 트레이닝용 상태와 정답용 상태 사이에 오차가 발생한 것이다.

따라서, 프로세서(230)는 상기 비교 데이터(오차 20%)가 존재하지 않도록(즉, 트레이닝용 상태를 정답용 상태에 일치하도록) 파라미터 값 a1을 컨트롤하여 파라미터 값이 a2가 되도록 할 수 있다.

즉, 프로세서(230)는 가장 정확한 파라미터 값을 가지도록 예측 모듈(231)을 지속적으로 학습시킬 수 있는 것이다. 위와 같은 학습된 예측 모듈(231)에 기반하여 객체의 상태가 산출될 수 있다.

예를 들어, 기설정 이상의 압력이 압력 측정 센서(110)에 인식되면 예측 모듈(231)에 의해 비정상 상태임이 산출되고, 궁극적으로 프로세서(230)는 객체(100)와 연결된 배관 및 밸브의 닫힘 상태를 확인할 수 있다.

또한, 기설정 이하의 유량이 유량 측정 센서(110)에 인식되면 예측 모듈(231)에 의해 객체가 비정상 상태임이 산출되고, 궁극적으로 프로세서(230)는 객체(100)의 공회전(Dry-running), Cavitation 및 씰링(Sealing)의 문제가 있는 상태를 확인할 수 있다.

또한, 기설정 이상의 온도가 온도 측정 센서(110)에 인식되면 예측 모듈(231)에 의해 객체가 비정상 상태임이 산출되고, 궁극적으로 프로세서(230)는 객체(100)의 공회전 및 윤활유에 문제가 있는 상태임을 확인할 수 있다.

단계 110에서 객체(100)는 관리 서버(200)의 증강현실부(240)에 구현될 수 있다.

이때, 객체(100)는 데이터베이스부(220)에 저장된 객체(100)의 정보 및 객체(100)의 상태를 기초로 관리 서버(200)의 증강현실부(240)에 구현될 수 있다.

또한, 증강현실부(240)에 구현된 객체(100)는 사용자 단말(300)의 제1 디스플레이부(310)에 디스플레이될 수 있다.

본 발명의 일 실시예에 따르면, 상기 객체(100)의 외부에 QR 코드 또는 바코드 등에 해당하는 제1-1 고유 표시가 부착되어 있는 상태에서 관리 서버(200)의 증강현실부(240)는 상기 사용자로 하여금 단말(300)을 이용하여 상기 제1-1 고유 표시를 인식하도록 하여 증강 현실 상에서 구현된 상기 객체(100)를 상기 사용자의 단말(300)의 제1 디스플레이부(310)에 디스플레이할 수 있다.

본 발명의 다른 실시예에 따르면, 객체(100)의 외부에 제1-2 고유 표시가 부착되어 있는 상태에서, 관리 서버(200)의 증강현실부(240)가 상기 사용자로 하여금 단말(300)의 OCR 기능을 이용하여 상기 제1-2 고유 표시를 인식하도록 하여 증강 현실 상에서 구현된 상기 객체(100)를 상기 사용자의 단말(300)의 제1 디스플레이부(310)에 디스플레이할 수 있다.

여기서, 상기 제1-2 고유 표시는 문자, 숫자, 그림 등에 해당할 수 있고, 사용자의 단말(300)에서는 OCR 기능을 통해 상기 문자, 숫자, 그림 등을 인식할 수 있을 것이다.

본 발명의 또 다른 실시예에 따르면, 관리 서버(200)의 증강현실부(240)는 사용자로 하여금 단말(300)의 제1 카메라(330)를 이용하여 상기 객체의 외형을 인식하도록 하여 증강 현실 상에서 구현된 상기 객체(100)를 상기 사용자의 단말(300)의 제1 디스플레이부(310)에 디스플레이할 수 있다.

위와 같은 실시예들은 관리 서버(200)의 증강현실부(240)가 증상현실 상에 구현된 객체(100)를 사용자의 단말(300)에 디스플레이하는 프로세스로서, 그 유발 요인이 각각 서로 다른 케이스(QR 코드, OCR 기능, 객체의 외형 인식 등)에 해당할 뿐이다.

관리 서버(200)의 프로세서(230)는 사용자의 단말(300)로부터 전달받은 입력에 기초하여 증강현실 상에서의 상기 객체(100)를 컨트롤할 수 있다. 구체적으로, 단계 120에서 일 실시예에 따른 사용자는 사용자 단말(300)의 제1 입력부(320)를 통해 증강현실부(240)에 구현된 객체(100)를 컨트롤할 수 있고, 컨트롤 되는 객체(100)의 모습은 디스플레이부(310, 410)에 디스플레이 될 수 있다.

예를 들어, 객체(100)는 제1 입력부(320)를 통해 회전, 분리, 결합, 작동 및 이동될 수 있다. 또한, 제1 입력부(320)에서 입력된 수치 값에 의해 객체(100)의 회전 정도, 작동 시간 등이 변경될 수도 있다.

또한, 일 실시예에 따른 사용자는 제1 입력부(320)를 통해 증강현실부(240)를 통해 구현된 객체(100)에 대한 사용자 코멘트를 남길 수 있다.

예를 들어, 사용자 코멘트는 객체(100)에 대해 예상 작동원인, 객체(100) 구입 시기, 보증기간, 가격 등의 객체(100) 관련된 정보일 수 있지만 이에 한정하는 것은 아니다.

일 실시예에 따른 데이터베이스(220)는 증강현실부(240)를 통해 구현된 객체(100)에 대한 사용자 코멘트를 저장할 수 있다.

일 실시예에 따른 사용자 코멘트는 객체(100)와 함께 디스플레이부(310, 410)를 통해 디스플레이 될 수 있다.

또한, 단계 120에서 일 실시예에 따른 전문가는 전문가 단말(400)의 제2 입력부(420)를 통해 증강현실부(240)에 구현된 객체(100)를 컨트롤할 수 있다.

일 실시예에 따른 프로세서(230)의 예측 모듈(231)로부터 연산된 객체의 상태가 에러인 경우, 증강현실부(240)는 전문가 단말(400)의 제2 디스플레이부(410)에 상기 객체(100)를 디스플레이 할 수 있다.

이때, 전문가는 전문가 단말(400)의 제2 입력부(420)를 통해 증강현실부(240)의 객체(100)를 컨트롤 할 수 있고, 컨트롤 되는 객체(100)의 모습은 디스플레이부(310, 410)에 디스플레이 될 수 있다.

예를 들어, 증강현실부(240)의 객체(100)는 회전, 분리, 결합, 작동 및 이동될 수 있다. 또한, 제2 입력부(420)에서 입력된 수치 값에 의해 객체(100)의 회전 정도, 작동 시간 등이 변경될 수도 있다. 경우에 따라서 제1 입력부(320) 및 제2 입력부(420)에서의 입력 각각이 충돌할 수 있는데, 이 경우 프로세서(230)는 제2 입력부(420)의 입력만을 고려하여 객체(100)를 컨트롤할 수도 있다.

또한, 일 실시예에 따른 전문가는 제2 입력부(420)를 통해 증강현실부(240)를 통해 구현된 객체(100)에 대한 전문가 코멘트를 남길 수 있다.

일 실시예에 따른 데이터베이스(220)는 증강현실부(240)를 통해 구현된 객체(100)에 대한 전문가 코멘트를 저장할 수 있다.

이때, 일 실시예에 따른 객체(100)는 전문가 코멘트와 함께 디스플레이부(310, 410)를 통해 디스플레이 될 수 있다.

또한, 일 실시예에 따른 전문가는 증강현실부(240)를 통해 구현된 객체(100)에 대한 전문가 코멘트에 객체(100)의 유지보수 방법, 문제해결 방법 등과 같은 유지보수 관련 사진 및 동영상을 첨부할 수 있다.

이때, 일 실시예에 따른 유지보수 관련 사진 및 동영상 자료는 전문가 코멘트와 함께 디스플레이부(310, 410)를 통해 디스플레이 될 수 있고, 사용자는 단말(300)에 디스플레이된 사진 및 동영상 자료 등을 클릭함으로써 확대 및 재생을 할 수 있다.

한편, 객체(100)가 적어도 제1 부위(101), 제2 부위(102)로 이루어진 조립체에 해당하고, 상기 객체의 상기 제1 부위(101)에는 제2-1 고유 표시(120), 상기 제2 부위(102)에는 제2-2 고유 표시(120)가 부착되어 있다고 상정할 수 있다.

도 3a는 제1 부위(101)가 디스플레이부(310,410)의 화면 중심에 위치된 예를 도시한 도면이고, 도 3b는 제2 부위(102)가 디스플레이부(310,410)의 화면 중심에 위치된 예를 도시한 도면이다.

도 3a를 참조하면, 증강현실부(240)는 객체(100)의 제1 부위(101)를 디스플레이부(310, 410)의 화면 중심에 위치시킬 수 있다.

일 실시예에 따른 증강현실부(240)는, 사용자 단말(300)의 제1 카메라(330)를 통해 객체의 제2-1 고유 표시(120)를 인식하는 경우, 제2-1 고유 표시(120)와 대응되는 제1 부위(101)를 디스플레이부(310, 410)의 화면 중심에 위치시킬 수 있다.

이때, 증강현실부(240)는 제1 부위(101)로부터 소정 거리 떨어진 위치에 제2 부위(102)를 분리시켜 디스플레이부(310, 410)에 디스플레이 할 수 있다.

도 3b를 참조하면, 증강현실부(240)는 객체(100)의 제2 부위(102)를 디스플레이부(310, 410)의 화면 중심에 위치할 수 있다.

일 실시예에 따른 증강현실부(240)는, 사용자 단말(300)의 제1 카메라(330)를 통해 객체의 제2-2 고유 표시(120)를 인식하는 경우, 제2-2 고유 표시(120)와 대응되는 제2 부위(102)를 디스플레이부(310, 410)의 화면 중심에 위치시킬 수 있다.

이때, 증강현실부(240)는 제2 부위(102)로부터 소정 거리 떨어진 위치에 제1 부위(101)를 분리시켜 디스플레이부(310, 410)에 디스플레이 할 수 있다.

일 실시예에 따른 소정 거리는 제1 부위(101)와 제2 부위(102)의 접촉면적을 기초로 설정될 수 있다.

도 3b는 일 실시예에 따른 제1 부위(101)와 제2 부위(202)의 접촉면적이 기설정 면적보다 작은 객체(100)를 디스플레이부(310,410)에 디스플레이한 도면이고, 도 3c는 일 실시예에 따른 제1 부위(101)와 제2 부위(202)의 접촉면적이 기설정 면적보다 큰 객체(100)를 디스플레이부(310,410)에 디스플레이한 도면이다.

도 3b를 참조하면, 일 실시예에 따른 제1 부위(101)와 제2 부위(102)의 접촉면적이 기설정 면적(ex A m²)보다 작은 경우, 제1 부위(101)와 제2 부위(102) 사이의 소정 거리는 기설정 길이보다 길 수 있다.

일 실시예에 따라서, 객체(100)의 제1 부위(101)와 제2 부위(102)의 접촉면적이 작으면 소정 거리가 기설정 길이보다 길고, 이는 객체(100)의 제1 부위(101)와 제2 부위(102)가 약하게 결합되어 있음을 의미할 수 있다.

도 3c를 참조하면, 일 실시예에 따른 제1 부위(101)와 제2 부위(102)의 접촉면적이 기설정 면적(ex A m²)보다 큰 경우, 제1 부위(101)와 제2 부위(102) 사이의 소정 거리는 기설정 길이보다 짧을 수 있다.

일 실시예에 따라서, 객체(100)의 제1 부위(101)와 제2 부위(102)의 접촉면적이 크면 소정 거리가 기설정 길이보다 짧고, 이는 객체(100)의 제1 부위(101)와 제2 부위(102)가 강하게 결합되어 있음을 의미할 수 있다.

상기 제1 부위(101) 및 상기 제2 부위(102) 중에서 부피가 작은 부위를 기준으로 상기 기설정 면적 및 상기 기설정 길이가 결정될 수 있다.

설명의 편의상, 제1 부위(101)의 부피가 제2 부위(102)의 부피보다 작다고 상정할 수 있다. 이때, 기설정 면적은 상기 제1 부위(101)의 단면적의 절반에 해당할 수 있고, 상기 기설정 길이는 상기 제1 부위(101)의 높이의 절반에 해당할 수 있다.

또 다른 실시예에 따른 기설정 면적은 관리 서버(200) 또는 사용자에 의해 설정될 수 있으며, 기설정 길이 또한 관리 서버(200) 또는 사용자에 의해 설정될 수 있다.

도 4a 내지 도 4b는 일 실시예에 따른 객체(100)의 상태가 에러인 경우를 디스플레이한 제1 디스플레이부(310)의 예를 도시한 도면이다.

일 실시예에 따른 프로세서(230)로부터 연산된 객체(100)의 상태가 에러인 경우, 증강현실부(240)는 특정 부위를 제1 색(103), 특정 부위를 제외한 나머지 객체 부위를 제2 색(104)으로 표시하여 사용자 단말(300)의 제1 디스플레이부(310)에 디스플레이 할 수 있다.

예를 들어, 증강현실부(240)는 에러라고 산출된 특정부위를 제1 색(103)인 붉은색으로 표시할 수 있고, 특정부위를 제외한 나머지 객체 부위를 제2 색(104)인 초록색으로 표시하여 사용자 단말의 제1 디스플레이부(310)에 디스플레이 할 수 있다.

관리 서버(200)의 프로세서(230)는 제1 색(103) 부위에 대응되는 객체를 판매하는 복수의 공급자를 사용자의 단말(300)에 디스플레이할 수 있다. 이때, 상기 복수의 공급자가 판매하는 상기 객체는 공급자 별로 예상 납기, 가격이 다를 수 있을 것이다.

이때, 일 실시예에 따른 제1 색(103) 부위에 대응되는 객체(100)의 예상 납기와 가격은 사용자 설정을 기초로 사용자 단말의 제1 디스플레이부(310)에 선별적으로 디스플레이 될 수 있다.

도 4a를 참조하면, 일 실시예에 따른 제1 색(103) 부위에 대응되는 객체를 공급할 수 있는 복수의 공급자가 존재하는 상태에서, 사용자가 제1 색(103) 부위에 대응되는 객체(100)를 급하게 필요로 한다면, 프로세서(230)는 복수의 공급자 중 예상 납기가 짧은 공급자를 우선으로 사용자 단말(300)의 제1 디스플레이부(310)에 디스플레이 할 수 있다.

도 4b를 참조하면, 제1 색(103) 부위에 대응되는 객체를 공급할 수 있는 복수의 공급자가 존재하는 상태에서, 사용자가 제1 색(103) 부위에 대응되는 객체(100)를 급하게 필요로 하지 않는다면, 프로세서(230)는 복수의 공급자 중 가격이 낮은 공급자를 우선으로 사용자 단말(300)의 제1 디스플레이부(310)에 디스플레이 할 수 있다.

이상에서, 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 청구범위 뿐만 아니라 이 청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

1 : 발명의 AR기반 객체에 대한 유지보수 서비스를 제공하는 서버
100: 객체
101: 제1 부위
102: 제2 부위
103: 제1 색
104: 제2 색
110: 측정 센서
120: 고유 표시
200: 관리 서버
210: 통신부
220: 데이터베이스
230: 프로세서
231: 예측 모듈
240: 증강현실부
300: 사용자 단말
310: 제1 디스플레이부
320: 제1 입력부
330: 제1 카메라
400: 전문가 단말
410: 제2 디스플레이부
420: 제2 입력부
430: 제2 카메라

Claims

AR기반 객체에 대한 유지보수 서비스를 제공하는 방법에 있어서,
(a) 관리 서버가, 상기 객체에 인접한 측정 센서를 통해 상기 객체의 온도를 포함한 센싱 정보를 실시간으로 획득하고, 이를 입력 값으로 하여 예측 모듈에서 연산을 수행하고 이를 통해 상기 객체의 상태를 산출하는 단계;
(b) 상기 관리 서버가, 상기 객체의 각 부위에 대한 정보 및 상기 객체의 상태를 기초로 하여 구현된 상기 객체를 증강현실 상에서 구현하고, 이를 사용자의 단말에 디스플레이하는 단계; 및
(c) 상기 관리 서버는, 상기 사용자의 단말로부터 전달받은 입력에 기초하여 증강현실 상에서의 상기 객체를 컨트롤하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (a) 단계이전에,
상기 예측 모듈에서 연산을 수행하기 위해 적어도 하나의 파라미터가 존재하는 상태에서, 트레이닝용 센싱 정보에 매칭되는 객체의 정답용 상태가 존재하고,
상기 관리 서버는, 상기 트레이닝용 센싱 정보를 입력 값으로 하여 상기 예측 모듈에서 연산을 수행하고 이를 통해 상기 객체의 트레이닝용 상태를 획득하며, 상기 객체의 트레이닝용 상태와 상기 객체의 정답용 상태를 비교하여 비교 데이터를 도출하고, 이를 기초로 상기 예측 모듈의 상기 적어도 하나의 파라미터를 조절하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 관리 서버는, i) 상기 객체의 외부에 QR 코드에 해당하는 제1-1 고유 표시가 부착되어 있는 상태에서 상기 사용자로 하여금 단말을 이용하여 상기 제1-1 고유 표시를 인식하도록 하여 증강 현실 상에서 구현된 상기 객체를 상기 사용자의 단말에 디스플레이하는 프로세스, ii) 상기 객체의 외부에 제1-2 고유 표시가 부착되어 있는 상태에서 상기 사용자로 하여금 단말의 OCR 기능을 이용하여 상기 제1-2 고유 표시를 인식하도록 하여 증강 현실 상에서 구현된 상기 객체를 상기 사용자의 단말에 디스플레이하는 프로세스, iii) 상기 사용자로 하여금 단말의 카메라를 이용하여 상기 객체의 외형을 인식하도록 하여 증강 현실 상에서 구현된 상기 객체를 상기 사용자의 단말에 디스플레이하는 프로세스 중 어느 하나를 수행하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 객체가 적어도 제1 부위, 제2 부위로 이루어진 조립체에 해당하고, 상기 객체의 상기 제1 부위에는 제2-1 고유 표시, 상기 제2 부위에는 제2-2 고유 표시가 부착되어 있는 상태에서,
상기 관리 서버는, i) 상기 사용자의 단말이 상기 제2-1 고유 표시를 인식하는 경우, 상기 제1 부위를 상기 사용자의 단말의 화면 중심에 위치하도록 하면서 상기 제1 부위로부터 소정 거리 떨어진 위치에 상기 제2 부위를 분리시켜 디스플레이하고, ii) 상기 사용자의 단말이 상기 제2-2 고유 표시를 인식하는 경우, 상기 제2 부위를 상기 사용자의 단말의 화면 중심에 위치하도록 하면서 상기 제2 부위로부터 상기 소정 거리 떨어진 위치에 상기 제1 부위를 분리시켜 디스플레이하는 것을 특징으로 하는 방법.
제4항에 있어서,
상기 제1 부위와 상기 제2 부위가 조립되어 하나의 조립체를 이룰 때 상기 제1 부위와 상기 제2 부위의 접촉면적이 기설정 면적보다 큰 경우, 상기 소정 거리는 기설정 길이보다 짧고, 상기 제1 부위와 상기 제2 부위의 접촉면적이 상기 기설정 면적보다 작은 경우, 상기 소정 거리는 상기 기설정 길이보다 긴 것을 특징으로 하는 방법.
제1항에 있어서,
상기 객체의 상태가 에러라고 산출된 경우,
상기 관리 서버는, 전문가의 단말에 상기 증강현실 상에서 구현된 상기 객체를 디스플레이하고, 상기 전문가의 단말로부터 전달받은 입력에 기초하여 증강현실 상에서의 상기 객체를 컨트롤하고, 컨트롤되는 상기 객체의 모습을 상기 사용자의 단말에 디스플레이하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 객체 중 특정 부위가 에러라고 산출된 경우,
상기 (b) 단계에서,
상기 관리 서버는 상기 특정 부위를 제1 색, 상기 특정 부위를 제외한 나머지 상기 객체의 부위를 제2 색으로 표시하여 이를 상기 사용자의 단말에 디스플레이하고,
상기 제1 색의 부위에 대응되는 상기 객체의 예상 납기와 가격은 상기 사용자의 단말에 디스플레이 될 수 있고, 상기 예상 납기 또는 상기 가격을 기초로 상기 사용자 단말에 디스플레이 되는 것을 특징으로 하는 방법.
AR기반 객체에 대한 유지보수 서비스를 제공하는 서버에 있어서,
사용자 단말과 정보를 송수신 가능한 통신부;
데이터베이스; 및
객체에 인접한 측정 센서를 통해 상기 객체의 온도를 포함한 센싱 정보를 실시간으로 획득하고, 이를 입력 값으로 하여 예측 모듈에서 연산을 수행하고 이를 통해 상기 객체의 상태를 산출하는 프로세서; 및 상기 객체의 각 부위에 대한 정보 및 상기 객체의 상태를 기초로 하여 구현된 상기 객체를 증강현실 상에서 구현하고, 이를 사용자의 단말에 디스플레이하며, 상기 사용자의 단말로부터 전달받은 입력에 기초하여 증강현실 상에서의 상기 객체를 컨트롤하는 증강현실부;
를 포함하는 것을 특징으로 하는 관리 서버.