KR102418994B1 - 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 - Google Patents

증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 Download PDF

Info

Publication number
KR102418994B1
KR102418994B1 KR1020190179990A KR20190179990A KR102418994B1 KR 102418994 B1 KR102418994 B1 KR 102418994B1 KR 1020190179990 A KR1020190179990 A KR 1020190179990A KR 20190179990 A KR20190179990 A KR 20190179990A KR 102418994 B1 KR102418994 B1 KR 102418994B1
Authority
KR
South Korea
Prior art keywords
work
user
augmented reality
virtual content
job
Prior art date
Application number
KR1020190179990A
Other languages
English (en)
Other versions
KR20210086207A (ko
Inventor
하태진
이철희
이성하
남혜정
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020190179990A priority Critical patent/KR102418994B1/ko
Publication of KR20210086207A publication Critical patent/KR20210086207A/ko
Application granted granted Critical
Publication of KR102418994B1 publication Critical patent/KR102418994B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

실시예에 따른 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법은, 사용자 시야 상에 가상 컨텐츠를 오버레이하여 증강현실 환경을 제공하는 컴퓨팅 디바이스에서 수행하는 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법으로서, 사용자 주변 작업공간을 검출하는 단계; 상기 검출된 작업공간에 대응되는 작업 가이드를 획득하는 단계; 상기 작업 가이드의 각 단계별로 속하는 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계; 및 상기 사용자의 작업 수행에 따라 제 1 작업 단계가 완료되면, 제 2 작업 단계에 대한 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계를 포함한다.

Description

증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 {METHOD FOR PROVIDNG WORK GUIDE BASED AUGMENTED REALITY AND EVALUATING WORK PROFICIENCY ACCORDING TO THE WORK GUIDE}
본 발명은 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법에 관한 것이다.
일반적으로, 장비를 이용한 유지관리를 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장비 도입시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 정비 절차를 숙지하고 있을 수가 없고, 언제 어떤 정비 요구가 발생할지 예측하기가 어렵다.
이에 따라, 작업자들은 장비를 이용한 유지 보수를 위한 매뉴얼을 항상 휴대하여, 유지보수 업무를 수행하여 왔다.
현재 유지 보수를 위한 매뉴얼은 일반적으로 책으로 제작되어 있거나, 2D 이미지로 제작되어 있다. 책으로 제작된 매뉴얼의 문제점은 해결해야하는 문제(예컨대, 특정 장치의 고장)에 대한 해당 페이지를 일일이 찾아야 하고, 매뉴얼이 오래되면 해당 책에서 제시하는 방법이 해결책이 되지 못하는 경우가 빈번하게 발생할 수 있다는 점이다. 또한, 항공기 등과 같이 복잡한 형태의 기계 장비의 경우에는 수십만 가지 상의 매뉴얼이 필요하기 때문에, 그 양이 방대하여 휴대 또한 불가능하다.
이러한 유지 보수 등의 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.
또한, 공장과 같은 다수의 공통된 작업을 교육함에 있어서, 작업자들의 숙련도 차이가 벌어지게 되어, 작업된 품질이 고르지 못하는 문제가 발생할 수 있다.
한편, 최근 들어 증강 현실(AR: Augmented Reality)에 기반한 다양한 기술이 개발되고 있다.
증강 현실(AR)이란, 가상 현실의 한 분야로서 실제 환경에 가상 사물이나 정보를 합성하는 컴퓨터 그래픽 기법이다.
이러한 증강 현실(AR) 서비스는, 가상의 공간과 사물만을 대상으로 하는 가상 현실과 달리 실제 환경이라는 기반 위에 가상의 사물이나 정보를 합성함으로써, 현실 세계만으로는 얻기 어려운 부가 정보를 보강하여 제공할 수 있다.
KR 10-1260757 B1
본 발명은 단계별 작업 가이드를 증강현실 환경에서 제공하기 위한 증강현실 기반 작업 가이드 제공방법을 구현하는 것을 그 목적으로 한다.
또한, 본 발명은 단계별 작업 가이드 제공에 따른 작업 수행정보에 따라서 작업 숙련도를 평가하는 작업 가이드에 따른 작업 숙련도 평가방법을 구현하는 것을 그 목적으로 한다.
실시예에 따른 증강현실 기반 작업 가이드 제공방법은, 사용자 시야 상에 가상 컨텐츠를 오버레이하여 증강현실 환경을 제공하는 컴퓨팅 디바이스에서 수행하는 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법으로서, 사용자 주변 작업공간을 검출하는 단계; 상기 검출된 작업공간에 대응되는 작업 가이드를 획득하는 단계; 상기 작업 가이드의 각 단계별로 속하는 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계; 및 상기 사용자의 작업 수행에 따라 제 1 작업 단계가 완료되면, 제 2 작업 단계에 대한 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계를 포함한다.
또한, 상기 사용자 주변 작업공간을 검출하는 단계는, 상기 작업공간 내 배치된 기학습된 마커를 검출하는 단계와, 상기 검출된 마커에 대응되는 작업 가이드를 데이터베이스에서 검색하는 단계와, 상기 검색된 작업 가이드 데이터를 상기 데이터베이스로부터 수신하는 단계를 포함할 수 있다.
또한, 상기 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계는, 조립 공정을 나타내는 3차원 애니메이션인 제 1 가상 컨텐츠, 조립공정에 대한 매뉴얼을 나타내는 텍스트 메시지를 제 2 가상 컨텐츠, 조립공정의 세부단계를 전후로 이동시키는 버튼을 제 3 가상 컨텐츠, 조립공정을 수행하기 위한 스마트 툴에 대한 정보를 나타내는 제 4 가상 컨텐츠 중 적어도 하나 이상의 가상 콘텐츠를 표시하는 단계를 포함할 수 있다.
또한, 상기 사용자의 작업 수행에 따른 각 단계별 작업 수행정보를 획득하는 단계와, 상기 획득된 작업 수행정보를 기초로 상기 사용자의 작업 숙련도를 평가하는 단계를 더 포함할 수 있다.
또한, 상기 사용자의 작업 수행에 따른 각 단계별 작업 수행정보를 획득하는 단계는, 각 단계별 작업소요시간을 체크하는 단계와, 이미지 센서에서 획득된 촬영영상을 이미지 분석하여 작업 정확도를 획득하는 단계와, 스마트 툴로부터 수신한 작업 데이터를 통해 스마트 툴 사용 정확도를 산출하는 단계 중 적어도 하나의 단계를 포함할 수 있다.
또한, 상기 획득된 작업 수행정보를 기초로 상기 사용자의 작업 숙련도를 평가하는 단계는, 상기 단계별 작업소요시간에 반비례하고, 상기 작업 정확도 및 스마트 툴 사용 정확도에 비례하도록 작업 숙련도를 산출하는 단계를 더 포함할 수 있다.
또한, 상기 산출된 사용자의 작업 숙련도를 현장 트윈모델의 작업대상에 매칭된 가상객체 또는 사용자의 식별정보에 대해 저장하고 관리하는 단계를 더 포함할 수 있다.
실시예에 따른 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법은, 기 학습된 작업공간 내에 매칭된 작업 가이드의 가상 컨텐츠를 작업에 따라서 작업공간에 매칭시켜 증강현실 컨텐츠로 표시함으로써, 직관적이고 정확한 작업 가이드를 제공할 수 있다.
또한, 실시예에 따른 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법은, 작업 각 단계별로, 사용자의 시야의 작업공간에 매칭된 가상 컨텐츠를 작업 정보를 나타내도록 출력하여, 사용자가 손쉽게 작업을 따라하도록 유도할 수 있다.
또한, 실시예에 따른 작업 가이드에 따른 작업 숙련도 평가방법은, 각 단게별로 작업 가이드가 제공되는 동안 작업 수행정보를 획득하고, 획득된 작업 수행정보를 통해 사용자의 작업 숙련도를 정확하게 평가할 수 있다.
또한, 실시예에 따른 작업 가이드에 따른 작업 숙련도 평가방법은, 평가된 작업 숙련도를 디지털 트윈에 매칭하여 저장 관리함으로써, 사용자의 작업현황 및 작업대상의 작업 난이도 등의 정확한 현장 작업 상황을 모니터링할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실 기반 작업 가이드 제공 시스템 개념도의 일례이다.
도 2a는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스를 통해 증강현실 환경을 경험하는 일례를 나타낸다.
도 2b는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도의 일례이다.
도 3은 본 발명의 실시예에 따른 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 및 작업 가이드에 따른 작업 숙련도 평가방법을 나타내는 흐름도의 일례이다.
도 4는 본 발명의 실시예에 따른 실제 작업공간의 일례이다.
도 5는 본 발명의 실시예에 따른 작업 가이드의 가상 컨텐츠가 증강현실 환경에서 표시된 컨셉의 일례이다.
도 6은 본 발명의 실시예에 따른 자재 지시 정보의 가상 컨텐츠가 증강현실 환경에서 표시된 컨셉의 일례이다.
도 7은 본 발명의 실시예에 따른 자재 지시 정보의 가상 컨텐츠가 증강현실 환경에서 표시된 컨셉의 다른 일례이다.
도 8은 본 발명의 실시예에 따른 디지털 트윈 개념을 설명하기 위한 개념도의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법은, 작업 가이드를 사용자에게 증강현실 환경 상에서 경험하도록 제공하여, 직관적이고 정확한 작업 가이드를 사용자에게 제공할 수 있다.
여기서, 증강현실 환경은, 사용자 주변의 물리적 공간에 가상 컨텐츠가 삽입되어 유저에게 제공되는 정보가 증강된 환경을 의미하며, 증강현실(AR) 환경뿐만 아니라, 혼합현실 환경(MR)을 포함할 수 있다.
상기 가상 컨텐츠는, 컴퓨팅 디바이스에서 생성된 가상의 컨텐츠로, 라벨, 텍스트 정보, 이미지, 드로잉 객체 및 3 차원 엔티티를 포함한다. 그리고 이러한 가상 컨텐츠는, 사용자 주변 물리적 공간에서 기 학습된 작업공간이나, 기 설정된 사용자의 시야영역에 매칭되어 표시됨으로써, 사용자에게 증강현실 환경의 경험 내에서 작업 가이드를 제공할 수 있다.
또한, 작업 가이드에 따른 작업 숙련도 평가방법은, 증강현실 환경에서 제공되는 작업 가이드에 따라서 작업을 수행하는 사용자의 작업 수행정보를 검출하고, 검출된 작업수행정보에 기초하여 사용자의 작업 숙련도를 평가할 수 있다.
또한, 작업 가이드에 따른 작업 숙련도 평가방법은, 이와 같이 평가된 작업 숙련도는 디지털 트윈(이하, “현장 트윈모델”) 내에 사용자 식별정보 또는/및 작업 대상인 실제객체에 대응한 가상객체에 매칭되어 저장 및 관리할 수 있다.
여기서, 현장 트윈모델이란, 현장의 물리적 공간을 스캔한 데이터(예컨대, 영상 및 깊이 정보)를 기초로 물리적 공간을 3차원 가상공간에 맵핑하여 생성된 3차원 가상 모델일 수 있다. 따라서, 실제 현장의 3차원 공간좌표와 3차원 가상공간의 가상좌표가 매칭될 수 있으며, 3차원 공간의 실제객체는 실제객체의 실제좌표에 매칭된 상기 3차원 가상공간의 가상좌표에 가상객체로 현장 트윈모델에 포함될 수 있다.
이하, 이러한 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 및 작업 가이드에 따른 작업 숙련도 평가방법을 수행하는 증강현실 기반 작업 가이드 제공 시스템에 대해 상세히 설명하기로 한다.
<증강현실 기반 작업 가이드 제공 시스템>
도 1은 본 발명의 실시예에 따른 증강현실 기반 작업 가이드 제공 시스템 개념도의 일례이다.
도 1을 참조하면, 본 발명의 실시예에 따른 일 예시의 증강현실 기반 작업 가이드 제공 시스템은, 컴퓨팅 디바이스(100, 101), 스마트 툴(300) 및 서버 시스템(200)을 포함한다.
이러한 도 1의 각 구성요소는, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 , 컴퓨팅 디바이스, 스마트 툴 및 서버 시스템(200) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, UWB(Ultra Wide Band) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등의 다양한 유무선 네트워크를 포함할 수 있으나, 이에 한정되지는 않는다.
- 서버 시스템(200)
서버 시스템(200)은, 증강현실 환경에 기초한 작업 가이드를 사용자에게 제공하는 작업 가이드 제공서버(210)와, 상기 작업 가이드를 통해 작업을 수행한 사용자의 작업 수행정보에 따라서 작업 숙련도를 평가하는 작업 숙련도 평가서버(220)와, 작업 가이드에 포함된 가상 컨텐츠를 저장하는 가상 컨텐츠 데이터베이스(230)와, 기학습된 작업공간에 대한 공간정보, 마커 등의 특징 정보, 공간좌표 등을 포함하는 공간정보 데이터베이스(240)를 포함할 수 있다.
작업 가이드 제공서버(210)는, 사용자의 컴퓨팅 디바이스에서 작업 가이드 요청시, 요청한 작업 가이드를 데이터베이스에서 추출하고, 추출된 작업 가이드를 컴퓨티 디바이스에 송신할 수 있다.
예를 들어, 작업 가이드 제공서버(210)는, 사용자의 컴퓨팅 디바이스에서 인식된 마커의 특징 정보를 수신할 수 있으며, 마커의 특징 정보로 기학습된 작업 공간을 확인한 후, 확인된 작업 공간에 대한 작업 가이드를 추출하여 제공할 수 있다.
또한, 작업 가이드 제공서버(210)는, 작업 공간에 공간정보를 상기 마커 기준으로 인식하고, 작업 가이드에 대한 가상 컨텐츠를 공간정보에 따라 작업 공간에 공간좌표에 매칭하여 컴퓨팅 디바이스에 송신할 수 있다. 이를 수신한 컴퓨팅 디바이스는, 가상 컨텐츠를 작업 공간에 대응시켜 오버레이하여 표시함으로써, 증강현실 환경에 기초한 작업 가이드를 제공할 수 있다.
상기 전술한 작업 가이드 제공서버(210)의 증강현실 기반 작업 가이드 제공 프로세스의 적어도 일부는 컴퓨팅 디바이스에서 직접 수행될 수 있으며, 이하에서는 컴퓨팅 디바이스가 주체로 증강현실 기반 작업 가이드 제공 프로세스가 수행되는 것으로 설명한다.
작업 숙련도 평가서버(220)는, 작업 가이드를 제공함에 따라 작업을 수행하는 사용자의 작업 수행정보를 컴퓨팅 디바이스로부터 획득하고, 획득된 작업 수행정보를 분석하여 작업 수행에 대한 작업 숙련도 평가를 생성할 수 있다.
여기서, 작업 수행정보는, 각 단계별 작업소요시간, 스마트 툴에 따른 작업 정확도 및 촬영영상에 따른 작업 정확도 중 적어도 하나 이상의 정보를 포함할 수 있다.
작업 숙련도 평가서버(220)는, 컴퓨팅 디바이스를 통해 작업 가이드의 각 단계에서 소요된 시간 정보를 산출할 수 있다.
또한, 작업 숙련도 평가서버(220)는, 스마트 툴로부터 작업 데이터를 수신한 후 작업 데이터로부터 작업 정확도를 산출할 수 있다.
또한, 작업 숙련도 평가서버(220)는, 촬영영상 내에 사용자의 작업수행 이미지를 추출하고 분석하여 작업 정확도를 산출할 수 있다.
작업 숙련도 평가서버(220)는, 산출된 단계별 작업소요시간 및 작업 정확도를 종합적으로 평가하여, 사용자의 작업 수행에 대한 작업 숙련도를 산출할 수 있다.
이러한 작업 숙련도를 평가하는 프로세스의 적어도 일부는 컴퓨팅 디바이스에서 직접 수행될 수 있으며, 이하에서는 컴퓨팅 디바이스가 주체로 작업 숙련도를 평가하는 프로세스가 수행되는 것으로 설명한다.
가상 컨텐츠 데이터베이스(230)에는, 증강현실 환경이나, 혼합현실 환경을 구현하기 위한 가상 컨텐츠 데이터가 저장되어 있을 수 있다. 이러한 가상 컨텐츠 데이터베이스(230)는, 상기 가상 컨텐츠를 실제객체(예컨대, 마커)나 공간좌표에 매칭시켜 가상 컨텐츠로 저장할 수 있다.
또한, 가상 컨텐츠는 현장 트윈모델의 3차원 가상공간의 가상좌표에 매칭시켜 가상 컨텐츠로 저장될 수 있다.
그리고 가상 컨텐츠 데이터베이스(230)는, 컴퓨팅 디바이스 요청시 상기 컴퓨팅 디바이스의 주변 물리적 공간에 매칭된 가상 컨텐츠를 전달하는 가상 컨텐츠 소스 역할을 수행할 수 있다.
또한, 가상 컨텐츠 데이터베이스(230)는, 현장 트윈모델을 구축하는 가상객체를 모델링한 3차원 가상 이미지와, 상기 가상객체에 대한 현장센서 데이터를 정보화한 가상 컨텐츠 등을 더 포함할 수 있ㄷ다.
또한, 공간정보 데이터베이스(240)는, 현장 물리적 공간을 스캔하거나 3차원 공간 모델링하여 물리적 공간에 대한 정보 데이터를 저장할 수 있다. 또한, 물리적 공간 내에 실제객체, 마커 등을 이미지 학습하여 획득된 특징 정보들이 더 저장될 수 있으며, 특징 정보들은 공간 정보와 매칭되어 저장될 수 있다.
즉, 서버 시스템(200)은, 컴퓨팅 디바이스의 주변 물리적 공간에 대한 가상 컨텐츠 데이터와 공간정보 데이터를 함께 송신하여, 상기 컴퓨팅 디바이스를 통해 증강현실 환경을 제공하거나 현장 트윈모델을 통해 제공할 수 있다.
이러한 서버 시스템(200)은, 적어도 하나 이상의 컴퓨팅 서버, 컴퓨팅 장치, 데이터베이스 서버로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 커뮤니케이션 중계 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.
- 스마트 툴(300)
스마트 툴(300)은, 작업 가이드의 적어도 일부 단계에서 사용되는 작업용 공구일 수 있다.
이러한 스마트 툴(300)은, 사용자에게 의해 특정 작업을 수행할 수 있으며, 이때, 작업 수행에 따른 작업 데이터를 센싱하여, 서버 시스템(200)이나 컴퓨팅 디바이스로 송신할 수 있다.
예를 들어, 스마트 툴(300)은, 무선 통신이 가능한 전동 공구 중 하나일 수 있다. 상기 스마트 툴(300)은, 볼트 체결 작업을 수행하는 전동 드릴일 수 있다.
상기 스마트 툴(300)은, 사용자가 볼트 체결 작업을 수행하기 위해 장착한 드릴비트 종류를 감지하고, 사용자가 설정한 회전 토크 힘을 감지하고, 마지막 볼트 체결 완료시 볼트에 가해진 압력을 감지하여, 작업 데이터를 생성할 수 있다.
그리고 스마트 툴(300)은, 생성된 작업 데이터를 컴퓨팅 디바이스에 송신하여, 증강현실 컨텐츠로 실시간 작업 데이터를 표시하여, 사용자의 작업을 보조할 수 있다.
또한, 스마트 툴(300)은, 생성된 작업 데이터를 서버 시스템(200)이나 컴퓨팅 디바이스로 송신하여, 작업 숙련도를 산출하기 위한 기초 데이터로 활용할하도록 제공할 수 있다.
- 컴퓨팅 디바이스
현장 컴퓨팅 디바이스(100)는, 설치된 증강현실 어플리케이션의 제어에 따라서 물리적 공간의 실제객체에 매칭된 가상 컨텐츠를 출력하여, 작업 가이드를 증강현실 환경에 따른 경험으로 사용자에게 제공할 수 있다.
이러한 컴퓨팅 디바이스(100)는, 증강현실 어플리케이션이 설치된 다양한 타입(예컨대, 웨어러블 타입 또는 모바일 타입)의 컴퓨팅 디바이스(100)를 포함할 수 있다.
이하 설명에서는 현장 컴퓨팅 디바이스(100)는 증강현실 환경 제공시 사용자의 양손이 자유로운 웨어러블 타입 컴퓨팅 디바이스(100)인 것으로 설명한다.
다만, 원격 컴퓨팅 디바이스(100)에 웨어러블 타입이나 모바일 타입 컴퓨팅 디바이스(100)가 포함되는 실시예도 가능할 것이다.
도 2a는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(100)를 통해 증강현실 환경을 경험하는 개념도이고, 도 2b는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(100)의 내부 블록도이다.
실시예에 따른 컴퓨팅 디바이스(100)는, 스마트 글래스(smart glasses display)나 헤드 마운티드 디스플레이(HMD)와 같은 웨어러블 타입의 컴퓨팅 디바이스(100)를 포함할 수 있다.
스마트 글라스 타입의 컴퓨팅 디바이스(100)는, 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 컨텐츠(예컨대, 가상객체 이미지)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.
자세히, 실시예의 컴퓨팅 디바이스(100)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.
예를 들어, 도 2a를 참조하면, 컴퓨팅 디바이스(100)의 증강현실 어플리케이션(111)은, 주변 물리적 공간(10)에서 사용자가 바라본 시야영역(30)에 실제객체(RO)와 실제객체 내 마커(MK) 등을 이미지 인식할 수 있으며, 인식된 마커(MK)에 대응되는 사용자의 시야영역(30)에 가상 컨텐츠(VC1)을 표시하도록 제어할 수 있다.
또한, 증강현실 어플리케이션(111)은, 학습된 실제객체를 인식할 수 있으며, 인식된 실제객체의 위치에 대응되는 사용자의 시야(30)에 가상 컨텐츠(VC2)를 표시하도록 제어할 수 있다.
또한, 증강현실 어플리케이션(111)은, 학습된 실제객체나 마커(MK)를 통해 물리적 공간을 인식할 수 있으며, 인식된 공간의 특정 위치에 매칭된 가상 컨텐츠를 사용자의 시야(30)의 대응되도록 표시할 수 있다.
이러한 가상 컨텐츠는 컴퓨팅 디바이스(100)에서 사용자 시야(30)의 일부분에 디스플레이 될 수 있는 이미지 또는 영상과 같은 시각 컨텐츠를 포함할 수 있다. 예를 들어, 가상 컨텐츠는 물리적 공간의 다양한 부분을 오버레이하는 가상객체 이미지들을 포함할 수 있다. 이러한 가상객체 이미지는 2D 이미지 또는 3D 이미지로 렌더링 될 수 있다.
헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101)는, 디스플레이 시스템에 의해서만, 디스플레이된 이미지를 볼 수 있도록 주변 물리적 공간에 대한 광을 차단할 수 있다. 이러한 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101)는, 3차원 장면을 인식시키기 위해 좌안과 우안 디스플레이 각각에 시차에 오프셋을 둔 서로 다른 이미지를 출력함으로써, 3차원 영상을 출력할 수 있다.
그리고 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101) 또한, 주변 물리적 공간을 촬영한 영상 및 상기 촬영한 영상을 기초로 생성된 가상 컨텐츠를 3차원 영상으로 출력함으로써, 증강현실 환경을 제공할 수 있다.
이하에서는, 이러한 웨어러블 타입 디바이스 중 스마트 글라스 타입의 컴퓨팅 디바이스(100)를 중심으로 구체적인 구성요소를 설명하기로 한다.
도 2b를 참조하면, 예시적인 구현에 따른 컴퓨팅 디바이스(100)는, 증강현실 어플리케이션(111)을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 컴퓨팅 디바이스(100)의 하우징 내에 포함되도록 구현될 수 있다.
메모리(110)에는, 증강현실 어플리케이션(111)이 저장되며, 증강현실 어플리케이션(111)에는 증강현실 환경을 제공하기 위한 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(110)는 증강현실 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
실시예에서 증강현실 어플리케이션(111)은, 증강현실 환경에 기초하여 커뮤니케이션을 수행하는 위한 커뮤니케이션 어플리케이션을 포함할 수 있다. 커뮤니케이션 어플리케이션은, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스를 제공하기 위한 각종 어플리케이션, 엔진, 데이터 및 명령어를 포함할 수 있다.
또한, 증강현실 어플리케이션(111)은, 위험구역 진입 시 위험상황에 대한 알림을 증강현실 환경을 기반으로 제공하는 위험 알림 어플리케이션을 포함할 수 있다.
또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(120)는, 증강현실 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 증강현실 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(120)는, 증강현실 작업 가이드, 증강현실 커뮤니케이션, 위험 알림 서비스를 제공하기 위하여 메모리(110)의 증강현실 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
예를 들어, 프로세서 어셈블리(120)는, 이미지 센서를 기반으로 획득된 영상으로부터 실제객체를 인식할 수 있고, 인식된 실제객체에 가상 컨텐츠를 매칭한 증강현실 영상을 생성하고 표시하도록 컴퓨팅 디바이스(100)의 구성요소들을 제어할 수 있다.
이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 모듈(130)은, 다른 컴퓨팅 장치(예컨대, 서버 시스템(200))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 통신 모듈(130)은, 증강현실 환경을 구현하기 위한 가상 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서 통신 모듈(130)은, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스와 관련된 커뮤니케이션 데이터를 서버 시스템(200) 및/또는 다른 컴퓨팅 디바이스(100)와 송수신할 수 있다.
이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 거리 센서, 근접 센서, 접촉 센서 또는 태그(167) 등 다양한 센서를 포함할 수 있다.
태그(167)는, 현장 유저의 신원정보 및 실시간 타임 정보를 포함하는 무선신호를 일정간격 단위로 송출할 수 있다.
상기 태그(167)는, 별도의 무선신호 송출장치로 현장유저가 가질 수 있으나, 실시예에서는 현장 유저의 컴퓨팅 디바이스(100)에 포함된 것으로 설명한다.
자세히, 태그(167)는, 현장유저의 신원정보(ID, identification) 및 타임 스탬프(time stamp)를 나노초 또는 밀리초 단위로 송출되는 UWB 무선신호일 수 있다.
UWB에 기반한 측위 기법은 IEEE 802.15.3a와 IEEE 802.15.4a에서 상업적 이용을 위한 표준화가 시작되어 되었으므로, 상기 표준화 통신 기법을 사용하는 것으로 설명한다.
자세히, IR-UWB(Impulse-Radio Ultra Wide Band)는 전송 방식에 따라 3.1~10.6 GKHZ 대역에서 100Mpbs 이상의 고속으로 데이터 전송 또한 가능하며 낮은 전력으로 수십 cm부터 이내의 정밀도 높은 위치추적이 가능한 장점이 있다.
이미지 센서(161)는, 컴퓨팅 디바이스(100) 주위의 물리적 공간(10)에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서 이미지 센서(161)는, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스에 관련된 영상을 촬영하여 획득할 수 있다.
또한, 이미지 센서(161)는, 컴퓨팅 디바이스(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 컴퓨팅 디바이스(100)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간(10)을 촬영할 수 있다.
이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
IMU(163)는 컴퓨팅 디바이스(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 컴퓨팅 디바이스(100) 주변의 물리적 공간(10)에 대한 공간 정보를 인식할 수 있다.
또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.
또한, 일부 구현들에서, 증강현실 어플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간(10) 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간(10) 내의 특징 또는 객체를 인식할 수 있다.
오디오 센서(165)는, 컴퓨팅 디바이스(100) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(165)는, 컴퓨팅 디바이스(100) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(165)는 증강현실 커뮤니케이션 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.
인터페이스 모듈(140)은, 컴퓨팅 디바이스(100)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스 모듈(140)을 통해 컴퓨팅 디바이스(100)는, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 컴퓨팅 디바이스(100) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(110) 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(150)은 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.
또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(170)은, 컴퓨팅 디바이스(100) 주변 물리적 공간(10)으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.
이러한 디스플레이 시스템(170)은, 컴퓨팅 디바이스(100)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 컨텐츠로 출력함으로써, 사용자는 가상 컨텐츠를 3차원 이미지로 인식할 수 있다.
실시예에서 디스플레이 시스템(170)은, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이러한 웨어러블 타입 컴퓨팅 디바이스(100)는, 작업 현장과 같은 물리적 공간(10)에 위치한 현장 작업자가 현장 작업을 수행하며 착용하여 사용할 수 있다.
<증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법>
이하, 사용자의 컴퓨팅 디바이스(100)가 증강현실 어플리케이션(111)을 통해 작업 가이드를 사용자에게 제공하고, 작업 가이드에 따른 사용자의 작업 수행정보를 획득하여 작업 숙련도를 평가하는 방법을 도 3내지 도 8을 참조하여 상세히 설명한다.
컴퓨팅 디바이스(100)는, 사용자의 입력에 따라 증강현실 어플리케이션(111)을 실행할 수 있다. (S101)
증강현실 어플리케이션(111)은, 사용자 주변의 작업공간을 인식하고, 인식된 작업공간에 매칭된 작업 가이드를 증강현실 기반으로 제공할 수 있다.
이를 위해, 증강현실 어플리케이션(111)이 실행되면, 증강현실 어플리케이션(111)은, 이미지 센서(161)를 활성화하여 주변 물리적 공간을 촬영할 수 있다.
그리고 증강현실 어플리케이션(111)은, 촬영된 촬영영상 내에서 기 학습된 작업공간에 대한 정보를 검출할 수 있다 (S103)
자세히, 증강현실 어플리케이션(111)은, 촬영영상을 이미지 처리하여 특징 정보를 추출할 수 있으며, 특징 정보에 매칭된 작업공간을 공간정보 데이터베이스(240)나 메모리에서 검출하므로써, 사용자 주변의 작업공간을 인식할 수 있다.
예를 들어, 도 4를 참조하면, 물리적 공간(10) 내에 작업공간(WS)에 마커들(MK1, MK2)이 배치될 수 있으며, 상기 마커들(MK1, MK2)을 스캔하여 학습함으로써 상기 작업공간(WS)에 대한 3차원 공간정보가 공간정보 데이터베이스(240)에 기 저장될 수 있다.
좀더 상세히, 작업공간(WS)의 워크벤치 상에는 작업공간(WS)에 대한 메인 마커(MK1)가 배치될 수 있고, 작업 가이드 제공시 인식이 필요한 작업공간(WS) 내 서브공간(또는, 실제객체)를 특정하는 서브 마커(MK2)들이 배치될 수 있다.
증강현실 어플리케이션(111)은, 상기와 같은 작업공간(WS)을 촬영한 촬영영상을 이미지 처리하여 특징 정보를 기반으로 마커를 추출할 수 있으며, 공간정보 데이터베이스(240)를 통해 추출된 마커 정보로 검색하여, 사용자 주변에 위치한 작업공간(WS)을 검출할 수 있다.
작업공간(WS) 인식이 완료되면, 증강현실 어플리케이션(111)은, 인식된 작업공간(WS)에 대한 작업 가이드를 획득할 수 있다. (S105)
즉, 증강현실 어플리케이션(111)은, 마커를 기준으로 하여 작업공간(WS)의 3차원 공간정보를 인식하고, 상기 마커 또는 3차원 공간정보에 매칭된 작업 가이드를 서버 시스템(200)으로부터 수신하여 획득할 수 있다.
여기서, 작업 가이드는, 단계별로 조립 가이드 정보, 자재 지시 정보, 체결 가이드 정보, 부품 삽입/제거 가이드 정보 및 케이블 연결 가이드 정보 중 적어도 하나의 정보를 포함할 수 있다.
또한, 작업 가이드는, 포함한 정보를 나타내는 증강현실 텍스트, 이미지 및 애니메이션 중 적어도 하나의 3차원 모델링된 가상 컨텐츠를 포함할 수 있다.
이러한 가상 컨텐츠는, 작업공간(WS)의 공간좌표, 작업공간(WS) 내 실제객체, 작업공간(WS) 내 마커에 매칭될 수 있으며, 컴퓨팅 디바이스(100)는 매칭된 공간이나 객체 주변에 상기 가상 컨텐츠를 오버레이하여 표시함으로써, 증강현실 기반 작업 가이드를 제공할 수 있다.
또한, 가상 컨텐츠 중 일부는, 사용자의 시야에 일정영역에 고정되어 표시될 수도 있다.
도 5를 참조하면, 조립 공정에 대한 작업 가이드를 표시한 사용자 주변의 물리적 공간(10)을 나타내며, 작업공간(WS)을 바라본 사용자의 시야에는 디스플레이 시스템(170)에 의해 출력된 가상 컨텐츠들(VR1, VR2, VR3, VR4, VR5, VR6)이 표시될 수 있다. 자세히, 증강현실 어플리케이션(111)은 사용자의 시야영역 중 제 1 영역에 고정하여 조립 공정을 나타내는 3차원 애니메이션인 제 1 가상 컨텐츠(VR1)를 오버레이하여 출력하도록 제어할 수 있다.
또한, 증강현실 어플리케이션(111)은, 조립공정에 대한 매뉴얼을 나타내는 텍스트 메시지를 사용자의 시야영역 중 제 2 영역에 고정된 제 2 가상 컨텐츠(VR2)로 오버레이하여 출력하도록 제어할 수 있다.
또한, 증강현실 어플리케이션(111)은, 조립공정의 세부단계를 전후로 이동시키는 버튼을 제 3 가상 컨텐츠(VR3)로 출력하도록 제어할 수 있다.
또한, 증강현실 어플리케이션(111)은, 조립공정을 수행하기 위한 스마트 툴(300)에 대한 정보를 나타내는 제 4 가상 컨텐츠(VR4)와, 제 5 가상 컨텐츠(VR5)를 시야영역 상에 오버레이하여 표시하도록 제어할 수 있다
이때, 처음 표시된 스마트 툴(300)의 드릴비트 종류를 가이드하는 제 4 가상 컨텐츠(VR4)는, 이후 사용자가 스마트 툴(300)에 드릴비트를 장착하여 작업을 수행하면, 스마트 툴(300)로부터 장착된 드릴비트 종류에 대한 정보를 수신하여, 현재 장착된 드릴비트를 나타내도록 변경될 수 있다.
또한, 처음 표시된 스마트 툴(300)의 출력을 가이드하는 제 5 가상 컨텐츠(VR5)는, 이후 사용자가 스마트 툴(300)에 입력이 가해져 동작하면, 스마트 툴(300)로부터 동작에 따른 실시간 출력값을 수신하여, 실시간 출력값을 나타내도록 변경될 수 있다.
또한, 증강현실 어플리케이션(111)은, 조립공정의 세부적인 단계의 진행을 체크하는 프로세스 체크 리스트를 제 6 가상 컨텐츠(VR6)로 제공할 수 있다.
제 6 가상 컨텐츠(VR6)는, 이미지 센서(161)의 촬영영상, 스마트 툴(300)로부터 수신한 작업 데이터 등을 토대로 세부 단계에 진행을 자동 체크하여, 세부단계 진행 프로세스 체크 리스트가 자동으로 체크되도록 변경될 수 있다.
도 6은 사용자가 자재가 위치한 공구함을 공간을 바라본 시야(30)를 나타내며, 증강현실 어플리케이션(111)은, 공구함 내에 위치한 자재들을 인식하고, 인식된 자재들에 정보를 나타내는 제 10 가상 컨텐츠(VR10)를 사용자 시야(30)의 공구함 상에 오버레이하여 출력할 수 있다.
자세히, 증강현실 어플리케이션(111)은, 촬영영상에서 서브 마커를 검출하면, 서브 마커에 매칭된 자재 정보를 획득할 수 있다.
이러한 자재 정보는 서브 마커 주변의 소정의 위치에 매칭되어 있어, 증강현실 어플리케이션(111)은, 서브 마커 상에 자재 정보를 나타내는 제 10 가상 컨텐츠(VR11)를 표시할 수 있다.
또한, 증강현실 어플리케이션(111)은, 촬영영상에서 사용자의 손(H)의 움직임을 이미지 분석을 통해 인식하고, 사용자 손의 자재 선택을 보조하는 제 11 가상 컨텐츠(VR11)를 공구함과 매칭하여 더 표시할 수 있다.
도 7을 참조하면, 증강현실 어플리케이션(111)은, 사용자의 손(H)이 작업 가이드의 현재 작업단계에 불일치한 자재의 소정의 거리내로 진입함을 감지하면, 알림을 제 20 가상 컨텐츠(VR20)로 제공하고, 현재 작업단계에 일치하는 자재의 위치를 나타내는 제 21 가상 컨텐츠(VR21)를 출력하도록 제어할 수 있다.
이와 같이, 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법은, 기 학습된 작업공간(WS) 내에 매칭된 작업 가이드의 가상 컨텐츠를 작업에 따라서 작업공간(WS)에 매칭시켜 증강현실 컨텐츠로 표시함으로써, 직관적이고 정확한 작업 가이드를 제공할 수 있다.
증강현실 어플리케이션(111)은, 작업 가이드가 출력되는 동안 사용자가 수행하는 작업 수행정보를 획득할 수 있다. (S109)
여기서, 작업 수행정보는, 각 단계별 작업소요시간, 스마트 툴(300)에 따른 작업 정확도 및 촬영영상에 따른 작업 정확도 중 적어도 하나 이상의 정보를 포함할 수 있다.
자세히, 증강현실 어플리케이션(111)은, 작업 가이드의 각 작업 단계별 작업소요시간을 감지할 수 있다. 예를 들어, 작업 가이드의 각 단계에 머무는 시간을 체크하여, 작업 단계별 작업소요시간을 체크할 수 있다.
이때, 증강현실 어플리케이션(111)은, 각 단계 작업에 대한 세부 작업 단계 별로 작업소요시간을 체크할 수도 있다. 예를 들어, 증강현실 어플리케이션(111)은, 제 6 가상 컨텐츠를 변경하는 과정과 동일하게 각 세부단계에 작업소요시간을 자동으로 체크할 수 있다.
또한, 증강현실 어플리케이션(111)은, 스마트 툴(300)로부터 작업 데이터를 수신한 후 작업 데이터로부터 작업 정확도를 산출할 수 있다.
예를 들어, 증강현실 어플리케이션(111)은, 작업 가이드에 따른 스마트 툴(300) 사용 정보와, 실제 사용자가 수행함에 따라 스마트 툴(300)로부터 획득된 작업 데이터와의 일치율을 비교하여, 스마트 툴(300) 사용 정확도를 산출할 수 있다.
또한, 증강현실 어플리케이션(111)은, 촬영영상 내에 사용자의 작업수행 이미지를 추출하고 분석하여 작업 정확도를 산출할 수 있다.
예를 들어, 증강현실 어플리케이션(111)은, 제 1 부품이 제 1 수용공간에 위치하도록 하는 애니메이션 가상 컨텐츠와, 촬영영상에서 제 1 부품이 제 1 수용공간에 위치시키는 영상을 비교하여, 작업 정확도를 산출할 수 있다.
그리고 증강현실 어플리케이션(111)은, 산출된 단계별 작업소요시간 및 작업 정확도를 종합적으로 평가하여, 사용자의 작업 수행에 대한 작업 숙련도를 산출할 수 있다. (S111)
예를 들어, 증강현실 어플리케이션(111)은, 작업소요시간에 반비례하도록 작업 숙련도를 산출할 수 있고, 작업 정확도나 사용 정확도에 비례하도록 작업 숙련도를 산출할 수 있다.
사용자 주변 물리적 공간에는, 특징 정보를 나타내는 마커들이 배치될 수이
작업 숙련도를 산출한 증강현실 어플리케이션(111)은, 작업 완료 후 증강현실의 가상 컨텐츠를 통해 작업 숙련도 평가점수를 표시하여, 사용자에게 제공할 수 있다. (S113)
이때, 세부적인 작업 숙련도 평가이유를 텍스트나, 점수가 차감된 작업 단계를 가상 컨텐츠로 제공하여, 사용자에게 작업 숙련도를 높이기 위한 가이드를 제공할 수 있다.
증강현실 어플리케이션(111)은, 평가한 사용자의 작업 숙련도를 디지털 트윈의 현장 트윈모델에 저장하고 관리할 수 있다.
도 8을 참조하면, 현장 트윈모델(50)이란, 현장의 물리적 공간(10)을 스캔한 데이터(예컨대, 영상 및 깊이 정보)를 기초로 물리적 공간(10)을 3차원 가상공간에 맵핑하여 생성된 3차원 가상 모델일 수 있다. 따라서, 실제 현장의 3차원 공간좌표와 3차원 가상공간의 가상좌표가 매칭될 수 있으며, 3차원 공간의 실제객체는 실제객체의 실제좌표에 매칭된 상기 3차원 가상공간의 가상좌표에 가상객체로 현장 트윈모델(50)에 포함될 수 있다.
또한, 현장 트윈모델(50)에는, 현장에 속한 작업자들의 식별정보가 저장될 수 있으며, 작업자들의 실제위치를 측위하여, 측위된 실제위치에 대응되는 현장 트윈모델(50)의 가상위치에 현장 작업자의 식별정보를 나타내는 가상 컨텐츠가 표시될 수 있다.
증강현실 어플리케이션(111)은, 이러한 현장 트윈모델(50)에 저장된 사용자의 식별정보(T1)에 매칭하여 상기 작업 숙련도 정보를 저장하고 관리할 수 있다.
그리고 증강현실 어플리케이션(111)은, 사용자에 저장된 작업 숙련도 이력을 분석하여, 사용자에게 적합한 작업과 부적합한 작업을 구분하여, 현장 트윈모델(50)에 분석된 작업 성향 정보를 표시하여, 원격 관리자에게 알릴 수 있다.
또한, 증강현실 어플리케이션(111)은, 작업대상에 대응되는 가상객체(T2)에 복수의 사용자의 작업 숙련도를 저장하고, 그 이력을 관리할 수 있다.
이때, 증강현실 어플리케이션(111)은, 작업 숙련도 이력을 분석하여, 작업 가이던스르 수정여부를 검출할 수 있다.
예를 들어, 증강현실 어플리케이션(111)은, 작업 숙련도의 변화가 소정의 수치 이하라면, 작업 가이드의 수정이 필요한 것으로 검출하고, 현장 트윈모델(50)에 표시하여 원격 관리자에게 알릴 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (7)

  1. 사용자 시야 상에 가상 컨텐츠를 오버레이하여 증강현실 환경을 제공하는 컴퓨팅 디바이스에서 수행하는 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법으로서,
    사용자 주변 작업공간을 검출하는 단계;
    상기 검출된 작업공간에 대응되는 작업 가이드를 획득하는 단계;
    상기 작업 가이드의 각 단계별로 속하는 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계; 및
    상기 사용자의 작업 수행에 따라 제 1 작업 단계가 완료되면, 제 2 작업 단계에 대한 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계를 포함하고,
    상기 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계는,
    특정 작업의 수행을 목적으로 상기 사용자에 의해 사용됨에 따른 작업 데이터를 생성하는 공구인 스마트 툴(smart tool)에 기반한 정보를 나타내는 제 4 가상 컨텐츠 및 제 5 가상컨텐츠를 표시하는 단계를 포함하고,
    상기 사용자의 작업 수행에 따른 각 단계별 작업 수행정보를 획득하는 단계를 더 포함하고,
    상기 사용자의 작업 수행에 따른 각 단계별 작업 수행정보를 획득하는 단계는, 상기 스마트 툴로부터 수신한 상기 작업 데이터를 통해 스마트 툴 사용 정확도를 산출하는 단계를 포함하고,
    상기 스마트 툴(smart tool)에 기반한 정보를 나타내는 제 4 가상 컨텐츠 및 제 5 가상 컨텐츠를 표시하는 단계는, 상기 스마트 툴을 통해 수행되는 작업이 감지되는 단계와, 상기 사용자가 상기 스마트 툴을 상기 감지된 작업으로 사용함에 따라서 상기 스마트 툴의 동작에 따른 출력값을 포함하는 작업 데이터가 생성되는 단계와, 상기 스마트 툴로부터 생성된 작업 데이터를 수신하는 단계와, 상기 수신된 작업 데이터를 기초로 상기 감지된 작업을 상기 제 4 가상 컨텐츠로 표시하고, 상기 출력값을 상기 제 5 가상 컨텐츠로 표시하는 단계를 포함하는
    증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법.
  2. 제 1 항에 있어서,
    상기 사용자 주변 작업공간을 검출하는 단계는,
    상기 작업공간 내 배치된 기학습된 마커를 검출하는 단계와,
    상기 검출된 마커에 대응되는 작업 가이드를 데이터베이스에서 검색하는 단계와,
    상기 검색된 작업 가이드 데이터를 상기 데이터베이스로부터 수신하는 단계를 포함하는
    증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법.
  3. 제 1 항에 있어서,
    상기 작업 정보를 나타내는 가상 컨텐츠를 상기 사용자의 시야 상에 오버레이하여 표시하는 단계는,
    조립 공정을 나타내는 3차원 애니메이션인 제 1 가상 컨텐츠, 조립공정에 대한 매뉴얼을 나타내는 텍스트 메시지를 제 2 가상 컨텐츠, 조립공정의 세부단계를 전후로 이동시키는 버튼을 제 3 가상 컨텐츠 중 적어도 하나 이상의 가상 콘텐츠를 표시하는 단계를 더 포함하는
    증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법.
  4. 제 1 항에 있어서,
    상기 사용자의 작업 수행에 따른 각 단계별 작업 수행정보를 획득하는 단계는,
    상기 획득된 작업 수행정보를 기초로 상기 사용자의 작업 숙련도를 평가하는 단계를 포함하는
    증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법.
  5. 제 4 항에 있어서,
    상기 사용자의 작업 수행에 따른 각 단계별 작업 수행정보를 획득하는 단계는,
    각 단계별 작업소요시간을 체크하는 단계와, 이미지 센서에서 획득된 촬영영상을 이미지 분석하여 작업 정확도를 획득하는 단계 중 적어도 하나의 단계를 더 포함하는
    증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법.
  6. 제 5 항에 있어서,
    상기 획득된 작업 수행정보를 기초로 상기 사용자의 작업 숙련도를 평가하는 단계는,
    상기 단계별 작업소요시간에 반비례하고, 상기 작업 정확도 및 스마트 툴 사용 정확도에 비례하도록 작업 숙련도를 산출하는 단계를 더 포함하는
    증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법.
  7. 제 6 항에 있어서,
    상기 산출된 사용자의 작업 숙련도를 현장 트윈모델의 작업대상에 매칭된 가상객체 또는 사용자의 식별정보에 대해 저장하고 관리하는 단계를 더 포함하는
    증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법.
KR1020190179990A 2019-12-31 2019-12-31 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 KR102418994B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179990A KR102418994B1 (ko) 2019-12-31 2019-12-31 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179990A KR102418994B1 (ko) 2019-12-31 2019-12-31 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법

Publications (2)

Publication Number Publication Date
KR20210086207A KR20210086207A (ko) 2021-07-08
KR102418994B1 true KR102418994B1 (ko) 2022-07-11

Family

ID=76894152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179990A KR102418994B1 (ko) 2019-12-31 2019-12-31 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법

Country Status (1)

Country Link
KR (1) KR102418994B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489324A (zh) * 2021-12-28 2022-05-13 北京亮亮视野科技有限公司 一种信息采集方法、装置、电子设备及存储介质
KR102520846B1 (ko) * 2022-01-20 2023-04-14 에피카 주식회사 인공지능 기반의 차량 as 공정 관리 서비스 제공 방법, 장치 및 프로그램
KR102576673B1 (ko) * 2022-12-12 2023-09-08 (주)투비시스템 증강 현실 기반의 작업 가이드 방법
KR102576677B1 (ko) * 2022-12-12 2023-09-08 (주)투비시스템 증강 현실 기반의 작업 검증 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260757B1 (ko) 2012-04-30 2013-05-06 오스템임플란트 주식회사 다중층 흡수성 치주조직재생유도막
KR101671320B1 (ko) * 2014-05-15 2016-11-02 리치앤타임(주) 다중 접속을 통하여 다수의 훈련자의 개별적인 가상훈련공간의 인식과 공유된 가상작업공간에서 집단적이며 조직적인 협력훈련이 가능한 몰입식 네트워크 가상훈련 시스템의 클라이언트 시스템을 구성하는 네트워크 가상훈련 처리장치 및 이를 이용한 몰입식 네트워크 가상훈련 방법.
KR101838939B1 (ko) * 2015-04-13 2018-03-15 주식회사 네오펙트 작업수행능력 측정시스템
KR20170002921A (ko) * 2015-06-30 2017-01-09 한국전자통신연구원 디지털 조립 설명서를 생성하는 장치 및 방법
KR20180075099A (ko) * 2016-12-26 2018-07-04 주식회사 팝스라인 Hmd 장치 및 그의 제어 방법
KR102031670B1 (ko) * 2017-11-17 2019-10-14 주식회사 코이노 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법

Also Published As

Publication number Publication date
KR20210086207A (ko) 2021-07-08

Similar Documents

Publication Publication Date Title
KR102520183B1 (ko) 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법
KR102418994B1 (ko) 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법
US10832084B2 (en) Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
KR102289745B1 (ko) 실시간 현장 작업 모니터링 방법 및 시스템
US11127210B2 (en) Touch and social cues as inputs into a computer
US10606609B2 (en) Context-based discovery of applications
EP3133470B1 (en) Electronic system, portable display device and guiding device
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的系统和方法
KR20190076770A (ko) 증강현실 기반 조립 가이드 시스템
CN111105506A (zh) 一种基于混合现实的实时监控方法及装置
JP2015125641A (ja) 情報処理装置、その制御方法、及びプログラム
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
Mladenov et al. A short review of the SDKs and wearable devices to be used for ar application for industrial working environment
KR20220010356A (ko) 증강현실 콘텐츠 기반 작업관리 시스템 및 방법
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
US20220400155A1 (en) Method and system for remote collaboration
CN112288889A (zh) 指示信息展示方法、装置、计算机设备及存储介质
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
KR102221898B1 (ko) 가이드 도구 기반의 가상 객체 시각화 방법
KR102245760B1 (ko) 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템
CN113610987B (zh) 一种基于三维重建的混合现实空间标注方法及系统
JP2019197165A (ja) 作業訓練装置、作業訓練方法、およびプログラム
Bäck Förstärkt verklighet på underjordiska gruvmaskiner
KR20230079932A (ko) 객체인식을 이용한 휴대용 군정비 교육 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant