KR102104326B1 - 증강현실 기반 정비 교육 시스템 및 방법 - Google Patents

증강현실 기반 정비 교육 시스템 및 방법 Download PDF

Info

Publication number
KR102104326B1
KR102104326B1 KR1020190077591A KR20190077591A KR102104326B1 KR 102104326 B1 KR102104326 B1 KR 102104326B1 KR 1020190077591 A KR1020190077591 A KR 1020190077591A KR 20190077591 A KR20190077591 A KR 20190077591A KR 102104326 B1 KR102104326 B1 KR 102104326B1
Authority
KR
South Korea
Prior art keywords
maintenance
augmented reality
tool model
unit
model
Prior art date
Application number
KR1020190077591A
Other languages
English (en)
Inventor
조정호
송현수
이준석
안승도
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020190077591A priority Critical patent/KR102104326B1/ko
Application granted granted Critical
Publication of KR102104326B1 publication Critical patent/KR102104326B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 기반 정비 교육 시스템 및 방법이 개시된다.
정비교육 대상 장비를 인식하고, 인식된 정비교육 대상 장비에 대한 3D 모델 및 정비교육 컨텐츠를 제공하며, 선택된 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 표시하는 증강현실 장치; 및 실제 공구와 동일 또는 유사한 형상으로 형성되고, 상기 정비 절차에 따라 상기 3D 모델을 대상으로 정비를 수행하는 사용자에 의해 조작되며, 사용자의 조작에 대응하는 반응을 제공하는 공구 모형;를 포함하는 것이 바람직하다.

Description

증강현실 기반 정비 교육 시스템 및 방법{MAINTENANCE TRAINING SYSTEM AND METHOD BASED ON AUGMENTED REALITY}
본 발명은 증강현실 기반 정비 교육 시스템 및 방법에 관한 것으로, 더욱 상세하게는 공구 모형을 이용하여 증강현실 기반 정비 교육을 수행할 수 있도록 하는 증강현실 기반 정비 교육 시스템 및 방법에 관한 것이다.
증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술로, 사용자가 좀 더 직관적인 정보 획득을 할 수 있도록 도와주는 기술이다.
정보기술의 발달로 증강현실은 게임, 마케팅, 의료, 교육, 군사, 방위산업 등 다양한 분야에 적용되고 있다.
군사, 방위산업 분야에서는 복잡한 장비에 대해 효과적인 정비 교육을 수행하기 위해 증강현실을 활용한 교육 컨텐츠를 개발하여 교육에 활용하고 있다.
종래 증강현실 기반 정비 교육 장치는 실제 장비의 형상을 카메라를 통해 인식한 후, 인식된 장비에 대한 정비 위치(Marker)를 실시간으로 디스플레이 상에 표시하고, 표시된 정비 위치를 사용자(교육생)이 터치하여 정비 절차를 숙달하도록 구현되어 있다.
이와 같이 종래에는, 정비 위치를 터치하여 정비 절차를 숙달하도록 구현되어 있으므로, 사용자(교육생)이 정비 절차에 대해서는 숙달되나 실제 공구를 사용함에 있어서는 미숙한 문제점이 있다.
한국등록특허공보 제10-1874461호(공고일 2018.07.05.)
본 발명은 이러한 문제점을 해결하기 위해 안출된 것으로, 실제 공구와 동일 또는 유사한 형상의 공구 모형을 이용하여 증강현실 기반 정비 교육을 수행할 수 있도록 하는 증강현실 기반 정비 교육 시스템 및 방법을 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강현실 기반 정비 교육 시스템은, 정비교육 대상 장비를 인식하고, 인식된 정비교육 대상 장비에 대한 3D 모델 및 정비교육 컨텐츠를 제공하며, 선택된 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 표시하는 증강현실 장치; 및 실제 공구와 동일 또는 유사한 형상으로 형성되고, 상기 정비 절차에 따라 상기 3D 모델을 대상으로 정비를 수행하는 사용자에 의해 조작되며, 사용자의 조작에 대응하는 반응을 제공하는 공구 모형;를 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 증강현실 장치는, 실사 영상을 촬영하는 카메라부; 상기 카메라부를 통해 촬영된 영상을 통해 정비 대상 장비를 인식하고, 인식된 정비 대상 장비에 대응하는 3D 모델 및 적어도 하나 이상의 정비교육 컨텐츠를 포함하는 목차, 상기 목차에서 선택된 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 상기 카메라부를 통해 촬영된 영상에 중첩시켜 증강 영상을 생성하는 증강현실부; 상기 증강현실부에서 생성된 증강 영상을 표시하는 디스플레이부; 상기 공구 모형과 유선 또는 무선 통신 방식에 따라 신호를 주고받는 유/무선 통신부; 및 상기 공구 모형으로부터 수신한 식별 정보에 의거하여 정비 절차에 맞게 사용되는 공구 모형인지를 확인하고, 정비 위치에 정확한 접촉이 이루어지는 지를 확인하는 제어부;를 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 제어부는, 확인 결과 잘못된 공구 모형이 사용되거나 잘못된 위치에 접촉이 이루어지면, 이를 사용자에게 알리는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 공구 모형은, 상기 증강현실 장치와 유선 또는 무선 통신 방식에 따라 신호를 주고받는 유/무선 통신부; 사용자의 조작에 따른 공구 모형의 자세 및 방향을 감지하는 센서부; 및 상기 센서부를 통해 사용자에 의한 사용이 감지되면, 상기 증강현실 장치로 자신의 식별 정보를 전송하고, 상기 센서부를 통해 감지된 공구 모형의 자세 및 방향 감지값을 상기 증강현실 장치로 실시간 전송하는 제어부;를 포함하는 것이 바람직하다.
본 발명의 일 실시예에 따른 증강현실 기반 정비 교육 방법은, 증강현실 장치가, 정비교육 대상 장비를 인식하고, 인식된 정비교육 대상 장비에 대응하는 3D 모델 및 적어도 하나 이상의 정비교육 컨텐츠를 포함하는 목차를 카메라부를 통해 촬영된 영상에 중첩시켜 표시하는 단계; 상기 목차에서 선택된 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 카메라부를 통해 촬영된 영상에 중첩시켜 표시하는 단계; 및 공구 모형으로부터 수신한 식별 정보에 의거하여 사용자에 의해 사용되는 공구 모형이 정비 절차에 맞게 사용되는 공구 모형인지를 확인하고, 상기 정비 위치에 정확한 접촉이 이루어지는 지를 확인하는 단계;를 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 확인결과 사용자에 의해 사용되는 공구 모형이 잘못된 공구 모형이거나, 잘못된 위치에 접촉이 이루어지면, 이를 사용자에게 알리는 단계;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 공구 모형이, 사용자에 의한 사용이 감지되면, 상기 증강현실 장치로 자신의 식별 정보를 송신하는 단계; 및 사용자의 조작에 따른 자세 및 방향을 감지하고, 감지된 자세 및 방향 감지값을 상기 증강현실 장치로 제공하는 단계;를 더 포함하는 것이 바람직하다.
본 발명의 일 실시예에서, 정비교육 대상 장비 인식은, 카메라부를 통해 촬영된 영상에 포함되어 있는 정비교육 대상 장비를 객체 인식 기술을 통해 인식하거나, 카메라부를 통해 촬영된 영상에 포함되어 있는 마커를 인식하여 정비교육 대상 장비를 인식하는 것이 바람직하다.
본 발명의 증강현실 기반 정비 교육 시스템 및 방법은, 실제 공구와 동일 또는 유사한 형상의 공구 모형을 이용하여 증강현실 기반 정비 교육을 수행함으로써, 정비 절차와 더불어 실제 공구 사용에 숙달될 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반 정비 교육 시스템의 구성을 개략적으로 보인 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 기반 정비 교육 시스템의 구동 방법을 설명하기 위한 처리도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 증강현실 기반 정비 교육 시스템 및 방법에 대해서 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 기반 정비 교육 시스템의 구성을 개략적으로 보인 도면이다.
도 1에 도시하는 바와 같이 본 발명에 따른 증강현실 기반 정비 교육 시스템은 증강현실 장치(100)와 공구 모형(200)으로 이루어질 수 있다.
증강현실 장치(100)는 정비교육 대상 장비(도시하지 않음)를 인식하고, 인식된 정비교육 대상 장비에 대한 3D 모델 및 정비교육 컨텐츠를 사용자에게 제공하며, 사용자로부터 선택받은 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 사용자에게 제공한다.
증강현실 장치(100)는 스마트폰, 태블릿 PC, HMD(Head Mounted Display) 등으로 구현될 수 있다.
증강현실 장치(100)는 카메라부(110), 증강현실부(120), 디스플레이부(130), 메모리부(140), 유/무선 통신부(150), GPS 수신부(160), 자이로 센서부(170), 전원 공급부(180), 제어부(190) 등을 포함하여 이루어질 수 있다.
카메라부(110)는 실사 영상(정지 영상 및 동영상)을 촬영한다.
증강현실부(120)는 카메라부(110)를 통해 촬영된 영상을 이용하여 정비교육 대상 장비를 인식하고, 인식된 정비교육 대상 장비에 대응하는 3D 모델과, 정비교육 대상 장비에 대응하는 적어도 하나 이상의 정비교육 컨텐츠를 포함하는 목차를 카메라부(110)를 통해 촬영된 영상에 중첩시켜 증강 영상을 생성하고, 생성된 증강 영상을 디스플레이부(130)에 표시한다.
증강현실부(120)는 디스플레이부(130)에 표시된 목차 중에서 사용자로부터 교육받고자 하는 정비교육 컨텐츠를 선택받으면, 선택받은 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 3D 모델과 함께 카메라부(110)를 통해 촬영된 영상에 중첩시켜 증강 영상을 생성하고, 생성된 증강 영상을 디스플레이부(130)에 표시한다.
여기서 정비 절차에는 정비 순서에 따라 사용되는 공구 모형(예를 들어, 십자 드라이버, 일자 드라이버, 스패너, 육각 렌치 등)과 정비 동작에 대한 설명(예를 들어, 육각 렌치를 나사 헤드에 체결시킨 후, 시계 반대 방향으로 회전시켜 나사를 푼다)이 포함될 수 있다.
증강현실부(120)는 카메라부(110)를 통해 촬영된 영상에 포함되어 있는 정비교육 대상 장비를 객체 인식 기술을 통해 인식할 수 있고, 카메라부(110)를 통해 촬영된 영상에 포함되어 있는 마커(QR 코드)를 인식하여 정비교육 대상 장비를 인식할 수 있고, 카메라부(110)를 통해 촬영된 영상에 포함되어 있는 도면을 인식하여 정비교육 대상 장비를 인식할 수도 있다.
디스플레이부(130)는 증강현실부(120)에서 생성된 증강 영상을 표시한다.
디스플레이부(130)는 LCD(Liquid Crystal Display), LED(Light Emitting Diodes), OLED(Organic LED) 등으로 구현될 수 있으며, 터치 센서가 구비된 터치스크린으로 구현되는 것이 바람직하다.
메모리부(140)는 카메라부(110)를 통해 촬영된 영상을 저장한다.
메모리부(140)는 각각의 정비교육 대상 장비에 대응하는 3D 모델, 각각의 정비교육 대상 장비에 대응하는 적어도 하나 이상의 정비교육 컨텐츠를 저장할 수 있다.
각각의 정비교육 대상 장비에 대응하는 3D 모델, 각각의 정비교육 대상 장비에 대응하는 적어도 하나 이상의 정비교육 컨텐츠는 외부 서버에 저장되어 관리될 수도 있다.
유/무선 통신부(150)는 공구 모형(200)과 유선 또는 무선 통신 방식에 따라 신호를 주고받는다.
GPS 수신부(160)는 GPS(Global Positioning System) 위성으로부터 GPS 측위 정보를 수신하여 증강현실 장치(100)의 현재 위치를 추적한다.
자이로 센서부(170)는 자세 측위 장치로서 증강현실 장치(100)의 자세 정보를 측정한다.
전원 공급부(180)는 증강현실 장치(100)에 전원이 온(ON) 됨에 따라, 증강현실 장치(100)를 구성하는 각각의 구성요소(110, 120, …, 170, 190)에 동작에 필요한 전원을 공급한다.
제어부(190)는 증강현실부(120)와 연동하여 정비교육 대상 장비에 대응하는 3D 모델과, 사용자로부터 선택받은 정비교육 컨텐츠에 대응하는 정비 절차와 정비 위치를 디스플레이부(130)에 표시한 후, 공구 모형(200)으로부터 공구 모형(200)의 식별 정보를 수신하면, 식별 정보에 의거하여 사용자가 사용하는 공구 모형(200)의 종류를 파악하고, 파악된 공구 모형(200)이 현재 정비 절차에서 사용되어야 하는 공구 모형인 경우에는 사용자에게 사용하는 공구 모형(200)이 정확한 것임을 알리고, 파악된 공구 모형(200)이 현재 정비 절차에서 사용되어야 하는 공구 모형이 아닌 경우에는 사용자에게 사용하는 공구 모형(200)이 잘못된 것임을 알린다.
그리고 공구 모형(200)이 정비 위치에 정확하게 접촉되는지를 확인하여, 공구 모형(200)이 정비 위치에 정확하게 접촉되는 경우에는 사용자에게 정확한 위치에 접촉이 이루어졌음을 알리고, 공구 모형(200)이 정비 위치에 정확하게 접촉되지 않은 경우에는 사용자에게 잘못된 위치에 접촉이 이루어졌음을 알린다.
그리고 사용자가 정비 절차에 따라 정확하게 정비 동작을 수행하는지를 확인하여, 사용자가 정비 절차에 따라 정확하게 정비 동작을 수행하는 경우에는 사용자에게 정비 동작이 정확하게 이루어지고 있음을 알리고, 사용자가 정비 절차에 따라 정확하게 정비 동작을 수행하는 못하는 경우에는 사용자에게 정비 동작이 잘못되었음을 알린다.
여기서 제어부(190)는 정비 절차에 맞는 공구 모형(200)이 사용되고 있고, 정확한 위치에 접촉이 이루어지고 있으며, 정비 절차에 맞는 정비 동작이 이루어지고 있음을 공구 모형(200)을 통해 사용자에게 알릴 수 있다.
즉 제어부(190)는 공구 모형(200)으로 진동 발생을 명령하고, 공구 모형(200)은 진동 발생 명령에 따라 진동 모터부(240)를 구동하여 진동을 발생시킴으로써, 사용자에게 정비 절차에 맞는 공구 모형(200)이 사용되고 있고, 정확한 위치에 접촉이 이루어지고 있으며, 정비 절차에 맞는 정비 동작이 이루어지고 있음을 사용자에게 알릴 수 있다.
여기서 정비 동작에 따라 사용자에게 제공되는 진동이 달라질 수 있다.
한편, 잘못된 공구 모형(200)의 사용, 잘못된 위치 접촉, 잘못된 정비 동작 등의 오류를 사용자에게 알릴 때, 제어부(190)는 증강현실 장치(100)의 디스플레이부(130)를 통해 사용자에게 오류를 알릴 수 있다.
한편, 공구 모형(200)은 실제 공구(예를 들어, 십자 드라이버, 일자 드라이버, 스패너, 육각 렌치 등)와 동일 또는 유사한 형상으로 형성될 수 있고, 정비 절차에 따라 3D 모델을 대상으로 정비를 수행하는 사용자에 의해 조작되며, 사용자의 조작에 대응하는 감지값을 증강현실 장치(100)에 제공한다.
공구 모형(200)은 유/무선 통신부(210), 가속도 센서부(220), 자이로 센서부(230), 진동 모터부(240), 전원 공급부(250), 제어부(260) 등을 포함하여 이루어질 수 있다.
유/무선 통신부(210)는 증강현실 장치(100)와 유선 또는 무선 통신 방식에 따라 신호를 주고받는다.
가속도 센서부(220)는 사용자의 조작에 따른 공구 모형(200)의 방향 정보(예를 들어, 오른쪽 회전, 왼쪽 회전 등)를 측정할 수 있다.
자이로 센서부(230)는 사용자의 조작에 따른 공구 모형(200)의 자세 정보를 측정할 수 있다.
진동 모터부(240)는 제어부(260)의 제어하에 진동을 발생시킬 수 있다.
전원 공급부(250)는 공구 모형(200)에 전원이 온(ON) 되면, 공구 모형(200)을 구성하는 각각의 구성요소(210, …, 240, 260)에 동작에 필요한 전원을 공급한다.
제어부(260)는 공구 모형(200)에 할당된 식별 정보를 저장하고 있다가, 가속도 센서부(220) 및 자이로 센서부(230)를 통해 사용자에 의한 사용이 감지되면, 식별 정보를 증강현실 장치(100)로 전송하고, 가속도 센서부(220) 및 자이로 센서부(230)를 통해 감지된 공구 모형(200)의 자세 및 방향 감지값을 증강현실 장치(100)로 실시간 전송한다.
그리고 증강현실 장치(100)로부터 진동 발생 명령이 수신되면, 진동 발생 명령에 따라 진동 모터부(240)를 구동하여 진동을 발생시킬 수 있다.
이와 같은 구성의 공구 모형(200)은 증강현실 장치(100)의 디스플레이부(130)에 접촉되거나 접근하면 디스플레이부(130)를 구성하는 터치스크린 센서에 반응을 일으켜 좌표 신호를 발생시키도록 하는 터치부(도시하지 않음)를 더 구비하여 이루어질 수 있으며, 터치부(도시하지 않음)는 공구 모형(200)의 일단에 형성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실 기반 정비 교육 시스템의 구동 방법을 설명하기 위한 처리도이다.
본 발명의 일 실시예에 따른 증강현실 기반 정비 교육 시스템의 구동 방법은 도 1에 도시된 증강현실 기반 정비 교육 시스템과 실질적으로 동일한 구성 상에서 진행되므로, 도 1의 증강현실 기반 정비 교육 시스템과 동일한 구성 요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
우선, 증강현실 장치(100)는 카메라부(110)를 통해 실사 영상을 촬영하고(S10), 증강현실부(120)는 카메라부(110)를 통해 촬영된 영상을 이용하여 정비교육 대상 장비를 인식한다(S20).
상기한 단계 S20에서 증강현실부(120)는 카메라부(110)를 통해 촬영된 영상에 포함되어 있는 정비교육 대상 장비를 객체 인식 기술을 통해 인식할 수 있고, 카메라부(110)를 통해 촬영된 영상에 포함되어 있는 마커(QR 코드)를 인식하여 정비교육 대상 장비를 인식할 수 있고, 카메라부(110)를 통해 촬영된 영상에 포함되어 있는 도면을 인식하여 정비교육 대상 장비를 인식할 수도 있다.
이후에는 상기한 단계 S20에서 인식된 정비교육 대상 장비에 대응하는 3D 모델과, 정비교육 대상 장비에 대응하는 적어도 하나 이상의 정비교육 컨텐츠를 포함하는 목차를 카메라부(110)를 통해 촬영된 영상에 중첩시켜 디스플레이부(130)에 표시한다(S30).
상기한 단계 S30을 통해 디스플레이부(130)에 표시된 목차를 확인한 사용자는 디스플레이부(130)에 표시된 목차 중에서 교육받고자 하는 정비교육 컨텐츠를 선택한다.
이와 같이 디스플레이부(130)에 표시된 목차 중에서 사용자로부터 교육받고자 하는 정비교육 컨텐츠를 선택받으면(S40), 증강현실부(120)는 사용자로부터 선택받은 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 3D 모델과 함께 카메라부(110)를 통해 촬영된 영상에 중첩시켜 디스플레이부(130)에 표시한다(S50).
상기한 단계 S50을 통해 디스플레이부(130)에 정비 절차와 정비 위치가 표시되면, 사용자는 표시된 정비 절차에 따라 해당 정비 절차에서 필요한 공구 모형(200)을 손으로 잡고 디스플레이부(130)에 표시된 3D 모델을 대상으로 정비를 수행한다.
전술한 바와 같이 사용자가 해당 정비 절차에 필요한 공구 모형(200)을 손으로 잡고 정비를 수행하게 되면, 공구 모형(200)의 제어부(260)는 가속도 센서부(220) 및 자이로 센서부(230)를 통해 사용자에 의한 사용을 감지하게 되고, 사용자에 의한 사용을 감지한 제어부(260)는 자신의 식별 정보를 증강현실 장치(100)로 전송한다. 여기서 증강현실 장치(100)와 공구 모형(200)이 USB 케이블 등으로 유선 연결되는 경우에는, 유선 연결이 이루어질 때 공구 모형(200)의 제어부(260)가 자신의 식별 정보를 증강현실 장치(100)로 전송할 수 있다.
한편, 상기한 단계 S50을 통해 디스플레이부(130)에 정비 절차와 정비 위치가 표시한 후, 공구 모형(200)으로부터 식별 정보가 수신되면, 증강현실 장치(100)의 제어부(190)는 공구 모형(200)으로부터 수신한 식별 정보에 의거하여 사용자가 사용하는 공구 모형(200)의 종류를 파악하고, 파악된 공구 모형(200)이 현재 정비 절차에서 사용되어야 하는 공구 모형(200)인지를 확인한다(S60).
상기한 단계 S60의 확인결과 파악된 공구 모형(200)이 현재 정비 절차에서 사용되어야 하는 공구 모형(200)인 경우에는 사용자에게 정비 절차에 맞는 공구 모형(200)이 사용되고 있음을 알리고, 공구 모형(200)이 정비 위치에 정확하게 접촉되는지를 확인한다(S70). 여기서 증강현실 장치(100)의 제어부(190)는 공구 모형(200)으로 진동 발생을 명령하고, 공구 모형(200)은 진동 발생 명령에 따라 진동을 발생시켜 사용자에게 정비 절차에 맞는 공구 모형(200)이 사용되고 있음을 알릴 수 있다.
상기한 단계 S50을 통해 디스플레이부(130)에 표시된 정비 절차와 정비 위치에 따라 사용자는 해당 정비 절차에서 필요한 공구 모형(200)을 손으로 잡고 터치부(도시하지 않음)가 형성된 일단을 정비 위치에 접촉시키며, 공구 모형(200)의 일단을 정비 위치에 접촉시킴에 따라 디스플레이부(130)는 접촉된 위치의 좌표 신호를 발생하게 되고, 제어부(190)는 이 좌표 신호에 의거하여 공구 모형(200)이 정비 위치에 정확하게 접촉되는지를 확인할 수 있다.
상기한 단계 S70의 확인결과 공구 모형(200)이 정비 위치에 정확하게 접촉되는 경우에는 사용자에게 정확한 위치에 접촉이 이루어지고 있음을 알리고, 사용자가 정비 절차에 따라 정확하게 정비 동작을 수행하는지를 확인한다(S80). 여기서 증강현실 장치(100)의 제어부(190)는 공구 모형(200)으로 진동 발생을 명령하고, 공구 모형(200)은 진동 발생 명령에 따라 진동을 발생시켜 사용자에게 정확한 위치에 접촉이 이루어지고 있음을 알릴 수 있다.
상기한 단계 S80에서 공구 모형(200)의 제어부(260)는 가속도 센서부(220) 및 자이로 센서부(230)를 통해 감지된 공구 모형(200)의 자세 및 방향 감지 값을 증강현실 장치(100)로 실시간 전송하고, 증강현실 장치(100)의 제어부(190)는 공고 모형(200)으로부터 수신한 공구 모형(200)의 자세 및 방향 감지 값에 의거하여 사용자의 정비 동작이 정확하게 이루어지고 있는 지를 확인할 수 있다.
상기한 단계 S80의 확인결과 사용자의 정비 동작이 정확하게 이루어지고 있는 경우에는, 사용자에게 정비 동작이 정확하게 이루어지고 있음을 알리고, 디스플레이부(130)에 표시된 정비 절차에 대한 정비 동작이 종료되면(S100), 다음 정비 절차가 존재하는 지를 확인한다(S110). 여기서 증강현실 장치(100)의 제어부(190)는 공구 모형(200)으로 진동 발생을 명령하고, 공구 모형(200)은 진동 발생 명령에 따라 진동을 발생시켜 사용자에게 정비 동작이 정확하게 이루어지고 있음을 알릴 수 있다.
상기한 단계 S110의 확인결과 다음 정비 절차가 존재하는 경우에는, 상기한 단계 S50로 진행하여 다음 정비 절차와 정비 위치를 디스플레이부(130)에 표시하고, 해당 정비 절차가 마지막 정지 절차인 경우에는 상기한 단계 S40에서 선택받은 정비교육 컨텐츠에 대응하는 정비 교육을 종료한다.
상기한 단계 S100에서 디스플레이부(130)에 표시된 정비 절차에 대한 정비 동작이 종료되는 지의 여부는, 사용자의 종료 입력, 사용자의 동작 멈춤 등에 의해 확인할 수 있다.
한편, 상기한 단계 S60의 확인결과 파악된 공구 모형(200)이 현재 정비 절차에서 사용되어야 하는 공구 모형이 아닌 경우에는 사용자에게 사용하는 공구 모형(200)이 잘못된 것임을 디스플레이부(130)를 통해 알리고, 상기한 단계 S70의 확인결과 공구 모형(200)이 잘못된 위치에 접촉이 이루어지고 있는 경우에는 사용자에게 공구 모형(200)이 잘못된 위치에 접촉되고 있음을 디스플레이부(130)를 통해 알리고, 상기한 단계 S80의 확인결과 사용자의 정비 동작이 정확하게 이루어지고 있지 않은 경우에는 사용자에게 잘못된 정비 동작을 수행하고 있음을 디스플레이부(130)를 통해 알릴 수 있다(S90).
본 발명의 일 실시예에 보안 기능을 갖는 증강현실 장치의 구동 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100. 증강현실 장치, 110. 카메라부,
120. 증강현실부, 130. 디스플레이부,
140. 메모리부, 150, 210. 유/무선 통신부,
160. GPS 수신부, 170, 230. 자이로 센서부,
180, 250. 전원 공급부, 190, 260. 제어부,
200. 공구 모형, 220. 가속도 센서부,
240. 진동 모터부

Claims (8)

  1. 정비교육 대상 장비를 인식하고, 인식된 정비교육 대상 장비에 대한 3D 모델 및 정비교육 컨텐츠를 제공하며, 선택된 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 표시하는 증강현실 장치; 및
    실제 공구와 동일 또는 유사한 형상으로 형성되고, 상기 정비 절차에 따라 상기 3D 모델을 대상으로 정비를 수행하는 사용자에 의해 조작되며, 사용자의 조작에 대응하는 반응을 제공하는 복수의 공구 모형;를 포함하며,
    상기 각 공구 모형은,
    상기 증강현실 장치와 유선 또는 무선 통신 방식에 따라 신호를 주고받는 유/무선 통신부;
    사용자의 조작에 따른 공구 모형의 자세 및 방향을 감지하는 센서부;
    진동을 발생시키는 진동 모터부;
    상기 증강현실 장치의 디스플레이부에 접촉되거나 접근하면 디스플레이부를 구성하는 터치스크린 센서에 반응을 일으켜 좌표 신호를 발생시키도록 하는 터치부; 및
    상기 센서부를 통해 사용자에 의한 사용이 감지되면, 상기 증강현실 장치로 자신의 식별 정보를 전송하고, 상기 센서부를 통해 감지된 공구 모형의 자세 및 방향 감지값을 상기 증강현실 장치로 실시간 전송하며, 상기 증강현실 장치로부터 진동 발생 명령이 수신되면, 진동 발생 명령에 따라 진동 모터부를 구동하여 진동을 발생시키는 제어부;를 포함하고,
    상기 증강현실 장치는,
    실사 영상을 촬영하는 카메라부;
    상기 카메라부를 통해 촬영된 영상을 통해 정비교육 대상 장비를 인식하고, 인식된 정비교육 대상 장비에 대응하는 3D 모델과, 상기 정비교육 대상 장비에 대응하는 적어도 하나 이상의 정비교육 컨텐츠를 포함하는 목차를 상기 카메라부를 통해 촬영된 영상에 중첩시켜 증강 영상을 생성하고, 상기 목차 중에서 사용자로부터 선택받은 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 상기 3D 모델과 함께 상기 카메라부를 통해 촬영된 영상에 중첩시켜 증강 영상을 생성하는 증강현실부;
    상기 증강현실부에서 생성된 증강 영상을 표시하는 디스플레이부;
    상기 공구 모형과 유선 또는 무선 통신 방식에 따라 신호를 주고받는 유/무선 통신부; 및
    상기 증강현실부와 연동하여 상기 3D 모델과, 사용자로부터 선택받은 정비교육 컨텐츠에 대응하는 정비 절차와 정비 위치를 상기 디스플레이부에 표시한 후, 상기 공구 모형으로부터 식별 정보를 수신하면, 수신한 식별 정보에 의거하여 공구 모형의 종류를 파악하고, 파악된 공구 모형이 현재 정비 절차에서 사용되어야 하는 공구 모형인지를 확인하고, 공구 모형의 터치부가 접촉됨에 따라 디스플레이부가 발생시키는 접촉 위치의 좌표 신호에 의거하여 공구 모형이 정비 위치에 정확하게 접촉되는지를 확인하고, 정비 절차에 따라 정확하게 정비 동작을 수행하는지를 확인하여, 정비 절차에 맞는 공구 모형이 사용되고, 정확한 위치에 접촉이 이루어지고 있으며, 정비 절차에 맞는 정비 동작이 이루어지고 있으면 상기 공구 모형으로 진동 발생 명령을 전송하는 제어부;를 포함하는, 증강현실 기반 정비 교육 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 증강현실 장치가, 카메라부를 통해 촬영된 영상을 통해 정비교육 대상 장비를 인식하는 단계;
    인식된 정비교육 대상 장비에 대응하는 3D 모델과 정비교육 대상 장비에 대응하는 적어도 하나 이상의 정비교육 컨텐츠를 포함하는 목차를 카메라부를 통해 촬영된 영상에 중첩시켜 표시하는 단계;
    상기 목차 중에서 사용자로부터 선택받은 정비교육 컨텐츠에 따라 정비 절차와 정비 위치를 상기 3D 모델과 함께 카메라부를 통해 촬영된 영상에 중첩시켜 표시하는 단계;
    공구 모형으로부터 식별 정보가 수신되면, 수신한 식별 정보에 의거하여 공구 모형의 종류를 파악하고, 파악된 공구 모형이 현재 정비 절차에서 사용되어야 하는 공구 모형인지를 확인하는 단계;
    확인결과 사용자에 의해 사용되는 공구 모형이 현재 정비 절차에서 사용되어야 하는 공구 모형인 경우에는 공구 모형으로 진동 발생 명령을 전송하고, 공구 모형의 터치부가 접촉됨에 따라 디스플레이부가 발생시키는 접촉 위치의 좌표 신호에 의거하여 공구 모형이 정비 위치에 정확하게 접촉이 이루어지고 있는지를 확인하는 단계;
    확인결과 공구 모형이 정비 위치에 정확하게 접촉되는 경우에는 공구 모형으로 진동 발생 명령을 전송하고, 정비 절차에 따라 정확하게 정비 동작을 수행하는 지를 확인하는 단계;
    확인결과 정비 절차에 따라 정확하게 정비 동작이 이루어지고 있는 경우에는 공구 모형으로 진동 발생 명령을 전송하는 단계; 및
    상기 공구 모형이, 상기 증강현실 장치로부터 진동 발명 명령이 수신되면, 진동 발명 명령에 따라 진동 모터부를 구동하여 진동을 발생시키는 단계;를 포함하는, 증강현실 기반 정비 교육 방법.
  6. 삭제
  7. 제5항에 있어서,
    공구 모형이, 사용자에 의한 사용이 감지되면, 상기 증강현실 장치로 자신의 식별 정보를 송신하는 단계; 및
    사용자의 조작에 따른 자세 및 방향을 감지하고, 감지된 자세 및 방향 감지값을 상기 증강현실 장치로 제공하는 단계;를 더 포함하는, 증강현실 기반 정비 교육 방법.
  8. 제5항에 있어서,
    정비교육 대상 장비 인식은,
    카메라부를 통해 촬영된 영상에 포함되어 있는 정비교육 대상 장비를 객체 인식 기술을 통해 인식하거나, 카메라부를 통해 촬영된 영상에 포함되어 있는 마커를 인식하여 정비교육 대상 장비를 인식하는, 증강현실 기반 정비 교육 방법.
KR1020190077591A 2019-06-28 2019-06-28 증강현실 기반 정비 교육 시스템 및 방법 KR102104326B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077591A KR102104326B1 (ko) 2019-06-28 2019-06-28 증강현실 기반 정비 교육 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077591A KR102104326B1 (ko) 2019-06-28 2019-06-28 증강현실 기반 정비 교육 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102104326B1 true KR102104326B1 (ko) 2020-04-27

Family

ID=70467645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077591A KR102104326B1 (ko) 2019-06-28 2019-06-28 증강현실 기반 정비 교육 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102104326B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085223A (zh) * 2020-08-04 2020-12-15 深圳市新辉煌智能科技有限责任公司 一种用于机械维修的诱导系统及方法
KR20220011071A (ko) * 2020-07-20 2022-01-27 효성피엠(주) 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법
KR20220081599A (ko) * 2020-12-09 2022-06-16 제이나인 주식회사 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법
KR20220096518A (ko) * 2020-12-31 2022-07-07 주식회사 스팀도서관 증강현실 상에서 IoT 시스템 기반 교육을 제공하는 방법 및 그를 이용한 서버
KR102500237B1 (ko) * 2022-10-13 2023-02-16 주식회사 안심엘피씨 모형을 이용한 ar/vr 발골 교육 방법, 장치 및 시스템
KR102508541B1 (ko) 2022-05-25 2023-03-08 이인환 군수용 장비 가상정비훈련 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120052783A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR20160000346A (ko) * 2014-06-24 2016-01-04 테크빌닷컴 주식회사 다중 훈련 모드를 갖는 자동차 정비 훈련 방법 및 장치, 그리고 그 방법이 기록된 컴퓨터 판독가능한 저장 매체
KR20180066823A (ko) * 2016-12-09 2018-06-19 더 보잉 컴파니 인터랙티브 인지 작업 어시스턴스를 위한 시스템 및 방법
KR101874461B1 (ko) 2018-02-23 2018-07-05 (주)프론티스 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
KR101981701B1 (ko) * 2018-06-20 2019-05-23 주식회사 에스피지코리아 가상현실을 이용한 교육실습 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120052783A (ko) * 2010-11-16 2012-05-24 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
KR20160000346A (ko) * 2014-06-24 2016-01-04 테크빌닷컴 주식회사 다중 훈련 모드를 갖는 자동차 정비 훈련 방법 및 장치, 그리고 그 방법이 기록된 컴퓨터 판독가능한 저장 매체
KR20180066823A (ko) * 2016-12-09 2018-06-19 더 보잉 컴파니 인터랙티브 인지 작업 어시스턴스를 위한 시스템 및 방법
KR101874461B1 (ko) 2018-02-23 2018-07-05 (주)프론티스 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
KR101981701B1 (ko) * 2018-06-20 2019-05-23 주식회사 에스피지코리아 가상현실을 이용한 교육실습 장치 및 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220011071A (ko) * 2020-07-20 2022-01-27 효성피엠(주) 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법
KR102556986B1 (ko) * 2020-07-20 2023-07-19 효성피엠(주) 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법
CN112085223A (zh) * 2020-08-04 2020-12-15 深圳市新辉煌智能科技有限责任公司 一种用于机械维修的诱导系统及方法
KR20220081599A (ko) * 2020-12-09 2022-06-16 제이나인 주식회사 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법
KR102469149B1 (ko) * 2020-12-09 2022-11-22 제이나인 주식회사 3차원 설계데이터 기반 실물 객체 다방향 인식시스템 및 그 방법
KR20220096518A (ko) * 2020-12-31 2022-07-07 주식회사 스팀도서관 증강현실 상에서 IoT 시스템 기반 교육을 제공하는 방법 및 그를 이용한 서버
KR102634164B1 (ko) * 2020-12-31 2024-02-06 주식회사 스팀도서관 증강현실 상에서 IoT 시스템 기반 교육을 제공하는 방법 및 그를 이용한 서버
KR102508541B1 (ko) 2022-05-25 2023-03-08 이인환 군수용 장비 가상정비훈련 시스템 및 방법
KR102500237B1 (ko) * 2022-10-13 2023-02-16 주식회사 안심엘피씨 모형을 이용한 ar/vr 발골 교육 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
KR102104326B1 (ko) 증강현실 기반 정비 교육 시스템 및 방법
US10366521B1 (en) Augmented reality assembly assistance and monitoring
US11481999B2 (en) Maintenance work support system and maintenance work support method
CN110458122B (zh) 一种视线标校方法、显示装置的播放方法和视线标校系统
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
CN108228345A (zh) 用于交互式认知任务协助的系统和方法
US20130010068A1 (en) Augmented reality system
JP2007018188A (ja) 拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラム
US11443495B2 (en) Alignment- and orientation-based task assistance in an AR environment
US10634918B2 (en) Internal edge verification
JP2008235504A (ja) 組立品検査装置
KR102165692B1 (ko) 가상 현실을 이용한 군용 장비 정비 훈련 시스템 및 이의 동작 방법
KR101241120B1 (ko) 증강 현실을 이용한 배선 교육 시스템 및 그 교육 방법
US11821751B2 (en) Verifying map data using challenge questions
WO2020003547A1 (ja) コンテンツ提示システムおよびコンテンツ提示方法
EP3811186B1 (en) Input scaling to keep controller inside field of view
US11462126B2 (en) Work support device and work supporting method
KR20100086128A (ko) 혼합 현실 상황 훈련 시스템
KR20130079962A (ko) 증강현실을 이용한 포스트잇 컨텐츠 표시 방법 및 이를 실행하는 장치
US20230027274A1 (en) Image-based instrument identification and tracking
CN108628435B (zh) 虚拟实境系统、移动装置的操作方法、非挥发性计算机可读取记录媒体、虚拟实境处理装置
KR101783156B1 (ko) Ar 마커를 이용한 물리적 프로그래밍 정보를 인식하는 방법 및 장치
US11687309B2 (en) Geospatial display configuration
US20240037777A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory computer readable medium
KR20230079932A (ko) 객체인식을 이용한 휴대용 군정비 교육 시스템

Legal Events

Date Code Title Description
GRNT Written decision to grant