KR20230174444A - 비대면 장비 교육 시스템 - Google Patents

비대면 장비 교육 시스템 Download PDF

Info

Publication number
KR20230174444A
KR20230174444A KR1020220075366A KR20220075366A KR20230174444A KR 20230174444 A KR20230174444 A KR 20230174444A KR 1020220075366 A KR1020220075366 A KR 1020220075366A KR 20220075366 A KR20220075366 A KR 20220075366A KR 20230174444 A KR20230174444 A KR 20230174444A
Authority
KR
South Korea
Prior art keywords
equipment
face
training
equipment training
trainee
Prior art date
Application number
KR1020220075366A
Other languages
English (en)
Inventor
이준호
이서진
이정욱
Original Assignee
주식회사 하이쓰리디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이쓰리디 filed Critical 주식회사 하이쓰리디
Priority to KR1020220075366A priority Critical patent/KR20230174444A/ko
Publication of KR20230174444A publication Critical patent/KR20230174444A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 및 모션 캡쳐 기능을 활용한 비대면 장비 교육 시스템에 관한 것으로, 카메라를 통해 촬영된 영상 데이터를 수신하는 영상 수신부와; 상기 수신된 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성하여 표시하는 화면표시 제어부와; 상기 수신된 영상 데이터 내에서 교육생의 신체 일부 모션을 감지하기 위한 모션 감지부와;교육생이 선택한 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 출력하되, 상기 모션 감지부를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 상기 화면표시 제어부로 제공하는 장비 교육 실행부;를 포함함을 특징으로 한다.

Description

비대면 장비 교육 시스템{A system that conducts equipment training non-face-to-face}
본 발명은 비대면 교육 시스템에 관한 것으로, 특히 증강현실 및 모션 캡쳐 기능을 활용한 비대면 장비 교육 시스템에 관한 것이다.
증강현실(augmented reality, AR)기술은 카메라를 통해 획득한 실제 환경의 영상 데이터를 디스플레이어상에 출력하되, 가상의 객체나 정보를 합성하여 실제 환경에 존재하는 사물처럼 보이도록 합성하여 출력하는 컴퓨터 그래픽 기술이다.
이러한 증강현실 기술을 실현하기 위한 증강현실 시스템은 다양한 분야에서 활용되고 있다. 일례로 관광용 증강현실 기술을 설명하자면, 현재 관광용으로 사용되는 증강현실 시스템은 사전에 관광지의 영상을 촬영했다가 사용자가 희망하는 시간과 지역의 영상정보를 HMD(Head Mounted Display) 등의 장비를 통해 관람을 한다거나, 또는 드론을 이용하여 사용자가 직접 찾아가기 어려운 지역에서 입체 영상을 확보 및 송신하여 사용자가 관람할 수 있도록 한다.
그러나 일반적인 증강현실 기술은 기술의 특성상 시청각적인 체험환경을 제공하지만 조작기능 지원이 화면 터치와 같은 디스플레이 내에서만 이루어지기 때문에, 체험환경의 학습능력을 향상시키는데 제약이 따른다. 특히, 감염병과 같은 질병이 유행하는 시기에는 비대면 교육의 중요성이 더욱 중요한데, 실습, 장비 조작이 필요한 교과목들을 고려해 보면 단순히 시청각적인 체험환경을 제공하는 증강현실 기술로만은 학습효과를 극대화시키는데 있어 부족한 감이 없지 않다.
대한민국 등록특허공보 제10-1875425호 대한민국 등록특허공보 제10-2269414호
이에 본 발명은 상술한 필요성에 따라 창안된 발명으로써, 본 발명의 주요 목적은 증강현실 기술과 모션 캡쳐 기술을 활용하여 체험환경의 학습능력을 극대화시킬 수 있는 비대면 장비 교육 시스템을 제공함에 있다.
더 나아가 본 발명의 또 다른 목적은 실감적인 체험환경을 조성하여 교육생의 몰입감을 높임으로서 교육효과를 극대화할 수 있는 비대면 장비 교육 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은 증강현실 기술로 구현된 객체나 정보가 교육생의 움직임에 따라 상호 작용하도록 유도함으로써 가상의 객체를 직접 조작하는 체험환경을 제공할 수 있는 비대면 장비 교육 시스템을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 비대면 장비 교육 시스템은 이동 통신 단말기, 노트북과 같은 컴퓨터 시스템의 메모리에 설치되어 실행 가능한 응용 프로그램 모듈(코드 데이터들의 집합체)로서,
카메라를 통해 촬영된 영상 데이터를 수신하는 영상 수신부와;
상기 수신된 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성하여 표시하는 화면표시 제어부와;
상기 수신된 영상 데이터 내에서 교육생의 신체 일부 모션을 감지하기 위한 모션 감지부와;
교육생이 선택한 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 출력하되, 상기 모션 감지부를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 상기 화면표시 제어부로 제공하는 장비 교육 실행부;를 포함함을 특징으로 한다.
상술한 구성을 포함하는 비대면 장비 교육 시스템에 있어서, 상기 장비 교육 실행부는 장비 교육 내용을 음성 혹은 음성과 문자정보로 출력함을 특징으로 하며,
더 나아가 상기 장비 교육 실행부는 상기 장비 조작 이행여부 판단결과를 누적하여 교육성과를 평가하고 그 결과를 컨텐츠 제공 서버로 전송하는 성과 평가부를 더 포함함을 또 다른 특징으로 한다.
본 발명의 또 다른 실시예에 따른 비대면 장비 교육 시스템은,
교육 시나리오와, 상기 교육 시나리오에 따르는 단계별 장비 교육 내용 및 장비 객체 이미지를 포함하는 하나 이상의 장비 교육 컨텐츠를 통신망을 통해 교육생의 컴퓨터 시스템으로 제공하는 컨텐츠 제공 서버와;
교육생의 컴퓨터 시스템에 설치되어 실행되되, 상기 컨텐츠 제공 서버로부터 제공되는 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 출력하면서, 모션 감지부를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 현실 영상과 함께 증강현실 영상으로 합성하여 표시하는 응용 프로그램 모듈;을 포함함을 특징으로 한다.
이러한 비대면 장비 교육 시스템에 있어서, 상기 응용 프로그램 모듈은,
카메라를 통해 촬영된 영상 데이터를 수신하는 영상 수신부와;
상기 수신된 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성하여 표시하는 화면표시 제어부와;
상기 수신된 영상 데이터 내에서 교육생의 신체 일부 모션을 감지하기 위한 모션 감지부와;
교육생이 선택한 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 출력하되, 상기 모션 감지부를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 상기 화면표시 제어부로 제공하는 장비 교육 실행부를 포함함을 특징으로 한다.
더 나아가 상기 장비 교육 실행부는,
상기 장비 조작 이행여부 판단결과를 누적하여 교육성과를 평가하고 그 결과를 상기 컨텐츠 제공 서버로 전송하는 성과 평가부와;
교육생이 선택한 장비 교육 컨텐츠를 상기 컨텐츠 제공 서버로부터 다운받아 저장수단에 저장하는 정보 저장부를 더 포함할 수도 있다.
상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 비대면 장비 교육 시스템은 증강현실로 구현 가능한 단계별 장비 객체에 대한 이미지를 포함하는 장비 교육 컨텐츠를 교육생 단말로 제공해 주고, 교육생 단말의 카메라를 통해 획득 가능한 교육생의 모션을 감지해 각 단계별로 장비 조작 이행이 정상적으로 이루어졌는지를 판단할 수 있어, 교육생들에게 현실감 있는 체험환경을 제공할 수 있는 이점이 있다.
또한 본 발명은 증강현실 기술로 구현된 객체나 정보가 교육생의 움직임에 따라 상호 작용하도록 유도함으로써 가상의 객체를 직접 조작하는 체험환경을 제공할 수 있어, 결과적으로 교육생들의 몰입감을 높여 학습능력을 극대화시킬 수 있는 장점도 있다.
도 1은 본 발명의 일 실시예에 따른 비대면 장비 교육 시스템의 구성 예시도.
도 2는 본 발명의 실시예에 따라 교육생의 이동 통신 단말(100)에 설치되어 실행되는 비대면 장비 교육 시스템의 구성 예시도.
도 3은 본 발명의 실시예에 따른 비대면 장비 교육 흐름 예시도.
도 4a와 도 4b는 본 발명의 실시예에 따른 비대면 장비 교육중의 화면 표시 예시도.
도 5는 본 발명의 실시예에 따른 교육생의 신체 일부를 감지하기 위한 과정을 설명하기 위한 예시 도면.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시한 것으로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 아울러 본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 비대면 장비 교육 시스템의 구성도를 예시한 것이다. 하기에서 설명하겠지만, 본 발명의 실시예에 따른 비대면 장비 교육 시스템은 교육생 단말(100)에 설치되어 실행되는 응용 프로그램 모듈을 지칭할 수도 있으며, 그 응용 프로그램 모듈과 컨텐츠 제공 서버(200)를 포함하여 하나의 비대면 장비 교육 시스템으로 명명할 수도 있다.
교육생 단말(100)은 컨텐츠 제공 서버(200)와 통신망을 통해 정보 혹은 데이터를 주고 받을 수 있는 컴퓨터 시스템 모두를 지칭하는 것으로, 이동 통신 단말, 휴대용 컴퓨터 시스템, 거치용 컴퓨터 시스템 모두를 포함한다. 이에 하기에서 사용되는 용어, 즉 교육생 단말과 교육생 컴퓨터 시스템은 동일 의미인 것으로 가정한다.
이러한 교육생 단말(100)은 컨텐츠 제공 서버(200)에 접속하여 비대면으로 장비에 대한 교육을 수강하는데 이용될 수 있으며, 컨텐츠 제공 서버(200) 운영자가 배포하는 일종의 서비스 앱 혹은 응용 프로그램 모듈을 설치하여 단말기 사용자, 즉 교육생이 특정 장비에 대한 교육을 수강하도록 지원하기도 한다. 하기에서의 장비는 프린터와 같은 사무용 기기는 물론, 분해 조립이 가능한 가전기기, 조립기기/가구, 공구 등을 포함하는 개념으로 해석하는 것이 바람직하다.
한편, 컨텐츠 제공 서버(200)는 앞서 설명한 여러 장비들 각각에 대한 장비 교육 컨텐츠를 교육생에게 제공한다. 각각의 장비 교육 컨텐츠는 교육 시나리오와, 상기 교육 시나리오에 따르는 단계별 장비 교육 내용 및 각 단계별 장비 객체 이미지를 포함한다. 상기 '단계별 장비 교육 내용'이란 단계별로 진행되는 교육 음성 혹은 음성과 문자가 결합된 교육 내용을 지칭하는 것으로, 교육생은 교육 음성을 청취하면서 그 교육 음성이 지시하는 바에 따라 증강현실로 구현되는 장비 객체 이미지를 조작하기 위한 행위를 할 수 있다.
변형 가능한 또 다른 실시예로서, 컨텐츠 제공 서버(200)는 교육생 단말(100)에서 QR코드로 식별되는 장비나 제품에 대한 정보를 획득하여 해당 장비의 교육 컨텐츠 혹은 장비 유지보수 메뉴얼을 교육생 단말(100)로 제공해 줄 수 있다. 또는 교육생 단말(100)을 통해 업로딩된 이미지의 특징을 신경망을 통해 자동 판독하고, 그 판독된 장비에 대한 장비 교육 컨텐츠 혹은 장비 유지보수 메뉴얼을 교육생 단말(100)로 제공해 주어, 교육생 스스로 장비를 조작하거나 장비에 발생한 문제를 해결하도록 유도할 수도 있다.
이하 컨텐츠 제공 서버(200)에서 배포하여 교육생 단말(100)에 설치되어 실행되는 비대면 장비 교육 시스템의 구성을 도 2를 참조하여 보다 상세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따라 교육생의 이동 통신 단말(100)에 설치되어 실행되는 비대면 장비 교육 시스템의 구성도를 예시한 것이다.
도 2에 도시한 바와 같이 본 발명의 일 실시예에 따른 비대면 장비 교육 시스템(120)은 교육생의 컴퓨터 시스템 메모리에 설치되어 실행 가능한 일종의 응용 프로그램 모듈(응용 프로그램 코드 데이터들의 집합체)로서,
카메라와 같은 영상 획득부(110)를 통해 촬영된 영상 데이터를 수신하는 영상 수신부(121)와,
상기 수신된 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성하여 표시하는 화면표시 제어부(122)와,
상기 수신된 영상 데이터 내에서 교육생의 신체 일부(예를 들면 손가락) 모션을 감지하기 위한 모션 감지부(123)와,
교육생이 선택한 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 음성 혹은 음성과 문자로 출력하되, 상기 모션 감지부(123)를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 순차적으로 상기 화면표시 제어부(122)로 제공하는 장비 교육 실행부(124)를 포함한다.
경우에 따라서는, 상기 장비 교육 실행부(124)는 장비 조작 이행여부 판단결과를 누적하여 교육성과를 평가하고 그 결과를 컨텐츠 제공 서버(200)로 전송하는 성과 평가부(125)를 더 포함할 수 있다. 기본적으로 장비 교육 실행부(124)는 교육생이 선택한 장비 교육 컨텐츠를 컨텐츠 제공 서버(200)로부터 다운받아 저장수단(130)에 저장하는 정보 저장부(126)를 포함한다.
도 2에서 미설명한 영상 획득부(110)는 교육생의 단말(100)에 구비 혹은 결합되어 사용 가능한 카메라 혹은 이미지 센서로서 교육생이 위치하는 주변의 현실 영상 데이터 및 교육생의 신체 일부 영상을 획득하는데 이용된다. 저장수단(130)은 단말(100)에 구비된 메모리로서 장비 교육 컨텐츠를 구성하는 데이터는 물론, 비대면 장비 교육 시스템(120)을 구성하는 응용 프로그램 코드 데이터들의 집합체가 저장된다.
이하 상술한 비대면 장비 교육 시스템(120)의 동작을 도 3 내지 도 5를 참조하여 부연 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 비대면 장비 교육 흐름도를 예시한 것이며, 도 4a와 도 4b는 본 발명의 실시예에 따른 비대면 장비 교육중의 화면 표시 상태를, 도 5는 본 발명의 실시예에 따른 교육생의 신체 일부를 감지하기 위한 과정을 설명하기 위한 도면을 각각 예시한 것이다.
도 3을 참조하면, 우선 하기의 설명에서는 비대면으로 특정 장비, 예를 들면 신규 프린터에 대한 장비 교육을 받는 것으로 가정하기로 한다. 이러한 가정하에 교육생은 자신의 이동 통신 단말(100)을 통해 컨텐츠 제공 서버(200)에 접속하고 시스템에서 요구하는 일련의 인증절차를 완료한다.
인증절차 완료한 교육생은 자신이 비대면으로 교육받고자 하는 장비에 대한 교육 컨텐츠를 선택(S10단계)한다. 이러한 컨텍츠 선택에 따라 교육생 단말(100)에는 선택한 장비 교육 컨텐츠가 다운로드(S20단계)되어 저장될 수 있다.
교육생은 다운로드된 장비 교육 컨텐츠를 실행(S30단계)시키거나, 다운로드된 장비 교육 컨텐츠가 여러 개의 시나리오들로 이루어진 경우 하나의 시나리오를 선택적으로 실행시킬 수도 있다. 물론 교육생은 컨텐츠 제공 서버(200)로부터 장비 교육 컨텐츠를 구성하는 시나리오와 그 시나리오에 따르는 장비 교육 내용과 장비 객체 이미지만을 다운로드 받을 수도 있다.
장비 교육 컨텐츠 혹은 시나리오의 실행에 의해 영상 획득부(110)가 활성화되면, 영상 수신부(121)는 카메라와 같은 영상 획득부(110)를 통해 촬영된 영상 데이터를 수신(S40단계)하고, 이러한 영상은 화면표시 제어부(122)를 통해 단말(100)에 구비된 표시부를 통해 표시(S40단계)된다.
아울러 장비 교육 실행부(124)는 장비 교육 컨텐츠에 포함된 혹은 선택 실행된 교육 시나리오에 따라 장비 교육 내용을 단계별로 순차 출력(S50단계)한다. 이에 교육생은 장비 교육 내용을 1단계에서 부터 순차적으로 음성 혹은 음성과 문자의 형태로 전달받게 되고, 전달되는 교육 내용에 따라 장비 조작 관련 모션을 취할 수 있다.
만약 장비 교육 내용 1단계부터 장비 객체 이미지를 표시하는 것으로 정의되어 있다면, 장비 교육 실행부(124)는 장비 객체 이미지를 화면 표시 제어부(122)로 전달해 줌으로써, 화면표시 제어부(122)는 수신되는 현실 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성하여 표시해 준다. 현실 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성한 예를 도 4a에 예시하였다.
참고적으로 도 4a는 현실 영상 데이터에 프린터 이미지가 증강현실 영상으로 합성된 것으로, 장비 교육을 위해 교육생이 프린터의 왼쪽 하단 모서리를 터치할 것을 지시하는 음성과 터치지점을 녹색 원으로 마킹한 것을 보여주고 있는 예시화면이다.
한편, 장비 교육 실행부(124)는 현실 영상 데이터에서 공간정보를 분석하기 위한 사전 작업을 수행하여야 한다. 즉 현실 영상 데이터를 분석하여 사물의 특징점을 추출하는 한편 가상의 공간좌표를 생성하고, 단말(100)을 기준으로 하여 상기 추출된 특징점간의 상대좌표를 생성한 후, 상대좌표의 연속성을 토대로 가상의 공간평면을 구축해 놓는다.
모션 감지부(123)는 수신되는 현실 영상 데이터에서 교육생의 신체 일부 모션을 감재해야 한다. 교육생의 신체 일부, 예를 들면 손가락에 대한 모션을 감지하기 위한 방법은 공지된 방법들 중 하나를 이용할 수 있다. 예를 들어 모션 감지부(123)는 도 5에서와 같이 수신된 현실 영상 데이터에서 깊이 정보값을 포함하는 영상 데이터를 우선 추출한 후, 포즈 추정(pose estimation)을 위한 포인트를 계산하고 이를 기반으로 관절정보를 생성한다. 이어 저장된 신체 말단 움직임과 동작 유사도를 비교하는 방식으로 객체(교육생의 손가락) 데이터를 생성하고 포즈(pose)를 확정하는 방식을 통해 교육생의 신체 일부 모션을 감지할 수 있다.
장비 교육 실행부(124)는 모션 감지부(123)를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부, 예를 들면 도 4a에 도시된 바와 같이 녹색 원이 터치되었는지를 판단(S70단계)한다. 판단결과 교육 내용에 따라 장비 조작이 정상적으로 이행되었다면 현재 출력한 장비 교육 내용이 마지막 단계인지를 판단(S90단계)하고, 정상적으로 이행되지 않았다면 S80단계로 진행하여 교육 내용을 다시 출력하거나, 보다 구체적인 방법으로 교육 내용을 재출력한 후 재차 교육생의 신체 일부 모션을 감지한다.
만약 첫 번째 단계에 대해 장비 조작 이행이 정상적으로 이루어졌다면, 장비 교육 실행부(124)는 두 번째 단계로서 도 4b에 도시한 바와 같이 프린터의 하단 후면에 녹색 원이 표시되는 장비 객체 이미지를 증강현실 영상으로 표시해 줌과 아울러 장비 교육 내용을 음성으로 출력해 준다. 이에 교육생은 장비 교육 내용에 따르는 모션을 취하는 방식으로 장비에 대한 교육을 단계별로 이행한다.
상술한 바와 같은 방식으로 장비 교육 컨텐츠에 포함된 교육 시나리오에서 규정하고 있는 모든 단계들에 대해 장비 조작이 정상적으로 이행되었다면 비대면 장비 교육은 종료된다.
경우에 따라서는 상기 각 단계별로 장비 조작 이행여부에 대한 평가가 필요한 경우, 성과 평가부(125)는 단계별 장비 조작 이행여부 판단결과를 누적하여 교육성과를 평가하고 그 결과를 컨텐츠 제공 서버(200)로 전송(S100단계)할 수도 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 따른 비대면 장비 교육 시스템은 증강현실로 구현 가능한 단계별 장비 객체에 대한 이미지를 포함하는 교육 시나리오 혹은 장비 교육 컨텐츠를 교육생 단말(100)로 제공해 주고, 교육생 단말(100)의 카메라를 통해 획득 가능한 교육생의 모션을 감지해 각 단계별로 장비 조작 이행이 정상적으로 이루어졌는지를 판단할 수 있어, 교육생들에게 현실감 있는 체험환경을 제공할 수 있는 이점이 있다.
또한 본 발명은 증강현실 기술로 구현된 객체나 정보가 교육생의 움직임에 따라 상호 작용하도록 유도함으로써 가상의 객체를 직접 조작하는 체험환경을 제공할 수 있어, 결과적으로 교육생들의 몰입감을 높여 학습능력을 극대화시킬 수 있는 장점도 있다.
이상 본 발명은 도면에 도시된 실시예들을 참고로 설명하였으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 본 발명의 실시예에서는 교육생 단말에서 실행되는 시스템의 동작을 구체적으로 설명하였으나, 교육생 단말과 컨텐츠 제공 서버가 상호 연동하여 비대면 장비 교육이 이루어지도록 할 수 있고, 컨텐츠 제공 서버에서 모든 신호 처리가 이루어지도록 할 수도 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (8)

  1. 카메라를 통해 촬영된 영상 데이터를 수신하는 영상 수신부와;
    상기 수신된 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성하여 표시하는 화면표시 제어부와;
    상기 수신된 영상 데이터 내에서 교육생의 신체 일부 모션을 감지하기 위한 모션 감지부와;
    교육생이 선택한 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 출력하되, 상기 모션 감지부를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 상기 화면표시 제어부로 제공하는 장비 교육 실행부;를 포함함을 특징으로 하는 비대면 장비 교육 시스템.
  2. 청구항 1에 있어서, 상기 장비 교육 실행부는,
    상기 장비 교육 내용을 음성 혹은 음성과 문자정보로 출력함을 특징으로 하는 비대면 장비 교육 시스템.
  3. 청구항 1에 있어서, 상기 장비 교육 실행부는,
    상기 장비 조작 이행여부 판단결과를 누적하여 교육성과를 평가하고 그 결과를 컨텐츠 제공 서버로 전송하는 성과 평가부;를 더 포함함을 특징으로 하는 비대면 장비 교육 시스템.
  4. 청구항 1에 있어서, 상기 장비 교육 실행부는,
    교육생이 선택한 장비 교육 컨텐츠를 컨텐츠 제공 서버로부터 다운받아 저장수단에 저장하는 정보 저장부;를 더 포함함을 특징으로 하는 비대면 장비 교육 시스템.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서, 상기 영상 수신부, 상기 화면표시 제어부, 상기 모션 감지부 및 상기 장비 교육 실행부 각각은 응용 프로그램 코드 데이터들의 집합체를 구성하며, 상기 응용 프로그램 코드 데이터들의 집합체는 통신망을 통해 지정 서버와 연결 가능한 컴퓨터 시스템의 메모리에 설치되어 실행됨을 특징으로 하는 비대면 장비 교육 시스템.
  6. 교육 시나리오와, 상기 교육 시나리오에 따르는 단계별 장비 교육 내용 및 장비 객체 이미지를 포함하는 하나 이상의 장비 교육 컨텐츠를 통신망을 통해 교육생의 컴퓨터 시스템으로 제공하는 컨텐츠 제공 서버와;
    교육생의 컴퓨터 시스템에 설치되어 실행되되, 상기 컨텐츠 제공 서버로부터 제공되는 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 출력하면서, 모션 감지부를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 현실 영상과 함께 증강현실 영상으로 합성하여 표시하는 응용 프로그램 모듈;을 포함함을 특징으로 하는 비대면 장비 교육 시스템.
  7. 청구항 6에 있어서, 상기 응용 프로그램 모듈은,
    카메라를 통해 촬영된 영상 데이터를 수신하는 영상 수신부와;
    상기 수신된 영상 데이터에 장비 객체 이미지를 증강현실 영상으로 합성하여 표시하는 화면표시 제어부와;
    상기 수신된 영상 데이터 내에서 교육생의 신체 일부 모션을 감지하기 위한 모션 감지부와;
    교육생이 선택한 장비 교육 컨텐츠에 포함된 교육 시나리오에 따라 장비 교육 내용을 단계별로 출력하되, 상기 모션 감지부를 통해 감지되는 교육생의 신체 일부 모션으로부터 장비 조작 이행여부를 판단하여 상기 장비 교육 내용에 따르는 단계별 장비 객체 이미지를 상기 화면표시 제어부로 제공하는 장비 교육 실행부;를 포함함을 특징으로 하는 비대면 장비 교육 시스템.
  8. 청구항 7에 있어서, 상기 장비 교육 실행부는,
    상기 장비 조작 이행여부 판단결과를 누적하여 교육성과를 평가하고 그 결과를 상기 컨텐츠 제공 서버로 전송하는 성과 평가부와;
    교육생이 선택한 장비 교육 컨텐츠를 상기 컨텐츠 제공 서버로부터 다운받아 저장수단에 저장하는 정보 저장부;를 더 포함함을 특징으로 하는 비대면 장비 교육 시스템.
KR1020220075366A 2022-06-21 2022-06-21 비대면 장비 교육 시스템 KR20230174444A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220075366A KR20230174444A (ko) 2022-06-21 2022-06-21 비대면 장비 교육 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220075366A KR20230174444A (ko) 2022-06-21 2022-06-21 비대면 장비 교육 시스템

Publications (1)

Publication Number Publication Date
KR20230174444A true KR20230174444A (ko) 2023-12-28

Family

ID=89384956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220075366A KR20230174444A (ko) 2022-06-21 2022-06-21 비대면 장비 교육 시스템

Country Status (1)

Country Link
KR (1) KR20230174444A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875425B1 (ko) 2018-03-19 2018-07-09 이민영 증강현실을 이용한 골프 학습 시스템
KR102269414B1 (ko) 2019-03-07 2021-06-24 재단법인 실감교류인체감응솔루션연구단 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875425B1 (ko) 2018-03-19 2018-07-09 이민영 증강현실을 이용한 골프 학습 시스템
KR102269414B1 (ko) 2019-03-07 2021-06-24 재단법인 실감교류인체감응솔루션연구단 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치

Similar Documents

Publication Publication Date Title
CN111556278B (zh) 一种视频处理的方法、视频展示的方法、装置及存储介质
US11087551B2 (en) Systems and methods for attaching synchronized information between physical and virtual environments
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
DK2996015T3 (en) PROCEDURE TO USE IMPROVED REALITY AS HMI VIEW
US8374395B2 (en) Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream
CN104160369B (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
JP6469706B2 (ja) 深度センサを用いた構造のモデル化
EP4006847A1 (en) Virtual object processing method and apparatus, and storage medium and electronic device
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
US20220141532A1 (en) Techniques for rich interaction in remote live presentation and accurate suggestion for rehearsal through audience video analysis
CN108594999A (zh) 用于全景图像展示系统的控制方法和装置
JP2011517879A (ja) 少なくとも１台のカメラによって生成された画像を表示するための方法及びシステム
CN110737414B (zh) 交互显示方法、装置、终端设备及存储介质
US20230283832A1 (en) Communication exchange system for remotely communicating instructions
CN115439171A (zh) 商品信息展示方法、装置及电子设备
CN108171801A (zh) 一种实现增强现实的方法、装置和终端设备
CN107708094A (zh) 设备配对方法及装置
US11941763B2 (en) Viewing system, model creation apparatus, and control method
CN111913674A (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
KR20230174444A (ko) 비대면 장비 교육 시스템
Bode Evaluation of an augmented reality assisted manufacturing system for assembly guidance
KR20130079962A (ko) 증강현실을 이용한 포스트잇 컨텐츠 표시 방법 및 이를 실행하는 장치
CN114610143A (zh) 一种设备控制的方法、装置、设备及存储介质
CN108845669B (zh) 一种ar/mr交互方法和装置
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법