KR102312015B1 - 증강현실을 이용한 원격지원 장치 - Google Patents
증강현실을 이용한 원격지원 장치 Download PDFInfo
- Publication number
- KR102312015B1 KR102312015B1 KR1020200026863A KR20200026863A KR102312015B1 KR 102312015 B1 KR102312015 B1 KR 102312015B1 KR 1020200026863 A KR1020200026863 A KR 1020200026863A KR 20200026863 A KR20200026863 A KR 20200026863A KR 102312015 B1 KR102312015 B1 KR 102312015B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- augmented reality
- remote support
- control command
- smart glasses
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 88
- 239000004984 smart glass Substances 0.000 claims abstract description 110
- 238000000034 method Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims 1
- 230000001360 synchronised effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 증강현실을 이용한 원격지원 장치에 관한 것으로서, 현장 작업자에게 증강현실을 통한 원격지원을 제공할 수 있는 증강현실을 이용한 원격지원 장치에 관한 것이다. 이를 위해 인식 대상체에 대한 정보 또는 제어메뉴를 증강현실을 통해 디스플레이하는 스마트 글래스, 스마트 글래스로부터 데이터를 전송받아 사용자가 제어명령을 입력하도록 디스플레이하며, 입력된 제어명령을 스마트 글래스로 전송하는 스마트 와치, 스마트 글래스로부터 촬영된 실제 객체영상에 가상 객체영상을 중첩하여 증강현실 영상을 생성하는 증강현실 제공부, 및 인식 대상체를 인식하고, 인식 대상체에 상응하는 정보 또는 제어메뉴를 스마트 글래스로 전송하는 서버를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치가 개시된다.
Description
본 발명은 증강현실을 이용한 원격지원 장치에 관한 것으로서, 보다 상세하게는 현장 작업자에게 증강현실을 통한 원격지원을 제공할 수 있는 증강현실을 이용한 원격지원 장치에 관한 것이다.
일반적으로 스마트 글래스는 사용자가 안경처럼 착용하여 각종 정보를 전달받는 장치이다. 이때, 스마트 글래스에 표시되는 정보를 보기 위해 착용자는 눈이나 음성으로 제어명령을 입력해야 한다. 눈이나 음성으로 제어명령을 입력하는 경우에는 제어명령의 종류에 한계가 있을 뿐만아니라 인식의 정도에 따라 제어명령의 입력이 제한적일 수 밖에 없는 문제점이 있다.
또한, 선행특허문헌 10-1876856에 개시된 기술에 의하면 유지 보수 대상 설비 및 작업 정보를 입력받아 이에 대응되는 가상 영상 및 솔류션 정보를 추출하고, 가상 영상 및 솔류션 정보를 합성한 증강 영상을 사용자에게 디스플레이하는 방법이 개시되어 있다. 선행특허문헌은 가상 영상과 솔류션 정보를 기 저장된 메모리에서 추출하기 때문에 실시간으로 변하는 작업 현장 상황에 맞는 증강현실 영상을 신속히 제공하지 못하는 문제점이 있다.
따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 스마트 글래스에 필요한 제어명령을 동기된 외부장치로부터 전송받아 실행시킴으로써 편리하고 다양한 제어명령을 입력할 수 있는 발명을 제공하는데 그 목적이 있다.
또한, 본 발명은 원격 관리자에게 실시간으로 증강현실을 통한 원격지원을 제공 받을 수 있는 발명을 제공하는데 그 목적이 있다.
그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 본 발명의 목적은, 인식 대상체에 대한 정보 또는 제어메뉴를 증강현실을 통해 디스플레이하는 스마트 글래스, 스마트 글래스로부터 데이터를 전송받아 사용자가 제어명령을 입력하도록 디스플레이하며, 입력된 제어명령을 스마트 글래스로 전송하는 스마트 와치, 스마트 글래스로부터 촬영된 실제 객체영상에 가상 객체영상을 중첩하여 증강현실 영상을 생성하는 증강현실 제공부, 및 인식 대상체를 인식하고, 인식 대상체에 상응하는 정보 또는 제어메뉴를 스마트 글래스로 전송하는 서버를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치를 제공함으로써 달성될 수 있다.
또한, 사용자로부터 스마트 글래스를 통해 원격지원 요청 메시지가 수신되면 원격지원 요청 메시지에 상응하는 원격 지원정보를 생성하여 전송하는 원격지원 단말기를 더 포함한다.
또한, 원격지원 단말기는 원격지원 요청 메시지에 상응하는 원격 지원정보를 데이터베이스로부터 수신받아 스마트 글래스로 전송하며, 데이터베이스에 기 입력된 데이터가 없는 경우에는 원격 관리자가 터치스크린 상에 직접 입력하여 생성한 원격 지원정보를 증강현실 제공부를 통해 가공하여 스마트 글래스로 전송한다.
또한, 스마트 글래스는 정보 또는 제어메뉴를 증강현실을 통해 디스플레이 하는 터치스크린부, 원격 지원을 요청하며, 스마트 글래스의 제어명령을 생성하는 제어명령부, 전방의 영상 또는 사용자의 제스처를 촬영하는 카메라부, 음성신호를 출력하는 스피커부, 및 스마트 와치와 연동하는 스마트 와치 연동부를 포함한다.
또한, 제어명령부는 사용자의 음성에 의해 제어명령이 생성되는 음성 명령부, 사용자의 제스처에 의해 제어명령이 생성되는 제스처 명령부, 스마트 와치 연동부를 통해 스마트 와치로부터 제어명령이 전송되어 변환 생성되는 스마트 와치 명령부를 포함한다.
또한, 스마트 와치 연동부는 스마트 글래스에 표시되는 스마트 글래스 제어메뉴를 분석하는 스마트 글래스 제어메뉴 분석부, 분석된 스마트 글래스 제어메뉴를 스마트 와치 제어메뉴로 변환하는 스마트 와치 제어메뉴 변환부, 및 스마트 와치로부터 전송된 제어명령을 분석하여 변환하고, 변환된 제어명령을 스마트 와치 명령부로 전송하는 스마트 와치 제어명령 분석부를 포함한다.
또한, 스마트 와치는 변환된 스마트 와치 제어메뉴를 스마트 와치 제어메뉴 변환부로부터 수신하는 제어메뉴 수신부, 스마트 와치 제어메뉴를 디스플레이하는 터치스크린부, 스마트 와치 제어메뉴에 상응하는 제어명령을 사용자로부터 터치스크린부를 통해 입력받아 생성하는 제어명령 생성부, 및 생성된 스마트 와치 제어명령을 스마트 와치 제어명령 분석부로 전송하는 통신부를 포함한다.
또한, 서버는 카메라부로부터 입력된 데이터를 기초로 대상체를 인식하는 사물인식부, 인식된 대상체를 다른 객체로부터 분리 생성하고, 증강현실 영상으로 변환하여 스마트 글래스로 전송하는 인식 대상체 분리 생성부, 인식된 대상체에 상응하는 메뉴를 생성하여 스마트 글래스로 전송하는 인식 대상체 메뉴 생성부, 및 음성 명령부 또는 제스처 명령부에서 입력된 데이터를 토대로 제어명령을 해석하고, 해석된 제어명령을 음성 명령부 또는 제스처 명령부에 전송하는 제어명령 해석부를 포함한다.
또한, 원격지원 단말기는 스마트 글래스의 영상과 동기되어 표시되는 터치스크린부, 터치스크린부를 통해 원격 지원정보가 입력되는 스마트 펜슬, 및 원격지원 요청 메시지에 상응하는 원격 지원정보를 증강현실 제공부를 통해 가공 생성하는 원격지원부를 포함한다.
또한, 원격지원부는 원격지원 요청 메시지를 분석하는 요청메시지 분석부, 원격지원 요청 메시지에 상응하는 작업지시 정보를 원격 관리자의 입력을 통해 생성하는 작업지시 생성부, 및 실제 객체영상인 작업지시 정보에 작업지시 정보에 상응하는 가상 객체영상을 중첩하여 증강현실 작업지시 정보로 변환하도록 증강현실 제공부에 요청하는 증강현실 생성 요청부를 포함하며, 증강현실 작업지시 정보를 통해 원격지원을 한다.
전술한 바와 같은 본 발명에 의하면 원격 관리자에게 실시간으로 증강현실을 통한 원격지원을 제공받음으로써 정확한 안내와 업무 효율성을 높이는 효과가 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 증강현실을 이용한 원격지원 장치의 대략적인 구성을 나타낸 도면이고,
도 2는 본 발명의 일실시예에 따른 스마트 글래스와 스마트 와치의 구성을 대략적으로 나타낸 도면이고,
도 3은 본 발명의 일실시예에 따른 스마트 글래스와 스마트 와치가 동기되어 제어메뉴와 제어명령을 전송하는 것을 도시한 도면이고,
도 4는 본 발명의 일실시예에 따른 원격지원 단말기와 증강현실 제공부의 구성을 대략적으로 나타낸 도면이고,
도 5는 본 발명의 일실시예에 따른 스마트 글래스에 현장작업 영상을 표시하고, 대상체를 인식한 것을 도시한 도면이고,
도 6은 본 발명의 일실시예에 따른 인식된 대상체에 다양한 종류의 메뉴가 표시될 수 있는 것을 도시한 도면이고,
도 7은 본 발명의 일실시예에 따른 원격지원 단말기에 작업지시 영상을 원격 관리자가 입력한 것을 도시한 도면이고,
도 8은 본 발명의 일실시예에 따른 스마트 글래스에 작업지시 증강현실 영상이 표시된 것을 도시한 도면이다.
도 1은 본 발명의 일실시예에 따른 증강현실을 이용한 원격지원 장치의 대략적인 구성을 나타낸 도면이고,
도 2는 본 발명의 일실시예에 따른 스마트 글래스와 스마트 와치의 구성을 대략적으로 나타낸 도면이고,
도 3은 본 발명의 일실시예에 따른 스마트 글래스와 스마트 와치가 동기되어 제어메뉴와 제어명령을 전송하는 것을 도시한 도면이고,
도 4는 본 발명의 일실시예에 따른 원격지원 단말기와 증강현실 제공부의 구성을 대략적으로 나타낸 도면이고,
도 5는 본 발명의 일실시예에 따른 스마트 글래스에 현장작업 영상을 표시하고, 대상체를 인식한 것을 도시한 도면이고,
도 6은 본 발명의 일실시예에 따른 인식된 대상체에 다양한 종류의 메뉴가 표시될 수 있는 것을 도시한 도면이고,
도 7은 본 발명의 일실시예에 따른 원격지원 단말기에 작업지시 영상을 원격 관리자가 입력한 것을 도시한 도면이고,
도 8은 본 발명의 일실시예에 따른 스마트 글래스에 작업지시 증강현실 영상이 표시된 것을 도시한 도면이다.
이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다. 또한, 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다.
본 발명의 일실시예에 따른 증강현실을 이용한 원격지원 장치는 도 1에 도시된 바와 같이 스마트 글래스(100), 스마트 와치(200), 서버(300), 원격지원 단말기(400)를 포함하여 구성됨으로써 원격 관리자가 현장 작업자에게 증강현실을 통해 원격으로 지원할 수 있는 발명을 제공할 수 있다. 이하에서는 첨부된 도면을 참고하여 본 발명의 일실시예에 따른 증강현실을 이용한 원격지원 장치에 대해 상세히 설명하기로 한다.
본 발명의 일실시예에 따른 스마트 글래스(100)는 스마트 와치(200), 서버(300), 원격지원 단말기(400), 및 증강현실 제공부(500)와 직접 또는 간접적으로 연결 접속된다. 스마트 글래스(100)는 사용자가 안경처럼 착용하는 것으로서 실제 객체정보에 가상 객체정보가 중첩 포함된 증강현실 객체정보가 표시된다. 이때, 정보는 영상, 문자, 음성, 이미지 등이 포함된 것을 의미한다.
터치스크린부(110)는 사용자로부터 특정 데이터를 입력 받고, 제어부(170)의 제어에 따라 화면에 데이터를 표시 출력한다. 따라서 터치스크린부(110)는 입력부와 출력부를 포함할 수 있다. 이하에서 설명되는 각각의 터치스크린부(210,410)도 동일한 기능을 수행할 수 있다.
제어명령부(120)는 터치스크린(110)에 표시된 제어메뉴에 맞는 제어명령을 생성하고, 생성된 제어명령을 제어부(170)로 전달함으로써 스마트 글래스의 사용자 또는 착용자가 원하는 명령을 스마트 글래스(100)에서 수행되로록 한다. 따라서 제어명령부(120)는 제어명령 생성부와 제어명령 전달부를 포함할 수 있다. 제어명령 생성부는 도 2에 도시된 바와 같이 음성 명령부(121), 제스처 명령부(122), 및 스마트 와치 명령부(123)를 포함할 수 있다. 이때, 음성 명령부(121) 및 제스처 명령부(122)는 스마트 글래스 내에서 생성될 수 있는 내부 명령을 생성하고, 스마트 와치 명령부(123)는 스마트 글래스 외부에서 생성되어 스마트 글래스로 전송되는 외부 명령을 생성한다. 따라서 제어명령부(120)는 스마트 글래스의 내부명령과 스마트 글래스의 외부명령 중 적어도 어느 하나의 제어명령을 생성할 수 있다.
음성 명령부(121)는 음성신호 입력부, 음성신호 출력부, 음성 제어명령 생성부를 포함한다. 음성신호 입력부는 스마트 글래스의 착용자의 음성을 수신하고, 음성신호 출력부는 음성신호 입력부에서 수신된 음성신호를 서버(300)의 음성 해석부로 전송한다. 서버(300)의 음성 해석부는 음성신호를 분석하여 다시 음성 명령부(121)의 음성 제어명령 생성부로 전송한다. 음성 제어명령 생성부는 스마트 글래스의 착용자가 희망하는 제1 내부 제어명령을 서버의 음성 분석에 기초하여 생성하고, 이를 제어명령 전달부로 전송한다.
제스처 명령부(122)는 제스처신호 입력부, 제스처신호 출력부, 제스처 제어명령 생성부를 포함한다. 제스처신호 입력부는 스마트 글래스의 착용자의 제스처를 카메라부(130)를 통해 수신하고, 제스처신호 출력부는 제스처신호 입력부에서 수신된 제스처신호를 서버(300)의 제스처 해석부로 전송한다. 서버(300)의 제스처 해석부는 제스처신호를 분석하여 다시 제스처 명령부(122)의 제스처 제어명령 생성부로 전송한다. 제스처 제어명령 생성부는 스마트 글래스의 착용자가 희망하는 제2 내부 제어명령을 서버의 제스처 분석에 기초하여 생성하고, 이를 제어명령 전달부로 전송한다.
한편, 필요에 따라 눈 인식 명령부는 착용자의 눈의 방향 또는 깜빡임을 인식하여 제3 내부 제어명령을 생성할 수도 있다. 생성된 제3 내부 제어명령을 제어명령 전달부로 전송한다.
상술한 음성 인식이나 제스처 인식 또는 눈 인식에 따른 제1,2,3 내부 제어명령은 스마트 글래스의 착용자가 쉽게 제어명령을 내릴 수 있으나 스마트 글래스(100)에서 필요로 하는 모든 명령을 생성하기에는 음성, 눈 또는 제스처 인식이 매우 제한적이고 한정적일 수 있다. 일예로서 음성, 눈 또는 제스처의 인식 오류를 일으키거나(단순히 인식이 안된 경우와 인식 오류로 인한 잘못된 명령 수행을 포함) 또는 인식에 따른 제어명령의 종류에 많은 한계가 있을 수 밖에 없다. 또한, 스마트 글래스(100)에서 인식되는 사물 또는 대상체에 따라 상응하는 제어명령의 하부 카테고리 메뉴 또는 정보가 도 6에 도시된 바와 같이 다양하게 표시될 수 있으며, 이에 따른 착용자의 제어명령의 입력이 제한적일 수 있다. 이에 따라 음성, 눈 또는 제스처의 인식에 따른 제어명령의 한계로 인해 외부에서 제어명령을 생성하여 스마트 글래스로 전송할 필요가 있으며 이하에서 설명한다.
스마트 와치 명령부(123)는 도 2에 도시된 바와 같이 스마트 와치 연동부(150)의 스마트 와치 제어명령 분석부(153)로부터 입력된 데이터에 기초하여 스마트 글래스의 외부 제어명령을 생성한다. 생성된 외부 제어명령은 제어명령 전달부로 전송한다.
스마트 와치 연동부(150)는 스마트 와치(200)와 블루투스를 통해 지속적으로 동기 연동된다. 스마트 글래스 제어메뉴 분석부(151)는 도 3에 도시된 스마트 글래스(100)에 표시된 스마트 글래스 제어메뉴(21)를 분석한다. 분석된 제어메뉴(21)는 스마트 와치 제어메뉴 변환부(152)로 입력된다. 스마트 와치 제어메뉴 변환부(152)는 스마트 와치에 맞게 스마트 글래스 제어메뉴(21)를 변환하고, 변환된 제어메뉴 데이터를 스마트 와치(200)의 제어메뉴 수신부(220)로 전송한다. 제어메뉴 수신부(220)는 수신된 제어메뉴(22)를 터치스크린부(210)에 표시하고, 착용자의 제어명령 입력을 기다린다. 착용자는 스마트 와치(200)에 표시된 스마트 와치 제어메뉴(22)를 통해 제어명령을 입력한다. 제어명령 생성부(230)는 스마트 와치 제어메뉴(22)의 입력에 상응하는 제어명령을 생성한다. 이때, 생성되는 제어명령은 스마트 글래스 상에 표시된 제어메뉴(21) 중 하나를 구동시킬 수 있는 스마트 글래스의 제어명령이다. 제어명령 생성부(230)는 생성된 스마트 글래스 제어명령을 스마트 와치 제어명령 분석부(153)로 전송하고, 스마트 와치 제어명령 분석부(153)는 제어명령 생성부(230)에서 생성한 스마트 글래스의 제어명령 데이터를 분석하여 스마트 와치 명령부(123)로 전송한다. 스마트 와치 명령부(123)는 최종적으로 스마트 글래스에 표시된 스마트 글래스 제어메뉴(21)를 선택 또는 구동시킬 수 있는 이에 상응하는 제어명령을 생성한다.
일예로서 도 3과 같이 스마트 글래스(100)에 제어명령 입력을 위한 특정 메뉴(21)가 표시되면 스마트 와치(200)에도 스마트 글래스 특정 메뉴(21)가 변환된 스마트 와치 특정 메뉴(22)가 표시되어 착용자의 제어입력을 기다리도록 동기된다. 스마트 글래스(100)에 표시되는 제어메뉴(21)와 스마트 와치(200)에 표시되는 제어메뉴(22)는 서로 동일한 동기된 제어메뉴이다. 착용자는 스마트 와치(200)에 표시된 변환된 제어메뉴(22)를 통해 스마트 글래스의 구동에 필요한 제어명령을 입력한다. 입력된 제어명령이 스마트 와치(200)에서 생성되어 통신부(240)를 통해 다시 스마트 글래스(100)로 전송되고, 스마트 글래스(100)에 표시된 제어메뉴(21) 중 적어도 어느 하나가 선택 또는 구동되도록 제어명령이 최종적으로 스마트 글래스(100)에서 실행된다. 한편, 제어메뉴 변환의 일예로서 스마트 글래스(100)에서의 제어메뉴(21)가 음성 지원에 적합한 제어메뉴이면 이와 동기되어 표시되는 스마트 와치(200)에서의 제어메뉴(22)는 터치스크린에 적합한 제어메뉴로 변환될 수 있다.
제어명령 전달부는 상술한 제1,2,3 내부 제어명령과 외부 제어명령을 제어부(170)로 전송하여 스마트 글래스의 착용자가 원하는 제어명령이 스마트 글래스(100)에서 실행되도록 한다. 스마트 글래스는 착용자의 음성, 눈, 또는 제스처 등의 인식을 통해 내부명령이 생성되어 실행되거나 서로 동기된 스마트 와치로부터 전송된 외부명령을 통해 외부 제어명령이 입력되어 실행될 수 있다.
카메라부(130)는 스마트 글래스의 일측 영역에 장착되어 전방 영상을 촬영한다. 촬영된 전방 영상은 스마트 글래스의 터치스크린부(110)에 증강현실 영상과 함께 표시되며, 서버(300)로도 전송된다.
스피커부(140)는 스마트 글래스의 일측 영역에 장착되어 음성신호를 출력한다. 필요에 따라 스피커부(140)는 이어폰 또는 헤드폰으로 대체될 수 있다.
통신부(160)는 스마트 글래스(100)가 외부의 기기와 데이터를 주고받을 수 있도록 통신모듈을 구비한다. 통신모듈은 각각의 외부의 기기와 접속될 수 있는 통신 프로토콜에 따라 다양하게 구비된다. 스마트 와치 및 서버에서 구비되는 통신부(240,340)도 동일하며 이하 설명을 생략하기로 한다.
제어부(170)는 스마트 글래스를 구동하기 위해 필요한 오퍼레이팅 시스템을 포함한다. 제어부(170)는 스마트 글래스(100)에 구비된 각 구성요소를 제어 및 구동한다.
본 발명의 일실시예에 따른 서버(300)는 스마트 글래스(100)와 서로 연동되어 스마트 글래스(100)에서 필요로 하는 각종 데이터를 데이터베이스(310)를 통해 제공한다. 일예로서, 스마트 글래스(100)에서 "A 부품 도면"에 관한 정보를 요청하면 데이터베이스(310)에서 "A 부품 도면"을 수신받아 스마트 글래스(100)로 전송한다. 스마트 글래스(100)는 전송받은 도면을 증강현실을 통해 터치스크린부(110)에 표시한다. 데이터베이스(310)에는 일예로서 부품 도면, 점검 항목, 수리 방법 등에 관한 정보가 저장될 수 있다.
사물인식부(320)는 스마트 글래스에 장착된 카메라부(130)로부터 입력된 데이터에 기초하여 대상체를 인식한다. 대상체를 인식하기 위해 필요에 따라 이미지 처리부가 포함될 수 있다. 이미지 처리부는 카메라로부터 입력된 신호에 기초하여 대상체를 인식하도록 이미지 처리를 수행한다. 이미지 처리에 따라 카메라로부터 입력된 영상에 포함된 다양한 대상체를 인식한다. 인식 대상체 분리 생성부는 인식된 대상체를 다른 사물과 분리하여 생성한다. 즉, 카메라로부터 입력된 실시간 영상을 통해 대상체를 인식하고, 인식된 대상체를 분리 생성한다. 인식 대상체 정보 생성부는 인식된 대상체의 정보를 생성한다. 일예로서 인식된 대상체가 기차에 장착된 "댐퍼"라고 한다면 댐퍼와 관련된 정보 또는 메뉴를 카테고리별로 생성한다. 즉, 댐퍼에 대한 정보를 담고 있는 정보메시지와 댐퍼에 대한 탑/다운 메뉴(일예로서 메인메뉴에서 보조메뉴로 선택되도록 하위 트리 구조 방식)를 생성한다. 생성된 정보메시지와 탑/다운 메뉴는 스마트 글래스(100)로 전송되어 터치스크린(110)에 표시될 수 있다.
한편, 인식 대상체 분리 생성부는 분리 인식한 데이터를 생성하고, 이를 증강현실 제공부(500)로 전송한다. 증강현실 제공부(500)는 대상체의 분리 인식 데이터를 기초로 증강현실 영상을 생성한다. 즉, 증강현실 제공부(500)는 분리 인식 데이터(실제 객체 영상)에 가상 객체 영상을 중첩시켜 증강현실 영상을 생성한다. 이때, 중첩되는 가상 객체 영상은 분리 인식된 객체에 상응하는 영상인 것이 바람직하다. 일예로서 분리 인식된 객체가 "모터"라면 모터에 맞는 가상 객체 영상이 중첩된다. 생성된 모터 증강현실 영상은 인식된 모터 영상(실제 객체 영상)에 가상의 모터 정보 영상(모터 자체 정보 및 모터 수리 방법에 대한 정보가 포함된 가상 객체 영상)이 포함된 증강현실 영상이다. 생성된 모터 증강현실 영상을 서버(300)로 전송하고 서버(300)는 다시 스마트 글래스(100)로 전송함으로써 인식된 모터에 상응하는 "모터 증강현실 영상"이 스마트 글래스(100)에서 표시되도록 한다. 스마트 글래스(100)에 인식된 모터뿐만 아니라 모터 증강현실 영상까지 표시되도록 함으로써 다양한 정보를 알기 쉽게 착용자에게 전달할 수 있다. 증강현실 제공부(500)는 설명의 편리를 위해 분리 설명하였으나 서버(300)에 포함되어 구현될 수도 있고 독립적인 장치에 의해 구현될 수도 있다.
본 발명의 일실시예에 따른 원격지원 단말기(400)는 스마트 글래스(100)를 착용하고 있는 현장 작업자의 요청에 응하여 작업지시 영상을 생성하고, 현장작업 영상에 작업지시 영상(가상 객체 영상)을 중첩하여 작업지시 증강현실 영상을 생성하도록 제어한다. 현장 작업자는 스마트 글래스(100)를 착용하고 도 5에 도시된 바와 같이 터치스크린(11) 화면을 통해 현장 영상을 실시간으로 볼 수 있으며, 원격지원 단말기(400)에도 실시간으로 동기되어 동일한 현장 영상이 표시된다. 이때, 현장 작업자는 원격지원이 필요한 경우 제어명령부(120)를 통해 원격지원을 요청한다. 원격지원 요청은 앞서 설명한 바와 같이 음성, 제스처, 눈 등의 인식을 통한 내부 제어명령이나 스마트 와치를 통한 외부 제어명령을 통해 요청할 수 있다.
원격지에 있는 관리자는 현장 작업자로부터 원격지원 요청을 수신받으면 작업자의 요청에 따른 현장지원을 수행한다. 요청메시지 분석부(431)는 현장 작업자로부터 전송된 원격지원 요청 메시지를 분석한다. 일예로서 현장 작업자가 "A 영역에 배치된 모터의 설계도"를 요청하면 수신된 요청 메시지를 분석하고, 이에 맞는 설계도를 데이터베이스(310)로부터 획득하여 통신부(440)를 통해 스마트 글래스(100)로 전송한다.
한편, 요청 메시지의 분석에 의해 1차적으로 데이터베이스(310)로부터 획득할 수 있는 정보는 데이터베이스(310)에 입력된 데이터를 기초로 원격지원 정보를 생성하여 스마트 글래스(100)로 전송한다. 이때, 데이터베이스(310)로부터 획득할 수 없는 정보는 2차적으로 작업지시 정보 생성부(432) 및 증강현실 생성 요청부(433)를 통해 새롭게 데이터를 생성하여 전송한다. 일예로서 현장 작업자가 "A 부품의 수리시 각 부품간 연결에 대한 배치방법"에 대한 원격지원 요청을 한 경우에 작업지시 정보 생성부(432)는 도 7에 도시된 바와 같이 터치스크린(410)에 "A 부품의 수리시 각 부품간 연결에 대한 배치방법"에 대한 작업지시 영상(12)을 직접 입력한다. 이때, 작업지시 영상(12)은 현장 작업자가 실시간으로 보고 있는 현장 작업영상(11)이 동기되어 표시된 화면(410)에 함께 입력된다. 이와 같이 원격지원 단말기(400)에 현장작업 영상(11)이 동기되어 표시됨과 동시에 입력한 작업지시 영상(12)이 함께 동기되어 표시됨으로써 좀 더 현실감 있는 원격지원이 가능하다. 더 나아가 작업지시 영상을 증강현실 영상으로 변환하여 스마트 글래스(100)에 표시함으로써 보다 다양하고 정확한 정보의 전달이 가능하며 이하에서 설명한다.
증강현실 생성 요청부(433)는 작업지시 정보 생성부(432)로부터 현장 작업영상(11, 실제 객체 영상)과 작업지시 영상(가상 객체 영상)을 입력받아 증강현실 영상을 생성하도록 증강현실 제공부(500)의 영상 수신부(511)로 요청 메시지를 전송한다. 도 4에 도시된 바와 같이 영상 중첩부(512)는 영상 수신부(511)로부터 입력된 실제 객체 영상과 가상 객체 영상을 서로 중첩하여 작업지시 증강현실 영상을 생성한다. 이때, 중첩시에 가상 객체 영상은 실제 객체 영상에 트랙킹되어 표시됨으로써 배치방법을 좀 더 정확하고 정밀하게 표시할 수 있는 장점이 있다.
원격지원 단말기(400)는 증강현실 제공부(500)로부터 작업지시 증강현실 영상을 수신하면 작업지시 증강현실 영상을 다시 스마트 글래스(100)로 전송하여 도 8에 도시된 바와 같이 터치스크린(110)에 표시되도록 한다. 이때, 작업지시 증강현실 영상(13)은 현장작업 영상(11)에 정확하게 트랙킹 및 동기되어 원하는 위치(x,y)에 표시된다. 앞서 설명한 바와 같이 작업지시 증강현실 영상(13)은 현장작업 영상(11)에 원격 관리자가 입력한 작업지시 영상(12)을 트랙킹하여 중첩시켰기 때문에 실시간으로 변하는 현장 작업영상에 맞도록 원하는 위치에 배치되는 것이 장점이다. 즉, 현장작업 영상이 착용자에 의해 조금 이동된 경우에도 인식된 대상체를 정확히 트랙킹할 수 있으며, 트랙킹된 대상체에 작업지시 증강현실 영상을 정확히 표시할 수 있다. 현장 관리자는 A 부품의 교체시에 "A 부품에 대한 배치방법"을 증강현실 영상을 통해 원격지원 받음으로써 안전하고 정확한 부품의 교체가 가능한 장점이 있다.
본 발명을 설명함에 있어 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다. 또한, 상술한 본 발명의 구성요소는 본 발명의 설명의 편의를 위하여 설명하였을 뿐 여기에서 설명되지 아니한 구성요소가 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 추가될 수 있다.
상술한 각부의 구성 및 기능에 대한 설명은 설명의 편의를 위하여 서로 분리하여 설명하였을 뿐 필요에 따라 어느 한 구성 및 기능이 다른 구성요소로 통합되어 구현되거나, 또는 더 세분화되어 구현될 수도 있다.
이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다. 또한, 본 발명과 관련된 공지 기능 및 그 구성 또는 본 발명의 각 구성에 대한 결합관계에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
11 : 현장 작업영상
12 : 작업지시 영상
13 : 작업지시 증강현실 영상
21 : 스마트 글래스 제어메뉴
22 : 스마트 와치 제어메뉴
30 : 인식 대상체
31 : 설계도
100 : 스마트 글래스
110 : 터치스크린부
120 : 제어명령부
121 : 음성 명령부
122 : 제스처 명령부
123 : 스마트 와치 명령부
130 : 카메라부
140 : 스피커부
150 : 스마트 와치 연동부
151 : 스마트 글래스 제어메뉴 분석부
152 : 스마트 와치 제어메뉴 변환부
153 : 스마트 와치 제어명령 분석부
160 : 통신부
170 : 제어부
200 : 스마트 와치
210 : 터치스크린부
220 : 제어메뉴 수신부
230 : 제어명령 생성부
240 : 통신부
250 : 제어부
300 : 서버
310 : 데이터베이스
320 : 사물인식부
330 : 제어명령 해석부
340 : 통신부
350 : 제어부
400 : 원격지원 단말기
410 : 터치스크린부
420 : 스마트 펜슬
430 : 원격지원부
431 : 요청메시지 분석부
432 : 작업지시 정보 생성부
433 : 증강현실 생성 요청부
440 : 통신부
450 : 제어부
500 : 증강현실 제공부
510 : 증강현실 영상 생성부
511 : 영상 수신부
512 : 영상 중첩부
12 : 작업지시 영상
13 : 작업지시 증강현실 영상
21 : 스마트 글래스 제어메뉴
22 : 스마트 와치 제어메뉴
30 : 인식 대상체
31 : 설계도
100 : 스마트 글래스
110 : 터치스크린부
120 : 제어명령부
121 : 음성 명령부
122 : 제스처 명령부
123 : 스마트 와치 명령부
130 : 카메라부
140 : 스피커부
150 : 스마트 와치 연동부
151 : 스마트 글래스 제어메뉴 분석부
152 : 스마트 와치 제어메뉴 변환부
153 : 스마트 와치 제어명령 분석부
160 : 통신부
170 : 제어부
200 : 스마트 와치
210 : 터치스크린부
220 : 제어메뉴 수신부
230 : 제어명령 생성부
240 : 통신부
250 : 제어부
300 : 서버
310 : 데이터베이스
320 : 사물인식부
330 : 제어명령 해석부
340 : 통신부
350 : 제어부
400 : 원격지원 단말기
410 : 터치스크린부
420 : 스마트 펜슬
430 : 원격지원부
431 : 요청메시지 분석부
432 : 작업지시 정보 생성부
433 : 증강현실 생성 요청부
440 : 통신부
450 : 제어부
500 : 증강현실 제공부
510 : 증강현실 영상 생성부
511 : 영상 수신부
512 : 영상 중첩부
Claims (10)
- 인식 대상체에 대한 정보 또는 제어메뉴를 증강현실을 통해 디스플레이하는 스마트 글래스,
상기 스마트 글래스로부터 데이터를 전송받아 사용자가 제어명령을 입력하도록 디스플레이하며, 입력된 상기 제어명령을 상기 스마트 글래스로 전송하는 스마트 와치,
상기 스마트 글래스로부터 촬영된 실제 객체영상에 가상 객체영상을 중첩하여 증강현실 영상을 생성하는 증강현실 제공부, 및
상기 인식 대상체를 인식하고, 상기 인식 대상체에 상응하는 정보 또는 제어메뉴를 상기 스마트 글래스로 전송하는 서버,
상기 사용자로부터 상기 스마트 글래스를 통해 원격지원 요청 메시지가 수신되면 상기 원격지원 요청 메시지에 상응하는 원격 지원정보를 생성하여 전송하는 원격지원 단말기를 포함하며,
상기 원격지원 단말기는,
상기 원격지원 요청 메시지에 상응하는 원격 지원정보를 데이터베이스로부터 수신받아 상기 스마트 글래스로 전송하며,
상기 데이터베이스에 기 입력된 데이터가 없는 경우에는 원격 관리자가 터치스크린 상에 직접 입력하여 생성한 원격 지원정보를 상기 증강현실 제공부를 통해 가공하여 상기 스마트 글래스로 전송하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 스마트 글래스는,
상기 정보 또는 제어메뉴를 증강현실을 통해 디스플레이 하는 터치스크린부,
원격 지원을 요청하며, 상기 스마트 글래스의 제어명령을 생성하는 제어명령부,
전방의 영상 또는 사용자의 제스처를 촬영하는 카메라부,
음성신호를 출력하는 스피커부, 및
상기 스마트 와치와 연동하는 스마트 와치 연동부를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
- 제 4 항에 있어서,
상기 제어명령부는,
사용자의 음성에 의해 제어명령이 생성되는 음성 명령부,
사용자의 제스처에 의해 제어명령이 생성되는 제스처 명령부,
상기 스마트 와치 연동부를 통해 스마트 와치로부터 제어명령이 전송되어 변환 생성되는 스마트 와치 명령부를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
- 제 5 항에 있어서,
상기 스마트 와치 연동부는,
상기 스마트 글래스에 표시되는 스마트 글래스 제어메뉴를 분석하는 스마트 글래스 제어메뉴 분석부,
분석된 상기 스마트 글래스 제어메뉴를 스마트 와치 제어메뉴로 변환하는 스마트 와치 제어메뉴 변환부, 및
상기 스마트 와치로부터 전송된 제어명령을 분석하여 변환하고, 변환된 제어명령을 상기 스마트 와치 명령부로 전송하는 스마트 와치 제어명령 분석부를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
- 제 6 항에 있어서,
상기 스마트 와치는,
변환된 스마트 와치 제어메뉴를 상기 스마트 와치 제어메뉴 변환부로부터 수신하는 제어메뉴 수신부,
상기 스마트 와치 제어메뉴를 디스플레이하는 터치스크린부,
상기 스마트 와치 제어메뉴에 상응하는 제어명령을 사용자로부터 상기 터치스크린부를 통해 입력받아 생성하는 제어명령 생성부, 및
생성된 스마트 와치 제어명령을 상기 스마트 와치 제어명령 분석부로 전송하는 통신부를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
- 제 5 항에 있어서,
상기 서버는,
상기 카메라부로부터 입력된 데이터를 기초로 대상체를 인식하는 사물인식부,
인식된 대상체를 다른 객체로부터 분리 생성하고, 증강현실 영상으로 변환하여 상기 스마트 글래스로 전송하는 인식 대상체 분리 생성부,
인식된 대상체에 상응하는 메뉴를 생성하여 상기 스마트 글래스로 전송하는 인식 대상체 메뉴 생성부, 및
상기 음성 명령부 또는 제스처 명령부에서 입력된 데이터를 토대로 제어명령을 해석하고, 해석된 제어명령을 상기 음성 명령부 또는 제스처 명령부에 전송하는 제어명령 해석부를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
- 제 1 항에 있어서,
상기 원격지원 단말기는,
상기 스마트 글래스의 영상과 동기되어 표시되는 터치스크린부,
상기 터치스크린부를 통해 원격 지원정보가 입력되는 스마트 펜슬, 및
상기 원격지원 요청 메시지에 상응하는 상기 원격 지원정보를 상기 증강현실 제공부를 통해 가공 생성하는 원격지원부를 포함하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
- 제 9 항에 있어서,
상기 원격지원부는,
상기 원격지원 요청 메시지를 분석하는 요청메시지 분석부,
상기 원격지원 요청 메시지에 상응하는 작업지시 정보를 원격 관리자의 입력을 통해 생성하는 작업지시 생성부, 및
실제 객체영상인 상기 작업지시 정보에 상기 작업지시 정보에 상응하는 가상 객체영상을 중첩하여 증강현실 작업지시 정보로 변환하도록 상기 증강현실 제공부에 요청하는 증강현실 생성 요청부를 포함하며,
상기 증강현실 작업지시 정보를 통해 원격지원을 하는 것을 특징으로 하는 증강현실을 이용한 원격지원 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200026863A KR102312015B1 (ko) | 2020-03-03 | 2020-03-03 | 증강현실을 이용한 원격지원 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200026863A KR102312015B1 (ko) | 2020-03-03 | 2020-03-03 | 증강현실을 이용한 원격지원 장치 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20210111955A KR20210111955A (ko) | 2021-09-14 |
| KR102312015B1 true KR102312015B1 (ko) | 2021-10-14 |
| KR102312015B9 KR102312015B9 (ko) | 2023-03-23 |
Family
ID=77774367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200026863A KR102312015B1 (ko) | 2020-03-03 | 2020-03-03 | 증강현실을 이용한 원격지원 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102312015B1 (ko) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS55167182A (en) | 1979-06-11 | 1980-12-26 | Harima Refractories Co Ltd | Selffhardening indefiniteeform refractories |
| KR101096365B1 (ko) * | 2009-10-26 | 2011-12-20 | 금오공과대학교 산학협력단 | 로고를 이용한 모바일 서비스 방법 및 이를 수행하는 이동 통신 단말기 |
| JP5349417B2 (ja) | 2010-07-09 | 2013-11-20 | 株式会社日立システムズ | 拡張現実技術を利用した保守・監視システム |
| KR101187843B1 (ko) | 2010-10-01 | 2012-10-05 | 한국철도기술연구원 | 증강현실을 이용한 열차유지보수 교육시스템 |
| EP2801065A4 (en) * | 2012-01-05 | 2015-08-05 | Visa Int Service Ass | APPARATUS, METHODS AND SYSTEMS FOR VISUAL TRANSACTION CAPTURE |
| KR101422352B1 (ko) | 2012-11-05 | 2014-07-30 | 중앙대학교 산학협력단 | 건설현장의 하자관리시스템 및 방법 |
| KR20150085853A (ko) | 2014-01-16 | 2015-07-27 | 두산중공업 주식회사 | 증강현실을 이용한 플랜트 유지보수 시스템 및 방법 |
| KR101609064B1 (ko) | 2014-09-15 | 2016-04-04 | 원혁 | 증감 현실을 이용한 인터랙티브 설명서 |
| KR101737936B1 (ko) * | 2015-09-15 | 2017-05-19 | 김진곤 | 스마트 글래스와 모바일 장치를 이용한 쿠폰 제공 방법 |
| KR101743831B1 (ko) | 2015-09-30 | 2017-06-12 | 김민수 | 골프 필드용 증강현실 디스플레이 디바이스 |
| KR101768017B1 (ko) | 2015-10-23 | 2017-08-16 | 김민수 | 골프 필드용 증강현실 디스플레이 디바이스를 이용한 어드레싱 가이드 표시방법 및 이를 위한 디스플레이 디바이스 |
| KR101876856B1 (ko) | 2016-09-13 | 2018-07-12 | 한국생산기술연구원 | 증강현실을 이용한 유지 보수 시스템 및 이의 제어방법 |
| US20200086219A1 (en) | 2017-01-26 | 2020-03-19 | Lotuseco Co Ltd | Augmented reality-based sports game simulation system and method thereof |
| JP6845072B2 (ja) | 2017-04-21 | 2021-03-17 | ファナック株式会社 | 工場設備の保守支援装置及び保守支援システム |
-
2020
- 2020-03-03 KR KR1020200026863A patent/KR102312015B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR102312015B9 (ko) | 2023-03-23 |
| KR20210111955A (ko) | 2021-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11231897B2 (en) | Display system, display device, information display method, and program | |
| US10642564B2 (en) | Display system, display device, information display method, and program | |
| CN110928418A (zh) | 一种基于mr的航空线缆辅助装配方法及系统 | |
| JP2003514294A (ja) | 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法 | |
| CN106363637A (zh) | 一种机器人快速示教方法及装置 | |
| CN107656505A (zh) | 使用增强现实设备控制人机协作的方法、装置和系统 | |
| CN109426353B (zh) | 架构于非侵入式数据撷取系统客制化显示画面的系统模块 | |
| JP6590050B2 (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
| US11586852B2 (en) | System and method to modify training content presented by a training system based on feedback data | |
| CN102194136A (zh) | 信息识别系统及其控制方法 | |
| KR20200109271A (ko) | 혼합 현실 기반 부품 정비를 지원하기 위한 시스템 및 그 방법 | |
| WO2023100743A1 (ja) | 作業支援システム、作業対象特定装置および方法 | |
| KR102312015B1 (ko) | 증강현실을 이용한 원격지원 장치 | |
| US11586946B2 (en) | System and method to generate training content based on audio and image feedback data | |
| US11500915B2 (en) | System and method to index training content of a training system | |
| JP7077415B2 (ja) | 作業支援システムおよび作業支援方法 | |
| JP6540426B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| JP6733401B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| WO2022032688A1 (en) | Method for remote assistance and device | |
| CN115079973A (zh) | 显示系统和显示装置 | |
| JP2023081259A (ja) | 無人航空機の制御装置およびその制御方法 | |
| TWM611888U (zh) | 人工智慧輔助實境系統 | |
| JP2017199085A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP4568121B2 (ja) | 遠隔作業支援システム、遠隔作業支援方法及びプログラム | |
| CN112612358A (zh) | 基于视觉识别和语音识别的人与大屏多模态自然交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |