KR102605552B1 - Augmented Reality System - Google Patents
Augmented Reality System Download PDFInfo
- Publication number
- KR102605552B1 KR102605552B1 KR1020200185426A KR20200185426A KR102605552B1 KR 102605552 B1 KR102605552 B1 KR 102605552B1 KR 1020200185426 A KR1020200185426 A KR 1020200185426A KR 20200185426 A KR20200185426 A KR 20200185426A KR 102605552 B1 KR102605552 B1 KR 102605552B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- augmented reality
- module
- server
- smart terminal
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 78
- 239000011521 glass Substances 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 25
- 238000013473 artificial intelligence Methods 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000003058 natural language processing Methods 0.000 claims description 6
- 230000008909 emotion recognition Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000008451 emotion Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Optics & Photonics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템에 관한 것으로, 본 발명의 일실시예는 작업자가 휴대하며, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실 가이드를 표시하는 스마트 단말기; 상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 및/또는 하기 서버(300)로 제공하는 원격지원 단말기; 및 상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 서버;를 포함하는, 증강현실시스템을 제공한다. The present invention relates to an augmented reality system that can increase quality and productivity by improving work efficiency through real-time collaboration with experts. One embodiment of the present invention is carried by a worker and captures on-site image information by filming the work site. , a smart terminal that displays an augmented reality guide related to the on-site image information; A remote support terminal that displays the on-site image information acquired from the smart terminal and provides instruction information instructed by a remote expert to the smart terminal and/or the following server 300; And a server that mutually relays data between the smart terminal and the remote support terminal, generates the augmented reality guide based on the instruction information and provides it to the smart terminal so that it is displayed in accordance with the on-site image information. Provides an augmented reality system that
Description
본 발명은 증강현실시스템에 관한 것으로, 더욱 상세하게는 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템에 관한 것이다.The present invention relates to an augmented reality system, and more specifically, to an augmented reality system that can increase quality and productivity by improving work efficiency through real-time collaboration with experts.
산업 현장에서는 양손을 쓰지 못하는 상황에서 발생할 수 있는 안전사고 발생가능성을 최소화할 수 있는 시스템 제어방법, 지식제안, 협업 도구를 위한 기술 개발이 절실히 필요하다.In industrial settings, there is an urgent need to develop technologies for system control methods, knowledge suggestions, and collaboration tools that can minimize the possibility of safety accidents that may occur in situations where both hands cannot be used.
또한, 원거리에 위치한 산업 현장의 문제 해결을 지원하기 위한 기존의 솔루션은 실시간으로 업무 내용을 공유하여 대응하기가 어렵기 때문에 워크 플로우 중단으로 업무 효율성이 저하되며, 각 산업군에 특화된 데이터를 기반으로 문제점을 진단하는 특정 데이터의 정량화 및 가시화가 지원되지 않으며, 업무 생산성을 향상시키는 시스템을 도입하는데 많은 비용이 발생하고 있다.In addition, existing solutions to support problem solving in remote industrial sites make it difficult to respond by sharing work details in real time, which reduces work efficiency due to workflow interruptions and solves problems based on data specialized for each industry. Quantification and visualization of specific data for diagnosing are not supported, and a lot of costs are incurred to introduce a system to improve work productivity.
본 발명이 해결하고자 하는 기술적 과제는 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템을 제공하는 것이다.The technical problem that the present invention seeks to solve is to provide an augmented reality system that can increase quality and productivity by improving work efficiency through real-time collaboration with experts.
또한, 본 발명이 해결하고자 하는 기술적 과제는 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem that the present invention aims to solve is to provide an augmented reality system that can solve safety problems in fields where both hands are not free through voice control.
또한, 본 발명이 해결하고자 하는 기술적 과제는 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem that the present invention seeks to solve is to provide an augmented reality system that can safely handle potentially dangerous field work using artificial intelligence technology in the vision field.
또한, 본 발명이 해결하고자 하는 기술적 과제는 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem that the present invention seeks to solve is to provide an augmented reality system that can shorten work time and improve work efficiency through real-time collaboration through remote and digital work management using augmented reality technology.
또한, 본 발명이 해결하고자 하는 기술적 과제는 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있는 증강현실시스템을 제공하는 것이다.In addition, the technical problem that the present invention aims to solve is to provide an augmented reality system that can significantly improve sales and customer satisfaction by reducing a company's operating costs through non-expert training and safety improvement using artificial intelligence and augmented reality technology. It is done.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved by the present invention is not limited to the technical problem mentioned above, and other technical problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 작업자가 휴대하며, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실 가이드를 표시하는 스마트 단말기; 상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 및/또는 하기 서버(300)로 제공하는 원격지원 단말기; 및 상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 서버;를 포함하는, 증강현실시스템을 제공한다. In order to achieve the above technical problem, an embodiment of the present invention includes a smart terminal carried by a worker, acquiring on-site image information by photographing a work site, and displaying an augmented reality guide related to the on-site image information; A remote support terminal that displays the on-site image information acquired from the smart terminal and provides instruction information instructed by a remote expert to the smart terminal and/or the following server 300; And a server that mutually relays data between the smart terminal and the remote support terminal, generates the augmented reality guide based on the instruction information and provides it to the smart terminal so that it is displayed in accordance with the on-site image information. Provides an augmented reality system that
본 발명의 실시예에 있어서, 상기 스마트 단말기는, 작업자의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈; 상기 프레임에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 현장을 실시간으로 촬영하여 상기 현장영상정보를 획득하는 카메라모듈; 상기 프레임에 적어도 하나가 설치되어 작업자의 음성을 입력처리하는 음성입력모듈; 상기 프레임에 설치되어 상기 원격지원 단말기 및/또는 상기 서버와 통신하는 글래스통신모듈; 및 설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈을 포함할 수 있다.In an embodiment of the present invention, the smart terminal includes a frame worn on the worker's face, a lens installed on the frame, and a glass module including a display coupled to the frame and set to display a preset coordinate area; A camera module installed in the frame to capture the site viewed by the worker in real time according to the worker's gaze and/or movement to obtain the site image information; At least one voice input module installed in the frame to input and process the worker's voice; A glass communication module installed in the frame and communicating with the remote support terminal and/or the server; And detecting defects and/or cracks set from the field image information using a set artificial intelligence model, displaying the detected defects and/or cracks on the glass module so that they can be confirmed, and displaying the defects and/or cracks received through the glass communication module. It may include a glass control module that processes the augmented reality guide to be displayed on the glass module and performs a set operation in response to the voice.
본 발명의 실시예에 있어서, 상기 글래스제어모듈은, 상기 서버로부터 수신한 상기 증강현실 가이드가 상기 글래스모듈에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부; 상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 음성명령을 제공하는 음성처리부; 및 상기 영상처리부에서 신호처리된 상기 증강현실 가이드가 작업자의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 및/또는 상기 음성처리부를 제어하는 메인제어부을 포함할 수 있다.In an embodiment of the present invention, the glass control module includes an image processing unit that processes the augmented reality guide received from the server and provides the signal to the glass module so that the augmented reality guide is displayed on the glass module; a voice processing unit that processes the voice received from the voice input module into a command and provides a voice command to the server through the glass communication module; And it may include a main control unit that controls the image processing unit and/or the audio processing unit so that the augmented reality guide signal processed by the image processing unit matches the operator's voice and is displayed on the glass module.
본 발명의 실시예에 있어서, 상기 음성처리부는, 작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이에 설정된 좌표영역에 대한 키워드를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드를 추출하여 음성명령으로 신호처리하고 상기 서버에 음성명령을 제공할 수 있다.In an embodiment of the present invention, when it is determined that a worker's utterance is input, the voice processing unit extracts a keyword for a coordinate area set on the display from the voice or extracts a keyword for an execution command of an augmented reality guide. Thus, the signal can be processed into a voice command and the voice command can be provided to the server.
본 발명의 실시예에 있어서, 상기 서버는, 상기 스마트 단말기 및/또는 상기 원격지원 단말기와 통신하는 서버통신모듈; 상기 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 객체를 추출하는 영상분석모듈; 상기 스마트 단말기로부터 수신한 상기 음성명령으로부터 키워드 및/또는 입력신호를 분석하는 음성명령분석모듈; 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합하는 컨텐츠제공모듈; 및 상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.In an embodiment of the present invention, the server includes a server communication module that communicates with the smart terminal and/or the remote support terminal; An image analysis module that extracts a set object from the on-site image information using the artificial intelligence model; A voice command analysis module that analyzes keywords and/or input signals from the voice command received from the smart terminal; The artificial intelligence model is set based on data of the set industrial domain, the augmented reality guide is generated by reflecting the instruction information on the object, and the augmented reality guide is displayed at each location of the object of the field image information. A content providing module that matches coordinates to; And to receive analysis results from the video analysis module and/or the voice command analysis module, and to match the on-site video information, the instruction information, and/or the augmented reality guide corresponding to the voice command and provide them to the smart terminal. , may include a server control module that controls the content provision module.
본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.In an embodiment of the present invention, the image analysis module analyzes an object using the image recognition model set as an image analysis artificial intelligence program for shape recognition, and the image recognition model includes: 1 for product recognition, Automatic generation of test images that automatically generate 2D barcode data, data arguments that automatically process padding according to changes in image resolution, including image multiplication techniques, and the location of the bounding box that occurs when the resolution of the training image is changed. It can support items that include at least one of the following: resolution change, which introduces an algorithm to compensate for changes, and dataset separation for image restoration, which automatically classifies training data for upscaling of images taken for product and shape recognition. there is.
본 발명의 실시예에 있어서, 상기 음성명령분석모듈은, 노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석할 수 있다.In an embodiment of the present invention, the voice command analysis module separates noise and voice, learns the separated noise and voice through deep learning, and applies voice recognition techniques to the artificial intelligence model learned through deep learning to generate voice. The voice command can be analyzed using the natural language processing model that converts data into text.
본 발명의 실시예에 있어서, 상기 컨텐츠제공모듈은, 상기 인공지능모델을 이용한 비전기술을 기반으로 상기 스마트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다.In an embodiment of the present invention, the content providing module samples 360-degree scanning data of the modeling object received from the smart terminal based on vision technology using the artificial intelligence model and produces a plurality of images taken at a set angle. Augmented reality content can be created by extracting and compositing, creating the extracted image as a 3D object, and then correcting it with a 3D editing tool.
본 발명의 실시예에 따르면, 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있다.According to an embodiment of the present invention, quality and productivity can be increased by improving work efficiency through real-time collaboration with experts.
또한, 본 발명의 실시예에 따르면, 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있다.Additionally, according to an embodiment of the present invention, safety problems can be solved in fields where both hands are not free through voice control.
또한, 본 발명의 실시예에 따르면, 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있다.Additionally, according to an embodiment of the present invention, potentially dangerous field work can be handled safely using artificial intelligence technology in the vision field.
또한, 본 발명의 실시예에 따르면, 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있다.In addition, according to an embodiment of the present invention, working time can be shortened and work efficiency improved through real-time remote collaboration and digital work management using augmented reality technology.
또한, 본 발명의 실시예에 따르면, 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있다.In addition, according to an embodiment of the present invention, sales and customer satisfaction can be significantly improved by reducing a company's operating costs through non-expert training and safety improvement using artificial intelligence and augmented reality technology.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the effects described above, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.
도 1은 본 발명의 일 실시예에 따른 증강현실시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 단말기 및 서버의 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 단말기의 외형을 나타내는 도면이다.
도 4는 도 2의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.1 is a diagram showing the configuration of an augmented reality system according to an embodiment of the present invention.
Figure 2 is a diagram illustrating the configuration of a smart terminal and a server according to an embodiment of the present invention.
Figure 3 is a diagram showing the external appearance of a smart terminal according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating the detailed configuration of the glass control module of FIG. 2.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the attached drawings. However, the present invention may be implemented in various different forms and, therefore, is not limited to the embodiments described herein. In order to clearly explain the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are given similar reference numerals throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is said to be "connected (connected, contacted, combined)" with another part, this means not only "directly connected" but also "indirectly connected" with another member in between. "Includes cases where it is. Additionally, when a part is said to “include” a certain component, this does not mean that other components are excluded, but that other components can be added, unless specifically stated to the contrary.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to indicate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
본 발명에서는 촬영된 이미지를 자체 학습시킨 인공지능모델로 분석하여 균열, 파손 등과 같은 결함 파악과 함께 데이터 정량화 및/또는 가시화 기술을 구현할 수 있다. 또한, 본 발명에서는 자이로 센서, 이미지 인식 등 다양한 접근법을 통해 기존에는 하드웨어 의존도가 높아 구현하기 어려웠던 증강현실 줄자를 통한 측정 기술을 구현할 수 있다. 또한, 본 발명에서는 음성명령을 기반으로 눈금자 수치 및 영역 입력을 통해 증강현실 마킹을 하고 해당 영역에 대한 정보 가시화 기술을 구현할 수 있다. 또한, 본 발명에서는 자연어 처리를 통해 인공지능모델로 사용자 음성의 의미를 분석하는 원활하고 고도화된 챗봇을 사용하여 작업자 교육 및 매뉴얼 제공 기술을 구현할 수 있다.In the present invention, captured images can be analyzed with a self-trained artificial intelligence model to identify defects such as cracks and damage, as well as data quantification and/or visualization technology. In addition, the present invention can implement measurement technology using an augmented reality tape measure, which was previously difficult to implement due to its high dependence on hardware, through various approaches such as gyro sensors and image recognition. In addition, in the present invention, augmented reality marking can be performed by inputting ruler values and areas based on voice commands, and information visualization technology for the area can be implemented. Additionally, in the present invention, worker training and manual provision technology can be implemented using a smooth and advanced chatbot that analyzes the meaning of the user's voice with an artificial intelligence model through natural language processing.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일 실시예에 따른 증강현실시스템의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of an augmented reality system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실시스템은 스마트 단말기(100), 원격지원 단말기(200) 및 서버(300)를 포함할 수 있다.Referring to FIG. 1, the augmented reality system according to an embodiment of the present invention may include a smart terminal 100, a remote support terminal 200, and a server 300.
상기 스마트 단말기(100)는 상기 원격지원 단말기(200) 및/또는 상기 서버(300)와 통신망으로 연결되고, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실(AR) 가이드를 표시할 수 있다. 또는, 상기 스마트 단말기(100)는 작업자의 신체(안면)에 착용되어 상기 원격지원 단말기(200) 및/또는 상기 서버(300)로 작업자가 바라보는 작업현장 및/또는 물체를 촬영한 영상을 실시간으로 제공할 수 있다. 이를 위하여, 상기 스마트 단말기(100)는 글래스모듈(110), 카메라모듈(120), 음성입력모듈(130), 글래스통신모듈(140) 및 글래스제어모듈(150)을 포함할 수 있다.The smart terminal 100 is connected to the remote support terminal 200 and/or the server 300 through a communication network, acquires on-site image information by photographing the work site, and uses augmented reality (AR) related to the on-site image information. ) A guide can be displayed. Alternatively, the smart terminal 100 is worn on the worker's body (face) and captures images of the work site and/or objects viewed by the worker through the remote support terminal 200 and/or the server 300 in real time. It can be provided as To this end, the smart terminal 100 may include a glass module 110, a camera module 120, a voice input module 130, a glass communication module 140, and a glass control module 150.
도 3을 더 참조하면, 상기 글래스모듈(110)은 작업자의 안면에 착용할 수 있도록 안경 형태의 형상으로 형성될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 작업자의 안면에 착용되는 프레임(112), 상기 프레임(112)에 설치되는 렌즈(114) 및 상기 프레임(112)에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이(116)을 포함할 수 있다.Referring further to FIG. 3, the glass module 110 may be formed in the shape of glasses so that it can be worn on the worker's face. To this end, the glass module 110 is set to display a preset coordinate area by combining a frame 112 worn on the worker's face, a lens 114 installed on the frame 112, and the frame 112. It may include a display 116.
여기서, 상기 글래스모듈(110)은 상기 카메라모듈(120), 상기 음성입력모듈(130), 상기 글래스통신모듈(140) 및 상기 글래스제어모듈(150)을 상기 프레임(112) 및/또는 상기 디스플레이(116)에 결합 및/또는 내장할 수 있다.Here, the glass module 110 combines the camera module 120, the voice input module 130, the glass communication module 140, and the glass control module 150 with the frame 112 and/or the display. It can be combined and/or embedded in (116).
또한, 상기 글래스모듈(110)은 눈금자 유저인터페이스로 상기 디스플레이(116)에 좌표영역이 설정될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 눈금자 유저인터페이스를 상기 디스플레이(116)에서 별도의 고정출력신호에 따라 표시하거나, 눈금자 유저인터페이스가 포함된 영상신호를 수신하여 상기 디스플레이(116)에서 출력할 수 있다. Additionally, the glass module 110 can have a coordinate area set on the display 116 using a ruler user interface. To this end, the glass module 110 can display the ruler user interface on the display 116 according to a separate fixed output signal, or receive an image signal including the ruler user interface and output it on the display 116. there is.
상기 카메라모듈(120)은 상기 프레임(112)의 일측에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 물체를 실시간으로 촬영하여 실물영상을 생성할 수 있다.The camera module 120 is installed on one side of the frame 112 and can capture the object the worker looks at in real time according to the worker's gaze and/or movement to generate an actual image.
상기 음성입력모듈(130)은 상기 프레임(112)의 일측에 적어도 하나가 설치되어 작업자의 음성을 입력 처리할 수 있다. 예를 들면, 상기 음성입력모듈(130)은 마이크로 구현되며, 상기 글래스모듈(110)을 착용한 작업자의 발화로부터 음성을 감지할 수 있다. 이때, 상기 음성입력모듈(130)이 감지하는 소리는 작업자에 의한 발화와, 작업자 이외에 다양한 요인에 의해 발생하는 소리를 포함할 수 있다.At least one voice input module 130 is installed on one side of the frame 112 and can input and process the operator's voice. For example, the voice input module 130 is implemented as a microphone and can detect voice from the utterance of a worker wearing the glass module 110. At this time, the sound detected by the voice input module 130 may include utterances made by the worker and sounds generated by various factors other than the worker.
상기 글래스통신모듈(140)은 상기 프레임(112)의 일측에 설치되며, 통신망을 통해 상기 서버(300)와 통신할 수 있다. 이러한 상기 글래스통신모듈(140)은 상기 서버(300)의 통신 프로토콜(protocol)에 따라서 유선/무선을 통한 광역/근거리 네트워크나 로컬 접속 방식으로 상기 서버(300)에 접속할 수 있다.The glass communication module 140 is installed on one side of the frame 112 and can communicate with the server 300 through a communication network. The glass communication module 140 can connect to the server 300 through a wired/wireless wide area/local area network or local connection method according to the communication protocol of the server 300.
상기 글래스제어모듈(150)은 설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈(110)에 표시시키며, 상기 글래스통신모듈(140)을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈(110)에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리할 수 있다. 또한, 상기 글래스제어모듈(150)은 수신한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리할 수 있다. 이를 위하여, 상기 글래스제어모듈(150)은 도 4에 도시된 바와 같이 영상처리부(152), 음성처리부(154), 메인제어부(156)를 포함할 수 있다.The glass control module 150 detects defects and/or cracks set from the field image information using a set artificial intelligence model, and displays the detected defects and/or cracks on the glass module 110 so that they can be confirmed. , the augmented reality guide received through the glass communication module 140 can be processed to be displayed on the glass module 110 and a set operation can be performed in response to the voice. Additionally, the glass control module 150 can process the received video signal to be displayed on the display 116 of the glass module 110 and perform a preset operation in response to the voice. To this end, the glass control module 150 may include an image processing unit 152, an audio processing unit 154, and a main control unit 156, as shown in FIG. 4.
상기 영상처리부(152)는 상기 서버(300)로부터 수신한 증강현실 가이드가 상기 글래스모듈(110)에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈(110)로 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 증강현실 가이드에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)을 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이(116)에 해당 영상신호에 기초하는 영상을 표시되게 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 증강현실 가이드로부터 해당 증강현실 가이드에 대응하는 영상, 음성 및 부가데이터를 추출하고, 기 설정된 해상도로 조정하여 상기 글래스모듈(110)을 통해 출력시킬 수 있다.The image processing unit 152 may process the augmented reality guide received from the server 300 to be displayed on the glass module 110 and provide the signal to the glass module 110 . Here, the image processing unit 152 may perform various image processing processes on image signals included in the received augmented reality guide. Additionally, the image processing unit 152 may output an image signal that has undergone this process through the display 116 of the glass module 110. Through this, the image processing unit 152 can display an image based on the corresponding image signal on the display 116. For example, the image processing unit 152 extracts video, audio, and additional data corresponding to the augmented reality guide from the received augmented reality guide, adjusts it to a preset resolution, and outputs it through the glass module 110. You can.
상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.The type of image processing process performed by the image processing unit 152 is not limited, for example, decoding corresponding to the image format of the image data, converting interlace image data into a progressive method. De-interlacing to convert, scaling to adjust video data to a preset resolution, noise reduction to improve video quality, detail enhancement, and frame refresh rate. May include conversion, etc.
상기 음성처리부(154)는 상기 음성입력모듈(130)로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈(140)을 통해 상기 서버(300)로 음성명령을 제공할 수 있다.The voice processing unit 154 can process the voice received from the voice input module 130 into a command and provide a voice command to the server 300 through the glass communication module 140.
구체적으로, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 입력되는 음성 및/또는 소리에 대한 음성처리 프로세스를 수행할 수 있다. 여기서, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 음성 및/또는 소리가 입력되면, 입력된 음성 및/또는 소리가 작업자에 의한 발화인지 아니면 기타 요인에 의하여 발생한 소리인지 여부를 판단할 수 있다. 그러나, 이러한 판단 방법은 다양한 구조가 적용될 수 있으므로 입력된 음성 및/또는 소리가 사람의 목소리에 대응하는 파장 및/또는 주파수 대역에 해당하는지 판단하거나, 또는 사전에 지정된 작업자의 음성의 프로파일에 해당하는지 판단하는 등의 방법을 사용할 수 있다.Specifically, the voice processing unit 154 may perform a voice processing process on the voice and/or sound input to the voice input module 130. Here, when a voice and/or sound is input to the voice input module 130, the voice processing unit 154 determines whether the input voice and/or sound is uttered by an operator or a sound generated by other factors. can do. However, since various structures can be applied to this determination method, it is determined whether the input voice and/or sound corresponds to the wavelength and/or frequency band corresponding to the human voice, or whether it corresponds to the profile of the worker's voice specified in advance. Methods such as judgment can be used.
또한, 상기 음성처리부(154)는 작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이(116)에 설정된 좌표영역에 대한 키워드(이하, 좌표영역 키워드)를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드(실행명령 키워드)를 추출하여 음성명령으로 신호처리하고 상기 서버(300)에 음성명령을 제공할 수 있다. 이를 통해, 상기 음성처리부(154)는 작업자의 발화에 따라 기 설정된 대응 동작이 수행될 수 있도록 지원할 수 있다.In addition, when the voice processing unit 154 determines that the operator's utterance has been input, the voice processing unit 154 extracts a keyword for the coordinate area set in the display 116 (hereinafter, coordinate area keyword) from the voice, or executes an augmented reality guide. The keyword for the command (execution command keyword) can be extracted, processed as a voice command, and the voice command can be provided to the server 300. Through this, the voice processing unit 154 can support performing a preset corresponding operation according to the worker's utterance.
상기 메인제어부(156)는 상기 음성입력모듈(130)을 통해 작업자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 증강현실 가이드를 영상신호로 신호처리하여 상기 글래스모듈(110)로 표시할 때 상기 음성입력모듈(130)을 통해 컨텐츠에 대한 실행을 명령하는 작업자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부(152)를 제어할 수 있다.When the operator's voice is input through the voice input module 130, the main control unit 156 can control the voice processing unit 154 to signal process the input voice. In addition, the main control unit 156 processes the augmented reality guide into an image signal through the image processing unit 152 and displays it on the glass module 110, and executes content through the voice input module 130. When the operator's voice commanding is input, the image processing unit 152 can be controlled to execute the voice command.
상기와 같은, 상기 글래스제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 글래스모듈(110)에 내장될 수 있다.As described above, the glass control module 150 processes images by mounting a SOC (system-on-chip) that integrates various functions, or individual components that can independently perform each process, on a printed circuit board. It may be implemented as a board (not shown) and embedded in the glass module 110.
상기 원격지원 단말기(200)는 상기 스마트 단말기(100)에서 획득한 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기(100) 및/또는 상기 서버(300)로 제공할 수 있다. 여기서, 상기 원격지원 단말기(200)는 기 설정된 좌표영역이 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 또한, 상기 원격지원 단말기(200)는 원격 전문가의 발화를 상기 지시사항정보로 생성할 수 있다. 또한, 상기 원격지원 단말기(200)는 상기 현장영상정보를 바탕으로 원격 전문가의 포인터나 드로잉 정보가 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 이러한 상기 원격지원 단말기(200)는 상기 스마트 단말기(100)와 실시간으로 원격 통화 및/또는 자료(파일) 공유를 수행할 수 있다.The remote support terminal 200 displays on-site image information acquired from the smart terminal 100, and provides instruction information instructed by a remote expert to the smart terminal 100 and/or the server 300. You can. Here, the remote support terminal 200 may generate the instruction information in which a preset coordinate area is grafted and/or reflected. Additionally, the remote support terminal 200 can generate a remote expert's utterance as the instruction information. Additionally, the remote support terminal 200 may generate the instruction information in which pointer or drawing information of a remote expert is grafted and/or reflected based on the on-site image information. The remote support terminal 200 can perform remote calls and/or share data (files) with the smart terminal 100 in real time.
상기 서버(300)는 상기 스마트 단말기(100)와 상기 원격지원 단말기(200) 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기(100)에 제공할 수 있다. 또한, 상기 서버(300)는 상기 스마트 단말기(100)로부터 상기 음성명령을 수신하여 상기 음성명령을 분석하고, 상기 음성명령에 대응하는 증강현실 가이드를 상기 스마트 단말기(100)에게 제공할 수 있다. 이를 위하여, 상기 서버(300)는 서버통신모듈(210), 영상분석모듈(220), 음성명령분석모듈(230), 컨텐츠제공모듈(240), 서버제어모듈(250)을 포함할 수 있다.The server 300 relays data between the smart terminal 100 and the remote support terminal 200, and generates the augmented reality guide based on the instruction information to be displayed in accordance with the on-site image information. This can be provided to the smart terminal 100. Additionally, the server 300 may receive the voice command from the smart terminal 100, analyze the voice command, and provide the smart terminal 100 with an augmented reality guide corresponding to the voice command. To this end, the server 300 may include a server communication module 210, a video analysis module 220, a voice command analysis module 230, a content provision module 240, and a server control module 250.
상기 서버통신모듈(210)은 통신망을 통해 상기 글래스통신모듈(140)과 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 글래스통신모듈(140)로부터 현장영상정보 및/또는 음성명령을 수신하고, 상기 증강현실 가이드를 영상신호로 송신할 수 있다.The server communication module 210 can communicate with the glass communication module 140 through a communication network. Here, the server communication module 210 can receive on-site image information and/or voice commands from the glass communication module 140, and transmit the augmented reality guide as a video signal.
또한, 상기 서버통신모듈(210)은 통신망을 통해 상기 원격지원 단말기(200)와 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 원격지원 단말기(200)로부터 상기 지시사항정보를 수신할 수 있다.Additionally, the server communication module 210 can communicate with the remote support terminal 200 through a communication network. Here, the server communication module 210 can receive the instruction information from the remote support terminal 200.
상기 영상분석모듈(220)은 상기 스마트 단말기(100)로부터 수신된 현장영상정보로부터 객체를 분석하고, 분석결과를 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(220)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.The video analysis module 220 can analyze objects from the on-site video information received from the smart terminal 100 and provide the analysis results to the content provision module 240 and/or the server control module 250. there is. For example, the image analysis module 220 can distinguish objects from an image using a preset image recognition model and analyze the classified objects into living things and objects.
여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다.Here, the image recognition model can be set as an image analysis artificial intelligence program for shape recognition, and includes automatic generation of test images that automatically generate 1- and 2-dimensional barcode data for product recognition, and image multiplication techniques to determine image resolution. Data argument that automatically processes padding according to changes, resolution change that introduces an algorithm to correct positional changes in the bounding box that occurs when the resolution of the training image is changed, and images taken for product and shape recognition It can support items such as automatic classification of training data for upscaling, data set separation for image restoration, and recognition processing to simulate (object detection, OCR, barcode or QR code, object tracking, etc.).
예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.For example, the image recognition model can secure an accuracy of about 94% or more based on about 10,000 image datasets to which the data arguments are applied.
또한, 상기 영상분석모듈(220)은 상기 현장영상정보를 자체 학습시킨 인공지능모델로 분석하여 균열, 파손 등과 같은 결함 파악과 함께 데이터 정량화 및/또는 가시화 기술을 구현할 수 있다.In addition, the image analysis module 220 can analyze the on-site image information with a self-trained artificial intelligence model to identify defects such as cracks and damage, as well as implement data quantification and/or visualization technology.
상기 음성명령분석모듈(230)은 상기 스마트 단말기(100)로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 음성명령분석모듈(230)은 상기 음성명령에 포함된 좌표영역 키워드 또는 실행명령 키워드를 분석할 수 있다. 이때, 상기 음성명령분석모듈(230)은 자연어 인식에 관련된 처리모델(이하, 자연어 처리모델)을 이용하여 음성명령을 분석할 수 있다.The voice command analysis module 230 analyzes the keywords included in the voice command from the voice command received from the smart terminal 100 and sends them to the content provision module 240 and/or the server control module 250. can be provided. For example, the voice command analysis module 230 can analyze coordinate area keywords or execution command keywords included in the voice command. At this time, the voice command analysis module 230 can analyze the voice command using a processing model related to natural language recognition (hereinafter, natural language processing model).
여기서, 상기 자연어 처리모델은 노이즈와 음성을 분리하여 딥러닝 학습할 수 있다. 또한, 상기 자연어 처리모델은 딥러닝을 통해 학습된 인공지능 모델에 음성인식(speech-to-text) 기법을 적용하여 음성 데이터를 텍스트로 변환할 수 있다.Here, the natural language processing model can perform deep learning by separating noise and voice. Additionally, the natural language processing model can convert voice data into text by applying a speech-to-text technique to an artificial intelligence model learned through deep learning.
또한, 상기 음성명령분석모듈(230)은 음성에 대한 감정 판별 엔진의 음성 감정 인식 특성(Voice Emotion Recognition Feature: VERF)을 이용하여 작업자의 감정을 분석할 수 있다.In addition, the voice command analysis module 230 can analyze the worker's emotions using the voice emotion recognition feature (VERF) of the voice emotion recognition engine.
예를 들면, 작업자의 음성에서 피치(pitch) 측면으로 소리가 떨리고 더듬거리며 같은 단어를 반복하는 경우, 또는 음색(timbre) 측면으로 작업자의 고유 습관이 있는 경우, 톤(tone) 측면으로 목소리 톤 변화가 크게 없거나 목소리 톤의 높낮이가 느껴지지만 인위적인 경우에, 상기 음성명령분석모듈(230)은 작업자의 다양한 감정을 분석할 수 있다. 즉, 음성명령분석모듈(230)은 작업자가 발화했을 때 불안해하는 부분, 서두르는 부분, 애매한 부분 등을 분석하여 분석 결과를 생성할 수 있다.For example, in the pitch aspect of the worker's voice, if the sound trembles and stutters and repeats the same word, or in the timbre aspect if the worker has a unique habit, the tone aspect changes the tone of the voice. In cases where the voice tone is not loud or the pitch of the voice is felt but artificial, the voice command analysis module 230 can analyze the worker's various emotions. In other words, the voice command analysis module 230 can generate analysis results by analyzing anxious parts, rushed parts, ambiguous parts, etc. when the worker speaks.
상기 컨텐츠제공모듈(240)은 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합할 수 있다.The content providing module 240 sets the artificial intelligence model based on data of the set industrial domain, generates the augmented reality guide by reflecting the instruction information on the object, and generates the augmented reality guide for each object of the field image information. Coordinates can be matched to the augmented reality guide so that the location is displayed.
여기서, 상기 컨텐츠제공모듈(240)은 상기 스마트 단말기(100)에서 촬영한 영상에 대한 정보(이하, 영상정보)를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 또는 상기 실행명령 키워드에 대응하는 증강현실 정합태그(좌표 그리드 정보)를 이용하여 증강현실 가이드를 생성하며, 상기 서버제어모듈(250)의 제어에 따라 증강현실 가이드를 상기 스마트 단말기로 제공할 수 있다. 이때, 상기 컨텐츠제공모듈(240)은 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드와, 상기 증강현실 가이드를 상호 대응하게 맵핑하는 관계 데이터베이스를 저장할 수 있다.Here, the content providing module 240 stores information (hereinafter referred to as image information) about the image captured by the smart terminal 100, and augments the image information, the coordinate area keyword, or the execution command keyword. An augmented reality guide is created using a reality matching tag (coordinate grid information), and the augmented reality guide can be provided to the smart terminal under the control of the server control module 250. At this time, the content providing module 240 may store a relationship database that maps the image information, the coordinate area keyword, the execution command keyword, and the augmented reality guide to each other.
또한, 상기 컨텐츠제공모듈(240)은 손쉽게 증강현실 모델링을 수행할 수 있다. 여기서, 상기 컨텐츠제공모듈(240)은 인공지능모델을 이용한 비전기술(라이브 증강현실 툴킷)을 기반으로 상기 스마트 단말기(100)로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다. 이를 통해, 상기 컨텐츠제공모듈(240)은 전문적인 기술없이 사진 촬영만으로 각 산업현장에서 최적화된 증강현실 컨텐츠를 손쉽게 생산할 수 있고, 증강현실 컨텐츠 생성을 위한 작업시간을 대폭 단축시켜 매우 우수한 작업효율을 얻을 수 있다. Additionally, the content providing module 240 can easily perform augmented reality modeling. Here, the content provision module 240 samples 360-degree scanning data of the modeling object received from the smart terminal 100 based on vision technology (live augmented reality toolkit) using an artificial intelligence model and captures the image taken at a set angle. Augmented reality content can be created by extracting and combining multiple images, creating the extracted images as 3D objects, and then correcting them with a 3D editing tool. Through this, the content provision module 240 can easily produce optimized augmented reality content at each industrial site just by taking photos without professional skills, and significantly shortens the work time for creating augmented reality content, resulting in excellent work efficiency. You can get it.
상기 서버제어모듈(250)은 상기 영상분석모듈(320) 및/또는 상기 음성명령분석모듈(330)로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기(100)에 제공하도록, 상기 컨텐츠제공모듈(340)을 제어할 수 있다.The server control module 250 receives analysis results from the video analysis module 320 and/or the voice command analysis module 330 and provides information corresponding to the field video information, the instruction information, and/or the voice command. The content providing module 340 can be controlled to match the augmented reality guide and provide it to the smart terminal 100.
이를 통해, 상기 서버(300)는 현장의 작업자와, 본사의 전문가 간의 현장 이미지 및 결과 보고서, 필요 서류에 대한 송수신을 통해 자료 수집 간소화 및 효율성을 강화할 수 있도록 상기 스마트 단말기(100)와 상기 원격지원 단말기(200)를 중계할 수 있다.Through this, the server 300 supports the smart terminal 100 and the remote support to simplify data collection and enhance efficiency through transmission and reception of field images, result reports, and necessary documents between field workers and experts at headquarters. The terminal 200 can be relayed.
[실시예][Example]
본 발명의 일 실시예에 따른 증강현실시스템에서는 PC, 모바일, 태블릿 스마트글라스 등 다양한 디바이스에서 인원수 제약없이 참여하는 다자간 영상 및 음성통신이 가능한 다자간 영상회의, 영상 위에 전문가가 포인팅하거나 그리는 정보가 실시간으로 증강되어 정확한 업무지시와 빠른 협업이 가능한 증강현실 드로잉 및 포인팅, 여럿이 동시에 문서를 공유하고 그리기 도구를 사용하여 주석달기 및 드로잉 기능으로 효율적인 커뮤니케이션이 가능한 협업보드, 이미지, 비디오, 문서파일 공유가 실시간으로 가능하며 로컬 또는 클라우드에 저장되어 검색 및 파일 관리에 유용한 파일공유, 실시간 영상을 녹화, 캡처하여 정보를 저장 가능하며, 문제원인 파악 및 업무의 형상관리 효율을 향상시키는 녹화 및 캡쳐 기능이 수행될 수 있다.In the augmented reality system according to an embodiment of the present invention, a multi-party video conference capable of multi-party video and voice communication without restrictions on the number of participants on various devices such as PC, mobile, and tablet smart glasses, and information pointed or drawn by an expert on the video is displayed in real time. Augmented reality drawing and pointing that allows for accurate work instructions and quick collaboration, a collaboration board that allows multiple people to share documents at the same time and efficient communication with annotation and drawing functions using drawing tools, and real-time sharing of images, videos, and document files It is possible to store information by recording and capturing real-time video and sharing files that are stored locally or in the cloud, which are useful for search and file management. Recording and capture functions can be performed to identify the cause of the problem and improve the efficiency of work configuration management. You can.
본 발명의 실시예에 따르면, 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있다. 또한, 본 발명의 실시예에 따르면, 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있다. 또한, 본 발명의 실시예에 따르면, 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있다. 또한, 본 발명의 실시예에 따르면, 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있다. 또한, 본 발명의 실시예에 따르면, 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있다. 또한, 본 발명의 실시예에 따르면, 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있다. 또한, 본 발명의 실시예에 따르면, 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있다. 또한, 본 발명의 실시예에 따르면, 음성인식 기술 및/또는 언어 처리 기술 도입으로 워크플로우를 원활하게 만들어 방해와 주의 분산을 없애 생산성을 향상시킬 수 있다. 또한, 본 발명의 실시예에 따르면, 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있다.According to an embodiment of the present invention, quality and productivity can be increased by improving work efficiency through real-time collaboration with experts. Additionally, according to an embodiment of the present invention, safety problems can be solved in fields where both hands are not free through voice control. Additionally, according to an embodiment of the present invention, potentially dangerous field work can be handled safely using artificial intelligence technology in the vision field. In addition, according to an embodiment of the present invention, working time can be shortened and work efficiency improved through real-time remote collaboration and digital work management using augmented reality technology. In addition, according to an embodiment of the present invention, sales and customer satisfaction can be significantly improved by reducing a company's operating costs through non-expert training and safety improvement using artificial intelligence and augmented reality technology. In addition, according to an embodiment of the present invention, information about products can be confirmed in real time at facilities and manufacturing sites by facilitating image recognition through image identification technology. Additionally, according to an embodiment of the present invention, a marking technique through voice recognition can be applied to display on the screen. Additionally, according to an embodiment of the present invention, productivity can be improved by eliminating interruptions and distractions by smoothing the workflow by introducing voice recognition technology and/or language processing technology. In addition, according to an embodiment of the present invention, on-site productivity can be improved through technologies such as remote assistance, vision picking, and remote collaboration that can analyze the speaker's intention and deliver auxiliary knowledge to the speaker.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the patent claims described below, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention.
100: 스마트 단말기
200: 원격지원 단말기
300: 서버100: Smart terminal
200: Remote support terminal
300: server
Claims (8)
상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 또는 상기 서버로 제공하는 원격지원 단말기; 및
상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 상기 서버;
를 포함하고,
글래스제어모듈에 포함되는 음성처리부는,
상기 스마트 단말기에 포함되는 음성입력모듈로부터 입력처리되는 소리가 사람의 목소리에 대응하는 파장 및 주파수 대역에 해당하는지 또는 사전에 지정된 상기 작업자의 음성 프로파일에 해당하는지를 확인함으로써 상기 소리가 상기 작업자의 발화에 의한 음성인지 여부를 판단하는 것을 특징으로 하며,
상기 서버에 포함되는 음성명령분석모듈은,
상기 스마트 단말기로부터 수신한 상기 음성명령으로부터 상기 키워드 또는 입력신호를 분석하는 가운데, 상기 음성명령에 대해 감정 판별 엔진의 음성 감정 인식 특성(Voice Emotion Recognition Feature; VERF)을 이용하여 상기 작업자의 감정을 분석하는 것을 특징으로 하고,
상기 음성명령분석모듈은,
노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 자연어 처리모델을 이용하여 상기 음성명령을 분석하는 것을 특징으로 하며,
상기 서버에 포함되는 영상분석모듈은,
형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 이미지 인식 모델을 이용하여 상기 현장영상정보로부터 설정된 객체를 추출하는 가운데, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리를 지원하는 상기 이미지 인식모델을 이용하는 것을 특징으로 하는, 증강현실시스템.
It is carried by the worker, and while displaying a preset coordinate area, the work site viewed by the worker is captured according to the worker's gaze and movement to obtain on-site image information, and the coordinate area is recorded from the worker's voice that is input and processed. A smart terminal that extracts keywords, processes them as voice commands, provides them to the server, and displays an augmented reality guide related to the on-site video information;
A remote support terminal that displays the on-site image information acquired from the smart terminal and provides instruction information instructed by a remote expert to the smart terminal or the server; and
The server relays data between the smart terminal and the remote support terminal, generates the augmented reality guide based on the instruction information to be displayed in accordance with the on-site image information, and provides the augmented reality guide to the smart terminal;
Including,
The voice processing unit included in the glass control module,
By checking whether the sound inputted from the voice input module included in the smart terminal corresponds to the wavelength and frequency band corresponding to the human voice or corresponds to the worker's voice profile specified in advance, the sound is matched to the worker's utterance. It is characterized by determining whether it is a voice by
The voice command analysis module included in the server is,
While analyzing the keyword or input signal from the voice command received from the smart terminal, the worker's emotion is analyzed using the voice emotion recognition feature (VERF) of the emotion recognition engine for the voice command. Characterized by,
The voice command analysis module is,
The above voice command is performed using a natural language processing model that separates noise and voice, learns the separated noise and voice through deep learning, and applies voice recognition techniques to the artificial intelligence model learned through deep learning to convert voice data into text. Characterized by analyzing,
The video analysis module included in the server is,
Automatic generation of test images that automatically generate 1- and 2-dimensional barcode data for product recognition while extracting objects set from the on-site image information using an image recognition model set by an image analysis artificial intelligence program for shape recognition. Including image multiplication techniques, data arguments that automatically process padding according to changes in image resolution, resolution changes that introduce an algorithm to correct the change in the position of the bounding box that occurs when the resolution of the training image is changed, product and An augmented reality system, characterized in that it uses the image recognition model to support dataset separation for image restoration that automatically classifies training data for upscaling of images taken for shape recognition.
상기 스마트 단말기는,
상기 작업자의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 상기 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈;
상기 프레임에 설치되어 상기 작업현장을 실시간으로 촬영하여 상기 현장영상정보를 획득하는 카메라모듈;
상기 프레임에 적어도 하나가 설치되어 상기 소리 또는 상기 작업자의 음성을 입력처리하는 상기 음성입력모듈;
상기 프레임에 설치되어 상기 원격지원 단말기 또는 상기 서버와 통신하는 글래스통신모듈; 및
설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 또는 균열을 검출하고, 검출된 불량 또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈;
을 포함하는 것을 특징으로 하는, 증강현실시스템.
According to paragraph 1,
The smart terminal is,
A glass module including a frame worn on the worker's face, a lens installed on the frame, and a display coupled to the frame and set to display the coordinate area;
A camera module installed in the frame to capture the work site in real time and obtain the site image information;
The voice input module, at least one of which is installed in the frame, inputs and processes the sound or the worker's voice;
A glass communication module installed in the frame and communicating with the remote support terminal or the server; and
Using the set artificial intelligence model, defects or cracks set from the on-site image information are detected, the detected defects or cracks are displayed on the glass module so that they can be confirmed, and the augmented reality guide received through the glass communication module is displayed on the glass module. a glass control module that processes the display to be displayed on the glass module and performs a set operation in response to the voice;
An augmented reality system comprising:
상기 글래스제어모듈은,
상기 서버로부터 수신한 상기 증강현실 가이드가 상기 글래스모듈에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부;
상기 음성입력모듈로부터 수신한 상기 소리 또는 상기 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 상기 음성명령을 제공하는 상기 음성처리부; 및
상기 영상처리부에서 신호처리된 상기 증강현실 가이드가 상기 작업자의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 또는 상기 음성처리부를 제어하는 메인제어부;
을 포함하는 것을 특징으로 하는, 증강현실시스템.
According to paragraph 2,
The glass control module is,
an image processing unit that processes the augmented reality guide received from the server and provides the signal to the glass module so that the augmented reality guide is displayed on the glass module;
the voice processing unit that processes the sound or voice received from the voice input module into a command and provides the voice command to the server through the glass communication module; and
a main control unit that controls the image processing unit or the audio processing unit so that the augmented reality guide signal processed by the image processing unit matches the voice of the operator and is displayed on the glass module;
An augmented reality system comprising:
상기 음성처리부는,
상기 소리가 상기 작업자의 발화에 의한 음성인 것으로 판단되면, 상기 증강현실 가이드의 실행명령에 대한 키워드를 추출하여 상기 음성명령으로 신호처리하고 상기 서버에 상기 음성명령을 제공하는 것을 특징으로 하는, 증강현실시스템.
According to paragraph 3,
The voice processing unit,
If it is determined that the sound is a voice uttered by the worker, the augmented reality system extracts a keyword for the execution command of the augmented reality guide, processes the signal as the voice command, and provides the voice command to the server. Reality system.
상기 서버는,
상기 스마트 단말기 또는 상기 원격지원 단말기와 통신하는 서버통신모듈;
상기 영상분석모듈;
상기 음성명령분석모듈;
설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합하는 컨텐츠제공모듈; 및
상기 영상분석모듈 또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈;
을 포함하는 것을 특징으로 하는, 증강현실시스템.
According to paragraph 1,
The server is,
A server communication module that communicates with the smart terminal or the remote support terminal;
The video analysis module;
The voice command analysis module;
The artificial intelligence model is set based on data of the set industrial domain, the augmented reality guide is generated by reflecting the instruction information on the object, and the augmented reality guide is displayed at each location of the object of the field image information. A content providing module that matches coordinates to; and
The content providing module receives analysis results from the video analysis module or the voice command analysis module, matches the on-site video information, the instruction information, or the augmented reality guide corresponding to the voice command, and provides it to the smart terminal. A server control module that controls;
An augmented reality system comprising:
상기 컨텐츠제공모듈은,
상기 인공지능모델을 이용한 비전기술을 기반으로 상기 스마트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성하는 것을 특징으로 하는, 증강현실시스템.
According to clause 5,
The content provision module is,
Based on vision technology using the artificial intelligence model, 360-degree scanning data of the modeling object received from the smart terminal is sampled, multiple images taken at a set angle are extracted and synthesized, and the extracted images are created as a 3D object. An augmented reality system characterized by creating augmented reality content by correcting it with a 3D editing tool.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200185426A KR102605552B1 (en) | 2020-12-29 | 2020-12-29 | Augmented Reality System |
PCT/KR2021/014499 WO2022145655A1 (en) | 2020-12-29 | 2021-10-18 | Augmented reality system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200185426A KR102605552B1 (en) | 2020-12-29 | 2020-12-29 | Augmented Reality System |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220095265A KR20220095265A (en) | 2022-07-07 |
KR102605552B1 true KR102605552B1 (en) | 2023-11-27 |
Family
ID=82259373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200185426A KR102605552B1 (en) | 2020-12-29 | 2020-12-29 | Augmented Reality System |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102605552B1 (en) |
WO (1) | WO2022145655A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
KR101990284B1 (en) * | 2018-12-13 | 2019-06-18 | 주식회사 버넥트 | Intelligent cognitive technology based augmented reality system using speech recognition |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000052540A1 (en) * | 1999-03-02 | 2000-09-08 | Siemens Aktiengesellschaft | Augmented reality system using mobile devices |
KR101171264B1 (en) * | 2010-08-30 | 2012-08-06 | 성균관대학교산학협력단 | Apparatus for providing building structure information and displaying building structure using argumented reality and method for maintenance of building structure using the same |
KR20130067450A (en) * | 2011-12-14 | 2013-06-24 | 한국전자통신연구원 | Field applied safety helmet apparatus for ar-based of maintenance and method for providing its application service |
WO2017182523A1 (en) * | 2016-04-20 | 2017-10-26 | Newbiquity Sagl | A method and a system for real-time remote support with use of computer vision and augmented reality |
KR102132330B1 (en) * | 2018-11-27 | 2020-07-09 | 주식회사 코이노 | Remote guidance apparatus and method capable of handling hyper-motion step based on augmented reality and machine learning |
KR102305405B1 (en) * | 2019-03-12 | 2021-09-29 | 주식회사 피앤씨솔루션 | Remote work support system using head mounted display apparatus and augmented reality |
KR20190101323A (en) | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | Xr device for providing ar mode and vr mode and method for controlling the same |
-
2020
- 2020-12-29 KR KR1020200185426A patent/KR102605552B1/en active IP Right Grant
-
2021
- 2021-10-18 WO PCT/KR2021/014499 patent/WO2022145655A1/en unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101772916B1 (en) * | 2016-12-30 | 2017-08-31 | 한양대학교 에리카산학협력단 | Device for measuring crack width of concretestructure |
KR101990284B1 (en) * | 2018-12-13 | 2019-06-18 | 주식회사 버넥트 | Intelligent cognitive technology based augmented reality system using speech recognition |
Also Published As
Publication number | Publication date |
---|---|
KR20220095265A (en) | 2022-07-07 |
WO2022145655A1 (en) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10621991B2 (en) | Joint neural network for speaker recognition | |
CN107799126B (en) | Voice endpoint detection method and device based on supervised machine learning | |
CN108573701A (en) | Inquiry based on lip detecting is endpoint formatting | |
US20050159958A1 (en) | Image processing apparatus, method and program | |
CN105046238A (en) | Facial expression robot multi-channel information emotion expression mapping method | |
WO2008069519A1 (en) | Gesture/speech integrated recognition system and method | |
CN111127699A (en) | Method, system, equipment and medium for automatically recording automobile defect data | |
JP2007257088A (en) | Robot device and its communication method | |
CN110503957A (en) | A kind of audio recognition method and device based on image denoising | |
KR102290549B1 (en) | AR Contents Production System | |
KR102291740B1 (en) | Image processing system | |
KR102605552B1 (en) | Augmented Reality System | |
Sui et al. | A 3D audio-visual corpus for speech recognition | |
KR102366396B1 (en) | RGB-D Data and Deep Learning Based 3D Instance Segmentation Method and System | |
Reda et al. | Svbicomm: sign-voice bidirectional communication system for normal,“deaf/dumb” and blind people based on machine learning | |
CN112487246A (en) | Method and device for identifying speakers in multi-person video | |
KR20230077178A (en) | System for supporting Remote Collaboration | |
CN116758451A (en) | Audio-visual emotion recognition method and system based on multi-scale and global cross attention | |
Punith et al. | Design and implementation of a smart reader for blind and visually impaired people | |
Fujimura et al. | Facial expression recognition of a speaker using front-view face judgment, vowel judgment, and thermal image processing | |
CN112232390A (en) | Method and system for identifying high-pixel large image | |
CN111914777B (en) | Method and system for identifying robot instruction in cross-mode manner | |
KR20240070209A (en) | Image processing system | |
JP2019144732A (en) | Operation instruction generating system, method and program | |
KR20090065866A (en) | Method and apparatus for discriminating lip movement image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |