WO2022145655A1 - 증강현실시스템 - Google Patents

증강현실시스템 Download PDF

Info

Publication number
WO2022145655A1
WO2022145655A1 PCT/KR2021/014499 KR2021014499W WO2022145655A1 WO 2022145655 A1 WO2022145655 A1 WO 2022145655A1 KR 2021014499 W KR2021014499 W KR 2021014499W WO 2022145655 A1 WO2022145655 A1 WO 2022145655A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
voice
module
image
smart terminal
Prior art date
Application number
PCT/KR2021/014499
Other languages
English (en)
French (fr)
Inventor
김현배
Original Assignee
주식회사 딥파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥파인 filed Critical 주식회사 딥파인
Publication of WO2022145655A1 publication Critical patent/WO2022145655A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to an augmented reality system, and more particularly, to an augmented reality system capable of increasing quality and productivity by improving work efficiency through real-time collaboration with experts.
  • the technical problem to be solved by the present invention is to provide an augmented reality system that can improve quality and productivity by improving work efficiency through real-time collaboration with experts.
  • the technical problem to be solved by the present invention is to provide an augmented reality system that can solve safety problems in a field where both hands are not free through voice control.
  • the technical problem to be solved by the present invention is to provide an augmented reality system that can safely process dangerous field work using artificial intelligence technology in the vision field.
  • the technical problem to be solved by the present invention is to provide an augmented reality system that can reduce work time and improve work efficiency by using digital work support using remote real-time collaboration and augmented reality technology.
  • the technical problem to be solved by the present invention is to provide an augmented reality system that can significantly improve sales and customer satisfaction by reducing the operating cost of a company through non-professional education and safety improvement using artificial intelligence and augmented reality technology will do
  • one embodiment of the present invention is a smart terminal that a worker carries, obtains field image information by photographing a work site, and displays an augmented reality guide related to the field image information; a remote support terminal that displays the on-site image information obtained from the smart terminal and provides instruction information instructed by a remote expert to the smart terminal and/or the following server 300; and a server that mutually relays data between the smart terminal and the remote support terminal, generates the augmented reality guide based on the instruction information and provides it to the smart terminal so as to match and display the on-site image information. to provide an augmented reality system.
  • the smart terminal comprises: a glass module including a frame worn on a worker's face, a lens installed on the frame, and a display coupled to the frame to display a preset coordinate area; a camera module installed in the frame to capture the scene viewed by the operator in real time according to the operator's gaze and/or movement to obtain the on-site image information; at least one voice input module installed in the frame to input and process a worker's voice; a glass communication module installed in the frame to communicate with the remote support terminal and/or the server; and detecting a set defect and/or crack from the on-site image information using a set artificial intelligence model, and displays the detected defect and/or crack on the glass module so that the detected defect and/or crack can be confirmed, and the received through the glass communication module and a glass control module that processes the augmented reality guide to be displayed on the glass module and performs a set operation in response to the voice.
  • a glass module including a frame worn on a worker's face, a lens installed on the frame, and a display
  • the glass control module includes: an image processing unit for signal processing the augmented reality guide received from the server and providing the augmented reality guide to the glass module to be displayed on the glass module; a voice processing unit that processes the voice received from the voice input module as a command and provides a voice command to the server through the glass communication module; and a main controller controlling the image processing unit and/or the audio processing unit so that the augmented reality guide signal-processed by the image processing unit is matched with the operator's voice and displayed on the glass module.
  • the voice processing unit when it is determined that the operator's utterance is input, extracts a keyword for a coordinate region set on the display from the voice, or extracts a keyword for an execution command of the augmented reality guide Thus, it is possible to process a signal with a voice command and provide the voice command to the server.
  • the server comprises: a server communication module for communicating with the smart terminal and/or the remote support terminal; an image analysis module for extracting an object set from the on-site image information using the artificial intelligence model; a voice command analysis module for analyzing a keyword and/or an input signal from the voice command received from the smart terminal; Set the artificial intelligence model based on the set industrial domain data, generate the augmented reality guide by reflecting the instruction information to the object, and the augmented reality guide to be displayed at each position of the object of the field image information content providing module for matching the coordinates to; and receiving the analysis result from the image analysis module and/or the voice command analysis module, and match the on-site image information, the instruction information, and/or the augmented reality guide corresponding to the voice command to provide it to the smart terminal , it may include a server control module for controlling the content providing module.
  • the image analysis module analyzes an object using the image recognition model set as an image analysis artificial intelligence program for shape recognition, wherein the image recognition model is 1 for product recognition; Automatic creation of test image that automatically generates two-dimensional barcode data, data argument that automatically processes padding according to image resolution change including image multiplication technique, and the location of the bounding box that occurs when the resolution of the training image is changed Can support items including at least one of resolution change, which introduces an algorithm to compensate for changes, and dataset separation for image restoration, which automatically classifies training data for upscaling of images taken for product and shape recognition have.
  • the voice command analysis module separates noise and voice, deep-learning the separated noise and voice, and applying a voice recognition technique to the artificial intelligence model learned through deep learning to make a voice
  • the voice command may be analyzed using the natural language processing model that converts data into text.
  • the content providing module samples 360-degree scanning data of the modeling object received from the smart terminal based on the vision technology using the artificial intelligence model and provides a plurality of images taken at a set angle.
  • Augmented reality content can be created by extracting and synthesizing, generating the extracted image as a three-dimensional object, and then correcting it with a three-dimensional editing tool.
  • quality and productivity can be increased by improving work efficiency through real-time collaboration with experts.
  • FIG. 1 is a diagram showing the configuration of an augmented reality system according to an embodiment of the present invention.
  • FIG. 2 is a diagram exemplarily showing the configuration of a smart terminal and a server according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an external appearance of a smart terminal according to an embodiment of the present invention.
  • FIG. 4 is a view exemplarily showing a detailed configuration of the glass control module of FIG. 2 .
  • data quantification and/or visualization technology can be implemented along with the identification of defects such as cracks and breakages by analyzing the photographed image with an artificial intelligence model trained on its own.
  • augmented reality marking can be performed through ruler numerical values and area input, and information visualization technology for the corresponding area can be implemented.
  • worker training and manual provision technology can be implemented using a smooth and advanced chatbot that analyzes the meaning of a user's voice with an artificial intelligence model through natural language processing.
  • FIG. 1 is a diagram showing the configuration of an augmented reality system according to an embodiment of the present invention.
  • the augmented reality system may include a smart terminal 100 , a remote support terminal 200 , and a server 300 .
  • the smart terminal 100 is connected to the remote support terminal 200 and/or the server 300 through a communication network, acquires field image information by photographing the work site, and augmented reality (AR) related to the field image information ) can display a guide.
  • the smart terminal 100 is worn on the body (face) of the worker, and the remote support terminal 200 and/or the server 300 provides a real-time image of the work site and/or object viewed by the worker.
  • the smart terminal 100 may include a glass module 110 , a camera module 120 , a voice input module 130 , a glass communication module 140 , and a glass control module 150 .
  • the glass module 110 may be formed in a shape of glasses to be worn on the face of an operator. To this end, the glass module 110 is coupled to a frame 112 worn on the operator's face, a lens 114 installed on the frame 112, and the frame 112 to display a preset coordinate area. A display 116 may be included.
  • the glass module 110 connects the camera module 120, the voice input module 130, the glass communication module 140, and the glass control module 150 to the frame 112 and/or the display. It may be coupled and/or embedded in (116).
  • a coordinate area may be set on the display 116 as a ruler user interface.
  • the glass module 110 may display the ruler user interface on the display 116 according to a separate fixed output signal, or receive an image signal including the ruler user interface and output it on the display 116 . have.
  • the camera module 120 may be installed on one side of the frame 112 to generate a real image by capturing an object viewed by the operator in real time according to the operator's gaze and/or movement.
  • At least one of the voice input module 130 is installed on one side of the frame 112 to process the operator's voice.
  • the voice input module 130 is implemented as a microphone, and can detect a voice from the utterance of a worker wearing the glass module 110 .
  • the sound sensed by the voice input module 130 may include an utterance by an operator and a sound generated by various factors other than the operator.
  • the glass communication module 140 is installed on one side of the frame 112 and can communicate with the server 300 through a communication network.
  • the glass communication module 140 may access the server 300 through a wired/wireless wide area/local area network or a local access method according to the communication protocol of the server 300 .
  • the glass control module 150 detects a set defect and/or crack from the on-site image information using a set artificial intelligence model, and displays the detected defect and/or crack on the glass module 110 so that the detected defect and/or crack can be confirmed.
  • the augmented reality guide received through the glass communication module 140 may be processed to be displayed on the glass module 110, and a set operation may be performed in response to the voice.
  • the glass control module 150 may process the received image signal to be displayed on the display 116 of the glass module 110 and perform a preset operation in response to the voice.
  • the glass control module 150 may include an image processing unit 152 , an audio processing unit 154 , and a main control unit 156 as shown in FIG. 4 .
  • the image processing unit 152 may signal-process the augmented reality guide received from the server 300 and provide it to the glass module 110 so that the augmented reality guide is displayed on the glass module 110 .
  • the image processing unit 152 may perform various image processing processes on the image signal included in the received augmented reality guide.
  • the image processing unit 152 may output the image signal on which this process is performed through the display 116 of the glass module 110 .
  • the image processing unit 152 may display an image based on the corresponding image signal on the display 116 .
  • the image processing unit 152 extracts images, audio and additional data corresponding to the augmented reality guide from the received augmented reality guide, adjusts it to a preset resolution, and outputs it through the glass module 110 . can
  • the type of the image processing process performed by the image processing unit 152 is not limited, and for example, decoding corresponding to the image format of the image data, or interlace image data in a progressive manner. De-interlacing for conversion, scaling for adjusting image data to a preset resolution, noise reduction for image quality improvement, detail enhancement, frame refresh rate transformations, and the like.
  • the voice processing unit 154 may provide a voice command to the server 300 through the glass communication module 140 by signal processing the voice received from the voice input module 130 as a command.
  • the voice processing unit 154 may perform a voice processing process for voice and/or sound input to the voice input module 130 .
  • the voice processing unit 154 determines whether the input voice and/or sound is an utterance by an operator or a sound generated by other factors. can do.
  • it is determined whether the input voice and/or sound corresponds to a wavelength and/or frequency band corresponding to a human voice, or whether it corresponds to a pre-specified operator's voice profile. You can use methods such as judging.
  • the voice processing unit 154 extracts a keyword (hereinafter, a coordinate region keyword) for a coordinate region set on the display 116 from the voice, or executes an augmented reality guide It is possible to extract a keyword (execution command keyword) for a command, process the signal as a voice command, and provide the voice command to the server 300 . Through this, the voice processing unit 154 may support a preset corresponding operation to be performed according to the operator's utterance.
  • the main control unit 156 may control the voice processing unit 154 to process the inputted voice as a signal.
  • the main control unit 156 processes the augmented reality guide as an image signal through the image processing unit 152 and displays the augmented reality guide as an image signal through the voice input module 130 when displaying the content through the audio input module 130 .
  • the image processing unit 152 may be controlled to execute the voice command.
  • the glass control module 150 performs image processing by mounting a system-on-chip (SOC) that integrates these various functions, or individual components capable of independently performing each of these processes, on a printed circuit board. It may be implemented as a board (not shown) and embedded in the glass module 110 .
  • SOC system-on-chip
  • the remote support terminal 200 displays the on-site image information obtained from the smart terminal 100, and provides instruction information instructed by the remote expert to the smart terminal 100 and/or the server 300.
  • the remote support terminal 200 may generate the instruction information in which a preset coordinate area is grafted and/or reflected.
  • the remote support terminal 200 may generate the remote expert's utterance as the instruction information.
  • the remote support terminal 200 may generate the instruction information in which the pointer or drawing information of a remote expert is grafted and/or reflected based on the on-site image information.
  • the remote support terminal 200 may perform a remote call and/or data (file) sharing with the smart terminal 100 in real time.
  • the server 300 mutually relays data between the smart terminal 100 and the remote support terminal 200, and generates the augmented reality guide based on the instruction information so that it is displayed in accordance with the on-site image information. Thus, it can be provided to the smart terminal 100 .
  • the server 300 may receive the voice command from the smart terminal 100 , analyze the voice command, and provide an augmented reality guide corresponding to the voice command to the smart terminal 100 .
  • the server 300 may include a server communication module 210 , an image analysis module 220 , a voice command analysis module 230 , a content providing module 240 , and a server control module 250 .
  • the server communication module 210 may communicate with the glass communication module 140 through a communication network.
  • the server communication module 210 may receive on-site image information and/or a voice command from the glass communication module 140 and transmit the augmented reality guide as an image signal.
  • the server communication module 210 may communicate with the remote support terminal 200 through a communication network.
  • the server communication module 210 may receive the instruction information from the remote support terminal 200 .
  • the image analysis module 220 may analyze an object from the on-site image information received from the smart terminal 100 and provide the analysis result to the content providing module 240 and/or the server control module 250 have. For example, the image analysis module 220 may classify an object from an image using a preset image recognition model, and analyze the divided object as a living thing and an object.
  • the image recognition model may be set as an image analysis artificial intelligence program for shape recognition, and image resolution including automatic generation of test images for automatically generating 1,2-dimensional barcode data for product recognition, and image multiplication techniques
  • image resolution including automatic generation of test images for automatically generating 1,2-dimensional barcode data for product recognition, and image multiplication techniques
  • It can support items such as dataset separation for image restoration that automatically classifies training data for upscaling, and recognition processing that simulates (object detection, OCR, barcode or QR code, object tracking, etc.).
  • the image recognition model may secure an accuracy of about 94% or more based on about 10,000 image datasets to which the data argument is applied.
  • the image analysis module 220 may analyze the on-site image information with an artificial intelligence model self-learned and implement data quantification and/or visualization technology along with identification of defects such as cracks and breakages.
  • the voice command analysis module 230 analyzes a keyword included in the voice command from the voice command received from the smart terminal 100 , and sends it to the content providing module 240 and/or the server control module 250 .
  • the voice command analysis module 230 may analyze a coordinate area keyword or an execution command keyword included in the voice command.
  • the voice command analysis module 230 may analyze the voice command using a processing model related to natural language recognition (hereinafter, a natural language processing model).
  • the natural language processing model may perform deep learning learning by separating noise and voice.
  • the natural language processing model may convert voice data into text by applying a speech-to-text technique to an artificial intelligence model learned through deep learning.
  • the voice command analysis module 230 may analyze the emotion of the worker by using a voice emotion recognition feature (VERF) of the emotion discrimination engine for voice.
  • VEF voice emotion recognition feature
  • the voice command analysis module 230 may analyze various emotions of the operator. That is, the voice command analysis module 230 may generate an analysis result by analyzing the part in which the operator is anxious, the part in haste, the part that is ambiguous, etc. when the operator speaks.
  • the content providing module 240 sets the artificial intelligence model based on the set industrial domain data, reflects the instruction information to the object to generate the augmented reality guide, and each of the objects of the field image information Coordinates may be matched to the augmented reality guide to be displayed at a location.
  • the content providing module 240 stores information (hereinafter, image information) on the image captured by the smart terminal 100, and augments the image information, the coordinate area keyword, or the execution command keyword corresponding to the keyword.
  • An augmented reality guide may be generated using a reality matching tag (coordinate grid information), and the augmented reality guide may be provided to the smart terminal under the control of the server control module 250 .
  • the content providing module 240 may store a relational database that maps the image information, the coordinate area keyword, the execution command keyword, and the augmented reality guide to each other.
  • the content providing module 240 can easily perform augmented reality modeling.
  • the content providing module 240 samples the 360-degree scanning data of the modeling object received from the smart terminal 100 based on vision technology (live augmented reality toolkit) using an artificial intelligence model, and is photographed at a set angle.
  • Augmented reality content can be generated by extracting and synthesizing a plurality of images, generating the extracted images as a 3D object, and then correcting them with a 3D editing tool.
  • the content providing module 240 can easily produce optimized augmented reality content in each industrial site only by taking photos without professional skills, and greatly shortens the work time for creating augmented reality content, resulting in very good work efficiency. can be obtained
  • the server control module 250 receives the analysis result from the image analysis module 320 and/or the voice command analysis module 330 and responds to the on-site image information, the instruction information and/or the voice command.
  • the content providing module 340 may be controlled to match the augmented reality guide and provide it to the smart terminal 100 .
  • the server 300 provides the smart terminal 100 and the remote support so that data collection simplification and efficiency can be strengthened through transmission and reception of field images, result reports, and necessary documents between field workers and experts at the headquarters.
  • the terminal 200 may be relayed.
  • multi-party video and audio communication are possible in a variety of devices, such as PC, mobile, tablet smart glasses, etc., in which multi-party video and voice communication are possible, and information that an expert points or draws on the video is displayed in real time.
  • Augmented reality drawing and pointing that allows for accurate work instructions and quick collaboration, collaboration boards that allow multiple people to share documents at the same time, annotate and draw using drawing tools, and share images, videos, and document files in real time File sharing, which is saved locally or in the cloud, useful for search and file management, and real-time video recording and capture to save information.
  • quality and productivity can be increased by improving work efficiency through real-time collaboration with experts.
  • it is possible to solve a safety problem in a field where both hands are not free through voice control.
  • it is possible to safely process work in the field that may be dangerous by using artificial intelligence technology in the vision field.
  • it is possible to shorten the work time and improve work efficiency by using a digital work guide using real-time collaboration and augmented reality technology through remote.
  • it is possible to significantly improve sales and customer satisfaction by reducing the operating cost of a company through non-professional education and safety improvement using artificial intelligence and augmented reality technology.
  • a marking technique through voice recognition may be applied to display on the screen.
  • it is possible to improve productivity by making a workflow smooth by introducing a speech recognition technology and/or a language processing technology, thereby eliminating interference and distraction.
  • it is possible to improve on-site productivity through technologies such as remote assistance, vision picking, and remote collaboration that can deliver auxiliary knowledge to the speaker by analyzing the speaker's intention.

Abstract

본 발명은 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템에 관한 것으로, 본 발명의 일실시예는 작업자가 휴대하며, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실 가이드를 표시하는 스마트 단말기; 상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 및/또는 하기 서버(300)로 제공하는 원격지원 단말기; 및 상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 서버;를 포함하는, 증강현실시스템을 제공한다.

Description

증강현실시스템
본 발명은 증강현실시스템에 관한 것으로, 더욱 상세하게는 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템에 관한 것이다.
산업 현장에서는 양손을 쓰지 못하는 상황에서 발생할 수 있는 안전사고 발생가능성을 최소화할 수 있는 시스템 제어방법, 지식제안, 협업 도구를 위한 기술 개발이 절실히 필요하다.
또한, 원거리에 위치한 산업 현장의 문제 해결을 지원하기 위한 기존의 솔루션은 실시간으로 업무 내용을 공유하여 대응하기가 어렵기 때문에 워크 플로우 중단으로 업무 효율성이 저하되며, 각 산업군에 특화된 데이터를 기반으로 문제점을 진단하는 특정 데이터의 정량화 및 가시화가 지원되지 않으며, 업무 생산성을 향상시키는 시스템을 도입하는데 많은 비용이 발생하고 있다.
본 발명이 해결하고자 하는 기술적 과제는 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있는 증강현실시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있는 증강현실시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있는 증강현실시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있는 증강현실시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있는 증강현실시스템을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 작업자가 휴대하며, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실 가이드를 표시하는 스마트 단말기; 상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 및/또는 하기 서버(300)로 제공하는 원격지원 단말기; 및 상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 서버;를 포함하는, 증강현실시스템을 제공한다.
본 발명의 실시예에 있어서, 상기 스마트 단말기는, 작업자의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈; 상기 프레임에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 현장을 실시간으로 촬영하여 상기 현장영상정보를 획득하는 카메라모듈; 상기 프레임에 적어도 하나가 설치되어 작업자의 음성을 입력처리하는 음성입력모듈; 상기 프레임에 설치되어 상기 원격지원 단말기 및/또는 상기 서버와 통신하는 글래스통신모듈; 및 설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 글래스제어모듈은, 상기 서버로부터 수신한 상기 증강현실 가이드가 상기 글래스모듈에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부; 상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 음성명령을 제공하는 음성처리부; 및 상기 영상처리부에서 신호처리된 상기 증강현실 가이드가 작업자의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 및/또는 상기 음성처리부를 제어하는 메인제어부을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 음성처리부는, 작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이에 설정된 좌표영역에 대한 키워드를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드를 추출하여 음성명령으로 신호처리하고 상기 서버에 음성명령을 제공할 수 있다.
본 발명의 실시예에 있어서, 상기 서버는, 상기 스마트 단말기 및/또는 상기 원격지원 단말기와 통신하는 서버통신모듈; 상기 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 객체를 추출하는 영상분석모듈; 상기 스마트 단말기로부터 수신한 상기 음성명령으로부터 키워드 및/또는 입력신호를 분석하는 음성명령분석모듈; 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합하는 컨텐츠제공모듈; 및 상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.
본 발명의 실시예에 있어서, 상기 음성명령분석모듈은, 노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석할 수 있다.
본 발명의 실시예에 있어서, 상기 컨텐츠제공모듈은, 상기 인공지능모델을 이용한 비전기술을 기반으로 상기 스마트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다.
본 발명의 실시예에 따르면, 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있다.
또한, 본 발명의 실시예에 따르면, 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있다.
또한, 본 발명의 실시예에 따르면, 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있다.
또한, 본 발명의 실시예에 따르면, 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있다.
또한, 본 발명의 실시예에 따르면, 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 단말기 및 서버의 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 단말기의 외형을 나타내는 도면이다.
도 4는 도 2의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서는 촬영된 이미지를 자체 학습시킨 인공지능모델로 분석하여 균열, 파손 등과 같은 결함 파악과 함께 데이터 정량화 및/또는 가시화 기술을 구현할 수 있다. 또한, 본 발명에서는 자이로 센서, 이미지 인식 등 다양한 접근법을 통해 기존에는 하드웨어 의존도가 높아 구현하기 어려웠던 증강현실 줄자를 통한 측정 기술을 구현할 수 있다. 또한, 본 발명에서는 음성명령을 기반으로 눈금자 수치 및 영역 입력을 통해 증강현실 마킹을 하고 해당 영역에 대한 정보 가시화 기술을 구현할 수 있다. 또한, 본 발명에서는 자연어 처리를 통해 인공지능모델로 사용자 음성의 의미를 분석하는 원활하고 고도화된 챗봇을 사용하여 작업자 교육 및 매뉴얼 제공 기술을 구현할 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 증강현실시스템은 스마트 단말기(100), 원격지원 단말기(200) 및 서버(300)를 포함할 수 있다.
상기 스마트 단말기(100)는 상기 원격지원 단말기(200) 및/또는 상기 서버(300)와 통신망으로 연결되고, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실(AR) 가이드를 표시할 수 있다. 또는, 상기 스마트 단말기(100)는 작업자의 신체(안면)에 착용되어 상기 원격지원 단말기(200) 및/또는 상기 서버(300)로 작업자가 바라보는 작업현장 및/또는 물체를 촬영한 영상을 실시간으로 제공할 수 있다. 이를 위하여, 상기 스마트 단말기(100)는 글래스모듈(110), 카메라모듈(120), 음성입력모듈(130), 글래스통신모듈(140) 및 글래스제어모듈(150)을 포함할 수 있다.
도 3을 더 참조하면, 상기 글래스모듈(110)은 작업자의 안면에 착용할 수 있도록 안경 형태의 형상으로 형성될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 작업자의 안면에 착용되는 프레임(112), 상기 프레임(112)에 설치되는 렌즈(114) 및 상기 프레임(112)에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이(116)을 포함할 수 있다.
여기서, 상기 글래스모듈(110)은 상기 카메라모듈(120), 상기 음성입력모듈(130), 상기 글래스통신모듈(140) 및 상기 글래스제어모듈(150)을 상기 프레임(112) 및/또는 상기 디스플레이(116)에 결합 및/또는 내장할 수 있다.
또한, 상기 글래스모듈(110)은 눈금자 유저인터페이스로 상기 디스플레이(116)에 좌표영역이 설정될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 눈금자 유저인터페이스를 상기 디스플레이(116)에서 별도의 고정출력신호에 따라 표시하거나, 눈금자 유저인터페이스가 포함된 영상신호를 수신하여 상기 디스플레이(116)에서 출력할 수 있다.
상기 카메라모듈(120)은 상기 프레임(112)의 일측에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 물체를 실시간으로 촬영하여 실물영상을 생성할 수 있다.
상기 음성입력모듈(130)은 상기 프레임(112)의 일측에 적어도 하나가 설치되어 작업자의 음성을 입력 처리할 수 있다. 예를 들면, 상기 음성입력모듈(130)은 마이크로 구현되며, 상기 글래스모듈(110)을 착용한 작업자의 발화로부터 음성을 감지할 수 있다. 이때, 상기 음성입력모듈(130)이 감지하는 소리는 작업자에 의한 발화와, 작업자 이외에 다양한 요인에 의해 발생하는 소리를 포함할 수 있다.
상기 글래스통신모듈(140)은 상기 프레임(112)의 일측에 설치되며, 통신망을 통해 상기 서버(300)와 통신할 수 있다. 이러한 상기 글래스통신모듈(140)은 상기 서버(300)의 통신 프로토콜(protocol)에 따라서 유선/무선을 통한 광역/근거리 네트워크나 로컬 접속 방식으로 상기 서버(300)에 접속할 수 있다.
상기 글래스제어모듈(150)은 설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈(110)에 표시시키며, 상기 글래스통신모듈(140)을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈(110)에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리할 수 있다. 또한, 상기 글래스제어모듈(150)은 수신한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리할 수 있다. 이를 위하여, 상기 글래스제어모듈(150)은 도 4에 도시된 바와 같이 영상처리부(152), 음성처리부(154), 메인제어부(156)를 포함할 수 있다.
상기 영상처리부(152)는 상기 서버(300)로부터 수신한 증강현실 가이드가 상기 글래스모듈(110)에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈(110)로 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 증강현실 가이드에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)을 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이(116)에 해당 영상신호에 기초하는 영상을 표시되게 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 증강현실 가이드로부터 해당 증강현실 가이드에 대응하는 영상, 음성 및 부가데이터를 추출하고, 기 설정된 해상도로 조정하여 상기 글래스모듈(110)을 통해 출력시킬 수 있다.
상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
상기 음성처리부(154)는 상기 음성입력모듈(130)로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈(140)을 통해 상기 서버(300)로 음성명령을 제공할 수 있다.
구체적으로, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 입력되는 음성 및/또는 소리에 대한 음성처리 프로세스를 수행할 수 있다. 여기서, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 음성 및/또는 소리가 입력되면, 입력된 음성 및/또는 소리가 작업자에 의한 발화인지 아니면 기타 요인에 의하여 발생한 소리인지 여부를 판단할 수 있다. 그러나, 이러한 판단 방법은 다양한 구조가 적용될 수 있으므로 입력된 음성 및/또는 소리가 사람의 목소리에 대응하는 파장 및/또는 주파수 대역에 해당하는지 판단하거나, 또는 사전에 지정된 작업자의 음성의 프로파일에 해당하는지 판단하는 등의 방법을 사용할 수 있다.
또한, 상기 음성처리부(154)는 작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이(116)에 설정된 좌표영역에 대한 키워드(이하, 좌표영역 키워드)를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드(실행명령 키워드)를 추출하여 음성명령으로 신호처리하고 상기 서버(300)에 음성명령을 제공할 수 있다. 이를 통해, 상기 음성처리부(154)는 작업자의 발화에 따라 기 설정된 대응 동작이 수행될 수 있도록 지원할 수 있다.
상기 메인제어부(156)는 상기 음성입력모듈(130)을 통해 작업자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 증강현실 가이드를 영상신호로 신호처리하여 상기 글래스모듈(110)로 표시할 때 상기 음성입력모듈(130)을 통해 컨텐츠에 대한 실행을 명령하는 작업자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부(152)를 제어할 수 있다.
상기와 같은, 상기 글래스제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 글래스모듈(110)에 내장될 수 있다.
상기 원격지원 단말기(200)는 상기 스마트 단말기(100)에서 획득한 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기(100) 및/또는 상기 서버(300)로 제공할 수 있다. 여기서, 상기 원격지원 단말기(200)는 기 설정된 좌표영역이 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 또한, 상기 원격지원 단말기(200)는 원격 전문가의 발화를 상기 지시사항정보로 생성할 수 있다. 또한, 상기 원격지원 단말기(200)는 상기 현장영상정보를 바탕으로 원격 전문가의 포인터나 드로잉 정보가 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 이러한 상기 원격지원 단말기(200)는 상기 스마트 단말기(100)와 실시간으로 원격 통화 및/또는 자료(파일) 공유를 수행할 수 있다.
상기 서버(300)는 상기 스마트 단말기(100)와 상기 원격지원 단말기(200) 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기(100)에 제공할 수 있다. 또한, 상기 서버(300)는 상기 스마트 단말기(100)로부터 상기 음성명령을 수신하여 상기 음성명령을 분석하고, 상기 음성명령에 대응하는 증강현실 가이드를 상기 스마트 단말기(100)에게 제공할 수 있다. 이를 위하여, 상기 서버(300)는 서버통신모듈(210), 영상분석모듈(220), 음성명령분석모듈(230), 컨텐츠제공모듈(240), 서버제어모듈(250)을 포함할 수 있다.
상기 서버통신모듈(210)은 통신망을 통해 상기 글래스통신모듈(140)과 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 글래스통신모듈(140)로부터 현장영상정보 및/또는 음성명령을 수신하고, 상기 증강현실 가이드를 영상신호로 송신할 수 있다.
또한, 상기 서버통신모듈(210)은 통신망을 통해 상기 원격지원 단말기(200)와 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 원격지원 단말기(200)로부터 상기 지시사항정보를 수신할 수 있다.
상기 영상분석모듈(220)은 상기 스마트 단말기(100)로부터 수신된 현장영상정보로부터 객체를 분석하고, 분석결과를 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(220)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.
여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다.
예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.
또한, 상기 영상분석모듈(220)은 상기 현장영상정보를 자체 학습시킨 인공지능모델로 분석하여 균열, 파손 등과 같은 결함 파악과 함께 데이터 정량화 및/또는 가시화 기술을 구현할 수 있다.
상기 음성명령분석모듈(230)은 상기 스마트 단말기(100)로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 음성명령분석모듈(230)은 상기 음성명령에 포함된 좌표영역 키워드 또는 실행명령 키워드를 분석할 수 있다. 이때, 상기 음성명령분석모듈(230)은 자연어 인식에 관련된 처리모델(이하, 자연어 처리모델)을 이용하여 음성명령을 분석할 수 있다.
여기서, 상기 자연어 처리모델은 노이즈와 음성을 분리하여 딥러닝 학습할 수 있다. 또한, 상기 자연어 처리모델은 딥러닝을 통해 학습된 인공지능 모델에 음성인식(speech-to-text) 기법을 적용하여 음성 데이터를 텍스트로 변환할 수 있다.
또한, 상기 음성명령분석모듈(230)은 음성에 대한 감정 판별 엔진의 음성 감정 인식 특성(Voice Emotion Recognition Feature: VERF)을 이용하여 작업자의 감정을 분석할 수 있다.
예를 들면, 작업자의 음성에서 피치(pitch) 측면으로 소리가 떨리고 더듬거리며 같은 단어를 반복하는 경우, 또는 음색(timbre) 측면으로 작업자의 고유 습관이 있는 경우, 톤(tone) 측면으로 목소리 톤 변화가 크게 없거나 목소리 톤의 높낮이가 느껴지지만 인위적인 경우에, 상기 음성명령분석모듈(230)은 작업자의 다양한 감정을 분석할 수 있다. 즉, 음성명령분석모듈(230)은 작업자가 발화했을 때 불안해하는 부분, 서두르는 부분, 애매한 부분 등을 분석하여 분석 결과를 생성할 수 있다.
상기 컨텐츠제공모듈(240)은 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합할 수 있다.
여기서, 상기 컨텐츠제공모듈(240)은 상기 스마트 단말기(100)에서 촬영한 영상에 대한 정보(이하, 영상정보)를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 또는 상기 실행명령 키워드에 대응하는 증강현실 정합태그(좌표 그리드 정보)를 이용하여 증강현실 가이드를 생성하며, 상기 서버제어모듈(250)의 제어에 따라 증강현실 가이드를 상기 스마트 단말기로 제공할 수 있다. 이때, 상기 컨텐츠제공모듈(240)은 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드와, 상기 증강현실 가이드를 상호 대응하게 맵핑하는 관계 데이터베이스를 저장할 수 있다.
또한, 상기 컨텐츠제공모듈(240)은 손쉽게 증강현실 모델링을 수행할 수 있다. 여기서, 상기 컨텐츠제공모듈(240)은 인공지능모델을 이용한 비전기술(라이브 증강현실 툴킷)을 기반으로 상기 스마트 단말기(100)로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다. 이를 통해, 상기 컨텐츠제공모듈(240)은 전문적인 기술없이 사진 촬영만으로 각 산업현장에서 최적화된 증강현실 컨텐츠를 손쉽게 생산할 수 있고, 증강현실 컨텐츠 생성을 위한 작업시간을 대폭 단축시켜 매우 우수한 작업효율을 얻을 수 있다.
상기 서버제어모듈(250)은 상기 영상분석모듈(320) 및/또는 상기 음성명령분석모듈(330)로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기(100)에 제공하도록, 상기 컨텐츠제공모듈(340)을 제어할 수 있다.
이를 통해, 상기 서버(300)는 현장의 작업자와, 본사의 전문가 간의 현장 이미지 및 결과 보고서, 필요 서류에 대한 송수신을 통해 자료 수집 간소화 및 효율성을 강화할 수 있도록 상기 스마트 단말기(100)와 상기 원격지원 단말기(200)를 중계할 수 있다.
[실시예]
본 발명의 일 실시예에 따른 증강현실시스템에서는 PC, 모바일, 태블릿 스마트글라스 등 다양한 디바이스에서 인원수 제약없이 참여하는 다자간 영상 및 음성통신이 가능한 다자간 영상회의, 영상 위에 전문가가 포인팅하거나 그리는 정보가 실시간으로 증강되어 정확한 업무지시와 빠른 협업이 가능한 증강현실 드로잉 및 포인팅, 여럿이 동시에 문서를 공유하고 그리기 도구를 사용하여 주석달기 및 드로잉 기능으로 효율적인 커뮤니케이션이 가능한 협업보드, 이미지, 비디오, 문서파일 공유가 실시간으로 가능하며 로컬 또는 클라우드에 저장되어 검색 및 파일 관리에 유용한 파일공유, 실시간 영상을 녹화, 캡처하여 정보를 저장 가능하며, 문제원인 파악 및 업무의 형상관리 효율을 향상시키는 녹화 및 캡쳐 기능이 수행될 수 있다.
본 발명의 실시예에 따르면, 전문가와 실시간 협업을 통한 업무 효율 개선으로 품질 및 생산성을 높일 수 있다. 또한, 본 발명의 실시예에 따르면, 음성 제어를 통해 양손이 자유롭지 못한 현장에서 안전상의 문제를 해결할 수 있다. 또한, 본 발명의 실시예에 따르면, 위험할 수 있는 현장의 업무를 비전분야의 인공지능 기술을 활용하여 안전하게 처리할 수 있다. 또한, 본 발명의 실시예에 따르면, 원격을 통한 실시간 협업 및 증강현실 기술을 활용한 디지털 작업 지짐으로 작업시간을 단축하고 업무의 효율을 개선할 수 있다. 또한, 본 발명의 실시예에 따르면, 인공지능 및 증강현실 기술을 활용한 비전문가 교육과 안전도 향상을 통해 기업의 운영 비용을 절감시켜 매출과 고객 만족도를 크게 개선할 수 있다. 또한, 본 발명의 실시예에 따르면, 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있다. 또한, 본 발명의 실시예에 따르면, 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있다. 또한, 본 발명의 실시예에 따르면, 음성인식 기술 및/또는 언어 처리 기술 도입으로 워크플로우를 원활하게 만들어 방해와 주의 분산을 없애 생산성을 향상시킬 수 있다. 또한, 본 발명의 실시예에 따르면, 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 작업자가 휴대하며, 작업현장을 촬영하여 현장영상정보를 획득하고, 상기 현장영상정보에 관련된 증강현실 가이드를 표시하는 스마트 단말기;
    상기 스마트 단말기에서 획득한 상기 현장영상정보를 표시하며, 원격 전문가가 지시하는 지시사항정보를 상기 스마트 단말기 및/또는 하기 서버(300)로 제공하는 원격지원 단말기; 및
    상기 스마트 단말기와 상기 원격지원 단말기 사이에서 데이터를 상호 중계하고, 상기 현장영상정보에 정합되어 표시되도록 상기 지시사항정보를 바탕으로 상기 증강현실 가이드를 생성하여 상기 스마트 단말기에 제공하는 서버;
    를 포함하는, 증강현실시스템.
  2. 제1항에 있어서,
    상기 스마트 단말기는,
    작업자의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈;
    상기 프레임에 설치되어 작업자의 시선 및/또는 이동에 따라 작업자가 바라보는 현장을 실시간으로 촬영하여 상기 현장영상정보를 획득하는 카메라모듈;
    상기 프레임에 적어도 하나가 설치되어 작업자의 음성을 입력처리하는 음성입력모듈;
    상기 프레임에 설치되어 상기 원격지원 단말기 및/또는 상기 서버와 통신하는 글래스통신모듈; 및
    설정된 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 증강현실 가이드를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈;
    을 포함하는 것을 특징으로 하는, 증강현실시스템.
  3. 제2항에 있어서,
    상기 글래스제어모듈은,
    상기 서버로부터 수신한 상기 증강현실 가이드가 상기 글래스모듈에서 표시되도록 상기 증강현실 가이드를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부;
    상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 음성명령을 제공하는 음성처리부; 및
    상기 영상처리부에서 신호처리된 상기 증강현실 가이드가 작업자의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 및/또는 상기 음성처리부를 제어하는 메인제어부;
    을 포함하는 것을 특징으로 하는, 증강현실시스템.
  4. 제3항에 있어서,
    상기 음성처리부는,
    작업자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이에 설정된 좌표영역에 대한 키워드를 추출하거나, 증강현실 가이드의 실행명령에 대한 키워드를 추출하여 음성명령으로 신호처리하고 상기 서버에 음성명령을 제공하는 것을 특징으로 하는, 증강현실시스템.
  5. 제1항에 있어서,
    상기 서버는,
    상기 스마트 단말기 및/또는 상기 원격지원 단말기와 통신하는 서버통신모듈;
    상기 인공지능모델을 이용하여 상기 현장영상정보로부터 설정된 객체를 추출하는 영상분석모듈;
    상기 스마트 단말기로부터 수신한 음성명령으로부터 키워드 및/또는 입력신호를 분석하는 음성명령분석모듈;
    설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 증강현실 가이드를 생성하며, 상기 현장영상정보의 객체의 각 위치에 표시되도록 상기 증강현실 가이드에 좌표를 정합하는 컨텐츠제공모듈; 및
    상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 현장영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 증강현실 가이드를 매칭하여 상기 스마트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈;
    을 포함하는 것을 특징으로 하는, 증강현실시스템.
  6. 제5항에 있어서,
    상기 영상분석모듈은,
    형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되,
    상기 이미지 인식 모델은,
    상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원하는 것을 특징으로 하는, 증강현실시스템.
  7. 제5항에 있어서,
    상기 음성명령분석모듈은,
    노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 자연어 처리모델을 이용하여 상기 음성명령을 분석하는 것을 특징으로 하는, 증강현실시스템.
  8. 제5항에 있어서,
    상기 컨텐츠제공모듈은,
    상기 인공지능모델을 이용한 비전기술을 기반으로 상기 스마트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성하는 것을 특징으로 하는, 증강현실시스템.
PCT/KR2021/014499 2020-12-29 2021-10-18 증강현실시스템 WO2022145655A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0185426 2020-12-29
KR1020200185426A KR102605552B1 (ko) 2020-12-29 2020-12-29 증강현실시스템

Publications (1)

Publication Number Publication Date
WO2022145655A1 true WO2022145655A1 (ko) 2022-07-07

Family

ID=82259373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/014499 WO2022145655A1 (ko) 2020-12-29 2021-10-18 증강현실시스템

Country Status (2)

Country Link
KR (1) KR102605552B1 (ko)
WO (1) WO2022145655A1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100570A1 (en) * 1999-03-02 2008-05-01 Wolfgang Friedrich Augmented-Reality System for Situation-Related Support of the Interaction between a User and an Engineering Apparatus
KR20120020303A (ko) * 2010-08-30 2012-03-08 성균관대학교산학협력단 증강현실기법을 이용한 건축 구조물 정보 제공 장치, 건축 구조물 디스플레이 장치 및 이를 이용한 건축 구조물 유지 보수 방법
KR20130067450A (ko) * 2011-12-14 2013-06-24 한국전자통신연구원 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법
WO2017182523A1 (en) * 2016-04-20 2017-10-26 Newbiquity Sagl A method and a system for real-time remote support with use of computer vision and augmented reality
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템
KR20200068075A (ko) * 2018-11-27 2020-06-15 주식회사 코이노 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법
KR20200109201A (ko) * 2019-03-12 2020-09-22 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치 및 증강현실을 이용한 원격 업무지원 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템
KR20190101323A (ko) 2019-08-12 2019-08-30 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080100570A1 (en) * 1999-03-02 2008-05-01 Wolfgang Friedrich Augmented-Reality System for Situation-Related Support of the Interaction between a User and an Engineering Apparatus
KR20120020303A (ko) * 2010-08-30 2012-03-08 성균관대학교산학협력단 증강현실기법을 이용한 건축 구조물 정보 제공 장치, 건축 구조물 디스플레이 장치 및 이를 이용한 건축 구조물 유지 보수 방법
KR20130067450A (ko) * 2011-12-14 2013-06-24 한국전자통신연구원 현장적용형 증강현실 기반 작업 가이드용 모듈 일체형 안전모 장치 및 이를 이용한 응용 서비스 제공방법
WO2017182523A1 (en) * 2016-04-20 2017-10-26 Newbiquity Sagl A method and a system for real-time remote support with use of computer vision and augmented reality
KR20200068075A (ko) * 2018-11-27 2020-06-15 주식회사 코이노 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템
KR20200109201A (ko) * 2019-03-12 2020-09-22 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치 및 증강현실을 이용한 원격 업무지원 시스템

Also Published As

Publication number Publication date
KR102605552B1 (ko) 2023-11-27
KR20220095265A (ko) 2022-07-07

Similar Documents

Publication Publication Date Title
CN110796018B (zh) 一种基于深度图像和彩色图像的手部运动识别方法
WO2022241784A1 (zh) 缺陷检测方法及装置、存储介质及电子设备
CN112581015B (zh) 基于ai检验的咨询师质量评估系统及评估方法
WO2020055128A2 (ko) 음성안내 기반 대중교통 경로 안내 서비스 제공 방법 및 시스템
CN108052682A (zh) 一种智能查询机系统
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
Ryumin et al. Automatic detection and recognition of 3D manual gestures for human-machine interaction
CN112965594A (zh) 一种基于视觉手势识别的机器人人机交互系统和方法
KR102291740B1 (ko) 영상처리 시스템
CN115100563A (zh) 一种基于视频分析的生产过程交互与监测智能场景
WO2023163376A1 (ko) 가상협업 비대면 실시간 원격 실험 시스템
WO2022145655A1 (ko) 증강현실시스템
KR102290549B1 (ko) 동영상 이미지를 통한 ar 콘텐츠 생산 시스템
JP2023153283A (ja) 作業支援システムおよび作業支援方法ならびに作業支援装置
CN116629236A (zh) 一种待办事项提取方法、装置、设备及存储介质
CN108628454B (zh) 基于虚拟人的视觉交互方法及系统
US11631245B2 (en) Smart glasses for property evaluation using AI and ML
CN115936002A (zh) 一种基于算法的会议识别方法、终端及存储介质
Lee et al. Object Detection System for the Blind with Voice Command and Guidance
KR20230077178A (ko) 원격협업 지원 시스템
CN113255535A (zh) 一种基于微表情分析的抑郁症识别方法
US20230154214A1 (en) Method and Arrangement for the digital Capture of Spaces in a Building
WO2023191182A1 (ko) 원터치로 애니메이션을 웹툰으로 자동 변환하는 시스템 및 방법
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质
KR20230001548A (ko) Ar 글래스를 활용한 실시간 수화 통역 장치 및 수화 통역 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27.11.2023)