KR102326507B1 - 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템 - Google Patents

산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
KR102326507B1
KR102326507B1 KR1020210007791A KR20210007791A KR102326507B1 KR 102326507 B1 KR102326507 B1 KR 102326507B1 KR 1020210007791 A KR1020210007791 A KR 1020210007791A KR 20210007791 A KR20210007791 A KR 20210007791A KR 102326507 B1 KR102326507 B1 KR 102326507B1
Authority
KR
South Korea
Prior art keywords
inspection
information
operator
terminal
icon
Prior art date
Application number
KR1020210007791A
Other languages
English (en)
Inventor
이정근
Original Assignee
이정근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이정근 filed Critical 이정근
Priority to PCT/KR2021/008883 priority Critical patent/WO2022025481A1/ko
Priority to US18/007,177 priority patent/US20230237744A1/en
Application granted granted Critical
Publication of KR102326507B1 publication Critical patent/KR102326507B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32226—Computer assisted repair, maintenance of system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geometry (AREA)
  • Manufacturing & Machinery (AREA)

Abstract

현장 작업자 및 원격지 관리자의 업무 효율성을 높일 수 있는 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템이 개시된다.
일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법은, 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하되, 상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계; 상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계; 상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및 상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함한다.

Description

산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템{Method and system for providing extended reality service to operate industrial facilities}
산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템이 개시된다. 더욱 상세하게는 산업설비를 운영(예를 들어, 점검, 진단, 유지, 보수, 보강)하는데 필요한 각종 아날로그 문서들을 디지털화하고, 디지털화된 데이터에 기초한 증강현실 영상이나 혼합현실 영상 등의 확장현실 컨텐츠를 현장 작업자나 원격지 관리자에게 제공하며, 작업자와 관리자가 영상통화를 통해 실시간으로 소통할 수 있도록 함으로써, 작업자 및 관리자의 업무 효율을 높일 수 있는 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템이 개시된다.
각종 산업현장에 배치된 산업설비들은 그 규모가 방대하며, 단 몇 분만 운영을 중단하더라도 천문학적인 금액의 손실이 발생한다. 이러한 손실을 줄이기 위해서는 현장의 작업자들이 각종 설비에 대한 육안 점검(visual test)를 수시로 진행해야 할 필요가 있다.
그런데 거의 대부분의 산업현장에서는 각종 산업설비와 관련된 자료(설계도, 도면, 점검 일지, 진단 일지, 이력 정보)를 아날로그 형식의 문서로 보관하기 때문에 작업자가 원하는 자료를 찾는 것이 용이하지 않았다.
또한, 작업자는 설비 점검 시 아날로그 형식의 점검 일지를 소지하고 다녀야 하며, 점검 일지에 수기로 검사 결과를 작성해야하므로, 작업 효율이 떨어진다는 문제가 있다. 뿐만 아니라, 설비 점검 중 문제 발생 시, 발생한 문제를 현장에서 즉각 해결하는 것이 쉽지 않고, 관리자의 확인을 받기까지 상당한 시일이 소요된다는 문제가 있다.
대한민국등록특허 10-1701278 (발명의 명칭: 선박/해양플랜트의 원격 검사 및 유지보수 시스템; 공고일 2017년02월13일)
산업설비를 운영(예를 들어, 점검, 진단, 유지, 보수, 보강)하는데 필요한 각종 데이터들을 디지털화하고, 디지털화된 데이터에 기초한 증강현실 영상이나 혼합현실 영상 등의 확장현실 컨텐츠를 현장 작업자나 원격지 관리자에게 제공하고, 작업자와 관리자가 영상통화를 통해 실시간으로 소통할 수 있도록 함으로써, 작업자 및 관리자의 업무 효율을 높일 수 있는 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템이 개시된다.
상술한 과제를 해결하기 위하여, 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법은 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하되, 상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계; 상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계; 상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및 상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함한다.
상기 디지털 점검 일지는 상기 디지털 점검 일지와 관련된 기본 정보를 입력하기 위한 기본 정보 입력창 및 상기 전체 점검 항목별로 점검 결과를 입력할 수 있으며, 상기 점검 순서에 맞추어 배치되는 점검 결과 입력창들을 포함한다.
상기 점검 결과 입력창들은 상기 점검 순서가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 상위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 하위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 작업자가 점검해야할 점검 내용이 표시되는 표시란, 상기 점검 항목에 대한 상태 정보를 입력할 수 있는 복수의 체크 박스들, 및 상기 상태 정보와 관련하여 추가적인 메시지를 입력할 수 있는 입력란을 각각 포함하며, 상기 복수의 체크 박스들은 상기 상태 정보에 대응하여 서로 다른 색상으로 구현된다.
상기 텍스트 정보와 상기 영상 정보는 서로 동일한 파일명을 갖되, 동일한 저장 경로에 저장되며, 상기 파일명은 점검 날짜, 상기 디지털 점검 일지의 식별 정보, 상기 디지털 점검 일지에 포함된 점검 항목의 식별 정보, 상기 점검 항목에 속하는 세부 항목의 식별 정보 중 적어도 하나를 포함한다.
상기 작업자 단말의 화면에는 상기 산업현장에서 상기 작업자의 현재 위치가 표시된 지도를 표시하는 위치 아이콘, 상기 산업현장에서 상기 작업자가 위치한 곳의 명칭을 포함하는 위치 명칭 정보, 날짜 정보, 시간 정보, 상기 점검 알고리즘에 따른 점검 진행 정도를 표시하는 작업 진행도 아이콘, 메뉴 아이콘들을 호출하기 위한 큐브 아이콘 및 복수의 점검 상태 아이콘 중 적어도 하나가 표시된다.
상기 위치 아이콘, 상기 작업 진행도 아이콘, 상기 큐브 아이콘 및 상기 복수의 점검 상태 아이콘 중 적어도 하나는, 상기 작업자의 제스처를 인식한 결과로 획득된 제스처 명령어나 상기 작업자의 음성을 인식한 결과로 획득된 음성 명령어에 기초하여 선택된다.
상기 복수의 점검 상태 아이콘은 상기 활성화된 점검 항목에 대한 점검 결과로 입력할 수 있는 상태 정보에 대응하도록 서로 다른 색상으로 구현된다.
상기 서비스 서버가 상기 식별 정보에 대응하는 설비의 3차원 모델링 정보를 검색하고, 상기 검색된 3차원 모델링 정보를 상기 관리자 단말로 전송하는 단계; 상기 관리자 단말이 제2 마커가 포함된 현실 세계 영상을 획득하고, 상기 획득된 현실 세계 영상과 상기 3차원 모델링 정보를 처리하여, 상기 현실 세계 영상의 특정 영역에 상기 설비에 대응하는 3차원 가상 객체가 배치된 증강현실 영상을 생성하는 단계; 상기 증강현실 영상과 함께 표시된 메뉴 아이콘들 중 하나가 선택되는 경우, 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계; 및 상기 관리자가 상기 표시된 화면을 확인하여 상기 작업자에게 전달할 정보를 결정하면, 상기 결정된 정보를 음성 또는 영상으로 상기 작업자 단말로 전송하는 단계를 더 포함한다.
상기 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계는 점검 일지 아이콘이 선택된 경우, 상기 설비에 대한 점검 일지 목록을 표시하는 단계; 각도 조절 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체를 회전시키는 단계; 고정 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 위치를 고정시키는 단계; 확대 명령 또는 축소 명령이 입력된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 크기를 확대 또는 축소시키는 단계; 파일 열기 아이콘이 선택된 경우 상기 설비에 관련된 각종 디지털 문서 목록을 표시하는 단계; 및 변경 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 종류를 변경시키는 단계 중 적어도 하나를 포함한다.
작업자 단말을 통해 설비의 식별 정보가 인식되면, 인식된 설비에 대한 점검 알고리즘이 자동으로 로드되어 실행되므로, 작업자는 종이로 인쇄된 문서를 소지할 필요가 없으며, 효율적으로 점검을 수행할 수 있다.
작업자는 점검 알고리즘이 실행됨에 따라 각 점검 단계별로 제스처나 음성으로 점검 결과를 입력할 수 있으므로, 점검 작업을 신속하고 정확하게 수행할 수 있다.
현장의 작업자 단말과 원격지의 관리자 단말 간에 영상통화가 연결되므로, 작업자가 설비를 점검하는 과정에서 문제가 발생한 경우, 원격지의 관리자와 실시간으로 논의하여 문제를 해결할 수 있으며, 관리자는 설비 운영과 관련된 의사 결정 사항을 작업자에게 신속하게 전달할 수 있다.
관리자 단말에서 촬영되고 있는 현실 세계 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상이 관리자 단말에 표시되고, 관리자는 표시된 3차원 가상 객체의 배치나 위치를 조작하여 확인할 수 있으므로, 설비에 대한 보다 정확한 지시 사항을 작업자에게 전달할 수 있다.
도 1은 본 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 시스템을 도시한 도면이다.
도 2a는 아날로그 형식의 점검 일지를 예시한 도면이다.
도 2b는 디지털 형식의 점검 일지를 예시한 도면이다.
도 2c는 디지털 형식의 점검 일지의 상태가 변경된 모습을 예시한 도면이다.
도 3은 작업자 단말을 통해 표시되는 화면을 예시한 도면이다.
도 4는 메뉴 아이콘들을 표시된 화면을 예시한 도면이다.
도 5는 캡처 아이콘에 속하는 하위 아이콘들을 선택하는 음성 명령어들과 각 음성 명령어의 실행 결과로 표시되는 화면들을 예시한 도면이다.
도 6은 관리자 단말을 통해 표시되는 화면들을 예시한 도면이다.
도 7은 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법을 도시한 흐름도이다.
도 8은 점검 알고리즘이 종료됨에 따라 생성되는 점검 보고서를 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 출입문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 확장현실(eXtended Reality, XR)이란 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR) 및 혼합현실(Mixed Reality, MR)을 포괄하는 개념으로 이해될 수 있다.
가상현실은 사용자의 시야가 차단된 상태에서 현실 세계와는 전혀 다른, 만들어진 가상 세계를 디스플레이하는 기술을 말한다.
증강현실은 카메라를 통해 촬영되고 있는 현실 세계에 가상의 콘텐츠를 정합하여 디스플레이하는 기술을 말한다. 이 때, 사용자는 가상의 콘텐츠를 대상으로 동작을 수행함으로써, 가상의 콘텐츠와 상호작용(interaction)할 수 있다.
혼합현실은 가상현실 요소와 증강현실 요소가 모두 혼합된 것으로, 증강현실에 비하여 사용자와의 상호작용이 더욱 강화된 기술을 말한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 도면에서 동일한 도면 부호는 동일한 구성요소를 나타낸다.
도 1은 본 발멸의 일 실시예에 따른, 산업설비 운영을 위한 확장현실 서비스 제공 시스템(이하, '시스템'이라 칭한다)의 구성을 도시한 도면이다. 도 1을 참조하면, 시스템은 서비스 서버(100), 산업설비 현장에 위치한 작업자가 사용하는 작업자 단말(200) 및 원격지에 위치한 관리자가 사용하는 관리자 단말(300)을 포함한다.
서비스 서버(100)는 작업자 단말(200) 및 관리자 단말(300)로 산업설비 운영을 위한 확장현실 서비스를 제공한다.
일 예로, 서비스 서버(100)는 작업자 단말(200)에 적용할 점검 알고리즘을 검색하여 작업자 단말(200)로 제공한다. 점검 알고리즘은 디지털화된 점검 일지를 포함하는데, 작업자 단말(200)에서 점검 알고리즘이 실행됨에 따라 점검 일지에 포함된 점검 항목들이 점검 순서에 맞추어 차례로 활성화된다. 작업자는 작업자 단말(200)과 상호작용하여 점검 항목별로 점검 결과를 입력할 수 있다. 또한, 점검 알고리즘에 종료됨에 따라 점검 일지가 자동으로 생성되는데, 생성된 점검일지는 서비스 서버(100)로 전송되어 관리자 단말(300)로 공유될 수 있다.
다른 예로, 서비스 서버(100)는 작업자 단말(200)과 관리자 단말(300) 간의 영상 통화를 연결한다. 그 결과, 관리자는 작업자의 음성이나 작업자 단말(200)을 통해 표시되는 영상을 공유할 수 있으며, 작업자는 관리자의 음성이나 관리자 단말(300)에서 획득된 영상을 공유할 수 있다.
또 다른 예로, 서비스 서버(100)는 설비에 대한 3차원 모델링 정보를 저장한다. 3차원 모델링 정보는 로우 레벨 데이터(low-level data), 메쉬 데이터(mesh data), 점군 데이터(point cloud data) 및 법선 벡터 데이터(normal vector data) 중 적어도 하나를 포함한다.
로우 레벨 데이터는 3차원 스캐너(도시되지 않음)를 이용하여, 설비를 중심으로 다양한 각도에서 3차원 스캐닝을 수행하여 얻은 데이터이다. 로우 레벨 데이터는 잡음이 포함된 점군 데이터로 이해될 수 있다. 메쉬 데이터는 점군 데이터의 각 점을 가장 작은 면 단위인 삼각형으로 연결한 것을 말한다. 점군 데이터는 3차원 스캐닝으로 획든된 로우 레벨 데이터(잡음이 포함된 점군 데이터)를 대상으로 다운 샘플링(down sampling)을 수행하여 얻은 데이터를 말한다. 법선 벡터 데이터는 점군 데이터의 각 점들에 대하여 법선 데이터를 계산한 것을 말한다.
설비에 대한 3차원 모델링 정보는 관리자의 요청에 따라 관리자 단말(300)로 제공된다. 관리자 단말(300)로 제공되는 3차원 모델링 정보는 앞서 예시된 종류의 데이터들 모두를 포함할 수도 있고, 예시된 종류의 데이터들 중에서 선택된 종류의 데이터만을 포함할 수도 있다. 관리자 단말(300)은 서비스 서버(100)로부터 수신한 3차원 모델링 정보를 처리하여, 현실 세계 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상을 생성한다. 이 후, 관리자는 관리자 단말(300)에 표시된 3차원 가상 객체를 조작하여, 원하는 부분을 확인할 수 있으며, 확인된 내용을 작업자에게 전달할 수 있다.
또 다른 예로, 서비스 서버(100)는 설비와 관련된, 각종 아날로그 형식의 문서(설명서, 안내서, 설계도, 단면도, 점검 일지, 진단 일지, 이력)에 대응하는 디지털 형식의 문서를 저장한다. 저장된 디지털 형식의 문서는 작업자 또는 관리자의 요청에 따라 작업자 단말(200)이나 관리자 단말(300)로 전송된다. 아날로그 형식의 문서와 디지털 형식의 문서에 대한 설명은 도 2를 참조하여 후술하기로 한다.
작업자 단말(200) 및 관리자 단말(300)은 단말 장치를 포함할 수 있다. 단말 장치는 지능형 장치(Information and Communications Technology devicd; ICT device)일 수 있다. 지능형 장치는 물리 공간과 정보 공간을 이어주는 매개체로서, 사용자·정보·사물 간의 상호작용과 이를 기반으로 다양한 응용·서비스를 제공할 수 있도록 하는 단말·부품을 포함한다.
지능형 장치는 컴퓨팅 동작을 수행하는 디지털 장치 및 유무선 통신 장치를 포함할 수 있다. 디지털 장치로는 개인용 컴퓨터(Personal Computer, PC)를 예로 들 수 있다. 통신 장치로는 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant), 스마트폰(Smart phone), 태블릿 PC(tablet PC), 왑폰(WAP phone; Wireless Application Protocao phone) 및 모바일 게임기를 예로 들 수 있다. 예시된 바와 같은 디지털 장치 및 통신 장치는 사용자의 신체에 착용 가능한 착용형 장치(wearable device)일 수 있다.
작업자 단말(200)은 확장현실 기능을 가진 헤드 마운티드 디스플레이(Head Mounted Display; HMD)일 수 있다. 헤드 마운티드 디스플레이로는 마이크로소프트사의 홀로렌즈1(HoloLens 1)과 홀로렌즈2(HoloLens 2), 오큘러스사의 오큘러스 리프트(Oculus Rift), 오터스 디자인 그룹(ODG)의 ‘R8'과 ’R9' 등을 예로 들 수 있다.
작업자 단말(200)은 카메라부(210), 제스처 인식부(220), 음성 인식부(230), 마이크(240), 알고리즘 실행부(250), 홀로그래픽 처리부(Holographic Processing Unit, HPU)(260), 프로젝터(projector)(270), 투영 프리즘(projection prism)(280), 스피커(290), 통신부(205) 및 전원부(207)를 포함한다.
카메라부(210)는 현실 세계를 촬영하여 영상을 획득한다. 카메라부는 RGB 영상을 획득하기 위한 RGB 카메라(211) 및 깊이 영상을 획득하기 위한 깊이 카메라(212)를 포함한다.
제스처 인식부(220)는 작업자의 제스처 예를 들면, 작업자의 손이나 손가락의 위치, 움직임을 인식하고, 그 결과로 제스처 명령어를 출력한다.
음성 인식부(230)는 작업자의 말소리를 인식하고, 그 결과로 음성 명령어를 출력한다. 예를 들어, 작업자가 '스냅'이라는 단어를 말하면, 그에 따른 음향 신호(sound signal)가 마이크(240)로 입력되고, 마이크(240)는 그에 대응하는 소리 신호(audio signal)를 출력한다. 음성 인식부(230)는 소리 신호에서 특징벡터를 추출한다. 이후, 음성 인식부(230)는 추출된 특징벡터와 기 저장되어 있는 특징벡터들 간의 유사도를 계산하고, 기 저장되어 있는 특징벡터들 중에서 기준치 이상의 유사도를 가지는 특징벡터에 대응하는 음성 명령어를 출력한다.
음성 인식에 대한 정확도를 높이기 위하여, 음성 인식부(230)는 사전에 학습될 수 있다. 예를 들면, 목소리 크기, 억양 및 발화 패턴이 서로 다른 사람들이 차례로 단어나 문장을 말하도록 하고, 그에 따른 음향 신호가 차례로 마이크(240)로 입력되면, 마이크에서 출력된 소리 신호에서 차례로 특징벡터들을 추출한다. 만약 추출된 특징벡터가 이상적인 특징벡터와 기준치 이상의 유사도를 가지는 경우에는 음성 인식부에 양(+)의 리워드를 적용하고, 그렇지 못한 경우에는 음(-)의 리워드를 적용한다.
알고리즘 실행부(250)는 카메라부(210)에 의해 제1 마커(예를 들어, 설비에 부착된 QR 코드)가 촬영되면, 촬영된 영상에서 제1 마커를 인식하여 해당 설비의 식별 정보를 획득한다. 그리고 획득된 식별 정보에 기초하여 해당 설비에 대한 육안점검 알고리즘을 로드한다. 그 다음, 로드한 점검 알고리즘을 실행한다. 구체적으로, 알고리즘 실행부는 미리 정해진 순서에 따라 차례로 점검 항목을 활성화한다. 이후, 제스처 인식부나 음성 인식부에서 작업자의 제스처나 음성이 인식되어, 제스처 명령어나 음성 명령어가 입력되면, 입력된 명령어에 기초하여, 현재 점검 항목에 대한 점검 결과를 저장한다.
홀로그래픽 처리부(260)는 도면에 도시되지는 않았으나, 작업자 단말(200)에 구비된 각종 센서들 예를 들어, 움직임 추적 센서, ToF(time-of-flight) 센서, 관성측정장비, 적외선 센서 등으로부터 입력받은 정보를 처리한다. 또한, 홀로그래픽 처리부(260)는 제스처 인식부나 음성 인식부(230)로부터 입력받은 제스처 명령어나 음성 명령어를 처리한다. 그 결과, 현실 세계를 촬영한 영상에 가상의 객체를 투사하여 혼합현실 영상을 생성한다.
프로젝터(270)는 홀로그래픽 처리부(260)에 의해 생성된 혼합현실 영상을 출력한다.
통신부(205)는 서비스 서버(100) 및 관리자 단말(300)과의 통신을 수행한다.
전원부(207)는 각 구성요소들로 전원을 공급한다. 전원부(207)는 배터리를 포함하며, 이는 외부 전력 공급 장치(도시되지 않음)로부터 제공받은 전력에 의해 충천될 수 있다.
한편, 관리자 단말(300)로는 스마트폰 또는 태블릿 PC을 예로 들 수 있다. 관리자 단말(300)은 카메라부(310), 음성 인식부(320), 마이크(330), 처리부(340), 디스플레이(350), 스피커(360), 통신부(370) 및 전원부(380)를 포함한다. 이들 구성요소들 중에서 앞서 설명한 작업자 단말(200)의 각 구성요소들과 그 기능이 유사하거나 동일한 구성요소에 대해서는 설명을 생략하기로 한다.
처리부(340)는 도면에 도시되지는 않았으나, 관리자 단말(300)에 구비된 각종 센서들로부터 입력받은 정보를 처리한다. 또한, 처리부(340)는 서비스 서버(100)로부터 수신한 3차원 모델링 정보를 처리한다. 그 결과, 현실 세계를 촬영한 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상을 생성한다. 생성된 증강현실 영상은 디스플레이(350)를 통해 표시된다.
디스플레이(350)는 표시 기능과 입력 기능을 모두 갖는 터치스크린으로 구현될 수 있다. 디스플레이(350)는 관리자 단말(300)에서 생성된 영상 및 작업자 단말(200)에서 생성된 영상 중 적어도 하나를 디스플레이한다. 일 예로, 작업자 단말(200)과의 영상 통화 시, 디스플레이(350)에는 작업자 단말(200)로부터 수신한 영상이 그대로 디스플레이된다. 만약 이 상태에서 관리자가 설비의 3차원 모델링 정보를 로드하는 명령을 입력하는 경우, 디스플레이(350)의 일부 영역에는 현실 세계를 촬영한 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상이 디스플레이되고, 나머지 영역에는 작업자 단말(200)로부터 수신된 영상이 디스플레이된다.
다음으로, 도 2a, 도 2b 및 도 2c를 참조하여, 아날로그 형식의 문서와 디지털 형식의 문서에 대해서 설명하기로 한다. 도 2a는 아날로그 형식의 점검 일지를 예시한 것이다. 도 2b는 디지털 형식의 점검 일지를 예시한 것이다. 도 2c는 디지털 형식의 점검 일지의 상태가 변경된 모습을 예시한 것이다.
도 2a에 도시된 아날로그 형식의 점검 일지는 종이에 인쇄된 것이기 때문에 보관과 소지에 불편함이 따른다. 또한, 작업자가 원하는 내용을 찾기가 쉽지 않다. 이에 비하여 디지털 형식의 점검 일지는 보관과 소지가 편리하고, 작업자가 원하는 내용을 용이하게 검색할 수 있다.
실시예에 따르면, 도 2b에 도시된 디지털 형식의 점검 일지는 아날로그 형식의 점검 일지에 기초하여 생성된다. 구체적으로, 디지털 형식의 점검 일지는 아날로그 형식의 점검 일지에 포함되어 있는 정보를 포함하도록 구성되며, 각각의 정보는 작업자나 관리자가 해당 정보를 직관적으로 파악할 수 있도록 배치된다.
도 2b를 참조하면, 디지털 점검 일지(400)는 기본 정보 입력창(410), 점검 결과 입력창(420, 430, 440, 450) 및 기타사항 입력창(460)을 포함한다.
화면의 상단에는 기본 정보 입력창(410)이 배치된다. 기본 정보 입력창(410)에는 디지털 점검 일지와 관련된 기본 정보를 입력하기 위한 입력란들이 배치된다. 예를 들면, 설비의 종류(발전기, 변압기, 전동기)를 입력하는 입력란(411), 점검 일지의 종류(일일, 주간, 월간, 연간)를 입력하는 입력란(412), 점검 항목을 입력하는 입력란(413), 점검 날짜를 입력하는 입력란(414), 점검 시간을 입력하는 입력란(415), 점검자 이름을 입력하는 입력란(416) 및 현재 입력된 내용을 저장하고 화면을 보여주는 저장 아이콘(417)이 배치된다. 여기서, 설비의 종류를 입력하는 입력란(411), 점검 일지의 종류를 입력하는 입력란(412) 및 점검자 이름을 입력하는 입력란(416)에는 드롭다운 버튼이 배치된다.
기본 정보 입력창(410)의 하단에는 하위 부속설비별로 점검 결과를 입력할 수 있는 점검 결과 입력창들(420, 430, 440, 450, 460)이 점검 순서에 맞추어 배치된다. 점검 결과 입력창(440)은 점검 순서가 표시되는 표시란(441), 상위 부속설비의 종류가 표시되는 표시란(442), 하위 부속설비의 종류가 표시되는 표시란(443), 점검 내용(작업자가 점검해야할 내용)이 표시되는 표시란(444), 점검 항목(상위 부속설비 및 하위 부속설비)에 대한 상태 정보(양호, 주의, 경고, 위험)를 입력할 수 있는 체크 박스들(446), 상태 정보와 관련하여 추가적인 메시지를 입력할 수 있는 입력란(445) 등이 배치된다.
이 때, 입력란(445)에는 드롭다운 버튼이 배치된다. 드롭다운 버튼이 선택되면, 선택 가능한 메시지 목록이 표시된다. 메시지 목록은 예를 들어, 보충, 교환, 점검 요망, A/S 요청, 작동 정지(관리자에게 즉각 보고) 등을 포함할 수 있다.
또한, 체크 박스들(446)은 입력 가능한 상태 정보에 맞추어 서로 다른 색상으로 구현될 수 있다. 예를 들어, 4개의 체크 박스들(446)을 가로로 일렬 배치하되, 왼쪽의 체크 박스부터 차례로 양호, 주의, 경고, 위험에 해당하는 상태 정보를 입력할 수 있다고 하자. 이 경우, 왼쪽 체크 박스부터 각각 녹색, 황색, 주황색, 적색으로 표시될 수 있다. 이처럼, 체크 박스들(446)의 색상을 서로 다르게 표시하면, 작업자가 각 점검 항목의 상태 정보를 선택할 때 실수 없이 입력할 수 있다.
또한, 점검 일지에 포함된 모든 점검 항목에 대해서 점검이 완료되면, 체크 박스들(446)은 상태 정보 변경이 불가능하도록 비활성화될 수 있다. 이 때, 도 2b에 도시된 바와 같이, 작업자에 의해 선택된 체크 박스는 기존의 색상이 유지되고, 비선택된 체크 박스들의 색상은 회색으로 변경될 수 있다. 이처럼 작업자에 의해 선택된 체크 박스의 색상만을 기존과 같이 유지하면, 추후 작업자나 관리자가 점검 일지를 확인할 때, 각 점검 항목에 대한 상태 정보를 직관적으로 인지할 수 있다.
마지막 점검 순서에 해당하는 점검 결과 입력창(450)의 하단에는 기타사항 입력창(460)이 배치된다.
한편, 작업자 단말(200)이 설비에 구비된 제1 마커를 인식하여 해당 설비에 대한 식별 정보를 획득하면, 획득된 식별 정보에 대응하는 점검 알고리즘이 서비스 서버(100)에서 작업자 단말(200)로 자동으로 로드된다. 로드된 점검 알고리즘은 상술한 바와 같은 디지털화된 점검 일지를 포함한다. 점검 알고리즘이 실행되면, 우선 디지털화된 점검 일지의 기본 정보 입력창(410)이 강조되거나 활성화된다. 그 다음, 순번에 따라 점검 결과 입력창(420, 430, 440)이 차례로 강조되거나 활성화된다.
또한, 활성화된 점검 결과 입력창(440)에 배치된 입력란이나 체크 박스들(446)은 모두 활성화된 상태로 표시되되, 차례로 강조될 수 있다. 이 경우, 작업자는 강조되는 순서에 맞추어 입력란(445)에 점검 결과를 입력하거나 체크 박스들(446) 중 하나를 선택한다. 다른 예로, 입력란(445)이나 체크 박스들(446)은 차례로 활성화될 수도 있다. 이 경우, 작업자는 활성화되는 순서에 맞추어 입력란(445)에 점검 결과를 입력하거나 체크 박스들(446) 중 하나를 선택한다.
실시예에 따르면, 점검 알고리즘이 실행 시, 디지털화된 점검 일지가 화면에 표시될 수 있다. 이 경우, 강조 또는 활성화되어 있는 입력란을 손으로 터치하여 점검 결과를 입력하거나, 강조 또는 활성화되어 있는 체크 박스들 중 하나를 손으로 터치하여 점검 결과를 입력할 수 있다. 또는 점검 결과에 대응하는 단어나 문장을 발화하여 점검 결과를 입력할 수도 있다.
다른 실시예에 따르면, 점검 알고리즘 실행 시, 디지털화된 점검 일지는 화면에 표시되지 않을 수도 있다. 이 경우, 점검 일지에 포함된 점검 항목들은 순번에 따라 음성으로 안내될 수 있으며, 작업자는 음성 안내된 점검 항목에 대해서 점검을 수행하고, 점검 결과를 음성으로 입력할 수도 있다.
한편, 각 점검 항목과 관련하여, 점검 결과 입력창(440)에 배치된 입력란(445)이나 체크 박스들(446)을 통해 입력된 정보들은 텍스트 정보로 분류되어 저장된다. 실시예에 따르면, 작업자는 각 점검 항목과 관련하여, 화면을 캡처할 수 있는데, 캡처된 화면은 영상 정보로 분류되어 저장된다. 이 때, 텍스트 정보 및 영상 정보는 동일한 저장 경로에 저장된다. 또한, 텍스트 정보 및 영상 정보는 각각 서로 다른 파일 형식을 갖되, 동일한 파일명을 가질 수 있다. 파일명은 예를 들어, 날짜 정보, 점검 일지의 식별 정보 및 점검 항목의 식별 정보 중 적어도 하나를 포함하도록 지정될 수 있다.
구체적으로, 텍스트 정보는 '20200715_1111_001_01.txt'의 텍스트 파일 형식으로 저장되고, 영상 정보는 '20200715_1111_001_01.jpg'의 이미지 파일 형식으로 저장된다. 각 파일명에서 '20200715'는 점검이 진행된 날짜(2020년 7월 15일)을 의미하고, '1111'은 디지털화된 점검 일지의 식별 정보를 의미하며, '001'은 점검 항목의 식별 정보를 의미한다. 그리고 '01'은 점검 항목에 속하는 세부 항목(도 2b에서 상태 정보: 446, 상태 정보와 관련된 추가적인 메시지: 445)의 식별 정보를 의미한다.
상술한 바와 같이, 디지털화된 점검 일지를 포함하는 점검 알고리즘에 따라 점검을 진행하는 경우, 작업자의 업무 효율을 높일 수 있을 뿐만 아니라, 작업자가 점검 결과를 직관적으로 이해할 수 있다.
도 3은 작업자 단말(200)을 통해 표시되는 화면을 예시한 도면이다. 도 3의 화면은 현실 세계 영상에 각종 정보나 아이콘들이 정합된 혼합현실 영상일 수 있다.
도 3을 참조하면, 화면의 상단에는 위치 아이콘(510), 위치 명칭 정보(520), 날짜 정보(530), 시간 정보(540) 및 작업 진행도 아이콘(550)이 배치된다. 화면의 하단에는 큐브 아이콘(560)과 점검 상태 아이콘(570)이 배치된다.
위치 아이콘(510)은 작업자의 현재 위치 정보를 지도 상에 표시하는 기능을 갖는다. 위치 아이콘(510)은 작업자의 제스처 또는 음성에 의해 선택된다. 위치 아이콘(510)이 선택되면, 작업자의 현재 위치가 표시된 2차원 지도 또는 3차원 지도가 표시된다. 만약, 3차원 지도가 표시된 상태에서 작업자가 이동하는 경우, 작업자의 위치를 나타내는 아이콘 역시 실시간으로 이동하게 된다.
위치 명칭 정보(520)는 산업현장 내에서 작업자가 위치한 곳의 명칭을 의미하며, 위치 아이콘(510)의 일측에 문자로 표시된다. 위치 명칭 정보(520)는 작업자의 위치가 변경됨에 따라 실시간으로 변경된다. 예를 들어, 작업자가 발전기 입구에서 발전기 출구쪽으로 이동하는 경우, 위치 명칭 정보(520)도 '발전기 입구'에서 '발전기 출구'로 변경된다. 이러한 위치 명칭 정보(520)는 산업현장의 설계도 및 작업자 단말(200)의 GPS 정보에 기초하여 제공될 수 있다.
날짜 정보(530)는 숫자 및 문자 중 적어도 하나로 표시된다. 도 3의 경우, 날짜 정보(530)가 숫자로만 표시된 경우를 보여주고 있다. 이외에도, 날짜 정보(530)를 표시하는 순서(연-월-일, 일-월-연, 월-일-연), 날짜 정보(530)를 표시하는 언어, 크기 등은 작업자에 의해 변경 가능하다.
시간 정보(540)는 숫자, 문자 및 특수 문자 중 적어도 하나로 표시된다. 도 3의 경우, 시간 정보(540)가 숫자 및 특수 문자로 표시된 경우를 보여주고 있다.
작업 진행도 아이콘(550)은 작업 진행도를 표시하는 기능을 갖는다. 예를 들어, 작업자가 설비를 접검하고 있는 도중에 작업 진행도 아이콘(550)을 선택하였다고 하자. 이 경우, 전체 점검 단계들 대비 현재까지 완료된 점검 단계들이 그래프로 시각화되어 표시된다. 다른 예로, 점검 일지에 포함된 전체 점검 항목들 중에서 작업자가 현재 진행하고 있는 점검 항목이 나머지 점검 항목들에 비하여 강조되어 표시된다. 또 다른 예로, 점검 일지에 포함된 전체 점검 항목들 중에서 현재까지 점검 완료된 점검 항목들이 그렇지 않은 점검 항목들에 비하여 강조되어 표시된다.
큐브 아이콘(560)은 후술될 메뉴 아이콘들(561, 562, 563, 564)을 호출하는 기능을 갖는다. 큐브 아이콘(560)은 작업자의 제스처 또는 음성에 의해 선택된다. 일 예로, 작업자가 손으로 큐브 아이콘(560)을 클릭하면, 큐브 아이콘(560)이 선택된다. 다른 예로, 작업자가 '탭(TAP)'이라고 말하는 경우, 큐브 아이콘(560)이 선택된다. 큐브 아이콘(560)이 선택되면, 메뉴 아이콘들(561, 562, 563, 564)이 표시된다. 메뉴 아이콘들(561, 562, 563, 564)에 대해서는 도 4를 참조하여 후술하기로 한다.
점검 상태 아이콘(570)은 점검 항목에 대한 상태 정보를 입력하는 기능을 갖는다. 상태 정보는 예를 들어, 양호, 주의, 경고 및 위험으로 분류될 수 있다. 따라서, 점검 상태 아이콘(570)은 각 상태 정보에 기초하여 서로 다른 색상을 갖는 네 가지의 원형 아이콘(570a, 570b, 570c, 570d)을 포함하도록 구현될 수 있다. 도 3은 점검 상태 아이콘(570)이 녹색 아이콘(570a), 황색 아이콘(570b), 주황색 아이콘(570c) 및 적색 아이콘(570d)을 포함하는 경우를 도시하고 있다.
작업자는 설비 점검 시 계측 장비를 이용할 수 있는데, 특정 항목과 관련하여 측정 장비를 통해 계측된 수치가 정상 수치의 제1 범위(81%~100%)에 해당한다면, 해당 항목의 상태가 '양호'에 해당하는 것으로 판단하고, 녹색 아이콘(570a)을 선택한다. 만약, 계측된 수치가 정상 수치의 제2 범위(61%~80%)에 해당한다면, 해당 항목의 상태가 '주의'에 해당하는 것으로 판단하고, 황색 아이콘(570b)을 선택한다. 만약, 계측된 수치가 정상 수치의 제3 범위(41%~ 60%)에 해당한다면, 해당 항목의 상태가 '경고'에 해당하는 것으로 판단하고, 주황색 아이콘(570c)을 선택한다. 만약, 계측된 수치가 정상 수치의 제4 범위(40% 이하)에 해당한다면, 해당 항목의 상태가 '위험'에 해당하는 것으로 판단하고, 적색 아이콘(570d)을 선택한다.
점검 상태 아이콘(570)은 작업자의 제스처 또는 음성에 의해 선택된다. 일 예로, 작업자가 혼합현실 화면에서 손이나 손가락으로 녹색 아이콘(570a)을 클릭하면, 녹색 아이콘(570a)이 선택된다. 다른 예로, 작업자가 '녹색', '초록', '그린(Green)' 또는 '양호'라는 단어를 말하는 경우, 녹색 아이콘(570a)이 선택된다. 또는 작업자가 해당 단어가 포함된 문장을 말하는 경우에도 녹색 아이콘(570a)이 선택된다. 예를 들면, '녹색 아이콘 선택해줘', '녹색 선택해줘' 또는 '양호해'라고 말해도 녹색 아이콘이 선택된다. 마찬가지로, 작업자가 '황색', '노랑', '옐로우(Yellow)' 또는 '주의'라는 단어나 해당 단어가 포함된 문장을 말하는 경우, 황색 아이콘(570b)이 선택된다. 만약 작업자가 '주황색', '주황', '오렌지(Orange)' 또는 '경고'라는 단어나 해당 단어가 포함된 문장을 말하는 경우, 주황색 아이콘(570c)이 선택된다. 작업자가 '적색', '빨강', 레드(Red)' 또는 '위험'이라는 단어나 해당 단어가 포함된 문장을 말하는 경우, 적색 아이콘(570d)이 선택된다.
이상의 설명에서는, 각각의 원형 아이콘(570a, 570b, 570c, 570d)을 선택하기 위한 음성 명령어로서, 네 가지의 단어를 예로 들어 설명하였다. 그러나 음성 명령어의 개수 및 종류가 예시된 단어들로 반드시 한정되는 것은 아니다. 다른 실시예에 따르면, 작업자는 작업자 단말(200)에서 제공되는 다수의 음성 명렁어들 중에서 자신이 사용할 음성 명령어를 사전에 선택할 수도 있다. 또 다른 실시예에 따르면, 음성 명령어는 다양한 언어로 지원될 수 있다. 따라서, 작업자가 하나 이상의 언어를 선택하는 경우, 선택된 언어들에 해당하는 단어들이 모두 음성 명령어로 설정될 수 있다. 예를 들어, 작업자가 사용할 언어로 한국어, 영어 및 일어를 선택한 경우, '적색', 'Red' 및 'あかいろ(Akairo)'가 음성 명령어로 설정될 수 있다.
도 4는 메뉴 아이콘들(561, 562, 563, 564)이 표시된 화면을 예시한 도면이다. 도 4를 참조하면, 메뉴 아이콘들(561, 562, 563, 564)은 점검 일지 및 캘린더 아이콘(561), 캡처 아이콘(562), 찾기 아이콘(563) 및 환경설정 아이콘(564)을 포함한다.
점검 일지 및 캘린더 아이콘(561)은 점검 일지나 캘린더를 호출하는 기능을 갖는다. 구체적으로, 점검 일지 및 캘린더 아이콘(561)이 선택되면, 점검 일지와 캘린더 중에서 하나를 선택하라는 안내 메시지가 음성이나 영상으로 출력된다. 이 상태에서 작업자가 캘린더를 선택하면, 캘린더가 호출되어 화면에 표시되고, 작업자가 점검 일지를 선택하면 점검 일지가 호출되어 화면에 표시된다.
점검 일지가 호출된 경우, 작업자의 설비 점검 진행 상황에 따라, 점검 일지의 일부가 화면에 표시되거나 점검 일지 전체가 화면에 표시된다. 예를 들어, 작업자가 설비 점검을 시작하기 전이라면, 도 2b에 도시된 점검 일지 중에서 기본 정보 입력창(410)만이 화면에 표시된다. 그 결과, 작업자는 점검 일지에 대한 기본 정보를 입력할 수 있다. 만약, 작업자가 설비 점검을 완료한 상태라면, 작업자 단말(200)에 기 저장되어 있는 점검 일지 목록이 화면에 표시된다. 표시된 점검 일지 목록 중에서 하나가 선택되면, 선택된 점검 일지 전체가 화면에 표시된다. 그 결과, 작업자는 표시된 점검 일지의 전체적인 내용을 확인할 수 있다.
캡처 아이콘(562)은 현재 표시되고 있는 화면을 캡처하는 기능을 갖는다. 이외에도 캡처 아이콘(562)은 현재 표시되고 있는 화면을 동영상으로 녹화하는 기능을 가질 수 있다. 화면 캡처 기능 및 동영상 녹화 기능 중에서 어떠한 기능을 사용할 것인지는 작업자에 의해 사전에 설정될 수 있다. 일 예로, 작업자는 두 가지 기능 중에서 하나만 선택할 수 있다. 다른 예로, 작업자는 두 가지 기능 모두를 선택할 수도 있다.
찾기 아이콘(563)은 캡처된 화면 목록 및 녹화된 동영상 목록 중 적어도 하나를 표시하는 기능을 갖는다.
환경설정 아이콘(564)은 기본 사용 환경(예를 들어, 화면, 편집, 사용자 정보)을 설정하는 기능을 갖는다. 작업자는 환경설정 아이콘(564)를 선택하여, 화면에 표시할 메뉴 아이콘의 종류, 메뉴 아이콘들의 배치 순서를 설정할 수 있다. 또한, 복수의 기능을 갖는 메뉴 아이콘에 대해서는 사용할 기능을 선택적으로 설정할 수 있다.
상술한 메뉴 아이콘들(561, 562, 563, 564)은 작업자의 제스처 또는 음성에 의해 선택된다. 일 예로, 작업자가 혼합현실 화면에서 손이나 손가락으로 캡처 아이콘(562)을 클릭하면, 캡처 아이콘(562)이 선택된다. 다른 예로, 작업자가 '캡처'라는 단어를 말하는 경우, 캡처 아이콘(562)이 선택된다. 또는 작업자가 해당 단어가 포함된 문장을 말하는 경우에도 캡처 아이콘(562)이 선택된다. 예를 들면, '캡처해줘' 또는 '화면 캡처'라고 말해도 캡처 아이콘(562)이 선택된다. 찾기 아이콘(563)은 작업자가 '찾기'라는 단어 또는 해당 단어가 포함된 문장을 말하는 경우에 선택된다. 환경설정 아이콘(564)은 작업자가 '환경설정'이라는 단어 또는 해당 단어가 포함된 문장을 말하는 경우에 선택된다.
도 5는 캡처 아이콘(562)에 속하는 하위 아이콘들(562a, 562b)을 선택하는 음성 명령어들과, 각 음성 명령어의 실행 결과로 표시되는 화면들을 예시한 도면이다.
도 5의 (a)와 같이, 메뉴 아이콘들(561, 562, 563, 564)이 표시되어 있는 상태에서 작업자가 'capture'라고 말하는 경우, 캡처 아이콘(562)이 선택된다. 그 결과, 도 5의 (b)와 같이, 현재 표시되고 있는 화면이 캡처되어 임시로 저장된다. 또한, 캡처된 화면을 저장하기 위한 저장 아이콘(562a) 및 캡처된 화면을 삭제하기 위한 삭제 아이콘(562b)이 추가로 표시된다.
도 5의 (b)와 같은 화면이 표시되어 있는 상태에서 작업자가 'cancle'이라고 말하는 경우, 캡처 작업이 취소된다. 그 결과, (b) 단계에서 캡처된 화면이 삭제되고, 도 5의 (a)와 같은 화면이 다시 표시된다.
도 5의 (b)와 같은 화면이 표시되어 있는 상태에서 작업자가 '테이크'라고 말하는 경우, 도 5의 (c)와 같이, (b) 단계에서 캡처된 화면이 표시된다. 이 때, 캡처된 화면은 작업자의 시야를 방해하지 않기 위하여, 그 크기가 축소되어 표시된다.
도 5의 (c)와 같은 화면이 표시되어 있는 상태에서 작업자가 '세이브'라고 말하는 경우, 저장 아이콘(562a)이 선택된다. 그 결과, 도 5의 (d)와 같은 화면이 표시되며, (b) 단계에서 캡처된 화면이 저장된다.
도 5의 (c)와 같은 화면이 표시되어 있는 상태에서 작업자가 'delete'라고 말하는 경우, 삭제 아이콘(562b)이 선택된다. 그 결과, 도 5의 (e)와 같은 화면이 표시되며, (b) 단계에서 캡처된 화면이 삭제된다.
이상, 도 5를 참조하여 캡처 아이콘(562)에 속하는 하위 아이콘들(562a, 562b)을 선택하는 음성 명령어들에 대해서 설명하였다. 도 5는 하위 아이콘들(562a, 562b)을 선택하는 음성 명령어들이 'capture', 'take', 'cancle', 'save', 'delete' 등의 영어 단어인 경우를 예로 들어 설명하였지만, 이러한 음성 명령어들은 한국어로 대체될 수도 있다. 예를 들면, 'capture', 'cancle', 'save' 및 'delete' 등의 단어는 각각 '포착', '취소', '저장' 및 '삭제'로 대체될 수 있다.
도 6은 관리자 단말(300)을 통해 표시되는 화면들을 예시한 도면이다.
도 6의 (a)을 참조하면, 화면에는 메뉴 아이콘들(610, 620, 630, 640, 650, 660)이 배치된다. 이 때 표시되는 화면은 관리자 단말(300)의 카메라를 통해 촬영되고 있는 현실 세계 영상일 수 있다. 메뉴 아이콘들(610, 620, 630, 640, 650, 660)은 점검 일지 아이콘(610), 회전 아이콘(620), 캡처 아이콘(630), 파일 열기 아이콘(640), 변경 아이콘(650) 및 고정 아이콘(660)을 포함한다.
점검 일지 아이콘(610)은 서비스 서버(100)에 저장되어 있는 점검 일지를 열거나, 현재 열려 있는 점검 일지를 저장하는 기능을 갖는다. 점검 일지 아이콘(610)이 선택되면, 점검 일지를 불러올 수 있는 파일 오픈 창(도시되지 않음)이 표시된다. 관리자는 표시된 파일 오픈 창에서 원하는 점검 일지를 선택할 수 있다.
회전 아이콘(620)은 작업자 단말(200)에서 식별된 설비에 대응하는 3차원 모델링 정보를 처리하여, 해당 설비에 대응하는 3차원 가상 객체를 현실 세계 영상의 특정 영역에 배치하는 기능을 갖는다. 또한, 회전 아이콘(620)은 배치된 3차원 가상 객체를 회전시키는 기능을 갖는다.
캡처 아이콘(630)은 현재 표시되고 있는 화면을 캡처하는 기능을 갖는다. 캡쳐된 화면은 서비스 서버(100)로 전송되어 작업자 단말(200)에 공유될 수 있다.
파일 열기 아이콘(640)은 점검 일지 이외에, 설비와 관련된 각종 디지털 문서 예를 들어, 설명서, 안내서, 설계도, 단면도, 이력 등과 관련된 디지털 문서를 불러올 수 있는 기능을 갖는다. 파일 열기 아이콘(640)이 선택되면, 파일 오픈 창(도시되지 않음)이 표시되며, 관리자는 표시된 파일 오픈 창에서 원하는 디지털 문서를 선택할 수 있다.
변경 아이콘(650)은 증강현실 영상에 포함된 3차원 가상 객체의 종류를 변경하는 기능을 갖는다. 변경 아이콘(650)이 선택되면, 선택 가능한 설비 목록이 표시되며, 관리자는 표시된 설비 목록 중에서 원하는 설비를 선택한다. 그러면, 관리자 단말(300)은 선택된 설비에 대응하는 3차원 모델링 정보를 서비스 서버(100)에 요청하고, 서비스 서버(100)는 요청된 3차원 모델링 정보를 검색하여 관리자 단말(300)로 전송한다. 이 후, 관리자 단말(300)은 수신한 3차원 모델링 정보를 처리하여, 선택된 설비에 대응하는 3차원 가상 객체가 현실 세계 영상에 정합된 정강현실 영상을 생성한다.
고정 아이콘(660)은 현재 표시되고 있는 증강현실 영상에서 3차원 가상 객체의 위치를 고정하는 기능을 갖는다. 따라서, 고정 아이콘(660)이 선택된 후에는 회전 아이콘(620)이 선택되더라도, 증강현실 영상 내의 3차원 가상 객체가 회전되지 않는다. 고정 아이콘(660)은 3차원 가상 객체의 특정 부분을 확대해서 보려고 할 때 유용하게 사용될 수 있다.
이하, 회전 아이콘(620)의 기능에 대해서 좀 더 구체적으로 살펴보기로 한다.
도 6의 (a)에 도시된 메뉴 아이콘들 중에서 회전 아이콘(620)이 선택되면, 작업자 단말(200)에 의해 식별된 설비의 3차원 모델링 정보를 요청하는 요청 신호가 서비스 서버(100)로 전송된다. 예를 들어, 작업자 단말(200)에 의해 식별된 설비가 변압기인 경우, 변압기에 대한 3차원 모델링 정보를 요청하는 신호가 서비스 서버(100)로 전송된다. 이후, 변압기에 대한 3차원 모델링 정보가 서비스 서버(100)로부터 수신되면, 관리자 단말(300)은 수신한 3차원 모델링 정보를 처리하여, 변압기에 대응하는 3차원 가상 객체가 현실 세계 영상에 정합된 증강현실 영상을 생성한다. 증강현실 영상이 생성되는 과정을 좀 더 구체적으로 살펴보면 다음과 같다.
우선, 관리자 단말(300)은 도 6의 (a)에 도시된 바와 같이, 제2 마커(600)가 배치된 현실 세계 영상을 획득한다.
획득된 현실 세계 영상에서 제2 마커(600) 인식되면, 깊이 카메라(312)를 통해 획득된 깊이 영상에서 특징점들(feature points)이 추출되고, 추출된 특징점들에 기초하여 평면이 인식된다. 추출된 특징점들은 도 6의 (b)에 도시된 바와 같이, 화면에 표시될 수 있다.
현실 세계 영상에서 평면이 인식되면, 도 6의 (c)에 도시된 바와 같이, 인식된 평면에 변압기에 대응하는 3차원 가상 객체(680)가 배치된 증강현실 영상이 생성되어 표시된다. 또한, 3차원 가상 객체의 회전 각도를 조절하기 위한 각도 조절 아이콘(670)이 화면에 표시된다. 각도 조절 아이콘(670)은 예를 들어, 각도 조절 포인터(671)을 포함하는 막대 형태로 구현될 수 있다. 관리자는 각도 조절 아이콘(670)을 따라 각도 조절 포인터(671)의 위치를 좌우로 이동시켜 3차원 가상 객체를 회전시킬 수 있다. 다른 실시예에 따르면, 각도 조절 아이콘(670)은 화면에 표시되지 않을 수도 있다. 이 경우, 관리자는 제스처 또는 음성으로 3차원 가상 객체를 회전시킬 수 있다.
이후, 관리자는 음성이나 다중 제스처 등의 확대 명령을 입력함으로써, 도 6의 (d)에 도시된 바와 같이, 3차원 가상 객체(680)의 특정 부분을 확대할 수 있다. 음성이나 다중 제스처 등의 확대 명령을 입력하기에 앞서, 관리자는 고정 아이콘(660)을 선택하여, 3차원 가상 객체의 위치를 고정시킬 수 있다.
한편, 확대된 부분을 확인한 관리자는 확인된 정보나 지시 사항을 음성으로 작업자에게 전달할 수 있다. 또는 캡처 아이콘(630)을 선택하여, 해당 화면이 캡처되도록 하고, 캡처된 화면을 작업자 단말(200)로 제공할 수도 있다. 다른 실시예에 따르면, 캡처된 화면이 아닌, 관리자 단말(300)을 통해 표시되고 있는 증강현실 영상 자체가 그대로 작업자 단말(200)에 공유될 수 있다. 이처럼 캡처된 화면이나 증강현실 영상을 작업자 단말(200)과 공유하면, 관리자는 자신의 의견을 정확하게 전달할 수 있고, 작업자는 관리자의 지시 사항을 빠르고 정확하게 인지할 수 있다.
만약, 작업자의 작업을 원격 지원하는 도중, 변압기가 아닌 다른 설비에 대한 확인이 필요한 경우, 관리자는 변경 아이콘(650)을 선택하여, 현실 세계 영상에 배치되는 3차원 가상 객체의 종류를 변경할 수 있다. 예를 들어, 발전기를 확인할 필요가 있는 경우, 관리자는 변경 아이콘(650)을 선택하여, 선택 가능한 설비 목록이 화면에 표시되도록 하고, 표시된 설비 목록 중에서 발전기를 선택한다. 그 결과, 발전기에 대응하는 3차원 모델링 정보를 요청하는 요청 신호가 관리자 단말(300)에서 서비스 서버(100)로 전송되고, 서비스 서버(100)는 발전기에 대한 3차원 모델링 정보를 검색하여 관리자 단말(300)로 전송한다. 이 후, 관리자 단말(300)은 수신한 3차원 모델링 정보를 처리하여, 발전기에 대응하는 3차원 가상 객체(690)가 현실 세계 영상에 정합된 증강현실 영상을 생성한다. 그 결과, 관리자 단말(300)에는 도 6의 (e)와 같은 증강현실 영상이 표시된다.
도 7은 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법을 도시한 흐름도이다.
설명에 앞서, 서비스 사용자에 대한 계정 설정 및 권한 설정, 작업자 단말(200)의 환경설정, 관리자 단말(300)의 환경설정 등이 완료된 상태임을 가정한다.
작업자는 작업자 단말(200)을 착용한 상태에서 설비가 위치한 곳으로 이동한다. 이후, 작업자 단말(200)의 요청에 따라 작업자 단말(200)과 관리자 단말(300) 간계 영상 통화가 연결된다(S700). 상기 S700 단계는 작업자 단말(200)이 관리자 단말(300)과의 영상 통화를 요청하는 요청 신호를 서비스 서버(100)로 전송하는 단계, 서비스 서버(100)가 작업자 단말(200)로부터 수신한 영상 통화 요청 신호를 관리자 단말(300)에 전송하는 단계, 영상 통화를 승인하는 승인 신호가 관리자 단말(300)로부터 수신되면, 서비스 서버(100)가 작업자 단말(200)과 관리자 단말(300) 간의 영상 통화를 연결하는 단계를 포함한다.
이 때, 작업자 단말(200)에는 도 3에 도시된 바와 같은 혼합현실 영상이 표시될 수 있다. 또한, 관리자 단말(300)에는 도 6의 (a)에 도시된 바와 같은 현실 세계 영상이 표시될 수 있다.
이후, 작업자 단말(200)은 설비에 배치된 제1 마커를 촬영하고(S705), 촬영된 영상에서 제1 마커를 인식하여 해당 설비의 식별 정보를 획득한다(S710). 획득된 식별 정보는 서비스 서버(100)로 전송된다(S715).
서비스 서버(100)는 작업자 단말(200)로부터 식별 정보를 수신하고, 수신한 식별 정보에 대응하는 점검 알고리즘을 검색한다(S720). 그리고 검색된 점검 알고리즘을 작업자 단말(200)로 전송한다(S725).
작업자 단말(200)은 서비스 서버(100)로부터 수신한 점검 알고리즘을 실행한다(S730). 상기 S730 단계는 점검 알고리즘에 포함되어 있는 점검 일지를 로드하는 단계, 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시키는 단계, 활성화된 점검 항목에 대한 점검 결과를 입력받는 단계 및 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계를 포함한다.
이처럼 작업자가 점검 알고리즘에 기초하여 설비를 점검하고 있는 상태에서 문제 상황 예를 들어, 관리자의 지원이 필요한 상황이 발생한 경우, 작업자는 이러한 사실을 관리자에게 음성으로 알린다.
한편, 서비스 서버(100)는 S725 단계 이후에, 작업자 단말(200)로부터 수신한 식별 정보에 대응하는 설비의 3차원 모델링 정보를 데이터베이스에서 검색한다(S740). 그리고 검색된 3차원 모델링 정보를 관리자 단말(300)로 전송한다(S745).
관리자 단말(300)은 서비스 서버(100)에서 전송한 3차원 모델링 정보를 수신하여 저장한다(S750).
이 후, 화면에 배치된 메뉴 아이콘들 중에서 회전 아이콘(620)이 선택되면 관리자 단말(300)은 현실 세계 영상과 서비스 서버(100)로부터 수신한 3차원 모델링 정보를 처리하여, 현실 세계 영상에 설비에 대응하는 3차원 가상 객체가 배치된 증강현실 영상을 생성한다(S760). 상기 S760 단계는 RGB 카메라(311)를 통해 제2 마커(600)가 포함된 현실 세계 영상을 획득하는 단계, 획득된 현실 세계 영상에서 제2 마커(600)를 인식하는 단계(도 6의 (a) 참조), 깊이 카메라(312)를 통해 획득된 깊이 영상에서 특징점들(feature points)을 추출하는 단계, 추출된 특징점들에 기초하여 현실 세계 영상에서 평면을 인식하는 단계(도 6의 (b) 참조), 설비에 대응하는 3차원 가상 객체(680)를 인식된 평면에 배치하여 증강현실 영상을 생성하는 단계(도 6의 (c) 참조)를 포함한다.
도 6의 (c)와 같은 증강현실 영상이 관리자 단말(300)을 통해 표시된 후, 메뉴 아이콘(610, 620, 630, 640, 650, 660)이 선택되면, 선택된 메뉴 아이콘에 대응하는 화면이 구성되어 표시된다(S765). 상기 S765 단계는 점검 일지 아이콘이 선택된 경우, 현재 식별된 설비에 대한 점검 일지 목록을 표시하는 단계, 각도 조절 아이콘이 선택된 경우 현재 표시되고 있는 3차원 가상 객체를 회전시키는 단계, 고정 아이콘이 선택된 경우 현재 표시되고 있는 3차원 가상 객체의 위치를 고정시키는 단계, 다중 터치 제스처가 입력된 경우 현재 표시되고 있는 3차원 가상 객체의 크기를 확대 또는 축소시키는 단계, 파일 열기 아이콘이 선택된 경우 현재 식별된 설비에 관련된 각종 디지털 문서 목록을 표시하는 단계, 및 변경 아이콘이 선택된 경우 증강현실 영상에 표시되고 있는 3차원 가상 객체의 종류를 변경시키는 단계 중 적어도 하나를 포함할 수 있다.
이처럼 선택된 메뉴 아이콘에 대응하는 화면이 표시되면, 관리자는 표시된 정보들을 확인하여 작업자에게 전달할 정보를 결정할 수 있다. 결정된 정보는 음성 및 영상 중 적어도 하나의 형태로 작업자 단말(200)로 제공된다(S770). 상기 S770 단계는 캡처 아이콘이 선택된 경우, 현재 표시되고 있는 화면을 캡처하는 단계, 캡처된 화면을 작업자 단말(200)로 전송하는 단계를 포함할 수 있다.
한편, 작업자 단말(200)은 관리자 단말(300)로부터 수신한 정보를 소리로 출력하거나 화면에 표시한다(S775).
이후, 디지털 점검 일지에 포함된 전체 점검 항목들에 대해서 점검 결과가 입력되면, 점검 알고리즘이 종료된다(S780).
점검 알고리즘이 종료되면, 종료를 알리는 안내 메시지가 소리 또는 영상으로 출력된다. 또한, 각 점검 항목과 관련하여 점검 결과로 입력받은 텍스트 정보와 영상 정보에 기초하여 점검 보고서가 자동으로 생성된다(S785). 생성된 점검 보고서는 서비스 서버(100)를 통해 관리자 단말(300)로 공유될 수 있다(S790).
도 8은 자동으로 생성된 점검 보고서를 예시한 도면이다. 도 8을 참조하면, 점검 보고서(800)는 도 2b에 예시된 디지털 점검 일지(400)와는 다르게, 텍스트 정보 및 영상 정보를 모두 포함하는 것을 알 수 있다. 또한, 텍스트 정보 및 그에 대응하는 영상 정보가 순차적으로 정렬되어 있는 것을 확인할 수 있다. 점검 보고서(800)는 예를 들어, PDF 파일 형식으로 생성될 수 있는데, 이 외에도 다양한 파일 형식을 가질 수 있음은 물론이다. 실시예에 따르면, 관리자는 점검 보고서(800)를 수정할 수 있다. 구체적으로, 관리자는 점검 보고서에 자신의 의견을 추가할 수 있다. 이를 위해, 관리자는 관리자 단말(300)에서 제공되는 소프트웨어 키보드나 음성 인식 기능을 이용할 수 있다.
이상 도 7 및 도 8을 참조하여, 본 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법에 대해서 설명하였다. 도 7에 도시되어 있는 단계들 중에서 일부 단계는 그 순서가 변경될 수도 있고, 해당 단계의 수행 주체가 변경될 수도 있다.
일 예로, 작업자 단말(200)과 관리자 단말(300) 간에 영상 통화를 연결하는 단계(S700)는 S705 단계와 S780 단계 사이에 실행될 수 있다. 구체적으로, 영상 통화 연결 단계(S700)는 점검 알고리즘 실행 단계(S730) 이후에 실행될 수도 있다. 작업자는 점검 알고리즘에 따라 설비 점검을 수행하는 도중, 관리자의 업무 지원이 필요하다고 판단된 경우, 관리자 단말(300)과의 영상 통화 연결을 시도한다. 그러면 영상 통화 연결 요청 신호가 작업자 단말(200)에서 서비스 서버(100)로 전송되고, 서비스 서버(100)는 영상 통화 연결 요청 신호를 관리자 단말(300)로 전송한다. 관리자 단말(300)은 영상 통화 연결 요청 신호를 표시하고, 관리자가 영상 통화 연결을 승인하면, 작업자 단말(200)과 관리자 단말(300) 간에 영상 통화가 연결된다.
다른 예로, 점검 보고서(800)를 생성하는 단계(S785)는 작업자 단말(200) 대신 서비스 서버(100)에서 수행될 수 있다. 이 경우, 작업자 단말(200)은 점검 알고리즘이 종료되면(S780), 설비 점검 과정에서 입력받은 점검 결과들(텍스트 정보 및 영상 정보)을 서비스 서버(100)로 전송한다. 그러면, 서비스 서버(100)는 작업자 단말(200)로부터 수신한 정보에 기초하여 점검 보고서(800)를 자동으로 생성한다. 또는, 서비스 서버(100)는 작업자 단말(200)로부터 수신한 정보를 저장하였다가, 작업자 단말(200)이나 관리자 단말(300)의 요청이 있는 경우에, 점검 보고서(800)를 생성한다.
또 다른 예로, 서비스 서버(100)는 작업자 단말(200)과 관리자 단말(300) 간의 영상 통화를 연결하기에 앞서, S745 단계를 수행할 수 있다. S745 단계를 수행할 때, 서비스 서버(100)는 관리자가 소속되어 있는 산업현장의 종류에 근거하여, 해당 산업현장에 마련되어 있는 설비들의 3차원 모델링 정보를 관리자 단말(300)로 제공한다. 구체적으로, 서비스 서버(100)는 각종 산업현장(예를 들어, 에너지 산업 분야 및 항공 정비 분야)에 속한 설비들의 3차원 모델링 정보를 저장할 수 있다. 만약, 관리자가 에너지 산업 분야에 소속되어 있다면, 서비스 서버(100)는 에너지 산업 현장에 마련되어 있는 설비들의 3차원 모델링 정보를 모두 관리자 단말(300)로 제공한다. 다른 예로, 서비스 서버(100)는 에너지 산업 현장에 마련되어 있는 설비들 중에서도 관리자의 접근이 허용된 설비에 한해서만 3차원 모델링 정보를 관리자 단말(300)로 제공한다. 이처럼 S745 단계가 영상 통화 연결 전에 이루어지는 경우, S740 단계는 서비스 서버(100)가 아닌, 관리자 단말(300)에서 수행된다.
이상으로 본 발명의 실시예들을 설명하였다. 전술한 실시예들에 더하여, 본 발명의 실시예들은 전술한 실시예의 적어도 하나의 처리 요소를 제어하기 위한 컴퓨터 판독 가능한 코드/명령을 포함하는 매체 예를 들면, 컴퓨터 판독 가능한 매체를 통해 구현될 수도 있다. 상기 매체는 상기 컴퓨터 판독 가능한 코드의 저장 및/또는 전송을 가능하게 하는 매체/매체들에 대응할 수 있다.
상기 컴퓨터 판독 가능한 코드는, 매체에 기록될 수 있을 뿐만 아니라, 인터넷을 통해 전송될 수도 있는데, 상기 매체는 예를 들어, 마그네틱 저장 매체(예를 들면, ROM, 플로피 디스크, 하드 디스크 등) 및 광학 기록 매체(예를 들면, CD-ROM, Blu-Ray, DVD)와 같은 기록 매체, 반송파(carrier wave)와 같은 전송매체를 포함할 수 있다. 상기 매체들은 분산 네트워크일 수도 있으므로, 컴퓨터로 읽을 수 있는 코드는 분산 방식으로 저장/전송되고 실행될 수 있다. 또한 더 나아가, 단지 일 예로써, 처리 요소는 프로세서 또는 컴퓨터 프로세서를 포함할 수 있고, 상기 처리 요소는 하나의 디바이스 내에 분산 및/또는 포함될 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
100: 서비서 서버
200: 작업자 단말
300: 관리자 단말
400: 디지털 점검 일지
410: 기본 정보 입력창
420, 430, 440, 450: 점검 결과 입력창
460: 기타사항 입력창
510: 위치 아이콘
520: 위치 명칭 정보
530: 날짜 정보
540: 시간 정보
550: 작업 진행도 아이콘
560: 큐브 아이콘
570: 점검 상태 아이콘(570)
600: 제2 마커

Claims (10)

  1. 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하는 산업설비 운영을 위한 확장현실 서비스를 제공하는 방법에 있어서,
    상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계;
    상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계;
    상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및
    상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함하되,
    상기 작업자 단말의 화면에는 상기 산업현장에서 상기 작업자의 현재 위치가 표시된 지도를 표시하는 위치 아이콘, 상기 산업현장에서 상기 작업자가 위치한 곳의 명칭을 포함하는 위치 명칭 정보, 날짜 정보, 시간 정보, 상기 점검 알고리즘에 따른 점검 진행 정도를 표시하는 작업 진행도 아이콘, 메뉴 아이콘들을 호출하기 위한 아이콘 및 복수의 점검 상태 아이콘 중 적어도 하나가 표시되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 디지털 점검 일지는
    상기 디지털 점검 일지와 관련된 기본 정보를 입력하기 위한 기본 정보 입력창; 및
    상기 전체 점검 항목별로 점검 결과를 입력할 수 있으며, 상기 점검 순서에 맞추어 배치되는 점검 결과 입력창들을 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 점검 결과 입력창들은
    상기 점검 순서가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 상위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 하위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 작업자가 점검해야할 점검 내용이 표시되는 표시란, 상기 점검 항목에 대한 상태 정보를 입력할 수 있는 복수의 체크 박스들, 및 상기 상태 정보와 관련하여 추가적인 메시지를 입력할 수 있는 입력란을 각각 포함하며,
    상기 복수의 체크 박스들은 상기 상태 정보에 대응하여 서로 다른 색상으로 구현되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  4. 제3항에 있어서,
    상기 복수의 체크 박스들은 상기 점검 일지에 포함된 모든 점검 항목에 대해서 점검이 완료되면, 상태 정보 변경이 불가능하도록 비활성화되며,
    상기 복수의 체크 박스들 중에서 상기 작업자에 의해 선택된 체크 박스의 색상은 기존의 색상으로 유지되고, 나머지 체크 박스들의 색상은 특정 색상으로 일괄적으로 변경되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 텍스트 정보와 상기 영상 정보는 서로 동일한 파일명을 갖되, 동일한 저장 경로에 저장되며,
    상기 파일명은 점검 날짜, 상기 디지털 점검 일지의 식별 정보, 상기 디지털 점검 일지에 포함된 점검 항목의 식별 정보, 상기 점검 항목에 속하는 세부 항목의 식별 정보 중 적어도 하나를 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 위치 아이콘, 상기 작업 진행도 아이콘, 상기 메뉴 아이콘들을 호출하기 위한 상기 아이콘 및 상기 복수의 점검 상태 아이콘 중 적어도 하나는, 상기 작업자의 제스처를 인식한 결과로 획득된 제스처 명령어나 상기 작업자의 음성을 인식한 결과로 획득된 음성 명령어에 기초하여 선택되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  7. 제1항에 있어서,
    상기 복수의 점검 상태 아이콘은 상기 활성화된 점검 항목에 대한 점검 결과로 입력할 수 있는 상태 정보에 대응하도록 서로 다른 색상으로 구현되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  8. 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하는 산업설비 운영을 위한 확장현실 서비스를 제공하는 방법에 있어서,
    상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계;
    상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계;
    상기 서비스 서버가 상기 식별 정보에 대응하는 설비의 3차원 모델링 정보를 검색하고, 상기 검색된 3차원 모델링 정보를 상기 관리자 단말로 전송하는 단계;
    상기 관리자 단말이 제2 마커가 포함된 현실 세계 영상을 획득하고, 상기 획득된 현실 세계 영상과 상기 3차원 모델링 정보를 처리하여, 상기 현실 세계 영상의 특정 영역에 상기 설비에 대응하는 3차원 가상 객체가 배치된 증강현실 영상을 생성하는 단계;
    상기 증강현실 영상과 함께 표시된 메뉴 아이콘들 중 하나가 선택되는 경우, 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계;
    상기 관리자가 상기 표시된 화면을 확인하여 상기 작업자에게 전달할 정보를 결정하면, 상기 결정된 정보를 음성 또는 영상으로 상기 작업자 단말로 전송하는 단계;
    상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지와 상기 결정된 정보를 출력하며, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및
    상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  9. 제8항에 있어서,
    상기 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계는
    점검 일지 아이콘이 선택된 경우, 상기 설비에 대한 점검 일지 목록을 표시하는 단계;
    각도 조절 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체를 회전시키는 단계;
    고정 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 위치를 고정시키는 단계;
    확대 명령 또는 축소 명령이 입력된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 크기를 확대 또는 축소시키는 단계;
    파일 열기 아이콘이 선택된 경우 상기 설비에 관련된 각종 디지털 문서 목록을 표시하는 단계; 및
    변경 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 종류를 변경시키는 단계 중 적어도 하나를 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  10. 하드웨어인 단말 장치와 결합되어, 제1항 내지 제9항 중 어느 한 항의 산업설비 운영을 위한 확장현실 서비스 제공 방법을 실행시키기 위하여, 컴퓨터로 판독 가능한 기록 매체에 저장된 단말 장치용 어플리케이션.
KR1020210007791A 2020-07-30 2021-01-20 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템 KR102326507B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2021/008883 WO2022025481A1 (ko) 2020-07-30 2021-07-12 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템
US18/007,177 US20230237744A1 (en) 2020-07-30 2021-07-12 Extended reality service providing method and system for operation of industrial installation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200095175 2020-07-30
KR20200095175 2020-07-30

Publications (1)

Publication Number Publication Date
KR102326507B1 true KR102326507B1 (ko) 2021-11-15

Family

ID=78502916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210007791A KR102326507B1 (ko) 2020-07-30 2021-01-20 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템

Country Status (3)

Country Link
US (1) US20230237744A1 (ko)
KR (1) KR102326507B1 (ko)
WO (1) WO2022025481A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706486A (zh) * 2022-04-26 2022-07-05 四川大学 基于手势识别的混合现实工业控制方法及装置
JP7279830B1 (ja) 2022-02-28 2023-05-23 東芝ライテック株式会社 保守点検結果提示装置
KR102538056B1 (ko) * 2021-12-14 2023-05-30 주식회사 넥스텝스튜디오 증강현실을 이용한 건물 관리 시스템
JP7423849B1 (ja) 2023-10-05 2024-01-29 株式会社日立パワーソリューションズ 現場作業支援システム及び現場作業支援方法
WO2024108026A1 (en) * 2022-11-16 2024-05-23 Aveva Software, Llc Computerized systems and methods for an industrial metaverse
KR20240081619A (ko) 2022-11-30 2024-06-10 가우스랩 주식회사 확장현실을 이용한 산업설비 관리 서비스 제공 방법 및 장치
KR102706982B1 (ko) * 2024-01-17 2024-09-13 엔텍파워 주식회사 열화상 분포 측정 보고서의 자동 생성시스템 및 자동 생성방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133928A (ja) * 2004-11-04 2006-05-25 Altia Hashimoto Co Ltd 車両点検システム
KR101701278B1 (ko) 2015-09-11 2017-02-13 대우조선해양 주식회사 선박/해양플랜트의 원격 검사 및 유지보수 시스템
KR102086451B1 (ko) * 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 증강현실 상의 스마트팩토리 원격협업 ｃｍｓ 시스템 및 그 구동방법
JP2020091530A (ja) * 2018-12-03 2020-06-11 三菱電機ビルテクノサービス株式会社 設備管理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101135774B1 (ko) * 2010-09-29 2012-04-16 한국전력공사 증강현실을 이용한 전력량계 관리시스템 및 관리방법
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133928A (ja) * 2004-11-04 2006-05-25 Altia Hashimoto Co Ltd 車両点検システム
KR101701278B1 (ko) 2015-09-11 2017-02-13 대우조선해양 주식회사 선박/해양플랜트의 원격 검사 및 유지보수 시스템
JP2020091530A (ja) * 2018-12-03 2020-06-11 三菱電機ビルテクノサービス株式会社 設備管理システム
KR102086451B1 (ko) * 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 증강현실 상의 스마트팩토리 원격협업 ｃｍｓ 시스템 및 그 구동방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102538056B1 (ko) * 2021-12-14 2023-05-30 주식회사 넥스텝스튜디오 증강현실을 이용한 건물 관리 시스템
JP7279830B1 (ja) 2022-02-28 2023-05-23 東芝ライテック株式会社 保守点検結果提示装置
JP2023125604A (ja) * 2022-02-28 2023-09-07 東芝ライテック株式会社 保守点検結果提示装置
CN114706486A (zh) * 2022-04-26 2022-07-05 四川大学 基于手势识别的混合现实工业控制方法及装置
WO2024108026A1 (en) * 2022-11-16 2024-05-23 Aveva Software, Llc Computerized systems and methods for an industrial metaverse
KR20240081619A (ko) 2022-11-30 2024-06-10 가우스랩 주식회사 확장현실을 이용한 산업설비 관리 서비스 제공 방법 및 장치
JP7423849B1 (ja) 2023-10-05 2024-01-29 株式会社日立パワーソリューションズ 現場作業支援システム及び現場作業支援方法
KR102706982B1 (ko) * 2024-01-17 2024-09-13 엔텍파워 주식회사 열화상 분포 측정 보고서의 자동 생성시스템 및 자동 생성방법

Also Published As

Publication number Publication date
US20230237744A1 (en) 2023-07-27
WO2022025481A1 (ko) 2022-02-03

Similar Documents

Publication Publication Date Title
KR102326507B1 (ko) 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템
US10635392B2 (en) Method and system for providing interface controls based on voice commands
KR101990284B1 (ko) 음성인식을 이용한 지능형 인지기술기반 증강현실시스템
DK2996015T3 (en) PROCEDURE TO USE IMPROVED REALITY AS HMI VIEW
US9601113B2 (en) System, device and method for processing interlaced multimodal user input
JP3813911B2 (ja) 機械翻訳システム、機械翻訳方法及び機械翻訳プログラム
EP3507949A1 (en) Intelligent digital assistant for declining an incoming call
CN112767929A (zh) 个人信息的隐私维护
CN104583927B (zh) 用户终端中的用户接口装置以及用于支持该用户接口装置的方法
WO2016157936A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11461681B2 (en) System and method for multi-modality soft-agent for query population and information mining
CN110637339A (zh) 使用隐式反馈优化数字助理的对话策略决策
KR102630662B1 (ko) 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
KR20190134975A (ko) 인공지능 시스템의 앱들 또는 스킬들의 리스트를 표시하는 증강 현실 장치 및 동작 방법
CN113572889A (zh) 简化用户接口生成
CN118535010A (zh) 用于提供片段信息的可视化的数字助理
US20050062740A1 (en) User interface method and apparatus, and computer program
WO2018154942A1 (ja) 表示制御装置、方法及びプログラム
KR20200042137A (ko) 변형 발화 텍스트를 제공하는 전자 장치 및 그것의 동작 방법
CN112328088A (zh) 图像的呈现方法和装置
KR102689359B1 (ko) 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템
KR101694011B1 (ko) 복수 응용 소프트웨어에 대한 음성 대화 방법 및 장치
KR102189558B1 (ko) 음성을 통한 지능형 전자문서 제공 장치, 방법 및 시스템
KR20190079997A (ko) 도면 번호 인식을 통한 연결 도면 연계 시스템 및 방법
JP6862331B2 (ja) 思考・議論支援システムおよび思考・議論支援装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant