WO2022025481A1 - 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템 - Google Patents

산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
WO2022025481A1
WO2022025481A1 PCT/KR2021/008883 KR2021008883W WO2022025481A1 WO 2022025481 A1 WO2022025481 A1 WO 2022025481A1 KR 2021008883 W KR2021008883 W KR 2021008883W WO 2022025481 A1 WO2022025481 A1 WO 2022025481A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
information
icon
operator
terminal
Prior art date
Application number
PCT/KR2021/008883
Other languages
English (en)
French (fr)
Inventor
이정근
Original Assignee
이정근
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이정근 filed Critical 이정근
Priority to US18/007,177 priority Critical patent/US20230237744A1/en
Publication of WO2022025481A1 publication Critical patent/WO2022025481A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32226—Computer assisted repair, maintenance of system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the digital inspection log includes a basic information input window for inputting basic information related to the digital inspection log and inspection results input windows for each of the entire inspection items, and inspection result input windows arranged in accordance with the inspection order.
  • the plurality of check boxes are deactivated so that state information cannot be changed when inspection is completed for all the check items included in the check log, and the color of the check box selected by the operator among the plurality of check boxes is The color is maintained, and the colors of the other check boxes are collectively changed to a specific color.
  • the video call is connected between the operator terminal at the site and the manager terminal at a remote location, if a problem occurs while the operator inspects the facility, the issue can be resolved by discussing it in real time with the manager at the remote location. Decisions can be communicated to workers quickly.
  • the augmented reality image in which the 3D virtual object corresponding to the facility is matched to the real world image being photographed in the manager terminal is displayed on the manager terminal, and the manager can check by manipulating the arrangement or location of the displayed 3D virtual object, so the facility It is possible to deliver more precise instructions to the operator.
  • Virtual reality refers to a technology that displays a created virtual world that is completely different from the real world in a state in which a user's view is blocked.
  • the operator terminal 200 and the manager terminal 300 may include a terminal device.
  • the terminal device may be an Information and Communications Technology device (ICT device).
  • ICT device Information and Communications Technology device
  • An intelligent device is a medium that connects physical space and information space, and includes terminals and parts that allow users, information, and objects to interact and provide various applications and services based on this.
  • FIGS. 2A, 2B and 2C illustrate an analog format inspection log.
  • 2B illustrates an inspection log in digital format.
  • 2C illustrates a state in which the digital form of the inspection log is changed.
  • the inspection log in digital format shown in FIG. 2B is generated based on the inspection log in analog format.
  • the digital type inspection log is configured to include information included in the analog type inspection log, and each piece of information is arranged so that an operator or manager can intuitively grasp the corresponding information.
  • the check boxes 446 may be implemented with different colors according to inputable state information. For example, it is assumed that four check boxes 446 are arranged in a horizontal line, and status information corresponding to good, caution, warning, and danger can be input in order from the left check box. In this case, green (G), yellow (Y), orange (O), and red (R) may be displayed from the left check box, respectively. In this way, when the colors of the check boxes 446 are displayed differently, the operator can input the status information of each check item without making a mistake when selecting it.
  • a miscellaneous information input window 460 is disposed at the bottom of the inspection result input window 450 corresponding to the last inspection order.
  • a digitized inspection log may be displayed on the screen.
  • the inspection result may be input by touching the highlighted or activated input box with a hand, or the inspection result may be input by touching one of the highlighted or activated check boxes with a hand.
  • the inspection result may be input by uttering a word or sentence corresponding to the inspection result.
  • the digitized inspection log when the inspection algorithm is executed, the digitized inspection log may not be displayed on the screen.
  • the inspection items included in the inspection log may be guided by voice according to the order, and the operator may perform inspection on the voice-guided inspection items and input the inspection result by voice.
  • information input through the input field 445 or check boxes 446 disposed in the inspection result input window 440 is classified as text information and stored.
  • the operator may capture a screen in relation to each inspection item, and the captured screen is classified and stored as image information.
  • the text information and the image information are stored in the same storage path.
  • the text information and the image information may have different file formats, but may have the same file name.
  • the file name may be designated to include, for example, at least one of date information, identification information of an inspection log, and identification information of an inspection item.
  • text information is stored in a text file format of '20200715_1111_001_01.txt'
  • image information is stored in an image file format of '20200715_1111_001_01.jpg'.
  • '20200715' means the date of inspection (July 15, 2020)
  • '1111' means identification information of a digitized inspection log
  • '001' means identification information of inspection items .
  • '01' means identification information of a detailed item belonging to the inspection item (state information: 446 in FIG. 2B, and an additional message related to state information: 445).
  • FIG. 3 is a diagram illustrating a screen displayed through the operator terminal 200 .
  • the screen of FIG. 3 may be a mixed reality image in which various information or icons are matched to a real world image.
  • a location icon 510 location name information 520 , date information 530 , time information 540 , and a work progress icon 550 are disposed at the top of the screen.
  • a cube icon 560 and an inspection status icon 570 are disposed at the bottom of the screen.
  • the location icon 510 has a function of displaying the current location information of the operator on the map.
  • the location icon 510 is selected by the operator's gesture or voice.
  • a two-dimensional map or a three-dimensional map on which the operator's current location is displayed is displayed. If the operator moves while the 3D map is displayed, the icon indicating the location of the operator also moves in real time.
  • the location name information 520 means the name of a place where the worker is located in the industrial site, and is displayed in characters on one side of the location icon 510 .
  • the location name information 520 is changed in real time as the location of the operator is changed. For example, when the operator moves from the generator inlet to the generator outlet, the location name information 520 is also changed from 'generator inlet' to 'generator outlet'.
  • the location name information 520 may be provided based on the design of the industrial site and the GPS information of the operator terminal 200 .
  • the date information 530 is displayed as at least one of a number and a letter. 3 shows a case in which date information 530 is displayed only with numbers. In addition, the order in which the date information 530 is displayed (year-month-day, day-month-year, month-day-year) and the language and size for displaying the date information 530 can be changed by the operator. .
  • the time information 540 is displayed as at least one of a number, a letter, and a special character. 3 shows a case in which time information 540 is displayed with numbers and special characters.
  • the cube icon 560 has a function of calling menu icons 561 , 562 , 563 , and 564 which will be described later.
  • the cube icon 560 is selected by the operator's gesture or voice. For example, when the operator clicks the cube icon 560 by hand, the cube icon 560 is selected. As another example, when the operator says 'TAP', the cube icon 560 is selected. When the cube icon 560 is selected, menu icons 561 , 562 , 563 , and 564 are displayed. The menu icons 561 , 562 , 563 , and 564 will be described later with reference to FIG. 4 .
  • the inspection state icon 570 has a function of inputting state information on inspection items.
  • the status information may be classified, for example, as good, caution, warning, and critical. Accordingly, the inspection status icon 570 may be implemented to include four circular icons 570a , 570b , 570c , and 570d having different colors based on each status information. 3 illustrates a case in which the inspection status icon 570 includes a green icon 570a, a yellow icon 570b, an orange icon 570c, and a red icon 570d.
  • the operator can use the measuring equipment when inspecting the facility. If the value measured by the measuring equipment in relation to a specific item falls within the first range (81% to 100%) of the normal value, the status of the item is 'good'. It is determined that it corresponds to , and a green icon 570a is selected. If the measured value falls within the second range (61% to 80%) of the normal value, it is determined that the status of the corresponding item corresponds to 'caution', and the yellow icon 570b is selected. If the measured value falls within the third range (41% to 60%) of the normal value, it is determined that the status of the corresponding item corresponds to 'warning', and an orange icon 570c is selected. If the measured value falls within the fourth range (40% or less) of the normal value, it is determined that the status of the corresponding item corresponds to 'danger', and a red icon 570d is selected.
  • the inspection status icon 570 is selected by the operator's gesture or voice. For example, when the operator clicks the green icon 570a with a hand or finger on the mixed reality screen, the green icon 570a is selected. As another example, when the operator speaks the word 'green', 'green', 'green' or 'good', the green icon 570a is selected. Alternatively, even when the operator speaks a sentence including the corresponding word, the green icon 570a is selected. For example, saying 'Choose a green icon', 'Choose a green' or 'I like it' will also select the green icon.
  • the yellow icon 570b is selected. If the operator speaks the word 'orange', 'orange', 'orange', or 'warning' or a sentence including the word, the orange icon 570c is selected. When the operator speaks the word 'red', 'red', 'Red' or 'danger' or a sentence including the word, the red icon 570d is selected.
  • the operator may preselect a voice command to be used by the operator from among a plurality of voice commands provided by the operator terminal 200 .
  • the voice command may be supported in various languages. Accordingly, when the operator selects one or more languages, all words corresponding to the selected languages may be set as voice commands. For example, when Korean, English, and Japanese are selected as languages to be used by the operator, 'red', 'Red', and ' ⁇ (Akairo)' may be set as voice commands.
  • the inspection log and calendar icon 561 has a function of calling the inspection log or calendar. Specifically, when the inspection log and calendar icon 561 is selected, a guide message to select one of the inspection log and calendar is outputted through audio or video. In this state, when the operator selects the calendar, the calendar is called and displayed on the screen, and when the operator selects the inspection journal, the inspection journal is called and displayed on the screen.
  • the inspection log When the inspection log is called, a part of the inspection log is displayed on the screen or the entire inspection log is displayed on the screen, depending on the progress of the operator's facility inspection. For example, before the operator starts the equipment inspection, only the basic information input window 410 of the inspection log shown in FIG. 2B is displayed on the screen. As a result, the operator can input basic information about the inspection log. If the operator has completed the equipment inspection, the inspection log list pre-stored in the operator terminal 200 is displayed on the screen. When one of the displayed inspection log lists is selected, the entire selected inspection log is displayed on the screen. As a result, the operator can check the overall contents of the displayed inspection log.
  • the capture icon 562 has a function of capturing the currently displayed screen.
  • the capture icon 562 may have a function of recording the currently displayed screen as a video.
  • Which function to use among the screen capture function and the video recording function may be set in advance by the operator. For example, the operator may select only one of the two functions. As another example, the operator may select both functions.
  • the search icon 563 has a function of displaying at least one of a captured screen list and a recorded video list.
  • the environment setting icon 564 has a function of setting a basic use environment (eg, screen, editing, user information). The operator may select the environment setting icon 564 to set the type of menu icon to be displayed on the screen and the arrangement order of the menu icons. In addition, for a menu icon having a plurality of functions, a function to be used may be selectively set.
  • a basic use environment eg, screen, editing, user information
  • the above-described menu icons 561, 562, 563, and 564 are selected by the operator's gesture or voice. For example, when the operator clicks the capture icon 562 with a hand or finger on the mixed reality screen, the capture icon 562 is selected. As another example, when the operator speaks the word 'capture', the capture icon 562 is selected. Alternatively, the capture icon 562 is selected even when the operator speaks a sentence including the corresponding word. For example, the capture icon 562 is selected even when 'capture' or 'screen capture' is said.
  • the search icon 563 is selected when the operator speaks the word 'find' or a sentence including the word.
  • the environment setting icon 564 is selected when the worker speaks the word 'environment setting' or a sentence including the word.
  • FIG. 5 is a diagram illustrating voice commands for selecting sub-icons 562a and 562b belonging to the capture icon 562 and screens displayed as a result of execution of each voice command.
  • the capture icon 562 is selected.
  • the currently displayed screen is captured and temporarily stored.
  • a save icon 562a for saving the captured screen and a delete icon 562b for deleting the captured screen are additionally displayed.
  • the voice commands for selecting the lower icons 562a and 562b belonging to the capture icon 562 have been described with reference to FIG. 5 .
  • the case where the voice commands for selecting the sub-icons 562a and 562b are English words such as 'capture', 'take', 'cancle', 'save', and 'delete' has been described as an example. Commands may be substituted in Korean. For example, words such as 'capture', 'cancle', 'save' and 'delete' may be replaced with 'capture', 'cancel', 'save' and 'delete', respectively.
  • FIG. 6 is a diagram illustrating screens displayed through the manager terminal 300 .
  • menu icons 610 , 620 , 630 , 640 , 650 , and 660 are disposed on the screen.
  • the screen displayed at this time may be a real-world image being photographed through the camera of the manager terminal 300 .
  • Menu icons 610 , 620 , 630 , 640 , 650 , 660 include maintenance log icon 610 , rotation icon 620 , capture icon 630 , open file icon 640 , change icon 650 and fixed icon 660 .
  • the inspection log icon 610 has a function of opening an inspection log stored in the service server 100 or storing a currently opened inspection log.
  • a file open window (not shown) to call the inspection log is displayed. The administrator can select the desired inspection log from the displayed file open window.
  • the rotation icon 620 has a function of processing 3D modeling information corresponding to the facility identified in the operator terminal 200 and arranging the 3D virtual object corresponding to the facility in a specific area of the real world image. In addition, the rotation icon 620 has a function of rotating the arranged 3D virtual object.
  • the capture icon 630 has a function of capturing the currently displayed screen.
  • the captured screen may be transmitted to the service server 100 and shared with the operator terminal 200 .
  • the file open icon 640 has a function to call various digital documents related to facilities, for example, a digital document related to a manual, a guide, a design, a cross-sectional view, a history, and the like, in addition to the inspection log.
  • a file open window (not shown) is displayed, and an administrator can select a desired digital document from the displayed file open window.
  • the change icon 650 has a function of changing the type of the 3D virtual object included in the augmented reality image.
  • a list of selectable equipment is displayed, and the manager selects a desired equipment from the displayed equipment list.
  • the manager terminal 300 requests the service server 100 for 3D modeling information corresponding to the selected facility, and the service server 100 searches for the requested 3D modeling information and transmits it to the manager terminal 300 . .
  • the manager terminal 300 processes the received three-dimensional modeling information to generate a stereoscopic reality image in which a three-dimensional virtual object corresponding to the selected facility is matched to the real world image.
  • the fixed icon 660 has a function of fixing the position of the 3D virtual object in the currently displayed augmented reality image. Accordingly, even if the rotation icon 620 is selected after the fixed icon 660 is selected, the 3D virtual object in the augmented reality image is not rotated.
  • the fixed icon 660 may be usefully used to enlarge and view a specific part of the 3D virtual object.
  • a request signal for requesting 3D modeling information of the facility identified by the operator terminal 200 is transmitted to the service server 100 .
  • the equipment identified by the operator terminal 200 is a transformer
  • a signal requesting 3D modeling information for the transformer is transmitted to the service server 100 .
  • the manager terminal 300 processes the received 3D modeling information, so that the 3D virtual object corresponding to the transformer is matched to the real world image.
  • Create augmented reality images The process of generating an augmented reality image will be described in more detail as follows.
  • the administrator may enlarge a specific portion of the 3D virtual object 680 by inputting an enlargement command such as a voice or multiple gestures, as shown in FIG. 6D .
  • an enlargement command such as a voice or multiple gestures
  • the administrator may select the fixed icon 660 to fix the position of the 3D virtual object.
  • the manager who has confirmed the enlarged part can deliver the confirmed information or instructions to the operator by voice.
  • the corresponding screen may be captured, and the captured screen may be provided to the operator terminal 200 .
  • the augmented reality image itself displayed through the manager terminal 300 rather than the captured screen may be shared with the operator terminal 200 as it is.
  • the administrator may select the change icon 650 to change the type of the 3D virtual object placed on the real world image.
  • the manager selects the change icon 650 to display a list of selectable equipment on the screen, and selects a generator from the displayed equipment list.
  • a request signal for requesting three-dimensional modeling information corresponding to the generator is transmitted from the manager terminal 300 to the service server 100, and the service server 100 searches for three-dimensional modeling information on the generator, and the manager terminal (300).
  • the manager terminal 300 processes the received 3D modeling information to generate an augmented reality image in which the 3D virtual object 690 corresponding to the generator is matched to the real world image.
  • the augmented reality image as shown in (e) of FIG. 6 is displayed on the manager terminal 300 .
  • FIG. 7 is a flowchart illustrating a method of providing an extended reality service for operating an industrial facility according to an embodiment of the present invention.
  • the operator moves to a place where the equipment is located while wearing the operator terminal 200 .
  • the video call between the operator terminal 200 and the manager terminal 300 is connected (S700).
  • the step S700 is a step in which the worker terminal 200 transmits a request signal for requesting a video call with the manager terminal 300 to the service server 100 , the service server 100 receives the video received from the worker terminal 200 . Transmitting a call request signal to the manager terminal 300, when an approval signal for approving a video call is received from the manager terminal 300, the service server 100 is a video between the operator terminal 200 and the manager terminal 300 connecting the call.
  • the mixed reality image as shown in FIG. 3 may be displayed on the worker terminal 200 .
  • a real-world image as shown in FIG. 6A may be displayed on the manager terminal 300 .
  • the operator terminal 200 captures the first marker disposed in the facility (S705), recognizes the first marker in the captured image, and obtains identification information of the facility (S710).
  • the obtained identification information is transmitted to the service server 100 (S715).
  • the service server 100 receives the identification information from the worker terminal 200, and searches for an inspection algorithm corresponding to the received identification information (S720). And transmits the searched inspection algorithm to the operator terminal 200 (S725).
  • the worker terminal 200 executes the check algorithm received from the service server 100 (S730).
  • the step S730 includes loading an inspection log included in the inspection algorithm, sequentially activating all inspection items included in the inspection log according to the inspection order, receiving inspection results for the activated inspection items, and inspection results and storing the inputted text information and image information separately.
  • the service server 100 searches the database for 3D modeling information of the facility corresponding to the identification information received from the worker terminal 200 after step S725 ( S740 ). Then, the searched 3D modeling information is transmitted to the manager terminal 300 (S745).
  • the manager terminal 300 receives and stores the 3D modeling information transmitted from the service server 100 (S750).
  • the manager terminal 300 processes the real world image and the 3D modeling information received from the service server 100, and is installed on the real world image.
  • An augmented reality image in which a 3D virtual object corresponding to is disposed is generated (S760).
  • the step S760 includes acquiring a real-world image including the second marker 600 through the RGB camera 311, recognizing the second marker 600 from the acquired real-world image (FIG. 6(a)) )), extracting feature points from a depth image obtained through the depth camera 312, and recognizing a plane in a real-world image based on the extracted feature points ((b) of FIG. 6) refer), and generating an augmented reality image by placing a three-dimensional virtual object 680 corresponding to the facility on the recognized plane (refer to (c) of FIG. 6).
  • the manager can determine the information to be transmitted to the operator by checking the displayed information.
  • the determined information is provided to the operator terminal 200 in the form of at least one of audio and video (S770).
  • the step S770 may include, when the capture icon is selected, capturing the currently displayed screen, and transmitting the captured screen to the operator terminal 200 .
  • the operator terminal 200 outputs the information received from the manager terminal 300 as a sound or displays it on the screen (S775).
  • a guide message notifying the end is output in sound or video.
  • an inspection report is automatically generated based on text information and image information input as an inspection result in relation to each inspection item (S785).
  • the generated inspection report may be shared to the manager terminal 300 through the service server 100 (S790).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geometry (AREA)
  • Manufacturing & Machinery (AREA)

Abstract

본 출원은 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템에 관한 것이다. 더욱 상세하게는 산업설비를 운영(예를 들어, 점검, 진단, 유지, 보수, 보강)하는데 필요한 각종 데이터들을 디지털화하고, 디지털화된 데이터에 기초한 증강현실 영상이나 혼합현실 영상 등의 확장현실 컨텐츠를 현장 작업자나 원격지 관리자에게 제공하며, 작업자와 관리자가 영상통화를 통해 실시간으로 소통할 수 있도록 함으로써, 작업자 및 관리자가 업무 효율을 높일 수 있다.

Description

산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템
산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템이 개시된다. 더욱 상세하게는 산업설비를 운영(예를 들어, 점검, 진단, 유지, 보수, 보강)하는데 필요한 각종 아날로그 문서들을 디지털화하고, 디지털화된 데이터에 기초한 증강현실 영상이나 혼합현실 영상 등의 확장현실 컨텐츠를 현장 작업자나 원격지 관리자에게 제공하며, 작업자와 관리자가 영상통화를 통해 실시간으로 소통할 수 있도록 함으로써, 작업자 및 관리자의 업무 효율을 높일 수 있는 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템이 개시된다.
각종 산업현장에 배치된 산업설비들은 그 규모가 방대하며, 단 몇 분만 운영을 중단하더라도 천문학적인 금액의 손실이 발생한다. 이러한 손실을 줄이기 위해서는 현장의 작업자들이 각종 설비에 대한 육안 점검(visual test)를 수시로 진행해야 할 필요가 있다.
그런데 거의 대부분의 산업현장에서는 각종 산업설비와 관련된 자료(설계도, 도면, 점검 일지, 진단 일지, 이력 정보)를 아날로그 형식의 문서로 보관하기 때문에 작업자가 원하는 자료를 찾는 것이 용이하지 않았다.
또한, 작업자는 설비 점검 시 아날로그 형식의 점검 일지를 소지하고 다녀야 하며, 점검 일지에 수기로 검사 결과를 작성해야하므로, 작업 효율이 떨어진다는 문제가 있다. 뿐만 아니라, 설비 점검 중 문제 발생 시, 발생한 문제를 현장에서 즉각 해결하는 것이 쉽지 않고, 관리자의 확인을 받기까지 상당한 시일이 소요된다는 문제가 있다.
산업설비를 운영(예를 들어, 점검, 진단, 유지, 보수, 보강)하는데 필요한 각종 데이터들을 디지털화하고, 디지털화된 데이터에 기초한 증강현실 영상이나 혼합현실 영상 등의 확장현실 컨텐츠를 현장 작업자나 원격지 관리자에게 제공하고, 작업자와 관리자가 영상통화를 통해 실시간으로 소통할 수 있도록 함으로써, 작업자 및 관리자의 업무 효율을 높일 수 있는 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템이 개시된다.
상술한 과제를 해결하기 위하여, 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법은 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하되, 상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계; 상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계; 상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및 상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함하고, 상기 작업자 단말의 화면에는 상기 산업현장에서 상기 작업자의 현재 위치가 표시된 지도를 표시하는 위치 아이콘, 상기 산업현장에서 상기 작업자가 위치한 곳의 명칭을 포함하는 위치 명칭 정보, 날짜 정보, 시간 정보, 상기 점검 알고리즘에 따른 점검 진행 정도를 표시하는 작업 진행도 아이콘, 메뉴 아이콘들을 호출하기 위한 아이콘 및 복수의 점검 상태 아이콘 중 적어도 하나가 표시된다.
상기 디지털 점검 일지는 상기 디지털 점검 일지와 관련된 기본 정보를 입력하기 위한 기본 정보 입력창 및 상기 전체 점검 항목별로 점검 결과를 입력할 수 있으며, 상기 점검 순서에 맞추어 배치되는 점검 결과 입력창들을 포함한다.
상기 점검 결과 입력창들은 상기 점검 순서가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 상위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 하위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 작업자가 점검해야할 점검 내용이 표시되는 표시란, 상기 점검 항목에 대한 상태 정보를 입력할 수 있는 복수의 체크 박스들, 및 상기 상태 정보와 관련하여 추가적인 메시지를 입력할 수 있는 입력란을 각각 포함하며, 상기 복수의 체크 박스들은 상기 상태 정보에 대응하여 서로 다른 색상으로 구현된다.
상기 복수의 체크 박스들은 상기 점검 일지에 포함된 모든 점검 항목에 대해서 점검이 완료되면, 상태 정보 변경이 불가능하도록 비활성화되며, 상기 복수의 체크 박스들 중에서 상기 작업자에 의해 선택된 체크 박스의 색상은 기존의 색상으로 유지되고, 나머지 체크 박스들의 색상은 특정 색상으로 일괄적으로 변경된다.
상기 텍스트 정보와 상기 영상 정보는 서로 동일한 파일명을 갖되, 동일한 저장 경로에 저장되며, 상기 파일명은 점검 날짜, 상기 디지털 점검 일지의 식별 정보, 상기 디지털 점검 일지에 포함된 점검 항목의 식별 정보, 상기 점검 항목에 속하는 세부 항목의 식별 정보 중 적어도 하나를 포함한다.
상기 위치 아이콘, 상기 작업 진행도 아이콘, 상기 큐브 아이콘 및 상기 복수의 점검 상태 아이콘 중 적어도 하나는, 상기 작업자의 제스처를 인식한 결과로 획득된 제스처 명령어나 상기 작업자의 음성을 인식한 결과로 획득된 음성 명령어에 기초하여 선택된다.
상기 복수의 점검 상태 아이콘은 상기 활성화된 점검 항목에 대한 점검 결과로 입력할 수 있는 상태 정보에 대응하도록 서로 다른 색상으로 구현된다.
상술한 과제를 해결하기 위하여, 다른 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법은 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하되, 상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계; 상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계; 상기 서비스 서버가 상기 식별 정보에 대응하는 설비의 3차원 모델링 정보를 검색하고, 상기 검색된 3차원 모델링 정보를 상기 관리자 단말로 전송하는 단계; 상기 관리자 단말이 제2 마커가 포함된 현실 세계 영상을 획득하고, 상기 획득된 현실 세계 영상과 상기 3차원 모델링 정보를 처리하여, 상기 현실 세계 영상의 특정 영역에 상기 설비에 대응하는 3차원 가상 객체가 배치된 증강현실 영상을 생성하는 단계; 상기 증강현실 영상과 함께 표시된 메뉴 아이콘들 중 하나가 선택되는 경우, 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계; 상기 관리자가 상기 표시된 화면을 확인하여 상기 작업자에게 전달할 정보를 결정하면, 상기 결정된 정보를 음성 또는 영상으로 상기 작업자 단말로 전송하는 단계; 상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지와 상기 결정된 정보를 출력하며, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및 상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함한다.
상기 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계는 점검 일지 아이콘이 선택된 경우, 상기 설비에 대한 점검 일지 목록을 표시하는 단계; 각도 조절 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체를 회전시키는 단계; 고정 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 위치를 고정시키는 단계; 확대 명령 또는 축소 명령이 입력된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 크기를 확대 또는 축소시키는 단계; 파일 열기 아이콘이 선택된 경우 상기 설비에 관련된 각종 디지털 문서 목록을 표시하는 단계; 및 변경 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 종류를 변경시키는 단계 중 적어도 하나를 포함한다.
작업자 단말을 통해 설비의 식별 정보가 인식되면, 인식된 설비에 대한 점검 알고리즘이 자동으로 로드되어 실행되므로, 작업자는 종이로 인쇄된 문서를 소지할 필요가 없으며, 효율적으로 점검을 수행할 수 있다.
작업자는 점검 알고리즘이 실행됨에 따라 각 점검 단계별로 제스처나 음성으로 점검 결과를 입력할 수 있으므로, 점검 작업을 신속하고 정확하게 수행할 수 있다.
현장의 작업자 단말과 원격지의 관리자 단말 간에 영상통화가 연결되므로, 작업자가 설비를 점검하는 과정에서 문제가 발생한 경우, 원격지의 관리자와 실시간으로 논의하여 문제를 해결할 수 있으며, 관리자는 설비 운영과 관련된 의사 결정 사항을 작업자에게 신속하게 전달할 수 있다.
관리자 단말에서 촬영되고 있는 현실 세계 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상이 관리자 단말에 표시되고, 관리자는 표시된 3차원 가상 객체의 배치나 위치를 조작하여 확인할 수 있으므로, 설비에 대한 보다 정확한 지시 사항을 작업자에게 전달할 수 있다.
도 1은 본 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 시스템을 도시한 도면이다.
도 2a는 아날로그 형식의 점검 일지를 예시한 도면이다.
도 2b는 디지털 형식의 점검 일지를 예시한 도면이다.
도 2c는 디지털 형식의 점검 일지의 상태가 변경된 모습을 예시한 도면이다.
도 3은 작업자 단말을 통해 표시되는 화면을 예시한 도면이다.
도 4는 메뉴 아이콘들을 표시된 화면을 예시한 도면이다.
도 5는 캡처 아이콘에 속하는 하위 아이콘들을 선택하는 음성 명령어들과 각 음성 명령어의 실행 결과로 표시되는 화면들을 예시한 도면이다.
도 6은 관리자 단말을 통해 표시되는 화면들을 예시한 도면이다.
도 7은 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법을 도시한 흐름도이다.
도 8은 점검 알고리즘이 종료됨에 따라 생성되는 점검 보고서를 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 출입문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 확장현실(eXtended Reality, XR)이란 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR) 및 혼합현실(Mixed Reality, MR)을 포괄하는 개념으로 이해될 수 있다.
가상현실은 사용자의 시야가 차단된 상태에서 현실 세계와는 전혀 다른, 만들어진 가상 세계를 디스플레이하는 기술을 말한다.
증강현실은 카메라를 통해 촬영되고 있는 현실 세계에 가상의 콘텐츠를 정합하여 디스플레이하는 기술을 말한다. 이 때, 사용자는 가상의 콘텐츠를 대상으로 동작을 수행함으로써, 가상의 콘텐츠와 상호작용(interaction)할 수 있다.
혼합현실은 가상현실 요소와 증강현실 요소가 모두 혼합된 것으로, 증강현실에 비하여 사용자와의 상호작용이 더욱 강화된 기술을 말한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 도면에서 동일한 도면 부호는 동일한 구성요소를 나타낸다.
도 1은 본 발멸의 일 실시예에 따른, 산업설비 운영을 위한 확장현실 서비스 제공 시스템(이하, '시스템'이라 칭한다)의 구성을 도시한 도면이다. 도 1을 참조하면, 시스템은 서비스 서버(100), 산업설비 현장에 위치한 작업자가 사용하는 작업자 단말(200) 및 원격지에 위치한 관리자가 사용하는 관리자 단말(300)을 포함한다.
서비스 서버(100)는 작업자 단말(200) 및 관리자 단말(300)로 산업설비 운영을 위한 확장현실 서비스를 제공한다.
일 예로, 서비스 서버(100)는 작업자 단말(200)에 적용할 점검 알고리즘을 검색하여 작업자 단말(200)로 제공한다. 점검 알고리즘은 디지털화된 점검 일지를 포함하는데, 작업자 단말(200)에서 점검 알고리즘이 실행됨에 따라 점검 일지에 포함된 점검 항목들이 점검 순서에 맞추어 차례로 활성화된다. 작업자는 작업자 단말(200)과 상호작용하여 점검 항목별로 점검 결과를 입력할 수 있다. 또한, 점검 알고리즘에 종료됨에 따라 점검 일지가 자동으로 생성되는데, 생성된 점검일지는 서비스 서버(100)로 전송되어 관리자 단말(300)로 공유될 수 있다.
다른 예로, 서비스 서버(100)는 작업자 단말(200)과 관리자 단말(300) 간의 영상 통화를 연결한다. 그 결과, 관리자는 작업자의 음성이나 작업자 단말(200)을 통해 표시되는 영상을 공유할 수 있으며, 작업자는 관리자의 음성이나 관리자 단말(300)에서 획득된 영상을 공유할 수 있다.
또 다른 예로, 서비스 서버(100)는 설비에 대한 3차원 모델링 정보를 저장한다. 3차원 모델링 정보는 로우 레벨 데이터(low-level data), 메쉬 데이터(mesh data), 점군 데이터(point cloud data) 및 법선 벡터 데이터(normal vector data) 중 적어도 하나를 포함한다.
로우 레벨 데이터는 3차원 스캐너(도시되지 않음)를 이용하여, 설비를 중심으로 다양한 각도에서 3차원 스캐닝을 수행하여 얻은 데이터이다. 로우 레벨 데이터는 잡음이 포함된 점군 데이터로 이해될 수 있다. 메쉬 데이터는 점군 데이터의 각 점을 가장 작은 면 단위인 삼각형으로 연결한 것을 말한다. 점군 데이터는 3차원 스캐닝으로 획든된 로우 레벨 데이터(잡음이 포함된 점군 데이터)를 대상으로 다운 샘플링(down sampling)을 수행하여 얻은 데이터를 말한다. 법선 벡터 데이터는 점군 데이터의 각 점들에 대하여 법선 데이터를 계산한 것을 말한다.
설비에 대한 3차원 모델링 정보는 관리자의 요청에 따라 관리자 단말(300)로 제공된다. 관리자 단말(300)로 제공되는 3차원 모델링 정보는 앞서 예시된 종류의 데이터들 모두를 포함할 수도 있고, 예시된 종류의 데이터들 중에서 선택된 종류의 데이터만을 포함할 수도 있다. 관리자 단말(300)은 서비스 서버(100)로부터 수신한 3차원 모델링 정보를 처리하여, 현실 세계 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상을 생성한다. 이 후, 관리자는 관리자 단말(300)에 표시된 3차원 가상 객체를 조작하여, 원하는 부분을 확인할 수 있으며, 확인된 내용을 작업자에게 전달할 수 있다.
또 다른 예로, 서비스 서버(100)는 설비와 관련된, 각종 아날로그 형식의 문서(설명서, 안내서, 설계도, 단면도, 점검 일지, 진단 일지, 이력)에 대응하는 디지털 형식의 문서를 저장한다. 저장된 디지털 형식의 문서는 작업자 또는 관리자의 요청에 따라 작업자 단말(200)이나 관리자 단말(300)로 전송된다. 아날로그 형식의 문서와 디지털 형식의 문서에 대한 설명은 도 2를 참조하여 후술하기로 한다.
작업자 단말(200) 및 관리자 단말(300)은 단말 장치를 포함할 수 있다. 단말 장치는 지능형 장치(Information and Communications Technology devicd; ICT device)일 수 있다. 지능형 장치는 물리 공간과 정보 공간을 이어주는 매개체로서, 사용자·정보·사물 간의 상호작용과 이를 기반으로 다양한 응용·서비스를 제공할 수 있도록 하는 단말·부품을 포함한다.
지능형 장치는 컴퓨팅 동작을 수행하는 디지털 장치 및 유무선 통신 장치를 포함할 수 있다. 디지털 장치로는 개인용 컴퓨터(Personal Computer, PC)를 예로 들 수 있다. 통신 장치로는 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant), 스마트폰(Smart phone), 태블릿 PC(tablet PC), 왑폰(WAP phone; Wireless Application Protocao phone) 및 모바일 게임기를 예로 들 수 있다. 예시된 바와 같은 디지털 장치 및 통신 장치는 사용자의 신체에 착용 가능한 착용형 장치(wearable device)일 수 있다.
작업자 단말(200)은 확장현실 기능을 가진 헤드 마운티드 디스플레이(Head Mounted Display; HMD)일 수 있다. 헤드 마운티드 디스플레이로는 마이크로소프트사의 홀로렌즈1(HoloLens 1)과 홀로렌즈2(HoloLens 2), 오큘러스사의 오큘러스 리프트(Oculus Rift), 오터스 디자인 그룹(ODG)의 ‘R8'과 ’R9' 등을 예로 들 수 있다.
작업자 단말(200)은 카메라부(210), 제스처 인식부(220), 음성 인식부(230), 마이크(240), 알고리즘 실행부(250), 홀로그래픽 처리부(Holographic Processing Unit, HPU)(260), 프로젝터(projector)(270), 투영 프리즘(projection prism)(280), 스피커(290), 통신부(205) 및 전원부(207)를 포함한다.
카메라부(210)는 현실 세계를 촬영하여 영상을 획득한다. 카메라부는 RGB 영상을 획득하기 위한 RGB 카메라(211) 및 깊이 영상을 획득하기 위한 깊이 카메라(212)를 포함한다.
제스처 인식부(220)는 작업자의 제스처 예를 들면, 작업자의 손이나 손가락의 위치, 움직임을 인식하고, 그 결과로 제스처 명령어를 출력한다.
음성 인식부(230)는 작업자의 말소리를 인식하고, 그 결과로 음성 명령어를 출력한다. 예를 들어, 작업자가 '스냅'이라는 단어를 말하면, 그에 따른 음향 신호(sound signal)가 마이크(240)로 입력되고, 마이크(240)는 그에 대응하는 소리 신호(audio signal)를 출력한다. 음성 인식부(230)는 소리 신호에서 특징벡터를 추출한다. 이후, 음성 인식부(230)는 추출된 특징벡터와 기 저장되어 있는 특징벡터들 간의 유사도를 계산하고, 기 저장되어 있는 특징벡터들 중에서 기준치 이상의 유사도를 가지는 특징벡터에 대응하는 음성 명령어를 출력한다.
음성 인식에 대한 정확도를 높이기 위하여, 음성 인식부(230)는 사전에 학습될 수 있다. 예를 들면, 목소리 크기, 억양 및 발화 패턴이 서로 다른 사람들이 차례로 단어나 문장을 말하도록 하고, 그에 따른 음향 신호가 차례로 마이크(240)로 입력되면, 마이크에서 출력된 소리 신호에서 차례로 특징벡터들을 추출한다. 만약 추출된 특징벡터가 이상적인 특징벡터와 기준치 이상의 유사도를 가지는 경우에는 음성 인식부에 양(+)의 리워드를 적용하고, 그렇지 못한 경우에는 음(-)의 리워드를 적용한다.
알고리즘 실행부(250)는 카메라부(210)에 의해 제1 마커(예를 들어, 설비에 부착된 QR 코드)가 촬영되면, 촬영된 영상에서 제1 마커를 인식하여 해당 설비의 식별 정보를 획득한다. 그리고 획득된 식별 정보에 기초하여 해당 설비에 대한 육안점검 알고리즘을 로드한다. 그 다음, 로드한 점검 알고리즘을 실행한다. 구체적으로, 알고리즘 실행부는 미리 정해진 순서에 따라 차례로 점검 항목을 활성화한다. 이후, 제스처 인식부나 음성 인식부에서 작업자의 제스처나 음성이 인식되어, 제스처 명령어나 음성 명령어가 입력되면, 입력된 명령어에 기초하여, 현재 점검 항목에 대한 점검 결과를 저장한다.
홀로그래픽 처리부(260)는 도면에 도시되지는 않았으나, 작업자 단말(200)에 구비된 각종 센서들 예를 들어, 움직임 추적 센서, ToF(time-of-flight) 센서, 관성측정장비, 적외선 센서 등으로부터 입력받은 정보를 처리한다. 또한, 홀로그래픽 처리부(260)는 제스처 인식부나 음성 인식부(230)로부터 입력받은 제스처 명령어나 음성 명령어를 처리한다. 그 결과, 현실 세계를 촬영한 영상에 가상의 객체를 투사하여 혼합현실 영상을 생성한다.
프로젝터(270)는 홀로그래픽 처리부(260)에 의해 생성된 혼합현실 영상을 출력한다.
통신부(205)는 서비스 서버(100) 및 관리자 단말(300)과의 통신을 수행한다.
전원부(207)는 각 구성요소들로 전원을 공급한다. 전원부(207)는 배터리를 포함하며, 이는 외부 전력 공급 장치(도시되지 않음)로부터 제공받은 전력에 의해 충천될 수 있다.
한편, 관리자 단말(300)로는 스마트폰 또는 태블릿 PC을 예로 들 수 있다. 관리자 단말(300)은 카메라부(310), 음성 인식부(320), 마이크(330), 처리부(340), 디스플레이(350), 스피커(360), 통신부(370) 및 전원부(380)를 포함한다. 이들 구성요소들 중에서 앞서 설명한 작업자 단말(200)의 각 구성요소들과 그 기능이 유사하거나 동일한 구성요소에 대해서는 설명을 생략하기로 한다.
처리부(340)는 도면에 도시되지는 않았으나, 관리자 단말(300)에 구비된 각종 센서들로부터 입력받은 정보를 처리한다. 또한, 처리부(340)는 서비스 서버(100)로부터 수신한 3차원 모델링 정보를 처리한다. 그 결과, 현실 세계를 촬영한 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상을 생성한다. 생성된 증강현실 영상은 디스플레이(350)를 통해 표시된다.
디스플레이(350)는 표시 기능과 입력 기능을 모두 갖는 터치스크린으로 구현될 수 있다. 디스플레이(350)는 관리자 단말(300)에서 생성된 영상 및 작업자 단말(200)에서 생성된 영상 중 적어도 하나를 디스플레이한다. 일 예로, 작업자 단말(200)과의 영상 통화 시, 디스플레이(350)에는 작업자 단말(200)로부터 수신한 영상이 그대로 디스플레이된다. 만약 이 상태에서 관리자가 설비의 3차원 모델링 정보를 로드하는 명령을 입력하는 경우, 디스플레이(350)의 일부 영역에는 현실 세계를 촬영한 영상에 설비에 대응하는 3차원 가상 객체가 정합된 증강현실 영상이 디스플레이되고, 나머지 영역에는 작업자 단말(200)로부터 수신된 영상이 디스플레이된다.
다음으로, 도 2a, 도 2b 및 도 2c를 참조하여, 아날로그 형식의 문서와 디지털 형식의 문서에 대해서 설명하기로 한다. 도 2a는 아날로그 형식의 점검 일지를 예시한 것이다. 도 2b는 디지털 형식의 점검 일지를 예시한 것이다. 도 2c는 디지털 형식의 점검 일지의 상태가 변경된 모습을 예시한 것이다.
도 2a에 도시된 아날로그 형식의 점검 일지는 종이에 인쇄된 것이기 때문에 보관과 소지에 불편함이 따른다. 또한, 작업자가 원하는 내용을 찾기가 쉽지 않다. 이에 비하여 디지털 형식의 점검 일지는 보관과 소지가 편리하고, 작업자가 원하는 내용을 용이하게 검색할 수 있다.
실시예에 따르면, 도 2b에 도시된 디지털 형식의 점검 일지는 아날로그 형식의 점검 일지에 기초하여 생성된다. 구체적으로, 디지털 형식의 점검 일지는 아날로그 형식의 점검 일지에 포함되어 있는 정보를 포함하도록 구성되며, 각각의 정보는 작업자나 관리자가 해당 정보를 직관적으로 파악할 수 있도록 배치된다.
도 2b를 참조하면, 디지털 점검 일지(400)는 기본 정보 입력창(410), 점검 결과 입력창(420, 430, 440, 450) 및 기타사항 입력창(460)을 포함한다.
화면의 상단에는 기본 정보 입력창(410)이 배치된다. 기본 정보 입력창(410)에는 디지털 점검 일지와 관련된 기본 정보를 입력하기 위한 입력란들이 배치된다. 예를 들면, 설비의 종류(발전기, 변압기, 전동기)를 입력하는 입력란(411), 점검 일지의 종류(일일, 주간, 월간, 연간)를 입력하는 입력란(412), 점검 항목을 입력하는 입력란(413), 점검 날짜를 입력하는 입력란(414), 점검 시간을 입력하는 입력란(415), 점검자 이름을 입력하는 입력란(416) 및 현재 입력된 내용을 저장하고 화면을 보여주는 저장 아이콘(417)이 배치된다. 여기서, 설비의 종류를 입력하는 입력란(411), 점검 일지의 종류를 입력하는 입력란(412) 및 점검자 이름을 입력하는 입력란(416)에는 드롭다운 버튼이 배치된다.
기본 정보 입력창(410)의 하단에는 하위 부속설비별로 점검 결과를 입력할 수 있는 점검 결과 입력창들(420, 430, 440, 450, 460)이 점검 순서에 맞추어 배치된다. 점검 결과 입력창(440)은 점검 순서가 표시되는 표시란(441), 상위 부속설비의 종류가 표시되는 표시란(442), 하위 부속설비의 종류가 표시되는 표시란(443), 점검 내용(작업자가 점검해야할 내용)이 표시되는 표시란(444), 점검 항목(상위 부속설비 및 하위 부속설비)에 대한 상태 정보(양호, 주의, 경고, 위험)를 입력할 수 있는 체크 박스들(446), 상태 정보와 관련하여 추가적인 메시지를 입력할 수 있는 입력란(445) 등이 배치된다.
이 때, 입력란(445)에는 드롭다운 버튼이 배치된다. 드롭다운 버튼이 선택되면, 선택 가능한 메시지 목록이 표시된다. 메시지 목록은 예를 들어, 보충, 교환, 점검 요망, A/S 요청, 작동 정지(관리자에게 즉각 보고) 등을 포함할 수 있다.
또한, 체크 박스들(446)은 입력 가능한 상태 정보에 맞추어 서로 다른 색상으로 구현될 수 있다. 예를 들어, 4개의 체크 박스들(446)을 가로로 일렬 배치하되, 왼쪽의 체크 박스부터 차례로 양호, 주의, 경고, 위험에 해당하는 상태 정보를 입력할 수 있다고 하자. 이 경우, 왼쪽 체크 박스부터 각각 녹색(G), 황색(Y), 주황색(O), 적색(R)으로 표시될 수 있다. 이처럼, 체크 박스들(446)의 색상을 서로 다르게 표시하면, 작업자가 각 점검 항목의 상태 정보를 선택할 때 실수 없이 입력할 수 있다.
또한, 점검 일지에 포함된 모든 점검 항목에 대해서 점검이 완료되면, 체크 박스들(446)은 상태 정보 변경이 불가능하도록 비활성화될 수 있다. 이 때, 도 2b에 도시된 바와 같이, 작업자에 의해 선택된 체크 박스는 기존의 색상(G, Y, O, R)이 유지되고, 비선택된 체크 박스들의 색상은 회색(g)으로 변경될 수 있다. 이처럼 작업자에 의해 선택된 체크 박스의 색상만을 기존과 같이 유지하면, 추후 작업자나 관리자가 점검 일지를 확인할 때, 각 점검 항목에 대한 상태 정보를 직관적으로 인지할 수 있다.
마지막 점검 순서에 해당하는 점검 결과 입력창(450)의 하단에는 기타사항 입력창(460)이 배치된다.
한편, 작업자 단말(200)이 설비에 구비된 제1 마커를 인식하여 해당 설비에 대한 식별 정보를 획득하면, 획득된 식별 정보에 대응하는 점검 알고리즘이 서비스 서버(100)에서 작업자 단말(200)로 자동으로 로드된다. 로드된 점검 알고리즘은 상술한 바와 같은 디지털화된 점검 일지를 포함한다. 점검 알고리즘이 실행되면, 우선 디지털화된 점검 일지의 기본 정보 입력창(410)이 강조되거나 활성화된다. 그 다음, 순번에 따라 점검 결과 입력창(420, 430, 440)이 차례로 강조되거나 활성화된다.
또한, 활성화된 점검 결과 입력창(440)에 배치된 입력란이나 체크 박스들(446)은 모두 활성화된 상태로 표시되되, 차례로 강조될 수 있다. 이 경우, 작업자는 강조되는 순서에 맞추어 입력란(445)에 점검 결과를 입력하거나 체크 박스들(446) 중 하나를 선택한다. 다른 예로, 입력란(445)이나 체크 박스들(446)은 차례로 활성화될 수도 있다. 이 경우, 작업자는 활성화되는 순서에 맞추어 입력란(445)에 점검 결과를 입력하거나 체크 박스들(446) 중 하나를 선택한다.
실시예에 따르면, 점검 알고리즘이 실행 시, 디지털화된 점검 일지가 화면에 표시될 수 있다. 이 경우, 강조 또는 활성화되어 있는 입력란을 손으로 터치하여 점검 결과를 입력하거나, 강조 또는 활성화되어 있는 체크 박스들 중 하나를 손으로 터치하여 점검 결과를 입력할 수 있다. 또는 점검 결과에 대응하는 단어나 문장을 발화하여 점검 결과를 입력할 수도 있다.
다른 실시예에 따르면, 점검 알고리즘 실행 시, 디지털화된 점검 일지는 화면에 표시되지 않을 수도 있다. 이 경우, 점검 일지에 포함된 점검 항목들은 순번에 따라 음성으로 안내될 수 있으며, 작업자는 음성 안내된 점검 항목에 대해서 점검을 수행하고, 점검 결과를 음성으로 입력할 수도 있다.
한편, 각 점검 항목과 관련하여, 점검 결과 입력창(440)에 배치된 입력란(445)이나 체크 박스들(446)을 통해 입력된 정보들은 텍스트 정보로 분류되어 저장된다. 실시예에 따르면, 작업자는 각 점검 항목과 관련하여, 화면을 캡처할 수 있는데, 캡처된 화면은 영상 정보로 분류되어 저장된다. 이 때, 텍스트 정보 및 영상 정보는 동일한 저장 경로에 저장된다. 또한, 텍스트 정보 및 영상 정보는 각각 서로 다른 파일 형식을 갖되, 동일한 파일명을 가질 수 있다. 파일명은 예를 들어, 날짜 정보, 점검 일지의 식별 정보 및 점검 항목의 식별 정보 중 적어도 하나를 포함하도록 지정될 수 있다.
구체적으로, 텍스트 정보는 '20200715_1111_001_01.txt'의 텍스트 파일 형식으로 저장되고, 영상 정보는 '20200715_1111_001_01.jpg'의 이미지 파일 형식으로 저장된다. 각 파일명에서 '20200715'는 점검이 진행된 날짜(2020년 7월 15일)을 의미하고, '1111'은 디지털화된 점검 일지의 식별 정보를 의미하며, '001'은 점검 항목의 식별 정보를 의미한다. 그리고 '01'은 점검 항목에 속하는 세부 항목(도 2b에서 상태 정보: 446, 상태 정보와 관련된 추가적인 메시지: 445)의 식별 정보를 의미한다.
상술한 바와 같이, 디지털화된 점검 일지를 포함하는 점검 알고리즘에 따라 점검을 진행하는 경우, 작업자의 업무 효율을 높일 수 있을 뿐만 아니라, 작업자가 점검 결과를 직관적으로 이해할 수 있다.
도 3은 작업자 단말(200)을 통해 표시되는 화면을 예시한 도면이다. 도 3의 화면은 현실 세계 영상에 각종 정보나 아이콘들이 정합된 혼합현실 영상일 수 있다.
도 3을 참조하면, 화면의 상단에는 위치 아이콘(510), 위치 명칭 정보(520), 날짜 정보(530), 시간 정보(540) 및 작업 진행도 아이콘(550)이 배치된다. 화면의 하단에는 큐브 아이콘(560)과 점검 상태 아이콘(570)이 배치된다.
위치 아이콘(510)은 작업자의 현재 위치 정보를 지도 상에 표시하는 기능을 갖는다. 위치 아이콘(510)은 작업자의 제스처 또는 음성에 의해 선택된다. 위치 아이콘(510)이 선택되면, 작업자의 현재 위치가 표시된 2차원 지도 또는 3차원 지도가 표시된다. 만약, 3차원 지도가 표시된 상태에서 작업자가 이동하는 경우, 작업자의 위치를 나타내는 아이콘 역시 실시간으로 이동하게 된다.
위치 명칭 정보(520)는 산업현장 내에서 작업자가 위치한 곳의 명칭을 의미하며, 위치 아이콘(510)의 일측에 문자로 표시된다. 위치 명칭 정보(520)는 작업자의 위치가 변경됨에 따라 실시간으로 변경된다. 예를 들어, 작업자가 발전기 입구에서 발전기 출구쪽으로 이동하는 경우, 위치 명칭 정보(520)도 '발전기 입구'에서 '발전기 출구'로 변경된다. 이러한 위치 명칭 정보(520)는 산업현장의 설계도 및 작업자 단말(200)의 GPS 정보에 기초하여 제공될 수 있다.
날짜 정보(530)는 숫자 및 문자 중 적어도 하나로 표시된다. 도 3의 경우, 날짜 정보(530)가 숫자로만 표시된 경우를 보여주고 있다. 이외에도, 날짜 정보(530)를 표시하는 순서(연-월-일, 일-월-연, 월-일-연), 날짜 정보(530)를 표시하는 언어, 크기 등은 작업자에 의해 변경 가능하다.
시간 정보(540)는 숫자, 문자 및 특수 문자 중 적어도 하나로 표시된다. 도 3의 경우, 시간 정보(540)가 숫자 및 특수 문자로 표시된 경우를 보여주고 있다.
작업 진행도 아이콘(550)은 작업 진행도를 표시하는 기능을 갖는다. 예를 들어, 작업자가 설비를 접검하고 있는 도중에 작업 진행도 아이콘(550)을 선택하였다고 하자. 이 경우, 전체 점검 단계들 대비 현재까지 완료된 점검 단계들이 그래프로 시각화되어 표시된다. 다른 예로, 점검 일지에 포함된 전체 점검 항목들 중에서 작업자가 현재 진행하고 있는 점검 항목이 나머지 점검 항목들에 비하여 강조되어 표시된다. 또 다른 예로, 점검 일지에 포함된 전체 점검 항목들 중에서 현재까지 점검 완료된 점검 항목들이 그렇지 않은 점검 항목들에 비하여 강조되어 표시된다.
큐브 아이콘(560)은 후술될 메뉴 아이콘들(561, 562, 563, 564)을 호출하는 기능을 갖는다. 큐브 아이콘(560)은 작업자의 제스처 또는 음성에 의해 선택된다. 일 예로, 작업자가 손으로 큐브 아이콘(560)을 클릭하면, 큐브 아이콘(560)이 선택된다. 다른 예로, 작업자가 '탭(TAP)'이라고 말하는 경우, 큐브 아이콘(560)이 선택된다. 큐브 아이콘(560)이 선택되면, 메뉴 아이콘들(561, 562, 563, 564)이 표시된다. 메뉴 아이콘들(561, 562, 563, 564)에 대해서는 도 4를 참조하여 후술하기로 한다.
점검 상태 아이콘(570)은 점검 항목에 대한 상태 정보를 입력하는 기능을 갖는다. 상태 정보는 예를 들어, 양호, 주의, 경고 및 위험으로 분류될 수 있다. 따라서, 점검 상태 아이콘(570)은 각 상태 정보에 기초하여 서로 다른 색상을 갖는 네 가지의 원형 아이콘(570a, 570b, 570c, 570d)을 포함하도록 구현될 수 있다. 도 3은 점검 상태 아이콘(570)이 녹색 아이콘(570a), 황색 아이콘(570b), 주황색 아이콘(570c) 및 적색 아이콘(570d)을 포함하는 경우를 도시하고 있다.
작업자는 설비 점검 시 계측 장비를 이용할 수 있는데, 특정 항목과 관련하여 측정 장비를 통해 계측된 수치가 정상 수치의 제1 범위(81%~100%)에 해당한다면, 해당 항목의 상태가 '양호'에 해당하는 것으로 판단하고, 녹색 아이콘(570a)을 선택한다. 만약, 계측된 수치가 정상 수치의 제2 범위(61%~80%)에 해당한다면, 해당 항목의 상태가 '주의'에 해당하는 것으로 판단하고, 황색 아이콘(570b)을 선택한다. 만약, 계측된 수치가 정상 수치의 제3 범위(41%~ 60%)에 해당한다면, 해당 항목의 상태가 '경고'에 해당하는 것으로 판단하고, 주황색 아이콘(570c)을 선택한다. 만약, 계측된 수치가 정상 수치의 제4 범위(40% 이하)에 해당한다면, 해당 항목의 상태가 '위험'에 해당하는 것으로 판단하고, 적색 아이콘(570d)을 선택한다.
점검 상태 아이콘(570)은 작업자의 제스처 또는 음성에 의해 선택된다. 일 예로, 작업자가 혼합현실 화면에서 손이나 손가락으로 녹색 아이콘(570a)을 클릭하면, 녹색 아이콘(570a)이 선택된다. 다른 예로, 작업자가 '녹색', '초록', '그린(Green)' 또는 '양호'라는 단어를 말하는 경우, 녹색 아이콘(570a)이 선택된다. 또는 작업자가 해당 단어가 포함된 문장을 말하는 경우에도 녹색 아이콘(570a)이 선택된다. 예를 들면, '녹색 아이콘 선택해줘', '녹색 선택해줘' 또는 '양호해'라고 말해도 녹색 아이콘이 선택된다. 마찬가지로, 작업자가 '황색', '노랑', '옐로우(Yellow)' 또는 '주의'라는 단어나 해당 단어가 포함된 문장을 말하는 경우, 황색 아이콘(570b)이 선택된다. 만약 작업자가 '주황색', '주황', '오렌지(Orange)' 또는 '경고'라는 단어나 해당 단어가 포함된 문장을 말하는 경우, 주황색 아이콘(570c)이 선택된다. 작업자가 '적색', '빨강', 레드(Red)' 또는 '위험'이라는 단어나 해당 단어가 포함된 문장을 말하는 경우, 적색 아이콘(570d)이 선택된다.
이상의 설명에서는, 각각의 원형 아이콘(570a, 570b, 570c, 570d)을 선택하기 위한 음성 명령어로서, 네 가지의 단어를 예로 들어 설명하였다. 그러나 음성 명령어의 개수 및 종류가 예시된 단어들로 반드시 한정되는 것은 아니다. 다른 실시예에 따르면, 작업자는 작업자 단말(200)에서 제공되는 다수의 음성 명렁어들 중에서 자신이 사용할 음성 명령어를 사전에 선택할 수도 있다. 또 다른 실시예에 따르면, 음성 명령어는 다양한 언어로 지원될 수 있다. 따라서, 작업자가 하나 이상의 언어를 선택하는 경우, 선택된 언어들에 해당하는 단어들이 모두 음성 명령어로 설정될 수 있다. 예를 들어, 작업자가 사용할 언어로 한국어, 영어 및 일어를 선택한 경우, '적색', 'Red' 및 'あかいろ(Akairo)'가 음성 명령어로 설정될 수 있다.
도 4는 메뉴 아이콘들(561, 562, 563, 564)이 표시된 화면을 예시한 도면이다. 도 4를 참조하면, 메뉴 아이콘들(561, 562, 563, 564)은 점검 일지 및 캘린더 아이콘(561), 캡처 아이콘(562), 찾기 아이콘(563) 및 환경설정 아이콘(564)을 포함한다.
점검 일지 및 캘린더 아이콘(561)은 점검 일지나 캘린더를 호출하는 기능을 갖는다. 구체적으로, 점검 일지 및 캘린더 아이콘(561)이 선택되면, 점검 일지와 캘린더 중에서 하나를 선택하라는 안내 메시지가 음성이나 영상으로 출력된다. 이 상태에서 작업자가 캘린더를 선택하면, 캘린더가 호출되어 화면에 표시되고, 작업자가 점검 일지를 선택하면 점검 일지가 호출되어 화면에 표시된다.
점검 일지가 호출된 경우, 작업자의 설비 점검 진행 상황에 따라, 점검 일지의 일부가 화면에 표시되거나 점검 일지 전체가 화면에 표시된다. 예를 들어, 작업자가 설비 점검을 시작하기 전이라면, 도 2b에 도시된 점검 일지 중에서 기본 정보 입력창(410)만이 화면에 표시된다. 그 결과, 작업자는 점검 일지에 대한 기본 정보를 입력할 수 있다. 만약, 작업자가 설비 점검을 완료한 상태라면, 작업자 단말(200)에 기 저장되어 있는 점검 일지 목록이 화면에 표시된다. 표시된 점검 일지 목록 중에서 하나가 선택되면, 선택된 점검 일지 전체가 화면에 표시된다. 그 결과, 작업자는 표시된 점검 일지의 전체적인 내용을 확인할 수 있다.
캡처 아이콘(562)은 현재 표시되고 있는 화면을 캡처하는 기능을 갖는다. 이외에도 캡처 아이콘(562)은 현재 표시되고 있는 화면을 동영상으로 녹화하는 기능을 가질 수 있다. 화면 캡처 기능 및 동영상 녹화 기능 중에서 어떠한 기능을 사용할 것인지는 작업자에 의해 사전에 설정될 수 있다. 일 예로, 작업자는 두 가지 기능 중에서 하나만 선택할 수 있다. 다른 예로, 작업자는 두 가지 기능 모두를 선택할 수도 있다.
찾기 아이콘(563)은 캡처된 화면 목록 및 녹화된 동영상 목록 중 적어도 하나를 표시하는 기능을 갖는다.
환경설정 아이콘(564)은 기본 사용 환경(예를 들어, 화면, 편집, 사용자 정보)을 설정하는 기능을 갖는다. 작업자는 환경설정 아이콘(564)를 선택하여, 화면에 표시할 메뉴 아이콘의 종류, 메뉴 아이콘들의 배치 순서를 설정할 수 있다. 또한, 복수의 기능을 갖는 메뉴 아이콘에 대해서는 사용할 기능을 선택적으로 설정할 수 있다.
상술한 메뉴 아이콘들(561, 562, 563, 564)은 작업자의 제스처 또는 음성에 의해 선택된다. 일 예로, 작업자가 혼합현실 화면에서 손이나 손가락으로 캡처 아이콘(562)을 클릭하면, 캡처 아이콘(562)이 선택된다. 다른 예로, 작업자가 '캡처'라는 단어를 말하는 경우, 캡처 아이콘(562)이 선택된다. 또는 작업자가 해당 단어가 포함된 문장을 말하는 경우에도 캡처 아이콘(562)이 선택된다. 예를 들면, '캡처해줘' 또는 '화면 캡처'라고 말해도 캡처 아이콘(562)이 선택된다. 찾기 아이콘(563)은 작업자가 '찾기'라는 단어 또는 해당 단어가 포함된 문장을 말하는 경우에 선택된다. 환경설정 아이콘(564)은 작업자가 '환경설정'이라는 단어 또는 해당 단어가 포함된 문장을 말하는 경우에 선택된다.
도 5는 캡처 아이콘(562)에 속하는 하위 아이콘들(562a, 562b)을 선택하는 음성 명령어들과, 각 음성 명령어의 실행 결과로 표시되는 화면들을 예시한 도면이다.
도 5의 (a)와 같이, 메뉴 아이콘들(561, 562, 563, 564)이 표시되어 있는 상태에서 작업자가 'capture'라고 말하는 경우, 캡처 아이콘(562)이 선택된다. 그 결과, 도 5의 (b)와 같이, 현재 표시되고 있는 화면이 캡처되어 임시로 저장된다. 또한, 캡처된 화면을 저장하기 위한 저장 아이콘(562a) 및 캡처된 화면을 삭제하기 위한 삭제 아이콘(562b)이 추가로 표시된다.
도 5의 (b)와 같은 화면이 표시되어 있는 상태에서 작업자가 'cancle'이라고 말하는 경우, 캡처 작업이 취소된다. 그 결과, (b) 단계에서 캡처된 화면이 삭제되고, 도 5의 (a)와 같은 화면이 다시 표시된다.
도 5의 (b)와 같은 화면이 표시되어 있는 상태에서 작업자가 '테이크'라고 말하는 경우, 도 5의 (c)와 같이, (b) 단계에서 캡처된 화면이 표시된다. 이 때, 캡처된 화면은 작업자의 시야를 방해하지 않기 위하여, 그 크기가 축소되어 표시된다.
도 5의 (c)와 같은 화면이 표시되어 있는 상태에서 작업자가 '세이브'라고 말하는 경우, 저장 아이콘(562a)이 선택된다. 그 결과, 도 5의 (d)와 같은 화면이 표시되며, (b) 단계에서 캡처된 화면이 저장된다.
도 5의 (c)와 같은 화면이 표시되어 있는 상태에서 작업자가 'delete'라고 말하는 경우, 삭제 아이콘(562b)이 선택된다. 그 결과, 도 5의 (e)와 같은 화면이 표시되며, (b) 단계에서 캡처된 화면이 삭제된다.
이상, 도 5를 참조하여 캡처 아이콘(562)에 속하는 하위 아이콘들(562a, 562b)을 선택하는 음성 명령어들에 대해서 설명하였다. 도 5는 하위 아이콘들(562a, 562b)을 선택하는 음성 명령어들이 'capture', 'take', 'cancle', 'save', 'delete' 등의 영어 단어인 경우를 예로 들어 설명하였지만, 이러한 음성 명령어들은 한국어로 대체될 수도 있다. 예를 들면, 'capture', 'cancle', 'save' 및 'delete' 등의 단어는 각각 '포착', '취소', '저장' 및 '삭제'로 대체될 수 있다.
도 6은 관리자 단말(300)을 통해 표시되는 화면들을 예시한 도면이다.
도 6의 (a)을 참조하면, 화면에는 메뉴 아이콘들(610, 620, 630, 640, 650, 660)이 배치된다. 이 때 표시되는 화면은 관리자 단말(300)의 카메라를 통해 촬영되고 있는 현실 세계 영상일 수 있다. 메뉴 아이콘들(610, 620, 630, 640, 650, 660)은 점검 일지 아이콘(610), 회전 아이콘(620), 캡처 아이콘(630), 파일 열기 아이콘(640), 변경 아이콘(650) 및 고정 아이콘(660)을 포함한다.
점검 일지 아이콘(610)은 서비스 서버(100)에 저장되어 있는 점검 일지를 열거나, 현재 열려 있는 점검 일지를 저장하는 기능을 갖는다. 점검 일지 아이콘(610)이 선택되면, 점검 일지를 불러올 수 있는 파일 오픈 창(도시되지 않음)이 표시된다. 관리자는 표시된 파일 오픈 창에서 원하는 점검 일지를 선택할 수 있다.
회전 아이콘(620)은 작업자 단말(200)에서 식별된 설비에 대응하는 3차원 모델링 정보를 처리하여, 해당 설비에 대응하는 3차원 가상 객체를 현실 세계 영상의 특정 영역에 배치하는 기능을 갖는다. 또한, 회전 아이콘(620)은 배치된 3차원 가상 객체를 회전시키는 기능을 갖는다.
캡처 아이콘(630)은 현재 표시되고 있는 화면을 캡처하는 기능을 갖는다. 캡쳐된 화면은 서비스 서버(100)로 전송되어 작업자 단말(200)에 공유될 수 있다.
파일 열기 아이콘(640)은 점검 일지 이외에, 설비와 관련된 각종 디지털 문서 예를 들어, 설명서, 안내서, 설계도, 단면도, 이력 등과 관련된 디지털 문서를 불러올 수 있는 기능을 갖는다. 파일 열기 아이콘(640)이 선택되면, 파일 오픈 창(도시되지 않음)이 표시되며, 관리자는 표시된 파일 오픈 창에서 원하는 디지털 문서를 선택할 수 있다.
변경 아이콘(650)은 증강현실 영상에 포함된 3차원 가상 객체의 종류를 변경하는 기능을 갖는다. 변경 아이콘(650)이 선택되면, 선택 가능한 설비 목록이 표시되며, 관리자는 표시된 설비 목록 중에서 원하는 설비를 선택한다. 그러면, 관리자 단말(300)은 선택된 설비에 대응하는 3차원 모델링 정보를 서비스 서버(100)에 요청하고, 서비스 서버(100)는 요청된 3차원 모델링 정보를 검색하여 관리자 단말(300)로 전송한다. 이 후, 관리자 단말(300)은 수신한 3차원 모델링 정보를 처리하여, 선택된 설비에 대응하는 3차원 가상 객체가 현실 세계 영상에 정합된 정강현실 영상을 생성한다.
고정 아이콘(660)은 현재 표시되고 있는 증강현실 영상에서 3차원 가상 객체의 위치를 고정하는 기능을 갖는다. 따라서, 고정 아이콘(660)이 선택된 후에는 회전 아이콘(620)이 선택되더라도, 증강현실 영상 내의 3차원 가상 객체가 회전되지 않는다. 고정 아이콘(660)은 3차원 가상 객체의 특정 부분을 확대해서 보려고 할 때 유용하게 사용될 수 있다.
이하, 회전 아이콘(620)의 기능에 대해서 좀 더 구체적으로 살펴보기로 한다.
도 6의 (a)에 도시된 메뉴 아이콘들 중에서 회전 아이콘(620)이 선택되면, 작업자 단말(200)에 의해 식별된 설비의 3차원 모델링 정보를 요청하는 요청 신호가 서비스 서버(100)로 전송된다. 예를 들어, 작업자 단말(200)에 의해 식별된 설비가 변압기인 경우, 변압기에 대한 3차원 모델링 정보를 요청하는 신호가 서비스 서버(100)로 전송된다. 이후, 변압기에 대한 3차원 모델링 정보가 서비스 서버(100)로부터 수신되면, 관리자 단말(300)은 수신한 3차원 모델링 정보를 처리하여, 변압기에 대응하는 3차원 가상 객체가 현실 세계 영상에 정합된 증강현실 영상을 생성한다. 증강현실 영상이 생성되는 과정을 좀 더 구체적으로 살펴보면 다음과 같다.
우선, 관리자 단말(300)은 도 6의 (a)에 도시된 바와 같이, 제2 마커(600)가 배치된 현실 세계 영상을 획득한다.
획득된 현실 세계 영상에서 제2 마커(600) 인식되면, 깊이 카메라(312)를 통해 획득된 깊이 영상에서 특징점들(feature points)이 추출되고, 추출된 특징점들에 기초하여 평면이 인식된다. 추출된 특징점들은 도 6의 (b)에 도시된 바와 같이, 화면에 표시될 수 있다.
현실 세계 영상에서 평면이 인식되면, 도 6의 (c)에 도시된 바와 같이, 인식된 평면에 변압기에 대응하는 3차원 가상 객체(680)가 배치된 증강현실 영상이 생성되어 표시된다. 또한, 3차원 가상 객체의 회전 각도를 조절하기 위한 각도 조절 아이콘(670)이 화면에 표시된다. 각도 조절 아이콘(670)은 예를 들어, 각도 조절 포인터(671)을 포함하는 막대 형태로 구현될 수 있다. 관리자는 각도 조절 아이콘(670)을 따라 각도 조절 포인터(671)의 위치를 좌우로 이동시켜 3차원 가상 객체를 회전시킬 수 있다. 다른 실시예에 따르면, 각도 조절 아이콘(670)은 화면에 표시되지 않을 수도 있다. 이 경우, 관리자는 제스처 또는 음성으로 3차원 가상 객체를 회전시킬 수 있다.
이후, 관리자는 음성이나 다중 제스처 등의 확대 명령을 입력함으로써, 도 6의 (d)에 도시된 바와 같이, 3차원 가상 객체(680)의 특정 부분을 확대할 수 있다. 음성이나 다중 제스처 등의 확대 명령을 입력하기에 앞서, 관리자는 고정 아이콘(660)을 선택하여, 3차원 가상 객체의 위치를 고정시킬 수 있다.
한편, 확대된 부분을 확인한 관리자는 확인된 정보나 지시 사항을 음성으로 작업자에게 전달할 수 있다. 또는 캡처 아이콘(630)을 선택하여, 해당 화면이 캡처되도록 하고, 캡처된 화면을 작업자 단말(200)로 제공할 수도 있다. 다른 실시예에 따르면, 캡처된 화면이 아닌, 관리자 단말(300)을 통해 표시되고 있는 증강현실 영상 자체가 그대로 작업자 단말(200)에 공유될 수 있다. 이처럼 캡처된 화면이나 증강현실 영상을 작업자 단말(200)과 공유하면, 관리자는 자신의 의견을 정확하게 전달할 수 있고, 작업자는 관리자의 지시 사항을 빠르고 정확하게 인지할 수 있다.
만약, 작업자의 작업을 원격 지원하는 도중, 변압기가 아닌 다른 설비에 대한 확인이 필요한 경우, 관리자는 변경 아이콘(650)을 선택하여, 현실 세계 영상에 배치되는 3차원 가상 객체의 종류를 변경할 수 있다. 예를 들어, 발전기를 확인할 필요가 있는 경우, 관리자는 변경 아이콘(650)을 선택하여, 선택 가능한 설비 목록이 화면에 표시되도록 하고, 표시된 설비 목록 중에서 발전기를 선택한다. 그 결과, 발전기에 대응하는 3차원 모델링 정보를 요청하는 요청 신호가 관리자 단말(300)에서 서비스 서버(100)로 전송되고, 서비스 서버(100)는 발전기에 대한 3차원 모델링 정보를 검색하여 관리자 단말(300)로 전송한다. 이 후, 관리자 단말(300)은 수신한 3차원 모델링 정보를 처리하여, 발전기에 대응하는 3차원 가상 객체(690)가 현실 세계 영상에 정합된 증강현실 영상을 생성한다. 그 결과, 관리자 단말(300)에는 도 6의 (e)와 같은 증강현실 영상이 표시된다.
도 7은 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법을 도시한 흐름도이다.
설명에 앞서, 서비스 사용자에 대한 계정 설정 및 권한 설정, 작업자 단말(200)의 환경설정, 관리자 단말(300)의 환경설정 등이 완료된 상태임을 가정한다.
작업자는 작업자 단말(200)을 착용한 상태에서 설비가 위치한 곳으로 이동한다. 이후, 작업자 단말(200)의 요청에 따라 작업자 단말(200)과 관리자 단말(300) 간계 영상 통화가 연결된다(S700). 상기 S700 단계는 작업자 단말(200)이 관리자 단말(300)과의 영상 통화를 요청하는 요청 신호를 서비스 서버(100)로 전송하는 단계, 서비스 서버(100)가 작업자 단말(200)로부터 수신한 영상 통화 요청 신호를 관리자 단말(300)에 전송하는 단계, 영상 통화를 승인하는 승인 신호가 관리자 단말(300)로부터 수신되면, 서비스 서버(100)가 작업자 단말(200)과 관리자 단말(300) 간의 영상 통화를 연결하는 단계를 포함한다.
이 때, 작업자 단말(200)에는 도 3에 도시된 바와 같은 혼합현실 영상이 표시될 수 있다. 또한, 관리자 단말(300)에는 도 6의 (a)에 도시된 바와 같은 현실 세계 영상이 표시될 수 있다.
이후, 작업자 단말(200)은 설비에 배치된 제1 마커를 촬영하고(S705), 촬영된 영상에서 제1 마커를 인식하여 해당 설비의 식별 정보를 획득한다(S710). 획득된 식별 정보는 서비스 서버(100)로 전송된다(S715).
서비스 서버(100)는 작업자 단말(200)로부터 식별 정보를 수신하고, 수신한 식별 정보에 대응하는 점검 알고리즘을 검색한다(S720). 그리고 검색된 점검 알고리즘을 작업자 단말(200)로 전송한다(S725).
작업자 단말(200)은 서비스 서버(100)로부터 수신한 점검 알고리즘을 실행한다(S730). 상기 S730 단계는 점검 알고리즘에 포함되어 있는 점검 일지를 로드하는 단계, 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시키는 단계, 활성화된 점검 항목에 대한 점검 결과를 입력받는 단계 및 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계를 포함한다.
이처럼 작업자가 점검 알고리즘에 기초하여 설비를 점검하고 있는 상태에서 문제 상황 예를 들어, 관리자의 지원이 필요한 상황이 발생한 경우, 작업자는 이러한 사실을 관리자에게 음성으로 알린다.
한편, 서비스 서버(100)는 S725 단계 이후에, 작업자 단말(200)로부터 수신한 식별 정보에 대응하는 설비의 3차원 모델링 정보를 데이터베이스에서 검색한다(S740). 그리고 검색된 3차원 모델링 정보를 관리자 단말(300)로 전송한다(S745).
관리자 단말(300)은 서비스 서버(100)에서 전송한 3차원 모델링 정보를 수신하여 저장한다(S750).
이 후, 화면에 배치된 메뉴 아이콘들 중에서 회전 아이콘(620)이 선택되면 관리자 단말(300)은 현실 세계 영상과 서비스 서버(100)로부터 수신한 3차원 모델링 정보를 처리하여, 현실 세계 영상에 설비에 대응하는 3차원 가상 객체가 배치된 증강현실 영상을 생성한다(S760). 상기 S760 단계는 RGB 카메라(311)를 통해 제2 마커(600)가 포함된 현실 세계 영상을 획득하는 단계, 획득된 현실 세계 영상에서 제2 마커(600)를 인식하는 단계(도 6의 (a) 참조), 깊이 카메라(312)를 통해 획득된 깊이 영상에서 특징점들(feature points)을 추출하는 단계, 추출된 특징점들에 기초하여 현실 세계 영상에서 평면을 인식하는 단계(도 6의 (b) 참조), 설비에 대응하는 3차원 가상 객체(680)를 인식된 평면에 배치하여 증강현실 영상을 생성하는 단계(도 6의 (c) 참조)를 포함한다.
도 6의 (c)와 같은 증강현실 영상이 관리자 단말(300)을 통해 표시된 후, 메뉴 아이콘(610, 620, 630, 640, 650, 660)이 선택되면, 선택된 메뉴 아이콘에 대응하는 화면이 구성되어 표시된다(S765). 상기 S765 단계는 점검 일지 아이콘이 선택된 경우, 현재 식별된 설비에 대한 점검 일지 목록을 표시하는 단계, 각도 조절 아이콘이 선택된 경우 현재 표시되고 있는 3차원 가상 객체를 회전시키는 단계, 고정 아이콘이 선택된 경우 현재 표시되고 있는 3차원 가상 객체의 위치를 고정시키는 단계, 다중 터치 제스처가 입력된 경우 현재 표시되고 있는 3차원 가상 객체의 크기를 확대 또는 축소시키는 단계, 파일 열기 아이콘이 선택된 경우 현재 식별된 설비에 관련된 각종 디지털 문서 목록을 표시하는 단계, 및 변경 아이콘이 선택된 경우 증강현실 영상에 표시되고 있는 3차원 가상 객체의 종류를 변경시키는 단계 중 적어도 하나를 포함할 수 있다.
이처럼 선택된 메뉴 아이콘에 대응하는 화면이 표시되면, 관리자는 표시된 정보들을 확인하여 작업자에게 전달할 정보를 결정할 수 있다. 결정된 정보는 음성 및 영상 중 적어도 하나의 형태로 작업자 단말(200)로 제공된다(S770). 상기 S770 단계는 캡처 아이콘이 선택된 경우, 현재 표시되고 있는 화면을 캡처하는 단계, 캡처된 화면을 작업자 단말(200)로 전송하는 단계를 포함할 수 있다.
한편, 작업자 단말(200)은 관리자 단말(300)로부터 수신한 정보를 소리로 출력하거나 화면에 표시한다(S775).
이후, 디지털 점검 일지에 포함된 전체 점검 항목들에 대해서 점검 결과가 입력되면, 점검 알고리즘이 종료된다(S780).
점검 알고리즘이 종료되면, 종료를 알리는 안내 메시지가 소리 또는 영상으로 출력된다. 또한, 각 점검 항목과 관련하여 점검 결과로 입력받은 텍스트 정보와 영상 정보에 기초하여 점검 보고서가 자동으로 생성된다(S785). 생성된 점검 보고서는 서비스 서버(100)를 통해 관리자 단말(300)로 공유될 수 있다(S790).
도 8은 자동으로 생성된 점검 보고서를 예시한 도면이다. 도 8을 참조하면, 점검 보고서(800)는 도 2b에 예시된 디지털 점검 일지(400)와는 다르게, 텍스트 정보 및 영상 정보를 모두 포함하는 것을 알 수 있다. 또한, 텍스트 정보 및 그에 대응하는 영상 정보가 순차적으로 정렬되어 있는 것을 확인할 수 있다. 점검 보고서(800)는 예를 들어, PDF 파일 형식으로 생성될 수 있는데, 이 외에도 다양한 파일 형식을 가질 수 있음은 물론이다. 실시예에 따르면, 관리자는 점검 보고서(800)를 수정할 수 있다. 구체적으로, 관리자는 점검 보고서에 자신의 의견을 추가할 수 있다. 이를 위해, 관리자는 관리자 단말(300)에서 제공되는 소프트웨어 키보드나 음성 인식 기능을 이용할 수 있다.
이상 도 7 및 도 8을 참조하여, 본 발명의 일 실시예에 따른 산업설비 운영을 위한 확장현실 서비스 제공 방법에 대해서 설명하였다. 도 7에 도시되어 있는 단계들 중에서 일부 단계는 그 순서가 변경될 수도 있고, 해당 단계의 수행 주체가 변경될 수도 있다.
일 예로, 작업자 단말(200)과 관리자 단말(300) 간에 영상 통화를 연결하는 단계(S700)는 S705 단계와 S780 단계 사이에 실행될 수 있다. 구체적으로, 영상 통화 연결 단계(S700)는 점검 알고리즘 실행 단계(S730) 이후에 실행될 수도 있다. 작업자는 점검 알고리즘에 따라 설비 점검을 수행하는 도중, 관리자의 업무 지원이 필요하다고 판단된 경우, 관리자 단말(300)과의 영상 통화 연결을 시도한다. 그러면 영상 통화 연결 요청 신호가 작업자 단말(200)에서 서비스 서버(100)로 전송되고, 서비스 서버(100)는 영상 통화 연결 요청 신호를 관리자 단말(300)로 전송한다. 관리자 단말(300)은 영상 통화 연결 요청 신호를 표시하고, 관리자가 영상 통화 연결을 승인하면, 작업자 단말(200)과 관리자 단말(300) 간에 영상 통화가 연결된다.
다른 예로, 점검 보고서(800)를 생성하는 단계(S785)는 작업자 단말(200) 대신 서비스 서버(100)에서 수행될 수 있다. 이 경우, 작업자 단말(200)은 점검 알고리즘이 종료되면(S780), 설비 점검 과정에서 입력받은 점검 결과들(텍스트 정보 및 영상 정보)을 서비스 서버(100)로 전송한다. 그러면, 서비스 서버(100)는 작업자 단말(200)로부터 수신한 정보에 기초하여 점검 보고서(800)를 자동으로 생성한다. 또는, 서비스 서버(100)는 작업자 단말(200)로부터 수신한 정보를 저장하였다가, 작업자 단말(200)이나 관리자 단말(300)의 요청이 있는 경우에, 점검 보고서(800)를 생성한다.
또 다른 예로, 서비스 서버(100)는 작업자 단말(200)과 관리자 단말(300) 간의 영상 통화를 연결하기에 앞서, S745 단계를 수행할 수 있다. S745 단계를 수행할 때, 서비스 서버(100)는 관리자가 소속되어 있는 산업현장의 종류에 근거하여, 해당 산업현장에 마련되어 있는 설비들의 3차원 모델링 정보를 관리자 단말(300)로 제공한다. 구체적으로, 서비스 서버(100)는 각종 산업현장(예를 들어, 에너지 산업 분야 및 항공 정비 분야)에 속한 설비들의 3차원 모델링 정보를 저장할 수 있다. 만약, 관리자가 에너지 산업 분야에 소속되어 있다면, 서비스 서버(100)는 에너지 산업 현장에 마련되어 있는 설비들의 3차원 모델링 정보를 모두 관리자 단말(300)로 제공한다. 다른 예로, 서비스 서버(100)는 에너지 산업 현장에 마련되어 있는 설비들 중에서도 관리자의 접근이 허용된 설비에 한해서만 3차원 모델링 정보를 관리자 단말(300)로 제공한다. 이처럼 S745 단계가 영상 통화 연결 전에 이루어지는 경우, S740 단계는 서비스 서버(100)가 아닌, 관리자 단말(300)에서 수행된다.
이상으로 본 발명의 실시예들을 설명하였다. 전술한 실시예들에 더하여, 본 발명의 실시예들은 전술한 실시예의 적어도 하나의 처리 요소를 제어하기 위한 컴퓨터 판독 가능한 코드/명령을 포함하는 매체 예를 들면, 컴퓨터 판독 가능한 매체를 통해 구현될 수도 있다. 상기 매체는 상기 컴퓨터 판독 가능한 코드의 저장 및/또는 전송을 가능하게 하는 매체/매체들에 대응할 수 있다.
상기 컴퓨터 판독 가능한 코드는, 매체에 기록될 수 있을 뿐만 아니라, 인터넷을 통해 전송될 수도 있는데, 상기 매체는 예를 들어, 마그네틱 저장 매체(예를 들면, ROM, 플로피 디스크, 하드 디스크 등) 및 광학 기록 매체(예를 들면, CD-ROM, Blu-Ray, DVD)와 같은 기록 매체, 반송파(carrier wave)와 같은 전송매체를 포함할 수 있다. 상기 매체들은 분산 네트워크일 수도 있으므로, 컴퓨터로 읽을 수 있는 코드는 분산 방식으로 저장/전송되고 실행될 수 있다. 또한 더 나아가, 단지 일 예로써, 처리 요소는 프로세서 또는 컴퓨터 프로세서를 포함할 수 있고, 상기 처리 요소는 하나의 디바이스 내에 분산 및/또는 포함될 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
상술한 바와 같은, 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템은 각종 설비에 대한 육안 점검이 수시로 진행되어야 하는 산업현장에 적용될 수 있다.

Claims (10)

  1. 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하는 산업설비 운영을 위한 확장현실 서비스를 제공하는 방법에 있어서,
    상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계;
    상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계;
    상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및
    상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함하되,
    상기 작업자 단말의 화면에는 상기 산업현장에서 상기 작업자의 현재 위치가 표시된 지도를 표시하는 위치 아이콘, 상기 산업현장에서 상기 작업자가 위치한 곳의 명칭을 포함하는 위치 명칭 정보, 날짜 정보, 시간 정보, 상기 점검 알고리즘에 따른 점검 진행 정도를 표시하는 작업 진행도 아이콘, 메뉴 아이콘들을 호출하기 위한 아이콘 및 복수의 점검 상태 아이콘 중 적어도 하나가 표시되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 디지털 점검 일지는
    상기 디지털 점검 일지와 관련된 기본 정보를 입력하기 위한 기본 정보 입력창; 및
    상기 전체 점검 항목별로 점검 결과를 입력할 수 있으며, 상기 점검 순서에 맞추어 배치되는 점검 결과 입력창들을 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 점검 결과 입력창들은
    상기 점검 순서가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 상위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 설비의 하위 부속설비의 종류가 표시되는 표시란, 상기 점검 항목과 관련하여 상기 작업자가 점검해야할 점검 내용이 표시되는 표시란, 상기 점검 항목에 대한 상태 정보를 입력할 수 있는 복수의 체크 박스들, 및 상기 상태 정보와 관련하여 추가적인 메시지를 입력할 수 있는 입력란을 각각 포함하며,
    상기 복수의 체크 박스들은 상기 상태 정보에 대응하여 서로 다른 색상으로 구현되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  4. 제3항에 있어서,
    상기 복수의 체크 박스들은 상기 점검 일지에 포함된 모든 점검 항목에 대해서 점검이 완료되면, 상태 정보 변경이 불가능하도록 비활성화되며,
    상기 복수의 체크 박스들 중에서 상기 작업자에 의해 선택된 체크 박스의 색상은 기존의 색상으로 유지되고, 나머지 체크 박스들의 색상은 특정 색상으로 일괄적으로 변경되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  5. 제1항에 있어서,
    상기 텍스트 정보와 상기 영상 정보는 서로 동일한 파일명을 갖되, 동일한 저장 경로에 저장되며,
    상기 파일명은 점검 날짜, 상기 디지털 점검 일지의 식별 정보, 상기 디지털 점검 일지에 포함된 점검 항목의 식별 정보, 상기 점검 항목에 속하는 세부 항목의 식별 정보 중 적어도 하나를 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 위치 아이콘, 상기 작업 진행도 아이콘, 상기 큐브 아이콘 및 상기 복수의 점검 상태 아이콘 중 적어도 하나는, 상기 작업자의 제스처를 인식한 결과로 획득된 제스처 명령어나 상기 작업자의 음성을 인식한 결과로 획득된 음성 명령어에 기초하여 선택되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  7. 제1항에 있어서,
    상기 복수의 점검 상태 아이콘은 상기 활성화된 점검 항목에 대한 점검 결과로 입력할 수 있는 상태 정보에 대응하도록 서로 다른 색상으로 구현되는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  8. 산업현장에 위치한 작업자의 작업자 단말과 원격지에 위치한 관리자의 관리자 단말 간에 영상통화를 연결하는 서비스 서버를 이용하여, 상기 작업자 단말이나 상기 관리자 단말로 혼합현실 영상이나 증강현실 영상을 제공하는 산업설비 운영을 위한 확장현실 서비스를 제공하는 방법에 있어서,
    상기 작업자 단말이 설비에 배치된 제1 마커를 촬영하고, 상기 제1 마커에 기초하여 상기 설비의 식별 정보를 획득하는 단계;
    상기 서비스 서버가 상기 식별 정보에 대응하는 점검 알고리즘을 검색하여 상기 작업자 단말로 전송하는 단계;
    상기 서비스 서버가 상기 식별 정보에 대응하는 설비의 3차원 모델링 정보를 검색하고, 상기 검색된 3차원 모델링 정보를 상기 관리자 단말로 전송하는 단계;
    상기 관리자 단말이 제2 마커가 포함된 현실 세계 영상을 획득하고, 상기 획득된 현실 세계 영상과 상기 3차원 모델링 정보를 처리하여, 상기 현실 세계 영상의 특정 영역에 상기 설비에 대응하는 3차원 가상 객체가 배치된 증강현실 영상을 생성하는 단계;
    상기 증강현실 영상과 함께 표시된 메뉴 아이콘들 중 하나가 선택되는 경우, 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계;
    상기 관리자가 상기 표시된 화면을 확인하여 상기 작업자에게 전달할 정보를 결정하면, 상기 결정된 정보를 음성 또는 영상으로 상기 작업자 단말로 전송하는 단계;
    상기 작업자 단말이 상기 점검 알고리즘을 실행하여, 상기 점검 알고리즘에 포함된 디지털 점검 일지를 로드하고, 상기 디지털 점검 일지와 상기 결정된 정보를 출력하며, 상기 디지털 점검 일지에 포함된 전체 점검 항목들을 점검 순서에 따라 차례로 활성화시켜, 상기 활성화된 점검 항목에 대한 점검 결과를 상기 작업자로부터 입력받고, 상기 점검 결과로 입력받은 텍스트 정보와 영상 정보를 구분하여 저장하는 단계; 및
    상기 점검 알고리즘이 종료되면, 상기 텍스트 정보와 상기 영상 정보에 기초하여 점검 보고서를 자동으로 생성하는 단계를 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  9. 제8항에 있어서,
    상기 선택된 메뉴 아이콘에 대응하는 화면을 구성하여 표시하는 단계는
    점검 일지 아이콘이 선택된 경우, 상기 설비에 대한 점검 일지 목록을 표시하는 단계;
    각도 조절 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체를 회전시키는 단계;
    고정 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 위치를 고정시키는 단계;
    확대 명령 또는 축소 명령이 입력된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 크기를 확대 또는 축소시키는 단계;
    파일 열기 아이콘이 선택된 경우 상기 설비에 관련된 각종 디지털 문서 목록을 표시하는 단계; 및
    변경 아이콘이 선택된 경우 현재 표시되고 있는 상기 3차원 가상 객체의 종류를 변경시키는 단계 중 적어도 하나를 포함하는, 산업설비 운영을 위한 확장현실 서비스 제공 방법.
  10. 하드웨어인 단말 장치와 결합되어, 제1항 내지 제9항 중 어느 한 항의 산업설비 운영을 위한 확장현실 서비스 제공 방법을 실행시키기 위하여, 컴퓨터로 판독 가능한 기록 매체에 저장된 단말 장치용 어플리케이션.
PCT/KR2021/008883 2020-07-30 2021-07-12 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템 WO2022025481A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/007,177 US20230237744A1 (en) 2020-07-30 2021-07-12 Extended reality service providing method and system for operation of industrial installation

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0095175 2020-07-30
KR20200095175 2020-07-30
KR1020210007791A KR102326507B1 (ko) 2020-07-30 2021-01-20 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템
KR10-2021-0007791 2021-01-20

Publications (1)

Publication Number Publication Date
WO2022025481A1 true WO2022025481A1 (ko) 2022-02-03

Family

ID=78502916

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008883 WO2022025481A1 (ko) 2020-07-30 2021-07-12 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템

Country Status (3)

Country Link
US (1) US20230237744A1 (ko)
KR (1) KR102326507B1 (ko)
WO (1) WO2022025481A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102538056B1 (ko) * 2021-12-14 2023-05-30 주식회사 넥스텝스튜디오 증강현실을 이용한 건물 관리 시스템
JP7279830B1 (ja) 2022-02-28 2023-05-23 東芝ライテック株式会社 保守点検結果提示装置
CN114706486A (zh) * 2022-04-26 2022-07-05 四川大学 基于手势识别的混合现实工业控制方法及装置
WO2024108026A1 (en) * 2022-11-16 2024-05-23 Aveva Software, Llc Computerized systems and methods for an industrial metaverse
JP7423849B1 (ja) 2023-10-05 2024-01-29 株式会社日立パワーソリューションズ 現場作業支援システム及び現場作業支援方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133928A (ja) * 2004-11-04 2006-05-25 Altia Hashimoto Co Ltd 車両点検システム
KR20120033188A (ko) * 2010-09-29 2012-04-06 한국전력공사 증강현실을 이용한 전력량계 관리시스템 및 관리방법
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템
KR102086451B1 (ko) * 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 증강현실 상의 스마트팩토리 원격협업 ｃｍｓ 시스템 및 그 구동방법
JP2020091530A (ja) * 2018-12-03 2020-06-11 三菱電機ビルテクノサービス株式会社 設備管理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101701278B1 (ko) 2015-09-11 2017-02-13 대우조선해양 주식회사 선박/해양플랜트의 원격 검사 및 유지보수 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133928A (ja) * 2004-11-04 2006-05-25 Altia Hashimoto Co Ltd 車両点検システム
KR20120033188A (ko) * 2010-09-29 2012-04-06 한국전력공사 증강현실을 이용한 전력량계 관리시스템 및 관리방법
JP2020091530A (ja) * 2018-12-03 2020-06-11 三菱電機ビルテクノサービス株式会社 設備管理システム
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템
KR102086451B1 (ko) * 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 증강현실 상의 스마트팩토리 원격협업 ｃｍｓ 시스템 및 그 구동방법

Also Published As

Publication number Publication date
KR102326507B1 (ko) 2021-11-15
US20230237744A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
WO2022025481A1 (ko) 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템
WO2011021907A2 (en) Metadata tagging system, image searching method and device, and method for tagging a gesture thereof
WO2018070780A1 (en) Electronic device and method for controlling the same
CN105683948B (zh) 翻译辅助系统、译语批准申请的确认控制方法、服务器、客户端及其控制方法
WO2019143022A1 (ko) 음성 명령을 이용한 사용자 인증 방법 및 전자 장치
WO2014163330A1 (en) Apparatus and method for providing additional information by using caller phone number
WO2015167160A1 (en) Command displaying method and command displaying device
WO2018034552A1 (en) Language translation device and language translation method
WO2014003329A1 (en) Mobile terminal and method for recognizing voice thereof
WO2020087978A1 (zh) 风控审核模型的生成方法、装置、设备及存储介质
EP2872971A1 (en) User interface apparatus and method for user terminal
EP2891041A1 (en) User interface apparatus in a user terminal and method for supporting the same
WO2020130447A1 (ko) 페르소나에 기반하여 문장을 제공하는 방법 및 이를 지원하는 전자 장치
WO2019074257A1 (ko) 사용자 발화를 처리하는 전자 장치 및 서버
WO2016186325A1 (ko) 이미지가 이용되는 소셜 네트워크 서비스 시스템 및 방법
WO2023132555A1 (en) Augmented reality-based construction site management method and server
WO2020122291A1 (ko) 인공지능 기반의 공동주택 관리업무지시 자동화 장치 및 방법
WO2022050551A1 (ko) 법률 서비스 제공 시스템 및 그 방법
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2021025465A1 (en) Method for recognizing voice and electronic device supporting the same
WO2020032320A1 (ko) 원자력 발전소 지능형 일반기기 배치 도면 표현 및 활용 장치
WO2020080771A1 (ko) 변형 발화 텍스트를 제공하는 전자 장치 및 그것의 동작 방법
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
WO2022124475A1 (ko) 원격 상담 서비스 시스템 및 방법
KR20230053027A (ko) 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850160

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21850160

Country of ref document: EP

Kind code of ref document: A1